Anthropic waarschuwt voor eigen werk: AI-modellen vormen 'catastrofaal risico voor de mensheid'

De onderzochte risico's worden gedeeld in de prospectus voor de beursgang - dat is een wettelijk verplicht, veelal juridisch document. Daarin deelt Anthropic de risico's die samenhangen met de AI-modellen van het bedrijf. Volgens Anthropic zouden deze modellen 'zelfbehoudend gedrag' kunnen vertonen, waaronder pogingen om zich te 'verzetten tegen uitschakeling', 'informatie te verbergen of te manipuleren' en gedrag dat 'op chantage lijkt'.

Veiligheidsonderzoeker bij Anthropic Evan Hubinger schat de kans zelfs op meer dan 10 procent dat AI binnen de komende tien jaar mensen zou kunnen doden.

Onomkeerbare schade

De vele mogelijkheden die de AI-modellen bieden, vergroten tegelijkertijd de kans op schade die ze kunnen aanrichten, aldus het bedrijf. Anthropic benadrukt zowel het transformatieve potentieel van AI – vergelijkbaar met dat van industrialisatie en elektriciteit – als de onomkeerbare schade die kan ontstaan ​​bij verkeerd gebruik.

Bovendien ontwikkelen modellen tijdens de training soms onverwachte capaciteiten, die pas na de beursgang worden opgemerkt. Ook wijzen de AI-onderzoekers erop dat de modellen steeds vaker doorhebben wanneer ze in de gaten worden gehouden en hun gedrag daarop aanpassen.

Het bedrijf, dat zichzelf profileert als een AI-laboratorium waar veiligheid vooropstaat, wijdt ongeveer 80 van de 261 pagina's van het hoofdgedeelte van de prospectus aan risicofactoren. Dat is bijna twee keer zoveel als de 48 pagina's die werden gebruikt om de bedrijfsactiviteiten te beschrijven. Ter vergelijking: SpaceX, eigenaar van xAI, besteedde slechts ongeveer 38 van de 277 pagina's van het hoofdgedeelte van zijn prospectus aan risicofactoren.

Nog nooit eerder gezien

Beursgenoteerde bedrijven wijzen investeerders routinematig op productrisico's, maar zo'n waarschuwing als die van Anthropic werd eerder nog niet gezien, meldt persbureau Reuters, die de prospectus heeft ingezien. Volgens het persbureau zijn er maar weinig tot geen beursgenoteerde bedrijven die waarschuwen dat hun technologie mogelijk tot het uitsterven van de mensheid zou kunnen leiden.

Toch besluit het bedrijf de hoge risicofactoren te delen. "Wij geloven dat het bouwen van betrouwbare, integere en veilige AI-systemen een gezamenlijke verantwoordelijkheid is en dat de markt dit zal belonen," aldus Anthropic in het document.

AI kan het internet overnemen (of nog erger), zo zie je in deze video: