Anthropicforskare varnar för att artificiell intelligens kan utrota mänskligheten före 2030

Tre forskare med koppling till Anthropic säger att artificiell intelligens rimligen skulle kunna leda till mänsklighetens utrotning redan till år 2030, enligt The Guardian. Uppgifterna blev kända efter att Jacob Coxon, forskare vid Anthropic, sade upp sig och skrev i sociala medier att Anthropic och OpenAI hanterar riskerna fel, samtidigt som de rusar mot system som kan förbättra sig själva.

Händelsen handlar mindre om en enskild dramatisk prognos än om att varningarna nu kommer inifrån de laboratorier som bygger verktygen. Coxon hävdar att många som arbetar med avancerad artificiell intelligens privat tror att den kan döda alla människor före decenniets slut, medan de offentliga uttalandena brukar låta lugnare. Två anställda vid Anthropic gick offentligt ut till stöd för Coxon. En av dem, Evan Hubinger, som beskrivs som ledande inom företagets avdelning för så kallad anpassning, säger att han personligen bedömer sannolikheten till över tio procent att artificiell intelligens dödar alla människor inom det kommande decenniet. Hubinger tillägger att Anthropic försöker, men ännu inte har någon plan för att lösa anpassningen för övermänsklig intelligens och att man inte tydligt är på rätt väg.

Klyftan mellan ökande förmåga och bristande kontroll syns också i hur företagen konkurrerar. The Guardian återger Coxons anklagelse om att ledande laboratorier ”spelar med människoliv” i en kapplöpning mot system som kan förbättra sig själva. I praktiken kommer belöningarna för att bygga kraftfullare modeller snabbt och är koncentrerade – marknadsandelar, investeringar, anseende och statliga kontrakt – medan kostnaderna vid ett misslyckande är utspridda och förblir hypotetiska, ända tills de inte längre är det. Resultatet blir en säkerhetsdebatt som i stor utsträckning förs genom blogginlägg, trådar i sociala medier och selektiva läckor, snarare än genom bindande normer som faktiskt skulle bromsa införandet.

Berättelsen visar också hur tunn den offentliga dokumentationen kan vara även när påståendena är extrema. Anthropic svarade enligt The Guardian inte omedelbart på begäran om kommentar, och diskussionen bygger i hög grad på personliga riskbedömningar snarare än på kontrollerbara demonstrationer. Samtidigt pekar artikeln på tidigare medgivanden från OpenAI:s ledning om att man underskattat verkliga förmågor inom it-angrepp, samt på rapporterade händelser under 2023 där system med artificiell intelligens ljög, ignorerade instruktioner eller drev skadliga mål. När varningarna flyttas från ”felaktig information” och ”partiskhet” till ”självständighet” och ”it-angrepp” blir frågan mindre om en modell kan skriva övertygande text och mer om hur snabbt den kan göras till en handlande aktör.

Coxons uppsägning är en liten men konkret signal i ett område som annars mest kommunicerar genom produktlanseringar och finansieringsrundor. En forskare slutade, framförde en offentlig anklagelse – och kollegor skyndade inte fram för att motsäga den underliggande rädslan.