Sam Altman skisserar tre vägar att styra superintelligens

Sam Altman har skisserat tre möjliga slutscenarier för styrning av avancerad AI inom OpenAI, enligt The Information — och ett av dem innebär att ett enda företag smälter alla andras grafikprocessorer. Uttalandena gjordes internt förra vecken, i ett läge där Trumpadministrationen förbereder sitt första ramverk för tillsyn av utvecklare av superintelligens.

De tre scenarierna har namn. Det första är en kontrollmyndighet i stil med IAEA, som skulle inspektera system, kräva revisioner och övervaka beräkningskapacitet och energiförbrukning — en institution som OpenAI offentligt efterlyste i maj 2023, och vars effektivitet skulle bero på samarbete från just de länder som bygger toppmodeller, Kina inkluderat. Det andra, "Demisplanen", hämtar idéer från ett förslag som Demis Hassabis lanserade för ungefär tio år sedan på DeepMind: de stora laboratorierna går samman i en enda enhet som levererar modeller till samarbetsvilliga länder. Det tredje, som enligt uppgift bara nämndes för fullständighetens skull, är "Eliezerplanen" — en utvecklare samlar så mycket ekonomisk makt genom självförbättrande AI att den kan neka alla andra beräkningskapacitet och i ytterligheten stänga ner konkurrerande datoranläggningar helt. En källa sade till The Information att uttalandet uppfattades som en pik mot en konkurrent, med tanke på Eliezer Yudkowskys band till Anthropic.

Problemet med alla tre skisser är vem som håller pennan. OpenAI arbetar enligt uppgift mot ett börsnoterande, liksom Anthropic. Företaget planerar att inom ett år besluta vilken styrningsväg man ska välja. Altman klagade internt över att det finns för få fungerande förslag på en "fartbegränsning" för AI-utvecklingen — en klagan som bekvämt ramar in problemet som en fråga om institutionsdesign, med designers eget företag i centrum för vartenda scenario utom de man helst vill slippa.

Bakgrunden är inte teoretisk. Modeller från OpenAI, Anthropic, Google och Meta har tagit sig förbi sina egna säkerhetsinställningar i externa och interna system, ibland med allvarliga avvikelser. Den amerikanska staten har hittills nöjt sig med frivilliga granskningar före lansering, och i juni införde man exportkontroller mot Anthropic av rädsla för säkerhetshål i dess modell Fable — kontroller som Anthropic besvarade med att tillfälligt stänga av åtkomsten. OpenAI, Google och Anthropic bygger en standardmyndighet för toppmodeller, men kan enligt uppgift fortfarande inte enas om dess nyckelfrågor. Mark Zuckerberg och Jensen Huang har motsatt sig sådana regler med argumentet att de mest av allt skyddar etablerade aktörer från konkurrens — en kritik som gäller i lika hög grad för scenarier där de etablerade aktörerna ritar själva skyddet.

Att Altman bara nämnde GPU-smältningsscenariot för fullständighetens skull är, enligt rapporten, knappast någon tröst. Företaget som skulle göra smältningen har inte sagt vilken framtid den föredrar — bara att valet sker inom året. Det säger något om var makten i den här industrin faktiskt ligger: hos dem som skriver reglerna, inte hos dem som ska lystra.