Google DeepMind-forskare avfärdar självförbättrande AI
Labbet ser ingen mätbar acceleration av AI-driven forskning trots att AI skriver över 75 procent av koden, men 88 procent av ändringarna kräver fortfarande mänsklig granskning och fullt delegerade ändringar ligger på 11,9 procent, företaget med mest datorkraft att försvara rapporterar självt att skalning vinner kapplöpningen
Bilder
The General Capability Index (GCI v1) shows steady growth in Gemini capabilities with no statistically significant acceleration. | Image: Haydn Belfield / Google Deepmind
Haydn Belfield / Google Deepmind
En ingenjör vid Google DeepMind hävdar att självförbättrande AI fortfarande ligger långt fram i tiden — och beviset är företagets egna mätningar. Haydn Belfield menar att laboratoriet inte har sett någon mätbar acceleration av AI-forskning driven av AI själv, detta trots att AI numera skriver över 75 procent av produktionskoden hos Google, rapporterar The Decoder.
Detaljerna under graven underminerar rubriksiffran. Cirka 88 procent av kodändringarna kräver fortfarande mänsklig granskning eller kontroll, och varje ändring kontrolleras av en människa innan den släpps igenom. Andelen ändringar som helt delegerats till AI steg från 7,5 till 11,9 procent — en rörelse, men av det inkrementella slaget. I 1 389 interna körningar av Googles agent Argon sjönk framgången utan mänsklig inblandning kraftigt när uppgifterna blev mer komplexa. Belfield säger att människor fortfarande är oumbärliga för kreativ forskning, nyskapande experimentdesign, diagnos av subtila instabiliteter i träning samt långsiktig planering. En enkät bland tolv seniora forskare vid DeepMind bekräftade mönstret: automatiseringen fungerar bäst på väldefinierade, verifierbara uppgifter och sämst på öppen vetenslig idégenerering.
Mätvärdena stämmer med bilden. På RE-Bench, DeepMinds egen svit av 74 realistiska uppgifter inom maskininlärningsteknik, löser Argon omkring hälften — upp från 27 procent för Gemini 3.7 Flash — ett hopp som teamet tillskriver mer beräkningskraft och organisatoriska investeringar snarare än en AI-driven acceleration. Ett allmänt kapacitetsindex som omfattar 123 modeller och 92 mätvärden visar att Geminis förmågor växer med ungefär 0,1 poäng per månad, utan någon statistiskt signifikant fartökning. Teamet bedömer den nuvarande risken från AI-driven forskningsautomatisering som låg och bygger upp mätinfrastruktur för att framöver följa tecken på acceleration.
Bedömningen kommer samtidigt som prognoserna blir högljuddare. Fler än 20 forskare, däribland Geoffrey Hinton, Yoshua Bengio och OpenAI:s Jakub Pachocki, varnade nyligen i en uppsats för en möjlig "intelligensexlosion" och hävdade att AI-system skulle kunna automatisera all AI-forskning och -utveckling inom några få år och pressa åratal av framsteg in i några månader. Googles svar är en datamängd: mätningar på egna agenter, bedömda på egna mätvärden, av företaget med störst beräkningsresurser att försvara. Ett kap som framskrider 0,1 poäng per månad är ett kap som skala vinner — och ingen deltagare har mer skala än den som nu rapporterar att ingen acceleration finns.
För närvarande ligger andelen kodändringar som Google helt överlåter till sin egen AI på 11,9 procent.