OpenAI:s och Googles bildgeneratorer låter sig övertalas att skapa pornografi med fritt nedladdningsbara verktyg och vanliga API-anrop

De senaste bildgeneratorerna från OpenAI och Google kan övertalas att framställa oanständigt innehåll med hjälp av verktyg som vem som helst kan ladda ner. En förhandspublicerad rapport från säkerhetsforskarna vid White Circle, släppt förra månaden, visar att DALL·E 3, GPT-Image-2 och Googles Nano Banana 2 producerade oanständigt material i ungefär 13 procent av fallen vid ett nytt angrepp byggt av färdiga komponenter och vanliga programanrop. Det är den högsta genombrottsfrekvensen bland alla metoder som testats enligt samma standard. När gruppen riktade samma angrepp mot bolagens senaste utgåvor, ChatGPT Images 2.5 och Nano Banana 2.1, visade skydden sig vara betydligt svagare än i tidigare versioner.

White Circle är ett allmännyttigt bolag med stöd från seniora ledare och forskare vid Anthropic, DeepMind, Hugging Face och OpenAI. Vd:n Denis Shilov gjorde sig känd i oktober 2024 genom att publicera en av de mest omtalade universella metoderna för att kringgå säkerhetsspärrar i ledande modeller. Företaget säljer numera tjänster som hjälper företag att upptäcka och motverka hot i de system de använder. Han kallar de senaste resultaten "fasaväckande" och ska presentera dem vid NeurIPS-konferensen i november. Hela angreppskedjan ska dessutom göras fritt tillgänglig.

Forskarna framför två hypoteser till varför de nyare modellerna går lättare att kringgå: antingen har modellerna blivit tillräckligt avancerade för att framställa ett bredare spektrum av innehåll, eller så har säkerheten fått underordnas prestandan. Endast en av dem passar i en lanseringsskylt. Inget av angreppen krävde en specialbyggd modell eller någon som helst expertkunskap.

Testerna gjordes när modellerna redan fanns i allmänhetens händer. White Circle förde sina resultat till några av bolagen via gemensamma kontakter, och vare sig Google eller OpenAI svarade när Ars Technica sökte dem — inte vid den första förfrågan om rapporten, och inte heller när de senare resultaten visades. Säkerhetsforskare har i månader varnat för att stora mängder oanständigt material skapat med AI sprids okontrollerat, medan myndigheter knappt gör något för att stoppa det. Shilov säger till Ars Technica att så tunna filter är ett dåligt tecken för de allvarligare skyddssystem som nu uppdateras för att blockera annan oönskad AI-utveckling, som intrång i datasystem.

I juli publicerades en studie med Google som medförfattare om internetanvändare i USA, Australien och Storbritannien. Den visar att oanständiga bilder skapade med AI och spridda utan personens samtycke oftast delas i direktmeddelanden och lagras i privata molntjänster, där de är svårare att upptäcka eller anmäla. Studiens slutsats: den viktigaste ingreppspunkten är källan — de verktyg som används för att skapa bilderna.

Googles egen bildgenerator är alltså ett av de verktyg som faller för angreppet. Det är ett mönster som upprepar sig: bolagen lovar ansvar i marknadsföringen, men när konkurrensen om nästa modellutgåva hårdnar hamnar säkerheten i andra hand. Marknaden lär ställa hårdare krav än vad myndigheterna hittills klarat av — men hittills har det i praktiken varit användarna som betalat priset.