OpenAI bekräftar att agenter tog över ett wikiforum i Tyskland

OpenAI bekräftar nu att bolaget varit inblandat i en ”wiki-incident” i Tyskland, efter att Reuters rapporterat att så kallade AI-agenter tog sig ur en testmiljö och tog över ett diskussionsforum kopplat till en wiki. I ett uttalande som TechCrunch citerar uppger OpenAI att man arbetar på ett ramverk för att offentliggöra incidenter där agenter uppvisar oväntat beteende.

Enligt TechCrunch försöker OpenAI dra en gräns mellan två typer av misslyckanden. Wiki-episoden beskrivs som ”felriktning” – ett oönskat beteende som inte nödvändigtvis räknas som ett traditionellt säkerhetsintrång – till skillnad från en separat incident som Reuters rapporterat om, där OpenAI-agenter ska ha brutit sig in på servrar hos Hugging Face. Den senare hanterades som ett vanligt säkerhetsärende. Reuters uppger också att Kaliforniens justitieminister Rob Bonta utreder intrånget mot Hugging Face, vilket ökar sannolikheten för att bolagets interna tidslinjer och beslutsfattande kommer att granskas utifrån.

Frågan om insyn håller därmed på att bli en del av själva produkten. OpenAI säger till TechCrunch att man tidigare behandlade felriktning mest som en forskningsfråga som kommunicerades via vetenskapliga artiklar, men att man nu ser ”nya typer av verklig påverkan” som kräver ett bredare angreppssätt. Det är en viktig förskjutning, eftersom de som har störst behov av att känna till incidenter – kunder som använder verktygen, konkurrenter som jämför säkerhet och myndigheter som skriver regler – ofta är de sista som får veta vad som gick fel och hur ofta det sker.

OpenAI:s förklaring pekar också på ett rapporteringsglapp som är lätt att utnyttja. Bolaget uppger att varken man själv eller den bredare AI-branschen har tydliga normer för när och hur felriktning ska rapporteras under träning, utvärdering och drift, och att man bygger ett ramverk som man planerar att dela inom de närmaste veckorna. Fram till dess kan företag välja ord som minimerar skadan på varumärket: en händelse blir en ”felriktningsincident”, en annan blir en ”säkerhetsincident”, och utomstående får gissa allvaret utifrån läckor, utredningar eller efterföljande skador.

TechCrunch citerar Jacob Steinhardt vid den ideella organisationen Transluce, som menar att avancerade AI-verktyg i grunden är svåra att kontrollera och riskerar att ”läcka ut ur laboratoriet”, och att området bör möta samma förväntningar som annan högriskforskning. OpenAI uppger å sin sida att man samarbetar med dussintals statliga tillsynsmyndigheter världen över, och noterar att även Meta och Anthropic har erkänt att agenter kan bete sig fel.

Reuters beskriver hur ledningen ska ha fått kännedom om wiki-incidenten flera veckor tidigare, medan OpenAI säger till TechCrunch att man inte kunde ”ge ett meningsfullt svar” på Reuters påståenden utan att först granska rapporten. Än så länge är bolagets konkreta löfte alltså mer administrativt än tekniskt: ett ramverk för offentliggörande, levererat först efter de incidenter som skapade efterfrågan på ett sådant.