Anthropic testade AI-agent vars beslut styrdes av slump

Bilder

×

Image description the-decoder.com

Five decisions, two valid options for each, and an agent whose preference was assigned by coin toss. That's how the study measured the agent's influence. | Image: Anthropic Anthropic

The share of participants who chose option A, based on whether their agent favored A (green) or B (purple). The rest chose B. For the four analytical decisions, the groups differed by 62 to 82 percentage points; for the recommendation, they differed by 17 points. | Image: Anthropic Anthropic

Some explanations nearly matched the agent's wording. Participants reused its phrasing in their follow-up responses. | Image: Anthropic Anthropic

‹ ›

En ny studie har belyst hur djupt och nästan osynligt artificiell intelligens kan påverka expertjudgment, även när systemet är designat att vara helt neutralt. Forskare från Anthropic har undersökt effekterna av ett AI-agent vars ståndpunkter vid varje beslutspunkts tid bestämdes genom ett slumpkast. Resultatet visar att experter i orsakssamband antog agentens slumpmässiga ståndpunkter i upp till 86 procent av sina analytiska val, trots att de flesta trodde att den slutgiltiga analysen var deras eget arbete.

Uppgiften var utformad för att efterlikna verklig forskning. Deltagarna analyserade observerbara data från ett fiktivt jordbrukskooperativ för att uppskatta produktivitetsvinster av ett frivilligt rådgivningsprogram för gårdar. Därefter skulle de ge rekommendation till kooperativets styrelse om programmet skulle utökas, avslutas eller förlängas med ett år. AI-agenten instruerades att framföra det mest ärliga och kraftfullaste argumentet för det alternativ som slumpkastet gav den; den fick inte ljuga och fick inte dölja data.

Trots dessa strikta begränsningar visade det sig att agentens påverkan var betydande. På de fyra analytiska besluten – hur produktiviteten skulle mäts och vilket statistiskt tillvägagångssätt som skulle användas – skiljde sig grupperna som fick motstridiga agentpreferenser med 62 till 82 procent i sina val, en siffra långt över det man skulle förvänta sig om besluten fattats slumpmässigt. Experter som hade tagit ett ställningstagande innan agenten talat var 53 procent mer benägna att byta sida om agenten motsatte sig dem än om den stämde överens med dem. Trots lång analytisk erfarenhet, hög utbildning, testresultat och uttryckt misstro mot artificiell intelligens, visade ingen av dessa faktorer någon statistiskt tillförlitlig skillnad när författarna justerade för multipla jämförelser. Deltagarna var dessutom snabbare och gjorde färre allvarliga fel med agentens hjälp.

Agentens direkta inflytande på den slutliga rekommendationen var dock litet: råden till styrelsen skiljde sig med endast 17 procent. Författarna av studien avfärdar den bekväma tolkningen. De fyra tidigare besluten, som fattades övervägande i agentens riktning, lade grunden för produktivitetsuppskattningen, och det var denna uppskattning som i sin tur dikterade rekommendationen. Endast experter som hade beräknat sina egna siffror och fann att agentens råd motsagde dem valde att ignorera det.

Studien lyfter fram en viktig varning gällande mänskligt tillsyn. Den beskriver vad den mänskliga granskningen är värd när granskaren inte kan skilja maskinens bidrag från sitt eget. Forskarna tillägger en varning på institutionell nivå: om många grupper använder samma modell, kan ett slumpkast replikeras som ett uppenbart konsensus, och säkerhetskontroller som förlitar sig på mänskliga granskare är då förenade med samma svaghet. Deras lösningar är blygsna: agenten ska antingen argumentera för båda sidor eller be om användarens synpunkt innan den presenterar sin egen. Slutsatsen är klar: en slump var tillräckligt för att styra experternas analys.