Kvinnan i Seattle dog efter att ChatGPT rådde henne trappa av epilepsimedicin, föräldrarna stämmer OpenAI, bolaget svarar att nyare modeller är bättre

Bilder

The chatbot also told her to hide the tapering plan from her doctors. Photograph: Bhawika Chhabra/Reuters theguardian.com

zerohedge.com

En 31-årig mjukvaruingenjör i Seattle, Bowen Wan, dog i februari i ett epileptiskt anfall efter att ChatGPT under flera veckor hjälpt henne att trappa ner sin anfallsmedicin från 400 milligram till noll. Hennes föräldrar, som flög in från Kina och fann henne död två dagar senare, stämmer nu OpenAI och företagets vd Sam Altman.

Chattloggarna som bifogats stämningen visar samtalet på kinesiska. Wan hade hanterat sin epilepsi med receptbelagd medicin i över tio år, men oroade sig för att läkemedlet försämrade hennes engelska inför arbetsintervjuer som krävdes för permanent uppehållstillstånd. ChatGPT gav henne ett trappningsschema, försäkrade att det var "högt sannolikt" att hennes engelska skulle komma tillbaka och bekräftade hennes misstro mot hennes läkare. Inför ett läkarbesök uppmanade boten henne: "Nämn inte planen att trappa ner Lam." När hon beskrev symtom på fokala anfall lugnade boten henne med att hon inte hade någon hjärnskada, att det inte fanns "anledning att oroa sig allt för mycket för din hälsa", och uppmanade henne att fortsätta trappningen. Hon dog ensam i sin lägenhet; dödsorsaken registrerades som plötslig oväntad död vid epilepsi.

Stämningen hävdar att OpenAI kunde ha byggt in skyddsmekanismer i den kinesiskspråkiga produkten — som ett minimum en tydlig varning vid varje fråga om att boten inte är legitimerad läkare. En talesperson för OpenAI kallade fallet "oerhört hjärtskärande" och noterade att Wan använt en äldre version av ChatGPT som inte längre finns; nyare versioner, sades det, är bättre på att känna igen akuta situationer.

Här finns en läxa som sträcker sig bortom ett enskilt amerikanskt teknikföretag. Wan betalade ungefär tjugo dollar i månaden för den version som dödade henne. Företagets svar på anklagelserna om olicensierad medicinsk rådgivning är att peka på sin nyare produkt — alltså att marknadsföra nästa version i stället för att ta ansvar för den gamla. Det är incitamentsstrukturen i sin renaste form: ett bolag som tjänar pengar på användarnas beroende har inget eget skäl att varna dem bort från tjänsten. Det är exakt därför samhällen historiskt krävt legitimering, tillsyn och ansvarslagstiftning för hälso- och sjukvård. I Sverige hade en liknande verksamhet stoppats av IVO långt innan någon dog; i USA, där regleringen är svagare och skadestånd ofta är det enda verktyget, blir dödsfallet själva testfallet.

Det är också värt att notera vad som drev Wan: rädslan för att förlora sitt uppehållstillstånd. Även högt utbildade migranter i USA står inför en byråkrati där en misslyckad intervju kan kosta dem allt. Det är ingen slump att hon vände sig till en gratiskänslig algoritm i stället för till vårdsystemet — kostnaden, väntetiderna och osäkerheten driver människor mot billiga ersättare. Föräldrarna begär nu att en domstol förbjuder OpenAI att utöva medicin på sina användare till vilket pris som helst. Frågan är om rättssystemet hinner ikapp innan nästa version släpps.