ChatGPT närmare tre gånger av fyra namnger olika märken vid samma fråga, studie av 172 624 svarspar visar att toppmärket är samma i bara en fjärdedel, variationen förklarar inte tidsskillnad utan tyder på ren slump, marknadens AI-rankningsverktyg säljer därmed ett snitt draget ur en lottdragning

Bilder

bnonews.com

En ny undersökning pekar på att stora språkmodeller som ChatGPT inte fungerar som statiska informationskällor, utan snarare som instabila system vars svar kan skifta drastiskt baserat på hur ofta och i vilken ordning en fråga ställs. Resultaten tyder på att en enskild AI-rankning inte kan likställas med en bestående sökresultatposition, utan snarare representerar ett ögonblick i en komplex datadistribution.

Analysen, som genomförts av marknadsföringsbyrån BusySeed, jämför svar från ChatGPT på samma köpfråga upprepade gånger. En omfattande studie som täckte över 172 000 par svar visade att i endast 25,4 procent av fallen var det föredragna varumärket detsamma vid upprepade frågor. Detta innebär att i majoriteten av fallen ändrades rekommendationen markant vid nästa fråga. Bland de 143 kategorier där tillräcklig data fanns, lå medianandelen av svar som föreslog ett annat ledande varumärke vid upprepade frågor på 77,3 procent.

Slutsatsen är tydlig: ett varumärkes synlighet är inte en engångshändelse som definieras av en enda position i AI:ns svar. Det handlar snarare om frekvensen av exponering över ett brett spektrum av olika frågor. Detta utmanar idén om att en AI-plattform kan ge en absolut och stabil sanning om marknadens dominans.

Utöver ChatGPT genomförde BusySeed en separat studie med Claude och Gemini, där samma mönster observerades: i 56,4 procent av veckovisa jämförelser ändrades det främst nämnda företaget. Endast en liten andel av de spårade frågeserierna behöll samma ledande varumärke genom hela testperioden.

Forskarna betonar att de har använt utvecklarversionen av AI:n, vilket innebär att de inte kan skilja på slumpmässiga variationer inuti själva modellen och faktiska förändringar i de webbsidor som modellen refererar till. Trots dessa begränsningar drar ledningen för BusySeed slutsatsen att man inte ska läsa in för mycket i en enskild AI-respons. Att se var ett varumärke rankas på en viss dag ger endast insikt i den specifika situationen för just den dagen.