Tre metoder för att mäta kognitiv omvärdering mäter inte samma sak

Tre standardiserade sätt att mäta kognitiv omvärdering — den emotionsreglerande förmåga som utgör kärnan i kognitiv beteendeterapi — verkar inte mäta samma sak. Det visar en studie publicerad i Nature. Ett internationellt samarbete jämförde självskattningsfrågeformulär, uppgiftsbaserade affektbedömningar och nedreglering av hjärnbijuglen (amygdala) inspelad i 40 uppsättningar av funktionell magnetkamerabildning. Slutsatsen: nästan ingen av variationen i det ena måttet återfanns i de andra.

Omvärdering är inget udda begrepp. Kognitiv beteendeterapi beskrivs som en av de mest framgångsrika terapiformerna, och dess centrala handling — att tänka om en situation tills den gör mindre ont — har kopplats till emotionell motståndskraft i studie efter studie. Men om mätinstrumenten inte överensstämmer kan forskningsfältet varken säga vem som är skicklig på förmågan, huruvida en insats förbättrat den, eller vad hjärnbildningslitteraturen om omvärdering egentligen har observerat genom åren. De mätta effekterna var så små att en enskild studie skulle behöva 1 105 deltagare för att upptäcka dem med åttio procents statistisk styrka. Nästan inget laboratorium i världen testar så många deltagare. Även hjärndata betedde sig underligt: regioner som ansvarar för överordnad beslutsfattande engagerades inte vid omvärdering, så som teorin kräver. I stället speglade aktiviteten i hjärnbijuglen aktiviteten på andra ställen — starkare känslomässiga reaktioner följdes av mer aktivitet i resonemangscentra, dämpade reaktioner av mindre.

Negativa resultat är nästan omöjliga att publicera. Fynd om frånvaro av effekt hamnar i obskyra tidskrifter eller lever kvar som opublicerad ryktesspridning mellan laboratorier. Ingen karriär främjas av att kontrollera om två frågeformulär överensstämmer, men varje karriär främjas av att rapportera en ny effekt mätt med ett av dem. Begreppen fortsätter ändå att verka — i kliniker, i forskningsansökningar och i den vidare ekonomin av tester och träningsappar byggda på psykologisk mätning.

Resultatet ger psykologins replikeringskris en ny tolkning. Berättelsen har vanligen handlat om vetenskapligt fusk och tveksam statistik, men studien pekar mot något som liknar ett mättekniskt haveri: forskningsfält som drivs av begrepp som aldrig kunnat uppvisa konvergent validitet — egenskapen att olika instrument ger samstämmiga svar när de riktas mot samma sak. Månaden har redan bjudit på ett liknande avfall: Uta Frith, en av forskarna som bidrog till att etablera autismspektrat, har offentligt övergett begreppet i takt med att antalet diagnoser mångfaldigats.

Studiens författare kräver en grundläggande omvärdering av hur förmågan till omvärdering mäts och tolkas. Frågeformulären cirkulerar dock alltjämt.

Det finns en bredare lärdom här, som sträcker sig bortom psykologin. När en hel sektor finansieras av offentliga medel och bedöms på publiceringsvolym snarare än på faktisk användbarhet, uppstår incitament som belönar nya positiva fynd och straffar granskning av det befintliga. Staten och forskningsfinansiärerna betalar inte kostnaden för att felaktiga mätinstrument sprids i kliniken — den kostnaden bärs av patienterna. Ett system där enskilda aktörer själva bar konsekvenserna av sina mätningar skulle ha reagerat långt tidigare. Att det istället behövs en samarbetsstudie i Nature för att ifrågasätta instrument som använts i årtionden säger något om hur väl självkorrigerande den offentligt finansierade vetenskapen faktiskt är.