Varför de flesta valideringsstudier av klinisk AI är missvisande

När ett företag inom klinisk AI publicerar valideringsresultat är huvudmåttet nästan alltid AUROC: arean under ROC-kurvan (Receiver Operating Characteristic). En AUROC på 0,95 låter enastående, och den dyker ständigt upp i investerarpresentationer, pressmeddelanden och konferensföredrag som bevis på att systemet ”fungerar”. Sjukhusledningar, investerare och till och med en del vårdpersonal ser 0,95 och drar slutsatsen att systemet identifierar tillståndet rätt i 95 % av fallen.

Den tolkningen är fel.

AUROC mäter diskriminering: systemets förmåga att rangordna ett slumpvis valt positivt fall högre än ett slumpvis valt negativt fall. Det är en sammanfattning över alla tänkbara tröskelvärden, och de flesta av dem kommer aldrig att användas i praktiken. Ett system med en AUROC på 0,95 är bättre på att rangordna än ett med 0,80, allt annat lika. Men AUROC säger ingenting om vad som händer vid just det tröskelvärde sjukhuset faktiskt kommer att använda, och ingenting om hur systemet presterar i den population sjukhuset faktiskt tar hand om.

Ta ett system för att upptäcka sepsis med en AUROC på 0,95, 85 % sensitivitet och 90 % specificitet. Siffrorna ser starka ut i en artikel. Placera dem nu på en riktig IVA där prevalensen av sepsis är 5 %.

För varje 1 000 screenade patienter har 50 sepsis och 950 inte. Systemet identifierar korrekt 42,5 av de 50 patienterna med sepsis. Det friar korrekt 855 av de 950 utan sepsis. Men det ger också 95 falsklarm bland de 950 som inte har sepsis. Det positiva prediktiva värdet, sannolikheten att en flaggad patient faktiskt har sepsis, blir 42,5 / (42,5 + 95) = 30,9 %.

Den som använder systemet kommer att se ungefär två falsklarm för varje sant larm. På en hektisk IVA kommer ett system som har fel i 70 % av fallen när det larmar att behandlas som brus inom några veckor. AUROC-värdet på 0,95 är verkligt, men det döljer den börda av falskt positiva larm som avgör om någon faktiskt kommer att använda systemet.

Jag såg det här hända under min kliniska utbildning, långt innan jag arbetade med AI. Larmtröttheten i journalsystemet var redan så svår att läkarna hade fått ett muskelminne för att klicka på ”åsidosätt” utan att läsa larmtexten.

De flesta valideringsstudier av klinisk AI testar systemet på data från samma institution som utvecklade det. Skälen är praktiska: utvecklarna har tillgång till sina egna data, de förstår hur det dokumenteras där, och intern validering går snabbare och är billigare. Men det skapar en systematisk bias som blåser upp den rapporterade prestandan.

Sjukhus skiljer sig åt på sätt som påverkar en algoritms prestanda djupt. Dokumentationen varierar: vissa sjukhus registrerar vitalparametrar varje timme, andra var fjärde timme. Mönstren för provbeställning skiljer sig. Journalsystemen är inte standardiserade. När en modell tränas och testas på data från ett enda sjukhus lär den sig mönster som innehåller alla dessa lokala artefakter vid sidan av de verkliga kliniska signalerna. Intern validering fångar båda. Extern validering visar vilka signaler som är verkliga.

Det mest lärorika exemplet är Epics modell för att förutsäga sepsis. Tränad och validerad internt visade den stark diskriminering. När forskare vid University of Michigan oberoende utvärderade samma modell på sina patienter sjönk AUROC till 0,63, knappt bättre än slumpen. Studien, publicerad av Wong et al. i JAMA Internal Medicine 2021, fann att modellen missade två tredjedelar av sepsisfallen och gav så många falsklarm att vårdpersonalens förtroende snabbt eroderade.

En systematisk översikt i Korean Journal of Radiology granskade 516 publicerade studier av AI för diagnostisk bilddiagnostik och fann att bara 6 % testade sin algoritm på ett oberoende, externt dataset. Sjukhus som fattar inköpsbeslut utifrån de övriga 94 % köper i en meningsfull mening overifierade prestandapåståenden.

Ett företag kan rapportera helt korrekta siffror och ändå ge en missvisande bild. Det handlar inte om bedrägeri. Det handlar om inramning.

Selektiv rapportering av undergrupper: ett system med en total AUROC på 0,82 kan nå 0,91 hos patienter över 65 med minst tre samsjukligheter. Företaget rapporterar 0,91 för ”högriskpopulationen”, vilket formellt stämmer men ger intryck av bättre prestanda än systemet levererar i hela patientpopulationen.

Att rapportera sensitivitet och specificitet utan PPV: ett företag som säger ”92 % sensitivitet och 88 % specificitet” anger sanna siffror som låter imponerande. Ett företag som säger ”PPV på 28 % vid 4 % prevalens” beskriver samma system. Vilken siffra skulle du inleda med i en säljpresentation?

En ansvarsfull valideringsrapport visar prestandan vid det tröskelvärde som faktiskt används i drift, inte bara över alla tänkbara tröskelvärden. Den visar hur systemet presterar på olika typer av sjukhus och i olika patientpopulationer, inte bara som en enda sammanslagen siffra. Och den redovisar om valideringen var intern eller extern. De flesta gör inte det.

De flesta sjukvårdsorganisationer som utvärderar klinisk AI får se en presentation med en enda prestandasiffra. Den siffran är oftast AUROC, ett mått som de flesta i vårdpersonalen och sjukhusledningen aldrig har fått lära sig att tolka. Det mäter hur väl ett system rangordnar patienter efter risk, inte hur träffsäkert det är när det faktiskt larmar. En hög AUROC betyder inte att systemet fungerar bra på ditt sjukhus, med dina patienter, vid det tröskelvärde ni kommer att använda.

Det här spelar större roll. Testades systemet på sjukhus som inte var med och byggde det? Om det bara validerats internt är det inte säkert att prestandan håller hos er. Olika sjukhus dokumenterar olika, beställer prover olika ofta och tar hand om olika populationer. Ett system som fungerar på sjukhuset där det byggdes har bevisat väldigt lite om var det i övrigt kommer att fungera.

Hur många falsklarm kommer dina sjuksköterskor att se per pass? Om systemet ger 20 larm per avdelning och 15 av dem är fel kommer personalen att lära sig ignorera alla inom några veckor. Fråga efter andelen falskt positiva vid det tröskelvärde systemet faktiskt använder, inte det teoretiskt bästa fallet i valideringsartikeln.

Hur tidigt upptäcker det faktiskt problem? Ett system som fångar en försämring 2 timmar före en kris ger ett visst värde. Ett system som fångar den ett dygn eller mer i förväg ger ditt team tid för helt andra åtgärder. Fråga efter mediantiden för tidig upptäckt i verklig drift, inte i retrospektiv analys.

Kan din personal se varför systemet flaggade en patient? Om svaret är nej blir användningen låg, oavsett träffsäkerhet. Läkare är utbildade att värdera evidens, inte att agera på oförklarade poäng.

ML-världen har obevekligt optimerat för diskrimineringsmått. AUROC och AUPRC besvarar frågan: kan systemet skilja positiva fall från negativa? För klinisk användning är det nödvändigt men inte tillräckligt.

Kalibrering mäter om de förutsagda sannolikheterna är tillförlitliga i absoluta tal. Ett välkalibrerat system som anger 30 % risk för sepsis ska se att ungefär 30 % av den gruppen faktiskt utvecklar det. Dålig kalibrering betyder att siffrorna inte kan tas för vad de är, och den som ska välja mellan aktiv exspektans och kraftfulla åtgärder behöver veta om ”70 % risk” faktiskt betyder 70 %. Kalibrering kan bedömas med kalibreringskurvor, Brier-poäng och Hosmer-Lemeshow-testet. Den rapporteras sällan i publikationer om klinisk AI. Den frånvaron bör ses som en varningssignal.

Framförhållning mäter hur tidigt systemet upptäcker tillstånd jämfört med konventionella metoder. För system som påstår sig ge ”tidig varning” är den relevanta frågan inte bara om de kan identifiera en försämring, utan hur mycket tidigare de identifierar den jämfört med vanlig klinisk bedömning. Ett system med lägre AUROC men 20 timmars större framförhållning kan rädda fler liv än ett med högre AUROC men minimalt försprång i tidig upptäckt.

Vi håller oss själva till samma krav. Vår egen validering, inklusive kalibrering och framförhållning, kommer att publiceras när den är klar.