Waarom de meeste validatiestudies naar klinische AI misleidend zijn

Als een bedrijf in klinische AI validatieresultaten publiceert, is het kopcijfer bijna altijd de AUROC: de oppervlakte onder de ROC-curve (Area Under the Receiver Operating Characteristic curve). Een AUROC van 0,95 klinkt uitzonderlijk, en het getal duikt geregeld op in pitchdecks, persberichten en congrespresentaties als bewijs dat het systeem ‘werkt’. Ziekenhuisbestuurders, investeerders en zelfs sommige zorgverleners zien 0,95 en concluderen dat het systeem de aandoening in 95% van de gevallen juist herkent.

Die uitleg klopt niet.

De AUROC meet onderscheidend vermogen: hoe goed het systeem een willekeurig gekozen positief geval hoger rangschikt dan een willekeurig gekozen negatief geval. Het is een samenvatting over alle mogelijke afkapwaarden, waarvan de meeste in de praktijk nooit worden gebruikt. Een systeem met een AUROC van 0,95 rangschikt beter dan een systeem met 0,80, als al het andere gelijk is. Maar de AUROC zegt niets over wat er gebeurt bij de afkapwaarde die het ziekenhuis echt gaat gebruiken, en niets over hoe het systeem presteert in de populatie die het ziekenhuis echt bedient.

Neem een systeem voor sepsisdetectie met een AUROC van 0,95, een sensitiviteit van 85% en een specificiteit van 90%. Op papier zien die cijfers er sterk uit. Zet ze nu op een echte IC waar de prevalentie van sepsis 5% is.

Op elke 1.000 gescreende patiënten hebben er 50 sepsis en 950 niet. Het systeem herkent 42,5 van de 50 sepsispatiënten. Het pleit 855 van de 950 patiënten zonder sepsis terecht vrij. Maar het geeft ook 95 vals alarmen bij die 950 patiënten zonder sepsis. De positief voorspellende waarde, de kans dat een gemarkeerde patiënt echt sepsis heeft, is 42,5 / (42,5 + 95) = 30,9%.

Een zorgverlener die met dit systeem werkt, ziet ongeveer twee vals alarmen op elk terecht alarm. Op een drukke IC wordt een systeem dat er in 70% van de gevallen naast zit als het alarm slaat, binnen een paar weken als ruis behandeld. De AUROC van 0,95 is echt, maar verhult de last van fout-positieven die bepaalt of iemand het systeem werkelijk gaat gebruiken.

Ik zag dit al gebeuren tijdens mijn opleiding, lang voordat ik in AI werkte. De alarmmoeheid door het EPD was toen al zo erg dat artsen op de automatische piloot op ‘negeren’ klikten zonder de tekst van de melding te lezen.

De meeste validatiestudies naar klinische AI testen het systeem op data van dezelfde instelling die het heeft ontwikkeld. De redenen zijn praktisch: ontwikkelaars hebben toegang tot hun eigen data, ze kennen hun eigen manier van registreren, en interne validatie is sneller en goedkoper. Maar zo ontstaat een systematische vertekening die de gerapporteerde prestaties opblaast.

Ziekenhuizen verschillen op manieren die de prestaties van een algoritme sterk beïnvloeden. De registratie verschilt: in de ene instelling worden vitale functies elk uur vastgelegd, in de andere om de vier uur. Labaanvragen volgen andere patronen. EPD's zijn niet gestandaardiseerd ingericht. Als een model wordt getraind en getest op data van één instelling, leert het patronen waarin al die lokale eigenaardigheden naast de echte klinische signalen zitten. Interne validatie meet beide. Externe validatie laat zien welke signalen echt zijn.

Het leerzaamste voorbeeld is het sepsismodel van Epic. Intern getraind en gevalideerd liet het een sterk onderscheidend vermogen zien. Toen onderzoekers van de University of Michigan hetzelfde model onafhankelijk evalueerden bij hun eigen patiënten, zakte de AUROC naar 0,63, nauwelijks beter dan toeval. De studie, in 2021 gepubliceerd door Wong et al. in JAMA Internal Medicine, liet zien dat het model twee derde van de sepsisgevallen miste en zoveel valse meldingen gaf dat het vertrouwen van zorgverleners snel afbrokkelde.

Een systematische review in het Korean Journal of Radiology bekeek 516 gepubliceerde studies naar AI voor diagnostische beeldvorming en vond dat maar 6% het algoritme had getest op een onafhankelijke, externe dataset. Ziekenhuizen die hun inkoopbeslissingen baseren op de andere 94%, kopen in feite ongeverifieerde prestatieclaims.

Een bedrijf kan volkomen juiste cijfers rapporteren en toch een misleidend beeld scheppen. Het gaat hier niet om fraude. Het gaat om de presentatie.

Selectief subgroepen rapporteren: een systeem met een totale AUROC van 0,82 haalt misschien 0,91 bij patiënten boven de 65 met minstens drie comorbiditeiten. Het bedrijf noemt die 0,91 voor de ‘hoogrisicopopulatie’. Dat klopt technisch, maar wekt de indruk van betere prestaties dan het systeem in de volledige patiëntenpopulatie levert.

Sensitiviteit en specificiteit rapporteren zonder PPV: een bedrijf dat zegt ‘92% sensitiviteit en 88% specificiteit’, noemt ware cijfers die indrukwekkend klinken. Een bedrijf dat zegt ‘PPV van 28% bij een prevalentie van 4%’, beschrijft hetzelfde systeem. Met welk getal zou jij een verkooppresentatie openen?

Een verantwoord validatierapport laat de prestaties zien bij de afkapwaarde die in de praktijk echt wordt gebruikt, niet alleen over alle mogelijke afkapwaarden. Het laat zien hoe het systeem presteert in verschillende soorten ziekenhuizen en patiëntenpopulaties, niet alleen als één samengevoegd getal. En het vermeldt of de validatie intern of extern was. De meeste rapporten doen dat niet.

De meeste zorgorganisaties die klinische AI beoordelen, krijgen een presentatie te zien met één prestatiecijfer. Dat cijfer is meestal de AUROC, een maat die de meeste zorgverleners en ziekenhuisbestuurders nooit hebben leren interpreteren. Hij meet hoe goed een systeem patiënten op risico rangschikt, niet hoe nauwkeurig het is als het echt een melding geeft. Een hoge AUROC betekent niet dat het systeem goed werkt in jouw ziekenhuis, bij jouw patiënten, bij de afkapwaarde die jij gaat gebruiken.

Dit is belangrijker. Is het systeem getest in ziekenhuizen die niet bij de bouw betrokken waren? Is het alleen intern gevalideerd, dan houden de prestaties in jouw instelling misschien geen stand. Ziekenhuizen registreren anders, vragen labonderzoek met een andere frequentie aan en bedienen andere populaties. Een systeem dat werkt in het ziekenhuis waar het gebouwd is, heeft nog heel weinig bewezen over waar het nog meer werkt.

Hoeveel vals alarmen zien je verpleegkundigen per dienst? Als het systeem per afdeling 20 meldingen geeft en 15 daarvan fout zijn, leert je personeel binnen een paar weken ze allemaal te negeren. Vraag naar het percentage fout-positieven bij de afkapwaarde die het systeem echt gebruikt, niet naar het theoretisch beste geval uit het validatieartikel.

Hoe vroeg ziet het systeem problemen echt? Een systeem dat achteruitgang 2 uur voor een crisis opmerkt, heeft enige waarde. Een systeem dat het een dag of meer eerder opmerkt, geeft je team tijd voor heel andere ingrepen. Vraag naar de mediane voorsprong in echte implementaties, niet uit een retrospectieve analyse.

Kunnen je zorgverleners zien waarom het systeem een patiënt markeerde? Zo niet, dan blijft het gebruik laag, hoe nauwkeurig het ook is. Artsen zijn opgeleid om bewijs te beoordelen, niet om te handelen op onverklaarde scores.

De wereld van machine learning heeft onvermoeibaar geoptimaliseerd op maten voor onderscheidend vermogen. AUROC en AUPRC beantwoorden de vraag: kan het systeem positieve van negatieve gevallen scheiden? Voor klinisch gebruik is dat nodig, maar niet genoeg.

Kalibratie meet of voorspelde kansen in absolute zin betrouwbaar zijn. Bij een goed gekalibreerd systeem dat een groep een risico op sepsis van 30% geeft, zou ongeveer 30% van die groep ook echt sepsis moeten krijgen. Bij een slechte kalibratie kun je de getallen niet op hun waarde vertrouwen, en een zorgverlener die moet kiezen tussen afwachten en agressief ingrijpen, moet weten of ‘70% risico’ ook echt 70% betekent. Kalibratie is te beoordelen met kalibratiecurves, Brier-scores en de Hosmer-Lemeshow-statistiek. In publicaties over klinische AI wordt ze zelden gerapporteerd. Dat ontbreken moet je als waarschuwingssignaal opvatten.

De voorsprong meet hoeveel eerder het systeem aandoeningen opmerkt dan de gebruikelijke aanpak. Bij systemen die een ‘vroege waarschuwing’ beloven, is de vraag niet alleen of ze achteruitgang kunnen herkennen, maar hoeveel eerder ze die herkennen dan de standaard klinische beoordeling. Een systeem met een lagere AUROC maar 20 uur meer voorsprong kan meer levens redden dan een systeem met een hogere AUROC en nauwelijks voordeel in vroege opsporing.

We houden onszelf aan dezelfde maatstaven. Onze eigen validatie, inclusief kalibratie en voorsprong, publiceren we zodra die af is.