ChatGPT presteert beter dan de AI-modellen Gemini en Grok bij het beantwoorden van vragen over implanteerbare cardioverter-defibrillatoren. Dat blijkt uit een vergelijkend onderzoek waarin deze 3 AI-modellen werden beoordeeld op nauwkeurigheid, relevantie, educatieve kwaliteit en veiligheid. ChatGPT behaalde op alle 4 de onderdelen de hoogste scores, terwijl Grok het snelst antwoord gaf.1
Generatieve AI wordt steeds vaker ingezet binnen de geneeskunde, onder meer in het kader van medische voorlichting en bij klinische beslissingsondersteuning. Onderzoekers vergeleken daarom de prestaties van ChatGPT, Gemini en Grok bij 50 veelgestelde vragen over implanteerbare cardioverter-defibrillatoren (ICD’s). Deze vragen betroffen onder meer indicaties voor implantatie, complicaties, magnetic resonance imaging (MRI)-compatibiliteit, leefregels, monitoring op afstand, de psychische gevolgen en het handelen na een ICD-schok. Alle vragen werden onder gestandaardiseerde omstandigheden aan de 3 modellen voorgelegd. De geanonimiseerde antwoorden werden vervolgens onafhankelijk beoordeeld door 6 arts-assistenten interne geneeskunde en 1 supervisor. Zij gebruikten daarvoor een 5-puntsschaal voor nauwkeurigheid, relevantie, educatieve kwaliteit en overeenstemming met richtlijnen.
ChatGPT behaalde de hoogste gemiddelde scores voor nauwkeurigheid (4,52), relevantie (4,71), educatieve kwaliteit (4,46) en veiligheid/richtlijnconformiteit (4,63). Gemini scoorde eveneens goed op educatieve kwaliteit (4,39), maar scoorde minder op nauwkeurigheid en veiligheid. Grok was met gemiddeld 13,9 seconden het snelst, maar presteerde minder consistent bij elektrofysiologische vraagstukken en veiligheidsadviezen. De verschillen tussen de modellen waren statistisch significant voor alle beoordeelde domeinen, waaronder nauwkeurigheid (p = 0,0012), relevantie (p = 0,0004) en veiligheid (p = 0,0009). Volgens de onderzoekers kan generatieve AI een waardevolle aanvulling zijn op patiëntenvoorlichting over ICD’s, maar medische supervisie blijft noodzakelijk. De resultaten ondersteunen het gebruik van AI als hulpmiddel, maar niet als vervanging van het klinisch oordeel van de behandelend arts.
Bron:
Kour R, Rani B, Itoo U, et al. Artificial intelligence for ICD decision support: benchmarking ChatGPT, Gemini, and Grok in electrophysiology communication. AHA Congress 2026, poster Su3031.