Platformen op basis van kunstmatige intelligentie zijn in de medische wereld al bijna niet meer weg te denken. ChatGPT blijkt prima inzetbaar om theoretische vragen over bacteriële infecties te beantwoorden. Maar bij de toepassing van die antwoorden is voorzichtigheid geboden.
In deze eerste studie naar de toepasbaarheid van de populaire ChatGPT hebben Italiaanse infectieziektespecialisten gekeken of deze chatbot te gebruiken is voor het beantwoorden van vragen over bacteriële infecties. Zij formuleerden hiertoe vragen over endocarditis, longontsteking, intra-abdominale infecties en bloedbaaninfecties, en maakten een onderverdeling in 6 waar/ niet waar-vragen, 6 open vragen en vragen over 6 (gedetailleerde) klinische casussen met 1 antibiogram per infectie.
720 antwoorden
De vragen zijn voorgelegd aan 4 aios, 4 infectieziektespecialisten, aan ChatGPT-4 en aan een getrainde versie van ChatGPT-4. De zo verkregen 720 antwoorden zijn beoordeeld door een geblindeerd panel van experts in antibioticabehandeling. Zij keken naar nauwkeurigheid, volledigheid, het vermogen om de juiste resistentiemechanismen te identificeren uit antibiogrammen en de juistheid van de antibioticavoorschriften.
Even goed
Bij de waar/niet waar-vragen scoorden alle 4 de groepen even goed. Bij de open vragen bleken de chatbots het beter te doen dan de artsen. Maar de AI-platformen hadden moeite met de klinische casuïstiek. Bij het kiezen van de antibioticabehandeling hadden de chatbots een hoger percentage foute antwoorden, hoewel dit verschil niet statistisch significant was. Verder schreef ChatGPT-4 minder vaak nieuwere antibiotica voor, zoals cefiderocol of imipenem/cilastatine/relebactam. Ook kozen beide chatbots voor een langere behandelduur dan nodig.
Doktersadvies
Hoofdonderzoeker Andrea De Vito: “Al zijn de ontwikkelingen veelbelovend, je kunt ChatGPT geen klinische beslissingen laten nemen. Maar ook al beantwoordt de computer de theoretische vragen goed, dan nog kunnen patiënten niet alle informatie geven die nodig is voor een juiste diagnose. ChatGPT kan geen lichamelijk onderzoek doen, lichaamstaal lezen of op basis van ervaring doorvragen. Doktersadvies blijft noodzakelijk.”
Bron:
- De Vito, A, Geremia N, Marino A, et al. Assessing ChatGPT’s theoretical knowledge and prescriptive accuracy in bacterial infections: a comparative study with residents and specialists. ESCMID 2024, poster P3951.