Geen enkele AI-chatbot foutloos bij reumatologische vragen

Delen via:
ACR 2026

Even snel iets opzoeken doen we steeds vaker via een AI-chatbot. Maar hoe goed volgen de grote taalmodellen (LLM’s) de reumatologierichtlijnen? Onderzoekers van het Mercy Catholic Medical Center in Pennsylvania (Verenigde Staten) hebben 5 platforms dezelfde klinische casussen voorgelegd. Geen enkel platform presteerde foutloos.

De onderzoekers hebben 60 casussen opgesteld op basis van actuele aanbevelingen van de ACR en EULAR. Die gingen onder meer over reumatoïde artritis (RA), systemische lupus erythematodes (SLE), jicht, ANCA-geassocieerde vasculitis, osteoporose en spondyloartritis. De vragen gingen over diagnostiek, de keuze voor een biological, het afbouwen van glucocorticoïden, vaccinaties en complicaties.

Verzonnen bronnen

In maart en april 2026 zijn identieke vragen gesteld aan ChatGPT 5.5, Gemini 3, Claude Opus 4.7, Perplexity en OpenEvidence. Beoordelaars die niet wisten van welk platform een antwoord kwam, toetsten de antwoorden aan de richtlijnen. Ze scoorden ze ook op juistheid, relevantie, volledigheid en educatieve waarde.

OpenEvidence is gebouwd op medische literatuur. Dat platform volgde de richtlijnen het vaakst (91%) en had het laagste aandeel ‘hallucinaties’: 3,8%. Daaronder vielen verzonnen bronnen en adviezen die ingaan tegen de richtlijn. ChatGPT volgde met 89% en 6,2% en scoorde het hoogst op volledigheid en educatieve waarde. Claude zat in de middenmoot (85 en 8,5%). Perplexity en Gemini scoorden het laagst, met hallucinaties in respectievelijk 16 en 18% van de antwoorden. Alle platforms antwoordden gemiddeld binnen 22 seconden.

Dubbelcheck

Volgens Tanya Ratnani, die het onderzoek presenteerde, zaten de fouten in de ‘kleine lettertjes’: verkeerde doseringen, verouderde therapiekeuzen en onjuist screeningsadvies. Het gaat dus om details die vaak veranderen. “Een vloeiend geformuleerde reactie is nog geen correct antwoord.”

Haar advies: controleer elke bron en elke dosis, en check welke richtlijnversie wordt gebruikt. “AI is een concept, geen beslissing.” Het onderzoek is wel een momentopname, met losse vragen zonder volledige patiëntcontext. Ook maakt Ratnani de kanttekening dat AI-modellen snel veranderen.

Bron:

Pitliya A, Rani B, Naseem A, et al. Artificial intelligence in rheumatology: a comparative evaluation of guideline concordance and hallucination risk across platforms. ACR 2026, plenary presentation 0869.