Onderzoekers van UMC Utrecht en TU Eindhoven werken aan de inzet van artificiële intelligentie (AI) om anatomische structuren automatisch te herkennen tijdens slokdarmoperaties. Uiteindelijk willen de onderzoekers ook eerdere CT-scans koppelen aan het operatiebeeld, om chirurgen tijdens operaties te ondersteunen.
Een slokdarmresectie is een gecompliceerde operatie, mede door de ingewikkelde anatomische oriëntatie met dichtbij elkaar gelegen anatomische structuren. “AI-algoritmes hebben veel potentie om anatomische structuren te herkennen”, zegt arts-onderzoeker R.B. (Robin) den Boer (UMC Utrecht). “Binnen mijn promotietraject werk ik aan AI-technieken die de chirurg helpen om zich te oriënteren. We werken hiervoor samen met de Medical Imaging Analysis-groep van de TU Eindhoven. Uiteindelijk willen we toe naar een product dat eerder gemaakte CT-scans van de patiënt koppelt aan het operatiebeeld, zodat de chirurg een 3D-beeld ziet van de individuele patiënt, met daarop aangegeven de belangrijkste anatomische structuren.”
Duizenden frames ingetekend
Voor het zover is, moet het AI-algoritme eerst goed getraind worden. “Het UMC Utrecht voert sinds 2003 slokdarmoperaties uit met een operatierobot, waardoor we inmiddels over honderden video-opnames beschikken. De robotcamera biedt gelukkig een heel stabiel beeld. Dat is ideaal om op te trainen.” De onderzoekers zijn daar nu 2 jaar mee bezig. Ze focusten eerst op het herkennen van simpele structuren, zoals de longen, bepaalde venen en de aorta.
Het trainen is een intensief proces. “We hebben duizenden verschillende frames uit de video’s genomen en die op de computer handmatig ingetekend – dat was vooral mijn taak. Ik heb hiervoor eerst een aantal slokdarmoperaties bijgewoond, waarbij mijn promotor prof. dr. Jelle Ruurda me leerde hoe ik de structuren kon herkennen. Vervolgens hebben we gecheckt of er verschillen waren tussen hoe Jelle en ik de stilstaande beelden intekenden.”
Overlapscore
Na het intekenen testten de onderzoekers het algoritme op 200 frames die niet gebruikt waren voor de training. “We zagen toen dat mijn handmatige intekening en de AI-herkenning van structuren voor 75-90% overlapten”, vertelt Den Boer. “Voor de long lag het percentage op 90%. De long herkennen is natuurlijk niet de grootste uitdaging, maar we zagen dat de software ook kleine stukjes aorta vaak al kon herkennen. Soms bleek het algoritme zelfs een gedeelte van een vene te herkennen dat ik zelf gemist had.”
De onderzoekers weten nog niet of deze score voldoende is. “Misschien is het in de praktijk al goed genoeg om CT-scans te matchen met operatiebeelden, dat moeten we verder uitzoeken. Onze eerste matchpogingen waren wel hoopgevend. Overigens werkten we tot nu toe met AI-netwerken waarbij we de frames als afzonderlijke beelden aanbieden. Waarschijnlijk verbetert de score nog als je de tijdscomponent meeneemt, dus als het algoritme het verband tussen opeenvolgende beelden kan zien. Daarvoor heb je dan wel zwaardere algoritmes nodig, die misschien ook minder snel zijn.”
Generaliseren voor andere centra
De Utrechtse onderzoekers bouwen nu aan een onderzoeksgroep om de technieken in de komende jaren verder te ontwikkelen. Daarvoor ontvingen ze 2 miljoen euro van onder andere NWO en het Hanarth Fonds. “We hopen dat we over 4 tot 5 jaar een toepassing hebben die we parallel aan een operatie in een kamertje naast de OK kunnen testen. Voor echte toepassing bij patiënten is meer nodig. Zo is ons algoritme nu getraind op data van slechts 1 centrum. Bij een ander centrum kan de beeldkwaliteit, de hoek van de camera of de operatietechniek iets afwijken, wat de algoritmes kan verstoren. We zullen de software daarom moeten generaliseren. En om tot een klinisch product te komen, moet je ook stappen zetten qua gebruiksvriendelijkheid. Daarvoor overleggen we regelmatig met onder meer chirurgen en onderzoekers van de Universiteit Utrecht. Zij houden zich bezig met machine-mensinteracties. We werken ook samen met 2 bedrijven: een robotbedrijf en een bedrijf dat speciale VR-brillen maakt.”
Bredere toepassing
Uiteindelijk is het de bedoeling dat de AI-beeldherkenning met gekoppelde CT-scans ook beschikbaar komt voor laparoscopische slokdarmoperaties. “Wereldwijd wordt deze techniek namelijk ook veel gebruikt voor slokdarmoperaties”, verklaart Den Boer. Ook daarvoor lijkt AI in principe geschikt. “Zo is er een onderzoeksgroep in Straatsburg die realtime software inzet bij laparoscopische galblaasoperaties.” En daarover gesproken: er zijn nog veel meer mogelijke toepassingen. “Elders werken onderzoekers aan automatische beeldherkenning bij operaties aan onder andere de lever, de prostaat en het rectum”, weet de promovendus. “De matching met CT-scans is wel makkelijker in de thorax, omdat de organen daar minder beweeglijk zijn dan in de buik.”
Mogelijkheden te over dus – ook buiten de chirurgie. “Voor bijvoorbeeld coloscopieën en bronchoscopieën kunnen dit soort technieken eveneens meerwaarde bieden”, merkt Den Boer op. “Maar het vraagt wel om gedegen onderzoek en ontwikkeling. Artsen koesteren hoge verwachtingen van AI in de zorg, maar het gaat allemaal echt niet vanzelf. Het kost veel tijd om generaliseerbare netwerken te ontwikkelen en te updaten, het is niet allemaal rozengeur en maneschijn. Maar uiteindelijk kan beeldherkenning met AI ons zeker veel brengen.”