Anatomieherkenning met AI tijdens slokdarmoperaties

Delen via:

Onderzoekers van UMC Utrecht en TU Eindhoven werken aan de inzet van artificiële intelligentie (AI) om anatomische structuren automatisch te herkennen tijdens slokdarmoperaties. Uiteindelijk willen de onderzoekers ook eerdere CT-scans koppelen aan het operatiebeeld, om chirurgen tijdens operaties te ondersteunen.

Een slokdarmresectie is een gecompliceerde operatie, mede door de ingewikkelde anatomische oriëntatie met dichtbij elkaar gelegen anatomische structuren. “AI-algoritmes hebben veel potentie om anatomische structuren te herkennen”, zegt arts-onderzoeker R.B. (Robin) den Boer (UMC Utrecht). “Binnen mijn promotietraject werk ik aan AI-technieken die de chirurg helpen om zich te oriënteren. We werken hiervoor samen met de Medical Imaging Analysis-groep van de TU Eindhoven. Uiteindelijk willen we toe naar een product dat eerder gemaakte CT-scans van de patiënt koppelt aan het operatiebeeld, zodat de chirurg een 3D-beeld ziet van de individuele patiënt, met daarop aangegeven de belangrijkste anatomische structuren.” 

Duizenden frames ingetekend

Voor het zover is, moet het AI-algoritme eerst goed getraind worden. “Het UMC Utrecht voert sinds 2003 slokdarmoperaties uit met een operatierobot, waardoor we inmiddels over honderden video-opnames beschikken. De robotcamera biedt gelukkig een heel stabiel beeld. Dat is ideaal om op te trainen.” De onderzoekers zijn daar nu 2 jaar mee bezig. Ze focusten eerst op het herkennen van simpele structuren, zoals de longen, bepaalde venen en de aorta. 

Het trainen is een intensief proces. “We hebben duizenden verschillende frames uit de video’s genomen en die op de computer handmatig ingetekend – dat was vooral mijn taak. Ik heb hiervoor eerst een aantal slokdarmoperaties bijgewoond, waarbij mijn promotor prof. dr. Jelle Ruurda me leerde hoe ik de structuren kon herkennen. Vervolgens hebben we gecheckt of er verschillen waren tussen hoe Jelle en ik de stilstaande beelden intekenden.”

Overlapscore

Na het intekenen testten de onderzoekers het algoritme op 200 frames die niet gebruikt waren voor de training. “We zagen toen dat mijn handmatige intekening en de AI-herkenning van structuren voor 75-90% overlapten”, vertelt Den Boer. “Voor de long lag het percentage op 90%. De long herkennen is natuurlijk niet de grootste uitdaging, maar we zagen dat de software ook kleine stukjes aorta vaak al kon herkennen. Soms bleek het algoritme zelfs een gedeelte van een vene te herkennen dat ik zelf gemist had.”
De onderzoekers weten nog niet of deze score voldoende is. “Misschien is het in de praktijk al goed genoeg om CT-scans te matchen met operatiebeelden, dat moeten we verder uitzoeken. Onze eerste matchpogingen waren wel hoopgevend. Overigens werkten we tot nu toe met AI-netwerken waarbij we de frames als afzonderlijke beelden aanbieden. Waarschijnlijk verbetert de score nog als je de tijdscomponent meeneemt, dus als het algoritme het verband tussen opeenvolgende beelden kan zien. Daarvoor heb je dan wel zwaardere algoritmes nodig, die misschien ook minder snel zijn.”

Generaliseren voor andere centra

De Utrechtse onderzoekers bouwen nu aan een onderzoeksgroep om de technieken in de komende jaren verder te ontwikkelen. Daarvoor ontvingen ze 2 miljoen euro van onder andere NWO en het Hanarth Fonds. “We hopen dat we over 4 tot 5 jaar een toepassing hebben die we parallel aan een operatie in een kamertje naast de OK kunnen testen. Voor echte toepassing bij patiënten is meer nodig. Zo is ons algoritme nu getraind op data van slechts 1 centrum. Bij een ander centrum kan de beeldkwaliteit, de hoek van de camera of de operatietechniek iets afwijken, wat de algoritmes kan verstoren. We zullen de software daarom moeten generaliseren. En om tot een klinisch product te komen, moet je ook stappen zetten qua gebruiksvriendelijkheid. Daarvoor overleggen we regelmatig met onder meer chirurgen en onderzoekers van de Universiteit Utrecht. Zij houden zich bezig met machine-mensinteracties. We werken ook samen met 2 bedrijven: een robotbedrijf en een bedrijf dat speciale VR-brillen maakt.”

Bredere toepassing

Uiteindelijk is het de bedoeling dat de AI-beeldherkenning met gekoppelde CT-scans ook beschikbaar komt voor laparoscopische slokdarmoperaties. “Wereldwijd wordt deze techniek namelijk ook veel gebruikt voor slokdarmoperaties”, verklaart Den Boer. Ook daarvoor lijkt AI in principe geschikt. “Zo is er een onderzoeksgroep in Straatsburg die realtime software inzet bij laparoscopische galblaasoperaties.” En daarover gesproken: er zijn nog veel meer mogelijke toepassingen. “Elders werken onderzoekers aan automatische beeldherkenning bij operaties aan onder andere de lever, de prostaat en het rectum”, weet de promovendus. “De matching met CT-scans is wel makkelijker in de thorax, omdat de organen daar minder beweeglijk zijn dan in de buik.”

Mogelijkheden te over dus – ook buiten de chirurgie. “Voor bijvoorbeeld coloscopieën en bronchoscopieën kunnen dit soort technieken eveneens meerwaarde bieden”, merkt Den Boer op. “Maar het vraagt wel om gedegen onderzoek en ontwikkeling. Artsen koesteren hoge verwachtingen van AI in de zorg, maar het gaat allemaal echt niet vanzelf. Het kost veel tijd om generaliseerbare netwerken te ontwikkelen en te updaten, het is niet allemaal rozengeur en maneschijn. Maar uiteindelijk kan beeldherkenning met AI ons zeker veel brengen.”

Gezondheidsfondsen luiden noodklok

jun 2024

Lees meer over Gezondheidsfondsen luiden noodklok

Samen beslissen over nacontrole na borstkanker

jun 2024 | Borstkanker

Lees meer over Samen beslissen over nacontrole na borstkanker

Accijnsverhoging beïnvloedt roker

jun 2024 | COPD, Longoncologie

Lees meer over Accijnsverhoging beïnvloedt roker

Effectiviteit versneld goedgekeurde kankermedicijnen meestal niet bevestigd

jun 2024

Lees meer over Effectiviteit versneld goedgekeurde kankermedicijnen meestal niet bevestigd

Behandeling van seksuele problemen bij patiënten met kanker vergt een holistische benadering

jun 2024 | Hoofd-halsoncologie, Uro-oncologie

Lees meer over Behandeling van seksuele problemen bij patiënten met kanker vergt een holistische benadering

Peritoneale metastasering treft relevant deel van patiënten met kanker

jun 2024 | Maag-darm-leveroncologie

Lees meer over Peritoneale metastasering treft relevant deel van patiënten met kanker

Challenges in advanced Cutaneous T-cell Lymphoma (CTCL) – diagnosis and management

10 jun 2024 om 16:30 | Lymfoom

Lees meer over Challenges in advanced Cutaneous T-cell Lymphoma (CTCL) – diagnosis and management

Keynote webinar: Spotlight on antibody–drug conjugates in cancer

19 feb 2024 om 17:30 | Borstkanker

Lees meer over Keynote webinar: Spotlight on antibody–drug conjugates in cancer

Prostaatkanker nu en in de toekomst

25 jan 2024 | Uro-oncologie

Lees meer over Prostaatkanker nu en in de toekomst

Niet-melanoom huidkanker in de regio

31 aug 2023 | Dermato-oncologie, Radiotherapie

Lees meer over Niet-melanoom huidkanker in de regio

Keynote Webinar | Spotlight on Cardio-Oncology

16 mei 2023 om 17:30

Lees meer over Keynote Webinar | Spotlight on Cardio-Oncology

Borstkanker; een update op alle vlakken

9 mei 2023 om 20:00 | Borstkanker, Neuro-oncologie

Lees meer over Borstkanker; een update op alle vlakken

Lung Academy webinar: Focus on difficult to treat patients with advanced NSCLC

17 feb 2023

Lees meer over Lung Academy webinar: Focus on difficult to treat patients with advanced NSCLC

Webcast Immuuntherapie: herkennen van bijwerkingen en acties voor de niet-oncoloog

12 okt 2022 | Immuuntherapie

Lees meer over Webcast Immuuntherapie: herkennen van bijwerkingen en acties voor de niet-oncoloog

Vaccinatiezorg voor medische risicogroepen

11 aug 2022 | HIV

Lees meer over Vaccinatiezorg voor medische risicogroepen

Immuno-oncologie module 1: immunologie en immuuntherapie

Lees meer over Immuno-oncologie module 1: immunologie en immuuntherapie

Immuno-oncologie module 2: Bijwerkingenmanagement en checkpoint inhibitors

Lees meer over Immuno-oncologie module 2: Bijwerkingenmanagement en checkpoint inhibitors

Immuno-oncologie module 3: Verpleegkundige casuïstiek

Lees meer over Immuno-oncologie module 3: Verpleegkundige casuïstiek

ESMO in ORANJE 2024

zaterdag 14 sep 2024 van 18:00 tot 20:00

Lees meer over ESMO in ORANJE 2024

AI-chatbot helpt bij het plannen van nieuwe afspraak bij no-show voor coloscopie

jun 2024 | Maag-darm-leveroncologie

Lees meer over AI-chatbot helpt bij het plannen van nieuwe afspraak bij no-show voor coloscopie

Complete responsen met dostarlimab bij mismatch repair deficiënt lokaal gevorderd rectumcarcinoom lijken duurzaam

jun 2024 | Chirurgie, Maag-darm-leveroncologie, Radiotherapie

Lees meer over Complete responsen met dostarlimab bij mismatch repair deficiënt lokaal gevorderd rectumcarcinoom lijken duurzaam

Trastuzumab-deruxtecan verbetert progressievrije overleving bij HER2-low en HER2-ultralow gemetastaseerd mammacarcinoom

jun 2024 | Borstkanker

Lees meer over Trastuzumab-deruxtecan verbetert progressievrije overleving bij HER2-low en HER2-ultralow gemetastaseerd mammacarcinoom

Duale immuuntherapie met nivolumab plus ipilimumab verbetert totale overleving van irresectabel hepatocellulair carcinoom

jun 2024 | Hepatologie, Maag-darm-leveroncologie

Lees meer over Duale immuuntherapie met nivolumab plus ipilimumab verbetert totale overleving van irresectabel hepatocellulair carcinoom

Langetermijnresultaten DESTINY-BREAST03 bevestigen eerdere bevindingen

jun 2024 | Borstkanker

Lees meer over Langetermijnresultaten DESTINY-BREAST03 bevestigen eerdere bevindingen

Durvalumab-onderhoudsbehandeling verbetert totale overleving bij limited-stage kleincellig longcarcinoom

jun 2024 | Longoncologie

Lees meer over Durvalumab-onderhoudsbehandeling verbetert totale overleving bij limited-stage kleincellig longcarcinoom

Levertransplantatie plus chemotherapie verlengt totale overleving bij irresectabele colorectale levermetastasen

jun 2024 | Maag-darm-leveroncologie

Lees meer over Levertransplantatie plus chemotherapie verlengt totale overleving bij irresectabele colorectale levermetastasen

Perioperatieve chemotherapie verbetert totale overleving bij resectabel oesofaguscarcinoom

jun 2024 | Maag-darm-leveroncologie

Lees meer over Perioperatieve chemotherapie verbetert totale overleving bij resectabel oesofaguscarcinoom

Osimertinib nieuwe standaard bij irresectabel EGFR+ stadium III NSCLC behandeld met chemoradiotherapie

jun 2024 | Longoncologie

Lees meer over Osimertinib nieuwe standaard bij irresectabel EGFR+ stadium III NSCLC behandeld met chemoradiotherapie

Podcast: Progress in PARP inhibitors - An exciting option for treating metastatic prostate cancer?

dec 2023 | Uro-oncologie

Lees meer over Podcast: Progress in PARP inhibitors - An exciting option for treating metastatic prostate cancer?

Podcast pancreascarcinoom

dec 2022 | Maag-darm-leveroncologie

Lees meer over Podcast pancreascarcinoom

Botgezondheid bij mCRPC in de praktijk

okt 2021 | Uro-oncologie

Lees meer over Botgezondheid bij mCRPC in de praktijk

Slokdarm- en maagkanker

jun 2021 | Chirurgie, Maag-darm-leveroncologie

Lees meer over Slokdarm- en maagkanker

Impact van COVID-19 op bevolkingsonderzoek darmkanker in Nederland

feb 2021 | Maag-darm-leveroncologie

Lees meer over Impact van COVID-19 op bevolkingsonderzoek darmkanker in Nederland

MedNet Oncologie special Longkanker 2024

jun 2024

Lees meer over MedNet Oncologie special Longkanker 2024

MedNet Oncologie 2024-02

apr 2024

Lees meer over MedNet Oncologie 2024-02

MedNet Oncologie special Uro-Oncologie 2024

mrt 2024

Lees meer over MedNet Oncologie special Uro-Oncologie 2024

MedNet Oncologie 2024-01

feb 2024

Lees meer over MedNet Oncologie 2024-01

MedNet Oncologie 2023-06

dec 2023

Lees meer over MedNet Oncologie 2023-06

MedNet Oncologie special Longkanker 2023-2

nov 2023

Lees meer over MedNet Oncologie special Longkanker 2023-2

MedNet Oncologie 2023-05

okt 2023

Lees meer over MedNet Oncologie 2023-05

MedNet Oncologie special Colectoraal carcinoom 2023

sep 2023

Lees meer over MedNet Oncologie special Colectoraal carcinoom 2023

MedNet Oncologie 2023-04

aug 2023

Lees meer over MedNet Oncologie 2023-04