Im Projekt AIARLiver arbeitet die Forschungsgruppe Medizintechnik an KI-Methoden zur Führung von Operationen an der Leber mittels Augmented Reality. Die technische Herausforderung liegt dabei vor allem in der Verfolgung des Organs (Tracking) mittels Kameraufnahmen des AR-Headsets, um dann das virtuelle Abbild an die richtige Stelle zu projizieren. Und das in Echtzeit!
Der Doktorand Serouj Khajarian hat diese Herausforderung jetzt gemeistert: Tracking und Registrierung erfolgen nun in Echtzeit mit dem Hololens 2 AR-Headset. Er hat Trackingmethoden in die AR-Applikation integriert, die im Automobilbereich für das Tracking von Fahrzeugen für das autonome Fahren verwendet werden. Auch hat er mit verschiedenen Organ- und OP-Phantomen die wichtigsten OP-Szenarien nachgestellt und untersucht, durch was die Genauigkeit der Anwendung beeinflusst wird.
Diese Arbeit wurde jetzt mit einem Beitrag auf der renommierten IEEE Tagung „Biomedical and Health Informatics“ in Pittsburgh belohnt, für die insgesamt nur gut 23% aller eingereichten Beitragsvorschläge angenommen wurden. Den Teilnehmer*innen der Konferenz stellte er die Ergebnisse in einem Vortrag und auf einem Poster im Auditorium des „Soldiers & Sailors Memorial Hall & Museum“ vor.
Das Projekt ist ein multidisziplinäres Gemeinschaftswerk verschiedener Fakultäten. Serouj wird betreut von Prof. Dr. Stefanie Remmele von der Fakultät ETWI – vor allem in Fragen zur KI-Bildverarbeitung und -Synthese. Viele BMT Studierende haben in ihren Abschlussarbeiten dazu wichtige Vorarbeiten geleistet. Zudem steuerten Prof. Dr. Christopher Auer und Prof. Dr. Eduard Kromer – beide Angehörige der Fakultät Informatik – wertvollen Input aus Studienprojekten im KI/Mixed Reality Labor bei. Prof. Dr. Aida Anetsberger von der Fakultät Interdisziplinäre Studien beriet das Projekt in Fragen zur Ethik und die Kollegen Prof. Dr. Norbert Babel und Prof. Dr. Walter Fischer von der Fakultät Maschinen- und Bauwesen unterstützten Abschluss- und Projektarbeiten bei der Entwicklung von Phantomen aus 3D Druck und Silikon für die Validierung (
Klinischer Partner im Projekt ist das LAKUMED Krankenhaus Landshut-Achdorf. Die dortigen Kollegen Prof. Dr. Johannes Schmidt aus der Viszeralchirurgie und Prof. Dr. Konstantin Holzapfel aus der Radiologie stellen wichtige Projektmitglieder dar. Denn in ihrem Arbeitsumfeld werden zurzeit die ersten klinischen Daten erhoben. Die nächsten Veröffentlichungen sind schon in der Pipeline.Fotos: Hochschule Landshut
