VR, AR und 3D Simulation
Im Rahmen von Forschungsprojekten, Abschluss- und Projektarbeiten in den Studiengängen Informatik und Biomedizinische Technik werden verschiedene VR-, AR- und 3D-Webapplikationen für die Navigation chirurgischer Eingriffe sowie die Lehre entwickelt. Während AR-Technologien auf die Verbesserung der Wahrnehmung von Chirurgen zur verbesserten Präzison in der offenen Chirugie abzielen, geht es bei VR- und Websimulationen vorrangig um die Virtualisierung von schlecht zugänglichen Technologien wie die Räumlichkeiten und Gerätschaften aus Radiologie oder Radioonkologie.
Mixed Reality in der Chirurgie
Projekte und Finanzierung:
- AIARLiver: Intern (2021 - 2024)
- INMOTION: STMWK Bayern (2024 - 2027)
- AIARConcepts: Intern (2024 - 2027)
Klinischer Partner: Krankenhaus Agatharied, Klinikum Bayreuth, LAKUMED Krankenhaus Landshut-Achdorf
Industriepartner: Cariad SE, Corscience GmbH, Cosinuss GmbH, Infineon AG, mediCAD Hectec GmbH
Professoren:
Prof. Dr. Stefanie Remmele (Bildverarbeitung & -synthese)
Prof. Dr. Christopher Auer (Mixed Reality)
Prof. Dr. Eduard Kromer (AI Algorithms)
Prof. Dr. Norbert Babel (3D Druck)
Prof. Dr. Aida Anetsberger (Medical support)
Wissenschaftliche Mitarbeiter: Serouj Khajarian, Michael Schwimmbeck
Der Forschungsschwerpunkt erforscht Technologien zur Unterstützung von Chirurg:innen mittels Mixed Reality Technologien, die es erlauben, Ziel- und Risikostrukturen einer Intervention auf dem Patienten einzublenden. Schwerpunkte sind KI-unterstützte Algorithmen zum Beispiel zum Orten (Tracking) und der passgenauen Visualisierung der Modelle auf dem Patienten (Registrierung) und Konzepte für die Umsetzung in der medizinischen Anwendung.
Der Freistaat Bayern fördert die Initiative "INMOTION - Innovative Motion Tracking Technologies in Medical Applications" im Rahmen der 7. Förderrunde des Programms zur Förderung der angewandten Forschung und Entwicklung an HAWs und THs mit einer Fördersumme in Höhe von 714.977 €. Die Hochschule unterstützt das Projekt durch die Finanzierung einer Qualifizierungsstelle zum Aufbau der Forschungsgruppe (AIARConcepts).
Ausgewählte Projektarbeiten
Rapid Room Planning - Planung radiologischer Räume
Kontakt: Prof. Dr. Stefanie Remmele
Masterprojekt: Artur Maleta
Partner: Philips DXR Hamburg
Die Anwendung ist in Kooperation mit Philips DXR in Hamburg entstanden und dient zur Unterstützung in den frühen Phasen eines Raumplanungsprozesses, in denen oft nur Papierskizzen oder manuelle digitale Skizzen als Diskussionsgrundlage vorhanden sind. Weiterhin soll die Erstellung von Detailplänen im weiteren Verlauf eines Projekts ermöglicht werden. Ideen möglicher Raumaufteilungen sollen direkt virtuell mit realen Gerätemodellen und im echten Maßstab skizzierbar sein. Zusätzlich zur 2D-Raumaufteilungsplanung (Objektanordnung) und 3D-Verifikation (visuelle Kontrolle) des Aufbaus kann der Raumaufbau in VR erlebt werden, um ihn für den Nutzer greifbarer zu machen und Planungsfehler (z.B. bezüglich Abstände oder Deckenhöhe) zu reduzieren.
Cardboard Exkursionen in medizinische Räume
Kontakt: Prof. Dr. Christopher Auer, Prof. Dr. Stefanie Remmele
Studierendenprojekt Informatik 2022
Partner: EBM Papst Landshut
Medizinische Großgeräte wie Linearbeschleuniger, CT, MRT oder Röntgengeräte beanspruchen viel Platz und sind teuer in der Anschaffung. Gleichzeitig ist es wichtig ihre Funktionsweise zu verstehen, um sie für den Einsatz bewerten zu können. Zweidimensionale Darstellungen, z.B. auf Vorlesungsfolien, auch wenn sie gut gemacht sind, können nur schwer die Dimensionen und räumlichen Anordnungen der Komponenten der Geräte wiedergeben.
In einem Studienprojekt entwickelte ein Team Informatik-Studierender eine VR-Anwendung, die die Funktionsweise und Komponenten eines Röntgengeräts, LINACs, CTs und MRTs räumlich erfahrbar macht und so die Vorlesungsthemen durch eine neue Perspektive weiter vertieft. Dabei wurde besonders Wert auf die Nutzerfreundlichkeit gelegt, um einen schnellen Einstieg in die Anwendung zu gewährleisten. Zudem ermöglichen die eingesetzten Smartphone-VR-Brillen ("Cardboard VR") einen unkomplizierten Einsatz im Vorlesungssaal, ganz ohne Kabel und komplizierten Aufbau.
Für das Projekt sponserte die Firma EBM Papst in Landshut über 40 Cardboard Headsets!
Werkzeuge für die Entwicklung von AR Apps
Kontakt: Prof. Dr. Stefanie Remmele
BMT Projektarbeit (2019): T. Feulner, M. Kaiser, R. Stolz
Augmented Reality Anwendungen spielen in vielen Industriebereichen eine zunehmend wichtige Rolle. Gleichzeitig drängt eine wachsende Zahl an Entwicklungstools, Assets und Bibliotheken auf den Markt.
Im Sommer 2019 hat eine Projektgruppe verschiedene Strategien zur Entwicklung von Augmented Reality Apps miteinander vergleichen (u.a. mit Unity, Vuforia, Wikitude, Aframe, AR.js, ...). Das Projektteam entwickelte für den Vergleich eine interaktive Simulation einer Röntgenröhre und verglich Entwicklungsaufwand, Robustheit der Anwendung und Nutzerzufriedenheit. Gerne hier selbst einmal ausprobieren (siehe Bild).
3D Simulationen für die Lehre
Kontakt: Prof. Dr. Stefanie Remmele
Projekt-/Hiwi-/Abschlussarbeiten: Artur Maleta, Roland Stolz, Julian Fischer
Im Rahmen einer smartVHB Förderung und verschiedener Hiwiarbeiten im Labor für Medizintechnik sind verschiedene 3D Websimulationen entwickelt worden, die das Experimentieren zuhause in der digital unterstützten Lehre ermöglichen. Hier können der Einfluss von elektrischen Parameter auf die
- Kenngrößen elektrischer und magnetischer Felder untersucht werden oder
- Patienten in MRT-, Röntgen- und CT- Scannern untersucht werden.
Die Simulationen sind frei zugänglich unter Link.