Integrating AI Segmentation, Simulated Digital Twins, and Extended Reality into Medical Education: A Narrative Technical Review and Proof-of-Concept Case Study. Journal of Personalized Medicine, 16(4), 202.
https://doi.org/10.3390/jpm16040202Von Bilddaten zu digitalen Zwillingen
Die medizinische Bildgebung war lange auf zweidimensionale Schnittdarstellungen beschränkt. CT und MRT liefern hochdetaillierte Daten, deren Interpretation jedoch Erfahrung, Zeit und eine mentale räumliche Rekonstruktion durch den Chirurgen erfordert. Jüngste Fortschritte in der KI verändern diesen Prozess grundlegend.
Die KI-Segmentierung reduziert den Zeitaufwand für die Aufbereitung von Bilddaten erheblich. Was früher umfangreiche manuelle Verarbeitung erforderte, kann nun automatisch generiert werden. Anatomische Strukturen wie Organe, Gefäße und Interessensbereiche werden innerhalb von Sekunden direkt aus CT- und MRT-Datensätzen identifiziert und getrennt, wodurch strukturierte und nutzbare Daten ohne manuellen Aufwand entstehen.
Zeigt ein Beispiel aus der aufgezeichneten Lektion, bei der der Lernende im direkten Sichtfeld des Instruktors steht und ein 3D-gerendertes Skoliosemodell zusammen mit Röntgenbildern der Skoliose-Anatomie betrachtet. Die magentafarbenen Hände im Bild stellen den aufgezeichneten Instruktor dar, der während der Wiedergabe der Lektion auf den digitalen Inhalten zeichnet.
Diese segmentierten Datensätze bilden die Grundlage für digitale Zwillinge - patientenspezifische 3D-Modelle, die die reale Anatomie abbilden. Anstatt einzelne Schichten zu interpretieren, können medizinische Fachkräfte und Studierende mit vollständigen anatomischen Strukturen im Raum interagieren, was das räumliche Verständnis verbessert und die kognitive Belastung reduziert.
Da die KI-Segmentierung die Modellerstellung automatisiert, wird die Erstellung digitaler Zwillinge skalierbar und ermöglicht eine breitere Einführung in Bildungsprogrammen und Institutionen.
Verbesserung von Verständnis und Kommunikation
Digitale Zwillinge verändern grundlegend, wie medizinische Daten genutzt und geteilt werden. Komplexe anatomische Zusammenhänge werden direkt sichtbar, und Pathologien können in ihrem vollständigen räumlichen Kontext isoliert und untersucht werden.
Anstatt Befunde verbal zu beschreiben oder sich auf 2D-Darstellungen zu verlassen, können Kliniker und Studierende denselben Datensatz gemeinsam in einer geteilten immersiven Umgebung betrachten. Mehrere Nutzer können in Echtzeit auf das Modell zugreifen und damit interagieren, jeweils aus ihrer eigenen Perspektive, was eine effektivere Zusammenarbeit und Abstimmung zwischen Disziplinen ermöglicht.
Erstellung von vierdimensionalen räumlichen Inhalten
In diesem Fall nutzte der Instruktor das RecordXR-Toolset von Medicalholodeck, um eine geführte Lerneinheit in einer VR-Umgebung aufzuzeichnen. Die Sitzung umfasste die Identifikation von Wirbelsäulenmarkern, neuraxiale Zugangstechniken sowie 3D-Annotationen pathologischer Anatomie bei einem Patienten mit schwerer Skoliose.
Im Gegensatz zu herkömmlichen 2D-Videolektionen bewahrt dieses XR-basierte Modul das räumliche Verständnis und die Expertenanleitung direkt im anatomischen Kontext. Die Erklärungen, Gesten und Interaktionen des Instruktors bleiben mit den 3D-Daten verknüpft und schaffen so eine intuitivere und ansprechendere Lernerfahrung.
Lernende können die Sitzung jederzeit erneut aufrufen, bestimmte Schritte wiederholen oder selbst mit dem Modell interagieren, um ihr Verständnis zu vertiefen. Die Aufzeichnung von Inhalten in VR ermöglicht es Lehrenden, strukturierte Bibliotheken aus Fällen, Simulationen und Lehrmaterialien zu erstellen, die zugänglich, wiederholbar und skalierbar sind.
Dieser Ansatz bewahrt nicht nur visuelle Informationen, sondern auch das Expertenwissen, wodurch komplexes prozedurales Wissen reproduzierbar und breit zugänglich wird.
Zeigt, dass der Lernende die RXR-Lektion aus verschiedenen Blickwinkeln betrachten kann, die über die Perspektive des Instruktors zum Zeitpunkt der Aufnahme hinausgehen. Die magentafarbenen Brillen und Hände repräsentieren die Visualisierung des Instruktors für den Lernenden. Der Instruktor demonstriert die Schrägstellung der Dornfortsätze im Skoliosemodell, um Einblicke in die pathologische Anatomie zu geben.
Von der Ausbildung zur klinischen Anwendung
Über die Ausbildung hinaus können dieselben Workflows direkt in die klinische Praxis übertragen werden. Die Kombination aus KI-Segmentierung, digitalen Zwillingen, Aufzeichnung und XR ermöglicht präoperative Planung, interdisziplinäre Zusammenarbeit und patientenspezifische Simulation in einer einheitlichen Umgebung.
Diese Kontinuität zwischen Lernen und klinischer Anwendung reduziert die Komplexität und unterstützt fundiertere Entscheidungen, wodurch die Lücke zwischen Ausbildung und realer Versorgung geschlossen wird.
Der Wandel hin zur räumlichen medizinischen Ausbildung
Durch die Umwandlung medizinischer Bilder in strukturierte 3D-Daten und deren Weiterentwicklung zu dynamischen digitalen Zwillingen ermöglicht KI eine neue Form des Lernens - immersiv, personalisiert und direkt mit der klinischen Praxis verbunden.
In Kombination mit XR verwandelt dieser Ansatz die Ausbildung in ein räumliches, interaktives Erlebnis und bereitet die nächste Generation von Klinikern auf eine zunehmend datengetriebene und simulationsbasierte Zukunft vor.
