Integrating AI Segmentation, Simulated Digital Twins, and Extended Reality into Medical Education: A Narrative Technical Review and Proof-of-Concept Case Study. Journal of Personalized Medicine, 16(4), 202.
https://doi.org/10.3390/jpm16040202Des données d’imagerie aux jumeaux numériques
L’imagerie médicale a longtemps été limitée à des vues bidimensionnelles en coupe. Le CT et l’IRM fournissent des données très détaillées, mais leur interprétation nécessite de l’expérience, du temps et une reconstruction spatiale mentale par le chirurgien. Les avancées récentes en IA transforment fondamentalement ce processus.
La segmentation par IA réduit considérablement le temps nécessaire à la préparation des données d’imagerie. Ce qui nécessitait auparavant un traitement manuel important peut désormais être généré automatiquement. Les structures anatomiques telles que les organes, les vaisseaux et les régions d’intérêt sont identifiées et séparées directement des données CT et IRM en quelques secondes, créant des données structurées et exploitables sans effort manuel.
Montre un exemple de la leçon enregistrée où l’apprenant se tient dans le champ de vision direct de l’instructeur et observe un modèle de scoliose rendu en 3D, accompagné d’images côte à côte de l’anatomie de la scoliose en radiographie. Les mains magenta représentent l’instructeur enregistré dessinant sur les contenus numériques pendant la lecture de la leçon.
Ces ensembles de données segmentées constituent la base des jumeaux numériques, des modèles 3D spécifiques au patient représentant l’anatomie réelle. Au lieu d’interpréter des coupes individuelles, les professionnels de santé et les étudiants peuvent interagir avec des structures anatomiques complètes dans l’espace, améliorant la compréhension spatiale et réduisant la charge cognitive.
À mesure que la segmentation par IA automatise la création de modèles, la génération de jumeaux numériques devient évolutive, permettant une adoption plus large dans les programmes éducatifs et les institutions.
Améliorer la compréhension et la communication
Les jumeaux numériques transforment fondamentalement l’utilisation et le partage des données médicales. Les relations anatomiques complexes deviennent directement visibles, et les pathologies peuvent être isolées et explorées dans leur contexte spatial complet.
Au lieu de décrire les résultats verbalement ou de s’appuyer sur des représentations 2D, les cliniciens et les étudiants peuvent examiner le même ensemble de données dans un environnement immersif partagé. Plusieurs utilisateurs peuvent accéder au modèle et interagir avec lui en temps réel, chacun depuis sa propre perspective, favorisant une collaboration plus efficace et une meilleure coordination entre disciplines.
Création de contenu spatial en quatre dimensions
Dans ce cas, l’instructeur a utilisé l’ outil RecordXR de Medicalholodeck pour enregistrer une session éducative guidée dans un environnement VR. La session comprenait l’identification des repères spinaux, des techniques d’accès neuraxial et l’annotation 3D de l’anatomie pathologique chez un patient atteint de scoliose sévère.
Contrairement aux vidéos pédagogiques 2D traditionnelles, ce module basé sur la XR préserve le raisonnement spatial et les conseils d’experts directement dans le contexte anatomique. Les explications, gestes et interactions de l’instructeur restent liés aux données 3D, créant une expérience d’apprentissage plus intuitive et immersive.
Les apprenants peuvent revoir la session à tout moment, rejouer des étapes spécifiques ou interagir avec le modèle pour renforcer leur compréhension. L’enregistrement de contenu en VR permet aux éducateurs de créer des bibliothèques structurées de cas, de simulations et de supports pédagogiques accessibles, reproductibles et évolutifs.
Cette approche préserve non seulement les informations visuelles, mais aussi le raisonnement expert, rendant les connaissances procédurales complexes reproductibles et largement accessibles.
Montre que l’apprenant peut observer la leçon RXR sous différents angles au-delà du point de vue de l’instructeur lors de l’enregistrement. Les lunettes et les mains magenta représentent l’incarnation de l’instructeur visualisée pour l’apprenant. L’instructeur démontre l’obliquité des processus épineux sur le modèle de scoliose pour fournir un aperçu de l’anatomie pathologique.
De l’éducation à l’application clinique
Au-delà de l’éducation, les mêmes flux de travail peuvent être directement appliqués à la pratique clinique. La combinaison de la segmentation par IA, des jumeaux numériques, de l’enregistrement et de la XR permet la planification préopératoire, la collaboration interdisciplinaire et la simulation spécifique au patient dans un environnement unifié.
Cette continuité entre apprentissage et application clinique réduit la complexité et favorise une prise de décision plus éclairée, comblant le fossé entre formation et pratique réelle.
La transition vers l’éducation médicale spatiale
En transformant les images médicales en données 3D structurées et en les faisant évoluer en jumeaux numériques dynamiques, l’IA permet une nouvelle forme d’apprentissage immersive, personnalisée et directement liée à la pratique clinique.
Combinée à la XR, cette approche transforme l’éducation en une expérience spatiale et interactive, préparant la prochaine génération de cliniciens à un avenir de plus en plus axé sur les données et la simulation.
