Integrating AI Segmentation, Simulated Digital Twins, and Extended Reality into Medical Education: A Narrative Technical Review and Proof-of-Concept Case Study. Journal of Personalized Medicine, 16(4), 202.
https://doi.org/10.3390/jpm16040202De dados de imagem a gêmeos digitais
A imagem médica tem sido historicamente limitada a visualizações bidimensionais em cortes transversais. CT e MRI fornecem dados altamente detalhados, mas sua interpretação requer experiência, tempo e reconstrução espacial mental pelo cirurgião. Avanços recentes em IA estão transformando fundamentalmente esse processo.
A segmentação por IA reduz significativamente o tempo necessário para preparar dados de imagem. O que antes exigia processamento manual extensivo agora pode ser gerado automaticamente. Estruturas anatômicas como órgãos, vasos e regiões de interesse são identificadas e separadas diretamente de conjuntos de dados de CT e MRI em segundos, criando dados estruturados e utilizáveis sem esforço manual.
Mostra um exemplo da aula gravada onde o aluno está no campo de visão direto do instrutor observando o modelo de escoliose renderizado em 3D, juntamente com imagens lado a lado da anatomia da escoliose em raio-X. As mãos magenta representam o instrutor gravado desenhando sobre os ativos digitais durante a reprodução da aula.
Esses conjuntos de dados segmentados formam a base dos gêmeos digitais, modelos 3D específicos do paciente que representam a anatomia real. Em vez de interpretar fatias individuais, profissionais de saúde e estudantes podem interagir com estruturas anatômicas completas no espaço, melhorando a compreensão espacial e reduzindo a carga cognitiva.
À medida que a segmentação por IA automatiza a criação de modelos, a geração de gêmeos digitais torna-se escalável, permitindo uma adoção mais ampla em programas educacionais e instituições.
Melhorando a compreensão e a comunicação
Os gêmeos digitais transformam fundamentalmente a forma como os dados médicos são utilizados e compartilhados. Relações anatômicas complexas tornam-se diretamente visíveis, e patologias podem ser isoladas e exploradas em seu contexto espacial completo.
Em vez de descrever achados verbalmente ou depender de representações 2D, clínicos e estudantes podem revisar o mesmo conjunto de dados juntos em um ambiente imersivo compartilhado. Múltiplos usuários podem acessar e interagir com o modelo em tempo real, cada um a partir de sua própria perspectiva, permitindo colaboração mais eficaz e alinhamento entre disciplinas.
Criação de conteúdo espacial em quatro dimensões
Neste caso, o instrutor utilizou o conjunto de ferramentas RecordXR do Medicalholodeck para gravar uma sessão educacional guiada em um ambiente de VR. A sessão incluiu identificação de pontos anatômicos da coluna, técnicas de acesso neuraxial e anotação 3D da anatomia patológica em um paciente com escoliose grave.
Ao contrário do ensino tradicional em vídeo 2D, este módulo baseado em XR preserva o raciocínio espacial e a orientação especializada diretamente no contexto anatômico. As explicações, gestos e interações do instrutor permanecem ligados aos dados 3D, criando uma experiência de aprendizagem mais intuitiva e envolvente.
Os alunos podem revisitar a sessão a qualquer momento, reproduzir etapas específicas ou interagir com o modelo para reforçar o entendimento. A gravação de conteúdo em VR permite que educadores criem bibliotecas estruturadas de casos, simulações e materiais didáticos acessíveis, repetíveis e escaláveis.
Essa abordagem preserva não apenas as informações visuais, mas também o raciocínio especializado, tornando o conhecimento procedimental complexo reproduzível e amplamente acessível.
Mostra que o aluno pode visualizar a lição RXR de diferentes ângulos além da perspectiva do instrutor no momento da gravação. Os óculos e as mãos magenta representam a personificação do instrutor visualizada para o aluno. O instrutor demonstra a obliquidade dos processos espinhosos no modelo de escoliose para fornecer uma visão da anatomia patológica.
Da educação à aplicação clínica
Além da educação, os mesmos fluxos de trabalho podem ser diretamente aplicados à prática clínica. A combinação de segmentação por IA, gêmeos digitais, gravação e XR permite planejamento pré-operatório, colaboração interdisciplinar e simulação específica do paciente em um ambiente unificado.
Essa continuidade entre aprendizagem e aplicação clínica reduz a complexidade e apoia uma tomada de decisão mais informada, conectando o treinamento à prática real.
A transição para a educação médica espacial
Ao converter imagens médicas em dados 3D estruturados e transformá-los em gêmeos digitais dinâmicos, a IA permite uma nova forma de aprendizagem: imersiva, personalizada e diretamente conectada à prática clínica.
Combinada com XR, essa abordagem transforma a educação em uma experiência espacial e interativa, preparando a próxima geração de clínicos para um futuro cada vez mais orientado por dados e simulações.
