Integrating AI Segmentation, Simulated Digital Twins, and Extended Reality into Medical Education: A Narrative Technical Review and Proof-of-Concept Case Study. Journal of Personalized Medicine, 16(4), 202.
https://doi.org/10.3390/jpm16040202医学影像长期以来仅限于二维横截面视图。CT和MRI提供高度详细的数据,但其解读需要经验、时间以及外科医生进行空间重建。近年来AI的发展正在从根本上改变这一过程。
AI分割显著减少了影像数据准备所需的时间。过去需要大量人工处理的内容现在可以自动生成。器官、血管和感兴趣区域等解剖结构可以在几秒钟内从CT和MRI数据集中直接识别和分离,从而生成结构化且可用的数据,无需人工操作。
展示了一段录制课程的示例,学习者站在讲师的视野中,正在查看3D渲染的脊柱侧弯模型,同时旁边显示X射线脊柱侧弯解剖图像。图中的洋红色手部表示录制的讲师在课程播放过程中在数字内容上进行绘制。
这些分割数据集构成了数字孪生的基础,即代表真实解剖结构的患者特定3D模型。医疗专业人员和学生无需逐层解读图像,而是可以在空间中与完整的解剖结构交互,从而提高空间理解能力并降低认知负担。
随着AI分割实现模型创建自动化,数字孪生的生成变得可扩展,从而推动其在教育项目和机构中的广泛应用。
数字孪生从根本上改变了医学数据的使用和共享方式。复杂的解剖关系变得直观可见,病变可以在完整的空间背景下被隔离和探索。
临床医生和学生无需再通过口头描述或依赖2D表示,而是可以在共享的沉浸式环境中共同查看同一数据集。多个用户可以实时访问并与模型交互,每个人都有自己的视角,从而实现更高效的跨学科协作与一致性。
在本案例中,讲师使用Medicalholodeck的 RecordXR空间捕捉工具集 在VR环境中录制了一场引导式教学课程。该课程包括脊柱标志点识别、神经轴通路技术以及对严重脊柱侧弯患者病理解剖的3D标注。
与传统的2D视频教学不同,该基于XR的模块在解剖环境中直接保留了空间推理和专家指导。讲师的讲解、手势和交互与3D数据保持关联,从而创造更直观、更具吸引力的学习体验。
学习者可以随时回看课程、重放特定步骤或自行与模型交互以加深理解。在VR中记录内容使教育者能够构建结构化的案例、模拟和教学资料库,这些资源具有可访问性、可重复性和可扩展性。
这种方法不仅保留了视觉信息,还保留了专家的推理,使复杂的操作知识可以被复现并广泛传播。
展示学习者可以从不同角度查看RXR课程,而不仅限于录制时讲师的视角。图中的洋红色眼镜和手部表示为学习者可视化的讲师形象。讲师正在展示脊柱侧弯模型中棘突的倾斜,以帮助理解病理解剖结构。
除了教育领域,这些工作流程也可以直接应用于临床实践。AI分割、数字孪生、记录和XR的结合,使术前规划、跨学科协作以及患者特定模拟能够在统一环境中实现。
这种学习与临床应用之间的连续性降低了复杂性,并支持更具依据的决策,从而弥合培训与实际医疗之间的差距。
通过将医学影像转化为结构化的3D数据并发展为动态数字孪生,AI实现了一种全新的学习方式——沉浸式、个性化,并与临床实践直接相连。
结合XR,这种方法将教育转变为一种空间化、互动性的体验,为下一代临床医生做好准备,以应对日益数据驱动和基于模拟的未来。