三维立体显示技术在医学诊疗中的应用
来源:第三维度 作者:杨健,张盼,刘越 单位:北京理工大学
何为医学三维立体显示
提起三维显示技术,相信大家并不陌生。在影院中,我们可以看到逼真的三维立体电影 ;玩三维游戏时的画面感场景使我们犹如身临其境;使用地图导航时,直观的立体景象使我们的出行更加方便 ;面对已经消逝的皇家园林——圆明园,通过增强现实显示技术,将模拟重建后的场景叠加到真实的废墟上,我们依旧可以一睹它昔日的辉煌。三维立体显示技术已经渗透到我们生活中的每一个角落,它的应用无疑加强了我们对世界的感知和对生活的认识。
现实世界是三维的,人们在观看一个空间物体时,双眼可以得到两幅具有视差的图像,经视神经中枢的融合反射和视觉心理反应,便产生了三维立体感觉。
传统的图像显示方法是二维显示,它只能显示出物体在某一个方向上的平面信息,并不能准确地表示物体的相对位置并提供图像的深度数据,不能全面地传递人们所需要的信息。根据人们的视觉需求 , 三维立体显示技术应运而生。当前的主流技术是根据视差产生立体视觉的原理,通过特殊显示方法将两幅具有视差的左图像和右图像分别呈现给左眼和右眼,使人们获得如同实物再现般的三维感觉。现代三维立体显示以其可视化、数字化等特点在众多领域中得到了广泛应用。
如在计算机图形学中,立体显示带给用户身临其境的体验 ;在考古学中,对古物进行立体还原,方便考古学家研究和保护古物 ;在遥感测绘中,三维立体显示可实现对地形地貌的精确观察和测量 ;在医学领域,三维立体显示也开始渗透到各个应用方向,并已得到一定程度的发展。
在传统的医疗诊断中,医生主要通过观察各个切面的断层图像从而实现对病灶的诊疗。但仅凭医生“在头脑中重建”患者的三维组织结构难以准确地确定病灶的空间位置、大小、严重程度以及与周围生物组织之间的空间关系。传统诊疗方法很大程度上依赖于医生的主观判断,难以对病情做出精确分析。因此,临床诊疗迫切需要一种有效的技术,使医生能从三维医学数据中提取所蕴涵的信息,并将这些复杂的信息及其相互关系直观地显示出来,帮助医生对病灶和周围组织进行全面准确的分析,制定精确的治疗计划,提高诊治的准确性和有效性。毫无疑问,三维立体显示技术就可满足这种需求,可弥补传统诊疗方法的缺陷,提高医生对疾病诊治的准确性,为患者带来福音。
医学三维立体显示主要是利用计算机断层扫描 (computed tomography, CT)、核磁共振成像 (Magnetic resonance imaging,MRI)、 正 电 子 发 射 断 层 显 像(positron emission tomography,PET) 等医学成像技术来提供人体内部的解剖结构信息(它们输出几十至上百幅断层图像以表达三维数据),然后对三维数据信息进行融合、重建和分析,并对三维模型进行操作和立体显示,帮助医生定量分析病灶、制订治疗计划和手术方案,为现代医学提供全新的诊断治疗模式。
图1 显示的是医务人员在对三维立体显示的人体器官进行操作。器官的立体显示使得图像不再局限于显示在传统的电脑屏幕上,医生可通过直观的立体图像获得感兴趣部位的深度以及相对关系信息,从而对疾病做出更好的诊断。
图1 头部数据立体显示与交互
随着立体显示的出现,众多科研人员相继步入这一领域,使其在医学应用中快速发展。从传统的二维图像到如今的立体图像,从以前需要借用辅助工具才能观看立体效果到如今的裸眼观看,从静态到实时动态,三维立体显示技术逐步走向临床并将得到日益广泛的应用。2005 年,美国拉什大学医学中心首次将美国 Actuality System 公司推出的Perspecta Spatial 3D 显示器用于辅助癌症患者的放射治疗。该三维显示方法辅助医生对病情做出了准确的判断,开创性地解决了医学图像重建以后的三维显示问题。英国 Setred 公司于 2010 年 5月在维也纳举办的欧洲放射学年会上推出了 Setred 3D 系统,该系统使用一台裸眼三维立体显示设备显示三维立体图像,方便多人对图像进行同时观察与交互,该系统可用于术前手术方案的规划过程中。
总之,三维显示在医学中的应用一方面改变了传统的诊疗方式,大大提高了疾病诊断的准确率 ;另一方面提高了医院数字化水平,使可视化融入微创诊疗的技术之中。
三维立体显示在学中的应用
医学图像的三维立体显示可将人体器官以立体的形式显示出来,并使其与真实的生理解剖结构保持拓扑一致性。此技术在以下方面具有广泛的应用前景 :临床疾病诊断 采用计算机视觉、图像分析技术对医学影像进行处理,构造器官、病灶的三维几何模型。临床医师对重建结果进行不同方位的观察和剖切,形成对感兴趣部位的大小、形状和空间位置的定性认识,从而实现对疾病的定量诊断。
■ 术前规划
为提高手术过程中辐射定位或剂量的精确性,保证治疗效果以及避免对周围正常组织的破坏,需要进行术前规划。基于医学影像实现的三维立体显示可辅助医生在手术前对病灶、血管、敏感组织的形状和空间位置进行全方位观察,确定最优手术方案,并对重要组织进行保护。例如,在整形及假肢替换手术之前对手术部位进行三维立体显示,可以帮助医生设计与病人个体形状特征相吻合的器官模型,降低因假肢形状差异造成手术失败的概率。
■ 虚拟手术
虚拟手术综合了图形学、视觉、力学、机器人和医学等多学科的知识,通过构建人体组织器官的三维几何模型、生物以及力觉应变模型、血液动力学以及流体模型等实现手术操作的三维立体显示和实时交互,帮助医生对整个手术过程进行模拟和训练。虚拟手术对临床医生的教学训练以及医学诊疗的科普教育等具有重要意义。
医学三维立体显示技术的实现
根据显示方式的不同,三维立体显示主要包括以下四种技术:
■ 视差型立体显示
该技术采用视差的方式实现三维显示,即分别向左眼和右眼显示具有差别的图像,从而“欺骗”大脑,令观察者产生立体的感觉。图 2 所示是研究人员开发的视差型立体显示效果。该系统采用立体显示器显示器官的三维图像,通过摄像头捕捉用户的手势,从而实现对图像的操控(缩放、翻转等)。但是由于视差方式所构造的三维图像真实感较差,加重了观察者的脑力负担,观察者易产生头痛、眩晕等不适感。
图2 视差型三维头骨立体显示效果
■ 全息术立体显示
全息术立体显示利用光波的干涉和衍射效应再现三维场景。该技术对观察角度有一定的要求,难以实现 360°的环视效果。如图3 所示是基于全息立体显示的手术模拟系统。系统包括触觉反馈设备和立体显示装置。
图3 基于全息显示的手术模拟
左图显示用户通过一个可以追踪手部姿势及感受力度的触觉装置,感应手部的动作,从而对悬浮在全息光学元件中的三维模型进行操作,完成人机实时交互。右图是该系统的结构原型。通过增加投影系统的数量可扩大视野范围,但在实际应用中,为提高系统的视场,其相应的投影系统将更加复杂。
尽管目前全息术立体显示应用上存在一定的局限性,如视场较小、刷新率低等,但由于其显示图像清晰逼真,该显示方法得到了很多科研工作者的关注并有了相应的技术改进。研究人员通过在立体显示系统上增加头部跟踪装置,消除运动视差,使全息图可以多角度观看。
如图 4 所示的 zSpace 系统,使用者戴上一副特殊的眼镜,不仅可以产生立体感,还可以利用嵌入式的红外反射器跟踪头部姿态,从而使用户观看到合适角度的图像,增大了立体显示的视场范围。美国亚利桑那州大学光电学院研究出一种动态的全息记录材料,该材料可用来写入、擦除和刷新全息图。
图4 zSpace全息立体显示系统
当以视频的速率写入全息图时,人们可以观看到动态视频。图 5显示的是可实时刷新的全息立体显示方法,该立体图像逼真度较高,在一定程度上解决了因长时间观看图像而产生疲惫感的问题。
图5 多角度医学影像全息立体显示
为满足临床诊疗的需求,全息体显示在医学中的应用正朝着高效、实时、动态的方向发展。
■ 真三维显示
将物体在三维空间的所有体素信息都在其对应位置进行绘制和还原,同时调控每个体元的色彩和亮度,从而实现物体在三维空间的真实再现。该技术无须用户配戴眼镜即可观看到视差图像从而获得深度信息,符合人体对三维空间的生理和心理的深度感觉。图 6 是 Perspecta 真三维立体显示系统,它将对应视角的图像切面信息投影至高速旋转的投影屏上。由于人眼的视觉暂留,观察者即可观看到三维立体图像,图像具有全视场、可多人同时观察以及可实时交互等优点。在放射治疗手术中,系统可以把患者体内的药物剂量映射至术前获取的器官图像上,从而能够辅助医生对辐射的路径进行精确的定位,最大限度地减少药物剂量以图5 多角度医学影像全息立体显示[5]及辐射对正常组织的损伤。
■ 混合现实立体显示
混合现实立体显示技术将计算机生成的虚拟立体图像与真实场景进行实时叠加,操作者从任何角度看到真实场景的同时还可看到虚拟立体影像,同时也可对三维场景中的虚拟物体进行交互,产生犹如身临其境的感受与体验。该技术将成为远程医疗和医学教育的有效工具。
在远程医疗中,混合现实立体显示技术与网络技术的结合,可实时为医护人员提供身临其境的技术指导 ;利用混合现实立体显示技术,医生可根据病人的生理、病理参数,在虚拟病人上进行手术操作,而其操作过程则通过高速网络实时控制网络另一端的手术机器人,由手术机器人对病人实施手术。手术的进展图像也会通过机器人上安装的摄像机实时地传送到医生的立体头盔显示器,并叠加到虚拟病人上,从而实现犹如身临其境的手术操作。在医学教育中,混合现实显示技术可实现在虚拟器官上的解剖操作,逼真地显示各种观察方式下组织器官的形态及其空间位置关系,从而提高学生的学习效率,有效降低传统教育方式对病患标本的需求。
图6 真三维立体显示设备[6]
未来的发展
三维立体显示技术以其重要的临床应用价值获得了广泛的关注,众多计算机专家和医学专家相互合作,致力于解决医学影像的裸眼、真三维立体显示问题。
三维立体显示技术经过长期的发展,从原理到系统实现形成了一系列较为完善的体系,对医学诊疗技术的发展作出了重大贡献。
但医学图像真三维立体显示技术在临床中的广泛应用仍存在诸多有待解决的问题。大规模数据的显示问题随着医学成像设备的高速发展,医学影像的精度越来越高,数据量也随之增大。当通过二维切片图像重建得到的体数据体积较大时,系统的实时绘制效率会大为降低。图像压缩和分块渲染技术可能是解决这一问题的关键。
■ 医学图像的分割问题
图像分割是病变区域提取、体积测量以及器官拓扑关系定量分析的基础。图像分割的质量将直接影响可视化的效果。但由于人体组织器官的复杂性,实时精确的自动分割非常困难。建立适用于多模态影像中人体组织器官的自动、快速有效的分割方法是医学影像可视化技术面临的重要问题。
■ 分类渲染的效率和显示质量的平衡问题
一维传输函数虽然能保证绘制的实时性,但其渲染质量仍有待改善。更高阶的分类渲染方法已经提出,并取得了很好的绘制质量,但算法执行速度较慢,很难进行实时交互。如何在保证实时性的前提下进一步提高分类渲染的质量是研究的热点所在。
■ 立体显示的可行性问题
微创手术是未来疾病诊疗的发展方向,而微创手术的成功进行需要医生具备穿透人体组织而获得感兴趣区域立体影像的“透视眼”。对于不同的病患、不同部位的疾病,立体显示的方法各异,显示效果也会有所不同。选择经济、合适、恰当的医疗方法是人们关注的重点。
可以肯定,清晰、直观、立体的显示方式将在未来疾病诊疗中占据举足轻重的地位。相信随着科技的进步,上述问题都会取得突破性进展,三维立体显示技术也会在医学道路上越走越远。
参考文献
[1] Gene Ostrovsky. I-space Medical Imaging.http://www.medgadget.com/2006/04/the_ispace_medi.html, 2006-04-25/2013-08-25.
[2] Fraunhofer HHI. Medical 3D-image display offers noncontact control. http://www.m e d g a d g e t. c o m/2007/11/noncontact_3d_med_display.html,2007-11-07/2013-08-25.
[3] P. Olsson, F. Nysjö, S. Seipel, etal, Physically co-located haptic interaction with 3D displays,Haptics Symposium, Vancouver,Canada, 2012.
[4] zSpace System. http://zspace.com/about-zspace-holographiccomputing/.
[5] P.-A. Blanche et al., An updatable holographic display for 3D visualization, IEEE Journal of Display Technology, Special Issue on Medical Displays ,2008; (4):424~430. [6] 3D volumetric imaging enhances RT treatment planning, Oncology NEWS International.
上一篇:韩国LG研发世界首个3D彩色全息成像系统[ 12-04 ]
下一篇:首款国产增强现实眼镜 HiAR Glasses发布[ 12-11 ]