来源：第三维度    作者：潘家辉，鲍苏苏，朱志有，廖其光，段秀丽    单位：华南师范大学计算机学院
    基金项目：国家“863”计划基金资助项目(2006AA02Z346)；广东省自然科学基金资助项目(粤科基办字[2006]5 号)
    作者简介：潘家辉(1982－)，男，硕士研究生，主研方向：图像处理，虚拟手术技术；鲍苏苏，教授、博士后；朱志有、廖其光、段秀丽，硕士
    摘要：介绍一个用于外科手术的肝脏虚拟手术仿真系统。该系统基于 SensAble 公司的 PHANTOM 力反馈设备，利用虚拟现实技术实现肝脏手术过程中有关肝脏及其内部组织的多种手术操作，提供真实的视觉反馈和力反馈，具有良好的实时性。为虚拟现实技术在手术仿真中的实用化探索出一条可行的道路。
    1 概述
    肝脏内部复杂的管道系统及其生理和病理变异决定了肝脏外科手术的难度极高。以往影像检查所提供的多为二维平面图像，无法预先进行 3D 肝脏外科手术仿真，更无法提前感受实时的力反馈，这对于复杂的肝脏外科手术具有一定的盲目性和不可靠性。
    随着虚拟现实技术日趋成熟，虚拟手术在医学领域中正发展成为一个新的研究方向。虚拟手术利用各种医学影像数据，采用虚拟现实技术在计算机中建立一个虚拟 3D 环境以及可交互操作平台，通过虚拟手术器械仿真模拟手术过程。
    与传统手术规划相比，虚拟手术具有交互性、无损伤性、可重复性和可定制性等优点。
    目前国外已有许多研究机构对虚拟现实尤其是在虚拟医学手术仿真方面进行了大量研究和实践。法国INRIA研究项目组在 2000 年开发出一个肝脏切割模拟器，并在此基础上进行一系列发展[1]；西班牙Meier等人在 2001 年研制开发了带有力反馈功能的三维微创手术培训系统[2]；美国斯坦福大学计算机科学学院的研究人员在 2003 年开发了软组织缝合的实时仿真系统[3]。
    近年来国内的研究大多集中在对医学图像的三维重建及其可视化方面，而对带有力反馈的虚拟手术系统，特别是肝脏及其脏器等软组织的手术仿真研究方面投入较少。苏永松等人在 2002 年设计了基于二维鼠标的骨科手术模拟系统[4]；
    谭珂等人在 2005 年设计了鼻腔镜虚拟手术仿真系统[5]；许天春等人在 2006 年也使用PHANTOM设备设计了一个声带肿物切除仿真系统[6]。
    针对上述情况，本文以真实的肝脏外科手术为依据，设计肝脏虚拟手术系统，通过虚拟手术器械进行带有力反馈的手术仿真。
    2 仿真系统的组成
    虚拟现实系统由交互设备和虚拟环境组成。基于带有力反馈的肝脏虚拟手术系统的特点，选用 PHANTOM 力反馈设备作为交互设备。虚拟环境则通过 OpenGL 和 PHANTOM 配套的 GHOST SDK 软件开发包来搭建。
    2.1 PHANTOM 力反馈设备
    力反馈设备是虚拟手术系统的重要组成部分，也是用户和虚拟手术系统交互的工具。一方面，力反馈设备的操纵杆是医生操纵的“手术器械”；另一方面，它能让医生感知物体的细致特征以及物体对于作用力的反抗作用。PHANTOM 与用户在交互过程中的反馈机制如图 1 所示。

图 1 PHANTOM 与操作者的交互机制
    这里选用 SensAble Technologies 公司的 PHANTOMDesktop力反馈设备，其力反馈终端运用机械电子技术，真正给予使用者触觉反馈。PHANTOM有一个手臂式操纵杆，称为铁笔(stylus)。用户可通过PHANTOM铁笔进行 6 个空间自由度的操纵，其中 3 个自由度是活跃的，能提供精确的平移力反馈。该设备的机械臂硬度为 3×103 N/m，位移精度达0.023 mm，输出力峰值为 6.4 N，完全能满足肝脏虚拟手术的触觉交互需求。
    2.2 GHOST SDK 软件开发包
    通过使用与 PHANTOM 配套的 GHOST SDK 软件开发包，可以建立虚拟环境。GHOST SDK 是个面向对象的 C++工具包，专用于触觉编程，它把触觉环境表示为几何物体和特殊效果的树形集合，还提供一些函数类及其体系结构和派生类。只要掌握这些函数的作用及其之间的关系就能建立较为清晰的触觉程序框架。因此，不必考虑 PHANTOM 触感设备的底层硬件实现，只需关注触觉场景的生成、对场景属性和其内部对象的操作以及控制 PHANTOM 所产生的触觉效果等问题。由于目前开发的 GHOST SDK 软件只能创建刚体，不具备建立柔性体的功能，而医学领域的研究对象大多是柔性体，如器官、血管、皮肤，因此若要以 PHANTOM 作为柔性体仿真中的交互设备模仿肝脏外科手术过程，就必须通过GHOST SDK 来建立柔性体模型。
    3 仿真系统的实现
    肝脏外科虚拟手术系统的实现可以分为几何建模、运动建模、物理建模这几部分来研究。
    3.1 几何建模
    肝脏及其内部管道的几何模型是经过前期预处理、分割、三维重建等步骤后得到的 STL 三维模型数据。STL 模型是以三角形集合表示物体外轮廓形状的几何模型。在 GHOSTSDK 的触觉框架中通过编写程序把该模型转换为 GHOSTSDK 要求的三角片网格模型。对于虚拟手术器械，在参考实际肝脏外科手术器械的基础上通过三维图形软件 3DMAX 建立手术器械的几何模型，利用 3DMAX 的导出功能把模型存储为 3DS 格式，并结合 OpenGL 图形开发包编写程序把 3DS格式模型生成为 OpenGL 显示列表的形式。
    3.2 运动建模
    运动建模主要用于确定三维对象在世界坐标系中的位置以及它们在虚拟环境中的运动。GHOST SDK采用树层次结构来描述对象。将肝脏及其内部管道模型的三角面片作为叶节点，指定其表面几何属性以及相对于父节点的方向与比例关系。施加于父节点上的所有变换将自动影响其叶节点。所有对象的运动情况都以这种方式进行约束与控制。与虚拟手术器械对应的PHANTOM接口作用点是种特殊类型的叶节点。
    PHANTOM设备铁笔的方位使用一个 4×4 齐次坐标变换矩阵来描述。该矩阵由旋转和平移构成，其中平移分量t描述铁笔的位置，旋转分量r描述铁笔的方向。该坐标形式如图 2 所示。
图 2 设备坐标与观察坐标
    P是铁笔头；n是铁笔的法线方向；XH YH ZH 是PHANTOM设备坐标系统；XV YV ZV是观察坐标系统，则有：

    其中，C 是一个中心旋转的转换；C’是一个逆向的中心平移；S, R 和 T 分别代表缩放、旋转和平移矩阵。
    3.3 物理建模
    3.3.1 弹性模型
    对肝脏外科虚拟手术系统而言，柔性脏器的弹性建模是难点。质量-弹簧系统是广泛适用于变形物体建模的一种物理基础建模法。该模型由许多弹簧和节点组成，节点间通过弹簧连接，被建模物体的质量集中在节点上。整个系统总趋向零能量。质量-弹簧模型具有创建简单，良好的实时性以及运算速度快等优点。
    肝脏组织的边界用网格表面来表示。网格中节点间的力为线弹性力，通过增加与节点运动速度相关的阻尼力模拟组织的粘弹性特征。在动态系统中，每个有质量的节点运动均遵守牛顿第二定律：


    其中，mi表示i节点的质量；x代表i点的位移向量；γi表示与速度相关的阻尼系数；gij表示质点i与相邻质点j之间的相互作用力；fi表示作用在i点上的外力。由此得出整个系统的运动平衡条件实质上是网格中每个质点动态平衡条件的集合。即
        Mx C+ x + Kx = f (5)
    其中，M, C 和 K 分别代表质点 x 的质量、阻尼系数和弹簧系数矩阵。
    3.3.2 力反馈模型
    配合力反馈设备 PHANTOM 建立力反馈模型能让操作者更真实地进行虚拟手术仿真。本文的力反馈是指一种触觉反馈，作用于操作者的体表用来感知和体察物体的细致特征。
    在 GHOST SDK 中，其虚拟进程以一定的频率刷新、采集PHANTOM 信息，进行碰撞检测和力反馈计算等。本文把基于质量-弹簧-阻尼器的物理模型作为力反馈模型，该模型如图 3 所示。
图 3 力反馈模型示意图
    软组织表面附有弹簧与阻尼器。在虚拟环境中，虚拟手术器械模型某顶点一旦与该表面发生碰撞就会产生弹性形变。本文只考虑与接触面法向同向的面弹力。通过器械模型某顶点原始位置与新位置构成的矢量，可获得软组织表面的相交接触点 SCP，同时也可得到弹簧拉伸长度 x，根据该模型就可以计算面弹力：


    其中，M 是该面的质量；D 是阻尼系数；K 是弹簧的弹性系数；x 是某时刻弹簧缩放的位移；F(t)是某时刻的总反馈力。
    3.3.3 碰撞检测
    碰撞检测是虚拟手术的关键问题之一。只有判定手术器械与人体组织发生了碰撞才有必要实施变形计算及切割、缝合操作。碰撞检测结果不仅要报告是否发生碰撞，还要提供接触位置。GHOST SDK对每个几何目标都提供了定义碰撞检测的接口。根据相邻仿真周期的PHANTOM运动轨迹，判断虚拟手术器械是否与肝脏的三角面片相交，并求解交点。求解可以简化为检查顶点/三角形碰撞方法，即判断一个三角形的顶点是否与另一个三角形发生接触。设P为虚拟手术器械的代理点，V1, V2, V3为肝脏表面某个三角面片的 3 个顶点。
    在t时刻，若P点与三角形接触，则满足：


    当系统检测到虚拟手术器械与肝脏模型发生碰撞后，则以一定方式把碰撞结果反馈给虚拟手术操作者。根据所选的虚拟手术器械产生相应的碰撞响应。其基本程序流程如图 4所示。
图4 仿真程序流程
    4 应用情况
    本文通过图形工作站(CPU 为 Xeon 2.80 GHz×2；内存为2 GB；显卡为 FX1400)与 PHANTOM 设备构建的肝脏外科虚拟手术仿真系统，在不同的模型规模下对系统的性能进行测评，得到的性能指标如表 1 所示。
表 1 系统的性能指标

    图像绘制和触觉绘制的计算频率与模型的节点数呈线性关系。因此，可以推算出表面节点数为 50 000 以内的模型其图像绘制速率可达 30 f/s，力反馈速率可达 1 000 f/s。此系统的运算速度能满足虚拟手术的需求，具有交互实时性。目前该系统实现的功能为肝脏的透明显示，利用虚拟手术刀对肝脏进行虚拟切割，利用手术钳对血管进行夹取，对血管进行穿刺操作。具体效果如图 5~图 8 所示。
图 5 肝脏的透明显示                     图 6 肝脏的虚拟切割

 7 手术钳的夹取                 图 8 血管的穿刺
    5 结束语
    本文选择肝脏手术作为应用背景来实现支持力反馈的肝脏外科虚拟手术仿真系统。实践证明，把商用设备提供的功能与先进的研究成果有效结合来开发实用的虚拟手术仿真系统是可行的。该系统的功能还需进一步完善，包括研究组织切割的快速算法以及实现流血等特殊效果，并考虑采有两台PHANTOM 模拟更复杂的手术操作。
    参考文献
    [1] Cotin S, Delingette H, Ayache N. A Hybrid Elastic Model AllowingReal Time Cutting, Deformations and Force-feedback for SurgeryTraining and Simulation[J]. Visual Computer Journal, 2000, 16(8):437-452.
    [2] Meier U, Garcia F, Parr N. 3D Surgery Trainer with Force Feedbackin Minimally Invasive Surgery[Z]. 2001.
    [3] Brown J. Real-time Soft Tissue and Suture Simulation[D]. California,USA: Stanford University, 2003.
    [4] 苏永松, 许忠信, 李浩宇. 一个基于 PC 的骨科手术模拟系统[J].计算机工程, 2003, 29(21): 41-42.
    [5] 谭 珂, 郭光友, 潘新华. 一种鼻内窥镜虚拟手术仿真系统[J].计算机工程, 2006, 32(16): 243-244.
    [6] 许天春, 王树新, 岳龙旺, 等. 具有力感觉的声带肿物切除仿真方法研究[J]. 计算机仿真, 2006, 23(8): 196-199.