来源：第三维度    作者：范政昂,赵饮虹,刘济全,龚向阳
        孙德宇,王彬,段会龙    单位：浙江大学生物医学工程与仪器科学学院        中国生物技术发展中心        浙江大学医学院附属邵逸夫医院
    摘要：目前临床的医学可视化工具不能准确模拟开颅手术过程，也难以获得颅脑开窗后的仿真影像来评估手术方案对颅内组织的影响。为此，设计一种面向外科手术医生的开颅手术仿真系统。相对于传统医学可视化工具针对医学影像数据进行一次性建模的方式，该系统在三维数据重建前完成关键组织区域的提取和划分，以提升分割效果的区分度，同时采用松耦合结构方便后续功能扩展。
    系统基于病人术前的 MRI 数据，自动化地提取出关键组织区域并混合绘制为多解剖结构的手术模型。手术模型可模拟开窗区域规划、手术入路、虚拟切割等开颅手术过程，并对不同解剖结构的面绘制及体绘制模型分别应用切割隐函数，以生成开窗后大脑皮层及浅表静脉等关键区域影像。实现结果表明，该系统允许医生尝试不同的手术方案，能仿真关键问题并评估方案优劣，达到减少手术风险、熟练手术步骤、提高手术精确度的目的。
    1 概述
    开颅手术是多数神经外科手术的基础，手术过程涉及脑组织、神经组织及颅内血管等关键区域，对手术质量要求极高。外科医生在手术前必须充分考虑病灶区域与周围功能脑区的关系以及颅内浅表静脉的分布，最大限度地避免组织损伤，形成最佳手术方案。随着医学可视化技术的不断发展，开颅手术方案规划可借助医学可视化工具建立手术区域的三维可视化模型，但这些工具都有各自的局限性，不能满足临床外科医生的要求。目前可视化工具很大一部分是各医疗器械厂商提供的医学影像工作站附带的可视化工具，这些工具可以采用某些图像后处理手段得到头皮表面及脑表面的仿真影像，但是这些影像是固化的，不支持手术仿真操作，并且操作步骤及其复杂，需要经过训练的放射科医师来完成，外科医生无法胜任[1-2]。另外，国外许多知名大学及科研团体也相继开发了各种颅脑结构和功能分析工具。
    这些工具可以基于可视化技术得到大脑表面3D 可视化影像，但都是针对脑科学研究的，形成的可视化模型缺乏体表定位标记，也不支持手术路径规划、虚拟切割等手术操作，不能满足外科手术方案规划的需求[3-4]。
    开颅手术方案的规划是一个不断试错的过程。目前规划很大程度上还是基于外科医生基于经验对影像的判读以及想象重构，规划过程缺乏系统而全面的指导[5]。临床上需要一个面向外科医生的医学可视化工具，可以针对性地模拟开颅手术过程，仿真手术中需要关心的问题，并支持预览特定手术方案开窗后场景预览，以评估手术方案对这些关键组织区域的影响。另外，可视化工具应自动化地完成大多数处理步骤，使外科医生的注意力可以集中在手术方案规划上。为此，本文设计一种新的开颅手术仿真系统。
    该系统基于病人的术前核磁共振成像(Magnetic Resonance Imaging, MRI)数据，自动化地提取出头皮层、大脑区域等关键组织区域，建立三维可视化模型并混合绘制为手术模型。系统支持手术路径规划、虚拟切割等手术过程，提供开窗口的大脑皮层表面及浅表静脉的影像，并能仿真手术方案中医生关心的问题，反复尝试不同的手术方案，评估方案的优劣，从而形成具体的手术方案。
    2 开颅手术仿真系统架构
    开颅仿真系统是针对开颅手术方案术前规划的医学可视化工具，系统着眼于重建从头皮定位到颅骨骨瓣剥除全过程的仿真影像，重点在显示颅骨开窗后的脑表面神经。
    使外科医生在真正手术之前，能够模拟手术的过程、“预览”去颅骨后的脑表面场景，并依此制定手术计划。本文的开颅手术仿真系统采用松耦合的模块设计方式，各模块之间是独立的，均使用定义的接口与手术仿真界面交互，从而方便整个系统后续功能的扩展，以及集成到临床的医疗环境中。开颅手术仿真系统结构如图1所示。

图 1 开颅手术仿真系统结构
    为了从临床环境中获得病人术前的 MR 影像数据，开颅手术仿真系统提供了数据接口模块，实现了基于 DICOM标准的在线影像数据获取及本地数据解析功能，以方便同PACS 建立数据连接，查询并获取特定病人的医学影像数据。数据预处理模块自动化地从原始医学影像数据中分割出手术仿真重点关注的组织区域，如头皮边缘、大脑区域等，对于头皮区域，系统采用 OpenCV 实现一系列自适应算法实现自动分割，而大脑区域引入第三方算法库自动分割提取。可视化建模模块对头皮边缘、大脑区域以及整个头部区域分别建立可视化模型并混合绘制成手术模型。仿真交互模块在可视化模块的基础上，扩展了交互机制，允许外科医生仿真开窗区域、虚拟切割等手术操作，并提供开窗口后脑表面场景的预览。
    3 开颅手术仿真系统设计
    3.1 数据接口
    开颅手术仿真的第一步就是获取病人的术前 MR 医学影像数据。在真实的临床环境中，医学影像数据多是存储在各种 PACS 中的 DICOM 文件序列，医生通过各种医学影像工作站获取图像到本地进行分析处理。开颅手术仿真系统的数据接口模块就是实现基本的 DICOM 数据通信及解码功能，以从临床环境中获取数据并为其他模块提供数据服务。
    DICOM 标准是美国放射联合会和美国国家电子制造商协会共同制定的医学数字成像及通信标准[6-7]，旨在解决复杂的医疗环境下的不同设备间医学影像数据的存储和传输问题。本文系统中数据接口模块与 DICOM 网络模型的对照如图 2 所示。

图2 DICOM 网络模型与数据接口模块的对照
    DICOM 标准参考了 OSI 网络模型[8]，定义了分层的网络模型。DICOM 网络传输是基于 C/S 模型的，标准定义了消息服务层和上层协议层，DICOM 上层协议层为消息服务层提供透明的数据传输服务，底层通信使用 TCP/IP 协议交换数据[9]。
    数据接口模块的底层使用套接字类库提供基于 TCP/IP的通信，连接服务中间件(PDU Connect Service, PCS)负责根据上层数据连接请求生成特定的 PDU 类型，或根据底层收到的 PDU 类型向 DICOM 消息中间件(DIMSE Service, DS)分别交互数据连接、数据传输、数据释放及异常中断请求。
    协议数据包中间件(PDU Service, PS)实现特定消息服务的数据流封装以及传输校验。DS 负责处理各种 DICOM 服务的特定流程，信息对象类中间件(IOD Service, IS)负责从收到的数据元素序列中提取并生成相应的医学影像数据并生成目标 DICOM 格式的文件。连接服务模块(SCU Service, SS)封装了底层的各种类，对外提供统一的接口，包括数据连接、释放、查询及数据传输等。
    数据接口模块从 PACS 获取数据的 DICOM C-Get 消息服务流程如图3 所示。

图 3 DICOM C-Get 消息服务流程

    在一次消息服务流程中，连接协商是由 SCU 发起的，首先通过 PCS 建立基于 Socket 的连接，然后基于 DICOM 上层协议将支持的协商参数如应用程序标识、抽象句法以及传输句法等参数向 PACS 发起请求，其中，抽象句法规定了请求服务类型，传输句法规定了传输过程的编码方式及图像压缩格式。PACS 收到协商请求后，会进行权限判定，并将支持的协商参数与其他参数一起回复给 PCS，从而完成 C-Get 消息服务的连接协商，建立特定服务的 DICOM 数据连接，并把数据交付给 PS 进行数据解码及校验。
    3.2 数据预处理
    传统医学可视化工具对影像数据整体一次性建模，模型中头皮、颅骨和脑组织等区域没有区分度，本文的手术仿真系统在建模前分别提取关键组织区域并建模。在手术仿真中，头皮是交互操作最集中的部位，另外颅骨剥离后脑表面的影像，尤其是颅内血管及神经组织等关键部位的影像是医生最关心的区域。因此，本文采用一系列自适应算法自动分割头皮边缘，并引入第三方算法库提取脑组织区域，在简化处理步骤的同时，也区分了关键组织。数据预处理流程如图4 所示。

图 4 数据预处理流程
    开颅手术仿真所使用的医学影像数据 MR 图像，图像中的对比度主要反映不同组织的水含量差异。在 MR 图像中，头皮层因为含水量较多，头皮区域呈明显的高亮区，而背景区域为无信号的黑色区域，头皮与背景有清晰的边界，但不可避免的分布一些噪声。头皮边缘的提取算法对稳定性的要求高，即能适应绝大多数的影像数据的灰度特征，并尽可能地自动化。常规的边缘提取算法如 Livewire[10]和Canny[11]算子都无法实现自动化的分割，Livewire 算法需要在边界指定至少 4 个种子点，而 Canny 需要制定高低梯度门限。本文的边源检测采用 Otsu[12]加自适应区域增长的方法提取头皮边界，以满足稳定性的需求。
    如图 5 所示，Otsu 算法自适应地分割出背景区域与前景区域，然后分析直方图，遍历图像，选取第 1 个灰度级在整体灰度级 10%以下的像素点进行增长。

图 5 头皮边缘提取过程
    开颅手术仿真的重点在于提供颅骨开窗后的大脑表面场景，需要从原始影像序列中提取脑组织区域。MR 图像中，颅脑表面结构走行迂曲、解剖变异较大、组织间信号差异小以及头皮和颅骨的遮盖等因素，大脑区域分割是一件比较有挑战性的工作。本文采用第三方的 BSE 算法[13]提取大脑区域。BSE 是脑部皮质表面自动化识别算法，其使用边缘检测的办法提取大脑皮质边缘，并利用数学形态算子使边缘平滑，保证算法的收敛性，算法过程由各向异性扩散滤波(Anisotropic Diffusion Filtering, ADF)、Marr- Hildreth 边缘检测和数学形态学处理组成，如图 6 所示。

图 6 大脑区域提取过程
   各向异性扩散滤波会在模糊图像中梯度差异小的区域的同时保留梯度差异明显的区域，从而得到明显的边缘。3D 的 Marr-Hildreth边缘检测使用一个的高斯-拉普拉斯边缘检测算子与图像进行卷积，结果为 0 的点就为待查找的边缘集合。最后，BSE算法对待选边缘区域应用了一系列数学形态学处理，使用3D 菱形结构元素对图像经行腐蚀操作，以断掉小于 2 个体素的连接，从而消除 MR 图像中大脑和头皮区域间绝大多数的噪声产生的连接。然后根据连接区域的大小，平均灰度特征使用洪水填充算法确定属于大脑皮层的连通区域，从而得到对应于皮层区域的点的集合。
    3.3 可视化建模
    开颅手术仿真过程中最关键的步骤就是基于病人术前的医学影像数据建立手术区域的三维可视化模型。本文系统在可视化建模之前，会先对关键组织进行分割，然后进行多解剖结构的混合绘制。可视化建模流程如图 7 所示。

图 7 可视化建模流程
    在开颅手术仿真中，头皮表面集中了大量的交互操作。
    面绘制方法计算量小，可以直接使用图形硬件加速绘制，实时性好。同时，面绘制方法会生成中间几何图元以及相应的几何拓扑信息，可以直接进行几何求交、求差、求并运算，非常适合开颅手术仿真的切割控制点选取，手术路径规划等交互操作。因此，对于头皮边缘，本文直接基于面绘制方法建立头皮模型。
    大脑皮层的影像信息如脑表面静脉、沟回等信息对于手术规划具有非常重要的指导意义。体绘制质量好、细节丰富，能还原出颅脑表面丰富的细节，虽然相对于面绘制计算量偏大，但由于多数交互操作是在头皮边缘上进行，因此性能满足要求。为了更好地展现这些细节信息，本文使用体绘制方法对其进行可视化渲染。面绘制流程与体绘制流程的具体流程如图 8 所示。

图 8 面绘制流程与体绘制流程
    本文的开颅手术仿真系统采用 ActiViz.NET[14]类库实现底层的可视化渲染。ActiViz.NET 是 Kitware 公司在 VTK类库的基础上发展起来的，在.NET 平台上的开源科学计算可视化库，类库实现了一套完全面向对象的可视化管线机制，类库的内核使用 C++，保证了算法的效率，并重写了部分依赖于.NET 平台的内存模型和事件代理，在兼顾了性能的同时，集成以及可扩展性好，可以方便地集成到现有的影像工作站的插件工具库中。
    头皮面、大脑区域和头部区域的绘制模型如图 9 所示，这 3 个可视化模型的数据集都是源于同一组医学影像数据，遵循着数据集内部的天然坐标系，面绘制或体绘制的影像都是源于影像数据中同一个空间体素的数值，因此，可以直接混合绘制，只是需要注意绘制的先后顺序以防覆盖。

图9 多解剖结构的可视化模型 
    3.4 仿真交互
    本文系统可视化建模的实现是基于 ActiViz.NET 的，类库提供了独立于操作系统的底层交互机制，并支持基于Observer-Command 的扩展[15]。对于手术仿真中复杂的交互操作，本文设计了一套消息处理流程，如图 10 所示。


图 10 系统交互机制设计

    在底层交互机制中，窗口中发生的鼠标及键盘事件会被封装为独立于平台的消息，并发送给关联的窗口对象，窗口对象负责根据消息的类别以及注册的优先级把消息路由到指定的交互模式类处理。在默认情况下，消息会发被送到 vtkInteractorStyle 类的实例中。本文对开颅手术仿真中涉及到的控制点拾取、手术路径生成、虚拟切割等仿真操作在特定对象上使用 Observer 注册高优先级的回调函数，优先截获消息并判断处理，如果不满足操作的条件，则将消息重新抛出到默认的消息循环被 vtkInteractorStyle 类统一处理。
    通过这种方式，系统在继承了大多数底层定制的交互操作的基础上，实现了开颅手术仿真特定的交互操作。基于任意区域的虚拟切割是开颅手术仿真的难点，其关键在于计算切割区域的隐函数[16]。隐函数是三维空间的数学描述，它根据点的坐标为空间中所有的点都计算出唯一值，从而把空间分成大于 0 的区域、小于 0 的区域以及等于 0 的区域。其中，等于 0 的区域最为特殊，通常情况下，这是一个空间中闭合的曲面或者无线延展的平面。在虚拟切割过程中，系统通过拾取操作在头皮边缘对象上标定一系列控制点，顺序相邻的 2 个控制点结合切割方向可以确定一个切割平面，这样的一个切割平面可以使用隐函数表示，从而得到一组隐函数集。对隐函数集中的所有隐函数求交，可以得到一个在空间无限延展的区域，即本文所需要的切割隐函数。确认切割隐函数后，即可基于该函数对头皮面绘制模型和颅脑体绘制模型分别切割并混合绘制以完成最终的虚拟切割效果。
    头皮边缘模型是由大量三角面片组成的面绘制模型，可以通过隐函数把头皮边缘模型上三角面片图元分类：对于隐函数区域内部的三角面片，直接舍去对应的坐标信息以及几何拓扑信息，对于相交的三角面片，本文运用 MC算法即可得到新的三角面片图元。新数据集经过渲染后即为切割后的头皮边缘模型。面虚拟切割效果如图 11 所示。

(a)开窗区域规划       (b)开窗区域剥离
图 11 面虚拟切割效果
    体绘制生成的头部区域模型数据集由空间规则点集组成，不能像面切割一样直接从数据集中删除特定点的坐标信息以及几何拓扑信息，本文通过改变隐函数区域内点的灰度值信息到不透明度传递函数的阈值之下，使其对体绘制来说是透明区域，从而达到分割的效果。不同开窗区域体虚拟切割效果如图12 所示。

(a)开窗区域1        ( b)开窗区域2图12 不同开窗区域体虚拟切割效果
    4 仿真实现和结果分析
    开颅手术仿真系统实现颅脑三维模型的建模以及开窗区域规划、开窗控制点的选取、删除、切割区域的法向量以及切割深度设置、切割面的提取以及 MPR 视图等。该系统以外科医生能理解的方式，便捷直观的仿真开颅手术中的各种实际问题。
    开颅手术仿真系统界面包括数据源、预处理、手术仿真以及 MPR 部分，其中，数据源中包含本地数据以及在线数据的获取与传输，预处理部分包含图像预处理的自动以及手动各步骤的手动实现。手术仿真部分包含了手术路径规划，手术开窗仿真等交互操作，仿真界面如图 13 所示。


图 13 开颅手术仿真结果
    其中，左侧为 MPR 视图，外科医生可以直接在主界面调整正交的 3 个切面，医学影像数据被投影到右侧对应的冠状、矢状、横截面视图上；右侧为某个特定的手术开窗区域，进行手术路径生成、虚拟切割开窗等手术仿真操作。
    5 结束语
    针对临床上开颅手术仿真的需求，本文设计一个面向外科手术医生的开颅手术仿真系统。该系统支持传统医学可视化工具无法提供的任意开窗区域规划及虚拟切割等手术仿真操作，并且能够即时显示特定开窗方案的术后大脑表面及浅表经脉场景。系统采用多解剖结构混合绘制的手术模型，在提供丰富的细节信息的同时，充分利用了头皮表面的解剖结构特征，既简化了处理步骤，又近似模拟了开颅手术的过程，为制定最佳手术方案提供了直接依据。
    下一步工作将研究如何利用 GPU 技术提高分割和渲染的实时性，同时对分割结果的精度进行评估。
    参考文献
    [1] 陈利锋, 柯以铨, 张新伟, 等. 难治性外伤性癫痫的外科治疗 42 例分析[J]. 中华神经医学杂志, 2005, 4(9): 933-935.
    [2] Noachtar S, Borggraefe I. Epilepsy Surgery: A Critical Review[J].Epilepsy & Behavior, 2009, 15(1): 66-72.
    [3] 赵 帆, 陈衔诚, 吴劲松. 高精度国产复旦数字医疗Excelim-04TM 神经导航系统的临床试验法[J]. 复旦学报:医学版, 2007, 34(5): 780-784.
    [4] Gong Xiangyang, Higano S, Mugikura S, et al. Virtually Peelingoff the Skull and Scalp: A Simple Way of Mappingthe Superficial Cerebral Veins on the Brain Surface[J].Stereotactic and Functional Neurosurgery, 2008, 86(6): 345-350. 
    [5] 王 菲, 耿国华, 冯 筠. 基于 Snake 模型和射线法的颅面重建方法[J]. 计算机工程, 2011, 37(2): 207-209.
    [6] National Electrical Manufacturers’ Association. Digital Imagingand Communications in Medicine(DICOM)[M]. Washington D. C.,USA: NEMA Standard Publication, 2008.
    [7] 张晓东, 贾富仓, 罗火灵, 等. 基于 DICOM 的医学图像传输服务设计[J]. 计算机工程, 2011, 37(S1): 263-265, 276.
    [8] 王 恒, 朱玉全, 吴 徽. D1COM 医学图像文件的信息提取及图像显示的实现[J]. 医疗设备信息, 2007, 22(9): 1-3.
    [9] 李 科, 黄 洁. 基于 TCP/IP 的 DICOM 网络通讯模型现[J]. 计算机工程与应用, 2004, 40(29): 188-190.
    [10] Barrett W A, Mortensen E N. Interactive Live-wire BoundaryExtraction[J]. Medical Image Analysis, 1997, 1(4): 331-341.
    [11] Canny J. A Computational Approach to Edge Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986, 8(6): 679-698.
    [12] Otsu N. A Threshold Selection Method from Gray-level Histograms[J]. Automatica, 1975, 11(9): 23-27.
    [13] Dogdas B, Shattuck D W, Leahy R M. Segmentation of Skulland Scalp in 3D Human MRI Using MathematicalMorphology[J]. Human Brain Mapping, 2005, 26(4): 273-285.
    [14] ActiViz.NET[EB/OL]. [2013-03-20]. http://www.kitware.com/opensource/avdown--load.php. 
    [15] 邵开来, 周海波, 张俊琪, 等. 基于 ActiViz.NET 的脑纤维三维显示方法研究[J]. 科技通报, 2011, 27(5): 746-749.
    [16] 袁杲, 叶 峰, 杨玲, 等. 基于VTK 的医学图像交互式三维测量技术研究[J]. 计算机工程与设计, 2008, 29(13)3549-3551.