来源：第三维度    作者：王静、杨子辉、 何桃、龙鹏程、胡丽琴    单位：中国科学技术大学(合肥)          中国科学院核能安全技术研究所          中国科学院中子输运理论与辐射安全重点实验室
    摘要：力反馈数据手套允许用户用手直接操作虚拟物体，模拟高危险辐射环境下人员作业过程，为提高核设施维修人员的培训效果提供了一种新的解决方案。针对国内核设施维修操作培训中虚拟仿真技术的应用现状，结合液态铅冷却反应堆散裂靶更换仿真需求，基于力反馈数据手套研究并实现了虚拟手建模与控制，以及基于虚拟手交互过程中的碰撞检测方法。以力反馈数据手套控制虚拟反应堆厂房内部漫游和散裂靶更换交互操作仿真为例，结果表明了虚拟手模型和碰撞检测算法的有效性和实用性。
    虚拟培训在高辐射危险的核能领域的应用为提高核能领域工作人员的操作技能提供了一种新的解决方案。目前基于虚拟现实技术的核设施维修操作培训正在逐步代替传统的维修培训，最具代表性的有法国 EDF 和宾西法尼亚大学[1]，用于核电站虚拟培训与虚拟训练。而手是虚拟培训中人直接参与操作的重要载体，力反馈数据手套作为目前虚拟培训中广泛使用的手部动作捕捉设备，基于其发展的虚拟手技术可以提供自然高效的人机交互方式，已成为虚拟现实[2]技术的重要交互设备之一。
    当前数据手套已在医学手术虚拟训练、汽车虚拟操作、机械部件虚拟维修上得到了广泛应用。核辐射环境因具有高辐射危险的特点，应用数据手套开展人员作业虚拟培训具有更高的经济价值和应用研究价值。其中最典型的是美国爱达荷州国家实验室[3]利用数据手套操纵仿人机械手完成危险环境如热室中人手无法直接参与的工作。相比数据手套在其他领域的应用，数据手套在国内核能领域的应用研究较少，因此结合中国核能仿真研究需求和虚拟培训中对手部动作捕捉的重要意义，开展基于数据手套在核能虚拟仿真中的应用研究具有重要意义。
    中国科学院核能安全技术研究所FDS 团队结合液态铅冷却反应堆[4-6]散裂靶更换仿真需求，利用力反馈数据手套 Cyber Touch 实现了虚拟手模型建模以及在液态铅冷却反应堆的虚拟培训应用研究。
    本文首先，介绍虚拟手模型建模与控制，基于 3dmax 和开源图形渲染引擎OGRE实现虚拟手模型建模与渲染；再次，实现基于数据手套的漫游控制和设备拆卸仿真；最后，以液态铅冷却反应堆散裂靶更换为例，实现基于数据手套的漫游控制和交互操作仿真。应用研究结果表明了基于力反馈数据手套的虚拟手模型的正确性和碰撞检测算法的有效性，同时验证了力反馈数据手套在高危险且布局复杂的辐射场景下的应用能为核设施虚拟培训提供一种新的方式，在核能领域具有广阔的应用前景。
    1 虚拟手建模与控制
    1.1 手部生理结构
    手部运动系统涉及骨骼、肌肉、关节。手部共有 27 块骨头，其中指骨 14 块，拇指有 2 块，其余四指各有 3 块[7]。手部关节的运动基本都是沿三个互相垂直的轴，除去拇指以外的四个手指均有 4 个自由度：指掌关节(MP)有2个自由度；指间关节(PIP)有 1 个自由度；指端关节(DIP)有 1 个自由度。拇指有 4 个自由度：掌腕骨相连的关节有 2 个自由度；
    MP 和 DIP 各有一个自由度。同时，手在空间位置有 6 个自由度。
    手指关节的运动有以下特点：(1)手指的弯曲和伸展有一定的角度限制[8]，具体详见表 1；(2)每根手指的各个子关节在同一个平面内运动；(3)大拇指的两个指关节在同一个平面内运动；(4)PIP 和 DIP之间的运动互相约束。
表 1   手指各关节运动角度范围Table 1  Range of motion of each joint angle of a finger
注：A0，拇指近掌关节；A1，拇指中指关节；A2，拇指远指关节；B0，其余四指近掌关节；B1，其余四指中指关节；B2，其余四指远指关节。Note: A0, The joint closest to the palm of the thumb; A1, the middle joint of the thumb; A2, the thumb finger joint; B0, the joint closest to the palm of the other fingers; B1, the middle joint of the other fingers; B2, the other fingers joints. 
    1.2 数据手套 Cyber Touch 
    数据手套设有弯曲传感器和磁定位传感器，可检测手指弯曲和精确定位虚拟手的位置。为达到逼真的效果，力反馈数据手套在上述基础上，增加了触觉反馈功能，能够营造更为逼真的使用环境。Cyber Touch 是 Immersion 公司的具有 22 个传感器的力反馈手套[9]。22 个传感器分布于手部各关节：每根手指分布有 3 个传感器；手指之间各有 1个传感器；记录掌部弓形运动的 1 个传感器；手腕处有 2 个传感器，分别记录手腕的弯曲或伸直、外展与内收。
    Cyber Touch 的 6 个触觉振动器，手掌和每根手指各有 1 个触觉振动器。可以依据手指的弯曲角度，设置触觉震动的强度，给人以触觉的反馈。
    1.3 虚拟手建模与控制
    在 3dmax 中建立虚拟手模型，绑定骨骼间的父子关系。蒙皮采用数码相机获取手部皮肤。利用插件 OGREMAX 导出虚拟手模型的骨骼以及骨骼间的父子关系，用 OGRE 直接读取并渲染处理。3dmax中建立的虚拟手模型如图 1 所示。

图 1  虚拟手模型 Fig.1  Virtual hand 
    基于数据手套控制虚拟手模型主要包含以下 4个步骤。
    1.3.1 数据初始化
    外部数据输入初始化：场景和场景物体、虚拟手模型、图形界面初始化。
    1.3.2 数据手套关节数据处理
    获取数据手套手关节传感器数据，将传感器数据转换成虚拟手控制数据。
    数据手套获取手指关节的运动角度，根据关节角度的限制，进行关节角度数据校准，校准公式如公式(1)所示。将校准后的关节角度数据实时传递给OGRE 中的虚拟手模型，刷新虚拟手模型的状态，以此控制虚拟手模型的运动。


    其中，max 与 min 分别代表数据手套获取关节对应的最大、最小角度。xmax 与 xmin 分别代表关节运动角度范围的最大与最小角度。x 代表数据手套当前获取的关节运动角度。y 代表校准后的关节运动角度。
    1.3.3 数据手套位置数据处理获取数据手套位置传感器数据，将位置传感器数据转换成虚拟环境坐标下的位置位移，传递给虚拟手。
    本文所使用的数据手套的位置数据获取依据光学摄像头，可以获取一个六维度的位置数据。数据手套的位置数据反馈给虚拟手，有两种方式：(1)获取真实世界坐标和虚拟世界坐标的原点位移，然后据此将真实世界的位置坐标直接映射到虚拟世界坐标。(2)获取数据手套前后时刻在真实世界的位移，将位移映射为虚拟手在虚拟世界的位移。
    1.3.4 图形显示
    负责场景、场景物体、虚拟手的刷新和渲染。
    2 基于虚拟手的漫游与拆卸仿真方法
    基于虚拟手的漫游控制和部件拆卸仿真为核能系统虚拟培训提供了一种更加友好、逼真的交互方式。漫游控制允许工作人员熟悉工作环境，了解环境中设备布局，便于快速准确寻找需要维修或更换的设备。基于虚拟手的拆卸仿真允许工作人员利用力反馈数据手套以自然的身体语言操作物体，给工作人员直观真实的感受，能有效提高工作人员的手操作能力、操作熟练度和对工作流程的整体认识。
    2.1 漫游控制
    基于数据手套的虚拟手模型的漫游控制的实现主要依赖于手势识别[10]的正确性。首先建立一个手势库，手势库包含手势以及与手势匹配的手势序列号(Gi)，手势与手势序列号一一对应。然后建立一个与手势库对应的动作库，动作库包含动作(Action)以及与动作唯一对应的动作序列号(Ai)。 
    手势由 5 根手指和手掌状态组成，本文使用的Cyber Touch 有 22 个传感器记录手指关节和手掌的运动数据，典型传感器对应的关节如表 2 所示，因此基于此数据手套的手势识别向量最高可为 22 维。
    表 2   典型传感器序号和对应关节Table 2  Typical sensor number and corresponding joint
        手势识别需要进行 22 维向量的比对，考虑实时仿真对速度的要求，将标识手势的高维向量进行降维处理，以此提高手势识别的速度。五个手指的动作分别用一维向量（(Vi)表示，0 表示手指伸直，1表示手指弯曲，为有效区分手指的伸展与弯曲，定义手指的关节弯曲角度在 15 度之内为伸直状态，手指运动状态表示为 0；弯曲角度大于 15 度视为弯曲状态，手指运动状态表示为 1。因此，每根手指状态标记为 0 或 1，五根手指共计 32 个手势，每个手势为 5 维向量(V1i,V2i, V3i, V4i, V5i)。手势序列号的计算公式见公式 2.


    动作序列号与手势序列号一一对应，共有 32个动作。因此动作序列号可以表示为如下公式 3。


    2.2 交互操作
    虚拟手模型的交互操作是连续手势的动作映射，侧重手势的连贯性、真实性、实时性。虚拟手常用的交互操作包含抓取、释放、旋转，均涉及到碰撞检测。力反馈数据手套在发生碰撞后，触发触觉振动器，触觉振动器震动，给用户触觉提示，避免手指继续深入到物体内部。
    2.2.1 碰撞检测算法
    三维实时交互中，碰撞检测[11]的速度和精度是研究的重要内容。为兼顾速度与精度，本文采用一种简单可行的层次包围盒碰撞检测算法。层次包围盒碰撞检测算法主要包含两个步骤：首先将整个虚拟手作为一个整体，计算虚拟手包围盒与模型包围盒的相交，可以避免虚拟手与模型无碰撞时进行大量面片相交检测，有效提高碰撞检测速度。然后虚拟手与某一物体发生碰撞后，进一步细分模型包围盒和虚拟手包围盒，进行面片相交检测，确保碰撞检测的精度。
    当前碰撞检测的包围盒主要有轴向层次包围盒AABB、方向层次包围盒 OBB、包围球 Spheres、固定方向凸包 FDH。其中 OBB 能最紧密地包围物体，同时基于 OBB 又能够进行精确地检测。因此本文所用的层次包围盒碰撞检测算法采用 OBB 包围盒。
    首先建立一个最大的包围盒，检测到包围盒碰撞后，将包围盒细分，本文采用对几何模型划分时常用的二分法，直到达到实时仿真的精度要求，确认是否发生碰撞。
    本文在进行虚拟手与物体间的碰撞检测时默认场景中的物体全部静止，不进行场景物体之间的碰撞检测。当虚拟手成功抓取物体后，进行的碰撞检测包含两种：
    (1)被抓取物体（此时虚拟手与被抓取物体为一个整体）与其他物体之间的相交检测直接进行包围盒间的相交检测，不进行面片相交检测。
    (2)虚拟手与被抓取物体间的碰撞检测是指在虚拟手与物体之间的相交包围盒内进行面片相交检测。
    2.2.2 基于虚拟手的交互仿真
    根据虚拟手与物体的碰撞检测结果，将交互操作分为：
    (1)抓取或释放物体：虚拟手移动到待抓取的物体位置处，抓取物体；虚拟手释放物体。如果物体与虚拟手碰撞且满足抓取条件，同时抓取标识为假，则抓取成功，更新抓取标志为真。若物体与虚拟手未碰撞或碰撞但不满足抓取条件，同时物体已被抓取，则释放物体，更新抓取标识为假。其中抓取规则[12]为：(a)手心面向物体；(b)除拇指外，至少还有两根手指与物体发生碰撞；(c)任意两个接触面的夹角至少有一个大于 90 度。
    (2)移动或旋转物体：虚拟手抓取物体后，移动或旋转物体。
    (3)安装或拆卸物体：虚拟手利用工具拆装物体。虚拟手成功抓取工具库中的工具，即可进行安装或拆卸。检测安装或拆卸标识；检测工具与物体的碰撞，使用工具安装或拆卸物体。根据交互操作是否使用工具，将交互操作分为两种模式：工具模式和非工具模式。
    两种模式的流程图别如图 2 和图 3 所示。


    图 2  工具模式交互操作流程图Fig.2  Tool mode interactive operation flow chart

图 3    非工具模式交互操作流程图Fig.3  Non-tool mode interactive operation flow chart 
    3 测试与应用
    液态铅冷却反应堆是中国科学院核能安全技术研究所•FDS 团队自主设计的一种可与质子加速器子系统联合实现核废料嬗变的候选堆型[13-19]。以液态铅冷却反应堆厂房漫游与散裂靶更换维修为仿真案例对本文工作开展测试与初步应用研究。
    液态铅冷却反应堆的质子束与液态铅铋回路通过靶窗相互隔开，质子束穿透靶窗入射到液态铅铋中，轰击铅铋原子核，产生中子。由于受到高能强流质子轰击和强中子辐照，靶体及质子束管上产生了大量的活化产物，同时靶窗的寿命一般较短，必须定期更换靶窗。当更换靶体时，需要将质子束管从靶回路中抽取出来，被活化的质子束管有大量的高能量辐射，所以该操作不能有人工干预，只能借助遥操机械设备完成。同时，由于堆顶盖上方设备繁多且复杂，难以自动安装轨道等设备，且更换过程中对相关设备安装的精度要求较高，因此，在靶更换作业前需要人工干预，安装遥操设备自动操作必须的轨道、临时屏蔽等。
    为保障设备安装的速度和精度，需要对工人进行作业前培训，提高维修工人的维修操作技能，因此针对散裂靶更换维修问题，利用实验室自主研发的核与辐射安全仿真平台 RVIS[20-22]，对换靶过程进行仿真。首先搭建虚拟仿真环境，液态铅冷却反应堆工程设计中采用 CATIA 建立工程模型，为了保证仿真中所用的模型和实际工程设计的模型的一致性，仿真中所用模型均为 CATIA 建模后，导出 STL格式，RVIS 直接读取 STL 格式的模型数据，进行渲染处理。本文仅将与仿真相关的模型进行建模，包含堆芯模型、厂房模型、包容小室模型、质子束管模型、吊车模型、滑轨模型等。然后利用 RVIS和搭建的仿真场景进行液态铅冷却反应堆散裂靶更换全过程仿真，分为以下 4 步：(1)安装遥操设备所需的机械设备、滑轨等；(2)拆除旧的质子束管，移至指定位置；(3)安装新的质子束管；(4)拆除机械设备和滑轨等。
    整个仿真过程涉及到人物漫游，即人物走到设备的待安装位置；交互操作，即人物到达设备的待安装位置后，安装机械设备和滑轨。另外，散裂靶更换完成后，拆除机械设备和滑轨。
    根据液态铅冷却反应堆厂房内设备布局和结构，厂房内人物漫游主要涉及以下 7 种漫游动作：前进、后退、左转、右转、上楼梯、下楼梯和站立。
    因此建立包含 7 个手势的手势库。漫游控制中的动作库采用 3dmax 制作。典型漫游场景如图 4 所示。

图 4    漫游控制截图Fig.4  Roaming control screenshot
    液态铅冷却反应堆散裂靶更换维修过程涉及的典型操作以及对应的简化操作见下表 3。图 5 展示的是安装遥操设备所需的滑轨。图 6 展示的是吊车机械臂将新质子束管移动到安装位置。

图 5    安装滑轨截图Fig.5  Installing the rails screenshot
    表 3   典型操作及对应的简化操作Table 3  Typical operation and the corresponding  simplified operation 
    由此可见，基于数据手套的虚拟手模型，可以把液态铅冷却反应堆厂房漫游控制应用到散裂靶更换的过程仿真中。漫游控制为维修人员熟悉工作环境提供一种直观的方式，有助于维修人员快速定位维修设备。基于数据手套拆解仿真有助于维修人员快速理解维修章程和熟悉维修操作，为提高维修人员的维修技能提供一种新的方式。


    图 6    机械臂移动新的质子束管到安装位置截图Fig.6  The robot arm to move new proton beam pipe into installation position screenshot 
    4 结论
    基于数据手套Cyber Touch建立了虚拟手模型，基于漫游控制和拆卸仿真方法实现了液态铅冷却反应堆散裂靶更换维修过程仿真，验证了基于数据手套的虚拟手模型和碰撞检测算法的有效性和实用性。漫游控制帮助维修人员熟悉维修环境，快速定位维修设施；同时拆卸仿真可以模拟并培训高危险辐射环境下的人员作业过程，帮助维修人员熟悉维修章程和维修操作，进而缩短维修人员在高危险辐射环境下的工作时间，降低可能的辐射危害。因此，力反馈数据手套在核能虚拟仿真中的应用研究为提高高危辐射环境下的核设施维修人员的培训效果，降低潜在的辐射危害提供了一种新的解决方案。
    目前本文工作已集成到 FDS 团队自主发展的核与辐射安全仿真系统 RVIS 中。后续将实现人全身的动作追踪，为虚拟培训提供技术支持。
    致谢  感谢中国科学院核能安全技术研究所•FDS团队其他成员的大力支持和帮助。
    参考文献
    1 WHISKER V E, BARATTA A J, YERRAPATHRUNI S, et al. Using Immersive virtual  environments to develop and visualize construction schedules for advanced nuclear power plants [C]. Proceedings of ICAPP’03, Cordoba, Spain, May 4-7, 2003. 
    2 王春,  李磊,  刘刚. 基于交互环境的石化装置虚拟培训系统 [J].  化工进展, 2014, 33(2): 510-515. WANG Chun, LI Lei, LIU Gang. Research of virtual training system for petrochemical plants based on interactive environment [J]. Chemical Industry and Engineering PrOGREss, 2014, 33(2): 510-515. 
    3 ANTHONY L. Crawford. Nonlinear force profile used to increase the performance of a haptic user interface for teleoperating a robotic hand [C]. Westin San Diego: Nuclear Plant Instrumentation and Control & Human-Machine Interface Technology, 2012. 
    4 WU Yican, FDS TEAM. Conceptual design of the China fusion power plant FDS-II [J]. Fusion Engineering and Design, 2008, 83(10-12): 1683-1689. 
    5 吴宜灿,  柏云清,  宋勇,  等.  中国铅基研究反应堆概念设计研究 [J].  核科学与工程, 2014, 34(2): 56-63. WU Yican, BAI Yunqing, SONG Yong, et al. Research on conceptual design of China lead research reactor [J]. Chinese Journal of Nuclear Science and Engineering, 2014, 34(2): 56-63. 
    6 WU Y C, ZHENG S L, ZHU X, et al. Conceptual design of the Fusion-Driven subcritical system FDS-I [J]. Fusion Engineering and Design, 2006, 81: 1305-1311.         7 刘杰,  张玉茹,  刘博.  人手到灵巧手的运动映射实现 [J].  机器人, 2003, 25(5): 444-447.LIU Jie, ZHANG Yuru, LIU Bo. Motion mapping ofhuman hand to dexterous robotic hands [J]. Robot, 2003, 25(5): 444-447. 
    8 高龙琴,  王爱民,  黄惟一,  等.  基于 18 传感器数据手套手部交互模型的建立 [J].  传感器学报, 2007,  20(3): 523-527. GAO Longqin, WANG Aimin, HUANG Weiyi,  et al. Interactive model of human hand based on 18-sensor Data-Glove [J]. Chinese Journal of Sensors and Actuators, 2007, 20(3): 523-527. 
    9 安明,  陈善广,  刘玉庆.  基于数据手套的虚拟手精确建模 的 研 究 与 实 现 [J].  计 算 机 仿 真, 2010,  27(1): 241-244. AN Ming, CHEN Shanguang, LIU Yuqing. Study and implementation of precise of modeling of virtual-hand based on data glove [J]. Computer Simulation, 2010, 27(1): 241-244. 
    10 罗迎. Quest3D虚拟人机交互系统中5DT数据手套的应用 [J].  科学技术与工程, 2011, 11(4): 855-858.LUO Ying. The research of using data glove on virtual human-computer mutual system based on Quest3D [J]. Science Technology and Engineering, 2011,  11(4): 855- 858. 
    11 刘春,  徐菁.  一种数据手套交互控制模块的设计与应用 [J].  计算机仿真, 2009, 26(3): 251-255. LIU Chun, XU Jing. Design and application of interaction and control Module for data glove [J]. Computer Simulation, 2009, 26(3): 251-255. 
    12 李志华,  钟毅芳.  虚拟手模型及其抓取技术 [J].小型微型计算机系统. 2003, 24(6): 1071-1074. LI Zhihua, ZHONG Yifang. A virtual hand model and its rule for grasping [J].  Mini-micro System, 2003,  24(6): 1071-1074. 
    13 吴宜灿,  李静惊,  李莹,  等.  大型集成多功能中子学计算与分析系统 VisualBUS 的研究与发展 [J].  核科学与工程, 2007, 27(4): 365-373. WU Yican, LI Jingjing, LI Ying, et al. An intergrated multi-functional neutronics calculation and analysis code system: VisualBUS [J]. Chinese Journal of Nuclear Science and Engineering, 2007, 27(4): 365-373. 
    14 WU Yican. PrOGREss in Fusion-Driven Hybrid system studies in China [J]. Fusion Engineering and Design, 2002, 63-64: 73-80. 
    15 WU Yican. Conceptual design activities of FDS series fusion power plants in China [J]. Fusion Engineering and Design, 2006, 81(23-24): 2713-2718. 
    16 WU Yican, JIANG Jieqiong, WANG Minghuang, et al. AFusion-driven subcritical system concept based on viable technologies [J]. Nuclear Fusion, 2011, 51(10): 103-106. 
    17 WU Yican, FDS Team. Design status and development strategy of China Liquid Lithium-Lead blankets and related material technology  [J]. Journal of Nuclear Materials, 2007, 367: 1410-1415. 
    18 WU Y C, QIAN J P, YU J N. The Fusion-Driven Hybrid system and its material selection [J]. Journal of Nuclear Materials, 2002, 307-311:1629-1636. 
    19 CHEN Yan, WU Yican. Conceptual study on high performance blanket in a spherical Tokomak Fusion-Driven tranSMItter [J]. Fusion Engineering and Design, 2000, 49-50: 507-512.
    20 LUO Yuetong, LONG Pengcheng, WU Guoyong,  et al. SVIP-N 1.0: An integrated visualization system for neutronics analysis [J]. Fusion Engineering and Design, 2010, 85: 1527-1530.         21 LONG Pengcheng, LIU Songlin, WU Yican, et al. Design and testing of the fusion virtual assembly system FVAS 1.0 [J]. Fusion Engineering and Design, 2007, 82: 2062- 2066. 
    22 SHANG Leiming, YANG Zihui, ZHAO Jinbo,  et al. Design and development of virtual assembly prototype system for Clear-I [C]. Prague, Czech Republic: Proceedings of the 22th International Conference on Nuclear Engineering: July 7-11, 2014.