来源：第三维度
    作者：刘冠阳，周万琳，王举
    单位：北京航空航天大学机器人研究所
    邮箱：gyliu@me.buaa.edu.cn

     原文名称：《融合力觉显示和图形显示的飞机加油模拟操作系统》

    摘要：本文的研究目标是建立融合力觉显示和图形显示的虚拟现实人机交互系统，培训专业人员模拟飞机供油操作。通过分析目前专业人员进行飞机加油操作训练的现状，文章提出了虚拟培训方案，建立了融合力觉和视觉显示的虚拟现实系统，供操作者在沉浸式的仿真环境中进行模拟训练，掌握动作要领，获得与物理世界进行相同操作类似的感觉。验证方案的样机系统采用Omega3DOF 作为力觉交互设备，基于Windows XP 系统建立了软件仿真平台，实现了对飞机油箱和供油管路进行简单操作的仿真模拟。本文重点讨论了仿真系统的体系结构和硬件构成，以及软件建模和渲染方法。实验证明仿真训练系统基本达到了设定的目标，为力觉人机交互系统用于虚拟技能训练探索了新的途径。

    1 引言：

    飞机地面加油是指专业人员通过操作地面供油系统或者供油车为飞机补充燃油。加油方式有两种，分翼上加油和翼下加油。采用翼上加油方式的主要是小型飞机，大型飞机均采用翼下加油方式。工作人员将燃油从储油库输至油罐车体内，驱车至飞机旁，按照规定步骤用加油车软管对飞机加油系统进行操作。由于飞机的油箱和供油系统结构复杂，燃油存在蒸发和污染的可能，要求专业人员必须熟练掌握加油操作要领，严格遵守操作规程，安全高效的完成对飞机的供油操作。因此，专业人员必须经过长时间的训练来熟练掌握飞机地面加油技术。

    目前，对加油专业技术人员的培训过程主要包括观看演示和实际训练操作两个环节。通过观看加油示范的影片，学习动作要领，然后在专家的指导下进行实际操作。采用上述培训方式周期长，而且实际训练操作成本较高。如果在两个训练环节中增加虚拟操作训练，让技术人员在计算机营造的虚拟环境中模拟加油操作，获取与物理世界操作相似的视觉和力觉反馈，将助于技术人员更好的掌握技术要领，缩短培训周期，并节约物理培训的成本。

    国外的一些科研机构已经开始进行融合力觉显示的虚拟装配、维护和训练系统研究，希望能够为操作者提供沉浸式的力觉和视觉反馈相融合的仿真操作系统。与前期虚拟现实技术研究集中在视觉显示算法不同，上述研究工作重点是建立具备力觉显示功能的逼真的操作场景，使受训人员从单纯的获取视觉反馈，转变为在逼真的虚拟场景中进行主动操作，并获取多感觉融合的反馈，模拟真实物理操作的过程。上述研究成果首先应用在飞机等具有复杂结构设备的虚拟装配和维护中，如德国Fraunhofer 工业工程研究所[1]，美国Washington 州立大学[2]，美国Iowa 州立大学[3]，美国Wisconsin - Madison 大学[4]，英国Heriot - Watt大学[5]，加拿大Windsor 大学[6]等分别针对飞机等复杂结构的虚拟装配检测、虚拟维护测试和虚拟训练进行了研究。国内一些研究机构[7-11]也开展了虚拟装配和虚拟操作的研究工作。综合国内研究成果，建立融合力觉显示和视觉显示虚拟操作场景的研究处于起步阶段，研究重点仍集中在场景仿真和视觉显示。

    本文的研究目标是基于力觉交互设备开发融合力觉显示和视觉显示的仿真环境，供专业人员模拟飞机加油操作，探索力觉人机交互技术用于虚拟操作的关键技术，为专业人员提供沉浸式的虚拟操作环境。

    2 仿真系统总体设计要求

    2.1 系统设计要求

    本文的研究主要模拟飞机加油典型操作，操作内容包括：（1）飞机油箱设备的规范操作；（2）供油系统管路的正确操作，油管与油箱的对接和拆分。

图1：飞机加油模拟训练系统样机

    仿真环境是操作者使用力觉交互设备模拟加油操作的虚拟场景，要求建立逼真的局部加油模型，场景中虚拟模型具有位置属性、运动属性、力觉属性和视觉属性。加油系统结构零部件占据三维虚拟空间位置，并且依据零部件的硬度产生刚性或者弹性的位置约束。加油管路和供油部件可以被移动、转动，产生空间任意的位姿改变；零部件模型能够被操作者手部感知，如零件质量、形状、尺寸、硬度、相互接触碰撞产生的力，并且可以进行实时地视觉显示。

    2.2 体系要求

    飞机加油操作模拟系统由力觉交互设备和仿真计算机构成。训练过程中，操作者使用力觉交互设备在仿真计算机营造的虚拟场景中进行飞机加油和供油的操作，并分别通过力觉交互设备和视觉显示设备获取与物理世界相似的力觉和视觉反馈。

    本文研究的飞机加油模拟样机系统（图1）采用Omega 3DOF 力觉交互设备作为硬件平台，仿真计算机是P3.0，1G 内存，操作环境采用Windows XP，编程工具采用Visual C++，图形显示基于OpenGL 开发，力觉交互通过调用Omega 3DOF 自带功能模块与计算机和控制器进行通讯。

    仿真系统软件包括：场景建模，仿真引擎，力觉渲染和图形显示四个功能模块，如图2 所示。

图2：仿真算法计算流程

    在模拟操作过程中，力觉交互设备采集操作者的手部运动映射为虚拟环境中相应模型的空间运动，并将力觉渲染算法负责计算的虚拟环境物理属性发生改变需要释放的反馈力输出给操作者。仿真引擎可以实时根据力觉交互设备采集的操作者运动信息，计算虚拟环境物理属性的变化，包括局部模型位置和姿态的改变，虚拟环境中模型间的碰撞和接触，并将计算结果分别发送到力觉渲染和图形显示模块。力觉渲染算法计算获得反馈力信号，并进行相应的稳定处理，使反馈力输出信号与交互设备的性能相匹配，并控制交互设备向操作者输出反馈力，图形显示算法按照设定的频率对虚拟场景进行实时更新。力觉显示和图形显示应当保证同步，没有滞后，让操作者获得逼真的操作感觉。

    3 虚拟环境建模

    仿真场景模型基于三角片网格模型建立，飞机加油操作相对复杂，涉及对多个零部件进行移动和旋转操作，场景建立原则是相对场景固定坐标系发生运动的每个零部件需单独用三角片网格表示，所有场景中不会产生运动的零部件整体用一个三角片网格模型表示。仿真过程中零部件之间的相对运动转化为虚拟场景中三角片网格之间位置和姿态的相对变化。

    本文研究中采用Ghost 力觉系统进行力觉仿真计算，在Ghost 默认的力觉显示体系中，需要采用三角片网格表达虚拟物体。定义参数 表示虚拟场景中单个零件的数据结构体，m 表示基于Sensable 公司提供的Ghost 数据结构定义的零件三角片网格模型，包含顶点、边、三角片、法向量等几何单元和几何元素之间的拓扑关系， T4×4表示三角片网格模型在虚拟环境世T界坐标系中的位姿变换矩阵，s 表示零件的硬度，用于区分刚体和弹性体，μ 表示零件的表面磨擦系数，c 表示零件的颜色，k 表示该零件是否可被移动或转动，a 表示零件是否正在被操作，z 表示零件的质量。 虚拟场景中所有的零件可以用i 表示， 表示零件的M i序号。

    虚拟场景建模采用如下的计算流程，首先需要获得所进行模拟训练飞机油箱和供油枪的实际几何尺寸；利用Catia 软件进行建模；利用Catia 软件的导出功能将所建立模型的单个零部件分别以Vrml2.0 格式导出，存储为多个零部件局部模型文件；编写程序，将Vrml 格式零件模型转化为Ghost 体系默认的三角片网格模型，在仿真场景中进行显示。

    复杂仿真场景的零部件被单独存放在不同的Vrml 格式文件中，需要分别转化为三角片网格，然后导入虚拟场景中。不同的零部件具有不同的形状、尺寸、质量、硬度，并且用不同的显示颜色进行区分。

    需要编制程序对零部件网格序列进行编号，并且设定不同的运动属性、位置属性、力觉属性和视觉属性，在仿真过程中供不同的功能模块进行读取和调用（图3）。

图3：飞机加油仿真操作场景

    4 仿真引擎算法

    仿真引擎的功能是根据力觉交互设备采集操作者手部运动信息，实时计算仿真场景物理属性的变化，并将计算结果与力觉显示和视觉显示线程进行通讯，进行力觉渲染和显示输出。

    交互设备在虚拟环境中的映射位置和姿态相对虚拟环境世界坐标系用齐次变换矩阵4×4，由于加油训P练操作除了机载固定加油系统外还需要操作者对油枪进行操作，因此交互设备的虚拟映射需要在机载设备和油枪之间进行选择切换。系统建立了自主判定和菜单式结合的目标选择模式。

    操作者根据操作任务和规程，选择当前的被操作对象，将目标与交互设备固连，并随交互设备在虚拟环境中进行映射运动。当需要变更被操作对象时，只需要进行目标重新设定即可。当被操作目标与虚拟环境中其他物理模型发生碰撞和接触时，碰撞检测功能可以实时检测出发生碰撞目标的物理信息，包括碰撞位置、面积、深度等相关信息，为力觉计算提供依据。

    单步操作完成后，运动截止，操作者继续按照规程进行后续操作。Ghost 提供了高效的碰撞检测和虚拟力计算方法，保证力觉显示更新频率达到1K Hz。但是，Ghost 软件环境开放性不够，无法将碰撞检测和力觉计算解藕，无法进行单一场景多网格模型的碰撞检测计算。飞机加油仿真操作场景由多个三角片网格模型组成，单步操作中可能发生多个网格模型互相之间的接触和碰撞，所以Ghost 提供的检测方法无法满足系统需要。本文研究了复杂多网格场景中基于包围盒几何约束的多点碰撞检测方法，满足1K Hz 更新频率的要求，实现稳定逼真的力觉仿真交互。

    5 力觉渲染和图形显示

    力觉交互设备Omega 3DOF 控制器提供了与计算机进行通讯的库函数，基于这样的体系架构，仿真力觉渲染算法需要在满足1K Hz 更新频率的要求下，提供反馈力信号，并通过上层计算机与Omega 3DOF 控制器进行通讯。在力觉伺服循环中，交互设备控制器和仿真计算机之间以1K Hz 的频率进行位置信号和力信号的传输，视觉显示的更新频率达到30Hz，即可以保证图形显示不出现失真和滞后。

    力模型共包括探察模型，碰撞模型和操作反力三种，分别适用弹簧模型和阻尼模型，根据系统检测的交互类型，进行选择性的计算。模型参数的设定和影响因素如表1 所示。

表1：力模型计算参数设定

    探察力：        （1）

    碰撞力：               （2）

    操作运动反力：          （3）

    ：单个采样时刻交互设备的运动位置， 模型的计算参考固定点， 单个采样周期交互设备的运动速度。

    6 系统实验

    建立了模拟专业人员进行飞机油箱操作和供油管路操作的仿真环境，样机系统如图1 所示。操作者抓持力觉交互设备，首先进入虚拟环境，探察虚拟环境的物理环境。依次选择序列被操作的物体，首先将飞机油箱的油箱盖摘除，移动出虚拟环境显示场景中；随后选定油枪，将油枪对准加油管道，进行固定连接，开始为油箱注入燃油；当加油操作完成后，指示灯会熄灭，操作者移动交互装置，摘除并移走油枪，重新将油箱盖安装到油箱，并进行固定，完成一次典型的加油操作。

    操作者可以移动交互设备，根据操作规程在可移动的零部件之间进行切换，改变设备运动在虚拟环境中的被映射物体。当没有物体被操作物体被选中时，操作者可以移动交互设备探察虚拟环境中复杂结构的位置、形状、硬度等，以力反馈的形式获取空间约束。

    当操作者移动设备部件运动时与虚拟环境其他物体发生碰撞和接触时，能够通过交互设备获取反馈力，感受到位置约束的存在。操作者移动交互设备改变虚拟环境属性的过程中，视觉显示能够以30Hz 的更新频率实时更新虚拟场景，使操作者获得稳定逼真的被操作物体的视觉反馈，没有滞后。

    结论

    本文开发了融合视觉和力觉反馈飞机加油模拟操作系统样机，供专业人员在虚拟环境中进行飞机供油操作的训练。下一步研究中将建立更复杂的加油场景，包括加油车和供油管路，并将使用两台力觉交互设备建立双通道模拟系统。

    参考文献

    [1] Bullinger H J , RichterM. VirtualAssemblyPlanning,Human Factors and Ergonomics.Manufacturing, 2000,10 (3) : 331～341

    [2] Jayaram S, Connacher H, Lyons K. Virtual AssemblyUsing Virtual - reality Techniques. Computer AidedDesign, 1997, 8 (29) : 575～584

    [3] Bob K. A Synthetic Environment for AssemblyPlanning and Evaluation. http: / /www. cs. uiowa.edu /～cremer/. sive - abstracts/kuehne. text, 2004 -10 -25

    [4] Srinivasan H, Gadh R. Comp lexity Reduction inGeometric Selective DisassemblyUsing theWavePropagation Abstraction. Proceeding of IEEEInternational Conference on Robotics andAutomation , Leuven,1998

    [5] Dewar R G, Carpenter ID, Richter J M, et al.Assembly Planning in a Virtual Environment.Proceeding of Portland International Conference onManagement and Technology, Portland, 1997

    [6] Yuan X B, Yang S X. VirtualAssemblywithBiologically Insp ired Intelligence. IEEETransactions on Systems, Man, and Cybernetics -Part C: Applications and Reviews, 2003, 33 (2) :159～167

    [7] 邵毅，张开富，李原，杨海成，飞机数字化产品开发，航空制造技术，2003：31-33

    [8] 王鹏，李伯虎等，复杂产品虚拟样机协同仿真建模技术研究，系统仿真学报，2004.16（2）：274-277

    [9] 宋铁牛，虚拟技术在航天产品研制中的应用前景，现代防御技术，2004.10，32（5）： 69-72

    [10]杨宇航，李志忠，郑力，虚拟维修研究综述，系统仿真学报，2005，17（9）： 2191-2198

    [11]邓华林等，虚拟装配中的虚拟手交互技术，计算机应用技术，2005.6：36-39