来源：第三维度
    作者：王余涛  硕士学位论文

    本文节选自《基于增强现实的协同式装配系统研究》第二章 

    前言   

   在制造业中，装配技术旨在采用快速，可靠，低成本的装配方法来提高产品设计质量，缩短产品开发周期，节约成本。传统的原型装配方法就是制造出零件的原型。零件原型虽然能够给操作者提供真实的装配操作体验，但零件原型的开发成本非常高，如果发现产品设计不足，无法在零件原型上直接修改，必须重新制造原型来改进，反复这个过程直到得到满意的产品设计。这种开发方式导致产品设计周期长，成本高。随着计算机辅助设计技术的发展，装配操作变得越来越自动化，虚拟装配极大地推动了装配技术的进步。虚拟装配技术采用计算机生成的虚拟三维零件模型来代替零件原型，不需要加工出样品原型，可以大幅度降低生产成本，而且零件的改进只需要修改对应的虚拟模型，大大缩短了设计时间。然而虚拟装配也有其不足之处，就是其将设计人员完全浸入在虚拟的环境中，没有任何真实装配空间的信息，导致操作环境真实感不足，操作不够直观高效。如果将增强现实技术应用到装配设计中，就可以利用增强现实的虚实结合的特点，将真实的装配空间和虚拟的零件模型操作结合到一起，使装配环境更加真实，交互方式更加自然，装配操作更加直观高效，装配效果更加可靠。

   本文提出了一个基于增强现实的协同式装配系统的框架结构并详细阐述了系统中注册跟踪、遮挡处理、碰撞检测、人机交互、运动仿真等几个关键模块的设计和实现方法。系统包含了增强现实和装配设计上的诸多关键技术：为支持多用户协同设计，系统采用c／s体系结构；遮挡处理是用于计算虚拟模型和真实物体正确的遮挡关系；碰撞检测用来判断零件之间是否发生碰撞，进而判断零件之间的约束关系和辅助交互工具与零件的交互过程；在人机交互设计上，系统不是采用传统的二维鼠标和菜单，而是设计了一系列针对增强现实装配操作的交互工具，用以模拟真实环境下的三维交互。这些交互工具是虚拟面板、虚拟笔和虚拟手套。本文还提出了一个全新的基于增强现实的装配体运动仿真方法，探讨了虚拟零件与真实零件相互驱动的可能性。当产品零件装配完毕后，系统可以根据装配体零件的约束关系和装配特征，计算运动过程中零件的运动方位信息，实现运动仿真，用来辅助设计人员验证装配体安装可行性，发现产品设计的缺陷和衡量产品的性能。根据系统的框架结构和技术细节，本文开发了一个原型系统并通过实例给出了各技术模块的实现结果，验证了系统的可行性。
   
   1、增强现实在装配技术上的应用

    本文主要探讨增强现实在装配领域中的应用开发。装配技术是现代制造业中一项非常重要的领域，已经被证明为对早期阶段的产品设计有重大的意义(Nof et a1．1997)。装配过程一般在产品的整个设计制造过程中占用约40％-60％的人时数。如何找到高效、可靠，能够保证产品质量，同时又能够减少生产成本，提高产品竞争力的装配技术对整个制造业都有着重要意义(Yan et a1．2003)。传统的装配方式就是加工出产品的物理原型零件(PhysicalPrototyping)，通过零件装配过程帮助用户发现设计的不足和漏洞，进而改进产品设计，这种装配方式由于是制造出产品原型，能够给用户提供真实的视觉、听觉和触觉反馈，在过去二十多年中得到非常广泛的应用，但是原型方式是一个非常耗时耗资源的过程，加工出产品的原型后如果发现出产品设计缺陷，无法在原型上直接修改，需要重新设计，重新制造，反复整个过程直到得到满意的设计结果，因此导致整个设计开发周期长，成本高。

    随着计算机辅助技术和虚拟现实技术的发展，虚拟原型(VirtualPrototyping)技术逐渐发展成熟并得到应用，被称之为虚拟装配(VirtualAssembly)。虚拟装配采用虚拟现实技术，通过计算机生成一个全虚拟的三维装配环境，虚拟装配系统通过运动跟踪和力反馈等技术给用户提供在装配环境中的操作手段，仿真整个装配过程。Jayaram et al(1997)开发了一个称为VADE(Virtual Assembly Design Environment)的虚拟装配设计环境系统，提供一个完全浸入式的虚拟环境，来帮助设计人员从设计初期就考虑到零件装配、拆卸的过程，辅助分析产品设计。图1．3为德国A．R．T．GmbH公司的全身定位系统在虚拟装配的应用示例。操作人员先将在CAD系统建立的零件模型导入到虚拟装配系统中，然后佩戴定位系统和力反馈设备，在虚拟装配环境中直接操作虚拟零件进行装配，通过虚拟的装配过程检验产品的可装配性，获得装配体验，评估和改进产品设计。

 (a)操作^员佩戴全身定位系统进行装配操作  

 (B)对应的虚拟装配环境和操作
    图1 A.R.I虚拟装配 

    由此可见，虚拟装配不需要加工出产品原型，而只是操作虚拟的CAD模型．可以反复设计修改，因此能够大幅度的缩短开发周期和降低开发成本，使装配过程变得更加快速、高效、经济。然而虚拟装配技术同样存在一定的缺陷，那就是操作人员处在一个完全由计算机图形组成的虚拟的装配环境中，没有包含真实环境中的信息．仅仅是通过虚拟场景来模拟出真实的工作环境，其通过视觉，力反馈等技术所虚拟出来的真实感是有限的。虽然现在的计算机软硬件性能已经越来越强，但是要开发能够满足生成有足够真实感的场景，能够处理复杂的装配操作．同时又达到实时性要求的系统往往还是很困难的(Pang et al2005)。

    增强现实由于其虚实结台的特性，恰恰能够解执虚拟现实的场景真实感不足的问题，如果将增强现实技术应用到装配领域中，则能够给操作者提供一个即包含周围真实装配环境又同时有虚拟信息的混台环境，大大增强用户的真实感。在这样的装配系统中，一部分零件是加工出来的原型，另一部分是虚拟的CAD模型，操作者既可以操作真实的零件也可以同虚拟的模型交互，从而将物理原型(Physical prototyping)和虚拟原型(Virtual prototyping)的优点结合起来。

    许多学者不断研究探索增强现实在装配技术中的关键技术和应用。Haniffet al(1999)提出了基于增强现实的装配训练系统，通过将零件名称、装配信息、正确的装配位置以图形的形式叠加到真实装配环境中来，使得训练者能够较快的获得装配体验，熟练掌握装配过程。Yuan et al(2008)采用RCE神经网络模型设计了一个交互工具来辅助装配操作。Shen et a1．(2008)详细的阐述了如何将虚拟的信息，如注释、高亮显示的模型特征等．无遮挡的显示给用户，以指导用户进行装配。在汽车制造业，已经出现采用增强现实技术指导车门装配的应用(Reiners et a1．1998)。．随着基予增强现实的装配技术不断发展，一些学者开始对这种装配技术的性能进行评估(Tang et a1．2003，1|I『iedenmaier et al。2003)。

    随着装配技术的复杂化，协同式装配系统逐渐成为进一步的研究方向。协同式系统采用客户／服务器(Client／Server)式架构，能够同时支持多入协同式工作，用户可以从不同焦度观察和操作共同的装配体，通过交流合作完成装配任务。Billinghurst et al。(1998)开发了TransVision系统，利用虚拟物体的信息作为提示辅助多用户的合作决策过程。Broll et a1．(2000)展示了～个虚拟圆桌(Virtual Round Table)，能够将力、载荷等抽象信息用可视化的图形表达出来，支持多用户协同操馋。Amin Hammad et a1．(2009)采用分布式协同结构，通过增强现实技术模拟起重机作业，并提出一个增强现实分布式协同建设的方法(DARCC)。

    作为一个新兴的领域，基于增强现实的装配技术还远来成熟，还需要更多的研究和探索。然而增强现实技术虚实结合的特性必将使其得到越来越广泛的应用，甚至成为新一代的制造技术(Pang et a1．2005)。

    2 、系统框架

    与虚拟装配相比，基于增强现实的装配由于其虚实结合的特性能够提供更加真实的装配环境和更加直观的交互方式。本文提出的基于增强现实的协同式装配系统的设计目的是使装配操作变得更加真实、直观、简单、快速和节约成本。协同式设计是为了使系统能支持多用户同时进行装配操作，用户可咀从不同角度观察产品设计，通过交流合作完成装配设计。图1给出该系统的框架结构。下文将介绍系统框架中的各个模块。

图1基于增强现实的协同式装配系统的框架图

    为支持多用户操作，系统采用技术成熟的客户／服务器(c／s)软件体系结构。客户／服务器结构是20世纪90年代逐步发展成熟的技术。该结构将软件应用一分为二，服务器作为后台管理数据，处理客户请求；客户端为前台显示数据，完成用于客户交互和预处理。该结构利用客户机和服务器各自的硬件环境处理能力，将任务合理的分配到两端。客户端接收客户输入和前期处理后提交给服务器，服务器负责处理客户端请求。这样一方面减轻了服务器端的数据负荷同时保证了数据存储管理的一致性。

    在本文的装配系统中客户端主要包含客户信息(C1ient Information)、本地数据库(Local Database)、注册跟踪、显示和修改更新等子模块。其中客户信息是指当前客户端的名称、用户类型、当前工作状态等信息。不同类型的用户拥有不同的权限等级，对应不同的观察和修改权限，后面将详细介绍用户权限管理。本地数据库用来保存和管理本地模型。本地模型是指组成当前装配体的模型以及用户从服务器端调出的临时模型。在装配过程中，服务器端模型库保存全部的零件模型，但客户端并不需要将所有这些模型调入到本地数据库中，而只需将当前装配体的组成模型和候选零件模型等调入，当某些零件从装配体中移走后，客户端数据库将删除这些零件模型。由于每一个客户端用户处于不同的观察角度，所以每一个客户端都需要单独注册跟踪模块来注册装配空间坐标系，实时获取自己当前的所处位置信息。显示模块主要采用OpenGL为图形接口绘制虚拟模型并将其与摄像机获得的真实场景图像融合，最终输出到用户的监视器或头盔显示器上显示。在图像融合过程中会涉及到遮挡处理等技术，达到虚实融合的目的。当用户使用交互工具执行装配操作时，需要将装配体的修改请求提交给服务器端，服务器将根据用户权限和修改命令来更改数据，并更新到所有客户端数据库中，使所有用户能够看到统一的修改后的装配体，保持装配体的一致性。

    服务器端用来管理数据和处理客户端请求。其中模型库(Model Library)保存所有装配设计所需的零件模型，这些模型由商用的CAD软件创建并导入到系统中。零件模型不但包含用于显示的几何信息，还包括实体信息、装配特征和约束特征等。装配树(assembly tree)是用来管理装配体零件的组成关系，用户修改装配体的过程实际就是对装配树的修改，具体细节将在后文描述。当用户完成一个装配体的初步设计后，运动仿真模块可以对装配体的运动进行仿真，用以帮助用户发现设计不足，评估设计效果，进而改进设计。在运动仿真的过程中，服务器端实时的将装配体各个零件的位置信息更新给客户端，客户端根据新的零件位置信息显示相应的装配体运动姿态。同客户端一样，服务器端也包含服务器信息，用于保存当前服务器状态。命令列表(Command List)

    用来保存和调度客户的命令请求，由服务器端依次执行相应的命令。注释(Annotation)模块是保存模型库中零件的名称、装配特征、帮助信息等内容，这些内容会在装配操作过程中根据需要调入到客户端并显示出来，作为提示信息，辅勘用户操作。权限控制(Authority Contr01)是用来管理不同类型用户的操作权限。比如离级用户对装配体的修改请求可以得到确认，观察者的修改请求则不能通过，两只能查看数据库，观察当前装配体。由于多个客户端都扶服务器端载入当前装配树所对应的模型到本地数据库中，丽不同用户还可以对其进行修改，系统必须保证装配体襁关数据的一致性。也就是说每个客户端除了当前操作需要高亮显示的装配特征、注释和临时操作的模型外，其他装配体模型都要相同，这也就是装配体的一致性。当某个用户提出修改，服务器端验证通过了其权限，并对装配树做出了相应修改后，服务器将立刻更新所有客户端的数据库，使得最新的修改能够即时的显示给所有用户，保证数据一致性。

    本文所提出的协同式装配系统应用到了增强现实中的许多关键技术，如注髓跟踪、遮挡处理、交互设计和本文提出的一种新的运动仿真技术。这些技术模块将在后续章节详缨讨论。下面先介绍系统框架中其他的一些技术模块。

    3、显示方式

    简单地说，增强现实就是将计算机生成的虚拟模型与真实场景结合到一起，达到增强现实世界的效果(Azuma，1997)。这个结合过程一般采用两种方式：光学透视(optical)和视频(video)，两种方式有各自的优点和缺点，每种方式都对应一种透过式头盔显示器(see-through腿D)。透过式头盔显示器与封闭式头盔显示器不同，它可以让观察者看到周围真实环境，同时又能看到叠掘在上面的虚拟物体。丽封闭式头盔显示器不能看到周围真实环境，只有显示器上的虚拟物体。透过式头盔显示器又分为两种。光学透视头盔显示器(Opticalsee-through HMD)可以让观察者直接看到真实场景，系统将虚拟的图片同时显示到显示器上，实现虚实结合。图2．2给出光学透视显示方法的原理图。图3为Hughes电子公司生产的光学透视头盔显示器。

图2  光学透视显示原理

图3  光学透视头盔显示器

    视频透过式头盔显示器(video see—through HMD)为封闭式的咖D并在上方加一到二个摄像头，代替双眼。摄像头用于采集真实场景的视频图像，这些视频同计算机生成的虚拟场景的图像结台到一起，形成虚实结合后的视频输入到头盔显示器上显示。图4为视频透视显示方法的原理图。

图4 视频透视显示原理图

    头盔显示器由于佩戴在头部，能够随着观察者的方位变化而移动，头盔上的头部传感器用来跟踪观察者头部位置，使系统能够根据观察者当前视场来将虚拟模型绘制到正确的位置上。这样观察者就可以一边观察虚实结合的场景一边操作，而不需要去看固定位置的显示器，使得观察和操作更加方便，真实感更强。头盔显示器的主要缺点是其比较笨重，价格高，另外显示器的刷新率和分辨率还不够高，佩戴久了容易引起观察者的眼部和颈部疲劳。

    当然，除了采用头盔显示器．增强现实系统还可以采用一般的监视器．如电脑显示器、投影仪、手机屏幕等等。图2 5为电脑监视器显示方法的原理图。本文的原型系统就是采用这种显示方式。Azuma(1997)在其文章中详细的分析以上几种显示方式的各自优缺点。

图5监视器显示原理图

    3、装配树   

    在基于虚拟现实的虚拟装配系统中，所有零件模型都是虚拟的，多是由CAD软件生成并导入到系统中来，装配系统维护一个虚拟零件库。与虚拟装配不同的是，基于增强现实的装配系统不仅包含虚拟零件库，同时还有一些已经加工出来的主要产品零件原型，也就是说虚拟和真实的零件同时存在。在一般的装配任务中，特别是对现有产品设计改进和装配训练中，往往先将一些主要的零件加工出原型，操作者通过操作雕属的虚拟零件装配到主体零件的过程，来发现设计不足，衡量设计效果。这些主体零件原型可以作为装配环境的基本参照，并且一般在装配任务中是不变动位置，甚至是固定在工作台上的。

    装配系统一般采用装配树(Assembly Tree)的数据结构来表达零件之间的装配组织关系。图2 6为一个典型的装配树结构，图中每个节点代表一个零件或者子装配树。一个零件节点包含其索引号、模型几何信息、模型实体信息、装配特征、约束状态、空间变换矩阵、以及是虚拟还是真实的零件等信息。在装酉己设计(Assembly Design)过程中，装配序列是靠操作人员的专业知识和经验来生成的；在装配指导(Assembly Guidance)中，装配序列是预先定义好的，并以注释等形式显示出来，辅助操作者逐步执行装配操作。

图6装配树示意图

    4、本章小结

    本章提出了基于增强现实的协同式装配系统框架并对客户／服务器架构、模型库、权限管理等模块给出详细的说明。讨论了框架中有代表性的两个子模块：显示技术和装配树。显示技术体现了增强现实系统中虚拟模型和真实场景的结合方式和输出方式。装配树用来表达和管理装配体中各种零件的组成关系。本章提出整个系统的架构和主要的关键技术，后续章节将详细介绍这些关键技术的细节和实现方法。