来源：第三维度
    作者：高申玉 刘金刚
    单位：中科院计算所
          首都师范大学计算机科学联合研究院
          空军指挥学院空军战术系北

    摘要：将人体运动实时捕捉下来，实现数字化处理与同步图像显示，将在影视广告制作、体育运动分析、康复效果跟踪等许多方面具有潜在的应用前景。本文系统介绍人体运动实时捕捉仪器的设计原理、数据处理与相关算法，并对该仪器的应用前景进行分析。

    引言

    人体运动是个复杂的连续过程，对此过程实现数字化记录和处理，则可为人体运动分析与研究提供极大方便。人体运动是由人体上各个关节点来牵引和约束的1，如果能记录到每1 帧中各主要关节点的位置数据，再进行人体建模与图像重构，则可实现人体运动数字化。结合国家“863”课题，研究开发这套人体运动实时捕捉设备，它实现对人体在有限空间运动时各主要关节点（Marker 点）的探测和数据采集，根据相应计算和处理，得出各点坐标数据，同时进行虚拟人运动图像重构。这样，人体在运动时，PC 机上实时动态地显示虚拟人运动及虚拟空间的图像，并保存数据和图像以备进一步处理。

    由于实现人体运动数据化、同步图像动态显示、数据和图像保存等多项功能，这套设备在影视广告和动画的实时制作、特技动作拍摄、体育、医疗、测量和辅助设计等方面都有很大的应用潜力，而且体现出实时、快速、经济、可重复等优势。本文介绍其设计原理，并对其应用前景进行说明。

    1 系统设计原理

    1.1 系统硬件设计

    成套设备包括：4 ～ 6 个探测支架、主控制盒、特制紧身衣、同步控制盒、三角检测架及专用导线等。主控制盒内嵌USB Hub、电源及工作切换等模块，向设备供电并使主机通过USB 口连接各支架，在运行前检测时提供转换功能。特制紧身衣上头部和各关节点粘有高亮红光LED，各LED 有线连到同步控制盒。同步控制盒由电路控制各LED 发光时序，并与各探测支架通过无线收发电路进行同步工作。三角检测架用于在系统运行前设定地面坐标系并检测出各个探测支架放置的位置与姿态。

    其中，探测支架是整个系统的核心部件，下面介绍其设计原理（见图1）。

图1 人体运动实时捕捉仪示意图

    由于光不具穿透性，系统采用4 ～ 6 个探测支架（见图1b）环形向内探测。人穿上特制紧身衣，启动（手机状）同步控制盒工作，在1 帧时间内，它控制各LED交替闪烁1 次，并与各探测支架无线同步，各支架同时对闪烁的LED 进行探测和信号采集，将1 帧中分别对各LED（即Marker 点）采集到的数据通过USB 通信传输给上位机，进行数据遴选、滤波和计算等处理，即可得到各Marker 点的位置坐标，按25 帧/ s 进行连续采集，经上位机图像重构，可实现人体运动→虚拟空间实时图像的再现。

    1.2 数据处理与坐标计算

    上位机应用程序由定时器控制每帧开始时分别从各探测支架通过USB 传输读取几个数据包，对这些数据包进行解析，得到1 帧中各支架分别探测各Marker点时的上下沿数据（即na、nb 系列），由这些原始数据计算出1 帧中各Marker 点的坐标位置，还需要进行如下处理：

    1.2.1 数据遴选、补缺与平滑处理如果1 个支架上3个CCD 全部感光输出，则可计算出该点的支架坐标（相对坐标）。由于人体运动的随意性和光不可穿透性，1 个Marker 点发光时，可能有多个支架探测到也可能都没探测到。前者要进行遴选，结合几个选优原则，取其中1 个支架探测数据进行相对坐标计算。后者要进行补缺，根据该点与肢体上附近其它几点的关联特性（如相对距离等因素）和该点前几帧位置进行拟合计算。

    当LED 不动时，由于CCD 工作时温度变化、积分时间变化对暗电压有影响，引起输出电压微小波动，经固定阈值二值化处理后，na、nb 即发生极小波动，这是CCD 工作不可避免的，如果按这种波动的数据计算坐标并提供给图像显示，则图像出现微小抖动而不清晰。

    为此进行平滑滤波处理，将该帧数据与前3 ～ 4 帧数据一起做平滑处理，降低一点探测精度但保证图像稳定效果，根据使用的CCD 芯片，实际探测精度达到4mm以内，满足人体运动建模要求。1.2.2 相对坐标计算首先计算各Marker 点在支架坐标系中坐标，按光学成像公式计算，但由于加工安装等因素，许多参数要通过实验检测来测得，还要进行补偿修正。具体计算公式这里略，用函数表示（式1）为：

    X⊥Y⊥Z = f（P1，P2，P3，D1，D2，D3，R，L，f，μ，na1，nb1，na2，nb2，an3，nb3） （1）

    式（1）中P1、P2、P3分别为3 个镜头光轴线对准的CCD 像敏元的序号，D1、D2、D3为3 个镜头中CCD 感光面距光学镜头距离，L、R 为支架左、右臂长，f 为镜头焦距，μ为CCD 像敏元宽度，f、μ已知。P1、P2、P3、D1、D2、D3和L、R 这8 个与安装有关的参量要通过定点、定距实验测算出来。系统运行时，由na1、nb1、na2、nb2、na3、nb3这6 个输出量，来计算该点相对坐标。

    1.3 位姿检测与坐标融合

    式（1）算出的是各Marker 点的支架相对坐标，而人体上各点要统一到地面坐标系中，因而在系统运行开始时，要通过检测求得各支架的摆放位置和姿态（即支架坐标系与地面坐标系之间的偏移量Δx、Δy、Δz 和旋转角度α、β、γ）。用三点间相互距离确定的三点检测架（见图2）放在中间并设定地面坐标系OXYZ，依次闪亮ABC 三点，各支架对其探测并计算，采用空间向量旋转计算方法，求得地面坐标系与各支架坐标系的转换矩阵。尔后撤去检测架，人体进行活动范围运动。几个探测支架在1 帧中联合对各Marker 点探测计算，最终得各点地方坐标，供人体建模与图像重构调用。

图2 3 点检测支架

    1.4 人体建模与图像重构

    在人体建模时，先定义人体结构，本系统将人体分成16 个肢体段，由15 个关节相连，采用相对真实的体模型来建立人体运动模型，采用VRML 语言中H - Anim标准来写人体结构，即采用一种称为CSG（ConstructiveSolid Geometry）的模型表示法，利用关节嵌套来设定各关节和肢体段的关系，定义各肢体间位置关系即关节位置和各肢体朝向等信息，最后为人体附着各色衣服，使人体模型更加逼真2，4。

    当人体模型运动时，关节结合部可能产生较大裂痕，系统通过动态生成点圈来进行各肢体间的无缝化处理，从而保证人体运动图像肢体、表面的完整性和连贯性。

    2 系统应用前景

    该系统的实质性功能是三维空间范围内若干个点的实时动态位置检测。它不仅仅用于描述人体运动，还可以进行拓展。在应用程序中建立男女老少等不同的人体基本模型，以及各种固体道具模型或办公设施，可心构成动静结合的虚拟空间。该系统可在如下几方面具有很大的应用价值和开发潜力。

    2.1 广告动画和影视特技制作

    目前，用软件进行动画制作一般要1 帧1 帧地设计，工作量大、费时长，因而资金投入多、商业风险大。应用该系统进行广告动画或影视特技片段制作时，人穿上特制紧身衣，按照设计的情节和动作，在探测范围内表演，调用相应的人体模型，则上位机上同步显示虚拟人的相同动作的运动图像，保存图像并将人的运动保存为标准的运动数据文件（如csm文件等）。通过对局部帧的图像修饰或使用专业制作软件调用已形成的csm文件进行修饰，在虚拟空间中配上一定的三维场景，则可实现广告动画或影视特技片段的制作。与传统方法相比，应用该系统制作时，制作速度快、成本低、简单方便。几分钟的简单动画或广告很快就能完成。而且它是由实际人的运动采集来的，其动画动作更符合人性化。

    当采用更高速的CCD 芯片时，在保证按25 帧/ s进行连续采集的情况下，Marker 点数目不断增加，进而可实现双人和多人运动表演或对单人运动的更细腻描述（如手指运动等）。

    2.2 人体运动分析

    现代体育运动学的研究更强调对人体运动过程的精细描述，实现人体运动的数字化记录将为该项研究提供极大方便，它便于进行统计和对比分析，在体育运动分析等方面具有有效的辅助作用。如以跑步训练为例（见图3），当运动员在跑步机上测试时，设备探测、记图3 跑步训练实例录几个点（也是Marker 点，例如图中一侧的10 个）在3个坐标轴（或平面）上的位置，并计算其速度、加速度等变化参数，按时间曲线显示，通过与优秀运动员的数据对比分析或与过去训练记录对比，可以对训练中存在的问题、训练方法和训练进展情况等主要训练问题进行细致量化的分析。与此相似，该系统在运动医疗康复保健方面也有疗效分析的辅助作用。

图3 跑步训练实例

    2.3 测量与辅助设计

    由于它能动态测量一定空间范围内多点的位置，因而其相互距离和相对运动参数等均可实时测量并显示，在此功能的基础上，它还可应用于某些模型、部件的辅助设计或三维图像复制。用若干Marker 点放置在虚拟的模型外形轮廓的几个标识点上，应用程序按相关曲（平）面拟合，构造出模型的三维空间图像，调整Marker 点位置，模型图像随之调整，直到符合设计要求。

    它不需要借助实体模型来实现数字化，也不用在机器上完全绘制，提高设计时效。对于已有的模型或部件，帖上Marker 点后，很容易得到并保存其三维数字图像，供修饰处理。当然，应用程序中要储存有大量的模型图像模板，供调用。

    2.4 其它应用

    该系统具有三维空间多点动态位置检测的功能，在实际应用上有很大的引伸和拓展，如残缺文物的三维数字图像保存、碰撞实验或机械运动的数据快速自动记录与分析，等等。它能增加图像制作时效，节约成本。形成的数据文件还可供进一步修饰。

   3 结论

    本文对人体运动实时捕捉设备的硬件设计原理、所采集到的数据信号处理以及坐标计算、人体运动模型图像实时重构等进行系统介绍，对这套设备的应用前景进行分析并引例说明。国内市场有从国外引进的相关设备，价格昂贵，采用多Marker 点同时采集，采集完后进行Marker 点图像跟踪识别等处理方法，不具同步显示功能。研发的本套设备其主要特点具有同步采集和显示功能，成本低，经济实用。

    参考文献

    1 Kalra，P.，Magnenat Thalmann，N.，Moccozet，L.，et al.Real - time Animation of Realistic Virtual HumansJ〛. IEEEComputer Graphics and Applications，1998，18（5）：42 ～ 55

    2 龚光红，冯勤，彭晓源等. 人体运动的形象化建模与仿真〔J〕，系统仿真学报，2002，14（3）：285 ～ 287

    3 王有庆编著. CCD 应用技术，天津：天津大学出版社，2000

    4 和平鸽工作室. OpenGL 高级编程与可视化系统开发〔M〕，北京：中国水利水电出版社，2003