面向体育训练的三维人体运动仿真与视频分析
来源：第三维度
作者：王兆其，张勇东，夏时洪
一 引言
竞技体育的目标是“更高、更快、更强”。运动员通过不断挑战自我来提高速度和力量。除了运动员刻苦的训练之外，科学的训练方法和手段是提高运动员成绩的有效途径。近几年，各个国家在体育科学领域展开激烈竞争，2000年的悉尼奥运会更是各国科技水平的大竞赛。在这种形势下，努力提高我国体育科学研究的水平，为我国运动健儿在2008年北京奥运会上取得好成绩提供科技服务，已成为一项重要的科研任务。
基于视频的人体运动分析技术以及三维人体运动计算机模拟与仿真技术就是为实现这样一个目标而开展的一项研究工作。其总体目标是：研究面向体育训练的三维人体运动仿真与视频分析等关键技术，并针对跳水、蹦床和体操等我国在2008年奥运会上的优势项目与准优势项目，研制相应的计算机辅助体育训练系统，旨在实现体育训练方法的两个进步和转变：从传统的主要基于人眼观察的方法向基于高精度视频捕捉与分析的人体运动测量方法的转变；从基于经验的训练分析方法到基于人体运动模拟与仿真的人体运动分析方法的转变，从而更快更有效地提高我国训练水平和运动成绩，以确保这些项目在2008年北京奥运会上多拿金牌。
本文主要介绍了面向体育训练的三维人体运动仿真与视频分析的国内外研究概况，技术基础，我们的主要工作，以及进一步的研究方向。
二 国内外研究概况
人体三维运动分析在竞技体育科学训练（尤其是技巧性体育项目）中具有重要作用。要实现这个目标，需要解决两类关键问题：(1) 人体三维运动信息的获取；(2) 人体运动分析。
人体三维运动信息的获取是人体三维运动分析的关键和基础。基于视频的人体运动跟踪与三维重构一直是人们的一个追求目标。但是，目前真正应用于实际工作中的基于视频的人体运动跟踪要么需要手工标注特征点，要么需要在被跟踪人体上加贴反光标注点（markers）。尽管这些方法已广泛应用于多个应用领域（如动画制作，游戏娱乐等），但对于体育辅助训练中的人体运动跟踪，这些方法仍然无能为力。因为运动员身上加贴任何物体都会影响其水平的发挥。对于这样一些应用领域，我们必须研究基于视频的无接触式（无标注）人体运动跟踪方法。
基于视频的人体运动跟踪目前的问题主要集中在人体轮廓提取和人体三维运动参数的获取两个方面。
人体轮廓(Human Body Silhouette)的提取是指从图像序列中检测出人体所在的区域，并通过二值化将其从背景中分离出来。它是很多重要应用的基础，如步态分析[1--5]、视频监控[6--8]、基于轮廓的三维重建[9]、基于对象的视频编码[10]等。常用的人体轮廓提取方法可分为两类：基于运动检测的方法和基于人体形状分析的方法。
A. 基于运动检测的方法
这类方法假设场景中只有人在运动，因此检测出的运动区域即为人体所在区域。一般方法有：
1． 背景减除法(Background Subtraction) ，利用当前图像与背景图像的差分来检测出运动区域；
2． 时间差分法(Temporal Difference)，在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分，得到帧差图像，并且对其进行后处理来提取出图像中的运动区域。
3． 光流法(Optical Flow)，采用了运动目标随时间变化的光流特性。
B. 基于人体形状(Shape)分析的方法
这类方法充分利用了人体形状的先验知识，使用模式识别及概率推理的手段从图像中检测人体区域。可分为两种：
1． 模板匹配法(Template Matching) ，将不同姿态的人体形状作为模板，与输入图像特征进行匹配，可以找出与人相似的形状模式。
2． 概率推理法(Probabilistic Reasoning)。利用了人体形状的几何和拓扑约束关系，从图像中寻找满足人体约束的区域或区域集合(region assembly)。
人体三维运动参数的获取，是指从视频中获取人体的关节点三维坐标或者关节角度等人体姿态信息。基于关节点的人体运动跟踪是人体三维运动参数获取的基础。由于视频的图像噪声的影响以及视频中人体运动的复杂性，使得人体关节点的跟踪异常困难。目前尚没有一个理想的，通用的人体关节点跟踪方法。因此作为简化，人们常常在人身上使用Marker。既便如此，对于复杂的人体运动，仍然不得不采用手动标定关节点的方法。
人体三维运动参数获取大体可以分为基于单目视频和基于多(双)目视频的两大类：（1）单目视频方法。在理论上，如果采用经典的针孔相机模型，不可能恢复人体的3D姿态信息。但当视频中运动员距离摄像机光心较远时，其在图像上的投影可以用仿射投影来模拟，即将三维人体在图像上的投影归结为一个缩放因子作用下的按比例缩放的过程。（2） 多(双)目视频方法。在使用单一摄像机的情况下，身体姿势和运动在单一视角下由于遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维运动参数的获取具有较为明显的优势。
获取人体运动参数之后，如何对人体运动进行分析，是体育运动分析必须考虑的问题。一种重要的方法便是基于人体生物力学的人体运动仿真方法。人体结构非常复杂，具有多个自由度，其运动遵循物理规律。为了使模拟结果更加逼真，需要考虑整个肌肉骨架结构，因而仿真这种复杂运动就更加困难。特别地，由于人类对自身的运动非常熟悉，不协调的运动很容易被观察者所察觉。因而要仿真生成逼真、自然的人体运动非常困难。迄今为止，人体运动仿真方法主要有：动力学方法，控制器方法，时空约束优化方法，运动捕获方法等。
三 我们的工作
为实现前面所说从传统的主要基于人眼观察到基于高精度视频捕捉与分析的人体运动测量方法的转变；从基于经验的训练分析方法到基于人体运动模拟与仿真的人体运动分析方法的转变。我们重点研究了以下两方面的问题： (1) 基于图像与视频的人体运动参数获取技术；(2) 三维人体运动计算机模拟与仿真技术。
3.1 基于图像与视频的人体运动参数获取技术
主要研究在视频图像中自动提取人体，并对其运动进行分析、描述和行为理解，获取各种人体运动参数。具体研究内容包括：
1. 快速精确的人体轮廓提取
快速精确的人体轮廓提取是个相当重要但又是比较困难的问题。这是由于动态环境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，这些都给准确有效的人体轮廓提取带来了困难。
我们综合应用全局运动估计技术、肤色检测技术、区域增长和分割技术，目前已经基本解决了这一难题。
在人体轮廓提取基础上，我们进一步研究实现了动作全景图合成和不同动作叠加播放。动作全景图对于运动员和教练员分析与把握动作整体完成情况有很大帮助；而不同动作叠加播放是将不同的动作叠加到同一背景下播放，有助于运动员和教练员分析动作的细微差别。
为了实现不同动作的叠加对比，必须首先解决不同动作视频的自动同步技术。我们采用采用基于运动轮廓子序列匹配方法解决这一问题：首先提取出人体轮廓，形成轮廓序列；然后，对于由两个轮廓序列的连续5帧组成的轮廓子序列集，两两计算相似度，取相似度最大的两个子序列所对应的起始帧作为同步点。
2. 人体关节点运动参数的获取
人体关节点运动参数的获取有助于对动作完成情况进行精确分析。以前实现方法完全靠手工画点实现，工作量非常大，容易出现误差。我们目前实现了半自动的参数提取方法：手工初始化，计算机自动运动参数提取过程中给予必要的干预。其中自动运动参数提取采用基于人体模型的跟踪方法：使用2D的链杆模型描述人体结构，用匀加速运动模型进行系统状态的预测，综合边缘和灰度信息计算相似度，使用局部优化和全局搜索相结合的多假设跟踪方法。
3. 兴趣事件自动检测技术
我们以跳水运动为例，基于模式识别的基本原理和技术，给出了跳水视频自动事件检测技术。应用该技术可以在长时间的跳水视频中自动检测出跳水动作片断。
4. 对于任意视频的摄像机定标
摄像机定标是计算机视觉领域中从二维图像提取出三维信息的必不可少的步骤。广义上摄像机定标方法分为两种：传统的标定方法和自定标方法。前者需要使用精密加工的标定参照物。它具有精度高的优点，但操作繁琐。20世纪90年代初，Faugeras, Luong等提出自定标的概念，使得在摄像机任意运动情况下的定标成为可能。但该方法受场景的影响较大，而且精度难以保证。在基于视频的人体运动信息获取中，人们为了保证精度，一般都采用了基于标定参照物的方法。这极大的限制了视频的来源和采集。所以，现有方法都只能对特定采集的视频进行处理，不能处理任意给定的视频。这极大地限制了基于视频人体运动捕获的应用领域。如果对摄像机投影模型进行简化，例如采用仿射投影模型，则可以大大减少摄像机定标的难度，但简化的投影模型不能保证获取结果物理意义上的真实性。
3.2 三维人体运动计算机模拟与仿真技术
我们主要完成了以下几个方面的工作：
1. 实现三维人体运动仿真计算
主要研究给定边界条件下人体运动的仿真计算，以及运动员完成规定动作时生物力学属性的变化。通过仿真计算，教练员在教学一个新动作时可以让虚拟运动员事先去尝试完成这一新动作，从而极大地降低体育训练中的风险，有效提高运动员的成绩。通过速度、加速度等生物力学属性数据的对比分析，教练员可以得出优秀运动员与普通运动员之间的差异，从而改善并提高运动员的技能。
目前，我们已经完成了拉格朗日（Lagrange）动力学方程的自动构建，为体育运动的动力学仿真提供了一个理论性的框架。并正在对多自由度人体运动仿真进行深入研究。
另外，还研究了基于实例数据的运动仿真技术。具有物理逼真性的人体运动仿真一直是计算机图形学领域的研究热点和难点。特别地，具有多个自由度的人体模型的实时仿真则是难点中的难点。应用生物力学数据与真实人体运动数据仿真人体运动过程，可以提高仿真速度，并取得最佳的仿真结果。
2. 实现计算机辅助动作编排与优选
可以辅助教练员编排和优选出一套合乎运动员特点的动作，从而提高运动员的比赛成绩。
3. 实现运动仿真结果与运动员动作同屏对比
主要研究了虚实结合技术，给出了三维人体运动仿真结果与录像同屏对比。针对人体运动的录像，自动地提取摄像机所在的位置与方向，在同一屏幕上按相同的位置与方向显示其对应的三维人体运动仿真结果。实现了同屏对比就可以快速、准确地比较运动员的完成动作与标准动作(或仿真结果)之间的差异，为运动员与教练员提出具体的改进意见和建议。
4. 建立可以分析各个关节运动的程序
分析对象包括速度，加速度等，可以从理论上判别一个虚拟的蹦床动作是否合乎要求，也可以通过实际数据对比分析优秀运动员与普通运动员之间的差异。
5. 建立一套人体运动跟踪环境与蹦床运动库
采集了6名运动员的运动数据，建立了一个初步的蹦床运动的三维运动参数数据库，以及一个人体运动编辑工具。通过该工具，教练员可以编制一个虚拟蹦床运动员的蹦床动作，并按照蹦床动作的国际评判标准虚拟一个标准的蹦床动作。
6. 开发一个蹦床运动仿真系统。
该系统可以逼真显示三维人体运动，以及三维人体运动的计算机仿真结果。运动员和教练员可以全方位的观看虚拟运动员的蹦床动作，通过这种直观、形象的教学，运动员可以迅速掌握动作要领，领会教练的意图。
四 结束语
目前，我们已经会同国家游泳中心、国家蹦床训练中心（天津）、北京体育大学、体育总局体育科学研究所、国家跳水队和国家蹦床队等单位，开展了卓有成效的合作，获得了研制跳水和蹦床训练系统所需的相关资源与实验条件，完成了“跳水训练图像分析软件系统V1.0版”和“蹦床仿真与训练软件”。其中的跳水训练分析软件系统已经向游泳中心领导和国家跳水队领队进行了现场演示，得到了中心领导与领队的认可，并决定在11月开始的备战2004年奥运会的集训中使用。蹦床仿真与训练软件也正在积极与相关单位合作，争取在备战2004年奥运会时进行试用。另外，在给国际体联演示时得到了高度关注，他们表示希望购买该软件用于蹦床训练与国际裁判培训。另外，本项目的研究成果还可以应用于体操等其他竞技类体育项目中。
作者简介:
王兆其 中科院计算技术研究所数字化研究室副主任、研究员、博导
张勇东 中科院计算技术研究所数字化研究室助理研究员、课题组长
夏时洪 中科院计算技术研究所数字化研究室助理研究员、课题组长
