三维运动捕捉系统
简介
近几年来,在促进影视特效和动画制作发展的同时,运动捕捉技术的稳定性、操作效率、应用弹性以及降低系统成本等得到了迅速提高。如今的运动捕捉技术可以迅速记录人体的动作,进行延时分析或多次回放,通过被捕捉的信息,简单的可以生成某一时刻人体的空间位置;复杂的则可以计算出任何面部或躯干肌肉的细微变形,然后很直观的将人体的真实动作匹配到我们所设计的动作角色上去。
分类
现在运动捕捉技术主要分为四类:
1、 机械式运动捕捉
发展历史
1950年 机械式(Mechanical)操作手臂,主要代替人在比较危险的环境工作。 1960年 迪斯尼公司采用机械式动作设计系统。
1963年 可进行回馈反映的机械人,这和现代的机械式运动捕捉技术很相似,通过人体动作实现对设备的动作控制,再回馈有关的设备运动信息。
1983年 卡尔弗特教授使用分压计作为角度传感器进行人体分析。
1983年 拉涅尔发明了机械式的数据手套。
1985年 VPL研究中心开发了虚拟现实的技术,其中机械式运动捕捉为主要技术核心。
工作原理
机械式运动捕捉依靠机械装置来跟踪和测量运动,典型的系统由多个关节和刚性连杆组成。在可转动的关节中装有角度传感器,可以测得关节转动角度的变化。装置运动时,根据角度传感器的数据和连杆的长度,可以得出A点在空间的运动轨迹。刚性连杆也可以换成长度可变的伸缩杆,用位移传感器测量其长度的变化。机械式运动捕捉的一种应用形式是将欲捕捉的运动物体与机械结构相连,物体运动带动机械装置运动,从而被传感器记录下来。
另一种形式是用带角度传感器的关节和连杆构成一个“可调姿态的数字模型”,其形状可以模拟人体,也可以模拟其它动物、物体。使用者根据剧情的需要,调整模型的姿势,然后锁定。关节的转动被角度传感器测量记录,依据这些角度和模型的机械尺寸,计算出模性的姿态。这些姿态数据传给动画软件,使其中的角色模型也做出一样的姿势,这是一种较早出现的运动捕捉装置。 直到现在仍有一定的市场,国外给这种装置起了个很形象的名字:“猴子”。但“猴子”较难用于连续动作的实时捕捉,需要操作者不断根据剧情要求,调整“猴子”的姿势,很麻烦,主要用于静态造型捕捉和关键帧的确定。 现代的机械式运动捕捉技术则不必再去调整模型的姿态,需利用一套外骨骼系统将角度传感器固定在表演者的身上,就可以进行人体的动作数据采集。
优点 成本低,装置定标简单,精度也较高。可以很容易地做到实时数据捕捉。
缺点 主要是由于机械设备有尺寸以及重量等问题,使用起来非常不方便。机械结构对表演者的动作阻碍、限制很大,很多激烈的动作都无法完成。
机械捕捉设备使用目的专一,例如,用于捕捉身体动作的系统,就不能同时捕捉演员使用的道具。
2、光学式运动捕捉
1915年 弗雷斯格尔发明了“Rotoscope”技术,可以看成是运动捕捉的原始形式,也可以说是运动捕捉的先驱。不过那个时候的运动捕捉是手工“捉”出来的。1937年 迪斯尼在制作白雪公主动画片时采用了Rotoscope技术拷贝真人动作,然后“粘贴”给动画人物,使动画人物看上去有和真 人很相象的动作。
工作原理
通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。从理论上说,对于空间的任意一个点,只要它能同时被两台摄像机所见,则根据同一瞬间两相机所拍摄的图像和相机参数,即可以确定这一时刻该点的空间位置。当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的运动轨迹。 典型的光学式运动捕捉系统通常有6~12个相机,环绕表演场地排列,这些相机的视野重叠区域就是表演者的动作范围。为了便于处理,通常要求表演者穿上单色的服装,在身体的关键部位,如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点,称为“Marker”,视觉系统只识别和处理这些标志。系统定标后,相机连续拍摄表演者的动作,并将图像序列保存下来,然后再进行分析和处理,识别其中的标志点,并计算其在每一瞬间的空间位置,进而得到其运动轨迹。为了得到准确的运动轨迹,要求相机要有较高的拍摄速率,一般要求达到每秒60帧以上。 基于类似的原理,还有多种类型的光学式运动捕捉设备,例如根据目标的侧影来提取其运动信息,或者利用有网格的背景简化处理过程。
目前正在进一步研究不依靠Marker,而应用图像识别、分析技术,由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术。 目前,光学式运动捕捉主要分成两类:主动式运动捕捉技术和被动式运动捕捉技术。他们的工作原理都是一样的,不同的地方就是: 被动式运动捕捉系统所使用的跟踪器是一些特制的小球,在它的表面涂了一层反光能力很强的物质,在摄像机的捕捉状态下,它会显得格外的明亮,使摄像机很容易捕捉到它的运动轨迹。 但是主动式的运动捕捉系统所采用的跟踪点是本身可以发光的二极管,它无须辅助发光设施,但是需要能源供给。 被动式捕捉的摄像机在镜头的周围是一些会发光的二极管,Marker正是把这些二极管所发出的光反射回到镜头里,在每帧图像中形成一个个亮点。这样才使系统有“迹”可寻。主动式捕捉所需要的摄像机则不用本身带有发光的功能。
优点 光学式运动捕捉的优点是表演者活动范围大,无电缆、机械装置的限制,使用方便。采样速率较高,精度高,可以满足多数体育运动测量的需要。Marker价格便宜,便于扩充。
缺点 系统价格较贵,这类系统对于表演场地的光照、反射情况敏感。 常需要人工干预后处理过程。加工和整理然后才能把这些数据应用到动画角色模型上去。
3、 声学式运动捕捉
发展历史
1992年 机械式的面部跟踪系统。
1993- 1994年 模仿恐龙的动作捕捉技术。
工作原理
常用的声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是固定的超声波发生器;接收器一般由呈三角形排列的3个超声探头组成。将多个发送器固定在人身体的各个部位,发送器持续发出超声波,每个接收器通过测量、计算声波从发送器到接收器的时间,3个构成三角形的接收器就可以确定发送器的位置和方向。由于声波的速度与温度有关,还必须有测温装置,并在算法中作出相应的补偿。 这类装置成本较低,但对运动的捕捉有较大的延时和滞后,精度差,还要求声源和接收器之间不能有遮挡,且受噪声等干扰较大,系统扩展困难。
该技术的优点 首先在于它记录的是六维信息,即不仅能得到空间位置,还能得到方向信息。其次是速度快、实时性好。使用时,随着表演者的表演,动画系统中的角色模型可以同时反应,便于排演、调整和修改。装置的定标比较简单,技术较成熟,成本相对低廉。可以完成地面滚动或跌倒等动作。
缺点 对环境要求严格,在表演场地附近不能有金属物品,否则会造成电磁场畸变,影响精度。该系统允许的表演范围比光学式要小,特别是电缆对表演者的活动限制比较大,不适用于比较剧烈的运动、表演。目前这类系统的采样速率一般为每秒15~120次(依赖于模型和传感器的数量),为了消除抖动和干扰,采样速率一般在15Hz以下,对于一些高速的运动,如体育运动,采样速度不能满足要求。
4、电磁式运动捕捉
发展历史
1970年 Bill Polhemus开发电磁式运动捕捉。
1988年 商业运动捕捉系统(单通道)。
1994年 第一套快速多通道的电磁式捕捉系统。
工作原理
电磁式运动捕捉系统一般由三个部分组成,即发射源、接收传感器和数据处理单元。发射源在空间产生按一定时空规律分布的电磁场;接收传感器(通常有10~20个)安置在表演者身体的关键位置,传感器通过电缆与数据处理单元相连。表演者在电磁场内表演时,接收传感器也随着运动,并将接收到的信号通过电缆传送给处理单元,根据这些信号可以解算出每个传感器的空间位置和方向。
主要代表品牌
Xsens 3D Suit Measurand Animazoo Ascension MotionStar VMSENS Noitom iSen FOHEART
A.R.T. OptiTrack Qualisys Vicon IS-1200 XDprod Standard Deviation WorldViz PPT PhaseSpace ReActor 2 Organic Motion IoTracker 3DV Systems MotionAnalysis PrimeSense Mesa PST NDI