2003:无标记点的面部捕捉技术的应用
《黑客帝国2&3》当年石破天惊的特效今天看起来依然风光无限,就单纯的面部捕捉技术而言,因为采用了无标记点的面部捕捉技术,所以也绝对称的上是一个里程碑。2001年Image Metrics刚刚研发了这项技术之后仅仅2年之后,《黑客帝国》的特效团队之一--ESC特效公司又自己研发了无标记点的面部捕捉技术,整个面部捕捉过程分5步,即使现在看起来,也是相当先进的了。
该无标记点的面部捕捉技术采用了5台Sony/PanaVision HDW-F900 高清摄像机同步拍摄雨果·维文的面部,得到的面部动作数据传到处理计算机,将无压缩的图像储存到硬盘里。每秒中的数据传输量估计达到1G。
该无标记点的面部捕捉技术采用光流照片测量技术,这是一个非常关键的算法。光流照片测量技术可追踪每个像素点在不同的摄像机的位置,然后将这些结果和一个中度精细的模型相结合,将像素与模型的每个节点匹配,可以得到每个路径的精确位置,并且得到模型的运动轨迹。之后,再将每个2D数据与每个摄像机的位置重新匹配。到了这一步就已经可以得到一个不错的动态模型了。
光流照片测量虽然是一个不错的算法,但是不够完善。如果出现匹配错误,错误会在后面的帧数上堆叠,在3D模型中显得尤其明显。这样就需要做关键帧修改,删除全局运动,在此过程中进行一些反向计算,通过上一帧的数据去校准。误差太大就得用手动调整。因为这个虚拟头部的运动是要和身体运动相结合的,所以头部本身的位置运动必须删除,只留下脸部表情的变化。
为了制作一个精确的材质,最好的办法是制作一个实体雕塑再进行扫描。因为在记录表情的时候,没有使用任何记录点,这样就可以通过看那些非常清晰的照片绘制出精致的皮肤表面。
虽然已经有了不错的皮肤表面贴图了,但是还缺乏类似毛孔和细小的皱纹这些精密的细节。团队用的是仅有100微米距离扫描,可以得到非常精确的面部高低数据。将这些高低数据配合皮肤表面材质数据,再配合光学算法,最终获得最后的精致画面。
这是在电影中首次大范围使用无记录点的面部捕捉技术,基本做到了令人信服的逼真度,比《最终幻想》时高了不少。不过《黑客帝国》的几位主演都带着墨镜,不需要精细制作眼睛,所以一定程度上降低了制作难度。
无标记点的面部捕捉技术在当时非常先进,但是效率不高,制作麻烦,成本也高,而且演员的面部表演需要单独制作。由于演员们难有宽松的档期,而且后来制作精确的皮肤表面已经不再是什么难事,所以出于对效率和制作水准的均衡考虑,无记录点的面部动作捕捉不再是动作捕捉技术发展的重点。这项技术一直到了2008年,《本杰明·巴顿奇事》才走向了更高峰。
我们现在可以发现,基本上所有的动作捕捉和面部捕捉还都是分开来做的。不过到了第二年,导演罗伯特·泽米吉斯带着《极地特快》登场才正式将动作捕捉技术和面部捕捉技术统一在一起。
>>相关产品