游泳比赛上的国旗投影如何实现?和Dota 2大赛上酷炫的“全息投影”PK差不多 ... ...
奥运会已经开始了,关注游泳比赛的观众一定在电视上看到过这样的画面:
如果你是 Dota 2 玩家,这两天肯定在关注 The International 6(TI6国际邀请赛)估计赛场上有一幕肯定让你印象深刻:在每一场比赛前的 Ban/Pick 阶段,赛场中间的空地上,会出现两队所选英雄的“全息投影”,效果无比酷炫。
奥运会跟 Dota 2 可谓风马牛不相及,但我们发现,就这两种呈现技术来说,其实是差不多的。
先来看 TI6 比赛:这个所谓的“全息 Ban/Pick”效果只出现在 TI6 官方输出的视频转播信号里,在现场的空地上是看不到的(在现场看大屏幕上能看到)。也就是说,它和很多宅男都爱看的初音未来演唱会一样,不是真正的全息投影。
继续分析,我们把画面分为两部分看,第一部分是地板上的倒计时/比分/地图,第二部分英雄的“ 3D 投影”。
在 TI6 负责场地搭建的内部人士“Samtrek”在 Reddit 上表示,赛场中间的地板其实是一块 344 万像素的显示屏,由 841 块(29×29) 4096 像素(64×64)的 LED 屏组成。所有地板上的内容,包括文字、倒计时和比分数字以及比赛的地图示意,全部都是 LED 屏幕解决的。
而 Ban/Pick 阶段的 3D 模型(包括模型下方的影子),其实都是由摄像机先拍下现场画面,计算机实时在视频输出信号里后期叠加的特效。
再来看奥运会游泳比赛里的国旗:其实在现场也是看不到的。它们都是计算机后期处理,把虚拟的国旗和真实的画面合成之后转播出来的。具体来说,运动员的国籍已经录入到了计算机里,有运动员触壁完成比赛,系统会接收到数据并自动在计算机画面中显示他/她的姓名、国籍和名次。
这种泳道上的虚拟视觉技术叫做 Virtual Lane Graphics,也有人叫它“泳池特效”(Pool VFX)。
而 Valve(Dota 2开发商)在 TI6 现场采用的转播画面叠加技术,跟 Virtual Lane Graphics 差不多,但其先进之处有二:
1)叠加上去的画面,从 2D 的国旗,变成带阴影的实时演算 3D 模型。这个无需过多解释;
2)所用的摄像机从固定机位变成了移动机位。
“Samtrak”透露,现场直播所用的摄像机都内置了传感器,支持“pitch, yaw & roll”。这三个词其实代表的就是三轴,意思是当镜头转向的时候,叠加的画面可以跟着镜头一起移动。过去在游泳比赛里的 Virtual Lane Graphics 技术比较落后,要求摄像机必须在一个定点上不能位移。而在 TI6 上,摄像机其实是装在摇臂上的,没有一个固定的机位。
我们能在画面中看到,机位接近赛场中间,模型变大,离远,变小——这其实要求摄像机里还要支持对自己位置的判断。VR/AR 业界用专有名词来描述这种能力:三度自由(3 degrees of freedom,3dof)和六度自由(6dof)。从奥运会上的固定机位到 TI6 上的移动机位,摄像机其实从 3dof 进化到了 6dof。
至于实现 6dof,是通过类似于 GPS 的现场的位置锚点,还是机载的深度摄像头,目前尚未可知。Valve 的保密工作一直做得很好……
需要明确的是:
这种技术不是 VR,也并非典型意义上的 AR,因为毕竟不是人眼直接观察到真实物体和虚拟物体的合成。
尽管如此,我们还是应该把这种技术归类到 AR 的范畴里。假设在未来的电竞比赛上,我们把摄像机换成支持 6dof 的 AR 头显,每个现场观众都可以戴着头显在场地里随意行走,每一台头显都可以实时演算出模型,然后把它们以正确的大小、姿态放在正确的位置上,那才是典型意义上的 AR,或者大家更愿意叫“全息投影”。
我们离那样的未来有多远?一直关注 TI 比赛的朋友告诉我,上届还没有这个“全息投影”,这届看到的确觉得很酷炫。前几天我的同事还报道了一个用来玩 VR 游戏的“盔甲”,让 FPS 游戏变得格外“真实”。
此外,观看 Ti6 比赛直播的许多观众在弹幕中指出,这个效果呈现很像以前的动漫《游戏王》。其实如果拥有《炉石传说》的暴雪公司,愿意在这类技术上采取更激进策略的话,动作、移动、攻防、特效等更加固定的卡牌对抗游戏确实更容易从 PC 端全面移植到 VR/AR 平台。
沙盘上的卡牌怎样在现实比赛场中幻化为有质感的怪兽?
总的来说,VR/AR 技术的话题已经炒热了一两年了,但我相信,像这届 TI6 一样,VR/AR 技术会因为游戏,特别是硬核游戏和高质量的移动 VR 游戏,迎来真正的高潮和全球普及。