卡内基梅隆大学:通过手柄摄像头实现全身动作捕捉
目前,消费级头显仅仅具备头手追踪功能,如果想要达到全身追踪效果,一般做法是额外购买HTC Tracker等追踪器或者定位基站,这些硬件设备花销不菲。
理论上,VR头显由上而下的摄像头可以用于四肢追踪,但由于该摄像头经常被手部、躯体等部位遮挡,追踪效果并不理想。
近日,卡内基梅隆大学的研究人员开发了一套身体追踪系统ControllerPose,研究人员把两个鱼眼摄像头分别安置到两个VR手柄当中,并且保持摄像头指向用户。
ControllerPose利用软件算法把两个摄像头拍摄到的画面拼接在一起,以实现更广阔的视野,同时利用视觉算法来追踪玩家的身体动作。研究人员表示,用户的身体追踪精度估计能精确到8.59厘米以内。
为了处理摄像头数据,研究人员尝试了两种解决方法,一是传输到附近电脑;二是使用树莓派和Coral等硬件进行板载计算。前者花费更便宜,而后者延迟则更低。
根据此前泄露的信息显示,Meta即将发布的Cambria头显,它的手柄里面包含了三个板载摄像头,该摄像头能够实现Outside-in追踪效果,此外,泄露的视频也显示了它能够实现身体追踪功能。
研究人员表示,ControllerPose目前的缺点是,在平常VR体验中,有32%的时间手柄都无法很好观察身体,要么摄像头离得太近,要么偏向一边。未来的系统中,可能会在头显和手柄上同时集成摄像头。不过,这也表明,目前似乎只有外部解决方案才能实现完全可靠的身体追踪功能。
上一篇:元宇宙平台Sensorium将推出梵蒂冈NFT艺术作品画廊[ 05-05 ]
下一篇:没有了!