AR说 | 国王爸爸喊你来一局身临其境的多人互动游戏~
一年一度的西班牙巴塞罗那世界移动大会 Mobile World Congress(简称MWC)于2018年2月26日-3月1日在西班牙巴塞罗那举行。华为、盈天下选购了瑞立视互动解决方案,于现场展示了5G端到端低时延互动VR体验,闪耀巴展Telefonica(西班牙电信)展台。
今天ARinChina采访到瑞立视多媒体科技,一个主攻光学动作捕捉的开发公司,来聊聊光学动作捕捉系统以及它是如何搭配虚拟现实进行行业应用的。
注:受访人承诺文中数据无误,为内容真实性负责。ARC作客观真实记录,已备份原始记录
ARC: 首先,“光学动作捕捉系统”它的应用原理是怎样的?
许秋子:光学动作捕捉是基于计算机视觉原理,由多个高速相机从不同角度针对目标特征点的跟踪进行动作捕捉的技术。光学动作捕捉系统最大的特点是可以让佩戴者在虚拟场景中自由走动甚至产生交互,虚拟场景模拟现实中的场景,将虚拟场景作为固定的参照物,让人感知到自身移动位置和相对位置,所以能让虚拟中的人物和现实中的人物实现1:1真实的同步,在VR技术行业来说可以使得VR更具有沉浸感和真实感,这也给将来的各个行业都创造出更多想象空间。
ARC: ”光学动作捕捉”这一系统有哪些特色之处?目前它有怎样的应用前景?
许秋子:最有特色的就是,在该空间内,多个用户可以看到彼此的虚拟角色并且可以进行互动。该系统目前拥有的应用前景还是比较广阔的。不仅在游戏领域可以实现多人在线互动玩法,同时在教育、军事等领域也可以让用户实现同一场景内协同操作,共同完成试验等。
ARC: 目前市场上光学动作捕捉系统有主动发光式的和被动反光式的,您个人比较倾向于哪种?
许秋子:我个人觉得被动反光式实用性更强,应用范围更广,综合性能(动作精度、适用性、可拓展性、便捷性)更好些。
之前在展会上看过主动发光式系统的现场演示,场面看着很炫,红色LED布满演员全身,很漂亮,只是演员的所谓表演就是来回走走,散步的感觉,对性能没什么体现,而一般被动反光式的系统现场演示通常都有比较精彩的动作表演,比如街舞、格斗动作什么的,能够体现出动作捕捉的优势来。
后来了解到主动发光式系统的技术原理是有很大局限性的,它的技术参数标称几百帧甚至近千帧的相机帧率,实际上动作采集帧率只有几十帧,每一帧动作对所有的Marker点曝光是不同步的,快速复杂动作会有变形失真,所以不适合那种快速复杂动作的表演,这样的话实用性就要差一些了。另外,LED Marker点可视角度比较小,所以一般需要的镜头数量比被动式系统多,否则数据缺失问题比较严重,这样一来系统成本相对也更高一些。
被动式光学动作捕捉系统技术相对更成熟,应用也很普遍了,成功的案例在好莱坞影片中比比皆是,大部分都是使用这种系统的,相信大部分用户的选择应该是没有问题的。
ARC: 您觉得光学动捕系统在VR行业中究竟扮演着什么样的角色以及发挥着什么样的作用?我更想知道的是它到底能够为我们带来什么?
许秋子:无论是从线下体验店的1.0到3.0,还是VR+行业应用,有一个明显的趋势:用户不再满足单纯的沉浸体验,多人交互逐渐成为新的需求。而这要依靠动作捕捉技术的发展。在VR/AR行业还没有大规模兴起之前,光学动捕技术就在一些科研、影视、无人机、机器人等领域有着广泛应用,只要是需要分析物体在空间中的运动轨迹,就需要光学动捕系统。
举例来说,今年5月我们与上海北斗导航创新研究院建立了战略合作关系,北研院通过使用我们的RTS系统,能够精准的捕捉分析大空间内无人系统(无人机及低速智能机器人)的轨迹跟踪和数据记录。像北研院这样的科研机构,过去只能采购国外设备进行相关的科研工作,现在有了RTS这样的性能和性价比都比较成熟的方案,他们就完全可以选择国产的设备。而以往航空航天等领域的许多国家级项目在一些具体环节上无法推进,主要是因为这些项目不能采用国外设备,在我们成功研发出相关的国产方案之后,现在有很多国家级项目正在和我们进行对接。
ARC: 目前国内也有其他两三家在做惯性动作捕捉系统,你们为什么不尝试惯性动作捕捉系统,而选择光学动作捕捉系统,你们看中的是什么?
许秋子:目前动作捕捉系统有惯性式和光学式两大主流技术路线,惯性式虽然后于光学式,低廉成本和简便成熟的处理流程而已。一般情况下惯性式动作捕捉系统采用MEMS三轴陀螺仪、三轴加速度计和三轴磁力计组成的惯性测量单元(IMU, Inertial Measurement Unit)来测量传感器的运动参数。而由IMU所测得的传感器运动参数有严重噪声干扰,MEMS 器件又存在明显的零偏和漂移,惯性式动作捕捉系统无法长时间地对人体姿态进行精确的跟踪。只有解决了这一个问题,才能使惯性式动作捕捉系统在VR行业充分发挥作用。
光学式动捕系统在市场上的占有率在90%以上,也就是大部分用户还是使用光学系统的,这是目前经验证的最成熟、精度最高、效果最好、实用性最强、应用范围最广的系统,也是在各领域应用成功案例最多的一种。比如《阿凡达》、《创·战纪》、《猩球崛起》等等。
以往在光学动捕系统领域,一流的产品和方案都是由海外公司提供的,其结果自然是高昂的价格和苛刻的条件。这种情况在很大程度上也限制了国内VR行业的发展,中国的VR市场迫切需要拥有自主知识产权的中国VR企业。光学动捕是提升VR沉浸感的最佳方式,但它需要创新,目前有许多国内光学动捕技术研发公司的做法是模仿以OptiTrack、Vicon为代表的光学动捕技术。然而,OptiTrack和Vicon最初是为解决电影、动画等传统动捕需求的,并不适用于所有的VR场景。
ARC: 从游戏体验角度说,您怎么看光学动作捕捉系统研发的游戏与手机游戏和电脑端游戏?它是否意味着在未来会取代手机游戏和电脑端游戏,您是怎么看的?你们联合开发团队又设计了哪些比较好的RPG游戏体验?
许秋子:我觉得从游戏层面来说,光学动作捕捉系统可以说最高真实度/沉浸度/自由度的游戏体验方案。可以说是金字塔的顶端。玩家可以在家里玩手游或端游上的一款IP,也可以约上亲朋好友在线下体验场所里进行同一款游戏IP的深度竞技和互动体验甚至电竞比赛。所以这并不代表VR能取代手机或电脑游戏。就好像我不认为VR影视视频有一天取代传统的电影作品。我认为这些媒介是可以并存的。而且各自有其需求存在。
配合线下娱乐方面,我们提供可多人同场景交互的VR游戏娱乐平台,由《最终幻想》《生化危机》概念设计团队中日携手开发,3A级游戏团队制作的VR-PVP游戏《达尔文计划》和VR-RPG游戏《勇者地下城》实现了200平米以上超大面积的10人互动自由行走PVP和RPG游戏体验。
ARC: 这两款游戏目前在哪里可以体验到?是不是要在有采用RTS光学捕捉系统的线下体验馆才能体验到?
许秋子:这两款游戏都是为我们RTS光学捕捉系统而研发的,涉及到自由行走和互动对战,只有在装备了光学捕捉产品的条件下才能使用。他们的技术共同点就是能够在虚拟环境中看见双方的虚拟形象,即使戴上VR头显,也可以自由走动,且不会担心自己撞墙或被队友撞到。目前这两款游戏都可以在我们的广州和深圳的“超现实VR乐园”体验到。
ARC: 结合光学动作捕捉系统实现异地跨区域的联机对战,对于未来VR行业的发展,提供了哪些便利?
许秋子:除了VR游戏和行业应用,我们的内容团队针对VR线下业态正在研究探索一个全新的方向:结合RTS系统实现异地跨区域的联机对战。
举例来说,在上海和成都的两家安装了RTS系统的线下店,当他们同时启动同一款多人游戏的同一张地图时,我们希望两地的玩家可以同时进入这张地图,进行远程的对战或团体配合。目前我们的一支团队正在研发的方向就是打通RTS的异地联机功能,如果这项功能实现了,那无论是线下体验店,还是进行远程教育的学校,只要是安装了RTS系统的地方,都将可以实现异地的联网游戏和远程交互。我们认为这将是对于VR行业的一次更深层的突破,这也是我们比较看重的研发方向。
未来随着线下的布点越来越多,这种网络效应就会呈现出一种高速增长的态势。算法、硬件、内容、交互以及联网功能的自研,让我看到了VR发展的美好前景。或许就在明年,当我们随便进入一家VR线下店,就可以与来自全国甚至全球的玩家一起联机,不同地区的学生也可以通过VR一起学习和交流,由此带来无限的想象空间。
ARC: 对于三月中旬你们即将发布的全身动捕系统,对VR行业会带来什么改变吗?
许秋子:全身动捕计算软件本身并不是特别特殊的东西,而说实话动作捕捉行业也各类品牌也已经在产业路上走了二三十年。但是要实现高精度低延迟低误差,对捕捉的算法很有考量。我们除了传统的全身贴点动捕软件之外,也把全身动捕写成了另一套针对VR的专门软件,可以无缝衔接VR应用(引擎)和动作捕捉软件之间。并且优化了算法,让多个人可以在同个大场景里零延迟实现全身包括手脚姿态的全方位互动。
在一些深度应用如大场景多个消防员的仿真操作应急协同培训时,可以记录所有体验者的动作并且对动作姿态的正确度/体验者的动作判断做出评审和评分,并结合大数据平台,让仿真培训的过程对体验者和机构来说真正产生效益。
全身动捕的发布是更加针对行业性的需求,例如军方演习训练等需要用到捕捉全身。
今天ARinChina采访到瑞立视多媒体科技,一个主攻光学动作捕捉的开发公司,来聊聊光学动作捕捉系统以及它是如何搭配虚拟现实进行行业应用的。
注:受访人承诺文中数据无误,为内容真实性负责。ARC作客观真实记录,已备份原始记录
ARC: 首先,“光学动作捕捉系统”它的应用原理是怎样的?
许秋子:光学动作捕捉是基于计算机视觉原理,由多个高速相机从不同角度针对目标特征点的跟踪进行动作捕捉的技术。光学动作捕捉系统最大的特点是可以让佩戴者在虚拟场景中自由走动甚至产生交互,虚拟场景模拟现实中的场景,将虚拟场景作为固定的参照物,让人感知到自身移动位置和相对位置,所以能让虚拟中的人物和现实中的人物实现1:1真实的同步,在VR技术行业来说可以使得VR更具有沉浸感和真实感,这也给将来的各个行业都创造出更多想象空间。
ARC: ”光学动作捕捉”这一系统有哪些特色之处?目前它有怎样的应用前景?
许秋子:最有特色的就是,在该空间内,多个用户可以看到彼此的虚拟角色并且可以进行互动。该系统目前拥有的应用前景还是比较广阔的。不仅在游戏领域可以实现多人在线互动玩法,同时在教育、军事等领域也可以让用户实现同一场景内协同操作,共同完成试验等。
ARC: 目前市场上光学动作捕捉系统有主动发光式的和被动反光式的,您个人比较倾向于哪种?
许秋子:我个人觉得被动反光式实用性更强,应用范围更广,综合性能(动作精度、适用性、可拓展性、便捷性)更好些。
之前在展会上看过主动发光式系统的现场演示,场面看着很炫,红色LED布满演员全身,很漂亮,只是演员的所谓表演就是来回走走,散步的感觉,对性能没什么体现,而一般被动反光式的系统现场演示通常都有比较精彩的动作表演,比如街舞、格斗动作什么的,能够体现出动作捕捉的优势来。
后来了解到主动发光式系统的技术原理是有很大局限性的,它的技术参数标称几百帧甚至近千帧的相机帧率,实际上动作采集帧率只有几十帧,每一帧动作对所有的Marker点曝光是不同步的,快速复杂动作会有变形失真,所以不适合那种快速复杂动作的表演,这样的话实用性就要差一些了。另外,LED Marker点可视角度比较小,所以一般需要的镜头数量比被动式系统多,否则数据缺失问题比较严重,这样一来系统成本相对也更高一些。
被动式光学动作捕捉系统技术相对更成熟,应用也很普遍了,成功的案例在好莱坞影片中比比皆是,大部分都是使用这种系统的,相信大部分用户的选择应该是没有问题的。
ARC: 您觉得光学动捕系统在VR行业中究竟扮演着什么样的角色以及发挥着什么样的作用?我更想知道的是它到底能够为我们带来什么?
许秋子:无论是从线下体验店的1.0到3.0,还是VR+行业应用,有一个明显的趋势:用户不再满足单纯的沉浸体验,多人交互逐渐成为新的需求。而这要依靠动作捕捉技术的发展。在VR/AR行业还没有大规模兴起之前,光学动捕技术就在一些科研、影视、无人机、机器人等领域有着广泛应用,只要是需要分析物体在空间中的运动轨迹,就需要光学动捕系统。
举例来说,今年5月我们与上海北斗导航创新研究院建立了战略合作关系,北研院通过使用我们的RTS系统,能够精准的捕捉分析大空间内无人系统(无人机及低速智能机器人)的轨迹跟踪和数据记录。像北研院这样的科研机构,过去只能采购国外设备进行相关的科研工作,现在有了RTS这样的性能和性价比都比较成熟的方案,他们就完全可以选择国产的设备。而以往航空航天等领域的许多国家级项目在一些具体环节上无法推进,主要是因为这些项目不能采用国外设备,在我们成功研发出相关的国产方案之后,现在有很多国家级项目正在和我们进行对接。
ARC: 目前国内也有其他两三家在做惯性动作捕捉系统,你们为什么不尝试惯性动作捕捉系统,而选择光学动作捕捉系统,你们看中的是什么?
许秋子:目前动作捕捉系统有惯性式和光学式两大主流技术路线,惯性式虽然后于光学式,低廉成本和简便成熟的处理流程而已。一般情况下惯性式动作捕捉系统采用MEMS三轴陀螺仪、三轴加速度计和三轴磁力计组成的惯性测量单元(IMU, Inertial Measurement Unit)来测量传感器的运动参数。而由IMU所测得的传感器运动参数有严重噪声干扰,MEMS 器件又存在明显的零偏和漂移,惯性式动作捕捉系统无法长时间地对人体姿态进行精确的跟踪。只有解决了这一个问题,才能使惯性式动作捕捉系统在VR行业充分发挥作用。
光学式动捕系统在市场上的占有率在90%以上,也就是大部分用户还是使用光学系统的,这是目前经验证的最成熟、精度最高、效果最好、实用性最强、应用范围最广的系统,也是在各领域应用成功案例最多的一种。比如《阿凡达》、《创·战纪》、《猩球崛起》等等。
以往在光学动捕系统领域,一流的产品和方案都是由海外公司提供的,其结果自然是高昂的价格和苛刻的条件。这种情况在很大程度上也限制了国内VR行业的发展,中国的VR市场迫切需要拥有自主知识产权的中国VR企业。光学动捕是提升VR沉浸感的最佳方式,但它需要创新,目前有许多国内光学动捕技术研发公司的做法是模仿以OptiTrack、Vicon为代表的光学动捕技术。然而,OptiTrack和Vicon最初是为解决电影、动画等传统动捕需求的,并不适用于所有的VR场景。
ARC: 从游戏体验角度说,您怎么看光学动作捕捉系统研发的游戏与手机游戏和电脑端游戏?它是否意味着在未来会取代手机游戏和电脑端游戏,您是怎么看的?你们联合开发团队又设计了哪些比较好的RPG游戏体验?
许秋子:我觉得从游戏层面来说,光学动作捕捉系统可以说最高真实度/沉浸度/自由度的游戏体验方案。可以说是金字塔的顶端。玩家可以在家里玩手游或端游上的一款IP,也可以约上亲朋好友在线下体验场所里进行同一款游戏IP的深度竞技和互动体验甚至电竞比赛。所以这并不代表VR能取代手机或电脑游戏。就好像我不认为VR影视视频有一天取代传统的电影作品。我认为这些媒介是可以并存的。而且各自有其需求存在。
配合线下娱乐方面,我们提供可多人同场景交互的VR游戏娱乐平台,由《最终幻想》《生化危机》概念设计团队中日携手开发,3A级游戏团队制作的VR-PVP游戏《达尔文计划》和VR-RPG游戏《勇者地下城》实现了200平米以上超大面积的10人互动自由行走PVP和RPG游戏体验。
ARC: 这两款游戏目前在哪里可以体验到?是不是要在有采用RTS光学捕捉系统的线下体验馆才能体验到?
许秋子:这两款游戏都是为我们RTS光学捕捉系统而研发的,涉及到自由行走和互动对战,只有在装备了光学捕捉产品的条件下才能使用。他们的技术共同点就是能够在虚拟环境中看见双方的虚拟形象,即使戴上VR头显,也可以自由走动,且不会担心自己撞墙或被队友撞到。目前这两款游戏都可以在我们的广州和深圳的“超现实VR乐园”体验到。
ARC: 结合光学动作捕捉系统实现异地跨区域的联机对战,对于未来VR行业的发展,提供了哪些便利?
许秋子:除了VR游戏和行业应用,我们的内容团队针对VR线下业态正在研究探索一个全新的方向:结合RTS系统实现异地跨区域的联机对战。
举例来说,在上海和成都的两家安装了RTS系统的线下店,当他们同时启动同一款多人游戏的同一张地图时,我们希望两地的玩家可以同时进入这张地图,进行远程的对战或团体配合。目前我们的一支团队正在研发的方向就是打通RTS的异地联机功能,如果这项功能实现了,那无论是线下体验店,还是进行远程教育的学校,只要是安装了RTS系统的地方,都将可以实现异地的联网游戏和远程交互。我们认为这将是对于VR行业的一次更深层的突破,这也是我们比较看重的研发方向。
未来随着线下的布点越来越多,这种网络效应就会呈现出一种高速增长的态势。算法、硬件、内容、交互以及联网功能的自研,让我看到了VR发展的美好前景。或许就在明年,当我们随便进入一家VR线下店,就可以与来自全国甚至全球的玩家一起联机,不同地区的学生也可以通过VR一起学习和交流,由此带来无限的想象空间。
ARC: 对于三月中旬你们即将发布的全身动捕系统,对VR行业会带来什么改变吗?
许秋子:全身动捕计算软件本身并不是特别特殊的东西,而说实话动作捕捉行业也各类品牌也已经在产业路上走了二三十年。但是要实现高精度低延迟低误差,对捕捉的算法很有考量。我们除了传统的全身贴点动捕软件之外,也把全身动捕写成了另一套针对VR的专门软件,可以无缝衔接VR应用(引擎)和动作捕捉软件之间。并且优化了算法,让多个人可以在同个大场景里零延迟实现全身包括手脚姿态的全方位互动。
在一些深度应用如大场景多个消防员的仿真操作应急协同培训时,可以记录所有体验者的动作并且对动作姿态的正确度/体验者的动作判断做出评审和评分,并结合大数据平台,让仿真培训的过程对体验者和机构来说真正产生效益。
全身动捕的发布是更加针对行业性的需求,例如军方演习训练等需要用到捕捉全身。
上一篇:20世纪著名物理学家斯蒂芬·霍金离世,享年76岁[ 03-15 ]
下一篇:SteamVR Beta允许低端显卡支持VR体验,可自适应最佳分辨率[ 03-15 ]






