未来的3D AR直播,在浏览器就能观看
前不久,青亭网报道了一场基于WebAR和容积摄影技术的AR采访直播,这种基于网页端的AR技术意味着大部分移动设备用户都可以观看,而且不需要下载app。据悉,这场AR直播的技术分别由8i和8th Wall提供,号称延迟可控制在几毫秒内。
WebAR被看作是一种通用的、轻量化AR显示方案,它的特点是不受平台和硬件性能限制,在手机、移动设备的网页中即可运行。而WebAR容积视频串流方案,则是在WebAR技术基础上,加入实时渲染功能,也就是说你不需要使用AR眼镜或下载app,即可在线观看AR形式的直播活动。
在WebAR体验中观看AR容积视频已经比较常见,一些歌手会将录制的3D表演以这种形式展示,以推广自己的专辑。而由于技术限制,在WebAR中直播3D视频的案例几乎没有,因此8i和8th Wall展示的方案受到业内关注。
据了解,该方案可实时串流AR容积视频,比基于Avatar的线上协作方案更逼真。与2D视频直播相比,AR容积视频直播的优势在于,观众可以从多个角度查看人物的3D模型,就像是将真人搬到你的房间里那样。观众只需要扫描二维码即可观看,8i认为这是发布3D直播的最佳形式。
在本次合作中,8i提供容积视频串流和创作技术,而8th Wall则提供WebAR技术。8i该公司CEO Hayes Mackaman表示:本次WebAR采访的直播过程中,从数据采集、压缩到串流,整个过程只需要不到100毫秒,可以快速处理高品质容积视频。8i希望通过容积摄影和3D串流技术,保持表演、交流等场景的真实性。
细节方面,上述方案的使用流程如下:1)在容积摄影工作室完成3D视频动捕;2)生成动态3D模型;3)压缩3D视频,以适合串流;4)在支持AR的网页上运行实时的3D视频,并通过SLAM系统来优化和定位。
当谈及为什么在直播中采用写实的容积视频,Mackaman表示你:8i的目标是让人类形象在数字空间中具有存在感,你不仅可以用avatar来代表自己,也可以用写实的3D容积模型,代表更真实的自己。应用场景方面,它适合任何需要逼真视觉效果的场景,比如:培训模拟、演讲、表演、社交、远程诊疗、运动、娱乐等等。
市面上已经有一些基于容积捕捉的直播案例,不过通常需要在特定的app或VR平台观看。相比之下,WebAR形式大幅降低观众门槛,可以让更多人同时观看。8th Wall创始人兼CEO Erik Murphy-Chutorian表示:8th Wall的WebAR直播平台门槛足够亲民,可同时容纳数十万人,直播长度不受限制,而且它兼容8th Wall兼容全球35亿智能手机。此外,它不需要5G网络也能运行,理想的带宽是10 mbps。
据了解,8th Wall专注于研发低门槛AR开发工具和平台,支持的技术包括目标识别、面部滤镜、场景特效等等。截至目前,8th Wall已经帮助客户开发1000多个AR广告。Murphy-Chutorian表示:8th Wall从2019年开始,就在探索容积视频。
硬件方面,WebAR直播是采用的容积捕捉方案包含30个4K摄像头,这些摄像头实时捕捉主持人和嘉宾的3D动态,并快速以AR的形式进行串流,整个过程不需要专业动捕设备。此外,8i研发的容积视频方案,最多可处理60个4K摄像头的数据,通过机器学习来生成3D模型。为了展示容积视频对3D动态的捕捉效果,Mackaman在直播过程中还展示了一段舞步。
除了3D直播外,8i和8th Wall研发的方案还支持XR对话功能,也就是说观众可以与3D容积人物实时对话。不过,目前该功能仅支持1-5人同时交流,未来可能会扩大规模。与主播互动是直播的一个重要部分,因此XR对话功能的重要性在于,未来可以让AR直播变成互动性的活动,而不只是观众单方面的观看体验。
实际上,8i和8th Wall展示的方案已经是可量产、可规模部署的产品。Mackaman指出,容积视频直播方案不是研发中的产品,而是商业化的方案,甚至在日本已经有客户在使用,将容积视频用来开发C端移动AR内容和企业级VR应用。
当然,使用者还需要考虑容积摄影本身的成本,因为需要在线下的容积工作室拍摄,没有家用方案,所以主要应用于商业场景。据悉,整个容积摄影方案的售价大约在35万到100万美元之间。此外,直播服务还需要按月收费。
你还可以租赁8i的线下工作室,这些工作室位于东京、首尔、曼谷、布里斯宾、芝加哥、洛杉矶等等,未来还将进军奥兰多。
总之,通过展示WebAR容积视频直播方案,8i和8th Wall展示了未来实时WebAR的应用潜力,除了采访外,也可以用来举办演唱会、上网课、直播带货,观众只需要用手机扫码即可观看,十分方便。