谷歌新Jump相机:AI算法正在接管360度视频的后期拼接
虚拟现实市场化的过程中,作为市场敲门砖的360度视频正在日益成为主攻势力,这个现状正从最近巨额资本越来越多进入360度视频内容领域得到印证。
无疑,已经批量发售的Oculus Rift和HTC Vive的良好产品体验的确标志着现在VR硬件技术的先进标准,但是其昂贵的价格和使用门槛基本成为VR真正市场化的障碍,更悲观的是,看起来这些也不是短期就能解决的事情。
随着谷歌刚在I/O大会上宣布了自己的Daydream VR,一大波包括原本就在移动端VR市场占据半壁江山的三星在内的手机,又冲着你的“VR花园”杀过来了。未来市场,移动VR独领风骚的局面正在开启。
然后呢……
360度视频内容毫无疑问是移动端VR的主要消费产品。采用360度摄像机拍摄,后期拼接好再上传到Facebook 和YouTube这类能播放360度视频的内容平台,配搭上跟手机配套的。价格亲民使用便捷的头盔和眼镜就能观看。
然而目前的局面是:用于制作360度视频的拍摄硬件连战国时期都算不上,最多是个陈胜吴广的阶段,无论是草莽星火还是帝国狼烟最主要都灭在一件事上:后期。后期。后期。(不是说前期画质什么的就能接近传统摄影的标准,但好歹咱先得全须全尾再谈颜值吧)
制作内容的团队们满头汗:能自动拼接的吧咱先不说画质什么光是那些缝啊……看着都是汗。不自动拼接的呢,后期软件们倒是都在,可那都是需要技术的手工劳动,成本高效率低也是干得一身汗,最关键,这么干根本不是大规模内容生产的套路。
同样属于谷歌Daydream VR布局棋子的新的JUMP相机,对于上述问题的解决之道是:使用谷歌的AI算法。新款JUMP相机把自己拍摄的单个视频上传到谷歌服务器上,然后把后期的苦活累活交给谷歌的“AI后期小能手”就可以了。
目前看来,谷歌的这个AI算法,后期的活干得还不算好,除了拼接,它可以处理拍虚的画面,但是无法处理相机顶部和机座的缺失部分。而且因为JUMP还是使用GoPro摄像头,所以在暗光下达不到较高的分辨率,所以总体效果是“还无法创建专业级别”的360度视频。
而目前内容团队多数采取的“能满足专业内容制作”的流程是怎样的呢?
首先前端的拍摄器材得是RED、Canon EOS M3s、Sony A7Ss这种级别的,因为它们在光学成像上都是经过验证的(没提新晋的那些“非传统大厂”的市场级器材是因为它们的拍摄效果统统没经过市场检验),即使在暗光下也能够提供高质素的画质;然后需要后期大师们去做拼接——这是个高技术工种,不同相机拍摄的画面直接反应拼接水平。
对于后期,目前专业团队还是倾向于类似Kolor Autopano, VideoStitch, OpenCV,或者 Nuke 这些专业级的后期制作,对那些由N个摄像头阵列组成的360度拍摄硬件的后期处理能力,指望不大。做后期拼接的人都知道,这是一个吃力不讨好的活儿。经常是干很久也无法解决一个完美的拼缝。而现有的趁手软件可选择的并不多。往往连续工作几天也还是无法达到理想效果。更何况大规模的处理了。
能让这样的工作满足日益增长的大规模360度视频市场,谷歌的AI算法是一个路子。这其实只是个时间问题,谷歌需要继续用大量图像信息来“哺育”人工智能。让它“学习”如何处理各种360度摄像机拍摄的海量内容。以谷歌的风格,一旦这个AI算法可以大批量完美处理360度视频,谷歌或者会开源这个算法,那时候各种品牌的360度相机都可以获得后期对接,只需把拍摄数据上传到服务器上即可。
这可以给未来的360度拍摄硬件提供这样一种发展趋势:如同谷歌一向不做硬件只提供系统解决方案一样,谷歌也不会去发展自己的拍摄器材,JUMP相机只是字母表公司用来解决自己后期AI算法的工具,做360相机的厂商可以在硬件上安心,谷歌不是竞品——只要不在后期上对标。无论如何把力气使在提升机器摄取的素材质量上总是不会错的。但干这个最拿手的还是老牌专业摄材大厂。谷歌在这里的布局是牵手了老牌专业级的IMAX和亲民市场级的小蚁。提供的还是后期算法。
这样看来,谷歌在360度摄像机上的着眼点毫无疑问不是指望它的“JUMP阵容”自己处理后期了,而是通过自己服务器上的AI算法解决JUMP相机上传的素材。对此我们还是应该有信心的,昨天我们还报道过有关谷歌的神经网络Deep Dream的“成绩“,虽然这不是指向360度拍摄的后期。
但是同样的问题又被提及:如果这么复杂的后期工作真的可以交给AI,那岂不是又有很多人要下岗?这种问题其实很无聊好么。如果一个机器可以编辑视频,打造视觉特效,知道如何操作摄像机,同时还能编写脚本,甚至导演。那整个世界都将被接管了又何止是后期?在这一切发生之前,摆在我们面前最糟心的仍然是,怎么处理那些接缝。
作者:阿丹 来源:IN2