周毅:裸眼3D视频技术与节目制作
2013年度慧聪网广电发展论坛在慧聪网总部基地慧聪产业园隆重举办。本次论坛成功举办得到了上海云讯科技有限公司,深圳同州电子有限公司的支持。中央电视台、央视网、搜狐、腾讯、网易等多家媒体与会报道了此次论坛。国家新闻出版广电总局广播科学研究院副院长周毅先生做了“信息技术应用–裸眼3D视频技术与节目制作”的主题报告。
周毅 国家新闻出版广电总局广播科学研究院副院长
尊敬的各位领导、各位来宾,还有我们朋友们,大家上午好!
刚才王总说到3D怎么怎么样,我们今天这套系统主要的发明人和推动者,我们李总,万科数码的李总也在现场,请大家欢迎!关于他的情况和背景我想明年找个活动推出他,我们这个事情前期还要做一些准备。今天我先抛砖引玉给大家做一些技术上的汇报。刚才在慧聪一个很震撼的节目里面大家不知道注意到没有,有一段一家人每个人都戴一个墨镜在那看电视,确实其乐融融。在野外大屏环境里面如果你戴眼镜看电视,第一很难容忍第二很麻烦。我们家孩子我专门测试一下看3D电视频道,准备高级眼镜,每想到看两分钟不到他把眼镜仍了不再看了,果然他以后确实没有看过3D,我认为裸眼3D应该是我们真正3D系统的未来。这我给大家报告一个好消息,也是我们几年前的团队,也是我的老师到富士通当研究所所长,他们带着团队也一直做裸眼3D工作视频的研究,他邀请我去看他们完成的裸眼3D的电影系统。我没有看到实物,他说这个屏幕将来变成一个乳白色的薄膜,它背后有32台4K高量的投影,在线未来的3D电影非常震撼将是不用戴眼镜的,我没有看到只是通过邮件看到了一些材料。
真正的裸眼3D实际上在信息技术发展到今天逐步完善之后而应运而生的。传统戴眼镜实际上是立体视觉恢复的模式,同样裸眼3D也是视觉的一种恢复和重构。前面我们既然搞科学我们做了定义,任何科学创造的视觉影视像都是对自然视像恢复和重构,大家开始看3D无论戴眼镜还是不戴眼镜开始感觉不适应,有很多人为的痕迹,你得主动适应它。为什么这么说?大家有人说未来可能是真正的3D,我可以很认真的告诉大家全息也是假的,因为它毕竟不是我们真实的空间,也是对真实空间的重构和一种科学恢复。因此来说即使未来全息的摄像,全息视频显示出来也是从技术上或者距离上经过加工的。我们现在能够预见都是科学的恢复和重构。因此来说我们发明人就经过跟我们说与其说我们自己戴一个眼镜去看图像,我们不如把眼镜戴到终端显示器上去,这个就是发明的起点。把眼镜戴到终端显示器上去。
为了了解现在3D的情况,我简单把目前世界和我们做的一些工作和现在情况给大家稍微做一些介绍。大家可能有些从事这方面的人很熟,不外乎几种:一种我们目前在裸眼3D推的比较主流多视图的视频编码格式。第二以早年飞利浦的图像加深度图,2D+Z的模式。再一个就是3D和2D+β,这个包括显示传输和制作。大家知道一个3D从过整个环节,从节目制作、存储、到传输都是有特定的做法。
我首先讲一下因为整个大家看我们这个系统的时候可能用一个方式理解更好,我简单介绍一下飞利浦早期图像加深度的模式。这个模式是我们认为,起码是我们研究团队认为,未来无论是传输还是推进也好比较可能比较有希望的模式。我们看到的2D图像都会在旁边或者某个位置上配备一个反映深度,反映我鼻子有多高,脸和后脑勺差多远等等,反映这个图像每一个细节有多少深度的图。
解码器或者编码器用这个图像加深度图形成一个两视图或者多视图。在2D+Z的图像中已经被规范为3D的一种扩展。大家看第一个图,就是2D+Z的图,最上面左边是我们常说普通的一个图像,旁边用某种方式把这个图像纵深的关系用一个灰度的画面给记录下来,这是刚才说的2D+Z。第二行是多视图的图像,大家为什么戴眼镜看立体电视难受,因为我们每个人的眼距从出生那天开始就是确定的,我们从出生那天就是看大自然的图像,这么多年过来我们适应了看大自然的立体空间感,我用特定距离拍摄的立体电视,然后用某种技术恢复的时候,不是每个人都能够接受的。所以这种距离感随着我多做一些图像,就是第二行多视图,我就把这个距离进行平均化,这样我看的时候我多数人感觉不那么难受,或者很快能够适应这个难受,这是多视图也是我们认为未来真正的裸眼3D用得比较多,可能性比较大的一种方式。
再一个大家很熟悉,我们国家播的side by side就是两视图的模式,就是央视频道和各省实验频道推的模式。为什么我想明年隆重推出李博士,我们和广播院中央电视台传的side by side互联网传来的图像也可以收到视频播放的图像,可以变成一个立体的电视机。我们做标准的时候也向有关部门提出未来我们中国的3D,建议争取不用side by side方式来传,争取2D+Z,把Z的信息可以有机放到某个空间来传,现在老百姓看的side by side正常频道没有3D的时候看不了这个频道,这个频道对于普通的电视机是浪费的,用2D+Z的模式,普通电视机可以看到正常的2D节目,只有有3D的解码模式,电视机才能收到立体,未来裸眼3D电视机可以切换,你想看3D我就切3D,看累了我就切回来,这个给大家演示ipad都有这个功能。
归纳一下大致这么三种模式,一种2D+Z一个正常的图像加上这个图像相关的深度信息。再一个多视图,多视图的图像传输的时候不用这个模式,传输的时候还是上下两种,但是在恢复端会自动的用某种模式自动的恢复成多视图。先把2D和深度信息传过去,2D+Z和side by side。
简单讲一下declipse模式,怎么把最左边的图像逐步把纵向信息分离过程,越深在恢复层面颜色越深。每一桢包括四个部分,被迁移对象覆盖的背景区域,前景物体大量偏移行为主打区,从而提高潜在的质量,具体通过一些算法和理论,我在这里不多说了。
介绍一下杜比3D,杜比3D不主流了,但是它一些技术和一些系统我们可以应用,多视图的渲染和相关的软件我们要用的。由用户自动的进入深度调整进行裸眼立体的播放。你用户家里可以做一个调整的立体感艰巨越小立体感越强,我们调大一点虽然立体感没有那么强,你就舒服一些,调整余地我们建议保留给用户提供。实现了2D到3D的转换,我这里指的2D到3D转换不是说电视机里面的切换,我们3D发展到今天不是像想象那么好,我认为很重要原因就是节目太少,节目怎么来大家都知道拍摄一部立体电视成本非常高,非常不得了。我听说一部好的立体电影都得三千万到五千万美金相对来可以的,我估计任何一个电视台包括互联网站,一年整出一部那绝对是不得了了。所以怎么办?我们利用杜比3D的相关技术,我们形成把现有好的2D节目通过人工或者自动转换成3D用刚才说的技术。
大概知道一下3D和裸眼3D的关系和相关技术原理我们看看国外是怎么个情况?我所知道情况,主要是我那个老师富士通研究所搞了很多年,他们是半停滞的状态,最近几年又开始受到《阿凡达》这些影片影响他们又开始抓起来,把裸眼3D电影的一个系统重构,刚才说显示的膜是300英寸的,大致这样的情况。这几年一直公司虽然在跟进但是进步不大。听说索尼申请破产保护,不知道是真是假,如果真是这样广播影视受到很大冲击,索尼要倒的话我们摄像机我们视频设备怎么办。最近索贝(音)说明年要退出,如果这样的话我们广播影视很多东西得靠我们广播研究院撑住,我们最近开发超高速的摄像机,如果这样我们摄像机正常速度也要开发。
韩国、美国实际上3D标准也在制定,我们院参加了信产部为主的3D联盟,正在申请制定3D,特别是裸眼3D的标准,不仅兼容2D的视频需配戴眼镜还要就裸眼3D编码传输等满足下一代的3D制作的需要。跟裸眼3D的工作小组在做接触。
韩国情况,韩国一直很认真,前一个月中日韩三国的技术工作在我们院召开,我问了韩国人他说3D还是有市场,一旦解决自然、流畅、价格便宜、不戴眼镜,大家还是希望一天里面有一段时间看一下立体的东西,所以将来裸眼3D开发成熟有很大市场。实际上手机、Ipad任何电脑终端都可以改造成3D和非3D的模式,从技术和商业化基本上完成了,标准制定还有将来怎么进行商业化推进。今天我们请李博士来一个看到我们国内的情况,了解一下我们大致的信息,对中国大陆将来怎么推进也要有所了解,我们作为广科院来说我们技术什么完成以后我们工作告一段落,请李博士他们从商业角度推进。
现有的3D多视图刚才说了多视图是解决视觉差,每个人个性的视觉差造成的视觉疲劳或者说难受或者说头晕的一个很重要的技术。所以我们下一步在裸眼3D的技术上一定要解决这个问题,不解决这个问题商业化是受影响的。所以在这我不深入的说,一个就是AVS,我们下一步压缩一定要用国产国内的压缩模式。到底继续走side by side还是按我们推荐2D+Z的模式,我们国内能不能同意我们的或者我的建议把side by side改过来,但是side by side改过来有一个很大的问题,现在我们高清机顶盒里面藏者side by side解码器,如果改成2D+Z我们需要大量的改动,改的时候因为我们同时用AVS了,要实现国产化这是重大的战略改变。
第二就是按照H264进行多视图的编码,我们最理想是34幅,这次给大家看的是28幅,我们明年正式推出32幅85英寸现在紧锣密鼓的在做,我们做完了,同时解决side by side接收问题我们再给大家正式隆重推出。
再一个2D+declipse的渲染会造成太人为的感觉,我们做的节目都是技术人员,不是从事3D工作的人员,我们国际上有一些团队大概六个国家我们在网上作业,最近我了解把好莱坞从事3D工作的人也拉进来了,这个人是这方面专家,他将来做一些典型东西让我们来学习或者培训我们人,在国内形成一些团队。
再一个目前我们国家还没有针对2D转3D内容的标准格式。如果把这个薄膜做出来,我们2D新闻直播都可以直接转成3D,虽然立体感不强但是可以容忍的。
我给大家把裸眼3D做一个介绍,裸眼3D不需要借助辅助设备如眼镜就能使用户体会到立体效果,虽然是新技术但是我所了解研究6年以上,这个技术现在正在发展,在未来显示领域及家庭3D娱乐方面有很大潜力。现在这个阶段虽然还有开发的余地,应该说可接受了。
实现裸眼3D的显示效果可以有多种不同多视图和平台相互之间技术不兼容不利于推广,我们急需有一个条件满足不同环境的需求。我们希望在中国形成一个统一的格式,节目交换要统一这块我们做相关工作。因此对建立国家3D新的标准有一个建议,在国内是我们和万科一个是清华大学,清华大学在一定程度解决了这个问题,有些人知道我们也看过,第一我觉得我们可以互补,第二他那个模式要下点功夫,这个不是纯理论要很好的实现要成为商品,它那个东西是科研的东西,这块我们可以互相互补有一个推进。这个包括编码、传输、解码、显示等等,而且这个可以支持多种视频流,在传统2D视频流上加上新的辅助信息。比如说AVS,AVS+可以支持高清了,现在4K电视台具备节目制作采集的能力。
同时不仅要支持传统的3D视频戴眼镜的还要支持新的,这个东西要有一个过度不能一下子把戴眼镜淘汰了,标准要两支持,同时要方便用户,给用户带来全新视觉的体现这是我们要做的。王总说的一句话很对,我们技术要不断的进步不断的创新,不断给我们用户带来一些惊喜,这样才有市场。
最后要在现有的基础上增加多层辅助信息,可以在2D、3D、数据流自由交换并向后兼容现存的2D和高清,本标准通过2D架构引入视频一定程度上降低成本,更容易让老百姓普遍接受。需要新的标准毫无疑问是需要的。
关于技术路线,裸眼3D的显示和2D转3D的内容供应商是少一方面都不可以,将来李博士有一个很好的节目制作的技术团队,可以跟国内广告公司和内容公司我们共同2D转3D和新裸眼3D的节目。用最先进的转换软件来在国内制作一些3D的内容。
再一个就是进行2D到3D的多视图的实时转换,刚才我说要做一个卡一个芯片,2D节目进到这个芯片以后出来就是3D的,同时进行围影深度渲染,多视图合成,对分辨率的预测等等,这个我们将来在国内开发,2D转3D有大量工作而且这是老百姓需要的。将来我们跟电视机厂商提出我们卡装到你新电视机里面,你这个2D电视机就可以收到所有电视台2D节目自动可以收3D的节目,这个理论和技术上都没有问题,就是什么商品化的问题。
我们有大致路线图,基本档次、高等档次、下一代档次,ipad、电脑、电视机、大屏都没有问题了,电影投影还有LED召大屏户外我们已经做尝试的,做这方面研究,我们团队在这方面做研究跟我们国家最大的LED的老总都见过,他们很有吸引力,一旦完成在火车站,机场先建上,未来大家看到大屏的3D。下一代档次,一个全覆盖以外要朝着电影,朝着更加真实电影方向发展。基本档次在图像上给大家做了一个回顾,2D摄像机。高等档次可以根据显示器件可以2D加深度信息,高级档次完全是实时真实的可以降低围影的渲染,下一代更高级了,看得更真实更舒服,不会那么难受。这是一个档次方面的介绍。总得来说这个档次都是兼容发展不会有任何的不连续一般没有什么问题。
最后我想给大家做一个结论,大家看完以后我个人作为研究者之一,我个人感觉裸眼3D显然是未来影视3D的终极目标,原来就是玩玩,做一些视觉的效果,但是今天看到真实的商品。下一代得到3D应该以多视图作为我们的发展,这样的话为未来的影视裸眼3D的影视归一,影视融合提供了一种可能性。将来裸眼3D的电影和电视终将在传输和标准上走到一起,把眼镜真正戴到显示屏上去去这是我们目标。
再一个现存的标准具备全新特性的功能,这不是说它当时怎么样,这是当时技术所限,我们技术发展到今天完全有必要进行升级、改造和修改。这个任何国家技术发展都是这样一个路线,我们没有说过去怎么样?而是过去标准需要升级需要改造需要功能更加全新,性能的更加优越这块是我们要做的。再一个广泛支持不同的显示器和内容供应者。所有显示器未来很便宜都能支持升级为3D的显示器,同时要可切换的,一定要满足老百姓的需要,老百姓需求才是我们动力,他想看3D我就让他看,他不想看3D我们可以切换,这个要广泛便宜的支持。对以后内容我们给提供怎么支持2D转3D节目制作的技术和艺术的支持,这块是未来需要的。
这是我个人的梦想建立制定一个引领世界裸眼3D的标准,这个李博士很有信心,我也很有信心,听李博士介绍我也很有信心,传言索尼都倒闭了,支撑我们国内视频就是我们。我们希望为大家做点贡献,谢谢大家!