来源：第三维度    作者：谭伟敏
    本文节选自重庆大学硕士学位论文《裸眼3D显示关键技术研究》，指导老师：黄扬帆、刘然
    近年来，随着3D显示技术的快速发展，3D 产品变得越来越流行，3D 电视(3D TV)逐渐走入了大众家庭，大多数人对3D显示也不再感到陌生。3D 电影也如雨后春笋般在各电影院上映，观众们戴上一副特殊的眼镜，就仿佛进入了真实的三维世界，在虚拟的三维电影世界中，可以看到惊心动魄的警匪打斗，可以感受精妙绝伦的优雅舞姿和悦耳歌声，可以在宇宙中与 ET 外星人对话，这一切都那么的自然、真实，让人难以想象所看到的景象，这就是过去十年来借助立体眼镜实现的3D 显示技术(3D display technology)[1-3]。为了进一步提高观赏舒适感，摆脱立体眼镜的束缚，人们不断的尝试自由自在裸眼观看3D视频的新想法，而这一领域也迅速成为了当前的研究热点之一[4-6]。
    裸眼3D显示(Glasses-free3D display)也称自由立体显示，主要原理是利用人眼视差特性，可以在多人同时裸视条件（无须佩带头盔、偏光镜等辅助设备）下呈现出具有空间深度和影象悬浮于屏幕外的逼真立体影像[3, 7]。事实上许多研究机构已经开始了对自由立体3D显示的研究，从大学实验室中的实验测试到商业产品的研发，都采用不同技术进行尝试[8]。早在 1985 年，德国科学家 Reinhard Boerner在海因里希赫兹研究所(Heinrich  Hertz Institute,  HHI)通过使用透镜创建了自由立体显示，在 1990 年，HHI 已经开发出支持单个观看者的立体原型机[9]。英国 Reality Vision 公司较早提出了全息自由立体显示(Holographic Autostereoscopic Display,HAD)技术概念，是裸眼式3D技术的重要进步[10,  11]。
    2009 年，美国的 PureDepth公司研究开发了多层显示技术(Multi-Layer Display, MLD)，利用多层 LCD 前后排列，分别显示前景与后景，形成前后深度感[12]，如图1 所示。通过区分前景和背景的亮度来设计场景中对象的相对位置关系，从而避免产生重影现象，但当视差较大时重影现象仍然难以避免[13, 14]。

图1 裸眼3D显示
Fig.1 Illustration of glasses-free3Ddisplay
   3D立体显示不仅是3D显示公司研究的主要内容，同样也是各大电视厂商作为液晶显示后的最新研究方向。2002 年，先进三维电视系统技术(advanced three-Dimensional teleVision system technologies，ATTEST)的项目研究对3D显示技术起了重大的推进作用，该项目主要由 Philips 公司主导，至今已投入近 700 亿，其目的在于发展能兼容二维视频的三维视频广播新技术[15, 16]；日本对3D显示产业非常重视，于 2003 年先后成立了以电视厂商为主的3DConsortium、HODIC、TAO以及3DBusiness Promotion Consortium 等组织，联合 200 多家公司共同研发3D显示；韩国则制定了明确而远大的3D技术与产业发展规划，计划 2014 年3D产业创造 15 兆韩元（约 150 亿美元）产值、4 万个就业机会，2015 年实现裸眼3DTV商用化，2020 年开发出全息显示技术[17]。
    在国内，也有数十家公司在研究3D立体显示技术，超多维科技公司是国内较早进行此方面研究和应用的公司，2012 年超多维凭借“立体视频重建与显示技术及装置”项目荣获国家技术发明奖一等奖，由其研发的 SuperD 系列3D显示器则采用“裸眼多视点”技术，可以在屏幕上提供多幅画面，分辨率最高可达 4K  × 2K(3840 × 2160)，技术与国际先进水平基本达到了一致[18]；著名的广告商欧亚宝龙国际率先将3D显示器用于广告领域，凭借新颖和卓越的立体展示效果，其广告网络现已部署在国内商场、机场、上海地铁等场所；为了解决裸眼3D显示中的关键技术问题，2013 年 4 月重庆卓美华视光电有限公司迎来了具有里程碑意义的重大事件，该公司与重庆市科学技术研究院签署了合作协议以加快裸眼3D显示产品的研发，同时卓美华视公司在重庆合川投资的裸眼3D产品生产线目前已建成，该生产线将致力于裸眼3D显示相关产品的研发和生产[19]。下图2 显示的是由超多维公司研究开发的3D图形图像芯片和卓美华视公司生产的裸眼3D商用一体机。

图2 国内公司3D产品展示
Fig.2 Illustration of3Dproducts
    综上所述，裸眼3D作为显示技术发展的必然趋势，被认为是最有生命力且终将成为显示技术共性平台的下一代显示技术，裸眼3D显示关键技术的研究将决定今后显示产业的发展。面对广阔的市场潜力和浩浩荡荡的技术发展潮流，积极开展裸眼立体显示关键技术的研究，并制定相应的技术标准，才能确保我国在即将到来的新一轮的视频标准大战中处于有利地位，对于保护国内市场和拓展国际市场都具有重要的现实意义和紧迫性。
    国内外研究现状
    从3D电视产业链来看，裸眼3D显示系统主要包括裸眼3D内容制作技术、裸眼3D图像处理技术、裸眼3D编解码技术、裸眼3D传输存储技术、裸眼3D内容显示技术以及裸眼3D效果评价等[2, 7, 20, 21]，如图3 所示。

图3 裸眼3D显示系统
Fig.3 Illustration of autostereoscopic display system
    ① 裸眼3D内容制作技术
    3D片源的匮乏一直是限制3D显示发展的一个重要原因，为了能够提供足够多的立体内容和应用，人们研究出了多种方式，主要有3D拍摄、计算机3D模型绘制、2D 转3D技术及视图合成技术等[20]。3D 拍摄是指通过多个摄像机拍摄从而直接获取3D内容。计算机3D模型绘制，通常首先由设计人员使用专业软件在计算机上建立三维模型，再由大型计算机集群进行渲染。所谓渲染，包括着色和转换。目前用的最多的是 3DS Max（由 Discreet 公司开发，后被 Autodesk 公司合并）和 Maya，这两款软件是由 Autodesk 公司开发的著名的三维动画渲染和制作软件，另外，也有一些抠图软件能够让用户通过简单的操作把 2D 照片制作成立体照片。
    2D 转3D技术主要利用 2D 视频中的深度信息，找到各视点间的三维空间坐标与位置的关系，然后以一个 2D 视频视点为基础，通过绘制得到另一个视点。视图合成技术是指通过图像绘制算法，利用 2D 图像以及对应的深度图信息绘制得到多个视点图像。
    ② 裸眼3D图像处理技术
    为了能够形成更加舒适的立体显示效果，需要对立体图像进行处理后再通过立体显示器进行显示。主要包括：立体图像像素排列(sub-pixel  arrangment)、眼睛跟踪技术(eye tracking)、动态视差调整、立体图像的滤波处理等。
   ③ 裸眼3D编解码技术
    目前3D视频格式可分为双目立体格式、视频+深度图(video plus depth, V+D)、多路视频+深度(multiview video plus depth, MVD)以及分层深度视频(layered depth video, LDV)[22-24]。 针 对双 目 立 体 视 频，MPEG 组 织于 2001 年 底 开 展 了3DAV(three-Dimensional audio video)的探索性工作，提出了 4 种基于 MPEG-4 的立体视频编码方案[16]；对于“V+D”格式，它与现存的 2D 广播向下兼容，最新的高清晰度多媒体接口(High Definition Multimedia Interface, HDMI)1.4 标准和 DisplayPort标准已经支持这种3D视频格式；对于 MVD 格式，多年来 MPEG 组织广泛征集多视点视频编码(multi-view video coding, MVC)编码方法，其中来自德国 HHI，日本NTT、KDDI、Fujitsu、Nagoya 大学，韩国 STMicroelectronics、Sejong 大学以及美国三菱电子研究实验室等公司和研究机构的 MVC 方法性能表现较好。目前，H.264MVC 作为信源编码标准已被蓝光3D标准所采用[13]。
    ④ 裸眼3D传输存储技术
    裸眼3D传输方式主要包括网盘、光盘及广播等。一般3D电视节目的传输带宽是普通 2D 视频的两倍，因而3D电视需要更高的传输带宽。针对目前有线电视和卫星服务的传输带宽，若传输3D视频则需要牺牲画面质量，通常的做法是将分辨率降低一半，导致最终接收的视频图像清晰度降低一半。索尼公司推出了一种新的传输方式，采用两路传输3D视频信息，一路传输预测的深度信息，另一路则传输视频信息，该传输方式只占3 倍带宽[25]。
    目前，蓝光光盘是除广播外另一种主要的3D发行平台，美国好莱坞制片厂近年来尤其青睐3D版影片的发行，因而都在努力的规划和研究3D版影片在蓝光光盘上的发行。我国高清光盘产业联盟(CBHD)也在积极研发蓝光光盘播放机以支持3D 视频的播放[20]。
    ⑤ 裸眼3D内容的显示
    经过多年的发展，裸眼3D内容显示技术目前已取得了巨大的进展，现已有多种显示方式。关于裸眼3D内容显示部分，请参见文章的第 2.3 节。
    ⑥ 自由立体显示(autostereoscopic display)效果的评价
    对于自由立体显示设备显示质量的评价有两种方法：一种是客观评价方法，即用亮度计、色彩亮度计及分光辐射亮度计等测光、测色仪器对显示设备进行客观测定的方法；另一种是通过人的视觉来判定，即主观评价方法[26]。主观评价方法是在给定的观察条件下，通过人来观察3D图像的立体感以及舒适度，以评分的形式主观评定3D图像的优劣，然后对评分进行统计评价所得到的评价结果，通常主观评价所采用的打分叫做平均意见分（mean opinion score, MOS）[27, 28]。
    目前，裸眼3D显示存在的难题是如何裸眼3D显示面临的内容制作和播放问题。裸眼3D片源匮乏一直是3D显示技术及裸眼3D显示技术推广中面临的最大瓶颈[29]，裸眼3D内容的丰富性将直接决定裸眼3D显示普及的速度，而裸眼 3D内容播放器的研究是裸眼3D显示技术走向大众化、普及化的关键。所以解决上述科学问题是裸眼3D显示走向实用化的关键。
    有鉴于此，本论文将通过对裸眼3D显示关键技术中的 裸眼3D内容制作 以及裸眼3D内容播放 展开研究，以解决 裸眼3D内容制作和．播放问题。本文的研究成果有望为裸眼3D显示的应用提供理论和技术支撑，从而促进我国在裸眼立体显示领域的发展。
    ① 裸眼3D内容制作
    1) 计算机3D模型绘制这种3D内容制作方法可以制作出丰富多彩的3D内容，且操作灵活，在3D游戏、动画、电影制作等场合应用广泛。
    作为世界顶级的三维动画软件 Autodesk® Maya 是目前计算机3D模型绘制中采用的主要工具，很多公司也都开始利用 Maya 作为其主要的制作工具。Dimenco Displays 作为全球领先的裸眼3D解决方案公司，其开发的基于 3ds Max 插件@depth3D内容制作软件可以生成高品质的3D内容，且支持多种3D格式；全球著名的 2D 图像3D化软件公司DDD，开发的3Dfor your PC，3D for your PC TV，3D for your PC mobile devices等软件，可以将用户 PC、TV 或 mobile devices 上的 2D 内容转换为3D内容。
    国内的创图视维公司自主开发的基于 Autodesk 功能强大的动画制作平台3DPlugin For 3ds Max 和3DPlugin For 3ds MAYA，具有良好的操作性与完善的功能，使得专业动画制作人员能够轻松地创作出具有震撼效果的立体视频；超多维(SuperD)公司开发了基于 3DS Max 和 Maya 的立体渲染插件，它可以允许动画制作者对每一个场景设置一组具有视差的虚拟摄像机，每个摄像机将得到一个视点的图像，得到的视点图像便可以用于立体显示。
    目前越来越多的国内外公司为了制作令人叹为观止的3D片源，纷纷开发基于Autodesk®Maya软件平台的3D内容制作插件。因此，有必要对基于 Autodesk®Maya 软件制作裸眼3D内容做更深入的研究。
    2) 视图合成是裸眼3D内容制作技术中合成多视点视频(multi-view video)的关键技术[30-32]。DIBR 是视图合成技术中的一项关键技术，它利用一幅参考图像(reference image)以及对应的深度图像(depth image)来生成目标图像(destination image，也称为新视图(novel view)，与传统的基于三维模型绘制或者基于图像的绘制方法相比，具有兼容性好、交互性强等优点[33-35]，能在接收端更方便地合成新视点图像。
    鉴于这些优点，目前许多公司和科研机构也纷纷开展基于 DIBR 的视图合成研究。例如，德国的 HHI、台湾的 Himax 和韩国的三星则致力于研究采 DIBR技术实现多视图实时合成，以支持裸眼3D显示；借助 DIBR 技术，微软实现了将一个场景中的人物放置到另一个场景的特效。
    在国内，中国台湾暨南国际大学电子工程系采用 DIBR 技术，通过3D图像变形创建了两个高质量的视图图像；四川大学的戴琼海、王元庆、王琼华等人对虚拟视点绘制进行了仔细研究[27]。因此，有必要对基于 DIBR 的裸眼3D内容生成做更深入的研究。
    ② 裸眼3D内容播放
    裸眼3D内容播放目前研究较少。国外 Dimenco Displays 公司开发了 Dimenco 3DPlayer，它可以支持多种3D格式，软件界面简洁大方；
    国内创图视维公司自主研发的3D媒体播放器，该播放器通过独特的复合编码/解码技术，可实现多视角图像的实时显示与合成，最高可支持1920×1080分辨率的全高清3D视频的播放；超多维公司开发的3D播放器可支持多种3D视频格式，如左右、上下、V+D 以及多视点视频3D格式，该播放器的设计和开发是在 DirectShow 架构下实现的，支持普通 2D 视频的播放；盛乐信息技术（上海）有限公司，发明了一种用于手机的裸眼3D播放器。
    这些裸眼3D播放器大多采用软件开发，而对裸眼3D播放器硬件实现的研究较少，尤其是可支持高分辨率的裸眼3D播放器。因此，有必要对裸眼3D播放器的算法及其硬件实现展开进一步的研究。