导语： Unity官网Blog对混合现实的定义、现状和未来进行了全面剖析， 本文是全系列三篇文章的第一部分，作者是Unity混合现实研究小组的组长Dioselin Gonzalez 。
　　
什么是混合现实研究小组？
　　
混合现实小组是由Dioselin Gonzalez领导的，最近刚刚在Unity Labs内部组建的一个团队。团队将会着力研究混合现实以及增强现实在未来几年里的影响以及发展；并帮助Unity的开发者们掌握最有前瞻性的游戏及应用开发战略。成立混合现实研究小组的原因有很多，不过最核心的目标是希望可以为未来长远的主流方向新兴科技做好准备。此外，成立这个小组的另一个使命是激发开发者和工作室探索新的技术，向他们展示未来的可能性;通过试验新生事物以超越既定现实的成熟科技。
　　
混合现实MR的原始定义
　　
首先要让我们弄明白AR,VR,MR以及其他学术名词。 Milgram在1994年的论文《增强现实：现实虚拟连续统的一种表现形式》当中，提出的现实-虚拟连续统（Milgram's Reality-Virtuality Continuum）。他将真实环境和虚拟环境分别作为连续统的两端，位于它们中间的被称为“混合现实（Mixed Reality）”。其中靠近真实环境的是增强现实（Augmented Reality），靠近虚拟环境的则是扩增虚境（Augmented Virtuality）。在这个频谱范围内，在同一显示器上组合（不同程度）真实和虚拟元素的任何东西都被称为混合现实（MR）体验。 混合现实本身就是一个连续体，它同时包含了增强现实（AR）。

混合现实不只是视觉体验
　　
现实虚拟连续统的原始定义只考虑了视觉刺激。在2009年，研究人员Seokhee Jeon和Seungmoon Choi将虚拟现实扩展到了触觉领域。在2轴的连续体中，混合的现实包括结合真实和虚拟视觉或触觉元素的任何体验。
　　

Unity Labs的Carte Blanche（CB）研究原型是Oculus Rift应用程序，在这个程序里虚拟创作台与现实世界的桌子具有一致性。另外，利用触控控制器API通过振动来模拟触觉反馈。 这些元素使CB成为混合现实体验，特别是视觉虚拟 - 触觉混合现实（vV-hMR）类。

　
Joen和Choi的“复合视觉-触觉现实–视觉虚拟 连续统”只包含了最传统的触觉和视觉。那么其他的人类感官方式呢？在过去一段时间，多样化的沉浸体验成为了正在进行时的研究课题。早在2003年，日本的Tsukuba大学就有关于味觉和触觉体验的尝试；最近的味觉体验测试发生在新加坡国立大学。此外，一种在虚拟现实环境中生成嗅觉的体系也在超前的进行中。就在今年，一家日本初创公司展示了一款最新的气味释放VR头显配件。所以，我们是不是应该将更多的元素加入到现实虚拟连续统当中呢？为什么有的感官像是视觉就很重要，然而有些感官元素就没有必要呢？
　　
不管在定义中添加了多少维度，Unity混合现实团队使用混合的实相连续体的概念是为了使我们不会将自己局限于有限的视觉或特定的体验(比如增强现实)。虚拟现实是虚拟性连续体的一个极端；在那里，体验发生在一个可控的纯合成的环境中。这样，它就像电视，广播，甚至是一本书:你经历了一段时间，然后回到现实。它是一种逃离现实和体验非现实世界或远程世界的方式，因此它提供了丰富的娱乐、教育场景，对于设计新的场景非常重要。但我们相信，混合虚拟和物理沉浸式技术将主导日常的、持续的应用。混合现实将被广泛使用，它将会作为一种和谐一致的体验出现在日常生活中——前面提到的Carte Blanche就是一个例子。还有个例子是在现实之上提供一个持久的层，它最终将允许AR取代你的智能手机、电视和其他日常设备。当前的沉浸式技术浪潮始于消费级别的VR头显设备。能够在VR和AR自由切换的设备将成为这一进化的最终步骤。混合现实MR将成为日常生活中最重要的技术，Unity混合现实研究小组的存在就是为了确保Unity能够将创造者的想象力转化为真正的体验。
　　
混合现实未来的展望
　　
我们可以展望在未来五年，随着显示像素的提高，将可能提高人们长时间混合显示设备的使用率。可阅读文字可能是广泛使用MR设备最重要的驱使原因。另一方面，简便切换VR和AR模式将会是另一个重要原因。
　　
混合现实将变得日趋社交化，但是当很多人共处一室的时候，传感器障碍仍然是一个大问题；但我们可以用更多的混合位置追踪传感器来解决这个问题。举个例子，我们将会看到点云生成芯片上用的LiDAR（光探测与测量技术）和混合现实设备的inside-out追踪技术在一起使用。
　　
未来的混合现实，无线系统和眼部追踪系统将会变得普遍，同时结合无绳传感器带来的手部追踪技术一起，以此引领人们逐渐摆脱对电脑的依赖。取而代之，人们将会坐在起居室的桌前，和朋友一起玩虚拟游戏。随着虚拟屏幕的激增，人们会窝进沙发看电子竞技节目，可以躺在床上玩电子游戏。这意味着我们必须改变我们对应用程序设计的思维模式，以适应这些新的状况。
　　
自动数字化角色（像是全系机器人holobot，虚拟形象avatar）在混合现实层将无处不在。例如，语音助手将会拥有和常人无异的情绪化声音 ，它们甚至会有一个可视化的形象以便用户直接和它们进行交互；这个形象可能坐在你身边也有可能走在你前方为你引导方向。

Unity的混合现实研究组的未来规划
　　
2017年到2018年，Unity Labs旗下这个新成立的混合现实小组又将会做些什么呢？在不久前的SIGGRAPH 2017年大会上，Unity向大家预告了一些他们在MR领域将会研究和改进的方向。
　　
1.让MR应用程序不要变成一次性用品
　　
就像我们前面讨论的那样，MR设备也许最终会取代智能手机。无论是苹果iOS的ARKit，还是谷歌安卓系统的ARCore，它们都证明了从智能手机到完整MR设备的过渡已经开始。随着设备的出现，移动应用市场已经达到成熟度，从而引发了饱和问题。 通常，人们在下载后只使用一次应用程序，随着时间的推移，他们慢慢忘记了它们。
　　
移动产业最受欢迎的游戏应用，人们花在上面的时间每年都在以百分之四的概率下降；
　　
苹果手机出现的十年后，现在的移动手机产业可以说是竞争非常激烈了。增长率的锐减，预示着市场的成熟和饱和以及应用程序淘金热的结束。
　　
在一个已经达到饱和的世界中，“1内容/服务= 1移动应用”的业务模式已经不复存在，AR去代替过去的平面应用程序也不足以成为解决方案。所有品牌/公司/初创公司都将尝试寻找其他向量与消费者互动。Unity小组旨在让MR应用程序利用率更高，有效减少一次性应用程序。正如我们的同事Mauricio Vergara所说，“随着沉浸式算法的普及，实时3D图形将成为我们与世界互动的新方式。”
　　
2.让MR超越现有观念
　　
到目前为止，MR应用主要设计为单独和单次使用的实验。 因此，许多今天的用户场景有些局限，似乎倾向于创新，而不是采用解决方案。
　　
在 Mike Elgan的文章《为什么谷歌和苹果将会统治混合现实》中说道：“最令人兴奋的混合现实体验涉及环境的实时3D映射，使得虚拟对象能够与现实世界中的表面和对象进行交互。 例如，计算机生成的生物，可以站在桌子上，或隐藏在桌面上。”
　　
为了创造明天的用途，我们必须改变观点，问自己有趣的问题：当我们闭上眼睛时，现实会消失吗？将来，设备可能不再可以用于生成沙盒现实，而是设备将是将用户连接到持久性现实层的工具。例如，博物馆可以围绕杰作创建交互式的标题，餐厅可以在桌子等上显示互动菜单。可能性是无止境的，在未来，用户只需要在正确的地方利用增强层。像Google的视觉定位服务（VPS）这样的平台，可以快速，准确地进行室内位置的映射和理解，将有助于在任何地方提供无缝扩充的体验。 混合现实研究小组将研究创造型的工具，帮助用户和开发人员保持最新的思维与视角。
　　

3.让MR更具社交性
　　
目前大多数混合现实体验都不具备足够的社交成分，最终成为了用户和观察者的孤独体验。去年有一些值得注意的社交VR应用程序，但社交增强现实体验更难创造，而且还处于起步阶段。 通常，即使观察者与参与者在同一个房间，这个观察者很难想象用户的体验，因为他们通常看不到任何东西。
　　
在过去的几个月里，我们在活动期间观察到许多增强现实的用户; 我们的结论是，他们感到无聊，不再与佩戴者互动，忽视他们，因为他们不再是现实的一部分。要记住，VR的普及不是来自尝试VR HMD本身的人，而是来自在YouTube上使用“混合现实视图”进行演示的人。 观看的人之所以产生兴趣是因为看到了既能看到演示内容，又可以看到用户反应。
　　
马克·比灵赫斯特（Mark Billinghurst）告诉我们，增强现实可以带来移情计算：“系统将允许我们和他人分享我们的所见所闻以及所感”。 这是一个惊人的想法，就像获得了一种超级能力，但是，它是有代价的。 增加社交元素自然会引发关于隐私和自由的问题，这将是沉浸式技术的未来的大问题。 无论是工程师，艺术家，设计师还是政策制定者，我们都需要去思考隐私和自由的问题。 由于MR技术在十年内可能发展得铺天盖地，所以现在我们就应该开始考虑MR社交化的影响，并作出行动。

4.让MR引领游戏创作新时代
　　
游戏创作的未来从未如此光明。 MR带来了一个全新的时代，充满了新型游戏和新的游戏方式。Unity一直在游戏制作领域有着独特的地位，影响着未来。混合现实研究组将致力于研究游戏在这个混合现实的新时代如何演变。游戏怎么玩？什么时候玩？在地点和参与方面将持续多久？如何创建？这些重要的问题，都将会在混合现实中找到答案。不过，Unity的核心优势在于开发人员社区，Unity混合现实小组所做的工作都是为了帮助开发者在这个新世界中成功地制定一个具体的计划。我们将参与Unity内的其他团队，创建新的和改进的MR集中开发工具，这将有助于推动用户的成功。MR小组将会与其他Unity团队合作，并聚焦在创建和改进混合现实开发工具，以此推动Unity的用户获得成功！
　　
欢迎锁定ARinChina，不久后我们将更新《Unity混合现实小组的大牛如何剖析MR》第二部分和第三部分内容。