Dr. Martin Breidt 博士是马克斯普朗克研究所的研究技术员，专攻生物控制论。他的介绍中称他是认知工程学小组旨在探索基础认知流程的那部分，并通过“开发并使用计算机视觉、计算机图形学、精神物理学方式下的机器学习的系统”来达到其目的。 在最近 Palmer Luckey 去到日本的时候，接受了一个采访，当被问及是否会使用 Light House 相关技术时，他是这么回答的：“目前，只有通过外部摄像头的方式，才能进行面部表情和姿态捕捉。” 而 Martin 也提到了一个台湾人的名字：黎颢。他的研究范围是基于静态模型来预测面部表情的，仅需部分信息即可。黎颢是南加州大学计算机科学院的助理教授，将在接下来的计算机视觉与模式识别大会（CVPR 2015，Conference on Computer Vision and Pattern Recognition）上发表论文“不受限制的实时面部表情捕捉”。以下是摘要。 我们将介绍一种针对不受限制、基于消费级别的 RGB-D 感应器的即时面部跟踪技术。 我们的框架提供了即便受到一些大面积的遮挡也不会被打断的 3D 面部追踪，比如说头发、手势以及面部穿戴用具等。任何人的面部都将被马上追踪，而无需针对特定用户进行繁琐的校准步骤。在跟踪期间，我们使用流畅以及根据用户自动调整的跟踪模型，通过探知物体的边线明确地将面部部位和被遮挡的部分分开。我们的面部分隔技术结合了深度和 RGB 输入数据，同时不惧光照条件的改变。为了在彩色信号通道中得到连续以及可靠的面部功能跟踪结果，我们将可信的面部材质放置在被遮挡的部位和原画面结合。我们的跟踪模型是即时定义的，并会不断优化用户的身份、表情、以及通过可靠采样数据和时间域滤波整合的材质。我们将在一个宽泛的范围内展示在高遮挡的情况下
得到高保真度的面部追踪。我们的系统能在日常环境下正常工作，完全不受限于特定用户，可用于消费级增强现实应用以及监控等范围。
黎颢也是将在今年 SIGGRAPH 上发表的一篇关于如何在戴着头戴显示器时进行面部捕捉论文的主要作者。 Facial Performance Sensing Head-Mounted Display
Hao Li, Laura Trutoiu, Pei-Lun Hsieh, Tristan Trutna, Lingyu Wei, Kyle Olszewski, Chongyang Ma, Aaron Nicholls
ACM Transactions on Graphics, Proceedings of the 42nd ACM SIGGRAPH Conference and Exhibition 2015, 08/2015 其中三个协同作者， Laura Trutoiu,Tristan Trutna 以及 Aaron Nicholls 都正在 Oculus Research 工作。Laura 本来应该在今年的 IEEE VR 研讨会上展示一个关于“虚拟现实中的社交：挑战和机遇”演讲，但她最终没能去到法国南部。她将提及在虚拟现实中的面部处理，而以下是关于她那个演讲的描述： 人的面部提供了丰富的信息，而引人入胜的社交也需要一个虚拟形象来表达情绪。头戴显示设备给跟踪面部表情并能精确地给虚拟形象渲染出对应表情，带来了新的软硬件挑战。实时地进行动画渲染也进一步加大了难度。我们将探讨，如何在有着头戴显示设备的
情况下让表情捕捉成为现实。针对虚拟现实系统的面部分析不仅能在模拟社交中给人们提供重要的非语言交流，也将成为复杂的面部动画的基础。尽管可靠的面部信
息已经非常重要，但我们认为在有实时虚拟现实系统限制下跟踪面部动作是更加需要被解决的挑战。 的确，在虚拟现实中如果能较好地捕捉人类感情表达，将为社交以及远传感带来极大的体验提升。Facebook 和 Oculus 显然对于解决这个难题有着极大的兴趣，看起来我们在 2015 年八月的 SIGGRAPH 上就能看到一些进展。 如果你急不可耐，黎颢的一个曾就读于清华大学的学生马重阳（点击原文）在他自己的个人主页上展示了一个 Oculus Rift DK2 前面挂着一个摄像头来进行面部表情捕捉的图片。 而下面，是 Martin 在 IEEE VR 上关于虚拟现实社交的演讲描述 Self-Avatars: 从身体扫描到个性定制化形象
在虚拟现实中，虚拟形象是人际社交互动最自然模式的基础。而马上，我们的问题就来了：这些虚拟形象看起来应该是怎样的？尽管 3D
扫描系统已经越来越普及，但这种真实重构人物理形象的方式并不一定是最有效的选项。我们认为个性化、可定制的的虚拟形象不仅能在现阶段应付沉浸式实时虚拟
现实系统的一些内在限制，在特定的环境下也能更加灵活有效。 Martin 还提到他和 Rachel McDonnell 在 SIGGRAPH 2010 时共同撰写的一篇论文：“面对现实：调查虚拟面部的恐怖谷效应”。 下面是这篇论文的简介：
恐怖谷效应（UV，Uncanny
Valley）已经成为了一个标准概念，来描述那种接近照片级的虚拟人物会呈现出让人不适的感觉。这个理论由日本机器人科学家森政弘在上世纪70年代提出，但时至今日一直都是让电影和游戏制作者警惕的一点，因为有可能导致非本意的让观众体会到不适的情绪。曾经猜测这种情绪有可能是由观众对虚拟人物无法共情，移情机制发生紊乱所导致的，但在交互式游戏越来越流行的当今，实时生成真实的虚拟角色已经越来越重要。渲染技术的质量已经越来越高，而多数游戏在计算
力的限制下依旧使用线性混合皮肤。这导致了动画和实际之间的差异，有可能生成带有恐怖谷效应的虚拟角色。很多游戏开发者开始采用一些风格化的渲染方式来避
免恐怖谷效应。在这个初步的研究中，我们将研习渲染方式和受众感知之间的复杂交互，来得到一些帮助开发者创建可信的虚拟人物的指导方针。 他提到的机器人研究者森政弘在上世纪70年代那篇著名的文章，原文是日文，但这里有英文版。 我发现，当机器人越像人时，我们对其熟悉感越来越增加，直到突然落入低谷。我称之为“恐怖谷”。 Martin 并不认为森政弘当时提出的这个概念完全精确。他希望能继续通过实验研究并测量恐怖谷效应，同时希望能得到一个数据驱动的模型来告诉我们在虚拟现实环境内怎样打造虚拟形象可以让人们得到最舒适的体验。目前，他们在采集游戏开发工作室的制作人和美术方面的直觉经验，但 Martin
说这种形式并不能普适到所有人。因此他将在这个领域继续研究。 无论如何，对于我们消费者来说，需要知道的一点就是，之前马重阳的那个配件并不一定是最终的解决方案，而那个方案本意也不是为了消费者版而打造的，更可以理解为是一个实验。但在虚拟现实中能得到表情捕捉，对于社交等应用意义都是相当重大的。即便 CV1 没有，我们也期待着能在 CV2、CV3