在2020全球5G XR产业发展峰会，北京诺亦腾联合创始人兼CTO戴若犂犁先生进行了“未来多人实训”的主题演讲。

诺亦腾成立于2012年，在动作捕捉领域有多年沉淀。公司联合创始人兼CTO戴若犂博士有丰富的前沿科技产品开发经验，他的研究及工作主要集中在动作姿态捕捉技术、体感交互技术、虚拟现实技术、可穿戴设备开发等领域，由他主导研发的“无线高速全身动作捕捉系统”及“大空间多人半物理仿真虚拟现实平台”，也在虚拟现实、电影特效制作等行业广泛使用。

在演讲中，戴若犁提出中小微企业扩大资本的关键，需要首先思考AR、VR可以解决人的什么问题。戴若犁认为，AR/VR和人的关系可聚焦到人和虚拟世界的交互问题，而交互的未来形态是“自然的交互”。目前，基于自然交互概念的手部交互存在用系统复杂、穿戴重量大的问题，而这种交互方式的未来将会以“微创”的进程变化着。此外，戴若犁关注到了用于B端的虚拟仿真领域，诺亦腾在多人实训系统开发商具有成熟的技术和解决方案。

以下是演讲实录：

大家看英文的主标题其实更合理——“VR Simulation：An Old Story”。在二三十年前就有各种各样的仿真方式，从上个世纪开始，头戴式仿真就应用到各种仿真场景和多人实训中，因此这真的是一个 Old Story 。到2016、2017年开始广泛普及的新一代头戴式XR系统更是把这个行业往前大大推进了一步。今天在这里，我将和大家探讨下一个世代的多人实训。

首先我来介绍一下公司。诺亦腾成立于2012年，目前全球有五、六个办公室，主要人员都在北京，美国有两个办公室，美国东部和美国西部各一个，日本和香港也有做海外营销以及研发的办公室。我参与创办企业，并负责技术和产品。今天，我将以从业者的角度，与大家分享如何在这个行业中更好地将技术变现，以及如何在VR、AR行业里生存下去。

诺亦腾主要专注在动作捕捉领域，采用穿戴式传感器、计算机视觉技术获取人的数字化动作信息，再把数字化动作信息应用在不同领域，比如影视特效、虚拟现实人机交互、数字化体育分析、数字化康复训练等行业。所以我们的用户并不只限于AR、VR领域，还有很多行业可以用到。

XR行业中，中小微企业希望生存挣到钱，那就要退到最本质思考：AR、VR要解决人的什么问题？为了解决这些问题需要解决哪些技术上的难点？攻克哪些之前系统不容易做到、做的不够好的地方？

在处理一个人机交互问题的时候，需要处理外部复杂系统和人的主体之间的关系，目前AR/VR系统主要还是解决视听的输出和人机交互的输入问题。所以归根结底，在这个行业要做好体验，就要解决人和虚拟内容间的交互问题。所以说到头来是视听问题和交互问题。

| C端XR I/O：革命性变化不会到来

实际上，在输出层面，1968年“达摩克利斯之剑”中，人们用手扶着头显的做法，就已经开始着手解决视听问题。大家仔细想想，那个解决方案和现在的各种解决方案其实没有本质上的区别，只是在显示的分辨率、内容精细化程度、穿戴舒适度，以及多自由度保证追踪视点正确等各个方面不断提升。从更近的时间点，比如 Virtual Boy 开始计算，近30年的变化，视听方面还是没有质的变化，将来会不会有什么大变化，我们还将拭目以待。

人机交互与视听的发展不太一样，人机交互的发展发生了巨大变化。从最早的各种开关量，到后面体验相对比较好的控制器和游戏手柄，再到后面带追踪、带力反馈、震动，符合人体工程学的控制器造型，以及在位姿追踪上提供除了开关量之外的输入信息等等。交互从单自由度、三自由度变成六自由度，在形态、原理上发生了很多变化一步步演进到现在。比如目前第二代 Oculus Quest 代表着虚拟现实最高的消费级别人机交互技术水平，它可以完全以计算机视觉的方式，识别出裸手的动作姿态来进行人机交互。C端、B端用的产品中人机交互发生了一代代的演进变化。但在这里需要指出的是，即便是现在，有手部、脚部动作捕捉的交互也未必是更先进的，传统的手柄，控制器能提供握持感，操作的100%确定性并提供一定反馈，因此并不能说手部动作捕捉就一定比控制器和摇杆先进优越。人机交互的整个发展过程是逐步丰富的，细分领域也在慢慢演进。所以大家可以发现，人机交互的发展要比视听输出的发展更加多样化，值得我们去加大投入和加强关注，这里边的商业机会也更多一些。

交互的未来形态是“自然的交互”，即大家在没有任何经验的情况下，不需要培训的前提下，就可以直接与虚拟内容进行交互。比如触控型（Touch）控制器，按了菜单键之后才会弹出选项，按了Home键才会回到大厅，这些都是需要学习的，仍然不是最自然的交互。目前公认的消费级别自然交互是手部交互，因为我们在日常生活中已经得到了大量训练，这些是原生经验，原生经验告诉我们要怎样可以抓放、触碰、投掷、击打东西，我们在生活中的实体经验让我们可以几乎不需要培训就知道怎么做，因此我们认为这才是自然交互。需不需要设备支持，设备先不先进不能衡量自然度，需不需要学习才能衡量自然度。

VR这个行业不管是大厂还是小厂，往后走纷纷走向了手部自然交互，除此之外，还有身体交互。目前为止，流行的头戴式显示器只有头部追踪，并没有提供全身的追踪，但是这个头部追踪也是身体交互的极简化形态，比如在游戏中用头顶足球，这是基本的头部交互，而系统复杂度的问题导致无法在消费级别引入全身的追踪作为主要的人机交互方式。目前问题不在于制作成本是否便宜，而在于用户侧复杂度太高，对外部设备依赖度太高，导致除了尝鲜以及科研的用户外不会有太多人用。

在此，我个人得出一个结论：“虚拟现实的输入与输出在C端的形态，想来不会有什么革命性大变化了吧”。

现在还有很多从业者在继续往前推进技术和设备的变化。头显视听从1968年到现在完全没有变过，人机交互倒是一直在变，而今天手部自然交互的未来还会有变化吗？

我认为，这个变化只会是微创新级别的，慢慢贴近成本以及学习门槛继续降低这个级别的变化。显示方面可能越来越薄、轻，可以用到云端的渲染能力，在交互方面的一些问题比如还是时延太大，精准程度也不好，握拳的时候手指可能会互相遮挡，这些问题会逐步被解决，因为这个仍然是符合摩尔定律的投入产出规律。但是会不会有“革命性”的变化呢？我认为不会有了，所以我们这一代人看到的虚拟现实，我觉得差不多走到头了，形态已经很稳定，将来微创新慢慢迭代就好了。至于会不会出现大家畅想的“脑后插管”或通过“脑机接口”做到人机交互，这个可能需要很长时间才能做到。

| B端XR的未来：虚拟仿真与多人实训

刚才讲的是C端，B端也就是商用的场景下会更加复杂，会有更加革命性的东西出来。B端由于有这些创新点，就会给大家很多能赚钱的机会。无论大家如何看，C端的VR应用最后其实主要落到了重度VR游戏上，它的用户是细分后再细分的一类小众人群。几家在内容上做的还不错并且赚到钱的全是做游戏的企业。

而B端的问题则更加复杂，这些年来在社交、教育、线下娱乐业其实并没有看到能扎实赚到钱的企业，这个行业里人来人往，企业也纷纷倒下。

值得一提的是虚拟仿真行业，30年前就有不少人用传统的CAVE和上一代头戴式显示器做虚拟仿真了。虚拟仿真有工业领域的设计仿真，再到多人虚拟实训。而多人实训最后很多变成了与军事，应急响应相关的保密项目。

在B2B VR领域里我们就选了刚才这两个方向，一个是工业仿真，一个是多人实训。这样的一套系统远比刚才说的2C系统复杂度更高，里面包括大空间高精度追踪、多形态动作捕捉，包括人、脸、手、道具、环境的数字化，包括模块化系统管理、多平台内容定制等，因为这样级别的用户大概率需要定制化内容。

这样的一套多人实训系统，我们花了很长时间来完成。我用了大概两年多时间带着一个不小的团队才把能用的系统整理出来，提供了四个非常大的技术模块。请注意，能用是一个非常高的需求，能展示Demo和能用之间隔着一个太平洋。

最后给大家看一下这个产品的宣传片，这套系统非常易用、易得，成本在B端也是非常不错的，可以很好地服务工业仿真领域和多人实训的客户。目前，这是国内很好的大空间多人实训系统，能够提供非常好的人和人之间的交互，人的数字化信息也做得非常好。

要做到这样的多人实训系统首先身上不能穿太多东西，上半身有3个节点，全身有6个节点；对于更精细的动作需求，全身可以有8个节点，需要手指动作模拟则再加双手套。校准和启动也非常简单，最大空间做到过2000平米，最小可以做四五十平米。在这样的体系里可以落地到动作评估、团队协作、分组对抗、异地协同，对于各个平台都有非常好的支持度。视频里是大几百平米的多人实训，可以有几十人人同场进行虚拟现实的人机交互，可以做非常复杂的列队操演、互动、对抗、协同，也可以做翻滚、冲刺、匍匐前进等大动态的动作。应用上，不管是是做工业仿真、设计评审、多人实训、工业仿真，包括多人聚集的情况也可以用这个系统。

总结一下，这一代虚拟现实的技术发展，在消费领域已经趋缓了，形态也渐渐收敛到一个比较成熟稳定的状态；而商用领域则不然，仍然大有可为，会有很多的变化和演进、拓展继续发生。诺亦腾在VR仿真这个行当的工业仿真与多人实训方案上下了很多苦功夫，做出了真正能用起来的系统，希望大家与我们联系，检验我们的成果。感谢大家！