在Meta Connect 2022上，Meta公司展示了在VR和AR领域的新研究成果。

Meta公司的研究旨在持续十年或更长时间，并推动当今VR、AR和AI等技术的发展。在Meta Connect 2022上，该公司概述了许多领域的研究，从Meta的AR头显到神经接口和3D扫描，再到逼真的编解码虚拟化身。

增强现实

Meta的目标是在未来几年推出一款时尚、在视觉上吸引人且功能强大的AR头显。但由于在小型化、功率、电池容量和余热方面的技术挑战很大，Meta在发展中采取了双重战略。

"眼镜需要相对较小，才能看起来和感觉良好。因此，我们正从两个不同的角度来打造AR眼镜。第一个是建立在我们需要的所有技术上，然后努力将其融入我们能做到最小的眼镜外形尺寸，”马克-扎克伯格在主题演讲中说道。"第二种方法是从理想的外形尺寸开始，随着时间的推移，努力将越来越多的技术融入其中。”

前一种方法的代号是Project Nazare，而后一种方法是Meta公司和大型眼镜制造商EssilorLuxottica公司推出的一个联合项目，并已经推出了一个产品：Ray-Ban Stories，它提供了多种智能功能，但没有内置显示屏。

在2022年Meta Connect大会上，Meta和EssilorLuxottica介绍了其眼镜项目和合作的新情况：Ray-Ban Stories将很快获得免提呼叫联系人或通过软件更新发送短信的能力。

此外，还有一项名为Spotify Tap的新功能。"你只需点击并按住眼镜侧面就可以播放Spotify，如果你想听不同的东西，再点击并按住，Spotify就会推荐新的东西，"Meta写道。

EssilorLuxottica可穿戴设备负责人Rocco Basilico在主题演讲中宣布，他的公司和Meta公司正在开发一款新的头显，它将打开一个"进入元宇宙的门户"。下一代的Ray-Ban Stories会不会有显示屏？扎克伯格和Basilico对此持开放态度。

那Nazare项目呢？

在2021年的Meta Connect上，Meta模拟了通过Project Nazare可能出现的景象。今年，扎克伯格提供了另一个AR头显的预告，但没有展示Nazare的进展。

Meta公司的首席执行官带着设备在走廊上移动，用EMG腕带控制它。显然，你可以通过Project Nazare看到一个景象。

扎克伯格向Meta公司的研究主管Michael Abrash发送了一条信息，并录制了一段视频，两者都是使用微手势。这是由EMG腕带实现的，它在人工智能的帮助下拦截手腕上的运动大脑信号并将其转换为计算机指令。Meta公司认为这种类型的界面是未来重要的AR操作概念，与语音控制和手部追踪并列。

扎克伯格没有说Nazare项目可能何时出现。根据一份报告，Meta公司计划在2024年公布它，并在2026年将其商业化。

脑机接口

Meta公司研究更新中的另一个区块涉及上述的EMG腕带。Meta公司依靠这项技术和个性化的人工智能支持的组合来实现未来的AR界面，它能识别情况和行动的背景，并主动支持眼镜佩戴者的日常生活。这应该能使人类和计算机之间形成直观的、几乎无摩擦的界面。

Meta写道："通过结合机器学习和神经科学，这个未来的界面将为不同的人工作，同时通过一个被称为‘共同适应学习’的过程来解释他们在生理、体型等方面的差异。”

人工智能会从信号和动作中学习并生成一个单独的模型。算法训练得越好，需要移动的手和手指就越少。该系统通过解码手腕上的信号并将其转换为计算机命令来识别人已经决定的行动。

为视障人士提供AR导航

Meta公司正与卡内基梅隆大学（CMU）合作开展一个研究项目，帮助视力障碍者浏览复杂的室内环境。

该大学的研究人员使用Meta的Project Aria传感眼镜对匹兹堡机场进行3D扫描。他们利用这个3D环境地图来训练人工智能定位模型。结果，由CMU开发的智能手机应用程序NavCog可以通过转述音频指示，引导用户更安全地通过机场。

简单的3D扫描

像Meta Quest Pro这样的MR头显会在设备内部显示物理环境。他们还不能扫描物体并将其保存为3D模型。如果这项技术能成为现实，就有可能将真实物体带入虚拟环境。

"从头开始建立3D对象是很难的，使用物理对象作为模板可能会更容易且更快。但是今天没有无缝的方法来做到这一点，所以我们正在研究2种不同的技术来帮助解决这个问题，"Meta写道。

第一种使用机器学习，称为神经辐射场或简称NeRFs，可以从几张照片中创建一个非常详细的3D物体。

第二种技术被称为逆向渲染，用这种方法数字化的物体会对VR环境中的照明和物理学做出动态反应。

这两项技术的一个缺点是它们还不能实时工作。然而，Meta公司认为它们是实现物理对象简单3D扫描的重要步骤。

Codec Avatars 2.0

Meta公司多年来一直在研究所谓的Codec Avatars，这是在外观上与人类原形几乎没有区别的数字化身。

在2021年Meta Connect大会上，Meta公司展示了第二代Codec Avatars，并演示了全身化身。今年，该技术又有了更新。

Codec Avatars 2.0现在可以在虚拟装束之间切换，而且更有表现力。为了展示改进后的表现力，扎克伯格为自己制作了一个Codec Avatar。

Codec Avatars营销和使用的问题之一是其复杂的创建过程，用户必须在一个特殊的3D工作室里对自己进行扫描。

为了简化个人虚拟化身的生成，Meta正在开发即时Codec Avatars。所需要的只是用智能手机对脸部进行两分钟的扫描。

这个过程的缺点是，完成的虚拟化身看起来并不像扎克伯格的那么逼真，而且化身的创建和准备使用仍然需要几个小时。然而，Meta正在努力加快这一过程。

Meta公司强调，这些项目展示了研究成果，这些技术不一定要找到商业化的途径。"不过，这仍然是对未来5到10年技术发展方向的一瞥，"Meta写道。