谷歌研究团队认为视频会议系统通常用于个人和专业场合，在2D屏幕上进行交流，缺乏面对面交流的流畅性，原因在于缺少了重要的空间视觉提示，如眼神交流。新的研究名为“ChatDirector”，它通过在空间感知视频会议环境中为所有与会者提供语音驱动的视觉辅助，增强了传统的基于2D屏幕的视频会议体验。

该研究团队开发了一种空间感知视频会议环境，可在3D会议环境中显示远程与会者的3D人像。在每个本地用户的设备上，ChatDirector流式输出（1）音频输入以及由Web Speech API识别的语音文本；（2）RGB图像以及由U-Net神经网络推断的深度图像。

同时，接收每个远程用户的数据，重建3D人像并显示在本地用户的屏幕上。为了实现视觉视差效果，会根据MediaPipe人脸检测技术检测到的本地用户头部移动来调整虚拟渲染摄像头。