苹果空间音频新专利曝光,可在虚拟环境中产生3D音效增强媒体内容
近日,美国专利商标局正式公布了苹果公司一系列共62项新授予专利。在其中,有一项关键的空间音频专利,并链接到四项相机专利。
空间音频降频
苹果公司获得的这项专利涉及音频处理的计算机化数据处理系统和方法,特别是空间音频处理。
更具体地说,该专利涉及"空间音频降频"和它将用于的硬件。空间音频将通过MPEG-H和/或"高阶Ambisonics "在未来的高清电视和Apple TV+等流媒体服务上得到支持。
苹果公司在其专利背景中指出,在增强现实(AR)、虚拟现实(VR)和混合现实(MR)所包含的"模拟现实"或SR中,应用中产生的3D声音效果,通常用来增强媒体内容。
例如,声音设计师通过操纵包含在空间音频对象中的声音来增加3D声音效果,以增强SR应用中的场景,其中声音是环境声音和/或离散声音,可由空间音频系统在SR应用创建的虚拟3D空间的任何地方虚拟定位播放。
头戴式系统可被设计为接收外部显示器(例如,智能手机)。头戴式系统可以有成像传感器和/或麦克风,分别用于拍摄图像/视频和/或捕捉物理环境的音频。
SR系统的其他例子包括抬头显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗户、能够显示图形的镜头、耳机或耳麦、扬声器排列、输入机制(例如,具有或不具有触觉反馈的控制器)、平板电脑、智能手机和台式或笔记本电脑。
在一个实施方案中,记录或编码声音的音频数据被存储为空间音频对象,它保留了一个或多个记录的声音的空间特征。
在另一个实施方案中,空间音频对象包含代表一个或多个记录的声音的几个音频数据通道,每个通道与方向和位置(距离)中的任何一个或多个相关联,例如,记录的声音的来源。
苹果公司的专利图4进一步详细说明了空间声音的预览过程。在一个实施例中示出了合成的空间音频对象#404,如图1中进一步介绍的森林/瀑布环境音的组合。
进一步到图4,苹果公司注意到,空间声音预览用户界面#406生成(操作#408)一个可视化的空间声音对象#206(见下面的图2),例如一个虚拟地球(例如球体、气泡、立方体、多面体等),以响应请求(例如来自用户)来预览组成的空间音频对象#404中表示的声音。
在图4的例子中,该对象是一个虚拟球体,有一个中心原点,由不同三角形代表的所有空间声音将从该原点发出。
换句话说,每个三角形可以代表一个扬声器(声学输出换能器),该扬声器向外指向并放置在同一位置(虚拟球体的中心原点)。
苹果公司的专利图1是一个方框图,说明了SR环境中的空间声音使用概况;图2是一个方框图,说明了空间声音预览。