沉浸式和双耳声音的组合的制作方法

沉浸式和双耳声音的组合
1.(对相关申请的交叉引用)
2.本申请要求在2018年12月13日提交的美国专利申请序列no.16/219180的优先权，在这里加入其全部内容作为参考。
技术领域
3.在本专利文件中描述的技术涉及用于为听者再现环绕声编码音频的系统和方法。


背景技术：

4.环绕声系统包括用于为听者(例如，用户)再现音频源的多个扬声器。典型的环绕声系统可以包括被配置为创建来自听者周围的水平面上的任何方向的声音的感知的前扬声器、后扬声器或侧扬声器。沉浸式(immersive)的声音系统可以包括听者耳朵上方或下方的扬声器，这些扬声器可以被用于创建来自听者周围任何位置的声音的感知。
5.环绕或沉浸式声音系统能够将声音定位到房间中的特定点，并且通常将声音定位在“甜区”或主要收听位置，该“甜区”或主要收听位置描述将再现的声音定位在听者耳朵的位置的听者物理位置。然而，这种系统不能将声音放在相对于处于这种位置的听者的位置。例如，定位到听者的右侧的声音可能定位到另一个听者的左侧。该特定于房间的定位会减少听者可以坐的位置数。所需要的是用于在各种听者位置处再现环绕声的改进的系统。
附图说明
6.图1是根据示例性实施例的示例性环绕系统的示图。
7.图2是根据示例性实施例的第一沉浸式和双耳声音系统的示图。
8.图3是根据示例性实施例的第二沉浸式和双耳声音系统的示图。
9.图4是根据示例性实施例的沉浸式和双耳声音方法的流程图。
10.图5是根据示例性实施例的沉浸式和双耳声音系统的框图。
具体实施方式
11.本主题通过用一组扩音器和一组耳机分离声音并再现分离的声音，提供对声音定位所面临的技术问题的技术方案。在示例中，意味着要在整个房间中体验的一般音轨将会通过扩音器播放，并且，意味着要在听者附近体验的特定声音将会通过耳机中的双耳表现(binaural representation)播放。耳机可以被选择以避免阻塞耳朵，从而允许在扩音器处产生的声音能够被清楚地听到。这种使用扩音器和耳机的组合的声音分离和再现，通过对房间内的任何位置的听者定位声音，提供对典型环绕声系统所面临的技术问题的技术方案。这提高包括共面扬声器配置上方或下方的音频对象的位置特定音频对象的再现精度。通过在不需要附加扬声器的情况下提高再现精度，该方案提供额外的沉浸式音频体验。
12.如在实施例的以下描述中所使用的，“音频对象”包括三维位置数据。因此，音频对象应当被理解为包括具有静态或动态三维位置数据的音频源的特定组合表现。相反，“声音
源”是用于在最终混音或呈现中回放或再现的音频信号，并且它具有预期的静态或动态呈现方法或目的。声音源可以与一个或多个特定信道(例如，信号“左前”，低频效应(lfe)信道)相关联，与两个或更多个声音源起源方向之间的平移(panning)相关联(例如，从中心信道平移到90度到右侧)，或与其它方向配置相关联。
13.本说明书包括用于特别是在扩音器和耳机(例如耳麦)应用中合成音频信号的方法和装置。虽然在包括扩音器或耳麦的示例性系统的语境中呈现本公开的多个方面，但是应当理解，所描述的方法和装置不限于这种系统，并且本文的教导适用于包括合成音频信号的其它方法和装置。以下描述和附图充分说明了具体实施例，以使得本领域技术人员能够理解各具体实施例。其它实施例可以包括结构、逻辑、电气、过程和其它改变。各种实施例的部分和特征可以包括在其它实施例的部分和特征中，或者可以替代其它实施例的部分和特征。在权利要求中阐述的实施例包括这些权利要求的所有可用等效物。说明书结合示出的实施例阐述用于开发和操作本主题的功能和步骤序列。应当理解，可以通过也打算包含在本主题的范围内的不同实施例实现相同或等效的功能和序列。还应理解，关系术语(例如，第一、第二)的使用仅用于将一个实体与另一实体区分开来，而不必要求或暗示这些实体之间的任何实际的这种关系或顺序。
14.图1是根据示例性实施例的示例性环绕系统100的示图。系统100可以为用户105(诸如在屏幕110上观看视频的用户)提供环绕声。环绕声系统100可以包括居中于屏幕110和用户105之间的中心信道115。系统100可以包括多对的左、右扬声器，包括左前扬声器120、右前扬声器125、左扬声器130、右扬声器135、左后扬声器140和右后扬声器145。环绕声系统100中的扬声器的组合可以被用于创建来自听者周围任何方向的声音的感知。
15.图2是根据示例性实施例的第一沉浸式和双耳声音系统200的示图。沉浸式和双耳声音系统200可以包括一个或多个物理扩音器，诸如中心信道215、左前扬声器220和右前扬声器225、左扬声器230、右扬声器235、左后扬声器240和右后扬声器245。
16.除了物理扩音器以外，沉浸式和双耳声音系统200还可以包括耳机210。耳机210可以被用于创建“虚拟扬声器”，该“虚拟扬声器”创建在各种扩音器或扩音器之间的任何位置处再现的声音的感知。例如，耳机210可以创建听者正后方的声音的感知，该声音可以另外由左后扬声器240和右后扬声器245创建。虽然物理后扬声器可能能够再现来自听者后方的直接位于两个物理后扬声器之间的声音，但处于房间中心左侧或右侧的听者会感知源自后面且到右侧或左侧的相同音频。相反，不管听者在房间中的位置如何，耳机210可创建来自听者正后方的声音的感知。耳机210可以被选择为再现声音，同时允许听者从扩音器接收声音。在实施例中，耳机210可以包括不覆盖耳朵而是通过听者的面部骨骼结构转化音频的骨传导耳机。在另一实施例中，耳机210可以包括被配置为减少或消除从扩音器接收的声音的遮挡的开耳耳机设计。
17.耳机210还可用于创建虚拟扬声器，该虚拟扬声器创建在听者上方或下方的扬声器处再现的声音的感知。在实施例中，虚拟扬声器可以包括左高扬声器250，该左高扬声器250可以位于听者的左侧并且处于水平面以上的某个角度，诸如左高角度270。虚拟扬声器还可以包括右高扬声器255、左后高扬声器260和右后高信道265。附加的虚拟扬声器(未示出)可以由耳机210创建。在一些实施例中，虚拟扬声器的数量和位置可以符合预定的扬声器配置，诸如5.1信道、7.1信道和其它配置。由能够创建虚拟扬声器提供的附加优点包括能
够减少扬声器数量。例如，剧院可以实现具有少于7.1个扩音器的7.1信道系统，或者，不能安装一个或多个扬声器的剧院(例如，历史剧院)可以使用耳机210以补充或替代扩音器。
18.为了创建在不同位置再现的声音的感知，耳机210可以包括每只耳朵多个扬声器或每只耳朵仅一个扬声器。可以使用各种数字信号处理(dsp)技术以创建来自直接来自耳机中的扬声器以外的位置的声音的感知。一种这样的技术包括对头部周围的各种位置处的头部相关传递函数(hrtf)的选择进行采样，这里，各hr.tf描述对应于头部周围的各种位置中的每一个的源音频信号的变化，这些变化创建来自这些位置中的各个位置的声音的感知。可以在hrtf采样位置中的任一个处再现声音，或者可以内插hrtf以对于所测量的hrtf位置之间的任何位置近似hrtf。在实施例中，所有测量的同侧和对侧hrtf可以被转换为最小相位和在它们之间执行以导出hrtf对的线性插值，这里，各hrtf对随后与适当的耳间时间延迟(itd)组合以表示所需合成位置的hrtf。诸如图3所示，这些技术可以与耳机210一起使用，以创建虚拟扬声器或创建在用户附近移动的音频对象的感知。
19.图3是根据示例性实施例的第二沉浸式和双耳声音系统300的示图。沉浸式和双耳声音系统300可以包括耳机310和一个或多个物理扩音器315
‑
345。耳机310可以被用于创建声音在音频对象初始虚拟位置350处再现、沿音频对象路径355移动并且归于停在音频对象最终虚拟位置360处的感知。在各种示例中，这可以被用于表示在听者周围踱步的人、在听者周围嗡嗡叫的蜜蜂或任何其它移动的音频对象。通过使用耳机310以再现初始位置350、音频对象路径355和最终位置360，音频对象位置和运动相对于听者。这允许使用耳机310的任何听者体验相同的音频对象位置和运动，而不管其在收听或观看区域内的位置如何。虽然图3描绘的虚拟扬声器比图2少，但是系统200和系统300都可以能够再现任意数量的虚拟扬声器或音频对象。
20.为了为各听者提供准确的声音再现，沉浸式和双耳声音系统200和300可以包括用于分离用于通过扩音器或耳机再现的音频信号的一种或更多种技术。在实施例中，源音频信号可以被分离，使得音频对象(和相应的3d位置数据)可以由耳机再现，而声音源可以由扩音器再现。在另一实施例中，源音频信号可以被分离，使得自我中心的音频(egocentric audio)(例如，特定于各听者的音频)可以由耳机再现，而非自我中心的音频(allocentric audio)(例如，特定于房间或环境的音频)可以由扩音器再现。在另一个实施例中，源音频信号可以被分离，使得剧情音频(diegetic audio))(例如，通常在屏幕上可见或被暗示存在的源，诸如电影角色声音或来自基于对象的声场内的对象的声音)可以由耳机再现，而非剧情音频(例如，通常在屏幕上看不到或被暗示在场景中在物理上不存在的源，诸如电影配乐或叙述者的评论)可以由扩音器再现。这些技术的各种组合可以被用于分离源音频信号，诸如使用中心信道以再现对应于屏幕上可见的对象(例如，在屏幕中心的演员的讲话线)的剧情音频，同时使用耳机以再现屏幕上看不到的剧情声音(例如，来自似乎来自听者后面的人群的声音)。
21.与典型的环绕声系统相比，沉浸式和双耳声音系统200和300提供附加的优点。典型的环绕声系统将预定的输入音频信号配置映射到特定的扩音器配置(例如，5.1环绕映射到特定几何结构中的五个扩音器器)。然而，可能存在扬声器的数量或扬声器几何结构可能不符合预定的输入音频信号配置的情况。沉浸式和双耳声音系统200和300可以响应于这些非标准配置(例如，呈现异常)，并且可以基于扩音器或耳机的数量、位置、频率响应或其它
特性分离和再现音频信号。在实施例中，用于由扩音器或耳机再现的音频信号的分离可以基于可用扩音器的数量或位置。沉浸式和双耳声音系统可以接收可用扩音器的数量和位置的指示，并且可以将输入音频信号分离到各可用扩音器和耳机扬声器的信道中。例如，当源音频信号与预定配置(例如，5.1环绕声)相关联但是存在比预定配置所需的扩音器少的扩音器时，音频信号可以被分离，使得耳机提供对应于预定配置的虚拟扬声器。在另一实施例中，音频信号的分离可以响应于可用扩音器的数量或位置的变化。例如，当检测到耳机连接时，音频信号可以被分为非自我中心扩音器音频信号和自我中心耳机音频信号。类似地，当检测到耳机断开时，音频信号可以被重新组合，使得所有音频由可用扩音器再现。在另一实施例中，音频信号的分离可以响应于可用扩音器或耳机的频率响应。例如，骨传导耳机的检测可以指示降低的频率响应，并且音频信号可被重新组合使得扩音器补偿降低的频率响应。扩音器或耳机的各种特性可以由用户测量(例如，由剧院音频工程师测量的扬声器几何结构)提供，可以由扬声器中的一个或多个传感器提供，或者可以由通过扩音器或耳机发送的数据提供。可以诸如通过自检或自动配置例程由沉浸式和双耳声音系统检测扩音器或耳机的各种特性。通过响应于呈现异常，包括可用扩音器或耳机的数量、位置或改变，沉浸式和双耳声音系统200和300在初始安装期间提供改进的灵活性，并且提供对任何后续配置改变的改进的适应性。
22.图4是根据示例性实施例的沉浸式和双耳声音方法400的流程图。方法400可以包括接收410环绕声音频输入并将环绕声音频输入分解420为场景声音分量和用户声音分量。在实施例中，环绕声音频输入的分解响应于耳机连接的检测。在另一实施例中，环绕声音频输入的分解响应于对输入音频信道的分析。例如，环绕声音频输入可以具有相关数量的扩音器音频信道和扩音器位置，并且，基于环绕声音频输入和物理扩音器之间的差异，环绕声音频输入信道中的一个或多个可以被重新分配给用户耳机。
23.环绕声音频输入的分解420可以基于环绕声音频输入的一个或多个特征。在实施例中，环绕声音频输入的分解可以包括将音频对象分解到场景声音分量，每个音频对象包括相关联的音频对象位置，并且包括将声音源分解到用户声音分量，该声音源包括最终混音中的回放音频信号以及相关联的呈现方法。在另一实施例中，环绕声音频输入的分解可以包括将自我中心的音频分解到场景声音分量，该自我中心的音频包括特定于各耳机用户的音频，并且包括将非自我中心的音频分解到用户声音分量，该非自我中心的音频包括特定于房间的音频。在另一实施例中，环绕声音频输入的分解可以包括将剧情音频分解到场景声音分量，该剧情音频包括在视频屏幕上可见的或被暗示存在于在视频屏幕上显示的场景上的音频，并且包括将非剧情音频分解到用户声音分量，该非剧情音频在视频屏幕上不可见或未被暗示存在于在视频屏幕上显示的场景上。在各种实施例中，用户声音分量包括移动的声音对象或升高的声音对象，该升高的声音对象具有听者位置上方的相关联的3d位置。
24.方法400可以包括将场景声音分量输出430到多个扩音器和将用户声音分量输出440到用户耳机。如果随后检测到耳机断开，则场景声音分量和用户声音分量可以均被输出到多个扩音器。用户耳机可以包括骨传导耳机。用户耳机可以包括立体声耳机，并且其中头部相关传递函数(hrtf)被用于创建来自用户耳机周围的位置的声音的感知。
25.图5是根据示例性实施例的沉浸式和双耳声音系统500的框图。系统500可以包括
提供输入音频信号的音频源510。系统500可以包括基于上述技术再现音频的一个或多个耳机550或扩音器60。系统500可以包括操作地耦合到音频源510的处理电路520。
26.处理电路520可以包括一个或多个处理器530和具有执行如本文所教导的处理电路520的功能的指令的存储器540。例如，处理电路520可以被配置为接收环绕声音频输入，将环绕声音频输入分解为场景声音分量和用户声音分量，将场景声音分量输出到多个扩音器，并将用户声音分量输出到用户耳机。一个或多个处理器530可以包括基带处理器。处理电路520可以包括执行如本文所教导的功能(例如但不限于与图1
‑
4相关联的功能和结构)的硬件和软件。
27.音频源可以包括多个音频信号(即，表示物理声音的信号)。这些音频信号由数字电子信号表示。这些音频信号可以是模拟的，然而本主题的典型实施例将在数字字节或字的时间序列的语境中操作，其中这些字节或字形成模拟信号或最终是物理声音的离散近似。离散的数字信号对应于周期性采样的音频波形的数字表示。对于均匀采样，波形应在足以对于关注的频率满足nyquist采样定理的采样率或更高的采样率下被采样。在典型实施例中，可以使用每秒约44100个采样(例如，44.1khz)的均匀采样率，但是也可以使用更高的采样率(例如，96khz、128khz)。根据标准的数字信号处理技术，量化方案和位分辨率应被选择以满足特定应用的要求。本主题的技术和装置通常将在数个信道中相互依赖地被应用。例如，它可以用于“环绕”音频系统(例如，具有多于两个的信道)的语境中。
28.如本文所使用的，“数字音频信号”或“音频信号”不只是描述数学抽象，而是表示包含在能够由机器或装置检测的物理介质中或由其携带的信息。这些术语包括记录的或传送的信号，并且应当被理解为包括通过任何形式的编码(包括脉冲编码调制(pcm)或其它编码)的传输。输出、输入或中间音频信号可以通过各种已知方法(包括mpeg、atrac、ac3或如在美国专利no.5,974,380、no.5,978,762和no.6,487,535中描述的dts,inc.的专有方法)中的任何一种被编码或压缩。可能需要对计算进行一些修改以适应特定的压缩或编码方法，这对于本领域技术人员来说是显而易见的。
29.在软件中，音频“编解码器”包括根据给定音频文件格式或流音频格式格式化数字音频数据的计算机程序。大多数编解码器实现为与一个或多个多媒体播放器(诸如quicktime player、xmms、winamp、windows media player、pro logic或其它编解码器)接口的库。在硬件中，音频编解码器指的是将模拟音频编码为数字信号并将数字解码回模拟信号的一个或多个设备。换句话说，它同时包含运行在公共时钟上的模数转换器(adc)和数模转换器(dac)。
30.可以在诸如dvd播放器、biu
‑
ray播放器、电视调谐器、cd播放器、手持播放器、互联网音频/视频设备、游戏控制台、移动电话或其它电子设备的消费者电子设备中实现音频编解码器。消费者电子设备包括中央处理单元(cpu)，该中央处理单元(cpu)可以代表一种或更多种常规类型的这种处理器，诸如ibm powerpc、intel pentium(x86)处理器或其它处理器。随机存取存储器(ram)临时存储由cpu执行的数据处理操作的结果，并且通常通过专用存储器信道与其互连。消费者电子设备还可以包括诸如硬盘驱动器的永久存储设备，该永久存储设备也在输入/输出(to)总线上与cpu通信。也可以连接其它类型的存储设备，诸如带驱动器、光盘驱动器或其它存储设备。图形卡也可以通过视频总线连接到cpu，这里，图形卡将代表显示数据的信号传输到显示监视器。诸如键盘或鼠标的外部外围数据输入设备可
以在usb端口上连接到音频再现系统。usb控制器为连接到usb端口的外部外设向和从cpu翻译数据和指令。诸如打印机、麦克风、扬声器或其它设备的附加设备可以连接到消费者电子设备。
31.消费者电子设备可以使用具有图形用户界面(gui)的操作系统，诸如来自华盛顿州雷蒙德的微软公司的windows、来自加利福尼亚州库珀蒂诺的苹果公司的mac os、诸如android的为移动操作系统设计的各种版本的移动gui或其它操作系统。消费者电子设备可以执行一个或多个计算机程序。通常，操作系统和计算机程序有形地体现在计算机可读介质中，这里，计算机可读介质包括包含硬盘驱动器的固定或可移除数据存储设备中的一个或多个。操作系统和计算机程序均可以从上述数据存储设备加载到ram中以供cpu执行。计算机程序可以包括当由cpu读取和执行时导致cpu执行步骤以执行本主题的步骤或特征的指令。
32.音频编解码器可以包括各种配置或架构。在不脱离本主题的范围的情况下，可以容易地替换任何这样的配置或架构。本领域的普通技术人员将认识到上述序列最常用于计算机可读介质中，但是存在可以可以在不脱离本主题的范围的情况下替换的其它现有序列。
33.音频编解码器的一个实施例的要素可以由硬件、固件、软件或其任何组合实现。当实现为硬件时，音频编解码器可在单个音频信号处理器上使用或分布在各种处理部件之间。当在软件中实现时，本主题的实施例的要素可以包括执行必要任务的代码段。软件优选地包括实施在本主题的一个实施例中描述的操作的实际代码，或者包括模仿或模拟操作的代码。程序或代码段可以存储在处理器或机器可访问介质中，或者由在传送介质上以载波(例如，由载波调制的信号)体现的计算机数据信号传送。“处理器可读或可访问介质”或“机器可读或可访问介质”可以包括可以存储、传送或传输信息的任何介质。
34.处理器可读介质的示例包括电子电路、半导体存储器设备、只读存储器(rom)、快擦写存储器、可擦除可编程rom(eprom)、软盘、压缩磁盘(cd)rom、光盘、硬盘、光纤介质、射频(rf)链路或其它介质。计算机数据信号可以包括可以在诸如电子网络信道、光纤、空气、电磁、rf链路或其它传送介质的传送介质上传播的任何信号。代码段可以经由诸如因特网、内联网或另一网络的计算机网络被下载。机器可访问介质可以体现在制造物品中。机器可访问介质可以包括当被机器访问时导致机器执行以下描述的操作的数据。这里的术语“数据”指的是出于机器可读目的而编码的任何类型的信息，该信息可以包括程序、代码、数据、文件或其它信息。
35.本主题的实施例可以由软件实现。软件可以包括相互耦合的几个模块。软件模块耦合到另一个模块以生成、传送、接收或处理变量、参数、论点(argument)、指针、结果、更新的变量、指针或其它输入或输出。软件模块还可以是用于与在平台上正在执行的操作系统进行交互的软件驱动器或接口。软件模块还可以是用于配置、设置、初始化、发送或接收去向或来自硬件设备的数据的硬件驱动器。
36.本主题的实施例可以描述为通常被描述为流程图、流程示图、结构图或框图的过程。尽管框图可以将操作描述为顺序过程，但是可以并行地或同时执行许多操作。此外，可以重新排列操作的顺序。过程可以在其操作完成时终止。过程可以对应于方法、程序、过程或其它步骤组。
37.尽管这里已经示出和描述了具体的实施例，但是本领域的普通技术人员将理解，可以用计算为实现相同目的的任何配置代替所示的具体实施例。各种实施例使用本文所述实施例的排列和/或组合。应当理解，上述描述意在说明性而非限制性，并且本文所使用的用语或术语是为了描述的目的。上述实施例和其它实施例的组合对于研究上述描述时的本领域技术人员将是显而易见的。已经详细描述了本公开，并且参考其示例性实施例，对于本领域技术人员来说显而易见的是，可以在不脱离实施例的范围的情况下对其提出各种改变和修改。因此，本公开旨在涵盖本公开的修改和变更例，只要它们在所附权利要求书及其等效物的范围内。本文引用或提及的各专利和出版物在此通过引用并入，其程度与单独通过全部引用并入或者这里全部阐述一样。这些专利或出版物与本文教导的任何冲突均由本文教导控制。
38.为了更好地说明本文公开的方法和装置，这里提供实施例的非限制性列表。
39.示例1是一种沉浸式声音系统，该沉浸式声音系统包括：一个或多个处理器；包括指令的存储设备，所述指令当由一个或多个处理器执行时将一个或多个处理器配置为：接收环绕声音频输入；将环绕声音频输入分解为场景声音分量和用户声音分量；将场景声音分量输出到多个扩音器；和将用户声音分量输出到用户耳机。
40.在示例2中，示例1的主题可选地包括进一步配置一个或多个处理器以检测耳机连接的指令，其中，环绕声音频输入的分解响应于耳机连接的检测进行。
41.在示例3中，示例1
‑
2中的任何一个或多个的主题可选地包括进一步配置一个或多个处理器以执行以下操作的指令：检测耳机断开；和响应于耳机断开的检测，将场景声音分量和用户声音分量输出到多个扩音器。
42.在示例4中，示例1
‑
3中的任何一个或多个的主题可选地包括进一步配置一个或多个处理器以执行以下操作的指令：确定与环绕声音频输入相关联的多个音频信道，多个音频信道中的每一个具有相关联的扩音器位置；接收扩音器配置信息，该扩音器配置信息指示多个扩音器的数量和多个扩音器中每个扩音器的位置；基于多个音频信道和扩音器配置信息之间的比较识别一个或多个不匹配的信道；和将一个或多个不匹配的信道输出到用户耳机。
43.在示例5中，示例1
‑
4中的任何一个或多个的主题可选地包括其中用户声音分量包括移动声音对象。
44.在示例6中，示例1
‑
5中的任何一个或多个的主题可选地包括其中用户声音分量包括提升的声音对象，该提升的声音对象具有听者位置上方的相关联位置。
45.在示例7中，示例1
‑
6中的任何一个或多个的主题可选地包括其中用户耳机包括骨传导耳机。
46.在示例8中，示例1
‑
7中的任何一个或多个的主题可选地包括其中用户耳机包括立体声耳机，并且其中头部相关传递函数(hrtf)被用于创建来自用户耳机周围的位置的声音的感知。
47.在示例9中，示例1
‑
8中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括进一步配置一个或多个处理器以执行以下操作的指令：将音频对象分解为场景声音分量，各音频对象包括相关联的音频对象位置；和将声音源分解为用户声音分量，该声音源包括最终混音中的回放音频信号以及相关联的呈现方法。
48.在示例10中，示例1
‑
9中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括进一步配置一个或多个处理器以执行以下操作的指令：将自我中心的音频分解为场景声音分量，该自我中心的音频包括特定于各耳机用户的音频；和将非自我中心的音频分解为用户声音分量，该非自我中心的音频包括特定于房间的音频。
49.在示例11中，示例1
‑
10中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括进一步配置一个或多个处理器以执行以下操作的指令：将剧情音频分解为场景声音分量，该剧情音频包括在视频屏幕上可见或被暗示存在于在视频屏幕上显示的场景上的音频；和将非剧情音频分解为用户声音分量，该非剧情音频在视频屏幕上不可见或未被暗示存在于在视频屏幕上显示的场景上。
50.示例12是一种沉浸式声音系统方法，该沉浸式声音系统方法包括：接收环绕声音频输入；将环绕声音频输入分解为场景声音分量和用户声音分量；将场景声音分量输出到多个扩音器；和将用户声音分量输出到用户耳机。
51.在示例13中，示例12的主题可选地包括检测耳机连接，其中，环绕声音频输入的分解响应于耳机连接的检测进行。
52.在示例14中，示例12
‑
13中的任何一个或多个的主题可选地包括检测耳机断开；以及响应于耳机断开的检测，将场景声音分量和用户声音分量输出到多个扩音器。
53.在示例15中，示例12
‑
14中的任何一个或多个的主题可选地包括确定与环绕声音频输入相关联的多个音频信道，多个音频信道中的每一个具有相关联的扩音器位置；接收扩音器配置信息，该扩音器配置信息指示多个扩音器的数量和多个扩音器中每个扩音器的位置；基于多个音频信道和扩音器配置信息之间的比较识别一个或多个不匹配的信道；和将一个或多个不匹配的信道输出到用户耳机。
54.在示例16中，示例12
‑
15中的任何一个或多个的主题可选地包括其中用户声音分量包括移动声音对象。
55.在示例17中，示例12
‑
16中的任何一个或多个的主题可选地包括其中用户声音分量包括提升的声音对象，该提升的声音对象具有听者位置上方的相关联位置。
56.在示例18中，示例12
‑
17中的任何一个或多个的主题可选地包括其中用户耳机包括骨传导耳机。
57.在示例19中，示例12
‑
18中的任何一个或多个的主题可选地包括其中用户耳机包括立体声耳机，并且其中头部相关传递函数(hrtf)被用于创建来自用户耳机周围的位置的声音的感知。
58.在示例20中，示例12
‑
19中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括：将音频对象分解为场景声音分量，各音频对象包括相关联的音频对象位置；和将声音源分解为用户声音分量，该声音源包括最终混音中的回放音频信号以及相关联的呈现方法。
59.在示例21中，示例12
‑
20中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括：将自我中心的音频分解为场景声音分量，该自我中心的音频包括特定于各耳机用户的音频；和将非自我中心的音频分解为用户声音分量，该非自我中心的音频包括特定于房间的音频。
60.在示例22中，示例12
‑
21中的任何一个或多个的主题可选地包括其中环绕声音频
输入的分解包括：将剧情音频分解为场景声音分量，该剧情音频包括在视频屏幕上可见或被暗示存在于在视频屏幕上显示的场景上的音频；和将非剧情音频分解为用户声音分量，该非剧情音频在视频屏幕上不可见或未被暗示存在于在视频屏幕上显示的场景上。
61.示例23是包括指令的一个或多个机器可读介质，所述指令当由计算系统执行时导致计算系统执行示例12
‑
22的方法中的任一种。
62.示例24是一种包括用于执行示例12
‑
22的方法中的任一种的部件的装置。
63.示例25是一种包括多条指令的机器可读存储介质，所述多条指令当由设备的处理器执行时导致设备执行以下操作：接收环绕声音频输入；将环绕声音频输入分解为场景声音分量和用户声音分量；将场景声音分量输出到多个扩音器；和将用户声音分量输出到用户耳机。
64.在示例26中，示例25的主题可选地包括进一步导致设备检测耳机连接的指令，其中环绕声音频输入的分解响应于耳机连接的检测进行。
65.在示例27中，示例25
‑
26中的任何一个或多个的主题可选地包括进一步导致设备执行以下操作的指令：检测耳机断开；和响应于耳机断开的检测，将场景声音分量和用户声音分量输出到多个扩音器。
66.在示例28中，示例25
‑
27中的任何一个或多个的主题可选地包括进一步导致设备执行以下操作的指令：确定与环绕声音频输入相关联的多个音频信道，多个音频信道中的每一个具有相关联的扩音器位置；接收扩音器配置信息，该扩音器配置信息指示多个扩音器的数量和多个扩音器中每个扩音器的位置；基于多个音频信道和扩音器配置信息之间的比较识别一个或多个不匹配的信道；和将一个或多个不匹配的信道输出到用户耳机。
67.在示例29中，示例25
‑
28中的任何一个或多个的主题可选地包括其中用户声音分量包括移动声音对象。
68.在示例30中，示例25
‑
29中的任何一个或多个的主题可选地包括其中用户声音分量包括提升的声音对象，该提升的声音对象具有听者位置上方的相关联的位置。
69.在示例31中，示例25
‑
30中的任何一个或多个的主题可选地包括其中用户耳机包括骨传导耳机。
70.在示例32中，示例25
‑
31中的任何一个或多个的主题可选地包括其中用户耳机包括立体声耳机，并且其中头部相关传递函数(hrtf)被用于创建来自用户耳机周围的位置的声音的感知。
71.在示例33中，示例25
‑
32中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括进一步导致设备执行以下操作的指令：将音频对象分解为场景声音分量，各音频对象包括相关联的音频对象位置；和将声音源分解为用户声音分量，该声音源包括最终混音中的回放音频信号以及相关联的呈现方法。
72.在示例34中，示例25
‑
33中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括进一步导致设备执行以下操作的指令：将自我中心的音频分解为场景声音分量，该自我中心的音频包括特定于各耳机用户的音频；和将非自我中心的音频分解为用户声音分量，该非自我中心的音频包括特定于房间的音频。
73.在示例35中，示例25
‑
34中的任何一个或多个的主题可选地包括其中环绕声音频输入的分解包括进一步导致设备执行以下操作的指令：将剧情音频分解为场景声音分量，
该剧情音频包括在视频屏幕上可见或被暗示存在于在视频屏幕上显示的场景上的音频；和将非剧情音频分解为用户声音分量，该非剧情音频在视频屏幕上不可见或未被暗示存在于在视频屏幕上显示的场景上。
74.示例36是一种沉浸式声音系统装置，该沉浸式声音系统装置包括：接收环绕声音频输入；将环绕声音频输入分解为场景声音分量和用户声音分量；将场景声音分量输出到多个扩音器；和将用户声音分量输出到用户耳机。
75.示例37是包括指令的一个或多个机器可读介质，所述指令在由机器执行时导致机器执行示例1
‑
36的操作中的任一个的操作。
76.示例38是一种包括用于执行示例1
‑
36的操作中的任一个的部件的装置。
77.示例39是一种执行示例1
‑
36中的任一个的操作的系统。
78.示例40是一种用于执行示例1
‑
36中的任一个的操作的方法。
79.以上的详细描述包括对形成详细描述的一部分的附图的引用。附图以图解的方式表示特定实施例。这些实施例在本文中也被称为“示例”。这些示例可以包括除了所示或描述的那些之外的要素。此外，主题可以包括任意地关于特定示例(或其一个或多个方面)或者关于本文所示或描述的其它示例(或其一个或多个方面)表示或描述的那些要素(或其一个或多个方面)的任何组合或排列。
80.在本文档中，与“至少一个”或“一个或多个”的任何其它实例或用法无关，术语“一个”或“一”与专利文件中常见的术语一样，用于包括一个或多于一个。在本文件中，除非另有说明，术语“或者”用于指代非排它性或，使得“a或b”包括“a而非b”、“b而非a”和“a和b”。在本文件中，术语“包括”和“其中”被用作各自术语“包含”和“这里”的简明汉语同义词。此外，在以下权利要求中，术语“包括”和“包含”是开放式的，即，包括除在这种术语之后列出的那些以外的要素的系统、设备、物品、成分、配方或过程仍被视为落在该权利要求的范围内。此外，在以下权利要求中，术语“第一”、“第二”和“第三”等仅用作标签，并且不打算对其对象施加数字要求。
81.上述描述旨在说明性而非限制性。例如，上述示例(或其一个或多个方面)可以彼此组合使用。可以诸如由本领域的普通技术人员在回顾上述描述时使用其它实施例。提供摘要，以允许读者能够快速确定技术公开的性质。在提交本文件时应当理解，本文件不用于解释或限制权利要求的范围或含义。在以上详细描述中，可以将各种特征组合在一起以简化本公开。这不应被解释为意图说明未要求权利的公开特征对于任何权利要求都是必不可少的。相反，主题可以位于特定公开的实施例的少于所有的特征中。因此，以下权利要求在此并入详细描述中，使得各权利要求作为单独的实施例独立存在，并且可以设想这些实施例可以以各种组合或排列方式彼此组合。应当参照所附权利要求书以及这些权利要求被赋予的等同物的全部范围确定范围。