使用个人音频设备的增强音频的制作方法

本公开的一个方面涉及通过呈现与用户正在使用的音频内容相关的附加音频层来增强用户的音频体验。

背景技术：

1、可以在收听环境中向用户播放音频内容。例如，用户可以在电视机或其他播放设备上观看电影或其他视听作品。在一些情况下，媒体流设备可以向电视提供内容。

2、人类可以通过分析其两只耳朵处的声音来估计声音的位置。这被称为双耳听力，并且人类听觉系统可以使用声音在我们身体周围衍射并反射离开以及与我们的耳廓进行交互的方式来估计声音的方向。这些空间提示可以使用空间滤波器来人工生成。

3、可以利用空间滤波器渲染音频以用于播放，使得音频被感知为具有空间质量，例如源自收听者上方、下方或一侧的位置。当应用于音频内容时，空间滤波器可以将空间提示人工地赋予到音频中，该空间提示类似于由我们的人体工程学和耳廓自然引起的衍射、延迟和反射。

技术实现思路

1、当用户通过播放设备(例如，电视机、计算机、平板电脑、移动电话、投影仪等)观看视听内容时，附加的音频和/或视频内容可以被叠加在通过播放设备播放的内容上，以增强用户的体验。附加音频内容可以与播放内容同步。附加音频内容也可以基于播放内容来空间化和音量校正。因此，可将附加音频内容呈现给用户，使得它与播放设备所输出的内容融为一体。

2、头戴式设备诸如头戴式耳机、智能眼镜、平视显示器(hud)、虚拟现实(vr)显示器或其他头戴式音频处理设备可包括固定到用户耳朵上方或侧面的位置的扬声器。一些头戴式设备(诸如，具有耳外扬声器、开放式耳机或具备透传性的头戴式耳机的可佩戴设备)仍允许用户环境中的其他声音传播到用户的耳朵并被听到。此类头戴式设备可以播放附加音频内容，诸如对话、仿真描述(factoid)、音乐或其他音频内容，以增强用户对这些内容的体验。头戴式设备可以基于满足的一个或多个条件来输出该增强的音频。

3、例如，系统可以以自动化方式识别用户正在观看视频播放设备上的内容，识别用户正在观看的内容，和/或识别附加音频内容是否对该内容可用。系统可呈现允许用户选择加入音频增强的示能表示(例如，视觉或音频提示)或自动地向用户呈现音频增强。可以通过头戴式设备的扬声器在空间上向用户渲染音频增强，以使得增强的音频与用户的音频体验融为一体或增强用户的音频体验。

4、在一些方面，方法可由计算设备(例如，头戴式设备)来执行。可以获得由用户佩戴的头戴式设备的麦克风产生的麦克风信号。可以确定播放设备正在输出音频内容。音频可以涉及诸如电影、音乐视频、连续剧、图形用户界面之类的视觉作品，或者诸如歌曲、播客、故事或其他音频内容之类的纯音频作品。可以处理该麦克风信号以确定由播放设备播放的音频内容是否存在于麦克风信号中。如果是，则这可指示用户在同一房间中或者在相对于播放设备的某个阈值距离内，以便用户可能正在观看和/或收听该播放设备。可以获得与正在由该播放设备播放的内容相关的附加音频内容。可将一个或多个滤波器应用于表示附加音频内容的一个或多个音频通道，从而产生用于驱动头戴式设备的扬声器的空间化音频。

5、通过这种方式，播放设备可提供与通过该播放设备播放的内容相结合的附加音频。该附加音频可以以与现有播放音频融为一体的方式进行空间化(例如，通过将增强音频虚拟地定位在该播放设备的位置处)，或提供改进的音频体验(例如，通过提供环绕声)。

6、以上概述不包括本公开的所有方面的详尽列表。可预期的是，本公开包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在权利要求书部分特别指出的各个方面的所有合适的组合来实践的所有系统和方法。此类组合可具有未在上述
技术实现要素：
中具体阐述的特定优点。

技术特征：

1.一种方法，所述方法包括：

2.根据权利要求1所述的方法，其中将所述一个或多个滤波器应用于所述一个或多个音频通道向所述空间化音频提供虚拟位置，所述虚拟位置看起来源自所述播放设备的所述位置。

3.根据权利要求1-2中任一项所述的方法，其中所述一个或多个滤波器被应用于所述一个或多个音频通道，使得所述空间化音频具有多个虚拟位置，所述多个虚拟位置看起来具有围绕所述头戴式设备的佩戴者的多个固定位置。

4.根据权利要求1-3中任一项所述的方法，其中确定所述播放设备正在输出音频内容包括从所述播放设备或单独的媒体设备获得信息，所述信息识别由所述播放设备输出的所述音频内容。

5.根据权利要求1-4中任一项所述的方法，其中响应于确定所述麦克风信号包括所述音频内容，所述一个或多个滤波器被应用于所述一个或多个音频通道。

6.根据权利要求1-5中任一项所述的方法，还包括：响应于确定所述麦克风信号包括所述音频内容，基于惯性测量单元(imu)或由相机产生的一个或多个图像来确定所述头戴式设备朝向所述播放设备，其中响应于确定所述头戴式设备朝向所述播放设备，所述一个或多个滤波器被应用于所述一个或多个音频通道。

7.根据权利要求1-6中任一项所述的方法，其中响应于确定所述播放设备的一个或多个扬声器被阻挡、不正确地定位或者不正确地输出所述音频内容，所述一个或多个滤波器被应用于所述一个或多个音频通道。

8.根据权利要求1-7中任一项所述的方法，还包括基于所述内容从所述播放设备到所述头戴式设备的飞行时间，将所述空间化音频与存在于所述麦克风信号中的所述音频内容进行同步。

9.根据权利要求1-8中任一项所述的方法，还包括向所述头戴式设备的显示器呈现提示，以及接收指示通过所述扬声器播放所述空间化音频的输入。

10.根据权利要求1-9中任一项所述的方法，还包括基于由所述播放设备输出或由所述麦克风感测到的所述音频内容的响度来调整所述扬声器的输出的响度。

11.根据权利要求1-10中任一项所述的方法，还包括基于被跟踪的头部位置来调整所述一个或多个滤波器，以补偿用户的所述被跟踪的头部位置，所述被跟踪的头部位置基于所述头戴式设备的一个或多个传感器来确定。

12.根据权利要求1-11中任一项所述的方法，还包括：响应于确定所述麦克风信号包括由所述播放设备输出的所述音频内容，确定所述一个或多个音频通道是否可用于播放所述音频内容，其中响应于所述一个或多个音频通道存在，所述一个或多个滤波器被应用于所述一个或多个音频通道，从而产生用于驱动所述头戴式设备的扬声器的空间化音频。

13.根据权利要求1-12中任一项所述的方法，其中所述一个或多个音频通道包括与所述音频内容的语言不同的语言。

14.根据权利要求1-13中任一项所述的方法，其中所述音频内容由所述播放设备输出而不含对话，并且多个头戴式设备中的每个头戴式设备单独地选择相应的一个或多个音频通道以呈现给相应用户。

15.根据权利要求1-14中任一项所述的方法，其中使用所述头戴式设备的相机来确定由所述播放设备呈现的视觉内容与所述音频内容相关联，并且响应于所述视觉内容与所述音频内容相关联，所述一个或多个滤波器被应用于所述一个或多个音频通道，从而产生用于驱动所述头戴式设备的所述扬声器的所述空间化音频。

16.根据权利要求1-15中任一项所述的方法，其中如果所述播放设备处于静默或静音模式，则使用由所述播放设备呈现的视觉内容来确定是否将所述一个或多个滤波器应用于所述一个或多个音频通道，否则使用所述麦克风信号来确定是否向用户呈现所述空间音频。

17.根据权利要求1-16中任一项所述的方法，其中所述一个或多个音频通道包括对话，并且当用于驱动所述头戴式设备的所述扬声器时，所述对话的响度在所述空间音频中被增加。

18.根据权利要求1-17中任一项所述的方法，其中响应于所述播放设备未输出所述音频内容的不支持的通道，将所述不支持的通道包括在所述一个或多个音频通道中，使得在播放所述空间化音频时，所述不支持的音频通道在收听区域中具有一个或多个对应的虚拟位置。

19.一种头戴式设备，所述头戴式设备具有：

20.根据权利要求19所述的头戴式设备，其中所述一个或多个滤波器被应用于所述一个或多个音频通道，使得所述空间化音频具有虚拟位置，所述虚拟位置被所述头戴式设备的佩戴者感知为源自所述播放设备的位置。

21.根据权利要求19-20中任一项所述的头戴式设备，其中所述一个或多个滤波器被应用于所述一个或多个音频通道，使得所述空间化音频具有多个虚拟位置，所述多个虚拟位置被所述头戴式设备的佩戴者感知为具有围绕所述头戴式设备的佩戴者的多个固定位置。

22.根据权利要求19-21中任一项所述的头戴式设备，其中确定所述播放设备正在输出音频内容包括从所述播放设备或单独的媒体设备获得信息，所述信息识别由所述播放设备输出的所述音频内容。

23.根据权利要求19-22中任一项所述的头戴式设备，其中响应于确定所述一个或多个麦克风信号包括所述音频内容，所述一个或多个滤波器被应用于所述一个或多个音频通道。

24.根据权利要求19-23中任一项的所述头戴式设备，其中所述处理器被进一步配置为执行以下操作：响应于确定所述一个或多个麦克风信号包括所述音频内容，基于惯性测量单元(imu)或由相机产生的一个或多个图像来确定所述头戴式设备的佩戴者朝向所述播放设备，其中响应于确定所述头戴式设备的所述佩戴者朝向所述播放设备，所述一个或多个滤波器被应用于所述一个或多个音频通道。

25.根据权利要求19-24中任一项所述的头戴式设备，其中响应于确定所述播放设备的一个或多个扬声器被阻挡、不正确地定位或者不正确地输出所述音频内容，所述一个或多个滤波器被应用于所述一个或多个音频通道。

26.根据权利要求19-25中任一项所述的头戴式设备，其中所述处理器被进一步配置为执行以下操作：基于所述内容从所述播放设备到所述头戴式设备的飞行时间，将所述空间化音频与存在于所述一个或多个麦克风信号中的所述音频内容进行同步。

27.根据权利要求19-26中任一项所述的头戴式设备，其中所述处理器被进一步配置为执行以下操作：向所述头戴式设备的显示器呈现提示，以及从所述头戴式设备的用户接收指示通过所述扬声器播放所述空间化音频的输入。

28.根据权利要求19-27中任一项所述的头戴式设备，其中所述处理器被进一步配置为执行以下操作：基于由所述播放设备输出或由所述一个或多个麦克风感测到的所述音频内容的响度来调整所述扬声器的输出的响度。

29.根据权利要求19-28中任一项所述的头戴式设备，其中所述处理器被进一步配置为执行以下操作：基于被跟踪的头部位置来调整所述一个或多个滤波器，以补偿用户的所述被跟踪的头部位置，所述被跟踪的头部位置基于所述头戴式设备的一个或多个传感器来确定。

30.根据权利要求19-29中任一项所述的头戴式设备，其中所述处理器被进一步配置为执行以下操作：响应于确定所述一个或多个麦克风信号包括由所述播放设备输出的所述音频内容，确定所述一个或多个音频通道是否可用于播放所述音频内容，其中响应于所述一个或多个音频通道存在，所述一个或多个滤波器被应用于所述一个或多个音频通道，从而产生用于驱动所述头戴式设备的扬声器的空间化音频。

31.根据权利要求19-30中任一项所述的头戴式设备，其中所述一个或多个音频通道包括与所述音频内容的语言不同的语言。

32.根据权利要求19-31中任一项所述的头戴式设备，其中所述音频内容由所述播放设备输出而不含对话，并且多个头戴式设备中的每个头戴式设备单独地选择相应的一个或多个音频通道以呈现给相应用户。

33.根据权利要求19-32中任一项所述的头戴式设备，其中使用所述头戴式设备的相机来确定由所述播放设备呈现的视觉内容与所述音频内容相关联，并且响应于所述视觉内容与所述音频内容相关联，所述一个或多个滤波器被应用于所述一个或多个音频通道，从而产生用于驱动所述头戴式设备的所述扬声器的所述空间化音频。

34.根据权利要求19-33中任一项所述的头戴式设备，其中如果所述播放设备处于静默或静音模式，则使用由所述播放设备呈现的视觉内容来确定是否将所述一个或多个滤波器应用于所述一个或多个音频通道，否则使用所述麦克风信号来确定是否向用户呈现所述空间音频。

35.根据权利要求19-34中任一项所述的头戴式设备，其中所述一个或多个音频通道包括对话，并且当用于驱动所述头戴式设备的所述扬声器时，所述对话的响度在所述空间音频中被增加。

36.根据权利要求19-35中任一项所述的头戴式设备，其中响应于所述播放设备未输出所述音频内容的不支持的通道，将所述不支持的通道包括在所述一个或多个音频通道中，使得在播放所述空间化音频时，所述不支持的音频通道在收听区域中具有一个或多个对应的虚拟位置。

37.一种计算机可读介质，所述计算机可读介质具有指令，所述指令当由处理器执行时引起下述操作的执行：

38.根据权利要求37所述的计算机可读介质，其中所述一个或多个滤波器被应用于所述一个或多个音频通道，使得所述空间化音频具有虚拟位置，所述虚拟位置被所述头戴式设备的佩戴者感知为源自所述播放设备的位置。

39.根据权利要求37-38中任一项所述的计算机可读介质，其中所述一个或多个滤波器被应用于所述一个或多个音频通道，使得所述空间化音频具有多个虚拟位置，所述多个虚拟位置被所述头戴式设备的佩戴者感知为围绕所述头戴式设备的佩戴者具有多个固定位置。

40.根据权利要求37-39中任一项所述的计算机可读介质，其中确定所述播放设备正在输出音频内容包括从所述播放设备或单独的媒体设备获得信息，所述信息识别由所述播放设备输出的所述音频内容。

41.根据权利要求37-40中任一项所述的计算机可读介质，其中响应于确定所述麦克风信号包括所述音频内容，所述一个或多个滤波器被应用于所述一个或多个音频通道。

42.根据权利要求37-41中任一项所述的计算机可读介质，其中所述指令进一步引起所述处理器执行下述操作：响应于确定所述麦克风信号包括所述音频内容，基于惯性测量单元(imu)或由相机产生的一个或多个图像来确定所述头戴式设备的佩戴者朝向所述播放设备，其中响应于确定所述头戴式设备的所述佩戴者朝向所述播放设备，所述一个或多个滤波器被应用于所述一个或多个音频通道。

43.根据权利要求37-42中任一项所述的计算机可读介质，其中响应于确定所述播放设备的一个或多个扬声器被阻挡、不正确地定位或者不正确地输出所述音频内容，所述一个或多个滤波器被应用于所述一个或多个音频通道。

44.根据权利要求37-43中任一项所述的计算机可读介质，其中所述指令进一步引起所述处理器执行下述操作：基于所述内容从所述播放设备到所述头戴式设备的飞行时间，将所述空间化音频与存在于所述麦克风信号中的所述音频内容进行同步。

45.根据权利要求37-44中任一项所述的计算机可读介质，其中所述指令进一步引起所述处理器执行下述操作：向所述头戴式设备的显示器呈现提示，以及从所述头戴式设备的用户接收指示通过所述扬声器播放所述空间化音频的输入。

46.根据权利要求37-45中任一项所述的计算机可读介质，其中所述指令进一步引起所述处理器执行下述操作：基于由所述播放设备输出或由所述麦克风感测到的所述音频内容的响度来调整所述扬声器的输出的响度。

47.根据权利要求37-46中任一项所述的计算机可读介质，其中所述指令进一步引起所述处理器执行下述操作：基于被跟踪的头部位置来调整所述一个或多个滤波器，以补偿用户的所述被跟踪的头部位置，所述被跟踪的头部位置基于所述头戴式设备的一个或多个传感器来确定。

48.根据权利要求37-47中任一项所述的计算机可读介质，其中所述指令进一步引起所述处理器执行下述操作：响应于确定所述麦克风信号包括由所述播放设备输出的所述音频内容，确定所述一个或多个音频通道是否可用于播放所述音频内容，其中响应于所述一个或多个音频通道存在，所述一个或多个滤波器被应用于所述一个或多个音频通道，从而产生用于驱动所述头戴式设备的扬声器的空间化音频。

49.根据权利要求37-48中任一项所述的计算机可读介质，其中所述一个或多个音频通道包括与所述音频内容的语言不同的语言。

50.根据权利要求37-49中任一项所述的计算机可读介质，其中所述音频内容由所述播放设备输出而不含对话，并且多个头戴式设备中的每个头戴式设备单独地选择相应的一个或多个音频通道以呈现给相应用户。

51.根据权利要求37-50中任一项所述的计算机可读介质，其中使用所述头戴式设备的相机来确定由所述播放设备呈现的视觉内容与所述音频内容相关联，并且响应于所述视觉内容与所述音频内容相关联，所述一个或多个滤波器被应用于所述一个或多个音频通道，从而产生用于驱动所述头戴式设备的所述扬声器的所述空间化音频。

52.根据权利要求37-51中任一项所述的计算机可读介质，其中如果所述播放设备处于静默或静音模式，则使用由所述播放设备呈现的视觉内容来确定是否将所述一个或多个滤波器应用于所述一个或多个音频通道，否则使用所述麦克风信号来确定是否向用户呈现所述空间音频。

53.根据权利要求37-52中任一项所述的计算机可读介质，其中所述一个或多个音频通道包括对话，并且当用于驱动所述头戴式设备的所述扬声器时，所述对话的响度在所述空间音频中被增加。

54.根据权利要求37-53中任一项所述的计算机可读介质，其中响应于所述播放设备未输出所述音频内容的不支持的通道，将所述不支持的通道包括在所述一个或多个音频通道中，使得在播放所述空间化音频时，所述不支持的音频通道在收听区域中具有一个或多个对应的虚拟位置。

技术总结
一种头戴式设备可确定播放设备正在输出音频内容。该头戴式设备的麦克风可感测由播放设备输出的音频内容。可将空间滤波器应用于附加音频内容的一个或多个音频通道，从而对由该播放设备输出的音频内容进行补充。所得到的空间化音频可以通过扬声器播放给佩戴该头戴式设备的用户。

技术研发人员：C·T·尤班克,R·J·小古格列蒙
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/1/22