用于创造音频系统中的邻近音响效果的设备和方法
【技术领域】
[0001] 本发明涉及一种邻近音响效果的创造，并且更具体地，涉及用于创造音频系统中 的邻近音响效果的设备和方法。
【背景技术】
[0002] 本申请涉及基于通道的环绕声音频再现和基于对象的场景渲染的技术现状。存在 用放置于所谓的最佳听音位置周围的多个扬声器再现音频的几个环绕声系统。最佳听音位 置是收听者（listener)为了获得最佳音频内容空间感而应该处于的位置。像那样工作的 最受欢迎的系统是常规的5. 1或7. 1系统，具有以圆形或球形方式放置于收听者周围的5 个或7个扬声器和低频音效通道。供给扬声器的音频信号是生产过程期间通过混频器创造 的（例如，电影原声带）或例如，在互动的游戏场景中实时生成的。
[0003] 现有技术环绕声系统几乎能够产生位于相对于位于系统的最佳听音位置的收听 者的几乎任何方向的声音。用现有的5. 1或7. 1环绕声不可能再现的是收听者在离他的头 很近的地方感知的听觉事件。像波场合成（WFS)或高阶高保真立体声（HOA)系统的几个其 他空间音频技术能够产生所谓的聚焦源（focused source)，该聚焦源能够使用大量的扬声 器以在相对于发言人的可引导位置集中声能来创造邻近效果。
[0004] 具体地，在现有技术中，几个算法用于将听觉事件放置在收听者周围。与常规的环 绕声系统相比，使用更大数量的扬声器的波场合成系统能够将听觉事件安置在外部甚至在 室内[1、2]。安置在室内的源通常被称为"聚焦源"，因为它们被计算为在位于扬声器阵列 内的指定位置集中声能。典型的WFS系统包括收听者周围的扬声器的阵列。然而，所需扬 声器的量通常非常大，导致使用具有小扬声器驱动器的昂贵的扬声器面板。
[0005] 与使用WFS聚焦源具有类似特点的另一种再现聚焦源的方法是高阶高保真立体 声（Higher Order Ambisonics，HOA) [3]〇
[0006] 在[4]中，描述了通过对于所有扬声器使用单独计算的延迟、利用多个扬声器将 声音引导至具体空间点的装置。也存在一种被称为"时间反转镜" [5]的方法，其通过增大 聚焦点与其邻近地区之间的声级的差值来优化聚焦源的效果。
[0007] 在现有技术中，WFS系统与常规的但更大更有力的扬声器结合以能够将WFS提供 的高分辨率的声源定位与典型的现场扩音（PA)系统能够提供的强大的声级结合。在[6] 中，描述了 WFS系统与附加大单个扬声器的组合，其中附加扬声器旨在声级方面支持WFS系 统。在这两个系统之间的延迟被设置为使得WFS扬声器的声音在附加扬声器的声音之前 到达收听者位置。这是为了利用优先效果为进行的；收听者将根据具有较高定位分辨率的 WFS系统的声音定位声源，同时附加扬声器将有助于在不明显影响声源的定位感知的情况 下增大感知的音量。
[0008] 虽然由于需要大量的独立扬声器所以在家使用完整的WFS系统是不可行的，但包 含多个扬声器的条形声箱（sound bar)是可行的并可用于回放聚焦源。
[0009] 然而，虽然WFS能够再现几种类型的音频对象（例如，点源和平面波[1])，在家通 常不需要为远方的源进行高分辨率的定位。
【发明内容】
[0010] 应当理解，设想将会提供用于创造邻近音响效果的改善构思。
[0011] 本发明的目的是提供一种用于创造邻近音响效果的改善构思。本发明的目的通过 根据权利要求1的设备、根据权利要求40的系统、根据权利要求41的编码模块、根据权利 要求42的系统、根据权利要求43的音响系统、根据权利要求44的方法和根据权利要求45 的计算机程序解决。
[0012] 提供一种用于驱动音响系统的扬声器的设备。音响系统包括基本系统的至少两个 扬声器和聚焦系统的至少三个扬声器。基本系统和聚焦系统的每个扬声器在环境中具有位 置。
[0013] 设备包括用于提供基本系统音频通道的基本通道供应器（basic channel provider)以驱动基本系统的扬声器。
[0014] 此外，设备包括用于提供聚焦系统音频通道以驱动聚焦系统的扬声器的聚焦源渲 染器。聚焦源渲染器被配置为基于聚焦系统的扬声器的位置并基于聚焦点的位置计算聚焦 系统的扬声器的多个延迟值。此外，聚焦源渲染器被配置为基于多个延迟值并基于聚焦音 频基带信号为聚焦系统中至少多个扬声器生成至少三个聚焦组音频通道以提供聚焦系统 音频通道。
[0015] 根据实施方式，聚焦源渲染器可被配置为基于多个延迟值并基于聚焦音频基带信 号为聚焦系统的至少多个扬声器生成至少三个聚焦组音频通道以便聚焦系统的扬声器生 产的音频输出在被聚焦系统音频通道驱动时使得环境中的收听者能够定位聚焦点的位置。 例如，事实上这可能意味着，例如，根据这样的实施方式，聚焦源渲染器被配置为基于多个 延迟值并基于聚焦音频基带信号为聚焦系统的至少多个扬声器生成至少三个聚焦组音频 通道以便聚焦系统的扬声器产生的音频输出在被聚焦系统音频通道驱动时允许将聚焦音 频基带信号定位在聚焦点的位置处。
[0016] 在实施方式中，基本系统可以是环绕系统，音响系统可以包括环绕系统的至少四 个扬声器作为基本系统的至少两个扬声器，并且基本通道供应器可以是环绕通道供应器用 于提供作为基本系统音频通道的环绕系统音频通道以驱动环绕系统的扬声器。
[0017] 根据实施方式，基本系统可以是立体音响系统，并且音响系统可以包括立体音响 系统的两个扬声器131、132作为基本系统的至少两个扬声器。
[0018] 在另一实施方式中，基本系统可以是包括两个立体声扬声器和附加亚低音扬声器 的2. 1立体音响系统，并且音响系统可以包括2. 1立体音响系统的两个立体声扬声器和附 加亚低音扬声器作为基本系统的至少两个扬声器。
[0019] 根据实施方式，聚焦源渲染器可被适配为生成至少三个聚焦组音频通道，以便聚 焦点的位置比基本系统的扬声器之一的任何其他位置更靠近环境中的最佳听音位置的位 置，并使得聚焦点的位置比聚焦系统的扬声器之一的任何其他位置更靠近最佳听音位置的 位置。
[0020] 在另一个实施方式中，基本通道供应器可被配置为基于聚焦音频基带信号 并基于用于混合基本系统与聚焦系统之间的聚焦音频基带信号的调移信息（panning information)生成基本系统音频通道，并且聚焦源渲染器可被配置为基于聚焦音频基带信 号并基于用于混合基本系统与聚焦系统之间的聚焦音频基带信号的调移信息生成至少三 个聚焦组音频通道。
[0021] 例如，根据实施方式，调移信息可以是调移因数。
[0022] 在实施方式中，聚焦音频基带信号可仅包括第一频率部分的音频效果信号，其中， 第一频率部分仅具有高于第一预定频率值的频率，并且其中至少一些第一频率部分具有高 于第二预定频率值的频率，其中，第二预定频率值高于或等于第一预定频率值。聚焦源渲染 器可被配置为基于聚焦音频基带信号生成至少三个聚焦组音频通道以使聚焦组音频通道 仅具有高于预定频率值的频率。基本通道供应器可被配置为基于二次效果信号生成基本系 统音频通道，其中，二次效果信号仅包括第二频率部分的音频效果信号，其中，第二频率部 分仅具有低于或等于第二预定频率值的频率，并且其中至少一些第二频率部分具有低于或 等于第一预定频率值的频率。
[0023] 根据实施方式，第二预定频率值可等于第一预定频率值。
[0024] 根据另一实施方式，聚焦源渲染器可被适配为调整聚焦系统音频通道的通道等级 以驱动聚焦系统的扬声器。
[0025] 在另一个实施方式中，聚焦系统可以包括一个或多个条形声箱，每个条形声箱包 括至少3个扬声器，装在单个外壳中。
[0026] 根据实施方式，聚焦系统可以是波场合成系统。
[0027] 在另一实施方式中，聚焦系统可采用高阶高保真立体声。
[0028] 根据另一实施方式，环绕系统可以是5. 1环绕系统。
[0029] 根据另一实施方式，环绕系统可以是具有5. 1输入和虚拟环绕功能的音响系统， 例如，通过仅通过收听者前方的单个条形声箱进行5. 1再现。
[0030] 在另一实施方式中，多个延迟值可以是多个时间延迟值。聚焦源渲染器可被适配 为通过将聚焦音频基带信号时间平移多个时间延迟中的一个时间延迟生成各个聚焦组音 频通道。
[0031] 根据另一实施方式，多个延迟值可以是多个相位值。聚焦源渲染器可适配为通过 将多个相位值中的一个相位值添加至聚焦音频基带信号的频域表征的每个相位值生成各 个聚焦组音频通道。
[0032] 在另一实施方式中，聚焦源渲染器可被配置为基于多个延迟值并基于聚焦音频基 带信号为聚焦系统的至少部分扬声器生成至少三个聚焦组音频通道，以使聚焦系统的扬声 器发出的声波在被聚焦系统音频通道驱动时形成在聚焦点中创造声波能量总和的局部最 大值的构造性的重叠。
[0033] 根据另一实施方式，设备可还包括解码器，该解码器被配置为解码数据流以获得 第一组的一个或多个音频输入通道、第二组的一个或多个音频输入通道以及包括与聚焦点 的位置有关的信息的元数据，其中，与焦点的位置有关的信息的相对于听者的位置的。解码 器可布置成将第一组的音频输入通道馈送到基本通道供应器。基本通道供应器可被配置为 基于第一组的音频输入通道将基本系统音频通道提供至扬声器。此外，解码器可被布置成 将第二组的音频输入通道及与聚焦点的位置有关的信息馈送到聚焦源渲染器，并且聚焦源 渲染器可被配置为基于聚焦音频基带信号生成至少三个聚焦组音频通道，其中，聚焦音频 基带信号取决于第二组的音频输入通道的一个或多个音频输入通道。
[0034] 应注意根据实施方式上述数据流可以是例如音频数据流。此外应当注意当参考下 文中的数据流时，根据一些实施方式的这种数据流可以是例如音频数据流。然而也应当注 意根据其它实施方式，上述数据流和下面提及的数据流可以是例如其他种类的数据流。
[0035] 在另一个实施方式中，设备可还包括解码器，该解码器被配置为解码数据流以获 得第一组的一个或多个音频输入通道、第二组的一个或多个音频输入通道以及包括与聚焦 点的位置有关的信息的元数据，其中，与焦点的位置有关的信息是相对于听者的位置的。第 一组音频输入通道的每个音频输入通道包括基本通道信息和第一聚焦信息，其中第二组音 频输入通道的每个音频输入通道包括第二聚焦信息。解码器可被配置为基于第一组的音频 输入通道的基本通道信息生成第三组的一个或多个修改的音频通道。此外，解码器可被布 置成将第三组的修改的音频通道馈送到基本通道供应器，并且其中，基本通道供应器被配 置为基于第三组的修改的音频通道将基本系统音频通道提供到扬声器。此外，解码器可被 配置为基于第一组的音频输入通道的第一聚焦信息并基于第二组的音频输入通道的第二 聚焦信息生成第四组的修改的音频通道。此外，解码器可被布置成将第四组的修改的音频 输入通道及与聚焦点的位置有关的信息馈送到聚焦源渲染器，并且其中聚焦源渲染器被配 置为基于聚焦音频基带信号生成至少三个聚焦组音频通道，其中，聚焦音频基带信号取决 于第四组的修改的音频通道的一个或多个修改的音频通道。
[0036] 根据另一实施方式，解码器可被配置为解码数据流以获得HDMI音频信号的六个 通道作为第一组的音频输入通道，并且其中解码器被配置为解码数据流以获得HDMI音频 信号的两个其他通道作为第二组的音频输入通道及相关联的元数据。
[0037] 在另一实施方式中，解码器可被配置为解码数据流以获得5. 1环绕信号的六个通 道作为第一组的音频输入通道。解码器可被布置为将5. 1环绕信号的六个通道馈送到基本 通道供应器。此外，基本通道供应器可被配置为提供5. 1环绕信号的六个通道以驱动基本 系统的扬声器。
[0038] 根据另一实施方式，解码器可被配置为解码数据流以获得多个编码的空间音频对 象的多个空间音频对象通道（对于空间音频对象通道的细节，参见[7])。此外，解码器可被 配置为解码至少一个空间音频对象通道的至少一个对象位置信息。此外，解码器可被布置 为将多个空间音频对象通道和至少一个对象位置信息馈送到聚焦源渲染器。此外，聚焦源 渲染器可被配置为基于聚焦系统的扬声器的位置并基于表示聚焦点的位置的信息的至少 一个对象位置信息之一计算聚焦系统的扬声器的多个延迟值。此外，聚焦源渲染器可被配 置为基于聚焦音频基带信号为聚焦系统的至少部分扬声器的生成至少三个聚焦组音频通 道，其中，聚焦音频基带信号取决于多个空间音频对象通道中的一个或多个。
[0039] 在另一实施方式中，聚焦源渲染器可被配置为计算多个延迟值作为第一组的延迟 值。聚焦点的位置可以是第一聚焦点的第一位置。此外，聚焦音频基带信号可以是第一聚 焦音频基带信号。聚焦源渲染器可另外被配置为生成至少三个聚焦组音频通道作为第一 组的聚焦组音频通道。此外，聚焦源渲染器进一步配置为基于聚焦系统的扬声器的位置并 基于第二聚焦点的第二位置计算聚焦系统的扬声器的第二组延迟值。此外，聚焦源渲染器 可进一步被配置为基于第二组延迟值的多个延迟值并基于第二聚焦点音频基带信号为聚 焦系统的至少部分扬声器生成第二组的至少三个聚焦组音频通道。此外，聚焦源渲染器可 进一步被配置为为聚焦系统的至少部分扬声器生成第三组的至少三个聚焦组音频通道，其 中，第三组聚焦组音频通道的每个聚焦组音频通道是第一组聚焦组音频通道中的一个聚焦 组音频通道与第二组聚焦组音频通道的一个聚焦组音频通道的组合。聚焦源渲染器可被适 配为提供第三组的聚焦组音频通道的聚焦组音频通道作为聚焦系统音频通道以驱动聚焦 系统的扬声器。
[0040] 此外，提供音响系统。音响系统包括包含至少两个扬声器的基本系统、包含至少三 个其它扬声器的聚焦系统、第一放大器模块、第二放大器模块、以及用于驱动根据上述实施 方式之一的扬声器的设备。第一放大器模块被布置为接收由设备的基本通道供应器提供的 基本系统音频通道用于驱动扬声器。第一放大器模块被配置为基于基本系统音频通道驱动 基本系统的扬声器。第二放大器模块被布置为接收由设备的聚焦源渲染器提供的聚焦系统 音频通道用于驱动扬声器。第二放大器模块被配置为基于聚焦系统音频通道驱动聚焦系统 的扬声器。
[0041] 此外，提供用于驱动音响系统的扬声器的方法。音响系统包括基本系统的至少两 个扬声器以及聚焦系统的至少三个扬声器，其中，基本系统和聚焦系统的每个扬声器在环 境中具有各自的位置。方法包括：
[0042] -提供基本系统音频通道以驱动基本系统的扬声器。
[0043] -提供聚焦系统音频通道以驱动聚焦系统的扬声器，
[0044]-基于聚焦系统的扬声器的位置并基于聚焦点的位置计算聚焦系统的扬声器的多 个延迟值。以及：
[0045] -基于多个延迟值并基于聚焦音频基带信号为聚焦系统中至少部分扬声器生成至 少三个聚焦组音频通道以提供聚焦系统音频通道。
[0046] 此外，提供在计算机上执时用于实施上述方法的计算机程序或信号处理器。
[0047] 实施方式描述用于与常规环绕声系统结合创造额外的音响效果的设备和方法。该 新系统包括能够一起用于创造富有特定邻近效果的音频内容的聚焦系统和常规环绕系统。 实施方式同样可以用于交互式情形，例如，当玩视频游戏时，通过常规环绕声系统的扬声器 播放有规律的音乐和其他远距离的音响效果时将实时计算的听觉事件放置在室内和玩家 的头部附近。
[0048] 实施方式表达了使声源接近收听者的头部的传统环绕系统的升级。传统环绕系统 能够再现声源从离收听者极远到扬声器的位置的距离。通过添加聚焦系统，距离再现的面 积将扩展到收听者的头部。此外，将会改善方向的感知。实施方式实现了将声源事件放置 成紧挨收听者的耳朵并且听上去就像是它们真正在那。这些效果假设收听者更深地沉浸到 了声音场景中。
[0049] 具有这些能力，实施方式涵盖了大范围的合理应用。它们可被用于视频游戏、电 影、电视秀或像英式足球比赛的体育事件的广播。
[0050] 在视频游戏的情况下，聚焦系统能够传达应当接近收听者的所有的这些声音。在 第一人称射击游戏中，这些声音要说来自队员的指令、枪战中的跳弹、爆炸或者像风和雨的 自然声音。在实施方式的该应用中，收听者获得更加强烈的团队感、更深度的沉浸和更高的 准确度。在游戏必须很快反应时后者是非常重要的。在常规设置中，赛跑游戏中的像路线 描述的口头语言或者多人游戏中的语音聊天是模糊的并且不好理解，因为他们并非位于接 近耳朵的