动态渲染设备元数据信息音频增强系统的制作方法

动态渲染设备元数据信息音频增强系统
1.相关申请的交叉引用
2.本技术要求于2019年11月15日提交的美国临时申请号62/936,327和于2020年6月15日提交的美国申请号16/902,044的权益，将其全文引入作为参考。
技术领域
3.本发明总体上涉及音频增强，并且更具体地，涉及设备元数据信息音频增强。


背景技术：

4.音频渲染系统(例如，扬声器或耳机)可以包括具有不同能力和限制的不同特性。例如，不同的移动设备(例如，智能电话)可以包括不同数量的扬声器。根据扬声器的质量或大小，扬声器可以包括不同的频率响应。扬声器可以位于设备上的不同位置或者可以被定向在不同的方向上。在其他示例中，扬声器可以具有受其制造的片上系统(soc)限制的能力。取决于音频渲染系统的属性，用户可以不同地体验音频内容，包括以无意的或不期望的方式体验音频内容。因此，期望能够调整音频内容以补偿针对音频渲染系统中的差异。


技术实现要素：

5.实施例涉及使用设备元数据的音频增强。在此描述的音频增强系统可以通过应用音频增强来渲染增强的音频信号，其中音频增强专用于被配置为输出音频信号的设备或音频渲染系统。通过查询设备的操作系统(os)以确定设备特定的增强，音频增强系统能够提供增强的音频信号的设备特定渲染。在一些实施例中，音频增强系统位于设备上。在其它实施例中，音频增强系统位于经由网络连接到设备(例如，客户端设备)的服务器处。
6.在一些实施例中，音频增强系统通过查询设备的os来确定与该设备相关联的音频渲染系统的渲染系统信息。例如，音频增强系统查询移动设备(例如，移动电话)的os以确定移动设备的制造商和当前取向。音频增强系统可以基于渲染系统信息来确定针对音频信号(例如，在增强之前由与设备相关联的音频渲染系统输出的信号)的音频增强。例如，音频增强系统确定涉及音频信号的子带处理的音频增强，子带处理的特定属性被映射到移动设备的特定制造商和当前取向。音频增强系统可以将音频增强应用于音频信号以生成增强的音频信号。例如，音频增强系统将子带处理应用于移动设备被配置以在增强之前输出的音频信号。音频增强系统可以向音频渲染系统提供增强的音频信号。例如，如果音频增强系统位于移动设备上，则可以通过移动设备的总线或其它通信道将增强信号传输到音频渲染系统。在其他示例中，如果音频增强系统位于远离移动设备的服务器上，则音频增强系统通过无线网络(例如，蜂窝通信网络、因特网等)将增强信号传输到移动设备，以通过与移动设备相关联的音频渲染系统(例如，与移动设备集成的扬声器，或者通信地耦合到移动设备的一个或多个外围无线或有线扬声器)进行回放。
7.一些实施例包括一种设备。设备包括被配置为增强音频信号的电路装置和音频渲染系统。具体地，电路装置被配置为确定与设备相关联的音频渲染系统的渲染系统信息，基
于渲染系统信息确定针对音频信号的音频增强，将音频增强应用于音频信号以生成增强的音频信号，以及将增强的音频信号提供给音频渲染系统。
8.一些实施例包括存储指令的非暂时性计算机可读介质，指令在由一个或多个处理器执行时将一个或多个处理器配置为通过查询设备的操作系统来确定与设备相关联的音频渲染系统的渲染系统信息，基于渲染系统信息来确定针对音频信号的音频增强，将音频增强应用于音频信号以生成增强的音频信号，以及将增强的音频信号提供给音频渲染系统。
附图说明
9.所公开的实施例具有其它优点和特征，这些优点和特征将从详细描述、所附权利要求书和附图(或图)中变得更加显而易见。附图简述如下。
10.图1是示出根据至少一个实施例的音频增强系统在其中操作的通信环境的网络图。
11.图2是根据至少一个实施例的图1的音频增强系统的框图。
12.图3是根据至少一个实施例的用于提供增强的音频信号的过程的流程图。
13.图4是根据至少一个实施例的用于在通过设备的内置音频渲染系统提供增强的音频信号时确定渲染系统信息的过程的流程图。
14.图5是根据至少一个实施例的用于在通过音频渲染系统提供增强的音频信号时确定渲染系统信息的过程的流程图，音频渲染系统通过无线连接通信地耦合到设备。
15.图6是根据至少一个实施例的用于在通过设备提供增强的音频信号时确定渲染系统信息的过程的流程图，设备通过有线连接通信地耦合到音频渲染系统。
16.图7是根据至少一个实施例的计算机的框图。
具体实施方式
17.附图和以下描述仅通过示例的方式涉及优选实施例。应当注意，从以下讨论中，本文公开的结构和方法的备选的实施例将容易地被认为是可行的替换，其可以在不脱离所要求保护的原理的情况下被采用。
18.现在将详细参考几个实施例，其示例在附图中被示出。应当注意，在任何可行的地方，在附图中可以使用相似或类似的附图标记，并且可以指示相似或类似的功能。附图仅用于说明的目的描绘了所公开的系统(或方法)的实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替代实施例。
19.示例音频增强系统架构
20.图1是示出其中音频增强系统150操作的通信环境100的网络图。通信环境100包括网络110、设备120、设备130、设备140和设备141以及音频增强系统150。在备选配置中，通信环境100中可以包括不同的和/或附加的组件。例如，虽然未描绘，但是音频增强系统150可以通过网络110访问远程数据库，以检索关于任何设备120、设备130或设备140的音频渲染数据。在一些实施例中，用于检索音频渲染数据的数据库可以是音频增强系统150的一部分(例如，如图2所示)。
21.网络110与至少一个设备(例如，设备120、设备130和设备140)和音频增强系统150通信地耦合。网络110可以是一个或多个网络，包括因特网、电缆网络、移动电话网络、光纤网络或任何合适类型的通信网络。
22.尽管在图1中被描绘为与设备120、设备130和140分离(例如，位于耦合到设备的远程服务器上)，但音频增强系统150可以被并入到设备120、设备130或设备140，或能够渲染音频的任何合适的设备中。例如，设备120可以执行具有本地音频增强系统151的应用，本地音频增强系统151处理和增强由本文描述的音频增强系统150执行的音频。音频增强系统150的一些组件或所有组件诸如软件模块(例如，操作系统查询模块200)和数据库(例如，数据库210)可以被并入设备中。
23.设备120、设备130和设备140分别是移动电话、无线扬声器和智能电视。设备可以包括移动电话、无线扬声器诸如蓝牙扬声器(蓝牙是蓝牙技术联盟的商标)、智能手表、可穿戴设备、虚拟现实或增强现实设备、智能眼镜、有线或无线头戴式耳机、有线或无线扬声器、智能电视(tv)、膝上型计算机、平板计算机、个人计算机、视频游戏控制台或包括用于渲染音频内容的音频渲染系统的任何合适的电子设备。
24.设备120、设备130和设备140中的每个设备可以与音频渲染系统相关联。音频渲染系统可以位于设备中或者外围地连接到设备。例如，移动电话具有包括扬声器的内置音频渲染系统。在一些实施例中，音频渲染系统可以是另一个设备的外围设备。例如，平板计算机可以与包括蓝牙扬声器的音频渲染系统通信，诸如通过使用蓝牙高级音频分发配置文件(a2dp)标准来将音频信号传送到蓝牙扬声器。设备可以耦合到没有外部网络路由装备的单独的音频渲染系统，以便于它们的连接。例如，设备120(移动电话)可以使用其内置蓝牙通信系统来与设备130(无线扬声器)通信，而不需要包括在网络110中的网络路由装备，诸如wi－fi路由器(wi－fi是wi－fi联盟的商标)。在该示例中，设备130被用作与设备120相关联的音频渲染系统，并且设备120的本地音频渲染系统是不活动的。在其他示例中，设备140(智能tv平台)可以支持至设备141的连接(例如，通过模拟音频插孔、有线usb连接或蓝牙支持有线或无线头戴式耳机)。在该示例中，设备141被用作与设备140相关联的音频渲染系统，并且设备140的本地音频渲染系统是非活动的。
25.在一些实施例中，与设备相关联的音频渲染系统由渲染系统信息表征。渲染系统信息可以包括指示音频渲染系统的声学属性的各种类型的数据，诸如包含音频渲染系统的设备的唯一设备标识符、包含音频渲染系统的设备的型号标识符或产品标识符、设备或音频渲染系统相对于用户的位置或取向、包含音频渲染系统的设备的设备类别、传输到音频渲染系统的音频信号的通信路径、由设备使用的音频编解码器、或其任何合适的组合。
26.唯一设备标识符是标识特定的设备的标识符。唯一设备标识符可以包括设备序列号、国际移动设备标识(imei)号或蓝牙地址(例如，用于蓝牙扬声器设备)。模型标识符或产品标识符限定特定的产品。模型标识符或产品标识符可以是库存单位(sku)号、制造商id(mid)或产品或型号名称。设备或音频渲染系统相对于用户的位置或取向限定了用户如何定位设备(例如，具有集成扬声器)或音频渲染系统。例如，设备(例如，智能电话或平板电脑)可以以肖像或风景模式操作，这取决于用户如何握持该设备，并且可以改变哪个扬声器作为左扬声器操作以及哪个扬声器作为右扬声器操作。在其他示例中，在呼叫期间移动电话的取向可以指示哪个(些)扬声器正在被用于渲染音频内容。音频渲染系统的设备类别限
定了设备的种类，诸如移动电话、平板电脑、个人计算机、汽车、扬声器、耳机、可穿戴式、视听(a/v)接收器、tv、声频干扰条、或能够输出音频的设备的任何合适的类别。音频信号的通信路径限定了如何将音频内容传输到音频渲染系统。通信路径可以包括与设备集成的扬声器或外围设备的扬声器。通信路径可以包括通过移动电话或平板电脑上的内置扬声器的路由、通过蓝牙a2dp的无线通信(例如，无线流式传输)、通过诸如镜像屏幕之间的wi－fi使能显示器的wi－fi的无线通信、通过诸如连接到移动电话的有线耳机的模拟电缆连接的通信、通过高清晰度多媒体接口(hdmi)(hdmi是hdmi许可管理员公司的商标)的通信、或通过连接到移动电话的其他电缆连接类型的通信。音频编解码器限定由设备使用的、对音频内容进行编码或解码的程序，并且信息可以指示制造商或关于设备的其他信息。
27.音频增强系统150可以从设备120、设备130和设备140接收关于音频渲染系统的渲染系统信息。在一些实施例中，音频增强系统150使用所接收的渲染系统信息来确定针对音频信号的音频增强，将音频增强应用于音频信号以生成增强的音频信号，并将增强的音频信号提供给与设备120、设备130或设备140相关联的音频渲染系统。音频增强系统150可以包括被配置为执行软件模块的处理电路装置，软件模块执行本文讨论的各种操作。在一些实施例中，音频增强系统150维护至少一个数据库，用于确定专用于音频渲染系统的音频增强(例如，将渲染系统信息映射到限定的音频增强的数据库)。在一些实施例中，用于确定音频增强的数据库可以是可通过网络(例如，网络110)访问并且不由音频增强系统150本地存储的在线数据库。在图2的描述中进一步描述了音频增强系统150。
28.音频增强系统
29.图2是图1的音频增强系统150的框图。音频增强系统150包括多个软件模块：操作系统查询模块200、音频增强器220和增强信号通信器230。音频增强系统150进一步包括存储渲染系统信息与音频增强配置之间的关联的音频增强数据库210。
30.操作系统查询模块200被配置为通过查询设备的os来确定与设备相关联的音频渲染系统的渲染系统信息。设备的操作系统操作设备和与设备相关联的音频渲染系统，并且因此操作系统可以知晓本文所论述的一种或多种类型的渲染系统信息。操作系统查询模块200查询设备的os，os又检索渲染系统信息并且将渲染系统信息提供给操作系统查询模块200。操作系统查询模块200可以将渲染系统信息输出到音频增强器220。在一些实施例中，操作系统查询模块200可以包括用于查询不同类型的渲染系统信息的软件子模块。在一个示例中，操作系统查询模块200向智能tv平台的os查询用于智能tv平台经由hdmi通信地耦合到的针对tv监视器的扩展显示标识数据(edid)。如本文所提到的，“智能tv平台”是指被配置为当通信地耦合到标准tv设置的组件时便于媒体(例如，机顶盒、数字媒体播放器或流送盒)的存储、回放或观看的微控制台。在其他示例中，操作系统查询模块200使用android os的蓝牙类别设备(bluetoothclassdevice)类别(android是google llc的商标)应用编程接口(api)向移动电话的os查询针对通信地耦合到移动电话的蓝牙扬声器的设备类别信息。
31.例如，操作系统查询模块200查询设备的os以确定设备的唯一设备标识符或音频渲染系统的任何合适的唯一标识符。例如，操作系统查询模块200查询移动电话的os以确定移动电话的唯一15位imei号码。在其他示例中，操作系统查询模块200查询与蓝牙扬声器通信地耦合的移动电话的os，以确定扬声器的蓝牙扬声器地址。在其他示例中，操作系统查询
模块200查询与车辆的音频渲染系统通信地耦合的移动电话的os，以确定用于车辆的扬声器的唯一设备标识符。
32.操作系统查询模块200查询设备的os以确定设备中的音频信号的通信路径。例如，操作系统查询模块200查询移动电话的os，以确定音频正通过移动电话上的内置扬声器被路由出去，而不是通过经由作为备选通信路径的耳机插孔连接的耳机被路由出去。在其他示例中，操作系统查询模块200查询与一对蓝牙扬声器通信地耦合的移动电话的os，以确定音频通过蓝牙a2dp被传送到蓝牙扬声器。作为一个附加示例，操作系统查询模块200查询与车辆的音频系统通信地耦合的移动电话的os，以确定音频通过移动电话和车辆的音频系统之间的连接(例如，通用串行总线(usb)有线连接或蓝牙无线连接)被通信。
33.操作系统查询模块200查询设备的os以确定设备的用例信息。如本文所提到的，“用例信息”是关于活动通信路径的元数据，元数据指示与音频信号相关联的应用。例如，用例信息可以指示特定通信路径上的音频信号是用于电话呼叫、音乐回放、视频回放、游戏或由设备与来自设备的音频输出执行的任何其它合适的应用。附加地，用例信息可以指示音频信号用于的应用的音频能力(例如，2ch或5.1环绕声)。
34.操作系统查询模块200查询设备的os以确定模型标识符或产品标识符，诸如设备的sku。例如，操作系统查询模块200查询移动电话的os以确定电话的sku号是6323532。在一些实施例中，操作系统查询模块200附加地或备选地查询设备用于除sku号之外的模型标识符或产品标识符，诸如mid或产品名称。例如，操作系统查询模块200查询与一对蓝牙扬声器通信地耦合的移动电话的os，以确定蓝牙扬声器的产品名称。作为一个附加示例，操作系统查询模块200查询与车辆的音频系统通信地耦合的移动电话的os，以确定车辆的音频设备的mid。
35.操作系统查询模块200查询设备的os以标识设备或音频渲染系统的位置或取向(例如，当与设备分离时)。例如，操作系统查询模块200查询移动电话的os以确定电话在横向取向(例如，设备沿其长度而不是其宽度放置)或纵向取向上以90度被取向。在一些实施例中，设备可以进一步包括传感器(例如，相机)，其可以被用于确定相对于设备的定位的用户的位置或设备的取向。
36.操作系统查询模块200查询设备的os以确定设备所属的类别(例如，移动电话、平板电脑、个人计算机、汽车等)。例如，操作系统查询模块200查询移动电话的os以确定电话属于移动电话类别。在其他示例中，操作系统查询模块200查询与蓝牙设备通信地耦合的移动电话的os，以确定设备属于扬声器设备类别(例如，扬声器，而不是耳机、汽车等)。作为一个附加示例，操作系统查询模块200查询与车辆的音频渲染系统通信地耦合的移动电话的os，以确定音频渲染系统属于汽车设备类别。
37.操作系统查询模块200查询设备的os以确定设备所使用的音频编解码器。音频编解码器可以指示设备的制造商或以其它方式识别设备。例如，操作系统查询模块200查询移动电话的os以确定电话的制造商是第一制造商，因为所支持的编解码器包括特定的专有音频编解码器，诸如qualcomm aptx编解码器。在其他示例中，操作系统查询模块200查询与一对蓝牙扬声器通信地耦合的移动电话的os，以确定扬声器由第二制造商制造，因为所支持的编解码器包括诸如sony ldac编解码器的特定的专有音频编解码器。作为一个附加示例，操作系统查询模块200查询与车辆的音频渲染系统通信地耦合的移动电话的os，以确定音
频渲染系统由第三制造商制造，因为所支持的编解码器是特定的专有音频编解码器和aac编解码器的两个版本。
38.音频增强数据库210存储音频渲染系统信息和音频增强之间的关联。例如，音频增强数据库210包含唯一设备标识符的列表到各个音频增强或优化的映射。如本文所提到的，音频增强或优化包括改进音频渲染系统的功能的任何修改。例如，音频增强数据库210包含移动电话的imei号和/或蓝牙扬声器地址到相应的预定音频增强的映射。作为一个附加示例，音频增强数据库210包含用于车辆的音频渲染系统的序列号制造商配对到诸如噪声消除(例如，用于由引擎生成的恒定嗡嗡声噪声)的预定音频增强的映射。作为一个附加示例，音频增强器220可以基于音频渲染系统的唯一设备标识符来确定设备类型或制造商名称，并且使用设备类型或制造商名称来使用序列号－制造商配对从数据库(例如，音频增强数据库210)中检索所映射的音频增强。
39.通过其映射，音频增强系统150可以跨多个设备传播用户指定的音频增强偏好。例如，音频增强系统150可以将用户指定的增强记录在特定的移动电话上，并且在用户改变了蜂窝电话载体或获得了新的电话之后通过这些音频增强进行传送。在另一个例子中，用户可以为同一型号的两个不同的蓝牙耳机定制音频增强，音频增强系统150使每个耳机能够保持其自己定制的映射。
40.音频增强数据库210包括通信路径列表到各个音频增强的映射。音频增强可以包括音频信号的空间特性的增强，诸如子带空间处理，串扰处理(例如，串扰消除或串扰模拟)、针对由串扰处理引起的伪像的串扰补偿，用于调整左扬声器和右扬声器之间的不对称性的b链处理。音频增强可以包括其他形式的音频信号的增强，诸如均衡、单频带和多频带动态处理(即压缩、扩展等)、心理声学低音增强、以及其他形式的线性和非线性音频信号处理技术。子带空间处理可以包括对音频信号的侧子带分量和中间子带分量进行滤波。用于每个中间子带分量和侧子带分量的滤波器的属性(例如，应用增益、时间延迟、频率响应等)可以基于音频渲染系统信息而变化。串扰消除可以被用于包括扬声器的音频渲染系统以消除串扰的影响。串扰模拟可以被用于包括耳机的音频渲染系统，以增加串扰效应来模拟针对扬声器收听体验。提供串扰处理的音频增强可以包括基于音频渲染系统信息应用于左声道或右声道的不同增益、时间延迟和频率响应。串扰补偿补偿了由串扰处理引起的频谱缺陷，并且因此滤波器(例如，应用于左声道、右声道、中声道或侧声道)的频率响应基于渲染系统信息中的差异和基于渲染系统信息应用的串扰处理而变化。b链处理通过将滤波器、时间延迟或增益中的至少一项应用于提供给扬声器的一个或多个声道来调整左扬声器和右扬声器之间的不对称性(例如，在频率响应、到收听者的距离、输出取向等方面)。b链处理中使用的滤波器、时间延迟或增益可以基于不同的音频渲染系统信息而变化。其它类型的音频增强可以包括限制或压缩、音频全息术等。此外，基于渲染系统信息，多种类型的音频增强的组合可以被使用。所使用的音频增强的类型和音频增强的属性可以基于音频渲染系统信息而变化。
41.音频增强数据库210包含通过移动电话上的内置扬声器，通过蓝牙a2dp和/或通过电缆连接(例如，usb电缆)通信的音频到相应的预定音频增强的映射。
42.音频增强数据库210包含设备模型或产品标识符(例如sku号)的列表到各个音频增强的映射。例如，音频增强数据库210包含移动电话制造商的、用于移动电话型号的制造
标识符到预定音频增强的映射。在其他示例中，音频增强数据库210包含一对蓝牙扬声器的产品名称到预定音频增强的映射。作为一个附加示例，音频增强数据库210包含车辆音频设备的mid到预定音频增强的映射。
43.音频增强数据库210包含设备取向或位置的列表到相应音频增强的映射。例如，音频增强数据库210包含0度取向到预定音频增强的映射。
44.音频增强数据库210包含类别的列表的映射，其中设备可以被分类为映射的音频增强。例如，音频增强数据库210包含移动电话类别、移动平板类别、扬声器类别、耳机类别、tv类别、膝上型pc类别和/或汽车类别到相应预定音频增强的映射。
45.音频增强数据库210包含音频编解码器的列表到相应音频增强的映射。例如，音频增强数据库210包含所支持的专有音频编解码器和sbc编解码器到第一制造商的映射。在其他示例中，音频增强数据库210包含所支持的aac和sbc编解码器到第二制造商的映射。作为一个附加示例，音频增强数据库210包含所支持的专有音频编解码器和aac编解码器到第三制造商的映射。在其他示例中，设备所使用的音频编解码器可以被用于确定特定设备、设备类型、制造商或一些其它音频渲染系统信息，其然后被用于查询音频增强数据库210以确定音频增强。
46.音频增强器220基于每个设备的音频渲染系统(例如，内置扬声器或外围扬声器)自适应地应用设备特定的音频增强。在一些实施例中，音频增强器220接收由操作系统查询模块200确定的渲染系统信息，并且通过查询音频增强数据库210来确定音频增强。音频增强器220可以进一步被配置为使用从os接收的音频渲染系统信息来确定其他类型的音频渲染系统信息，并且使用所确定的音频渲染系统信息来查询音频增强数据库210。例如，音频增强器220接收“移动电话”的设备类别和“风景”中90度的取向，并且从音频增强数据库210中映射的音频增强确定音频增强。在一些实施例中，音频增强器220接收从操作系统查询模块200确定的映射的音频增强设置。例如，音频增强器220接收用于“移动电话”类别和“风景”取向的音频增强配置。在一些实施例中，所应用的音频增强组合多种渲染系统信息的类型以确定音频增强。例如，针对具有以90度定向的非对称定位的扬声器的移动电话的音频增强不同于针对具有以90度定向的对称定位的扬声器的移动电话的音频增强。在一些实施例中，音频增强器220从设备接收未增强的输出信号(例如，设备将通过其音频渲染系统输出而没有音频增强的信号)，并且将设备特定的音频增强应用于所接收的信号。例如，音频增强器220从设备120接收音频信号，从而代替输出未增强的输出信号，设备130在设备120上输出由音频增强系统151传输的增强的音频信号。音频增强器220包括子模块诸如增强配置模块221和数字信号处理器222。
47.增强配置模块221基于从操作系统查询模块200接收的渲染系统信息来确定设备特定的音频增强。在一些实施例中，增强配置模块221确定通用映射和与该通用映射相关联的定制映射两者。通用映射可以是通用设备类别或sku映射，其中的每个映射可以基于其它数据(例如，设备取向)指定附加的定制映射。附加的定制可以作为与相应映射(例如，通用映射)相关联的子映射被存储在音频增强数据库210内。附加地或备选地，附加的定制可以是过程导出的(例如，基于对所查询的音频渲染系统信息的if－then分析)。例如，操作系统查询模块200查询无线地耦合到蓝牙扬声器的移动电话以检索扬声器的sku。音频增强器220然后可以针对所检索的sku信息确定适当的映射。操作系统查询模块200可以进一步向
移动电话查询关于移动电话上当前地活动通信路径的元数据属性以用于用例信息，并且音频增强器220可以进一步基于所检索的用例信息来确定定制的映射。
48.在一些实施例中，增强配置模块221确定多个映射的音频增强，并且确定考虑到标识信息的更大分辨率的组合的音频增强(与仅可从一个映射的音频增强获得的分辨率相比)。例如，增强配置模块221确定用于一对蓝牙扬声器的唯一设备标识符的第一音频增强，其对应于用于特定于该扬声器的模型的串扰消除的音频增强，并且确定适合于当前用例信息(例如，指示由游戏生成的音频信号的元数据)的第二音频增强。响应于确定音频增强的两种类型，增强配置模块221确定包括第一音频增强和第二音频增强的组合的音频增强。组合的音频增强考虑了包括多个渲染系统信息数据点(例如，说话者模型和用例信息两者)的标识信息的分辨率。增强配置模块211可以确定应用多个音频增强的顺序。在一些实施例中，音频增强可以并行、串行或其适当组合来组合。例如，针对被确定为经由2ch声音系统输出的2ch音频信号，增强配置模块221可以首先应用处理以从原始2ch音频信号中提取第三声道，该第三声道是从立体声信号的中间(mid)(即，非空间)分量的带通版本创建的，然后将串扰消除和心理声学低音增强串行地应用于原始立体声信号，同时并行地将均衡和压缩应用于第三声道(例如，以实现改进的对话/语音可懂度)，并且最终将增强的第三声道混合回增强的原始立体声信号。
49.数字信号处理器222将由增强配置模块221确定的音频增强应用于音频信号。取决于可用性、标识信息的分辨率，和/或音频渲染用例，数字信号处理器222可以将各种不同的过程方式应用于音频信号的音频优化。
50.增强信号通信器230接收由音频增强器220输出的增强音频信号，并将其传输到被配置为输出音频信号的(多个)设备。例如，增强信号通信器230从音频增强器220接收增强信号，该增强信号基于操作系统查询模块200确定该设备是具有包括内置扬声器的通信路径的移动电话而被增强。增强信号通信器230然后可以将增强信号传输到移动电话以从内置扬声器输出。在其他示例中，增强信号通信器230从音频增强器220接收增强信号，该增强信号基于操作系统查询模块200确定该设备是通信地耦合到蓝牙扬声器的音频渲染系统的移动电话而被增强。增强信号通信器230然后可以将增强信号传输到移动电话以进一步传输到扬声器。作为一个附加示例，增强信号通信器230从音频增强器220接收增强信号，该增强信号基于操作系统查询模块200确定该设备是移动车辆中的扬声器而被增强，扬声器通信地耦合到作为由扬声器回放的音频源的移动电话。增强信号通信器230然后可以将增强信号传输到移动电话以进一步传输到车辆的扬声器(例如，通过有线usb连接)。在一些实施例中，诸如当音频增强系统151是设备120的一部分时，增强信号通信器230可以被省略。
51.在音频增强系统150的客户端－服务器配置中，音频增强系统150的各种组件可以位于设备上。例如，操作系统查询模块200可以位于设备上(例如，包括在音频增强系统151中)，并且设备可以将音频系统渲染信息提供到服务器上的音频增强系统150。服务器上的音频增强系统150可以基于音频系统渲染信息确定音频增强并且将音频增强提供给设备。设备可以使用音频增强来生成增强的音频信号。在该示例中，音频增强器220和操作系统查询模块200位于设备上。
52.用于音频增强系统操作的过程
53.图3是用于提供增强的音频信号的过程300的流程图。在一些实施例中，音频增强
系统150以不同的顺序并行地执行过程300的步骤，或者执行不同的步骤。例如，尽管未示出，作为过程300中的附加的步骤，音频增强系统150可以接收音频信号以应用音频增强。在其他示例中，过程300可以重复确定310音频增强，并且包括组合所确定的音频增强的附加的步骤，其中组合的增强将被应用315到音频信号。
54.音频增强系统150确定305与设备相关联的音频渲染系统的渲染系统信息。在一些实施例中，操作系统查询模块200向耦合到音频渲染系统的设备的操作系统查询渲染系统信息。例如，操作系统查询模块200查询设备120的os以检索渲染系统信息，诸如设备的模型名称、音频信号的通信路径、电话的物理取向或位置、和/或设备的类别(例如，移动电话、平板电脑等)。查询可以成功也可以不成功。例如，如果操作系统查询模块200接收到设备的取向、模型名称、通信路径和设备类别，则音频增强系统150可以使用该渲染系统信息中的一些或全部信息以确定用于设备120的当前状态的最合适的音频增强。备选地，如果操作系统查询模块200没有接收到设备的取向，则音频增强系统150可以按如下确定音频增强，不考虑设备取向并且替代地使用音频增强系统已经接收到的信息，诸如模型名称、通信路径和设备类别。
55.音频增强系统150基于渲染系统信息确定310针对音频信号的音频增强。在一些实施例中，音频增强器220确定针对由操作系统查询模块200在305中确定的可用信息的适当的音频增强。例如，增强配置模块221查询音频增强数据库210以确定适合于可用的渲染系统信息的组合的音频增强。在一个示例中，渲染系统信息可以包括模型名称、包括通过内置扬声器路由的音频的通信路径、移动电话设备类别、以及90度取向。信息可以使增强配置模块221确定涉及利用位于电话的不同区域中的电话上的两个扬声器的音频增强。例如，所确定的取向包括扬声器相对于彼此的位置，这允许音频增强以确定要被应用于音频信号的特定串扰消除设置，以便最优地模拟环绕声扬声器。如果可用的渲染系统信息不包括设备取向，则剩余的渲染系统信息组件可以使增强配置模块221基于标准的或最可能的扬声器取向来确定音频增强。
56.在一些实施例中，音频增强系统150可以依赖于渲染系统信息的分级，其中音频增强系统150首先向os查询更高优先级的渲染系统信息。如果os将有效的渲染系统信息返回给音频增强系统150，并且针对渲染系统信息存在相关联的音频增强，则然后选择使用该音频增强。如果os不提供有效的渲染系统信息或者对于所接收的渲染系统信息没有相关联的音频增强，则然后音频增强系统150可以继续尝试向os查询较低优先级的渲染系统信息等等。例如，唯一设备标识符可以是比设备类别更高优先级类型的渲染系统信息，因为可以确定特定音频渲染系统是否是已知的，而相同类别的设备可以包括类似但不同的音频渲染系统。
57.音频增强系统150将音频增强应用315到音频信号以生成增强的音频信号。在一些实施例中，数字信号处理器222使用所确定的310音频增强来变换音频信号。例如，数字信号处理器222可以将音频信号带宽划分为子带，并且独立地调整每个频率子带中的空间和/或非空间分量能量。
58.音频增强系统150向音频渲染系统提供320增强的音频信号。在一些实施例中，增强信号通信器230将数字信号处理器222生成的增强音频信号传输到被配置为输出增强的音频信号的音频渲染系统。增强信号通信器230、数字信号处理器222和音频渲染系统中的
每个可以位于设备上。在其他示例中，增强信号通信器230和数字信号处理器222在设备上，并且音频渲染系统是连接到设备的外围设备。在其他示例中，增强信号通信器230通过网络110将增强的音频信号传输到设备110，以通过与设备110相关联的音频渲染系统输出。
59.图4是用于当通过移动设备的内置音频渲染系统提供增强的音频信号时确定渲染系统信息的过程400的流程图。在一些实施例中，音频增强系统150以不同的顺序并行地执行过程400的步骤，或者执行不同的步骤。例如，确定是否有足够的信息来继续进行以确定音频增强可以在每次向设备的os查询之后被完成。在一些实施例中，对设备的os的查询不必按照过程400中所示的顺序。例如，音频增强系统150可以在查询405设备的活动通信路径之前查询415设备的模型标识符。
60.音频增强系统150向设备的os查询405设备的活动通信路径。例如，音频增强系统150向设备110(移动电话)的os查询电话当前活动通信路径。操作系统查询模块200使用android os的audiodeviceinfo类别api来确定活动通信路径。在确定通信路径之后，查询模块200可以比较路径与内部数据库(例如，音频增强数据库210)或在线数据库中的路径列表，用于通信路径到优化或增强的映射。路径到优化的映射可以包括对具有特定os的设备上的通信路径应用特定的信号增强的指令。如果在数据库中找到这种映射，则音频增强系统150可以直接使用所映射的音频增强(例如，前进到确定310)或继续进行查询附加的信息以确定考虑更大量的渲染系统信息的音频增强(例如，前进到查询410)。
61.音频增强系统150向设备的os查询410设备的唯一设备标识符。例如，音频增强系统150向设备110的os查询其唯一设备标识符。操作系统查询模块200可以查询移动电话的序列号，并且将检索到的序列号与内部数据库(例如，音频增强数据库210)或唯一设备标识符到优化或增强映射的在线数据库进行比较。在一些实施例中，先前的查询可以被考虑用于从数据库的后续检索。例如，音频增强数据库210可以包括用于移动电话的序列号和活动通信路径的组合的音频增强映射。
62.音频增强系统150基于在405和410查询的渲染系统信息确定是否有足够的信息来继续进行确定310针对音频信号的音频增强。在一些实施例中，音频增强系统150通过在对设备的os的查询之间引入信息充分性检查来避免不必要的处理延迟或资源消耗。例如，增强配置模块221确定是否有足够的渲染系统信息可用于确定音频增强，以较少的延迟和较少的功耗提供增强的音频信号。以这种方式，用户可以在没有太多延迟的情况下收听增强的音频信号，并且如果音频增强系统150驻留在电池供电的设备上，则在下一次再充电之前最大化设备寿命。如果在查询410期间不能检索序列号，则过程400可以继续进行向设备的os查询415设备的模型标识符。否则，音频增强系统150确定所查询的序列号和音频路径足以继续进行确定310音频增强。
63.音频增强系统150向设备的os查询415设备的模型标识符。例如，音频增强系统150向设备110的os查询其模型标识符。操作系统查询模块200可以查询移动电话的模型标识符，并且将检索到的模型标识符与内部数据库(例如，音频增强数据库210)或模型标识符到优化或增强映射的在线数据库进行比较。在一些实施例中，先前的查询可以被考虑用于从数据库的后续检索。例如，音频增强数据库210可以包括用于模型标识符和移动电话的活动通信路径的组合的音频增强映射。
64.音频增强系统150向设备的os查询420设备的取向。例如，音频增强系统150向设备
110的os查询其取向。操作系统查询模块200可以查询移动电话的取向，并且将检索到的取向与内部数据库(例如，音频增强数据库210)进行比较或与取向到优化或增强映射的在线数据库进行比较。在一些实施例中，先前的查询可以被考虑用于从数据库的后续检索。例如，音频增强数据库210可以包括用于移动电话的取向、模型标识符和活动通信路径的组合的音频增强映射。过程400可以使用组合的音频增强映射来继续进行确定310音频增强。
65.图5是用于当通过音频渲染系统提供增强的音频信号时确定渲染系统信息的过程500的流程图，音频渲染系统通过无线连接通信地耦合到设备。在一些实施例中，音频增强系统150以不同的顺序并行地执行过程500的步骤，或者执行不同的步骤。
66.音频增强系统150确定505源设备连接到宿设备的音频渲染系统。设备可以是耦合到“宿”设备的音频渲染系统的“源”设备。例如，源设备(移动电话)被用于通过宿设备(蓝牙扬声器)在蓝牙a2dp上输出音频。音频增强系统150可以使用os api来确定源设备(例如，设备120)被连接并且通过蓝牙a2dp将音频信号通信到外部宿设备(例如，设备130)。
67.音频增强系统150向源设备的os查询510信息。查询510可以包括向源设备的os查询511制造商、soc sku或宿设备的模型名称。例如，操作系统查询模块200使用诸如bluez hcitool的工具来向设备120的os查询设备130的制造商。虽然未示出，但是音频增强系统150可以在查询511之后执行检查，以确定渲染系统信息是否足以确定音频增强。例如，根据蓝牙扬声器130的制造商，音频增强系统150可以使用由特定制造商提供的soc来增强蓝牙宿设备。查询510可以备选地或附加地包括对源设备的os的查询512，用于由宿设备支持的蓝牙编解码器。例如，制造商－编解码器查询模块查询设备120的os以确定所支持的(多个)编解码器。根据所支持的编解码器，尽管图5中未示出，过程500可以直接继续进行以确定310音频增强。例如，增强配置模块221可以确定在特定编解码器被支持时应用增强。查询510可以备选地或附加地包括对源设备的os的宿设备模型标识符的查询513。例如，操作系统查询模块200查询设备120的os以确定设备130的模型标识符。如果用于宿设备的模型标识符在音频增强数据库210中被找到，则音频增强系统150可以继续进行配置如定义的音频增强(例如，确定310)。
68.音频增强系统150基于查询510的渲染系统信息来确定是否有足够的信息来继续进行针对音频信号的音频增强的确定310。例如，如果蓝牙编解码器在查询510期间不可检索，则过程500可以继续进行向源设备的os查询515宿设备的类别信息。否则，音频增强系统150确定所查询的制造商名称、编解码器和/或宿设备模型标识符足以继续进行确定310音频增强。
69.音频增强系统150向源设备的os查询515宿设备的设备类别信息。在一些实施例中，操作系统查询模块200向设备120的os查询设备130的设备信息。例如，操作系统查询模块200可以确定指示设备130处于讲话者类别的渲染系统信息。如果设备类别信息在音频增强数据库210中被找到，则音频增强系统150可以如定义的配置音频增强(例如，确定310)。
70.图6是用于当通过经由有线连接通信地耦合到音频渲染系统的设备提供增强的音频信号时确定渲染系统信息的过程600的流程图。设备140可以是通过hdmi连接通信地耦合到音频渲染系统的智能tv平台。例如，设备140可以是耦合到具有内置扬声器的tv监视器或耦合到声频干扰条的智能tv平台。在经由有线连接耦合的设备的其他示例中，设备120是通过usb－c连接或任何其他数字连接(例如，使用闪电连接器)通信地耦合到耳机的移动电
话。在一些实施例中，音频增强系统150以不同的顺序并行地执行过程600的步骤，或者执行不同的步骤。
71.音频增强系统150向设备的os查询605设备的活动通信路径。例如，操作系统查询模块200使用api查询设备140的os(例如，使用android os的audiodeviceinfo类别api查询智能tv平台)以确定设备140的活动通信路径。在一些实施例中，活动通信路径可以通过hdmi连接。音频增强系统150可以在音频增强数据库210中找到hdmi路由到对应的音频增强的映射。例如，音频增强数据库210包含具有针对与特定tv模型或制造商相关联的hdmi音频通信路径的音频增强的指令的映射。虽然未在过程600中示出，但是如果通信路径信息在音频增强数据库210中被找到，则音频增强系统150可以直接继续进行基于活动通信路径确定310音频增强，而不继续进行以确定610存在耦合到设备的外部设备。
72.音频增强系统150确定610音频渲染系统与通信地耦合到该设备的外部设备相关联。在一些实施例中，基于查询605的结果，音频增强系统150确定与外部设备相关联的音频渲染系统正在输出从设备传输到外部设备的音频。例如，如果查询605指示音频正通过hdmi连接被路由，则音频增强系统150可以确定设备140与通过其音频渲染系统输出音频的外部设备(例如，具有内置扬声器的tv监视器)通信地耦合。
73.音频增强系统150向设备查询615外部设备的制造商或soc信息。例如，操作系统查询模块200可以使用智能tv平台上的android os的audiodeviceclass来从外部设备的edid信息中确定制造商id。如果音频增强系统150具有关于外部设备的足够信息，则继续进行以确定310音频信号的音频增强。否则，音频增强系统150确定620关于外部设备的更多信息，诸如外部设备的模型标识符。
74.音频增强系统150确定620外部设备的模型标识符。在一些实施例中，操作系统查询模块200向被确定为与外部设备相关联的设备查询外部设备的模型标识符。例如，操作系统查询模块200向智能tv平台即设备140的os查询通过hdmi线缆连接到智能tv平台的tv监视器的模型标识符。操作系统查询模块200可以使用hdmi连接上可用的edid信息来确定tv监视器的模型标识符和关于其音频渲染系统的信息。过程600可以继续进行以基于渲染系统信息(例如，外部设备的模型标识符)来确定310音频增强。
75.示例计算机
76.图7是根据一些实施例的计算机700的框图。计算机700是实现音频处理系统的电路装置的示例，诸如音频处理系统150。示出了耦合到芯片组704的至少一个处理器702。芯片组704包括存储器控制器集线器720和输入/输出(i/o)控制器集线器722。存储器706和图形适配器712耦合到存储器控制器集线器720，并且显示器718耦合到图形适配器712。存储设备708、键盘710、定点设备714和网络适配器716耦合到i/o控制器集线器722。计算机700可以包括输入或输出设备的各种类型。计算机700的其它实施例具有不同的架构。例如，在一些实施例中，存储器706直接耦合到处理器702。
77.存储设备708包括一个或多个非暂时性计算机可读介质，诸如硬盘驱动器、光盘只读存储器(cd－rom)、dvd、或固态存储设备。存储器706保持由处理器702使用的程序代码(包括一个或多个指令)和数据。程序代码可以与参考图1到图5描述的处理方面相对应。
78.定点设备714与键盘710结合使用以将数据输入到计算机系统700中。图形适配器712在显示器718上显示图像和其它信息。在一些实施例中，显示器718包括用于接收用户输
入和选择的触摸屏能力。网络适配器716将计算机系统700耦合到网络。计算机700的一些实施例具有与图7所示的组件不同的组件和/或其它组件。
79.在一些实施例中，实现音频处理系统(诸如音频处理系统100或音频处理系统200)的电路装置，可以包括专用集成电路(asic)、现场可编程门阵列(fpga)或其它类型的计算电路装置。
80.附加的考虑
81.公开的配置的示例性益处和优点包括动态音频增强，这是由于增强的音频系统适应于设备和相关联的音频渲染系统以及由设备os提供可用的其他相关信息，诸如用例信息(例如，指示音频信号被用于音乐回放而不是用于游戏)。增强的音频系统可以集成到设备中(例如，使用软件开发工具包)或存储在远程服务器上以便可按需访问。这样，设备不需要将存储或处理资源用于音频增强系统的维护，音频增强系统专用于其音频渲染系统或音频渲染配置。在一些实施例中，增强的音频系统能够改变针对渲染系统信息的查询的水平，使得有效的音频增强可以被应用于不同水平的可用设备特定的渲染信息。
82.在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然一个或多个方法的单独的操作被示出和被描述为单独的操作，但是单独的操作中的一个或多个操作可以同时被执行，并且不要求这些操作以所示的顺序执行。在示例配置中作为单独的组件表现的结构和功能可以被实现为组合的结构或组件。类似地，表现为单个组件的结构和功能可以被实现为单独的组件。这些和其它变化、修改、添加和改进落入本文主题的范围内。
83.本文将某些实施例描述为包括逻辑或多个组件、模块或机制。模块可以构成软件模块(例如，体现在机器可读介质上或在传输信号中的代码)或硬件模块。硬件模块是执行某些操作的有形单元，并且可以以某种方式来被配置或被布置。在示例实施例中，一个或多个计算机系统(例如，独立运行的、客户端或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)被配置硬件模块，硬件模块操作以执行如本文所述的某些操作。
84.本文描述的示例方法的各种操作可以至少部分地由一个或多个处理器来执行，一个或多个处理器临时被配置为执行相关操作(例如，由软件)或永久配置为执行相关操作。无论临时地还是永久地被配置，这种处理器可以构成处理器实现的模块，其操作以执行一个或多个操作或功能。在一些示范性实施例中，本文提及的模块可以包括处理器实现的模块。
85.类似地，本文描述的方法可以是至少部分地处理器实现。例如，至少方法的一些操作可以由一个或多个处理器或处理器实现的硬件模块来执行。某些操作的性能可以分布在一个或多个处理器中，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例实施例中，处理器或多个处理器可以位于单个位置(例如，在家庭环境、办公室环境中或作为服务器场)，而在其他实施例中，处理器可以被分布在多个位置上。
86.除非另有明确说明，否则本文使用诸如“处理”、“计算”、“运算”、“确定”、“表现”、“显示”等词语的讨论可以指机器(例如，计算机)的动作或过程，其操纵或转化表示为一个或多个存储器(例如，易失性存储器、非易失性存储器或其组合)、寄存器、或接收、存储、传输或显示信息的其它机器组件内的物理(例如，电、磁或光)量的数据。
87.如本文所使用的，对“一个实施例”或“实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性被包括在至少一个实施例中。短语“在一个实施例中”在说明书中不同地方的出现不一定都指相同实施例。
88.一些实施例可以使用表述“耦合”和“连接”及其派生词来被描述。应当理解，这些术语并不旨在作为彼此的同义词。例如，一些实施例可以使用术语“连接”来描述，以指示两个或多个元件直接物理的或电的接触彼此。在其他示例中，可以使用术语“耦合”来描述一些实施例，以指示两个或更多个元件直接物理或电接触。然而，术语“耦合”也可以指两个或多个元件彼此不直接与彼此接触，但仍然彼此协作或交互。实施例不限于此上下文。
89.如本文所用，术语“包括”、“包括为”、“包括”、“包括有”、“有”、“具有”或其任何其它变型旨在涵盖非排他性的包括。例如，包括元素的列表的过程、方法、物品或装置不必仅限于那些元素，而是可以包括未明确列出的或此类过程、方法、物品或装置固有的其它元素。此外，除非明确地相反说明，否则“或”是指包括性的或并且非排他性的或。例如，以下中的任一项满足条件a或b：a为真(或存在)并且b为假(或不存在)、a为假(或不存在)并且b为真(或存在)、并且a和b均为真(或存在)。
90.此外，使用“一”或“一个”来描述本文实施例的元件和组件。这样做仅仅是为了方便并且给出本发明的普遍意义。该描述应该被理解为包括一个或至少一个，并且单数也包括复数，除非明显地表示其它含义。
91.本说明书的某些部分根据对信息的操作的算法和符号表示来描述实施例。这些算法的描述和表示通常被数据处理领域的技术人员使用以有效地向本领域的其他技术人员传达其工作的实质。虽然在功能上、计算上或逻辑上描述了这些操作，但是这些操作被理解为由计算机程序或等效电路、微代码等来实现。此外，在不失一般性的情况下，将这些操作的布置称为模块有时也被证明是方便的。所描述的操作及其相关联的模块可以以软件、固件、硬件或其任何组合来被体现。
92.本文所描述的任何步骤、操作或过程可以单独地或与其它设备组合地用一个或多个硬件或软件模块来执行或实施。在一个实施例中，用计算机程序产品来实现软件模块，计算机程序产品包括包含计算机程序代码的计算机可读介质，计算机程序代码可以由计算机处理器执行以用于执行描述的任何或所有步骤、操作或过程。
93.实施例还可以涉及用于执行本文操作的装置。装置可以是针对所需目的而专门构造的，和/或可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以被存储在非瞬态的、有形的计算机可读存储介质或适合于存储电子指令的任何类型的介质中，其可以被耦合到计算机系统总线。此外，本说明书中提到的任何计算系统可以包括单个处理器或者可以是采用多个处理器设计以用于增加计算能力的架构。
94.实施例还可以涉及由本文描述的计算过程产生的产品。这种产品可以包括由计算过程产生的信息，其中信息被存储在非瞬态的、有形计算机可读存储介质上，并且可以包括本文描述的计算机程序产品或其他数据组合的任何实施例。
95.在阅读本公开后，本领域的技术人员将理解用于通过本文所公开的原理使用设备专用元数据用于音频增强的系统和过程的附加的备选结构和功能设计。因此，虽然已经示出了和描述了特定实施例和应用，但是应当理解，所公开的实施例不限于本文所公开的精
确构造和组件。在不脱离所附权利要求中限定的精神和范围的情况下，可以对本文公开的方法和装置的布置、操作和细节进行对本领域技术人员显而易见的各种修改、改变和变化。
96.最后，说明书中使用的语言主要是针对可读性和指导性的目的而选择的，并且可能没有选择来描绘或限制专利权。因此，意图是专利权的范围不受该详细描述的限制，而是受基于本技术的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在所附权利要求中阐述的专利权的范围。