面向用户体验的音频信号处理的制作方法
【专利摘要】本发明的实施例涉及用于面向用户体验的音频信号处理。提供了一种用于面向用户体验的音频信号处理的方法。该方法包括：获取来自电子设备的音频传感器的第一音频信号；基于第一音频信号计算针对从电子设备到收听者的声学路径的补偿因子；以及将补偿因子应用于将从电子设备输出的第二音频信号。还公开了相应的系统和计算机程序产品。
【专利说明】
面向用户体验的音频信号处理
技术领域
[0001]本发明的实施例一般涉及音频信号处理，更具体地涉及用于面向用户体验的音频信号处理。
【背景技术】
[0002]近年来，对于电子设备的设计而言用户体验已经变得越来越重要。电子设备可以包括例如移动电话和平板式计算机的便携式设备以及例如电话和台式计算机的固定设备。
[0003]由于结构限制，难以通过硬件设计来解决电子设备的音频效果问题。举例而言，电子设备的扬声器可能过于小，以至于不能产生好的音频效果。另外，扬声器位置和射向的设计服从于实际约束条件。
[0004]为了改善用户体验，已经向电子设备的音频信号应用后处理。例如，可以通过均衡、虚拟低音、低音增强、音量调整、转向立体呈现、声学回声消除、声学噪声消除、去混响等等来处理音频信号。然而，因为电子设备在位置和方向方面可以具有较大灵活性，所以现有的后处理解决方案由于扬声器方向性和空中声学阻抗的改变而难以有效控制音调。
[0005]由此，本领域需要一种支持面向用户体验的音频信号处理的解决方案。
【发明内容】
[0006]为了解决上述以及其他潜在的问题，本发明提出一种用于面向用户体验的音频信号处理的方法和系统。
[0007]在一方面，本发明的示例实施例提供一种用于面向用户体验的音频信号处理的方法。该方法包括:获取来自电子设备的音频传感器的第一音频信号；基于第一音频信号计算针对从电子设备到收听者的声学路径的补偿因子；以及将补偿因子应用于将从电子设备输出的第二音频信号。关于这点的实施例进一步包括对应的计算机程序产品。
[0008]在另一方面，本发明的示例实施例提供一种用于面向用户体验的音频信号处理的系统。该系统包括:音频信号获取单元，被配置为获取来自电子设备的音频传感器的第一音频信号；计算单元，被配置为基于第一音频信号计算针对从电子设备到收听者的声学路径的补偿因子；以及应用单元，被配置为将补偿因子应用于将从电子设备输出的第二音频信号。
[0009]通过下文描述将会理解，根据本发明的示例实施例，将计算针对从电子设备到收听者之间的声学路径的补偿因子，并在将音频信号提供给该收听者之前将该补偿因子应用于该音频信号。例如，通过至少部分地基于获取的来自电子设备的音频传感器的音频信号计算补偿因子，有可能有效提高电子设备的音频效果。结果是，无论电子设备如何被定位和定向，都可以实现听觉方面的用户体验改善。
【附图说明】
[0010]通过参考附图阅读下文的详细描述，本发明实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出了本发明的若干实施例，其中:
[0011]图1示出适于实现本发明的示例实施例的示例电子设备的框图；
[0012]图2示出适于实现本发明的示例实施例的场景的示意图；
[0013]图3示出根据本发明的示例实施例的用于面向用户体验的音频信号处理的方法的流程图；
[0014]图4示出根据本发明的示例实施例的用于面向用户体验的音频信号处理的方法的流程图；以及
[0015]图5示出根据本发明的示例实施例的用于面向用户体验的音频信号处理的系统的框图。
[0016]在各个附图中，相同或对应的标号表TJK相同或对应的部分。
【具体实施方式】
[0017]现在将参考若干示例实施例来描述本发明的原理。应当理解，描述这些实施例只是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。
[0018]在此使用的术语仅出于描述特定实施例的目的，并不旨在限制于示例实施例。如这里所使用的，除非上下文明确指出，单数形式“一”、“一个”和“该”旨在也包括复数形式。还应该理解，本文所用的术语“包括”和/或“包含”规定了阐明的特征、整数、步骤、操作、元素和/或部件的存在，但不排除一个或者多个其他特征、整数、步骤、操作、元素、元件和/或组的存在。
[0019]也应该注意到在一些备选实现中，所注释的功能/行为可以以图中所注释的顺序的乱序出现。例如，被顺序显示的两个功能/动作事实上根据涉及到的功能性/动作可以基本上同时执行或者有时可以以相反地顺序执行。
[0020]图1示出了适于实现本发明的示例实施例的示例电子设备100的框图。如图所示，电子设备100被实现为具有音频播放能力的便携式设备。该便携式设备例如可以是移动电话、个人数字助理(PDA)、笔记本电脑、平板电脑、寻呼机、播放器、游戏装置、照相机、全球定位系统(GPS)设备和任何其他类型的便携式设备，只要它们能够采用在此描述的主题的实施例。诸如台式机和电话之类的固定类型的设备同样可以容易地使用在此描述的主题的实施例。
[0021]如图所示，电子设备100包括一个或多个天线112，可操作用于与发射器114和接收器116通信。利用这些设备，电子设备100可以执行无线通信。
[0022]电子设备100还包括至少一个控制器120。应当理解，控制器120包括实现电子设备100的所有功能所需要的电路或逻辑。例如，控制器120可以包括数字信号处理器、微处理器、A/D转换器、D/A转换器和/或其他适当的电路。电子设备100的控制和信号处理功能根据这些设备各自的能力分配。
[0023]电子设备100还可以包括用户接口，其例如可以包括振铃器122、扬声器124、麦克风126、显示器128以及输入接口 130，所有以上设备都耦合至控制器120。电子设备100还可以包括用于捕捉静态图像和/或动态图像的相机模块136。进一步地，电子设备100可以包括多个传感器(未示出)，例如，音频传感器、陀螺仪、距离传感器、重力传感器、加速计、温度传感器、光传感器、磁场传感器、压力传感器、湿度传感器、定位传感器，等等。音频传感器可以例如实现为麦克风126、麦克风阵列(未示出)，等等。
[0024]电子设备100还可以包括电池134，诸如振动电池组，用于向操作电子设备100所需要的各种电路供电，并且备选地提供机械振动作为可检测的输出。在一个实施例中，电子设备100还包括用户识别模块(ΙΠΜ) 138。UIM 138通常是具有内置的处理器的存储器设备。ΙΠΜ 138可以例如包括订户识别模块(S頂)、通用集成电路卡(UICC)、通用用户识别模块(US頂)或可移动用户识别模块(R-ΙΠΜ)等等。UIM 138可以包括根据本发明的实施例的卡连接检测装置。
[0025]电子设备100还包括存储设备。例如，电子设备100可以包括易失性存储器140，例如，包括高速缓存区域中的用于临时存储数据的易失性随机存取存储器(RAM)。电子设备100还可以包括其他的可以是嵌入的或可移动的非易失性存储器142。非易失性存储器142可以附加地或备选地例如包括EEPROM和闪存等。存储器可以存储多个信息片段中的任意项和电子设备100使用的数据，以便实现电子设备100的功能。例如，存储器可以包含机器可执行指令，其在被执行时使得控制器120实现下文描述的方法。
[0026]应当理解，图1中的结构框图仅仅示出用于说明目的，并非旨在限制本发明的范围。在某些情况下，某些组件可以按照具体需要而增加或者减少。
[0027]现在参考图2，其示出适于实现本发明的示例实施例的场景200的示意图。如图所示，收听者210正在收听来自电子设备220的音频声音，例如，音乐、讲话、广播剧，等等。在一个实施例中，电子设备220例如可以由图1所示的电子设备100来实现。
[0028]通过便携式设备220的扬声器124播放的音频的传递函数可以包括:电子设备的音频处理，表示为A (f);扬声器频率响应，表示为L (f);以及从扬声器124到收听者210 (例如，收听者210的头部位置)的传递函数，表示为H(f，Ω，θ)。Ω表示定义距离因素(例如目标区域以及它们到扬声器124的距离)的一组参数，并且Θ表示定义电子设备220相对于头部的方向和收听者的方向的一组参数。假设通过扬声器124的音频播放的目标传递函数或理想传递函数是T (f)，则希望得到:
[0029]A(f)L(f)H(f, Ω，Θ) =T(f)。(I)
[0030]由于电子设备220可以用于非常动态的环境并且可以旋转，所以Ω和Θ可以大幅度变化。作为结果，H(f，Ω，Θ)可以变化。为了满足式(1)，补偿因子(表示为P(f，Ω，Θ))可以被引入以使得:
[0031]A(f)P(f, Ω , θ )L(f)H(f, Ω , θ ) =T(f)。(2)
[0032]根据示例实施例，P(f，Ω，θ )表示依赖于方向和距离的音频处理，其经常可以被认为是尝试抵消H(f，Ω，Θ)的偏离的后处理。
[0033]为了补偿方向和距离改变，需要识别P(f，Ω，Θ )来抵消H(f，Ω，Θ )的偏离。在此方面，本发明的示例实施例提出了基于从电子设备220的音频传感器(例如麦克风126)获取的音频信号实时计算补偿因子P(f，Ω，Θ)。通过应用补偿因子，电子设备220的音频信号可以在被提供给收听者210之前被补偿。以此方式，可以实现均衡处理，并且可以实现听觉方面的用户体验改善。相关细节将在以下结合图3和图4中的示例实施例进行描述。
[0034]现在参考图3，其示出根据本发明的示例实施例的用于面向用户体验的音频信号处理的方法300的流程图。方法300例如可以至少部分地由电子设备220实现。
[0035]在步骤S310，获取来自电子设备的音频传感器的第一音频信号。
[0036]根据本发明的示例实施例，音频传感器可以以多种方式实现。例如，音频传感器可以实现为麦克风、麦克风阵列和/或任何其他适当的音频传感器，只要其能够感测或收集从电子设备输出的音频信号。
[0037]如图2所示，音频传感器可以实现为麦克风126。从扬声器124到麦克风126的声学路径的传递函数可以被定义为N(f，Ω，Θ )，并且扬声器124到麦克风126与扬声器124到收听者210之差(对应于从麦克风126到收听者210的传递函数)可以被定义为K(f，Ω，Θ)，其中
[0038]K(f, Ω , Θ ) = N(f, Ω , θ )/H(f, Ω , θ ).(3)
[0039]在一些示例实施例中，收听者210可能正常向前看并且将电子设备220以合适的距离放置在他/她的右前方。在这一事件中，收听者210与电子设备220的麦克风126之间的关系可以是基本恒定的。因此，K(f，Ω，Θ)可以独立于Ω和Θ。换言之，由方向和/或距离的改变所引起的所有变化可以等同地嵌入在N(f，Ω，Θ)和H(f，Ω，Θ)中。
[0040]当如图2所示那样音频传感器实现为麦克风126时，在步骤S310，可以获取麦克风记录，例如在该麦克风处收集的环境声，作为第一音频信号。
[0041]在一些其他示例实施例中，收听者210(例如其头部)与麦克风126之间的相对方向和距离并不是恒定的，例如，原因是收听者210将他/她的头部转到一个位置、麦克风126被收听者210无意挡住，等等。对于这些情形，H(f，Ω，Θ )的改变可能不会完全嵌入在N(f，Ω，Θ)中。在这一情况下，音频传感器可以实现为麦克风阵列(未示出)。
[0042]电子设备220的麦克风阵列可以包括多个麦克风。多个麦克风具有以更佳的分辨率描述方向Ω的优点。距离效果围绕扬声器可以是非对称的。利用来自多个麦克风的信息，可以支持非对称距离模式。
[0043]此外，对于实时实现，多个麦克风可以提供更加鲁棒的补偿因子。在电子设备的实际使用中，有可能无意识地通过手来覆盖或者遮挡麦克风。覆盖所有麦克风的机会非常低。因此，更多鲁棒结果可以基于健康的麦克风来实现。
[0044]进一步地，在一些示例实施例中，一个或多个附加设备，诸如照相机、陀螺仪、距离传感器、重力传感器、加速计、温度传感器、光传感器、磁场传感器、压力传感器、湿度传感器、定位传感器，等等，可以被采用以辅助基于音频传感器的补偿。举例而言，当在麦克风记录中发现较大的差异时，一种可能性是电子设备的方向正在改变；另一种可能性是噪声或其他干扰正在发生，使得即使电子设备的方向没有改变而麦克风记录也发生了改变。在这种情况下，附加的设备输入可以辅助音频传感器维持当前处理或者执行较少的主动处理。例如，多个麦克风可以单独使用或者与照相机一起使用，以计算收听者210的头部位置及其方向。当收听者210讲话时，麦克风阵列可以发现收听者头部的方向。另外，由于说话是近场的，所以距离曲线可以被保留。以此方式，可以获取收听者的距离和方向信息。
[0045]在步骤S310，在音频传感器被实现为麦克风阵列的示例实施例中，可以首先确定麦克风阵列中的一个或多个麦克风的状态。麦克风阵列中的每个麦克风的状态可以基于从正常宽带敏感性的偏离或者其他类似量来确定。基于所确定的状态，可以针对扬声器124的位置执行波束成形。举例而言，麦克风阵列中的多个麦克风可以形成指向麦克风位置的近场波束成形。然后，可以获取在进行了波束成形的麦克风阵列处收集的环境声来作为第一音频信号。以此方式，可以增加音频播放与环境噪声比，这可以提高实时调整的鲁棒性。
[0046]另外，应当理解的是，上述示例实施例仅出于示意性目的，而不意在对在此描述的主题的任何限制。电子设备的音频传感器可以以任何适当的形式来实现，只要其能够获取从电子设备输出的音频信号。
[0047]在步骤S320处，基于第一音频信号计算针对从电子设备到收听者的声学路径的补偿因子。
[0048]根据本发明的示例实施例，可以通过多种方式来计算补偿因子。举例而言，可以通过匹配目标频率响应来计算补偿因子。具体而言，音频传感器的标称音频信号可以基于声学路径的标称传递函数来计算。通过估计电子设备周围的环境噪声，可以至少部分地基于第一音频信号、标称音频信号和环境噪声来计算补偿因子。相关细节将结合图4的示例实施例来介绍。
[0049]作为备选方案，替代直接匹配目标响应，可以基于从扬声器124到麦克风126的声学路径的传递函数来计算补偿因子，该传递函数可以例如通过实时系统识别来估计。传统的系统识别方法，例如自适应滤波，可以用于当已知激励音频信号时估计幅度和相位。通过这一过程而获得的从扬声器124到麦克风126的声学路径的传递函数可以是:
[0050]ff(f, Ω, Θ) = A(f)P(f, Ω , θ )L(f)H(f, Ω , θ ) K (f) S (f)(4)
[0051]其中A(f)表示电子设备中的音频处理，L(f)表示扬声器频率响应，H(f，Ω，Θ )表示从扬声器124到收听者210的声学路径的传递函数，K(f)表示K(f，Ω，Θ)的简化并且其表示从麦克风126到收听者210的传递函数，以及S(f)表示麦克风126的频率响应。
[0052]在一些示例实施例中，补偿因子P(f，Ω，Θ)可以被调整为抵消所估计的传递函数中的变化，以保持W(f，Ω，Θ)恒定并且独立于Ω和Θ。
[0053]系统识别可能很慢，例如由于高环境噪声水平、高自相关音频信号等等。备选地或附加地，为了加速系统识别，例如，当例如通过陀螺仪来检测到快速旋转电子设备220或环境变化时，可以插入探测信号，例如最大长度序列(Maximum-Length-Sequence),以快速确定传递函数。探测信号可以以低于遮掩阈值的方式来插入，从而使其为不可听的。备选地，可以应用例如去相关方法的其他典型自适应滤波方法来加速系统识别。
[0054]根据本发明的示例实施例，可选地，补偿因子的实时实现可以与预设(preset)相结合。预设可以包括多种均衡处理。各种均衡处理可以根据已有的解决方案以多种方式预先定义或获得，并可以提前储存在存储器中。如本领域技术人员可理解的，该存储器可以是便携式计算机磁盘、硬盘、随机存储存取器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPR0M或闪存)、便携式致密盘只读存储器(CD-ROM)、光存储设备、磁存储设备，等等。
[0055]在一些示例实施例中，可以为补偿因子确定上限和下限，并且可以在上限和下限之间的范围内计算补偿因子。举例而言，可以通过多种方式来确定该上限和下限。例如，可以获取关于电子设备的方向和距离的信息，然后可以基于关于方向和距离的信息选择针对所述补偿因子的多种预设。以此方式，可以基于选择的预设来确定上限和下限。
[0056]在一些其他示例实施例中，上限和下限可以基于音频传感器的记录来确定。举例而言，可以基于在步骤S310获得的第一音频信号来选择针对补偿因子的多个预设，然后可以基于该多个预设来确定上限和下限。
[0057]以此方式，补偿因子的计算可以被加速，并且可以减少错误的发生。例如，在例如自由场、电子设备的扬声器朝下等极端情况下，预设可以用于约束补偿因子以确保其总是在合理的范围内。
[0058]根据本发明的示例实施例，补偿因子可能需要进行时域和频域平滑。在一些示例实施例中，在步骤S320，可选地，可以对补偿因子可进行时域平滑或者频域平滑。时域平滑可以防止音色和音量的突变。频域平滑可以避免高Q处理，该高Q处理通常由于扬声器能力有限而会导致听觉伪像。频域平滑和时域平滑二者都有助于消除时间混叠的问题。
[0059]应当理解的是，频域平滑和时域平滑都是可选的。在一些示例实施例中，可以在步骤S330应用没有经过平滑的补偿因子。
[0060]继续参考图3，方法300进行到步骤S330，将补偿因子应用于将从电子设备输出的第二音频信号。
[0061]将从电子设备220 (例如,从扬声器124)输出的音频信号可以被称为第二音频信号。通过将补偿因子应用到该第二音频信号，可以实现听觉方面的用户体验改善。
[0062]图4示出根据本发明的示例实施例的用于面向用户体验的音频信号处理的方法400的流程图。方法400可以被认为是以上参考图3所描述的方法300的实施例。然而，应当注意的是这仅仅是出于示意本发明的原理的目的，而不是对本发明的范围进行限制。方法400例如可以由电子设备220至少部分地实现。
[0063]方法400在步骤S410开始，其中获取来自电子设备的音频传感器的第一音频信号。方法400中的步骤S410可以被认为是与以上描述的方法300中的步骤S310类似。根据本发明的示例实施例，可以将音频传感器实现为麦克风、麦克风阵列和/或能够感测或者收集从电子设备输出的音频信号的任何其他合适的音频传感器。可以获取音频传感器所收集或感测的环境声作为第一音频信号。
[0064]在步骤S420，基于声学路径的标称传递函数估算音频传感器的标称音频信号。
[0065]根据本发明的示例实施例，声学路径的标称传递函数可以被表示为H(f，Ω。，Θ。)，其代表在自由场条件下或者在没有来自周围物体的严重反射的空间中的传递函数。音频传感器的标称音频信号可以是标称麦克风记录，其被表示为1(f)并且被定义为:
[0066]M0 (f) = A(f)P(f, Ω。，60)L(f)H(f, Ω。，θ 0) K (f) S (f) X (f), (5)
[0067]其中A(f)表示电子设备220中的音频处理；L(f)表示扬声器频率响应；K(f)表示K(f, Ω，Θ)的简化并且其表示从麦克风126到收听者210的传递函数；S(f)表示麦克风的频率响应；并且X(f)表示原始(或未处理)的音频信号。可以预先确定P(f，Ω。，Θ。)，以使得
[0068]A(f)P(f, Ω。，60)L(f)H(f, Ω。，Θ。)= T (f),(6)
[0069]其中T(f)表示通过扬声器124的音频播放的目标传递函数。
[0070]在步骤S430，估计电子设备周围的环境噪声。
[0071]根据本发明的实施例，电子设备周围的环境噪声可以通过多种方式估计，例如通过估计信噪比(SNR)来估计，这可以在现有技术中找到并且在此不再赘述。
[0072]在步骤S440，至少部分地基于第一音频信号、标称音频信号和环境噪声来计算补偿因子。
[0073]根据本发明的示例实施例，第一音频信号是在例如麦克风126的音频传感器处收集的音频信号。在一些示例实施例中，第一音频信号可以是麦克风126的实时记录MJf)，并且可以如下获得:
[0074]Mc (f) = A(f)P(f, Ωε, 6c)L(f)H(f, Ω, θ ) K (f) S (f) X (f) +N(f)(7)
[0075]其中N(f)表示环境噪声，P(f，Ω。，Θ J表示与当前方向和距离处理相关联的补偿因子。为了实现目标响应，P(f，Ωε, Θ J可以被调整成新的补偿因子P(f，Ωη，θη)，从而新的麦克风记录满足
[0076]Mn(f)-N(f) =M0(f),(8)
[0077]其中
[0078]Mn (f) = A(f)P(f, Ωη, 6n)L(f)H(f, Ω, θ ) K (f) S (f) X (f) +N(f)(9)
[0079]根据式(5)、(7)、⑶和(9)，补偿因子P(f，Ωη，θ η)可以如下计算:
[0080]P(f, Ωη，θη) = P(f, Ω。，9c) (M0(f)/(Mc(f)-N(f)))(10)
[0081]根据本发明的示例实施例，在步骤S440，可以例如通过确定其是否超过预定阈值来确定在步骤S430处估计的环境噪声是否可忽略。如果环境噪声没有超过所述预定阈值，环境噪声可以被忽略，并且可以至少部分地基于第一音频信号MJf)和标称音频信号MJf)来计算补偿因子。例如，可以计算MJf)和1(f)之间的幅度差，并且可以通过将计算出的幅度差应用于当前的方向和距离处理P(f，Ωε, Θ J来获取新的补偿因子P(f，Ωη，θη)。
[0082]另一方面，如果环境噪声不可忽略，例如，环境噪声超过所述预定阈值，可以至少部分地基于第一音频信号和标称音频信号的时间平均来计算补偿因子。在一些实施例中，第一音频信号和标称音频信号的时间平均可以如下获取:
[0083]E[Mc(f)/M0(f)] = P(f, Ω。，0c)H(f, Ω。，6c)/(P(f, Ω。，0o)H(f, Ω。，θ0))
[0084]+E[N(f)/(A(f)P(f, Ω。，0o)L(f)H(f, Ω。，θ 0) K (f) S (f) X (f))]=
[0085]P(f, Ω。，6c)H(f, Ω。，6c)/(P(f, Ω。，0o)H(f, Ω。，θ。))(11)
[0086]其中Ε[]表示期望运算符，并且可以通过时间平均来近似。最后一个等式来自于如下事实，环境噪声N(f)和音频信号X(f)不相关。为了匹配目标响应，应该满足下式:
[0087]P(f, Ωη, 0n)H(f, Ω, Θ) =P(f, Ω0, 0o)H(f, Ω0, θ 0) (12)
[0088]根据式(11)和(12)，可以如下获取新的补偿因子P(f，Ωη，θ η):
[0089]P(f, Ωη，θη) = P(f, Ω。，0c)E[Mo(f)/(Mc(f)](13)
[0090]根据本发明的示例实施例，作为备选方案，如果环境噪声不可忽略，替代直接匹配目标响应，也可以基于从扬声器124到麦克风126的声学路径的传递函数来计算补偿因子，其中传递函数可以通过例如实时系统识别来估计。相关细节可以在关于步骤S320的描述中找到。
[0091]继续参考图4，方法400进行到在步骤S450，将补偿因子应用于将从电子设备输出的第二音频信号。通过将补偿因子应用到第二音频信号，可以实现均衡过程。以此方式，可以实现听觉方面的用户体验改善。
[0092]现在参考图5，其示出根据本发明的示例实施例的用于面向用户体验的音频信号处理的系统500的框图。系统500至少可以在例如电子设备220处实现。如图所示，系统500包括:音频信号获取单元510，被配置为获取来自电子设备的音频传感器的第一音频信号；计算单元520，被配置为基于第一音频信号计算针对从电子设备到收听者的声学路径的补偿因子；以及应用单元530，被配置为将补偿因子应用于将从电子设备输出的第二音频信号。
[0093]在一些不例实施例中，音频传感器可以包括麦克风，并且音频信号获取单兀510可以包括:环境声获取单兀，被配置为获取在麦克风处收集的环境声作为第一音频信号。
[0094]在一些示例实施例中，音频传感器可以包括麦克风阵列，并且音频信号获取单元510可以包括:状态确定单元，被配置为确定麦克风阵列的一个或多个麦克风的状态；波束成形单元，被配置为基于确定的状态执行针对电子设备的扬声器的位置的波束成形；以及环境声获取单元，被配置为获取在波束成形后的麦克风阵列处收集的环境声作为第一音频信号。
[0095]在一些示例实施例中，音频信号获取单元510可以包括:辅助单元，被配置为使用以下设备中的至少一个来辅助获取第一音频信号:照相机、陀螺仪、距离传感器、重力传感器、加速计、温度传感器、光传感器、磁场传感器、压力传感器、湿度传感器以及定位传感器。
[0096]在一些示例实施例中，计算单元520可以包括:估算单元，被配置为基于声学路径的标称传递函数估算音频传感器的标称音频信号；噪声估计单元，被配置为估计电子设备周围的环境噪声。计算单元520可以被进一步配置为至少部分地基于第一音频信号、标称音频信号和环境噪声来计算补偿因子。
[0097]在一些示例实施例中，计算单元520可以包括:确定单元，被配置为确定环境噪声是否超过预定阈值。计算单元520可以被进一步配置为，响应于确定环境噪声没有超过预定阈值，至少部分地基于第一音频信号和标称音频信号来计算补偿因子。计算单元520可以被进一步配置为，响应于确定环境噪声超过预定阈值，至少部分地基于第一音频信号和标称音频信号的时间平均来计算补偿因子。
[0098]在一些示例实施例中，计算单元520可以包括:路径估计单元，被配置为估计从电子设备的扬声器到音频传感器的声学路径的传递函数。计算单元520可以被进一步配置为，至少部分地基于估计的传递函数来计算补偿因子。
[0099]在一些示例实施例中，计算单元520可以包括:限度确定单元，被配置为确定针对补偿因子的上限和下限。计算单元520可以被进一步配置为，在上限和下限之间的范围内计算补偿因子。
[0100]在一些示例实施例中，限度确定单元可以包括:信息获取单元，被配置为获取关于电子设备的方向和距离的信息；以及选择单元，被配置为基于关于方向和距离的信息选择针对补偿因子的多种预设。限度确定单元可以被进一步配置为基于多种预设来确定上限和下限。
[0101]在一些示例实施例中，限度确定单元可以包括:选择单元，被配置为基于第一音频信号来选择针对补偿因子的多种预设。限度确定单元可以被进一步配置为基于多种预设来确定上限和下限。
[0102]在一些示例实施例中，计算单元520可以包括以下中的至少一项:时域平滑单元，被配置为对补偿因子进行时域平滑；以及频域平滑单元，被配置为对补偿因子进行频域平滑。
[0103]系统500中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一个实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，系统500中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。
[0104]一般而言，本发明的各种示例实施例可以在硬件或专用电路、软件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本发明的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。
[0105]作为示例，本发明的实施林可以在机器可执行指令的上下文中被描述，机器可执行指令诸如包括在目标的真实或者虚拟处理器上的器件中执行的程序模块中。一般而言，程序模块包括例程、程序、库、对象、类、组件、数据结构等，其执行特定的任务或者实现特定的抽象数据结构。在各实施例中，程序模块的功能可以在所描述的程序模块之间合并或者分割。用于程序模块的机器可执行指令可以在本地或者分布式设备内执行。在分布式设备中，程序模块可以位于本地和远程存储介质二者中。
[0106]用于实现本发明的方法的计算机程序代码可以用一种或多种编程语言编写。这些计算机程序代码可以提供给通用计算机、专用计算机或其他可编程的数据处理装置的处理器，使得程序代码在被计算机或其他可编程的数据处理装置执行的时候，引起在流程图和/或框图中规定的功能/操作被实施。程序代码可以完全在计算机上、部分在计算机上、作为独立的软件包、部分在计算机上且部分在远程计算机上或完全在远程计算机或服务器上执行。
[0107]在本公开的上下文中，机器可读介质可以是包含或存储用于或有关于指令执行系统、装置或设备的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子的、磁的、光学的、电磁的、红外的或半导体系统、装置或设备，或其任意合适的组合。机器可读存储介质的更详细示例包括带有一根或多根导线的电气连接、便携式计算机磁盘、硬盘、随机存储存取器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPR0M或闪存)、光纤、便携式致密盘只读存储器(CD-ROM)、光存储设备、磁存储设备，或其任意合适的组合。
[0108]另外，尽管操作以特定顺序被描绘，但这并不应该理解为要求此类操作以示出的特定顺序或以相继顺序完成，或者执行所有图示的操作以获取期望结果。在某些情况下，多任务或并行处理会是有益的。同样地，尽管上述讨论包含了某些特定的实施细节，但这并不应解释为限制任何发明或权利要求的范围，而应解释为对可以针对特定发明的特定实施例的描述。本说明书中在分开的实施例的上下文中描述的某些特征也可以整合实施在单个实施例中。反之，在单个实施例的上下文中描述的各种特征也可以分离地在多个实施例或在任意合适的子组合中实施。
[0109]尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求中限定的主题并不限于上文描述的特定特征或动作。相反，上文描述的特定特征和动作是作为实现权利要求的示例形式而被公开的。
【主权项】
1.一种用于面向用户体验的音频信号处理的方法，所述方法包括: 获取来自电子设备的音频传感器的第一音频信号； 基于所述第一音频信号计算针对从所述电子设备到收听者的声学路径的补偿因子；以及 将所述补偿因子应用于将从所述电子设备输出的第二音频信号。2.根据权利要求1所述的方法，其中所述音频传感器包括麦克风，并且其中获取所述第一音频信号包括: 获取在所述麦克风处收集的环境声作为所述第一音频信号。3.根据权利要求1所述的方法，其中所述音频传感器包括麦克风阵列，并且其中获取所述第一音频信号包括: 确定所述麦克风阵列的一个或多个麦克风的状态； 基于确定的所述状态执行针对所述电子设备的扬声器的位置的波束成形；以及 获取在波束成形后的麦克风阵列处收集的环境声作为所述第一音频信号。4.根据权利要求1所述的方法，其中获取所述第一音频信号包括: 使用以下设备中的至少一个来辅助获取所述第一音频信号:照相机、陀螺仪、距离传感器、重力传感器、加速计、温度传感器、光传感器、磁场传感器、压力传感器、湿度传感器以及定位传感器。5.根据权利要求1所述的方法，其中计算所述补偿因子包括: 基于所述声学路径的标称传递函数估算所述音频传感器的标称音频信号； 估计所述电子设备周围的环境噪声；以及 至少部分地基于所述第一音频信号、所述标称音频信号和所述环境噪声来计算所述补偿因子。6.根据权利要求5所述的方法，其中计算所述补偿因子包括: 确定所述环境噪声是否超过预定阈值； 响应于确定所述环境噪声没有超过所述预定阈值，至少部分地基于所述第一音频信号和所述标称音频信号来计算所述补偿因子；以及 响应于确定所述环境噪声超过所述预定阈值，至少部分地基于所述第一音频信号和所述标称音频信号的时间平均来计算所述补偿因子。7.根据权利要求1所述的方法，其中计算所述补偿因子包括: 估计从所述电子设备的扬声器到所述音频传感器的声学路径的传递函数；以及 至少部分地基于估计的所述传递函数来计算所述补偿因子。8.根据权利要求1所述的方法，其中计算所述补偿因子包括: 确定针对所述补偿因子的上限和下限；以及 在所述上限和所述下限之间的范围内计算所述补偿因子。9.根据权利要求8所述的方法，其中确定所述上限和所述下限包括: 获取关于所述电子设备的方向和距离的信息； 基于关于方向和距离的所述信息选择针对所述补偿因子的多种预设；以及 基于所述多种预设来确定所述上限和所述下限。10.根据权利要求8所述的方法，其中确定所述上限和所述下限包括: 基于所述第一音频信号来选择针对所述补偿因子的多种预设；以及 基于所述多种预设来确定所述上限和所述下限。11.根据权利要求1所述的方法，其中计算所述补偿因子还包括以下中的至少一项: 对所述补偿因子进行时域平滑；以及 对所述补偿因子进行频域平滑。12.一种用于面向用户体验的音频信号处理的系统，所述系统包括: 音频信号获取单元，被配置为获取来自电子设备的音频传感器的第一音频信号； 计算单元，被配置为基于所述第一音频信号计算针对从所述电子设备到收听者的声学路径的补偿因子；以及 应用单元，被配置为将所述补偿因子应用于将从所述电子设备输出的第二音频信号。13.根据权利要求12所述的系统，其中所述音频传感器包括麦克风，并且其中所述音频信号获取单元包括: 环境声获取单元，被配置为获取在所述麦克风处收集的环境声作为所述第一音频信号。14.根据权利要求12所述的系统，其中所述音频传感器包括麦克风阵列，并且其中所述音频信号获取单元包括: 状态确定单元，被配置为确定所述麦克风阵列的一个或多个麦克风的状态； 波束成形单元，被配置为基于确定的所述状态执行针对所述电子设备的扬声器的位置的波束成形；以及 环境声获取单元，被配置为获取在波束成形后的麦克风阵列处收集的环境声作为所述第一音频信号。15.根据权利要求12-14中任一项所述的系统，其中所述音频信号获取单元包括: 辅助单元，被配置为使用以下设备中的至少一个来辅助获取所述第一音频信号:照相机、陀螺仪、距离传感器、重力传感器、加速计、温度传感器、光传感器、磁场传感器、压力传感器、湿度传感器以及定位传感器。16.根据权利要求12-14中任一项所述的系统，其中所述计算单元包括: 估算单元，被配置为基于所述声学路径的标称传递函数估算所述音频传感器的标称音频信号； 噪声估计单元，被配置为估计所述电子设备周围的环境噪声；以及其中所述计算单元被进一步配置为至少部分地基于所述第一音频信号、所述标称音频信号和所述环境噪声来计算所述补偿因子。17.根据权利要求16所述的系统，其中所述计算单元包括: 确定单元，被配置为确定所述环境噪声是否超过预定阈值； 其中所述计算单元被进一步配置为，响应于确定所述环境噪声没有超过所述预定阈值，至少部分地基于所述第一音频信号和所述标称音频信号来计算所述补偿因子；以及其中所述计算单元被进一步配置为，响应于确定所述环境噪声超过所述预定阈值，至少部分地基于所述第一音频信号和所述标称音频信号的时间平均来计算所述补偿因子。18.根据权利要求12-14中任一项所述的系统，其中所述计算单元包括: 路径估计单元，被配置为估计从所述电子设备的扬声器到所述音频传感器的声学路径的传递函数；以及 其中所述计算单元被进一步配置为，至少部分地基于估计的所述传递函数来计算所述补偿因子。19.根据权利要求12-14中任一项所述的系统，其中所述计算单元包括: 限度确定单元，被配置为确定针对所述补偿因子的上限和下限；以及 其中所述计算单元被进一步配置为，在所述上限和所述下限之间的范围内计算所述补偿因子。20.根据权利要求19所述的系统，其中所述限度确定单元包括: 信息获取单元，被配置为获取关于所述电子设备的方向和距离的信息； 选择单元，被配置为基于关于方向和距离的所述信息选择针对所述补偿因子的多种预设；以及 其中所述限度确定单元被进一步配置为基于所述多种预设来确定所述上限和所述下限。21.根据权利要求19所述的系统，其中所述限度确定单元包括: 选择单元，被配置为基于所述第一音频信号来选择针对所述补偿因子的多种预设；以及 其中所述限度确定单元被进一步配置为基于所述多种预设来确定所述上限和所述下限。22.根据权利要求12-14中任一项所述的系统，其中所述计算单元还包括以下中的至少一项: 时域平滑单元，被配置为对所述补偿因子进行时域平滑；以及 频域平滑单元，被配置为对所述补偿因子进行频域平滑。23.一种用于面向用户体验的音频信号处理的计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上，并且包括机器可执行指令，所述指令在被执行时使得所述机器执行根据权利要求1到11中任一项所述的方法的步骤。
【文档编号】G10L21/007GK105895112SQ201410562080
【公开日】2016年8月24日
【申请日】2014年10月17日
【发明人】马桂林, 郑羲光, 张晨, 孙学京, C·鲍尔
【申请人】杜比实验室特许公司