用于环绕声回声降低的系统及方法

用于环绕声回声降低的系统及方法
【专利摘要】描述一种用于由电子装置进行回声降低的方法。所述方法包含调零至少一个扬声器。所述方法还包含基于声学路径的集合混频运行时间音频信号的集合以确定参考信号。所述方法还包含接收基于运行时间音频信号的所述集合的至少一个复合音频信号。所述方法进一步包含基于所述参考信号降低所述至少一个复合音频信号中的回声。
【专利说明】用于环绕声回声降低的系统及方法
[0001] 相关申请案
[0002] 本申请案是关于且主张于2012年12月19日申请的第61/739, 662号美国临时 专利申请案"用于回声降低的系统及方法（SYSTEMSANDMETHODSFORECHOREDUCTION)"、 于2012年8月9日申请的第61/681，474号美国临时专利申请案"音频信号处理装置校 准（AUDIOSIGNALPROCESSINGDEVICECALIBRATION) " 及于 2012 年 7 月 2 日申请的第 61/667, 249号美国临时专利申请案"音频信号处理装置校准（AUDIOSIGNALPROCESSING DEVICECALIBRATION) " 的优先权。

【技术领域】
[0003] 本发明大体上涉及电子装置。更具体来说，本发明涉及用于环绕声回声降低的系 统及方法。

【背景技术】
[0004] 最近几十年中，电子装置的使用已变得普遍。确切地说，电子技术中的进展已降低 了逐渐复杂且有用的电子装置的成本。成本降低及消费者需求已使电子装置的使用剧增， 使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此具有对电子装 置的新的且改进的特征的需求。更具体来说，人们常常寻求执行新功能及/或更快、更有效 且以更高质量执行功能的电子装置。
[0005] -些电子装置（例如，蜂窝式电话、智能电话、计算机、电视、音频接收器等）处理 音频信号。举例来说，环绕声系统可从多个扬声器输出多个音频信号。
[0006] 虽然处理多个音频信号可为有益的，但其引起某些问题。举例来说，来自多个扬声 器的音频信号可产生回声。如由此论述可观测到，改进音频信号处理的系统及方法可为有 益的。


【发明内容】

[0007] 描述一种用于由电子装置进行回声降低的方法。所述方法包含调零至少一个扬声 器。所述方法还包含基于声学路径的集合混频运行时间音频信号的集合以确定参考信号。 所述方法还包含接收基于运行时间音频信号的所述集合的至少一个复合音频信号。所述方 法进一步包含基于所述参考信号降低所述至少一个复合音频信号中的回声。
[0008] 所述方法可包含将输出校准音频信号的集合输出。所述方法还可包含基于输出校 准音频信号的所述集合接收输入校准音频信号的集合。所述方法可进一步包含基于输入校 准音频信号的所述集合确定声学路径的所述集合。输出校准音频信号的所述集合中的每一 者可个别地按输出序列输出。输入校准音频信号的所述集合中的每一者可个别地按输入序 列接收。
[0009] 可由无线通信装置中的两个或两个以上麦克风接收至少一个复合音频信号。混频 运行时间音频信号的所述集合及降低所述回声可由音频处理装置执行。
[0010] 所述方法可包含将第一声学路径应用于多个运行时间音频信号。可由无线通信装 置中的两个或两个以上麦克风接收至少一个复合音频信号。可传达每一麦克风的向下混频 源。可传达具有回声消除/噪声抑制的增强话语。
[0011] 所述方法可包含确定对扬声器音频信号进行滤波的滤波器集合的系数。至少两个 滤波器可共享系数。来自第一滤波器的系数可用作第二滤波器的系数。至少一个滤波器可 经配置以仅改变输入信号的振幅及延迟。至少一个滤波器可基于脉冲响应。所述方法可包 含基于自适应滤波器确定是否进行重新校准。
[0012] 描述一种用于回声降低的电子装置。所述电子装置包含调零至少一个扬声器的调 零电路。所述电子装置还包含基于声学路径的集合混频运行时间音频信号的集合以确定参 考信号的混频电路。所述电子装置还包含接收基于运行时间音频信号的所述集合的至少一 个复合音频信号的两个或两个以上麦克风。所述电子装置进一步包含基于所述参考信号降 低所述至少一个复合音频信号中的回声的回声降低电路。
[0013] 描述一种用于回声降低的设备。所述设备包含用于调零至少一个扬声器的装置。 所述设备还包含用于基于声学路径的集合混频运行时间音频信号的集合以确定参考信号 的装置。所述设备还包含用于接收基于运行时间音频信号的所述集合的至少一个复合音频 信号的装置。所述设备进一步包含用于基于所述参考信号降低所述至少一个复合音频信号 中的回声的装置。
[0014] 描述一种用于回声降低的计算机程序产品。所述计算机程序产品包含具有指令的 非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置调零至少一个扬声器的代 码。所述指令还包含用于致使电子装置基于声学路径的集合混频运行时间音频信号的集合 以确定参考信号的代码。所述指令还包含用于致使所述电子装置接收基于运行时间音频信 号的所述集合的至少一个复合音频信号的代码。所述指令进一步包含用于致使所述电子装 置基于所述参考信号降低所述至少一个复合音频信号中的回声的代码。
[0015] 描述一种用于由电子装置确定延迟的方法。所述方法包含执行用于环绕声回声降 低的校准。所述方法还包含基于所述校准确定扬声器间延迟。所述方法进一步包含基于所 述扬声器间延迟调零至少一个扬声器。
[0016] 所述扬声器间延迟可为扬声器音频信号的到达时间与参考扬声器音频信号的到 达时间之间的差。所述参考扬声器音频信号可对应于具有最短延迟的扬声器。所述方法可 包含基于所述扬声器间延迟混频至少两个信号。
[0017] 描述一种用于确定延迟的电子装置。所述电子装置包含执行用于环绕声回声降低 的校准及基于所述校准确定扬声器间延迟的校准电路。所述电子装置还包含基于所述扬声 器间延迟调零至少一个扬声器的波束成形电路。
[0018] 描述一种用于确定延迟的设备。所述设备包含用于执行用于环绕声回声降低的校 准的装置。所述设备还包含用于基于所述校准确定扬声器间延迟的装置。所述设备进一步 包含用于基于所述扬声器间延迟调零至少一个扬声器的装置。
[0019] 描述一种用于确定延迟的计算机程序产品。所述计算机程序产品包含具有指令的 非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置执行用于环绕声回声降低 的校准的代码。所述指令还包含用于致使所述电子装置基于所述校准确定扬声器间延迟的 代码。所述指令进一步包含用于致使所述电子装置基于所述扬声器间延迟调零至少一个扬 声器的代码。

【专利附图】

【附图说明】
[0020] 图1为适用于电话会议的家庭影院系统的特定说明性实施例的框图；
[0021] 图2为在校准模式中操作的音频处理装置的特定说明性实施例的框图；
[0022] 图3为在使用模式中操作的图1及2的音频处理装置的特定说明性实施例的框 图；
[0023] 图4为图1到3的音频处理装置的操作方法的第一特定实施例的流程图；
[0024] 图5为图1到3的音频处理装置的操作方法的第二特定实施例的流程图；
[0025] 图6A展示相对于麦克风对的平面波传播的远场模型；
[0026] 图6B展示线性阵列中的多个麦克风对；
[0027] 图7A展示针对四个不同到达方向（D0A)的展开的相位延迟对频率的曲线图；
[0028] 图7B展示针对相同D0A的缠绕的相位延迟对频率的曲线图；
[0029] 图8A展示两个D0A候选者的所测量的相位延迟值及所计算的值的实例；
[0030] 图8B展示沿着电视屏幕的顶部边缘布置的麦克风的线性阵列；
[0031] 图9A展示计算帧的D0A差的实例；
[0032] 图9B展示计算D0A估计的实例；
[0033] 图9C展示识别每一频率的D0A估计的实例；
[0034] 图10A展示使用所计算的可能性来识别针对给定频率的最佳麦克风对及最佳D0A 候选者的实例；
[0035] 图10B展示可能性计算的实例；
[0036] 图11A展示特定应用的实例；
[0037] 图11B展示在麦克风阵列的平面中逐对D0A估计到360°范围的映射。
[0038] 图12A及12B展示D0A估计中的模糊性；
[0039] 图12C展示所观测到的D0A的正负号与x-y平面的象限之间的关系；
[0040] 图13A到13D展示其中源位于麦克风平面上方的实例；
[0041] 图13E展示沿着非正交轴的麦克风对的实例；
[0042] 图13F展示使用阵列获得相对于正交的x及y轴的D0A估计的实例；
[0043] 图14A及14B展示两对麦克风阵列（例如，如图15A中所示）的逐对归一化的波 束成形器/调零波束成形器（BFNF)的实例；
[0044] 图15A展示两对麦克风阵列的实例；
[0045] 图15B展示逐对归一化的最小方差无失真响应（MVDR)BFNF的实例；
[0046] 图16A展示其中矩阵AHA不处于病态的频率的逐对BFNF的实例；
[0047] 图16B展示导向向量的实例；
[0048] 图16C展示如本文中所描述的源方向估计的集成方法的流程图；
[0049] 图17为图1到3的音频处理装置的操作方法的第三特定实施例的流程图；
[0050] 图18为图1到3的音频处理装置的操作方法的第四特定实施例的流程图；
[0051] 图19为图1到3的音频处理装置的操作方法的第五特定实施例的流程图；
[0052] 图20为图1到3的音频处理装置的操作方法的第六特定实施例的流程图；
[0053] 图21为图1到3的音频处理装置的操作方法的第七特定实施例的流程图；
[0054] 图22为适用于电话会议的家庭影院系统的特定说明性实施例的框图；
[0055] 图23为在校准模式中操作的音频处理装置的特定说明性实施例的框图；
[0056] 图24为在使用模式中操作的图23的音频处理装置的特定说明性实施例的框图；
[0057] 图25为在使用模式中操作的图23的音频处理装置的特定说明性实施例的框图；
[0058] 图26说明展示第一及第二延迟的模拟真实室内响应及与模拟真实室内响应相关 联的模拟向下米样自适应滤波器输出的图表；
[0059] 图27说明展示第三及第四延迟的模拟真实室内响应及与模拟真实室内响应相关 联的模拟向下米样自适应滤波器输出的图表；
[0060] 图28为图22到25的音频处理装置的操作方法的第一特定实施例的流程图； [0061]图29为图22到25的音频处理装置的操作方法的第二特定实施例的流程图；
[0062] 图30为图22到25的音频处理装置的操作方法的第三特定实施例的流程图；
[0063] 图31为图22到25的音频处理装置的操作方法的第四特定实施例的流程图；
[0064] 图32为说明根据本文中所揭示的系统及方法的可经实施以提供回声降低的多个 元件的一个配置的框图；
[0065]图33为说明用于回声降低的方法的一个配置的流程图；
[0066] 图34为说明用于滤波器监视的方法的一个配置的流程图；
[0067]图35为说明用于确定延迟的方法的一个配置的流程图；
[0068]图36为说明其中可实施用于回声降低的系统及方法的音频处理装置的一个配置 的框图；
[0069]图37为说明其中可实施用于回声降低的系统及方法的音频处理装置及移动装置 的配置的框图；
[0070] 图38为说明单声道回声消除系统的一个配置的框图；
[0071] 图39为说明立体声回声消除系统的一个配置的框图；
[0072] 图40为说明对非唯一性问题的另一方法的框图；
[0073] 图41为说明根据本文中所揭示的系统及方法的用于校准模式中的回声降低的方 法的一个实例的框图；
[0074] 图42A为说明根据本文中所揭示的系统及方法的用于运行时间模式中的回声降 低的方法的一个实例的框图；
[0075] 图42B为说明根据本文中所揭示的系统及方法的用于运行时间模式中的回声降 低的方法的更特定实例的框图；
[0076] 图42C为说明根据本文中所揭示的系统及方法的用于运行时间模式中的回声降 低的方法的另一更特定实例的框图；
[0077] 图43为说明用于回声降低的方法的一个配置的流程图；
[0078] 图44A到44C为说明根据本文中所揭示的系统及方法的用于运行时间模式中的回 声降低的方法的特定实例的方块图；
[0079] 图45包含说明若干声学路径的实例的曲线图；
[0080] 图46包含说明在不同时间实例处的滤波器系数的实例的曲线图；
[0081] 图47包含说明基于记录的回声经消除的信号的实例的曲线图；
[0082]图48包含说明若干声学路径的另一实例的曲线图；
[0083]图49包含说明实际5. 1系统的在不同时间实例处的滤波器系数的实例的曲线 图；
[0084] 图50包含说明5. 1系统的基于记录的回声经消除的信号的实例的曲线图；
[0085] 图51包含说明5. 1系统的基于记录的回声经消除的信号的更多实例的曲线图；
[0086] 图52包含说明实际5. 1系统的在不同时间实例处的滤波器系数的更多实例的曲 线图；
[0087]图53包含说明5. 1系统的基于记录的回声经消除的信号的更多实例的曲线图；
[0088] 图54包含说明实际5. 1系统的在不同时间实例处的滤波器系数的更多实例的曲 线图；
[0089] 图55包含说明若干声学路径的另一实例的曲线图；
[0090] 图56包含说明具有路径改变的回声消除性能的实例的曲线图；
[0091] 图57包含说明在不同时间实例处的滤波器系数的实例的曲线图；
[0092] 图58包含说明具有路径改变的回声消除性能的额外实例的曲线图；
[0093] 图59包含说明在不同时间实例处的滤波器系数的额外实例的曲线图；及
[0094] 图60说明可在电子装置中利用的各种组件。

【具体实施方式】
[0095] 为了理解，下文给出环绕声远场回声消除问题的更多细节。首先，给出寻求立体声 /环绕回声消除的一些动机。换句话说，给出关于立体声/环绕回声消除器为何可为有益的 细节。此情形可以人为何具有两个耳朵而不是只有一个的论述开始。假设人处于有若干人 谈话、大笑或只是彼此沟通的房间内。多亏人类的双耳听觉系统，人在此环境中可以集中精 力于一个特定讲话者上。此外，人可定位或识别何人在谈话，且能够处理有噪声或混响话语 信号以便使其可以理解。环绕/立体声回声消除的一个可能应用为立体声电话会议系统， 所述立体声电话会议系统可提供单通道系统所无法提供的真实存在感。举例来说，本文中 所揭示的系统及方法可提供与两个耳朵可以实现的情景类似的情景。
[0096] 本文中所揭示的系统及方法的一些配置可提供远场多通道环绕声回声消除。举例 来说，本文中所揭示的系统及方法可实施于一或多个电子装置中以提供回声消除及/或噪 声抑制，其中所要讲话者可十分接近于所述装置或离所述装置很远。
[0097] 本文中所揭示的系统及方法可适用于多种电子装置。电子装置的实例包含蜂窝 式电话、智能电话、录音机、视频相机、音频播放器（例如，移动图像专家组l(MPEG-l)或 MPEG-2音频层3 (MP3)播放器）、视频播放器、音频记录器、桌上型计算机、膝上型计算机、个 人数字助理（PDA)、游戏系统、电视、音频接收器、机顶盒装置等。一个种类的电子装置为通 信装置，所述通信装置可与另一装置通信。通信装置的实例包含电话、膝上型计算机、桌上 型计算机、蜂窝式电话、智能电话、无线或有线调制解调器、电子阅读器、平板装置、游戏系 统、蜂窝式电话基站或节点、存取点、无线网关及无线路由器、会议系统、智能电视等。
[0098] 现参看图描述各种配置，在诸图中，相似参考数字可指示功能上类似的元件。可以 广泛多种不同配置来布置及设计如本文中在诸图中所大体描述及说明的系统及方法。因 此，对如各图中所表示的若干配置的以下更详细描述并不希望限制如所主张的范围，而仅 表示系统及方法。应注意，如本文所使用的术语"集合"可表示一或多个元件的集合。
[0099]A.用于使用调零波束的音频信号处理装置校准的系统、方法及设备
[0100] 图1为家庭影院系统100的特定说明性实施例的框图。家庭影院系统100适用于 从用户122接收语音交互。举例来说，家庭影院系统100可用于电话会议（例如，音频或视 频电话会议），以接收语音命令（例如，控制家庭影院系统100的组件或另一装置），或输出 从用户122接收的语音输入（例如，用于语音放大或音频混频）。
[0101] 家庭影院系统100可包含耦合到外部音频接收器102的电子装置101 (例如，电 视）。举例来说，电子装置101可为能够联网的"智能"电视，所述电视能够传达局域网（LAN) 及/或广域网（WAN)信号160。电子装置101可包含或耦合到麦克风阵列130及音频处理 组件140。音频处理组件140可为可操作以实施波束成形从而降低归因于家庭影院系统100 的特定扬声器的输出的回声的音频处理装置。如图1中所描绘，扬声器中的一或多者可为 经布置以提供环绕声的扬声器（例如，中心、左、右、环绕左、环绕后、环绕左后及环绕右后 扬声器及亚低音扬声器）。
[0102] 音频接收器102可从电子装置101的音频输出接收音频信号，处理所述音频信号 且将信号发送到多个外部扬声器103到109及/或亚低音扬声器110中的每一者以供输 出。举例来说，音频接收器102可经由例如高清多媒体接口（HDMI)等多媒体接口从电子装 置101接收复合音频信号。音频接收器102可处理所述复合音频信号以产生用于每一扬声 器103到109及/或亚低音扬声器110的单独音频信号。在图1的实施例中，展示七个扬 声器103到109及亚低音扬声器110。然而，应注意本发明的实施例可包含较多或较少扬声 器103到109及/或亚低音扬声器110。
[0103] 在家庭影院系统100设置好时，可相对于座位区120定位每一组件以促进家庭影 院系统100的使用（例如，来改进环绕声性能）。当然，家庭影院系统100的组件的其它布 置也是有可能的，且在本发明的范围内。在将在其中麦克风及扬声器的位置彼此接近或被 并入到单个装置中的装置处（例如，在音频/视频会议情境中）从用户122接收语音输入 时，参考信号（例如，远端音频信号）与在麦克风处接收的信号（例如，近端音频信号）之 间的延迟通常在预期回声消除范围内。因此，接收近端及远端信号的回声消除装置（例如， 自适应滤波器）可能够执行声学回声消除。然而，在家庭影院系统中，扬声器-麦克风距离 及音频接收器102的存在可使近端及远端信号之间的延迟增加到常规自适应滤波器可能 不再有效地执行声学回声消除的程度。回声消除在家庭影院系统100中进一步复杂化，因 为家庭影院系统100包含通常输出相关的信号的多个扬声器。
[0104] 为了实施图1的家庭影院系统100中的声学回声消除，音频处理组件140可经配 置以在校准模式中操作。举例来说，校准模式可基于用户输入而起始或在检测到配置改变 (例如，添加或移除家庭影院系统的组件）后自动起始。在校准模式中的操作期间，电子装 置101可估计随后用于回声消除的所使用的延迟值，如第61/667, 249号美国临时专利申请 案（代理人案号123296P1)中所描述。另外，在校准模式中的操作期间，电子装置101可 确定随后用于回声消除的到达方向（D0A)信息。为进行说明，电子装置101可将在特定时 间周期（例如，五秒）内的音频模式（例如，白噪声）输出到音频接收器102。音频接收器 102可处理音频模式，且一次一个地将信号提供到扬声器103到109及亚低音扬声器110。 举例来说，第一扬声器（例如，中心扬声器103)可输出音频模式，而其余扬声器104到109 及亚低音扬声器110静音。随后，例如第二扬声器（例如，左扬声器104)等另一扬声器可 输出音频模式，而其余扬声器103及105到109以及亚低音扬声器110静音。此过程可继 续直到每一扬声器103到109及任选地亚低音扬声器110已输出音频模式为止。在特定扬 声器103到109或亚低音扬声器110输出音频模式时，麦克风阵列130可从特定扬声器或 亚低音扬声器110接收声学信号输出。音频处理组件140可确定声学信号的DOA，所述DOA 对应于从麦克风阵列130到特定扬声器的方向。在确定扬声器103到109及亚低音扬声器 110(或其子集）中的每一者的DOA之后，校准完成。
[0105] 在校准完成之后的非校准（例如，使用或运行时间）模式中的操作期间，音频处理 组件140可执行波束成形以调零从特定到达方向（D0A)接收的信号。在特定实施例中，产 生对应于例如扬声器106到109等前置扬声器的调零。举例来说，如图1中所说明，音频处 理组件140已产生对应于扬声器106到109的调零150、152、154、156。因此，尽管在麦克风 阵列130处接收来自扬声器106到109的声学信号，但使用基于与扬声器106到109中的 每一者相关联的D0A的波束成形来抑制对应于这些声学信号的音频数据。抑制来自特定扬 声器的音频数据减少由音频处理组件执行的处理，从而降低与家庭影院系统100相关联的 回声。参考图3进一步描述使用模式中的操作。
[0106] 在检测到后续配置改变（例如，将不同音频接收器或不同扬声器引入到家庭影院 系统100中）时，可再次起始校准模式，且可由音频处理组件140确定一或多个新D0A或更 新的D0A。
[0107] 图1中所描绘的装置可调零扬声器103到109中的一些。根据此方法，回声消除 (例如，线性自适应滤波器）可运行于剩余扬声器103到109上。此情形可通过调零扬声 器103到109中的一些的直接路径来减轻非唯一性问题。应注意在此方法中，自适应滤波 器可在零陷波束成形之后运行。
[0108] 图2为在校准模式中操作的音频处理装置200的特定说明性实施例的框图。音频 处理装置200可包含或包含于图1的音频处理组件140内。音频处理装置200包含经配置 以耦合到一或多个声学输出装置（例如扬声器202)的音频输出接口 220。举例来说，音频 输出接口 220可包含耦合到一或多个扬声器连接器、多媒体连接器（例如高清多媒体接口 (HDMI)连接器）或其组合或由一或多个扬声器连接器、多媒体连接器（例如高清多媒体接 口（HDMI)连接器）或其组合端接的音频总线。尽管可存在一个以上扬声器，以下描述却描 述了确定扬声器202的到达方向（D0A)以简化描述。可在确定扬声器202的D0A之前或之 后确定其它扬声器的到达方向（D0A)。虽然以下描述详细描述了确定扬声器202的D0A，但 在特定实施例中，在校准模式中，音频处理装置200还可确定随后用于回声消除的延迟值， 如第61/667, 249号美国临时专利申请案（代理人案号123296P1)中所描述。举例来说，可 在确定扬声器202的D0A之前或在确定扬声器202的D0A之后确定延迟值。音频处理装置 200还可包含经配置以耦合到一或多个声学输入装置（例如，麦克风阵列204)的音频输入 接口 230。举例来说，音频输入接口 230可包含耦合到一或多个麦克风连接器、多媒体连接 器（例如HDMI连接器）或其组合或由一或多个麦克风连接器、多媒体连接器（例如HDMI 连接器）或其组合端接的音频总线。
[0109] 在使用模式中，麦克风阵列204可操作以检测来自用户（例如图1的用户122)的 话语。然而，也可在麦克风阵列204处接收由扬声器202 (及图2中未图示的一或多个其它 扬声器）输出的声音，从而造成回声。此外，由扬声器输出的声音可为相关的，使所述回声 尤其难以抑制。为了减少来自各种扬声器的相关音频数据，音频处理装置200可包含波束 成形器（例如图3的波束成形器320)。波束成形器可使用由DOA确定装置206确定的DOA 数据来抑制来自例如扬声器202等特定扬声器的音频数据。
[0110] 在特定实施例中，D0A确定装置206可包含多个D0A确定电路。多个D0A确定电 路中的每一者可经配置以确定与特定子带相关联的D0A。应注意虽然所接收的音频信号为 相对窄带（例如，在人类听觉范围内的约8KHz)，但子带仍为较窄频带。举例来说，音频处理 装置200可包含耦合到音频输入接口 230的第一子带分析滤波器205。第一子带分析滤波 器205可将所接收的音频信号划分成多个子带（例如，频率范围），且将所接收的音频信号 的每一子带提供到D0A确定装置206的对应D0A确定电路。音频处理装置200还可包含耦 合于音频输出接口 220与D0A确定装置206之间的第二子带分析滤波器203。第二子带分 析滤波器203可将音频处理装置200的输出信号（例如在音频处理装置处于校准模式中时 的白噪声信号201)划分成多个子带（例如，频率范围），且将输出信号的每一子带提供到 D0A确定装置206的对应D0A确定电路。
[0111] 为进行说明，在校准模式中，音频处理装置200可经由音频输出接口 220将校准信 号（例如，在时间周期（例如，5秒）内的白噪声信号201)输出到扬声器202。也可将校 准信号提供到第二子带分析滤波器203,从而被划分成输出子带。响应于白噪声信号201， 扬声器202可产生声学白噪声，可在麦克风阵列204处检测到所述声学白噪声。在麦克风 阵列204处检测到的白噪声可由与扬声器202及麦克风阵列204的相对位置相关的传递函 数（例如与回声路径及近端音频路径相关联）修改。检测到的白噪声信号可由麦克风阵列 204提供到音频输入接口 230。所检测到的白噪声信号可由第一子带分析滤波器205划分 成输入子带。D0A确定装置206的D0A确定电路可处理输入子带（基于所检测到的白噪声 信号）及输出子带（基于白噪声信号）以确定与每一子带相关联的D0A。可将对应于每一 子带的D0A的D0A数据存储于存储器207处。或者或另外，可将为每一子带的D0A的函数 (例如，子带D0A的平均或另一函数）的D0A数据存储于存储器207处。如果音频处理装置 200稱合到一或多个额外扬声器，那么继续其它扬声器的校准，因为在校准模式期间确定一 或多个额外扬声器的D0A。否则，校准模式可终止，且音频处理装置200可准备好在使用模 式中操作。
[0112] 图3为在使用模式中操作的音频处理装置200的特定说明性实施例的框图。举例 来说，音频处理装置200可在使用校准模式完成校准之后在使用模式中操作以进行电话会 议，从用户122接收语音命令，或输出来自用户122的语音输入（例如，用于卡拉0K或其它 语音放大或混频）。
[0113] 在使用模式中，可从远端（例如，从电话会议呼叫的另一方接收的音频输入）接收 或可从本地音频源（例如，电视或另一媒体装置的音频输出）接收信号302。可经由音频输 出接口 220将信号302提供到扬声器202。也可将所述信号或另一信号提供到一或多个额 外扬声器（图3中未图不）。扬声器202可响应于信号302产生输出声学信号。在麦克风 阵列204处接收的声学信号可包含如由传递函数修改的输出声学信号以及其它音频（例如 来自用户122的话语及来自一或多个其它扬声器的声学信号）。对应于所接收的声学信号 的所接收的信号可由麦克风阵列204输出到音频输入接口 230。因此，所接收的信号可包含 来自信号302的回声。
[0114] 在特定实施例中，将信号302提供到可调谐的延迟组件310。可调谐的延迟组件 310可使提供信号302以供后续处理延迟对应于在校准模式210期间确定的一或多个延迟 值的延迟量。第61/667, 249号美国临时专利申请案（代理人案号123296P1)中描述确定 数据值的特定方法。随后将信号302提供到回声消除组件，从而降低回声。举例来说，可将 信号302提供到第二子带分析滤波器203,从而被划分成输出子带，将所述输出子带提供到 回声消除装置306。在此实例中，可将从音频输入接口 230所接收的信号提供到第一子带分 析滤波器205,从而被划分成输入子带，还将所述输入子带提供到回声消除装置306。
[0115] 回声消除装置306可包含波束成形组件320及回声处理组件322。在图3中所说 明的实施例中，在波束成形组件320处从音频输入接口 230接收音频信号，之后将其提供到 回声处理组件322 ;然而，在其它实施例中，波束成形组件320在回声处理组件322的下游 (即，在回声处理组件322处从音频输入接口 230接收音频信号，之后将其提供到波束成形 组件320)。
[0116] 波束成形组件320可操作以使用来自存储器207的到达方向（D0A)数据来抑制与 在麦克风阵列204处从特定方向接收的声学信号相关联的音频数据。举例来说，与从例如 图1的扬声器106到109等面向麦克风阵列204的扬声器接收的声学信号相关联的音频数 据可通过使用D0A数据产生从音频输入接口 230接收的音频数据中的调零来进行抑制。回 声处理组件322可包含基于从音频输出接口 220接收的参考信号降低音频数据中的回声的 自适应滤波器或其它处理组件。
[0117] 在特定实施例中，波束成形组件320、回声消除后处理组件328、音频处理装置200 的另一组件或其组合可操作以跟踪用户122,所述用户122提供在麦克风阵列204处的语音 输入。举例来说，波束成形组件320可包含D0A确定装置206。D0A确定装置206可确定由 用户122产生的在麦克风阵列204处接收的声音的到达方向。基于用户122的D0A，波束成 形组件320可通过修改音频数据来跟踪用户122,从而集中注意力于来自用户122的音频 上，如参看图6A到16C所进一步描述。在特定实施例中，波束成形组件320可在抑制与扬 声器的D0A相关联的音频数据之前确定用户122的D0A是否与例如扬声器202等扬声器的 D0A-致。在用户122的D0A与特定扬声器的D0A-致时，波束成形组件320可使用D0A数 据来确定不会抑制与特定扬声器及用户122相关联的音频数据的一部分（例如，从扬声器 及用户122的一致D0A接收的音频）的波束成形参数。波束成形组件320还可将数据提供 到回声处理组件322以向回声处理组件322指示是否已经由波束成形抑制特定音频数据。
[0118] 在对个别子带执行回声消除之后，可由回声消除装置306将回声经消除的子带提 供到子带合成滤波器324以组合子带，从而形成全带宽回声经消除的接收到的信号。在特 定实施例中，通过在将信号发送到远端或其它音频处理组件（例如混频或语音辨识处理组 件）之前将回声经消除的接收到的信号提供到全带快速傅里叶变换（FFT)组件326、频率 空间噪声抑制及回声消除后处理组件328及逆FFT组件330来执行额外回声消除及噪声抑 制。或者或另外，可执行额外模拟域音频处理。举例来说，噪声抑制及回声消除后处理组件 328可定位于回声处理组件322与子带合成滤波器324之间。在此实例中，不可使用FFT组 件326或逆FFT组件330。
[0119] 图4为图1到3的音频处理装置的操作方法的第一特定实施例的流程图。所述方 法包含在402处开始音频处理装置。所述方法还可包含在404处确定新音频重放硬件是否 已耦合到音频处理装置。举例来说，在新音频重放硬件耦合到音频处理装置时，新音频重放 硬件可提供指示新音频重放硬件的存在的电信号。在另一实例中，在启动时或在其它时间， 音频处理装置可轮询耦合到音频处理装置的音频重放硬件，以确定是否存在新音频重放硬 件。在另一实例中，用户122可提供指示新音频重放硬件的存在的输入。在不存在新音频 重放硬件时，所述方法结束，且音频处理装置在418处准备好运行于使用模式中。
[0120] 在检测新音频重放硬件时，所述方法可包含运行406于第一校准模式中。第一校 准模式可用以确定耦合到音频处理装置的一或多个扬声器与耦合到音频处理装置的一或 多个麦克风之间的声学延迟。在408处，可使用声学延迟来更新可调谐的延迟参数。在特 定实施例中，可调谐的延迟参数用以延迟将参考信号（例如信号302)提供到回声消除装置 306,从而增加回声处理组件322的有效回声消除时间范围。
[0121] 所述方法还可包含在410处确定是否启用零陷波束成形（即，用以抑制与一或多 个特定音频输出装置相关联的音频数据的波束成形）。在不启用零陷波束成形时，所述方法 结束，且音频处理装置在418处准备好运行于使用模式中。在启用零陷波束成形时，所述方 法包含在412处确定将被调零的每一音频输出装置的到达方向（D0A)。在414处，D0A可在 其经确定之后进行存储（例如，在图2的存储器207处）。在确定将调零的每一音频输出 装置的D0A之后，音频处理装置在416处退出校准模式，且在418处准备好运行于使用模式 中。
[0122] 图5为图1到3的音频处理装置的操作方法的第二特定实施例的流程图。所述方 法包含在502处启动（例如，运行）音频处理装置的使用模式。所述方法还包含在504处 启动（例如，运行）回声消除器，例如图3的回声处理装置322的回声消除电路。所述方法 还包含在506处，估计近端用户（例如，图1的用户122)的目标到达方向（D0A)。如果存在 干扰源，那么也可确定干扰源的到达方向〇)〇A)。
[0123] 所述方法可包含在508处，确定目标D0A是否与音频输出装置的存储的D0A-致。 可能在音频处理装置的校准模式期间已确定了存储的D0A。在目标D0A不与任何音频输出 装置的存储的D0A-致时，所述方法包含在510处，使用存储的D0A产生用于一或多个音频 输出装置的调零。在特定实施例中，可产生用于每一前置音频输出装置的调零，其中前置是 指具有从音频输出装置到麦克风阵列130的直接声学路径（与反射声学路径相反）。为进 行说明，在图1中，在扬声器106与麦克风阵列130之间存在直接声学路径，但在右扬声器 105与麦克风阵列130之间不存在直接声学路径。
[0124] 所述方法还包含在512处产生目标D0A的跟踪波束。所述跟踪波束可改进与来自 目标D0A的声学信号相关联的音频数据的接收及/或处理，例如改进来自用户的语音输入 的处理。所述方法还可包含在514处输出（例如，发送）用于零陷波束成形的通过指示符。 可将通过指示符提供到回声消除器以指示在提供到回声消除器的音频数据中已形成调零， 其中调零对应于特定音频输出装置的D0A。在将调零多个音频输出装置时，可将多个通过 指示符提供到回声消除器，将调零每一音频输出装置中的一者。或者，可将单个通过指示符 提供到回声消除器以指示已形成对应于将调零的音频输出装置中的每一者的调零。回声消 除器可包含线性回声消除器（例如，自适应滤波器）、非线性后处理（例如，回声消除后处 理（ECPP)回声消除器）或两者。在包含线性回声消除器的实施例中，通过指示符可用以 指示已经由波束成形移除与特定音频输出装置相关联的回声；因此，可不由回声消除器执 行与特定音频输出装置相关联的信号的线性回音消除。所述方法接着前进到在516处运行 音频数据的后续帧。
[0125] 当在508处目标D0A与任何音频输出装置的存储的D0A-致时，所述方法包含在 520处使用存储的D0A产生不与目标D0A-致的用于一或多个音频输出装置的调零。举例 来说，参看图1，如果用户122向他或她的左边移动了一点，那么在麦克风阵列130处的用户 的D0A将与扬声器108的D0A-致。在此实例中，音频处理组件140可形成调零150、154 及156,但不形成调零152以使得调零152不会抑制来自用户122的音频输入。
[0126] 所述方法还包含在522处产生目标D0A的跟踪波束。所述方法还可包含在524处 输出（例如，发送）具有与目标D0A-致的D0A的音频输出装置的零陷波束成形的失效指 示符。可将失效指示符提供到回声消除器，以指示尚未形成待形成的至少一个调零。在包 含线性回声消除器的实施例中，失效指示符可用以指示尚未经由波束成形移除与特定音频 输出装置相关联的回声；因此，与特定音频输出装置相关联的信号的线性回音消除可由回 声消除器执行。所述方法接着前进到在516处运行后续帧。
[0127] 提供用于估计在背景噪声及混响下足够强健的并行多个声音事件的音频信号的 每一帧的三维到达方向（D0A)的方法是一项挑战。可通过增加可靠频段的数目来改进强健 性。此方法可能需要适合于任意形状的麦克风阵列几何形状，以使得可避免对于麦克风几 何形状的特定约束。如本文中所描述的逐对1-D方法可以适当方式并入到任何几何形状 中。
[0128] 可实施此类方法以在无麦克风放置约束的情况下操作。还可实施此类方法以使用 上达尼奎斯特频率及下到较低频率的可用频段来跟踪源（例如，通过支持使用具有较大麦 克风间距离的麦克风对）。此类方法可经实施以选择所有可用麦克风对当中的最佳对，而 并非限于单对麦克风用于跟踪。此类方法可用以支持甚至远场情境（高达3米到5米或大 于5米的距离）中的源跟踪，及提供高得多的D0A分辨率。其它可能的特征包含获得放射 源的2-D表示。对于最佳的结果，可能需要每一源为稀疏宽带音频源，且每一频段大部分受 不超过一个源支配。
[0129] 对于由一对麦克风从特定D0A中的点声源直接接收的信号，每一频率分量的相位 延迟不同，且还取决于麦克风之间的间距。在特定频段处的相位延迟的观测值可被计算为 复数FFT系数的虚数项与复数FFT系数的实数项的比率的反正切。
[0130] 如图6A中所示，在特定频率f处的至少一个麦克风MC10、MC20的源S01的相位延 迟值可与远场（即平面波）假设下的源D0A相关，如

【权利要求】
1. 一种用于由电子装置进行回声降低的方法，其包括： 调零至少一个扬声器； 基于声学路径的集合混频运行时间音频信号的集合以确定参考信号； 接收基于运行时间音频信号的所述集合的至少一个复合音频信号；及 基于所述参考信号降低所述至少一个复合音频信号中的回声。
2. 根据权利要求1所述的方法，其进一步包括： 将输出校准音频信号的集合输出； 接收基于输出校准音频信号的所述集合的输入校准音频信号的集合；及 基于输入校准音频信号的所述集合确定声学路径的所述集合。
3. 根据权利要求2所述的方法，其中输出校准音频信号的所述集合中的每一者是按输 出序列个别地输出，且其中输入校准音频信号的所述集合中的每一者是按输入序列个别地 接收。
4. 根据权利要求1所述的方法，其中所述至少一个复合音频信号由无线通信装置中的 两个或两个以上麦克风接收，且其中混频运行时间音频信号的所述集合及降低所述回声由 音频处理装置执行。
5. 根据权利要求1所述的方法，其进一步包括将第一声学路径应用于多个运行时间音 频信号。
6. 根据权利要求1所述的方法，其中所述至少一个复合音频信号由无线通信装置中的 两个或两个以上麦克风接收，其中传达每一麦克风的向下混频源，且其中传达具有回声消 除/噪声抑制的增强话语。
7. 根据权利要求1所述的方法，其进一步包括确定对扬声器音频信号进行滤波的滤波 器集合的系数。
8. 根据权利要求7所述的方法，其中至少两个滤波器共享系数。
9. 根据权利要求7所述的方法，其中来自第一滤波器的系数被用作第二滤波器的系 数。
10. 根据权利要求7所述的方法，其中至少一个滤波器经配置以仅改变输入信号的振 幅及延迟。
11. 根据权利要求7所述的方法，其中至少一个滤波器是基于脉冲响应。
12. 根据权利要求1所述的方法，其进一步包括基于自适应滤波器确定是否进行重新 校准。
13. -种用于回声降低的电子装置，其包括： 调零电路，其调零至少一个扬声器； 混频电路，其基于声学路径的集合混频运行时间音频信号的集合以确定参考信号； 两个或两个以上麦克风，其接收基于运行时间音频信号的所述集合的至少一个复合音 频信号；及 回声降低电路，其基于所述参考信号降低所述至少一个复合音频信号中的回声。
14. 根据权利要求13所述的电子装置，其进一步包括： 扬声器，其将输出校准音频信号的集合输出，其中所述两个或两个以上麦克风接收基 于输出校准音频信号的所述集合的输入校准音频信号的集合；及 声学路径确定电路，其基于输入校准音频信号的所述集合确定声学路径的所述集合。
15. 根据权利要求14所述的电子装置，其中输出校准音频信号的所述集合中的每一者 是按输出序列个别地输出，且其中输入校准音频信号的所述集合中的每一者是按输入序列 个别地接收。
16. 根据权利要求13所述的电子装置，其中混频运行时间音频信号的所述集合及降低 所述回声由音频处理装置执行。
17. 根据权利要求13所述的电子装置，其中将第一声学路径应用于多个运行时间音频 信号。
18. 根据权利要求13所述的电子装置，其中传达每一麦克风的向下混频源，且其中传 达具有回声消除/噪声抑制的增强话语。
19. 根据权利要求13所述的电子装置，其进一步包括确定对扬声器音频信号进行滤波 的滤波器集合的系数的声学路径确定电路。
20. 根据权利要求19所述的电子装置，其中至少两个滤波器共享系数。
21. 根据权利要求19所述的电子装置，其中来自第一滤波器的系数被用作第二滤波器 的系数。
22. 根据权利要求19所述的电子装置，其中至少一个滤波器经配置以仅改变输入信号 的振幅及延迟。
23. 根据权利要求19所述的电子装置，其中至少一个滤波器是基于脉冲响应。
24. 根据权利要求13所述的电子装置，其进一步包括基于自适应滤波器确定是否进行 重新校准的重新校准电路。
25. -种用于回声降低的设备，其包括： 用于调零至少一个扬声器的装置； 用于基于声学路径的集合混频运行时间音频信号的集合以确定参考信号的装置； 用于接收基于运行时间音频信号的所述集合的至少一个复合音频信号的装置；及 用于基于所述参考信号降低所述至少一个复合音频信号中的回声的装置。
26. 根据权利要求25所述的设备，其进一步包括： 用于将输出校准音频信号的集合输出的装置； 用于接收基于输出校准音频信号的所述集合的输入校准音频信号的集合的装置；及 用于基于输入校准音频信号的所述集合确定声学路径的所述集合的装置。
27. 根据权利要求26所述的设备，其中输出校准音频信号的所述集合中的每一者是按 输出序列个别地输出，且其中输入校准音频信号的所述集合中的每一者是按输入序列个别 地接收。
28. 根据权利要求25所述的设备，其中所述用于混频运行时间音频信号的所述集合的 装置及所述用于降低所述回声的装置包含于音频处理装置中。
29. 根据权利要求25所述的设备，其进一步包括用于将第一声学路径应用于多个运行 时间音频信号的装置。
30. 根据权利要求25所述的设备，其中传达每一麦克风的向下混频源，且其中传达具 有回声消除/噪声抑制的增强话语。
31. 根据权利要求25所述的设备，其进一步包括用于确定对扬声器音频信号进行滤波 的滤波器集合的系数的装置。
32. 根据权利要求31所述的设备，其中至少两个滤波器共享系数。
33. 根据权利要求31所述的设备，其中来自第一滤波器的系数被用作第二滤波器的系 数。
34. 根据权利要求31所述的设备，其中至少一个滤波器经配置以仅改变输入信号的振 幅及延迟。
35. 根据权利要求31所述的设备，其中至少一个滤波器是基于脉冲响应。
36. 根据权利要求25所述的设备，其进一步包括用于基于自适应滤波器确定是否进行 重新校准的装置。
37. -种用于回声降低的计算机程序产品，其包括上面具有指令的非暂时性有形计算 机可读媒体，所述指令包括： 用于致使电子装置调零至少一个扬声器的代码； 用于致使电子装置基于声学路径的集合混频运行时间音频信号的集合以确定参考信 号的代码； 用于致使电子装置接收基于运行时间音频信号的所述集合的至少一个复合音频信号 的代码；及 用于致使所述电子装置基于所述参考信号降低所述至少一个复合音频信号中的回声 的代码。
38. 根据权利要求37所述的计算机程序产品，其进一步包括： 用于致使所述电子装置将输出校准音频信号的集合输出的代码； 用于致使所述电子装置接收基于输出校准音频信号的所述集合的输入校准音频信号 的集合的代码；及 用于致使所述电子装置基于输入校准音频信号的所述集合确定声学路径的所述集合 的代码。
39. 根据权利要求38所述的计算机程序产品，其中输出校准音频信号的所述集合中的 每一者是按输出序列个别地输出，且其中输入校准音频信号的所述集合中的每一者是按输 入序列个别地接收。
40. 根据权利要求37所述的计算机程序产品，其中所述用于致使所述电子装置混频运 行时间音频信号的所述集合的代码及所述用于致使所述电子装置降低所述回声的代码包 含于音频处理装置中。
41. 根据权利要求37所述的计算机程序产品，其进一步包括用于致使所述电子装置将 第一声学路径应用于多个运行时间音频信号的代码。
42. 根据权利要求37所述的计算机程序产品，其中传达每一麦克风的向下混频源，且 其中传达具有回声消除/噪声抑制的增强话语。
43. 根据权利要求37所述的计算机程序产品，其进一步包括用于致使所述电子装置确 定对扬声器音频信号进行滤波的滤波器集合的系数的代码。
44. 根据权利要求43所述的计算机程序产品，其中至少两个滤波器共享系数。
45. 根据权利要求43所述的计算机程序产品，其中来自第一滤波器的系数被用作第二 滤波器的系数。
46. 根据权利要求43所述的计算机程序产品，其中至少一个滤波器经配置以仅改变输 入信号的振幅及延迟。
47. 根据权利要求43所述的计算机程序产品，其中至少一个滤波器是基于脉冲响应。
48. 根据权利要求37所述的计算机程序产品，其中所述指令进一步包括用于致使所述 电子装置基于自适应滤波器确定是否进行重新校准的代码。
49. 一种用于由电子装置确定延迟的方法，其包括： 执行用于环绕声回声降低的校准； 基于所述校准确定扬声器间延迟；及 基于所述扬声器间延迟调零至少一个扬声器。
50. 根据权利要求49所述的方法，其中所述扬声器间延迟为扬声器音频信号的到达时 间与参考扬声器音频信号的到达时间之间的差。
51. 根据权利要求50所述的方法，其中所述参考扬声器音频信号对应于具有最短延迟 的扬声器。
52. 根据权利要求50所述的方法，其进一步包括基于所述扬声器间延迟混频至少两个 信号。
53. -种用于确定延迟的电子装置，其包括： 校准电路，其执行用于环绕声回声降低的校准及基于所述校准确定扬声器间延迟；及 波束成形电路，其基于所述扬声器间延迟调零至少一个扬声器。
54. 根据权利要求53所述的电子装置，其中所述扬声器间延迟为扬声器音频信号的到 达时间与参考扬声器音频信号的到达时间之间的差。
55. 根据权利要求54所述的电子装置，其中所述参考扬声器音频信号对应于具有最短 延迟的扬声器。
56. 根据权利要求54所述的电子装置，其进一步包括基于所述扬声器间延迟混频至少 两个信号的混频电路。
57. -种用于确定延迟的设备，其包括： 用于执行用于环绕声回声降低的校准的装置； 用于基于所述校准确定扬声器间延迟的装置；及 用于基于所述扬声器间延迟调零至少一个扬声器的装置。
58. 根据权利要求57所述的设备，其中所述扬声器间延迟为扬声器音频信号的到达时 间与参考扬声器音频信号的到达时间之间的差。
59. 根据权利要求58所述的设备，其中所述参考扬声器音频信号对应于具有最短延迟 的扬声器。
60. 根据权利要求58所述的设备，其进一步包括用于基于所述扬声器间延迟混频至少 两个信号的装置。
61. -种用于确定延迟的计算机程序产品，其包括上面具有指令的非暂时性有形计算 机可读媒体，所述指令包括： 用于致使电子装置执行用于环绕声回声降低的校准的代码； 用于致使所述电子装置基于所述校准确定扬声器间延迟的代码；及 用于致使所述电子装置基于所述扬声器间延迟调零至少一个扬声器的代码。
62. 根据权利要求61所述的计算机程序产品，其中所述扬声器间延迟为扬声器音频信 号的到达时间与参考扬声器音频信号的到达时间之间的差。
63. 根据权利要求62所述的计算机程序产品，其中所述参考扬声器音频信号对应于具 有最短延迟的扬声器。
64. 根据权利要求62所述的计算机程序产品，其进一步包括用于致使所述电子装置基 于所述扬声器间延迟混频至少两个信号的代码。
【文档编号】H04R3/00GK104429100SQ201380035302
【公开日】2015年3月18日 申请日期:2013年7月2日 优先权日:2012年7月2日
【发明者】阿西夫·I·穆罕默德, 金莱轩, 埃里克·维瑟 申请人:高通股份有限公司