音频信号处理方法及装置、差分波束形成方法及装置制造方法

音频信号处理方法及装置、差分波束形成方法及装置制造方法
【专利摘要】本发明公开了一种音频信号处理方法及装置、差分波束形成方法及装置，以解决现有的音频信号处理系统无法同时对多种应用场景下音频信号处理的问题。本发明中确定超指向差分波束形成权系数；根据当前应用场景所需输出信号类型获取当前应用场景对应的权系数，利用获取的权系数对音频输入信号进行超指向差分波束形成处理，得到当前应用场景下的超指向差分波束形成信号；对形成信号进行处理，得到当前应用场景所需的最终音频信号。通过本发明能够满足不同应用场景需要不同音频信号处理方式的需求。
【专利说明】音频信号处理方法及装置、差分波束形成方法及装置

【技术领域】
[0001] 本发明涉及音频【技术领域】，尤其涉及一种音频信号处理方法及装置、差分波束形 成方法及装置。

【背景技术】
[0002] 随着麦克风阵列处理技术的不断发展，利用麦克风阵列进行音频信号采集的应用 范围越来越广泛，例如可应用于高清通话、音视频会议、语音交互、空间声场录制等多种应 用场景下，并将逐步被应用到车载系统、家庭媒体系统、视频会议系统等更广泛的应用场景 下。
[0003] -般的，不同的应用场景具有不同的音频信号处理装置，并采用不同的麦克风阵 列处理技术，例如需要单声道信号的高性能人机交互以及高清话音通信场景下，一般利用 基于自适应波束形成技术的麦克风阵列进行音频信号的采集，对麦克风阵列采集到的音频 信号处理后输出单声道信号，即这种应用于单声道信号输出的音频信号处理系统只能获取 单声道信号，无法应用于需求双声道信号的场景，例如无法实现空间声场的录制。
[0004] 随着一体化进程的发展，集高清通话、音视频会议、语音交互、空间声场录制等多 种功能为一体的终端已被应用，在终端工作在不同应用场景下就需要不同的麦克风阵列处 理系统进行音频信号的处理，以得到不同的输出信号，技术实现相对较复杂，因此设计一种 音频信号处理装置，使其同时满足高清话音通信、音视频会议、语音交互以及空间声场录制 等多种应用场景，是麦克风阵列处理技术的研究方向。


【发明内容】

[0005] 本发明实施例提供一种音频信号处理方法及装置、差分波束形成方法及装置，以 解决现有的音频信号处理装置无法同时满足多种应用场景下音频信号处理的问题。
[0006] 第一方面，提供一种音频信号的处理装置，包括权系数存储模块、信号获取模块、 波束形成处理模块和信号输出模块，其中：
[0007] 所述权系数存储模块，用于存储超指向差分波束形成权系数；
[0008] 所述信号获取模块，用于获取音频输入信号，并向所述波束形成处理模块输出所 述音频输入信号，还用于确定当前应用场景以及当前应用场景所需输出信号类型，并向所 述波束形成处理模块传输所述当前应用场景以及当前应用场景所需输出信号类型；
[0009] 所述波束形成处理模块，用于根据当前应用场景所需输出信号类型从所述权系数 存储模块获取与当前应用场景对应的权系数，利用获取的所述权系数对所述音频输入信号 进行超指向差分波束形成处理，得到超指向差分波束形成信号，并向所述信号输出模块传 输所述超指向差分波束形成信号；
[0010] 所述信号输出模块，用于输出所述超指向差分波束形成信号。
[0011] 结合第一方面，在第一种可能的实现方式中，所述波束形成处理模块，具体用于： [0012]当所述当前应用场景所需输出信号类型为双声道信号时，从所述权系数存储模块 获取左声道超指向差分波束形成权系数以及右声道超指向差分波束形成权系数；
[0013] 根据所述左声道超指向差分波束形成权系数对所述音频输入信号进行超指向差 分波束形成处理，得到左声道超指向差分波束形成信号；以及
[0014] 根据所述右声道超指向差分波束形成权系数对所述音频输入信号进行超指向差 分波束形成处理，得到右声道超指向差分波束形成信号；
[0015] 向所述信号输出模块传输所述左声道超指向差分波束形成信号和所述右声道超 指向差分波束形成信号；
[0016] 所述信号输出模块，具体用于：
[0017] 输出所述左声道超指向差分波束形成信号和所述右声道超指向差分波束形成信 号。
[0018] 结合第一方面，在第二种可能的实现方式中，
[0019] 所述波束形成处理模块，具体用于：
[0020] 当所述当前应用场景所需输出信号类型为单声道信号时，从所述权系数存储模块 获取当前应用场景对应的单声道超指向差分波束形成权系数；
[0021] 根据所述单声道超指向差分波束形成权系数对所述音频输入信号进行超指向差 分波束形成处理，形成一路单声道超指向差分波束形成信号；
[0022] 向所述信号输出模块传输所述一路单声道超指向差分波束形成信号；
[0023] 所述信号输出模块，具体用于：
[0024] 输出所述一路单声道超指向差分波束形成信号。
[0025] 结合第一方面，在第三种可能的实现方式中，所述音频信号处理装置还包括麦克 风阵列调整模块，其中：
[0026] 所述麦克风阵列调整模块，用于调整麦克风阵列为第一子阵列与第二子阵列，所 述第一子阵列的端射方向与所述第二子阵列的端射方向不同；
[0027] 所述第一子阵列与所述第二子阵列分别采集原始音频信号，并将所述原始音频信 号作为音频输入信号向所述信号获取模块传输。
[0028] 结合第一方面，在第四种可能的实现方式中，所述音频信号处理装置还包括麦克 风阵列调整模块，其中：
[0029] 所述麦克风阵列调整模块，用于调整麦克风阵列的端射方向，使所述端射方向指 向目标声源；
[0030] 所述麦克风阵列采集所述目标声源发出的原始音频信号，并将所述原始音频信号 作为音频输入信号向所述信号获取模块传输。
[0031] 结合第一方面，第一方面的第一种可能的实现方式，第一方面的第二种可能的实 现方式，在第五种可能的实现方式中，所述音频信号处理装置还包括权系数更新模块，其 中，
[0032] 所述权系数更新模块，具体用于：
[0033] 判断音频采集区域是否被调整；
[0034] 若所述音频采集区域被调整，则确定麦克风阵列的几何形状、扬声器位置以及调 整后的音频采集有效区域；
[0035] 根据所述音频采集有效区域调整波束形状，或者根据所述音频采集有效区域和所 述扬声器位置调整波束形状，得到调整的波束形状；
[0036] 根据所述麦克风阵列的几何形状、所述调整的波束形状，确定超指向差分波束形 成权系数，得到调整权系数，并将所述调整权系数向所述权系数存储模块传输；
[0037] 所述权系数存储模块，具体用于：存储所述调整权系数。
[0038] 结合第一方面，在第六种可能的实现方式中，所述音频信号处理装置还包括回声 消除模块，其中，
[0039] 所述回声消除模块，具体用于：
[0040] 缓存扬声器播放信号，对麦克风阵列采集的原始音频信号进行回声消除，得到回 声消除音频信号，并所述回声消除音频信号作为音频输入信号向所述信号获取模块传输； 或者
[0041] 对波束形成处理模块输出的超指向差分波束形成信号进行回声消除，得到回声消 除超指向差分波束形成信号，并向所述信号输出模块传输所述回声消除超指向差分波束形 成信号；
[0042] 所述信号输出模块，具体用于：
[0043] 输出所述回声消除超指向差分波束形成信号。
[0044] 结合第一方面，在第七种可能的实现方式中，所述音频信号处理装置还包括回声 抑制模块和噪声抑制模块，其中，
[0045] 所述回声抑制模块，用于对所述波束形成处理模块输出的超指向差分波束形成信 号进行回声抑制处理，或者对所述噪声抑制模块输出的噪声抑制超指向差分波束形成信号 进行回声抑制处理，得到回声抑制超指向差分波束形成信号，并向所述信号输出模块传输 所述回声抑制超指向差分波束形成信号；
[0046] 所述噪声抑制模块，用于对波束形成处理模块输出的超指向差分波束形成信号进 行噪声抑制处理，或者对所述回声抑制模块输出的所述回声抑制超指向差分波束形成信号 进行噪声抑制处理，得到噪声抑制超指向差分波束形成信号，并向所述信号输出模块传输 所述噪声抑制超指向差分波束形成信号；
[0047] 所述信号输出模块，具体用于：
[0048] 输出所述回声抑制超指向差分波束形成信号或者所述噪声抑制超指向差分波束 形成信号。
[0049] 结合第一方面的第七种可能实现方式，在第八种可能的实现方式中，所述波束形 成处理模块，还用于：
[0050] 在麦克风阵列能够调整的端射方向中、除声源方向以外的其它方向上，形成至少 一个波束形成信号作为参考噪声信号，并向所述噪声抑制模块传输所述参考噪声信号。
[0051] 第二方面，提供一种音频信号处理方法，包括：
[0052] 确定超指向差分波束形成权系数；
[0053] 获取音频输入信号，并确定当前应用场景以及当前应用场景所需输出信号类型；
[0054] 根据当前应用场景所需输出信号类型获取当前应用场景对应的权系数，利用获取 的所述权系数对所述音频输入信号进行超指向差分波束形成处理，得到超指向差分波束形 成信号，并输出所述超指向差分波束形成信号。
[0055] 结合第二方面，在第一种可能的实现方式中，所述根据当前应用场景所需输出信 号类型获取当前应用场景对应的权系数，利用获取的所述权系数对所述音频输入信号进行 超指向差分波束形成处理，得到超指向差分波束形成信号，并输出所述超指向差分波束形 成信号，具体包括：
[0056] 在当前应用场景所需输出信号类型为双声道信号时，获取左声道超指向差分波束 形成权系数以及右声道超指向差分波束形成权系数；
[0057] 根据所述左声道超指向差分波束形成权系数对所述音频输入信号进行超指向差 分波束形成处理，得到左声道超指向差分波束形成信号；
[0058] 根据所述右声道超指向差分波束形成权系数对所述音频输入信号进行超指向差 分波束形成处理，得到右声道超指向差分波束形成信号；
[0059] 输出所述左声道超指向差分波束形成信号和所述右声道超指向差分波束形成信 号。
[0060] 结合第二方面，在第二种可能的实现方式中，所述根据当前应用场景所需输出信 号类型获取当前应用场景对应的权系数，利用获取的所述权系数对所述音频输入信号进行 超指向差分波束形成处理，得到超指向差分波束形成信号，并输出所述超指向差分波束形 成信号，具体包括：
[0061] 在当前应用场景所需输出信号类型为单声道信号时，获取当前应用场景形成单声 道信号的单声道超指向差分波束形成权系数；
[0062] 根据获取的单声道超指向差分波束形成权系数，对所述音频输入信号进行超指向 差分波束形成处理，形成一路单声道超指向差分波束形成信号，并输出所述一路单声道超 指向差分波束形成信号。
[0063] 结合第二方面，在第三种可能的实现方式中，获取音频输入信号之前，该方法还包 括：
[0064] 调整麦克风阵列为第一子阵列与第二子阵列，所述第一子阵列的端射方向与所述 第二子阵列的端射方向不同；
[0065] 利用所述所述第一子阵列与所述第二子阵列分别采集原始音频信号，将所述原始 音频信号作为音频输入信号。
[0066] 结合第二方面，在第四种可能的实现方式中，获取音频输入信号之前，该方法还包 括：
[0067] 调整麦克风阵列的端射方向，使所述端射方向指向目标声源；
[0068] 采集目标声源的原始音频信号，并将所述原始音频信号作为音频输入信号。
[0069] 结合第二方面，第二方面的第一种可能的实现方式，第二方面的第二种可能的实 现方式，在第五种可能的实现方式中，根据当前应用场景所需输出信号类型获取当前应用 场景对应的权系数之前，该方法还包括：
[0070] 判断音频采集区域是否被调整；
[0071] 若所述音频采集区域被调整，则确定麦克风阵列的几何形状、扬声器位置以及调 整后的音频采集有效区域；
[0072] 根据所述音频采集有效区域调整波束形状，或者根据所述音频采集有效区域和所 述扬声器位置调整波束形状，得到调整的波束形状；
[0073] 根据所述麦克风阵列的几何形状、所述调整的波束形状，确定超指向差分波束形 成权系数，得到调整权系数；
[0074] 利用所述调整权系数对所述音频输入信号进行超指向差分波束形成处理。
[0075] 结合第二方面，在第六种可能的实现方式中，该方法还包括：
[0076] 对麦克风阵列采集的原始音频信号进行回声消除；或者
[0077] 对所述超指向差分波束形成信号进行回声消除。
[0078] 结合第二方面，在第七种可能的实现方式中，形成超指向差分波束形成信号之后， 该方法还包括：
[0079] 对所述超指向差分波束形成信号进行回声抑制处理，和/或噪声抑制处理。
[0080] 结合第二方面，在第八可能的实现方式中，该方法还包括：
[0081] 在麦克风阵列能够调整的端射方向中、除声源方向以外的其它方向上，形成至少 一个波束形成信号作为参考噪声信号；
[0082] 利用所述参考噪声信号对所述超指向差分波束形成信号进行噪声抑制处理。
[0083] 第三方面，提供一种差分波束形成方法，包括：
[0084] 根据麦克风阵列的几何形状和设定的音频采集有效区域，确定差分波束形成权系 数并存储；或者根据麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定 差分波束形成权系数并存储；
[0085] 根据当前应用场景所需输出信号类型获取当前应用场景对应的权系数，利用获取 的所述权系数对音频输入信号进行差分波束形成处理，得到超指向差分波束。
[0086] 结合第三方面，在第一种可能的实现方式中，所述确定差分波束形成权系数的过 程，具体包括：
[0087] 根据麦克风阵列的几何形状和设定的音频采集有效区域，确定?(ω，Θ)和β ; 或根据麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定D(?，Θ)和 β ;
[0088] 根据确定的 D ( ω，Θ )和 β，按照公式：h ( ω ) =DH( ω，Θ ) [D ( ω，Θ ) ?Η(ω，θ )ΓΜ，确定超指向差分波束形成的权系数；
[0089] 其中，h(c〇)为权系数，D(c〇, Θ)为任意几何形状的麦克风阵列所对应的转向矩 阵，由不同入射角度下声源到达麦克风阵列中各麦克风间的相对时延决定的，D H(c〇, Θ )表 示D(c〇, Θ)的共轭转置矩阵，ω为音频信号的频率，Θ为声源入射角度，β为入射角度为 Θ时的响应向量。
[0090] 结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据 麦克风阵列的几何形状和设定的音频采集有效区域，确定D(C0, Θ)和β，具体包括：
[0091] 根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向以 及零点方向；
[0092] 根据转换的所述极点方向以及所述零点方向，确定不同应用场景下的?(ω，Θ) 和β ;
[0093] 其中，所述极点方向为使超指向差分波束在该方向上响应值为1的入射角度，所 述零点方向为使超指向差分波束在该方向上响应值为〇的入射角度。
[0094] 结合第三方面的第一种可能的实现方式，在第三种可能的实现方式中，所述根据 麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定?(ω，Θ)和β，具 体包括：
[0095] 根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向以 及零点方向，将扬声器位置转换为零点方向；
[0096] 根据转换的所述极点方向以及所述零点方向，确定不同应用场景下的?(ω, Θ ) 和β ;
[0097] 其中，所述极点方向为使超指向差分波束在该方向上响应值为1的入射角度，所 述零点方向为使超指向差分波束在该方向上响应值为〇的入射角度。
[0098] 结合第三方面的第二种可能实现方式，或者结合第三方面的第三种可能实现方 式，在第四种可能的实现方式中，所述根据不同应用场景所需输出信号类型，将设定的音频 有效区域转换为极点方向以及零点方向，具体包括：
[0099] 当应用场景所需输出信号类型为单声道信号时，设定麦克风阵列的端射方向为极 点方向，并设定M个零点方向，其中MS N-I，N为麦克风阵列中的麦克风数量；
[0100] 当应用场景所需输出信号类型为双声道信号时，设定麦克风阵列的〇度方向为极 点方向，并将麦克风阵列的180度方向设定为零点方向，以确定其中一个声道对应的超指 向差分波束形成权系数，并设定麦克风阵列的180度方向为极点方向，并将麦克风阵列的0 度方向设定为零点方向，以确定另一个声道对应的超指向差分波束形成权系数。
[0101] 第四方面，提供一种差分波束形成装置，包括：权系数确定单元和波束形成处理单 元；
[0102] 所述权系数确定单元，用于根据麦克风阵列的几何形状和设定的音频采集有效区 域，确定差分波束形成权系数，并将形成的所述权系数向所述波束形成处理单元传输；或根 据麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定差分波束形成权 系数，并将形成的所述权系数向所述波束形成处理单元传输；
[0103] 所述波束形成处理单元，根据当前应用场景所需输出信号类型从所述权系数确定 单元获取当前应用场景对应的权系数，利用获取的所述权系数对音频输入信号进行差分波 束形成处理。
[0104] 结合第四方面，在第一种可能的实现方式中，所述权系数确定单元，具体用于：
[0105] 根据麦克风阵列的几何形状和设定的音频采集有效区域，确定?(ω，Θ)和β ; 或根据麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定D(?，Θ)和 β ;
[0106] 根据确定的 D(c〇, Θ )和 β，按照公式：h(c〇)=DH(c〇, θ ) 〇)(ω，Θ ) ?Η(ω，θ )ΓΜ，确定超指向差分波束形成的权系数；
[0107] 其中，h(〇3)为权系数，D(C0, Θ)为任意几何形状的麦克风阵列所对应的转向矩 阵，由不同入射角度下声源到达麦克风阵列中各麦克风间的相对时延决定的，D H(c〇, Θ )表 示D(c〇, Θ)的共轭转置矩阵，ω为音频信号的频率，Θ为声源入射角度，β为入射角度为 Θ时的响应向量。
[0108] 结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述权系 数确定单元，具体用于：
[0109] 根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向以 及零点方向，并根据得到的极点方向以及零点方向，确定不同应用场景下的?(ω，Θ)和 β;或者根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向以 及零点方向，将扬声器位置转换为零点方向，并根据得到的极点方向以及零点方向，确定不 同应用场景下的D(c〇, Θ )和β ;
[oho] 其中，所述极点方向为使超指向差分波束在该方向上响应值为1的入射角度，所 述零点方向为使超指向差分波束在该方向上响应值为〇的入射角度。
[0111] 结合第四方面的第二种可能的实现方式，在第三种可能的实现方式中，所述权系 数确定单元，具体用于：
[0112] 当应用场景所需输出信号类型为单声道信号时，设定麦克风阵列的端射方向为极 点方向，并设定M个零点方向，其中MS N-I，N为麦克风阵列中的麦克风数量；
[0113] 当应用场景所需输出信号类型为双声道信号时，设定麦克风阵列的0度方向为极 点方向，并将麦克风阵列的180度方向设定为零点方向，以确定其中一个声道对应的超指 向差分波束形成权系数，并设定麦克风阵列的180度方向为极点方向，并将麦克风阵列的0 度方向设定为零点方向，以确定另一个声道对应的超指向差分波束形成权系数。
[0114] 本发明提供的音频信号处理装置，波束形成处理模块根据当前应用场景所需的输 出信号类型，从权系数存储模块获取与当前应用场景对应的权系数，并利用获取的权系数 对信号获取模块输出的音频输入信号进行超指向差分波束处理，形成当前应用场景下的超 指向差分波束形成信号，对超指向差分波束进行相应的处理即可得到最终所需的音频输出 信号，能够满足不同应用场景需要不同音频信号处理方式的需求。

【专利附图】

【附图说明】
[0115] 图1为本发明实施例提供的音频信号处理方法流程图；
[0116] 图2Α-图2F为本发明实施例提供的直线形麦克风布放示意图；
[0117] 图3Α-图3C为本发明实施例提供的麦克风阵列示意图；
[0118] 图4Α-图4Β为本发明实施例提供的麦克风阵列端射方向与扬声器角度相关性 意图；
[0119] 图5为本发明实施例中形成两路音频信号麦克风阵列角度示意图；
[0120] 图6为本发明实施例麦克风阵列拆分为两个子阵列后的示意图；
[0121] 图7为本发明实施例人机交互和高清话音通信过程中音频信号处理方法流程图；
[0122] 图8为本发明实施例提供的空间声场录制过程中音频信号处理方法流程图；
[0123] 图9为本发明实施例提供的立体声通话中音频信号处理方法流程图；
[0124] 图IOA为空间声场录制过程中音频信号的处理方法；
[0125] 图IOB为立体声通话过程中音频信号处理方法流程图；
[0126] 图IlA-图IlE为本发明实施例提供的音频信号处理装置结构示意图；
[0127] 图12为本发明实施例提供的差分波束形成流程示意图；
[0128] 图13为本发明实施例提供的差分波束形成装置构成示意图；
[0129] 图14为本发明实施例提供的控制器构成示意图。

【具体实施方式】
[0130] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0131] 实施例一
[0132] 本发明实施例一提供一种音频信号处理方法，如图1所示，包括：
[0133] SlOl :确定超指向差分波束形成权系数。
[0134] 具体的，本发明实施例中涉及的应用场景可以包括高清通话、音视频会议、语音交 互、空间声场录制等多种应用场景，根据不同应用场景所需的音频信号处理方式，则可确定 不同的超指向差分波束形成权系数，本发明实施例中超指向差分波束为根据麦克风阵列的 几何形状、预先设定的波束形状，构建的差分波束。
[0135] S102 :获取当前应用场景所需的音频输入信号，并确定当前应用场景以及当前应 用场景所需输出信号类型。
[0136] 具体的，本发明实施例中形成超指向差分波束时，可根据当前应用场景下是否需 要对麦克风阵列采集的原始音频信号进行回声消除处理，确定不同的音频输入信号，该音 频输入信号可以是根据当前应用场景确定的麦克风阵列采集的原始音频信号经过回声消 除的音频信号，或者麦克风阵列采集的原始音频信号。
[0137] 不同应用场景需要的输出信号类型是不同的，比如人机交互和高清话音通信应用 场景下需要的是单声道信号，在空间声场录制以及立体声通话应用场景下，则需要双声道 信号，本发明实施例中根据确定的当前应用场景，确定当前应用场景所需输出信号类型。
[0138] S103 :获取当前应用场景对应的权系数。
[0139] 具体的，本发明实施例中根据当前应用场景所需输出信号类型获取对应的权系 数，在当前应用场景所需输出信号类型为双声道信号时，获取当前应用场景对应的左声道 超指向差分波束形成权系数以及当前应用场景对应的右声道超指向差分波束形成权系数； 在当前应用场景所需输出信号类型为单声道信号时，获取形成单声道信号的当前应用场景 的单声道超指向差分波束形成权系数。
[0140] S104 :利用S103中获取的权系数对S102中获取的音频输入信号进行超指向差分 波束形成处理，得到超指向差分波束形成信号。
[0141] 具体的，本发明实施例中在当前应用场景所需输出信号类型为双声道信号时，获 取当前应用场景对应的左声道超指向差分波束形成权系数以及当前应用场景对应的右声 道超指向差分波束形成权系数；根据当前应用场景对应的左声道超指向差分波束形成权系 数对音频输入信号进行超指向差分波束形成处理，得到当前应用场景对应的左声道超指向 差分波束形成信号；以及根据当前应用场景对应的右声道超指向差分波束形成权系数对音 频输入信号进行超指向差分波束形成处理，得到当前应用场景对应的右声道超指向差分波 束形成信号。
[0142] 本发明实施例中，在当前应用场景所需输出信号类型为单声道信号时，获取单声 道信号的当前应用场景对应的超指向差分波束形成权系数，根据获取的差分波束形成权系 数，对音频输入信号进行超指向差分波束形成处理，形成一路单声道超指向差分波束形成 信号。
[0143] S105 :输出S104中得到的超指向差分波束形成信号。
[0144] 具体的，本发明实施例中输出S104中得到的超指向差分波束形成信号后，可对超 指向差分波束形成信号进行处理，得到当前应用场景所需的最终音频信号，可以按照当前 应用场景下所需的信号处理方式对超指向差分波束形成信号进行处理，例如对超指向差分 波束形成信号进行噪声抑制处理、回声抑制处理等，最终得到当前应用场景下所需的音频 信号。
[0145] 本发明实施例预先确定不同应用场景下超指向差分波束形成权系数，在需要对不 同应用场景的音频信号进行处理时，可以利用确定的当前应用场景下超指向差分波束形成 权系数以及当前应用场景的音频输入信号，形成当前应用场景下的超指向差分波束，对超 指向差分波束进行相应的处理即可得到最终所需的音频信号，能够满足不同应用场景需要 不同音频信号处理方式的需求。
[0146] 实施例二
[0147] 本发明以下将结合附图对实施例一涉及的音频信号处理方法进行详细说明。
[0148] 一、确定超指向差分波束形成权系数
[0149] 本发明实施例中可根据麦克风阵列的几何形状以及设定的波束形状确定不同输 出信号类型在不同应用场景对应的各超指向差分波束形成权系数，其中，波束形状为根据 不同输出信号类型在不同应用场景下对波束形状的要求确定，或者根据不同输出信号类型 在不同应用场景下对波束形状的要求和扬声器位置确定。
[0150] 本发明实施例中，进行超指向差分波束形成权系数的确定时，需要构建用于采集 音频信号的麦克风阵列，根据麦克风阵列的几何形状得到不同入射角度下声源到达麦克风 阵列中各麦克风间的相对时延，并根据设定的波束形状，确定超指向差分波束形成权系数。
[0151] 根据全指向麦克风阵列的几何形状以及设定的波束形状确定不同输出信号类型 在不同应用场景对应的各超指向差分波束形成权系数，可按照如下公式进行计算：
[0152] h ( ω ) =Dh ( ω，Θ ) [D ( ω，Θ ) Dh ( ω，θ ) ] η β
[0153] 其中，h(c〇)为权系数，D(c〇, θ)为任意几何形状的麦克风阵列所对应的转向矩 阵，由不同入射角度下声源到达麦克风阵列中各麦克风间的相对时延决定的，D H(c〇, Θ )表 示D(c〇, Θ)的共轭转置矩阵，ω为音频信号的频率，Θ为声源入射角度，β为入射角度为 Θ时的响应向量。
[0154] 在具体应用时，一般对频率ω进行离散化处理，也就是在信号的有效频带内离散 的采样一些频率点，对于不同的频率《 k，分别求取对应的权系数h( ω,)，组成系数矩阵。k 的取值范围与超指向差分波束形成时有效频点数有关。假设超指向差分波束形成时快速离 散傅里叶变换的长度为FFT_LEN，有效频点个数为FFT_LEN/2+l。假设信号的采样率为AHz， 则

【权利要求】
1. 一种音频信号处理装置，其特征在于，包括权系数存储模块、信号获取模块、波束形 成处理模块和信号输出模块，其中： 所述权系数存储模块，用于存储超指向差分波束形成权系数； 所述信号获取模块，用于获取音频输入信号，并向所述波束形成处理模块输出所述音 频输入信号，还用于确定当前应用场景W及当前应用场景所需输出信号类型，并向所述波 束形成处理模块传输所述当前应用场景W及当前应用场景所需输出信号类型； 所述波束形成处理模块，用于根据当前应用场景所需输出信号类型从所述权系数存储 模块获取与当前应用场景对应的权系数，利用获取的所述权系数对所述音频输入信号进行 超指向差分波束形成处理，得到超指向差分波束形成信号，并向所述信号输出模块传输所 述超指向差分波束形成信号； 所述信号输出模块，用于输出所述超指向差分波束形成信号。
2. 如权利要求1所述的装置，其特征在于， 所述波束形成处理模块，具体用于： 当所述当前应用场景所需输出信号类型为双声道信号时，从所述权系数存储模块获取 左声道超指向差分波束形成权系数W及右声道超指向差分波束形成权系数； 根据所述左声道超指向差分波束形成权系数对所述音频输入信号进行超指向差分波 束形成处理，得到左声道超指向差分波束形成信号；W及 根据所述右声道超指向差分波束形成权系数对所述音频输入信号进行超指向差分波 束形成处理，得到右声道超指向差分波束形成信号； 向所述信号输出模块传输所述左声道超指向差分波束形成信号和所述右声道超指向 差分波束形成信号； 所述信号输出模块，具体用于： 输出所述左声道超指向差分波束形成信号和所述右声道超指向差分波束形成信号。
3. 如权利要求1所述的装置，其特征在于， 所述波束形成处理模块，具体用于： 当所述当前应用场景所需输出信号类型为单声道信号时，从所述权系数存储模块获取 当前应用场景对应的单声道超指向差分波束形成权系数； 根据所述单声道超指向差分波束形成权系数对所述音频输入信号进行超指向差分波 束形成处理，形成一路单声道超指向差分波束形成信号； 向所述信号输出模块传输所述一路单声道超指向差分波束形成信号； 所述信号输出模块，具体用于： 输出所述一路单声道超指向差分波束形成信号。
4. 如权利要求1所述的装置，其特征在于，所述音频信号处理装置还包括麦克风阵列 调整模块，其中： 所述麦克风阵列调整模块，用于调整麦克风阵列为第一子阵列与第二子阵列，所述第 一子阵列的端射方向与所述第二子阵列的端射方向不同； 所述第一子阵列与所述第二子阵列分别采集原始音频信号，并将所述原始音频信号作 为音频输入信号向所述信号获取模块传输。
5. 如权利要求1所述的装置，其特征在于，所述音频信号处理装置还包括麦克风阵列 调整板块，其中： 所述麦克风阵列调整模块，用于调整麦克风阵列的端射方向，使所述端射方向指向目 标声源； 所述麦克风阵列采集所述目标声源发出的原始音频信号，并将所述原始音频信号作为 音频输入信号向所述信号获取模块传输。
6. 如权利要求1-3任一项所述的装置，其特征在于，所述音频信号处理装置还包括权 系数更新模块，其中， 所述权系数更新模块，具体用于： 判断音频采集区域是否被调整； 若所述音频采集区域被调整，则确定麦克风阵列的几何形状、扬声器位置W及调整后 的音频采集有效区域； 根据所述音频采集有效区域调整波束形状，或者根据所述音频采集有效区域和所述扬 声器位置调整波束形状，得到调整的波束形状； 根据所述麦克风阵列的几何形状、所述调整的波束形状，确定超指向差分波束形成权 系数，得到调整权系数，并将所述调整权系数向所述权系数存储模块传输； 所述权系数存储模块，具体用于：存储所述调整权系数。
7. 如权利要求1所述的装置，其特征在于，所述音频信号处理装置还包括回声消除模 块，其中， 所述回声消除模块，具体用于： 缓存扬声器播放信号，对麦克风阵列采集的原始音频信号进行回声消除，得到回声消 除音频信号，并将所述回声消除音频信号作为音频输入信号向所述信号获取模块传输；或 者 对波束形成处理模块输出的超指向差分波束形成信号进行回声消除，得到回声消除超 指向差分波束形成信号，并向所述信号输出模块传输所述回声消除超指向差分波束形成信 号； 所述信号输出模块，具体用于： 输出所述回声消除超指向差分波束形成信号。
8. 如权利要求1所述的装置，其特征在于，所述音频信号处理装置还包括回声抑制模 块和噪声抑制模块，其中， 所述回声抑制模块，用于对所述波束形成处理模块输出的超指向差分波束形成信号进 行回声抑制处理，或者对所述噪声抑制模块输出的噪声抑制超指向差分波束形成信号进行 回声抑制处理，得到回声抑制超指向差分波束形成信号，并向所述信号输出模块传输所述 回声抑制超指向差分波束形成信号； 所述噪声抑制模块，用于对波束形成处理模块输出的超指向差分波束形成信号进行噪 声抑制处理，或者对所述回声抑制模块输出的所述回声抑制超指向差分波束形成信号进行 噪声抑制处理，得到噪声抑制超指向差分波束形成信号，并向所述信号输出模块传输所述 噪声抑制超指向差分波束形成信号； 所述信号输出模块，具体用于： 输出所述回声抑制超指向差分波束形成信号或者所述噪声抑制超指向差分波束形成 信号。
9. 如权利要求8所述的装置，其特征在于，所述波束形成处理模块，还用于： 在麦克风阵列能够调整的端射方向中、除声源方向W外的其它方向上，形成至少一个 波束形成信号作为参考噪声信号，并向所述噪声抑制模块传输所述参考噪声信号。
10. -种音频信号处理方法，其特征在于，包括： 确定超指向差分波束形成权系数； 获取音频输入信号，并确定当前应用场景W及当前应用场景所需输出信号类型； 根据当前应用场景所需输出信号类型获取当前应用场景对应的权系数，利用获取的所 述权系数对所述音频输入信号进行超指向差分波束形成处理，得到超指向差分波束形成信 号，并输出所述超指向差分波束形成信号。
11. 如权利要求10所述的音频信号处理方法，其特征在于，所述根据当前应用场景所 需输出信号类型获取当前应用场景对应的权系数，利用获取的所述权系数对所述音频输入 信号进行超指向差分波束形成处理，得到超指向差分波束形成信号，并输出所述超指向差 分波束形成信号，具体包括： 在当前应用场景所需输出信号类型为双声道信号时，获取左声道超指向差分波束形成 权系数W及右声道超指向差分波束形成权系数； 根据所述左声道超指向差分波束形成权系数对所述音频输入信号进行超指向差分波 束形成处理，得到左声道超指向差分波束形成信号； 根据所述右声道超指向差分波束形成权系数对所述音频输入信号进行超指向差分波 束形成处理，得到右声道超指向差分波束形成信号； 输出所述左声道超指向差分波束形成信号和所述右声道超指向差分波束形成信号。
12. 如权利要求10所述的音频信号处理方法，其特征在于，所述根据当前应用场景所 需输出信号类型获取当前应用场景对应的权系数，利用获取的所述权系数对所述音频输入 信号进行超指向差分波束形成处理，得到超指向差分波束形成信号，并输出所述超指向差 分波束形成信号，具体包括： 在当前应用场景所需输出信号类型为单声道信号时，获取当前应用场景形成单声道信 号的单声道超指向差分波束形成权系数； 根据获取的单声道超指向差分波束形成权系数，对所述音频输入信号进行超指向差分 波束形成处理，形成一路单声道超指向差分波束形成信号，并输出所述一路单声道超指向 差分波束形成信号。
13. 如权利要求10所述的音频信号处理方法，其特征在于，获取音频输入信号之前，该 方法还包括： 调整麦克风阵列为第一子阵列与第二子阵列，所述第一子阵列的端射方向与所述第二 子阵列的端射方向不同； 利用所述第一子阵列与所述第二子阵列分别采集原始音频信号，将所述原始音频信号 作为音频输入信号。
14. 如权利要求10所述的音频信号处理方法，其特征在于，获取音频输入信号之前，该 方法还包括： 调整麦克风阵列的端射方向，使所述端射方向指向目标声源； 采集目标声源的原始音频信号，并将所述原始音频信号作为音频输入信号。
15. 如权利要求10-12任一项所述的音频信号处理方法，其特征在于，根据当前应用场 景所需输出信号类型获取当前应用场景对应的权系数之前，该方法还包括： 判断音频采集区域是否被调整； 若所述音频采集区域被调整，则确定麦克风阵列的几何形状、扬声器位置W及调整后 的音频采集有效区域； 根据所述音频采集有效区域调整波束形状，或者根据所述音频采集有效区域和所述扬 声器位置调整波束形状，得到调整的波束形状； 根据所述麦克风阵列的几何形状、所述调整的波束形状，确定超指向差分波束形成权 系数，得到调整权系数； 利用所述调整权系数对所述音频输入信号进行超指向差分波束形成处理。
16. 如权利要求10所述的音频信号处理方法，其特征在于，该方法还包括： 对麦克风阵列采集的原始音频信号进行回声消除；或者 对所述超指向差分波束形成信号进行回声消除。
17. 如权利要求10所述的音频信号处理方法，其特征在于，形成超指向差分波束形成 信号之后，该方法还包括： 对所述超指向差分波束形成信号进行回声抑制处理，和/或噪声抑制处理。
18. 如权利要求10所述的音频信号处理方法，其特征在于，该方法还包括： 在麦克风阵列能够调整的端射方向中、除声源方向W外的其它方向上，形成至少一个 波束形成信号作为参考噪声信号； 利用所述参考噪声信号对所述超指向差分波束形成信号进行噪声抑制处理。
19. 一种差分波束形成方法，其特征在于，包括： 根据麦克风阵列的几何形状和设定的音频采集有效区域，确定差分波束形成权系数并 存储；或者根据麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定差分 波束形成权系数并存储； 根据当前应用场景所需输出信号类型获取当前应用场景对应的权系数，利用获取的所 述权系数对音频输入信号进行差分波束形成处理，得到超指向差分波束。
20. 如权利要求19所述的方法，其特征在于，所述确定差分波束形成权系数的过程，具 体包括： 根据麦克风阵列的几何形状和设定的音频采集有效区域，确定D(?, 0)和目；或根据 麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定D(?, 0)和目； 根据确定的D(w，日）和目，按照公式；h(w)=炉（W, 0)扣（W，日）炉（W,日）]-1目，确 定超指向差分波束形成的权系数； 其中，h(?)为权系数，D(?, 0 )为任意几何形状的麦克风阵列所对应的转向矩阵， 由不同入射角度下声源到达麦克风阵列中各麦克风间的相对时延决定的，DH(?, 0)表示 D(?, 0)的共辆转置矩阵，《为音频信号的频率，0为声源入射角度，目为入射角度为0 时的响应向量。
21. 如权利要求20所述的方法，其特征在于，所述根据麦克风阵列的几何形状和设定 的音频采集有效区域，确定D (?，0 )和目，具体包括： 根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向w及零 点方向； 根据转换的所述极点方向W及所述零点方向，确定不同应用场景下的D(?, 0)和目； 其中，所述极点方向为使超指向差分波束在该方向上响应值为1的入射角度，所述零 点方向为使超指向差分波束在该方向上响应值为0的入射角度。
22. 如权利要求20所述的方法，其特征在于，所述根据麦克风阵列的几何形状、设定的 音频采集有效区域和扬声器位置，确定D(?, 0)和目，具体包括： 根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向W及零 点方向，将扬声器位置转换为零点方向； 根据转换的所述极点方向W及所述零点方向，确定不同应用场景下的D(?, 0)和目； 其中，所述极点方向为使超指向差分波束在该方向上响应值为1的入射角度，所述零 点方向为使超指向差分波束在该方向上响应值为0的入射角度。
23. 如权利要求21或22所述的方法，其特征在于，所述根据不同应用场景所需输出信 号类型，将设定的音频有效区域转换为极点方向W及零点方向，具体包括： 当应用场景所需输出信号类型为单声道信号时，设定麦克风阵列的端射方向为极点方 向，并设定M个零点方向，其中M《N-1，N为麦克风阵列中的麦克风数量； 当应用场景所需输出信号类型为双声道信号时，设定麦克风阵列的0度方向为极点方 向，并将麦克风阵列的180度方向设定为零点方向，W确定其中一个声道对应的超指向差 分波束形成权系数，并设定麦克风阵列的180度方向为极点方向，并将麦克风阵列的0度方 向设定为零点方向，W确定另一个声道对应的超指向差分波束形成权系数。
24. -种差分波束形成装置，其特征在于，包括；权系数确定单元和波束形成处理单 元； 所述权系数确定单元，用于根据麦克风阵列的几何形状和设定的音频采集有效区域， 确定差分波束形成权系数，并将形成的所述权系数向所述波束形成处理单元传输；或根据 麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定差分波束形成权系 数，并将形成的所述权系数向所述波束形成处理单元传输； 所述波束形成处理单元，根据当前应用场景所需输出信号类型从所述权系数确定单元 获取当前应用场景对应的权系数，利用获取的所述权系数对音频输入信号进行差分波束形 成处理。
25. 如权利要求24所述的装置，其特征在于，所述权系数确定单元，具体用于： 根据麦克风阵列的几何形状和设定的音频采集有效区域，确定D(?, 0)和目；或根据 麦克风阵列的几何形状、设定的音频采集有效区域和扬声器位置，确定D(?, 0)和目； 根据确定的D(?,目）和目，按照公式；h(w)=炉（W, 0)扣（《，目）炉（W,目）]-1目，确 定超指向差分波束形成的权系数； 其中，h(?)为权系数，D(?, 0)为任意几何形状的麦克风阵列所对应的转向矩阵， 由不同入射角度下声源到达麦克风阵列中各麦克风间的相对时延决定的，DH(?, 0)表示 D(?, 0)的共辆转置矩阵，《为音频信号的频率，0为声源入射角度，目为入射角度为0 时的响应向量。
26. 如权利要求25所述的装置，其特征在于，所述权系数确定单元，具体用于： 根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向w及零 点方向，并根据得到的极点方向W及零点方向，确定不同应用场景下的D(?, 0)和目；或 者根据不同应用场景所需输出信号类型，将设定的音频有效区域转换为极点方向W及零点 方向，将扬声器位置转换为零点方向，并根据得到的极点方向W及零点方向，确定不同应用 场景下的D(u，0)和目； 其中，所述极点方向为使超指向差分波束在该方向上响应值为1的入射角度，所述零 点方向为使超指向差分波束在该方向上响应值为0的入射角度。
27.如权利要求26所述的装置，其特征在于，所述权系数确定单元，具体用于： 当应用场景所需输出信号类型为单声道信号时，设定麦克风阵列的端射方向为极点方 向，并设定M个零点方向，其中N-1，N为麦克风阵列中的麦克风数量； 当应用场景所需输出信号类型为双声道信号时，设定麦克风阵列的0度方向为极点方 向，并将麦克风阵列的180度方向设定为零点方向，W确定其中一个声道对应的超指向差 分波束形成权系数，并设定麦克风阵列的180度方向为极点方向，并将麦克风阵列的0度方 向设定为零点方向，W确定另一个声道对应的超指向差分波束形成权系数。
【文档编号】G10K11/34GK104464739SQ201310430978
【公开日】2015年3月25日 申请日期:2013年9月18日 优先权日:2013年9月18日
【发明者】李海婷, 张德明 申请人:华为技术有限公司