语音信号处理方法与装置制造方法

语音信号处理方法与装置制造方法
【专利摘要】本发明公开了一种语音信号处理方法及装置，用以对终端的麦克风采集的语音信号进行处理，以满足终端在不同应用模式下对于处理后生成的语音信号的需求。方法包括：采集至少两路语音信号；确定终端的当前应用模式；根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应的语音信号；采用预先设置的与所述当前应用模式相匹配的语音信号处理方式，对所述相对应的语音信号进行波束形成处理。
【专利说明】语音信号处理方法与装置

【技术领域】
[0001] 本发明涉及麦克风【技术领域】，尤其涉及一种语音信号处理方法与装置。

【背景技术】
[0002] 随着手机等各种移动设备的广泛使用，移动设备的使用环境和场景得到了更大程 度的扩展。目前，在很多使用环境和场景中，移动设备都需要通过其麦克风采集语音信号。
[0003] 具体而言，现有技术中的移动终端可以简单地采用自身的一个麦克风来采集语音 信号。但该方式的缺陷在于：仅能进行单通道降噪处理，对采集到的语音信号无法进行空间 滤波处理，因此对该语音信号中包含的干扰语音等噪声信号的抑制能力十分有限，在噪声 信号较大的情况下存在降噪能力不足的问题。
[0004] 为了对音频信号进行降噪处理，也有技术提出启用双麦克风分别采集语音信号和 噪声信号，并基于采集到的噪声信号进行语音信号降噪处理，从而保证移动设备在各种使 用环境和场景中都能够获得较高的通话质量，达到低失真低噪音的语音效果。
[0005] 进一步地，为了获得更好的空间采样特性，现有技术中又提出了多麦克风处理技 术。该技术的原理主要是利用移动设备的多个麦克风信号分别进行语音信号采集，并对采 集到的语音信号进行空间滤波处理，从而获得较高质量的语音信号。由于该技术可以利用 波束形成等技术对采集到的语音信号进行空间滤波处理，从而对噪声信号有更强的抑制能 力。其中，"波束形成"这一技术的基本原理是：至少两路接收信号(如麦克风接收到的语音 信号）分别经过模数转换器（Analog to Digital Converter, ADC)处理后，由数字处理器根 据基于特定波束方向而获得的各路接收信号的时延关系或相移关系，利用ADC输出的各路 数字信号形成指向该特定波束方向的波束。
[0006] 随着移动设备功能性的提升，目前的移动设备可以工作在不同的应用模式下，该 些应用模式主要包括手持通话模式、视频通话模式、免提会议模式以及非通信场景下的录 音模式等等。一般说来，工作在不同应用模式下的移动设备往往会面临对于语音信号的不 同需求。然而，现有技术中利用麦克风进行语音信号采集的上述方案中，均没有提出如何对 麦克风采集到的语音信号进行处理，使得处理后生成的语音信号能够满足移动设备在不同 应用模式下的需求。


【发明内容】

[0007] 本发明实施例提供一种语音信号处理方法及装置，用以对终端的麦克风采集的语 音信号进行处理，以满足终端在不同应用模式下对于处理后生成的语音信号的需求。
[0008] 本发明实施例采用以下技术方案：
[0009] -方面，提供一种语音信号处理方法，包括：采集至少两路语音信号；确定终端的 当前应用模式；根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用 模式相对应的语音信号；采用预先设置的与所述当前应用模式相匹配的语音信号处理方 式，对所述相对应的语音信号进行波束形成处理。
[0010] 结合第一方面，在第一种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风，且所述终端还包括处于所述终端顶端 的听筒；若所述当前应用模式为手持通话模式；则根据所述当前应用模式，从所述至少两 路语音信号中确定与所述当前应用模式相对应的语音信号具体包括：根据所述当前应用模 式，从所述至少两路语音信号中确定所述第一麦克风阵列和所述第二麦克风阵列分别采集 的各路语音信号；采用预先设置的与所述当前应用模式相匹配的语音信号处理方式，对所 述相对应的语音信号进行波束形成处理，具体包括：对所述第一麦克风阵列采集到的各路 语音信号进行波束形成处理，使得对所述第一麦克风阵列采集到的各路语音信号进行波束 形成处理后生成的第一波束指向所述终端底端正前方；对所述第二麦克风阵列到的各路语 音信号进行波束形成处理，使得对所述第二麦克风阵列采集到的各路语音信号进行波束形 成处理后生成的第二波束指向所述终端顶端正后方，并使得所述第二波束在所述终端的听 筒所在方向形成零陷。
[0011] 结合第一方面，在第二种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风，若所述当前应用模式为视频通话模 式；则根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对 应的语音信号，具体包括：根据所述当前应用模式，在根据所述终端当前的声效模式判断出 所述终端不需要合成立体声声效的语音信号时，从所述至少两路语音信号中确定所述第一 麦克风阵列采集的语音信号。
[0012] 结合第一方面，在第三种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风；且所述终端中还设置有加速度计，若 所述当前应用模式为视频通话模式；则根据所述当前应用模式，从所述至少两路语音信号 中确定与所述当前应用模式相对应的语音信号，具体包括：根据所述当前应用模式，在根据 所述终端当前的声效模式判断出所述终端需要合成立体声声效的语音信号时，根据所述加 速度计输出的信号，从所述至少两路语音信号中确定与所述当前应用模式相对应的语音信 号。
[0013] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，根据所述 加速度计输出的信号，从所述至少两路语音信号中确定与所述当前应用模式相对应的语音 信号，具体包括：若判断出所述加速度计当前输出的信号与预先规定的第一信号匹配，则从 所述至少两路语音信号中，确定所述第二麦克风阵列当前所采集到的各路语音信号；其中， 所述预先规定的第一信号为所述加速度计在所述终端处于垂直放置状态时输出的信号；处 于垂直放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为90度；若判断 出所述加速度计当前输出的信号与预先规定的第二信号匹配，则从所述至少两路语音信号 中，确定特定的麦克风当前所采集到的语音信号；其中，所述预先规定的第二信号为所述加 速度计在所述终端处于水平放置状态时输出的信号；处于水平放置状态的所述终端满足： 所述终端的纵向中轴线与水平面的夹角为〇度；所述特定的麦克风包括：在所述终端处于 水平放置状态时处于同一水平线的至少一对麦克风，且每对麦克风均满足：其中的一个麦 克风属于所述第一麦克风阵列，另一个麦克风属于所述第二麦克风阵列。
[0014] 结合第一方面的第三种或第四种可能的实现方式，在第五种可能的实现方式中， 采用预先设置的与所述当前应用模式相匹配的语音信号处理方式，对所述相对应的语音信 号进行波束形成处理，具体包括：确定设置在所述终端上的各摄像头当前的状态；采用预 先设置的、与所述当前应用模式和所述各摄像头当前的状态均匹配的语音信号处理方式， 对所述相对应的语音信号进行波束形成处理。
[0015] 结合第一方面，在第六种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风；且所述终端包括设置于所述顶端的扬 声器；若所述当前应用模式为免提会议模式；则根据所述当前应用模式，从所述至少两路 语音信号中确定与所述当前应用模式相对应的语音信号，具体包括：根据所述当前应用模 式，从所述至少两路语音信号中确定所述第一麦克风阵列和第二麦克风阵列分别采集的各 路语首?目号。
[0016] 结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，采用预先 设置的与所述当前应用模式相匹配的语音信号处理方式，对所述相对应的语音信号进行波 束形成处理，具体包括：根据所述终端当前的声效模式，判断所述终端是否需要合成环绕声 声效的语音信号；在判断出所述终端不需要合成环绕声声效的语音信号时，确定所述终端 当前用于播放语音信号的部件；在确定出所述部件为耳机时，对所述相对应的语音信号进 行波束形成处理，使得生成的波束指向所述相对应的语音信号的共同声源所在位置；或者 使得生成的波束的方向与输入所述终端的波束方向指示信息所表示的方向一致；其中，所 述共同声源所在位置是根据所述相对应的语音信号对声源所在位置进行声源跟踪而确定 出的；在确定出所述部件为所述扬声器时，对所述相对应的语音信号进行波束形成处理，使 得生成的波束在所述扬声器所在方向形成零陷。
[0017] 结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述终端 中设置有加速度传感器；采用预先设置的与所述当前应用模式相匹配的语音信号处理方 式，对所述相对应的语音信号进行波束形成处理，具体还包括：在判断出所述终端需要合 成环绕声声效的语音信号，且判断出所述加速度计当前输出的信号与预先规定的信号匹配 时，从所述相对应的语音信号中选取当前沿水平方向分布的一对麦克风分别采集的语音信 号，以及当前沿垂直方向分布的一对麦克风分别采集的语音信号；其中，所述当前沿水平方 向分布的一对麦克风满足：其中的一个麦克风属于所述第一麦克风阵列，另一个麦克风属 于所述第二麦克风阵列；所述当前沿垂直方向分布的一对麦克风均属于所述第一麦克风阵 列或第二麦克风阵列；对选取的所述沿水平方向分布的一对麦克风分别采集的语音信号进 行差分处理，获得声场一阶第一分量；对选取的所述沿垂直方向分布的一对麦克风分别米 集的语音信号进行差分处理，获得声场一阶第二分量；并通过对所述相对应的语音信号的 均值化处理，获得声场零阶分量；利用所述声场一阶第一分量、所述声场一阶第二分量和所 述声场零阶分量，生成波束方向与特定方向一致的不同波束；其中，所述预先规定的信号为 所述加速度计在所述终端处于垂直放置状态或水平放置状态时输出的信号；处于垂直放置 状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为90度；处于水平放置状态 的所述终端满足：所述终端的纵向中轴线与水平面的夹角为〇度。
[0018] 结合第一方面，在第九种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风，且所述终端中设置有加速度传感器， 若所述当前应用模式为非通信场景下的录音模式；则根据所述当前应用模式，从所述至少 两路语音信号中确定与所述当前应用模式相对应的语音信号，具体包括：根据所述当前应 用模式，在根据设置在所述终端中的加速度计输出的信号判断出所述终端当前处于垂直放 置状态或水平放置状态时，从所述至少两路语音信号中，确定当前处于同一水平线上的一 对麦克风当前所采集到的语音信号；其中，处于垂直放置状态的所述终端满足：所述终端 的纵向中轴线与水平面的夹角为90度；处于水平放置状态的所述终端满足：所述终端的纵 向中轴线与水平面的夹角为〇度。
[0019] 第二方面，提供一种语音信号处理装置，包括：采集单元，用于采集至少两路语音 信号；模式确定单元，用于确定终端的当前应用模式；语音信号确定单元，用于根据所述当 前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应的语音信号；处 理单元，用于采用预先设置的与所述当前应用模式相匹配的语音信号处理方式，对所述相 对应的语音信号进行波束形成处理。
[0020] 结合第二方面，在第一种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克 风阵列包含位于所述终端顶端的多个麦克风，且所述终端还包括处于所述终端顶端的听 筒；若所述当前应用模式为手持通话模式；则所述语音信号确定单元具体用于：根据所述 当前应用模式，从所述至少两路语音信号中确定所述第一麦克风阵列和所述第二麦克风阵 列分别采集的各路语音信号；所述处理单元具体用于：对所述第一麦克风阵列采集到的各 路语音信号进行波束形成处理，使得对所述第一麦克风阵列采集到的各路语音信号进行波 束形成处理后生成的第一波束指向所述终端底端正前方；对所述第二麦克风阵列到的各路 语音信号进行波束形成处理，使得对所述第二麦克风阵列采集到的各路语音信号进行波束 形成处理后生成的第二波束指向所述终端顶端正后方，并使得所述第二波束在所述终端的 听筒所在方向形成零陷。
[0021] 结合第二方面，在第二种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风，若所述当前应用模式为视频通话模 式；则所述语音信号确定单元具体用于：根据所述当前应用模式，在根据所述终端当前的 声效模式判断出所述终端不需要合成立体声声效的语音信号时，从所述至少两路语音信号 中确定所述第一麦克风阵列米集的语音信号。
[0022] 结合第二方面，在第三种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风；且所述终端中还设置有加速度计，若 所述当前应用模式为视频通话模式；则所述语音信号确定单元具体用于：根据所述当前应 用模式，在根据所述终端当前的声效模式判断出所述终端需要合成立体声声效的语音信号 时，根据所述加速度计输出的信号，从所述至少两路语音信号中确定与所述当前应用模式 相对应的语音信号。
[0023] 结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述语音 信号确定单元具体用于：若判断出所述加速度计当前输出的信号与预先规定的第一信号匹 配，则从所述至少两路语音信号中，确定所述第二麦克风阵列当前所采集到的各路语音信 号；其中，所述预先规定的第一信号为所述加速度计在所述终端处于垂直放置状态时输出 的信号；处于垂直放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为90 度；若判断出所述加速度计当前输出的信号与预先规定的第二信号匹配，则从所述至少两 路语音信号中，确定特定的麦克风当前所采集到的语音信号；其中，所述预先规定的第二信 号为所述加速度计在所述终端处于水平放置状态时输出的信号；处于水平放置状态的所述 终端满足：所述终端的纵向中轴线与水平面的夹角为〇度；所述特定的麦克风包括：在所述 终端处于水平放置状态时处于同一水平线的至少一对麦克风，且每对麦克风均满足：其中 的一个麦克风属于所述第一麦克风阵列，另一个麦克风属于所述第二麦克风阵列。
[0024] 结合第二方面的第三种或第四种可能的实现方式，在第五种可能的实现方式中， 所述处理单元具体用于：确定设置在所述终端上的各摄像头当前的状态；采用预先设置 的、与所述当前应用模式和所述各摄像头当前的状态均匹配的语音信号处理方式，对所述 相对应的语音信号进行波束形成处理。
[0025] 结合第二方面，在第六种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风；且所述终端包括设置于所述顶端的扬 声器；若所述当前应用模式为免提会议模式；则所述语音信号确定单元具体用于：根据所 述当前应用模式，从所述至少两路语音信号中确定所述第一麦克风阵列和第二麦克风阵列 分别采集的各路语音信号。
[0026] 结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述处理 单元具体用于：根据所述终端当前的声效模式，判断所述终端是否需要合成环绕声声效的 语音信号；在判断出所述终端不需要合成环绕声声效的语音信号时，确定所述终端当前用 于播放语音信号的部件；在确定出所述部件为耳机时，对所述相对应的语音信号进行波束 形成处理，使得生成的波束指向所述相对应的语音信号的共同声源所在位置；或者使得生 成的波束的方向与输入所述终端的波束方向指示信息所表示的方向一致；其中，所述共同 声源所在位置是根据所述相对应的语音信号对声源所在位置进行声源跟踪而确定出的；在 确定出所述部件为所述扬声器时，对所述相对应的语音信号进行波束形成处理，使得生成 的波束在所述扬声器所在方向形成零陷。
[0027] 结合第二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述终端 中设置有加速度传感器；所述处理单元具体还用于：在判断出所述终端需要合成环绕声声 效的语音信号，且判断出所述加速度计当前输出的信号与预先规定的信号匹配时，从所述 相对应的语音信号中选取当前沿水平方向分布的一对麦克风分别采集的语音信号，以及当 前沿垂直方向分布的一对麦克风分别采集的语音信号；其中，所述当前沿水平方向分布的 一对麦克风满足：其中的一个麦克风属于所述第一麦克风阵列，另一个麦克风属于所述第 二麦克风阵列；所述当前沿垂直方向分布的一对麦克风均属于所述第一麦克风阵列或第二 麦克风阵列；对选取的所述沿水平方向分布的一对麦克风分别采集的语音信号进行差分处 理，获得声场一阶第一分量；对选取的所述沿垂直方向分布的一对麦克风分别米集的语音 信号进行差分处理，获得声场一阶第二分量；并通过对所述相对应的语音信号的均值化处 理，获得声场零阶分量；利用所述声场一阶第一分量、所述声场一阶第二分量和所述声场零 阶分量，生成波束方向与特定方向一致的不同波束；其中，所述预先规定的信号为所述加速 度计在所述终端处于垂直放置状态或水平放置状态时输出的信号；处于垂直放置状态的所 述终端满足：所述终端的纵向中轴线与水平面的夹角为90度；处于水平放置状态的所述终 端满足：所述终端的纵向中轴线与水平面的夹角为〇度。
[0028] 结合第二方面，在第九种可能的实现方式中，所述终端包括第一麦克风阵列和第 二麦克风阵列；其中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第 二麦克风阵列包含位于所述终端顶端的多个麦克风，且所述终端中设置有加速度传感器， 若所述当前应用模式为非通信场景下的录音模式；则所述语音信号确定单元具体用于：根 据所述当前应用模式，在根据设置在所述终端中的加速度计输出的信号判断出所述终端当 前处于垂直放置状态或水平放置状态时，从所述至少两路语音信号中，确定当前处于同一 水平线上的一对麦克风当前所采集到的语音信号；其中，处于垂直放置状态的所述终端满 足：所述终端的纵向中轴线与水平面的夹角为90度；处于水平放置状态的所述终端满足： 所述终端的纵向中轴线与水平面的夹角为〇度。
[0029] 本发明实施例的有益效果如下：
[0030] 采用本发明实施例提供的上述方案，通过根据终端的当前应用模式，从采集的至 少两路语音信号中确定与所述当前应用模式相对应的语音信号，并采用与终端的当前应 用模式相匹配的语音信号处理方式对确定的语音信号进行处理，使得无论是确定的语音信 号，还是对语音信号的处理方式，都可以与终端的当前应用模式相适应，从而可以满足终端 在不同应用模式下对于处理后生成的语音信号的需求。

【专利附图】

【附图说明】
[0031] 图1为本发明实施例提供一种语音信号处理方法的具体实现流程图；
[0032] 图2为本发明实施例提供的一个安装有4个麦克风的移动终端的示意图；
[0033] 图3为本发明实施例中的移动终端对于语音信号的采集、选取、处理和上传过程 示意图；
[0034] 图4为处于垂直放置状态的移动终端示意图；
[0035] 图5为处于水平放置状态的移动终端示意图；
[0036] 图6为移动终端的麦克风沿预设坐标轴排列的示意图；
[0037] 图7为本发明实施例提供的语音信号处理装置的具体结构示意图；
[0038] 图8为本发明实施例提供的另一种语音信号处理装置的具体结构示意图。

【具体实施方式】
[0039] 现有技术中，针对移动设备的不同使用场景，用户可以采用对移动设备的应用模 式进行设置的方式，使得移动设备的应用模式能够与当前的使用场景相匹配。比如，在用户 利用移动设备发起呼叫或者接听呼叫的场景下，用户可以设置移动终端工作在"手持通话 模式"这一应用模式下；而在用户利用移动设备进行视频通话的场景下，用户可以设置移动 终端工作在"视频通话模式"这一应用模式下；等等。
[0040] 目前，越来越多的移动设备使用者希望在使用移动设备的过程中可以获得更加丰 富的音效体验。比如，希望能够在利用移动设备进行录音的过程中通过开启移动设备的立 体声模式，使得移动设备能够区分水平180度方向的不同声源位置，从而后续能够在回放 录音时产生立体声声效；又比如，希望移动设备工作在免提会议模式下时，能够收集以移动 设备为中心的360°范围内的、来自不同声源的语音信号，并生成和输出能够产生环绕声声 效的语音信号。
[0041] 本发明实施例为了对工作在不同应用模式下的终端的麦克风采集的语音信号进 行处理，使得处理后生成的语音信号能满足终端在相应的应用模式下的需求，提供一种语 音信号处理方法及装置。以下结合说明书附图对本发明的实施例进行说明，应当理解，此处 所描述的实施例仅用于说明和解释本发明，并不用于限制本发明。并且在不冲突的情况下， 本说明中的实施例及实施例中的特征可以互相结合。
[0042] 首先，本发明实施例提供一种如图1所示的语音信号处理方法，该方法主要包括 下述主要步骤：
[0043] 步骤11,采集至少两路语音信号；
[0044] 比如，以该方法的执行主体为终端为例，该终端可以通过自身设置的至少两个麦 克风，分别采集语音信号。
[0045] 步骤12,确定终端的当前应用模式；
[0046] 比如，可以根据经终端的指令输入部件(如触摸屏等）而输入终端的应用模式确认 指令，来确定终端的当前应用模式。
[0047] 如图2所示，为本发明实施例提供的一个安装有4个麦克风(分别为图2中所示的 micl?mic4)的移动终端的示意图。由图2可以看出，该终端的触摸屏上，可以提供多个可 供用户选择的应用模式，包括：手持通话（即手持通话模式的简写)、视频通话（即视频通话 模式的简写)和免提会议(即免提会议模式的简写)。用户在对应用模式进行选择后，可以使 得该移动终端获得对应于用户所选择的应用模式的一个应用模式确认指令，根据该应用模 式确认指令，就可以确定终端的当前应用模式。
[0048] 步骤13,根据终端的当前应用模式，从通过执行步骤11而采集到的所述至少两路 语音信号中，确定与终端的当前应用模式相对应的语音信号；
[0049] 考虑到不同的应用模式下的终端对于根据确定出的语音信号而生成的新的语音 信号的需求有所不同，因此本发明实施例中可以预先根据不同应用模式下的终端对于该新 的语音信号的需求，为终端不同的应用模式规定不同的麦克风。比如，以如图2所示的移动 终端为例，可以预先规定与其手持通话模式所对应的麦克风为micl?mic4。从而当通过 执行步骤11确定出该移动终端的当前应用模式为手持通话模式时，可以选取该移动终端 的micl?mic4所采集的语音信号。本发明实施例中，如图2所示的移动终端可以具备区 分由不同麦克风所采集到的语音信号的功能。
[0050] 后文将在多个具体实施例中，针对终端当前的不同应用模式，具体说明如何从采 集到的至少两路语音信号中确定与终端的当前应用模式对应的语音信号，此处不再赘述。
[0051] 步骤14,采用预先设置的与终端的当前应用模式相匹配的语音信号处理方式，对 通过执行步骤13而确定出的与终端的当前应用模式相对应的语音信号进行波束形成处 理。
[0052] 仍然以如图2所示的移动终端为例，且假设该移动终端的当前应用模式为手持通 话模式，则通过执行步骤13可知，确定出的与该移动终端的当前应用模式相对应的语音信 号为micl?mic4当前所采集的语音信号。基于micl?mic4当前所采集的语音信号，考 虑到处于移动终端底端的第一麦克风阵列(包括micl和mic2)是靠近用户嘴巴的麦克风阵 列，其采集到的语音信号主要是用户发出的声波信号；而处于移动终端顶端的第二麦克风 阵列(包括mic3和mic4)是靠近移动终端的听筒而远离用户嘴巴的麦克风阵列，其主要采 集到的语音信号可以被视为一些噪声信号。从而步骤13中所采用的语音信号处理方式可 以包括如下内容：
[0053] 对第一麦克风阵列采集到的各路语音信号进行波束形成处理，使得对第一麦克风 阵列采集到的各路语音信号进行波束形成处理后生成的第一波束指向该移动终端底端正 前方，即指向用户的嘴巴所在位置；并对第二麦克风阵列采集到的各路语音信号进行波束 形成处理，使得对第二麦克风阵列采集到的各路语音信号进行波束形成处理后生成的第二 波束指向该移动终端顶端正后方，并使得该第二波束在该移动终端的听筒所在方向形成零 陷。
[0054] 以下举例说明何为"指向移动终端底端正前方"以及"指向移动终端顶端正后方"：
[0055] 以图2为例，其为该移动终端正面的平面示意图，与该正面相对的一面为该移动 终端的背面(也称反面)。该移动终端的处于图2上方的虚线框所围区域的部分即移动终端 顶端，移动终端顶端为一个立体区域，其既包含移动终端正面上处于该虚线框中的区域，也 包含移动终端背面上处于该虚线框中的区域。该移动终端的处于图2下方的虚线框所围区 域的部分即移动终端底端，移动终端底端也是一个立体区域，其既包含移动终端正面上处 于该虚线框中的区域，也包含移动终端背面上处于该虚线框中的区域。针对图2所示的该 移动终端而言，"指向移动终端底端正前方"是指垂直于移动终端正面上处于图2下方的虚 线框所围区域，且背离图2所在的该页面的方向；而"指向移动终端顶端正后方"是指垂直 于移动终端正面上处于图2上方的虚线框所围区域，且背离图2所在的该页面的方向。
[0056] 本发明实施例中，第一波束可视为有效语音信号，而第二波束则可视为噪声信号。 在得到第一波束和第二波束的基础上，可以通过利用第二波束对第一波束进行语音增强处 理，生成质量较高的语音信号。可选的，本发明实施例中具体还可以利用第二波束以及该 移动终端所接收到的下行信号（即网络侧通过对该移动终端当前的通信对端所发出的语音 信号进行解码而得到的下行信号)，对第一波束进行语音增强处理，生成质量较高的语音信 号。
[0057] 由于语音增强处理已是现有技术中比较成熟的技术手段，因此本发明对此不再赘 述。
[0058] 后文将在多个具体实施例中，针对终端的不同当前应用模式，具体说明如何根据 与终端的当前应用模式相匹配的语音信号处理方式，对确定出的与终端的当前应用模式相 对应的语音信号进行处理，此处不再赘述。
[0059] 由本发明实施例提供的上述方法可以看出，该方法通过根据终端的当前应用模式 确定与该当前应用模式相对应的语音信号，并采用与终端的当前应用模式相匹配的语音信 号处理方式，对确定出的与该当前应用模式相对应的语音信号进行处理，使得无论是确定 出的语音信号还是语音信号处理方式，都可以与终端的当前应用模式相适应，从而可以满 足终端在不同应用模式下对于处理后生成的语音信号的需求。
[0060] 以下通过对多个实施例的介绍，详细说明当终端工作在不同应用模式下时，如何 选取与终端的当前应用模式相匹配的语音信号，以及如何对选取的语音信号进行处理。
[0061] 需要说明的是，为了便于读者理解，下述实施例均以如图2所示的移动终端为例 进行说明。由于本领域技术人员可以明了，本发明实施例提供的方案也可以应用于其他类 型的终端，或者具有其他结构的移动终端，从而下述实施例中的描述不应视为对本发明实 施例提供的方案的限制。
[0062] 此外还需要说明的是，下述实施例中的移动终端对于语音信号的采集、选取、处理 和上传过程均可以参见图3。
[0063] 实施例1
[0064] 实施例1中假设移动终端当前工作在手持通话模式下。一般地，工作在手持通话 模式下的移动终端往往处于垂直放置状态。其中，处于垂直放置状态的移动终端满足：其纵 向中轴线与水平面的夹角为90度。或者，工作在手持通话模式下的移动终端也可以满足： 其纵向中轴线与水平面的夹角的度数大于60度而小于等于90度。
[0065] 当移动终端的当前应用模式为手持通话模式时，可以直接确定移动终端上设置的 micl?mic4所分别采集的各路语音信号为与该手持通话模式相对应的语音信号。
[0066] 然后，对micl和mic2分别采集到的各路语音信号进行波束形成处理，使得对micl 和mic2分别采集到的各路语音信号进行波束形成处理后生成的第一波束指向micl和mic2 连线的法线方向，即指向用户的嘴巴所在位置。同时，根据mic3和mic4分别采集到的各路 语音信号进行波束形成处理，使得对mic3和mic4采集到的各路语音信号进行波束形成处 理后生成的第二波束指向mic3和mic4连线的法线方向，即指向该移动终端顶端正后方，并 使得该第二波束在该移动终端的听筒所在方向形成零陷。
[0067] 进一步地，在得到第一波束和第二波束的基础上，可以通过利用第二波束对第一 波束进行语音增强处理，生成质量较高的语音信号。可选的，实施例1中具体还可以利用第 二波束以及该移动终端所接收到的下行信号（即网络侧通过对该移动终端当前的通信对端 所发出的语音信号进行解码而得到的下行信号)，对第一波束进行语音增强处理，生成质量 较高的语音信号。
[0068] 实施例2 :
[0069] 实施例2中假设移动终端当前工作在视频通话模式下。那么实施例2中，在从移 动终端的所有麦克风所采集的至少两路语音信号中确定与移动终端的当前应用模式相对 应的语音信号的过程中，可以首先判断移动终端是否需要合成立体声声效的语音信号。比 如，可以根据移动终端当前的声效模式，判断移动终端是否需要合成立体声声效的语音信 号。其中，移动终端的声效模式可以是由用户设置的，其可以包括立体声声效模式（即需要 合成立体声声效的语音信号)、环绕声声效模式（即需要合成环绕声声效的语音信号）和普 通声效模式（即既不需要合成立体声声效的语音信号，也不需要合成环绕声声效的语音信 号）等。
[0070] 若判断出移动终端不需要合成立体声声效的语音信号，且移动终端当前采用扬声 器播放语音信号，则可以选取由micl和mic2构成的第一麦克风阵列（即相距扬声器比较远 的麦克风阵列)当前所采集的各路语音信号，而忽略由mic3和mic4构成的第二麦克风阵列 (即相距扬声器比较近的麦克风阵列）当前所采集的各路语音信号。或者，无论移动终端当 前是否采用扬声器播放语音信号，都可以选取由micl和mic2构成的第一麦克风阵列当前 所采集的各路语音信号，而忽略由mic3和mic4构成的第二麦克风阵列当前所采集的各路 语音信号。进一步地，对于选取的语音信号的处理方式可以包括：按照现有技术中的联合语 音和噪声估计技术，根据选取的由micl和mic2分别采集的语音信号进行噪声估计，从而生 成噪声较小的一路语音信号。可选的，还可以按照现有技术中的回声抵消处理技术，利用移 动终端接收到的、由视频通话对端所发送的语音信号，进一步消除生成的该路语音信号中 的一些回声。
[0071] 而在移动终端需要合成立体声声效的语音信号的情况下，实施例2中可以根据设 置在移动终端中的加速度计输出的信号，从移动终端的所有麦克风所采集的至少两路语音 信号中确定与移动终端的当前应用模式相对应的语音信号。
[0072] 以下以分别处于垂直放置状态和水平放置状态的移动终端为例，详细说明如何根 据设置在移动终端中的加速度计输出的信号，从移动终端的所有麦克风所采集的至少两路 语音信号中确定与移动终端的当前应用模式相对应的语音信号：
[0073] 1、若判断出加速度计当前输出的信号与预先规定的第一信号匹配，则从移动终端 的所有麦克风所采集的至少两路语音信号中，选取由mic3和mic4构成的第二麦克风阵列 当前所采集到的各路语音信号。
[0074] 其中，这里所说的预先规定的第一信号为该加速度计在移动终端处于垂直放置状 态时输出的信号。具体地，处于垂直放置状态的移动终端示意图可以参见说明书附图4。处 于垂直放置状态的移动终端满足：其纵向中轴线与水平面的夹角为90度。
[0075] 2、若判断出加速度计当前输出的信号与预先规定的第二信号匹配，则从移动终端 的所有麦克风所采集的至少两路语音信号中，选取特定的麦克风当前所采集到的语音信 号。
[0076] 其中，这里所说的预先规定的第二信号为该加速度计在移动终端处于水平放置状 态时输出的信号。处于水平放置状态的移动终端满足：其纵向中轴线与水平面的夹角为〇 度。而上述特定的麦克风则包括：在移动终端处于水平放置状态时处于同一水平线的至少 一对麦克风。
[0077] 如图5所示，为处于水平放置状态的移动终端示意图。按照上述第2种情况下对 于语音信号的选取方式可知，可以选择图5中当前处于同一水平线的micl和mic4当前所 采集到的语音信号；或者，也可以选择当前处于同一水平线的mic2和mic3当前所采集到的 语音信号。
[0078] 实施例2中，考虑到移动终端工作在视频通话模式下时，可能会存在开启前置摄 像头、开启后置摄像头和不开启摄像头这几种情况，因此可选的，无论移动终端是否需要合 成立体声声效的语音信号，实施例2中在确定出与移动终端的当前工作模式相对应的语音 信号后，采用预先设置的与移动终端的当前应用模式相匹配的语音信号处理方式，对确定 出的语音信号进行处理的过程均可以包括下述子步骤一?子步骤二：
[0079] 子步骤一：确定设置在移动终端上的各摄像头当前的状态；
[0080] 子步骤二：采用预先设置的、与该移动终端当前应用模式和上述各摄像头当前的 状态均匹配的语音信号处理方式，对确定出的与移动终端的当前应用模式相对应的语音信 号进行波束形成处理。
[0081] 以下例举几种根据移动终端上的各摄像头当前的状态，对选取的语音信号进行处 理的典型情况：
[0082] 情况一：移动终端处于如图4所示的垂直放置状态，且移动终端当前启用其前置 摄像头。
[0083] 针对该情况一，若选取的是当前处于同一水平线上的mic3和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用mic3和mic4所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 mic3和mic4所采集的语音信号生成右通道语音信号。具体而言，这里所说的左通道语音信 号的生成方式具体可以包括：以mic3所采集的语音信号为主麦克风信号，对该主麦克风信 号和mic4所采集的语音信号进行差分处理操作，从而得到一个语音信号，即左通道语音信 号。其中，在进行该差分处理操作的过程中，主麦克风信号作为差分处理操作中的被减方。
[0084] 类似地，这里所说的右通道语音信号的生成方式具体可以包括：以mic4所采集的 语音信号为主麦克风信号，对该主麦克风信号和mic3所采集的语音信号进行差分处理操 作，从而得到一个语音信号，即右通道语音信号。其中，在进行该差分处理操作的过程中，主 麦克风信号作为差分处理操作中的被减方。
[0085] 最终，生成的左通道语音信号和右通道语音信号会被编码为如图3所示的上行信 号，并由射频天线进行发送。后续该移动终端的视频通话对端在接收到该路信号后，通过对 该信号的解码，就可以恢复出上述左通道语音信号和右通道语音信号。
[0086] 情况二：移动终端处于如图4所示的垂直放置状态，且移动终端当前启用其后置 摄像头。
[0087] 针对该情况二，若选取的是当前处于同一水平线上的mic3和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用mic3和mic4所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 mic3和mic4所采集的语音信号生成右通道语音信号。最终，生成的左通道语音信号和右通 道语音信号会被编码成一路如图3所示的上行信号，并由射频天线进行发送。
[0088] 具体而言，这里所说的左通道语音信号的生成方式具体可以包括：以mic4所采集 的语音信号为主麦克风信号，对该主麦克风信号和mic3所采集的语音信号进行差分处理 操作，从而得到一个语音信号，即左通道语音信号。其中，在进行该差分处理操作的过程中， 主麦克风信号作为差分处理操作中的被减方。
[0089] 类似地，这里所说的右通道语音信号的生成方式具体可以包括：以mic3所采集的 语音信号为主麦克风信号，对该主麦克风信号和mic4所采集的语音信号进行差分处理操 作，从而得到一个语音信号，即右通道语音信号。其中，在进行该差分处理操作的过程中，主 麦克风信号作为差分处理操作中的被减方。
[0090] 情况三：移动终端处于如图5所示的水平放置状态，且移动终端当前启用其前置 摄像头。
[0091] 针对该情况三，若选取的是当前处于同一水平线上的micl和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用micl和mic4所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 micl和mic4所采集的语音信号生成右通道语音信号。最终，生成的左通道语音信号和右通 道语音信号会被编码成一路如图3所示的上行信号，并由射频天线进行发送。
[0092] 具体而言，这里所说的左通道语音信号的生成方式具体可以包括：以micl所采集 的语音信号为主麦克风信号，对该主麦克风信号和mic4所采集的语音信号进行差分处理 操作，从而得到一个语音信号，即左通道语音信号。其中，在进行该差分处理操作的过程中， 主麦克风信号作为差分处理操作中的被减方。
[0093] 类似地，这里所说的右通道语音信号的生成方式具体可以包括：以mic4所采集的 语音信号为主麦克风信号，对该主麦克风信号和micl所采集的语音信号进行差分处理操 作，从而得到一个语音信号，即右通道语音信号。其中，在进行该差分处理操作的过程中，主 麦克风信号作为差分处理操作中的被减方。
[0094] 情况四：移动终端处于如图5所示的水平放置状态，且移动终端当前启用其后置 摄像头。
[0095] 针对该情况四，若选取的是当前处于同一水平线上的micl和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用mic4和micl所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 mic4和micl所采集的语音信号生成右通道语音信号。最终，生成的左通道语音信号和右通 道语音信号会被编码成一路如图3所示的上行信号，并由射频天线进行发送。
[0096] 具体而言，这里所说的左通道语音信号的生成方式具体可以包括：以mic4所采集 的语音信号为主麦克风信号，对该主麦克风信号和micl所采集的语音信号进行差分处理 操作，从而得到一个语音信号，即左通道语音信号。其中，在进行该差分处理操作的过程中， 主麦克风信号作为差分处理操作中的被减方。
[0097] 类似地，这里所说的右通道语音信号的生成方式具体可以包括：以micl所采集的 语音信号为主麦克风信号，对该主麦克风信号和mic4所采集的语音信号进行差分处理操 作，从而得到一个语音信号，即右通道语音信号。其中，在进行该差分处理操作的过程中，主 麦克风信号作为差分处理操作中的被减方。
[0098] 情况五：移动终端处于如图4所示的垂直放置状态，且移动终端当前不启用任何 摄像头。
[0099] 针对该情况五，若选取的是当前处于同一水平线上的mic3和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用mic3和mic4所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 mic3和mic4所采集的语音信号生成右通道语音信号。最终，生成的左通道语音信号和右通 道语音信号会被编码成一路如图3所示的上行信号，并由射频天线进行发送。
[0100] 具体而言，这里所说的左通道语音信号的生成方式具体可以包括：以mic3所采集 的语音信号为主麦克风信号，对该主麦克风信号和mic4所采集的语音信号进行差分处理 操作，从而得到一个语音信号，即左通道语音信号。其中，在进行该差分处理操作的过程中， 主麦克风信号作为差分处理操作中的被减方。
[0101] 类似地，这里所说的右通道语音信号的生成方式具体可以包括：以mic4所采集的 语音信号为主麦克风信号，对该主麦克风信号和mic3所采集的语音信号进行差分处理操 作，从而得到一个语音信号，即右通道语音信号。其中，在进行该差分处理操作的过程中，主 麦克风信号作为差分处理操作中的被减方。
[0102] 情况六：移动终端处于如图5所示的水平放置状态，且移动终端当前不启用任何 摄像头。
[0103] 针对该情况六，若选取的是当前处于同一水平线上的micl和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用micl和mic4所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 micl和mic4所采集的语音信号生成右通道语音信号。最终，生成的左通道语音信号和右通 道语音信号会被编码成一路如图3所示的上行信号，并由射频天线进行发送。
[0104] 具体而言，这里所说的左通道语音信号的生成方式具体可以包括：以micl所采集 的语音信号为主麦克风信号，对该主麦克风信号和mic4所采集的语音信号进行差分处理 操作，从而得到一个语音信号，即左通道语音信号。其中，在进行该差分处理操作的过程中， 主麦克风信号作为差分处理操作中的被减方。
[0105] 类似地，这里所说的右通道语音信号的生成方式具体可以包括：以mic4所采集的 语音信号为主麦克风信号，对该主麦克风信号和micl所采集的语音信号进行差分处理操 作，从而得到一个语音信号，即右通道语音信号。其中，在进行该差分处理操作的过程中，主 麦克风信号作为差分处理操作中的被减方。
[0106] 针对上述情况一?情况六，在选取两路麦克风信号后，可以采用一阶差分阵列处 理方法对两路麦克风信号进行处理，从而获得分别朝向左右两个方向的心形指向的两个波 束，进一步地，通过对获得的波束进行低频补偿处理，就可以得到左、右两路立体声语音信 号，并对其进行编码后发送。
[0107] 实施例3
[0108] 实施例3中，假设移动终端的当前应用模式为免提会议模式，那么，可以确定移动 终端所包含的所有麦克风所采集的各路语音信号，作为与该免提会议模式相对应的语音信 号。
[0109] 由于在免提会议模式下，移动终端很可能会需要合成环绕声声效的语音信号，因 此，实施例3中采用预先设置的与该免提会议模式相匹配的语音信号处理方式，对确定出 的与免提会议模式相对应的语音信号进行波束行程处理的过程具体可以包括下述子步 骤：
[0110] 子步骤a:根据移动终端当前的声效模式，判断移动终端是否需要合成环绕声声 效的语音信号；
[0111] 子步骤b :在判断出移动终端不需要合成环绕声声效的语音信号时，对选取的语 音信号进行波束形成处理，使得生成的波束的方向与特定方向相同；
[0112] 子步骤c :在判断出移动终端需要合成环绕声声效的语音信号时，通过对选取的 语音信号进行波束形成处理，生成分别指向不同特定方向的各波束。
[0113] 或者，子步骤c也可以如下所述：
[0114] 首先，在判断出移动终端需要合成环绕声声效的语音信号，且判断出移动终端中 设置的加速度计当前输出的信号与预先规定的信号匹配时，从选取的语音信号中选取当前 沿水平方向分布的一对麦克风（比如如图6中所示的mic4和micl)分别采集的语音信号， 以及当前沿垂直方向分布的一对麦克风（比如如图6中所示的micl和mic2)分别采集的语 音信号；
[0115] 然后，对选取的当前沿水平方向分布的一对麦克风分别采集的语音信号进行差分 处理，获得声场一阶第一分量(如图6所不的X);对选取的当前沿垂直方向分布的一对麦克 风分别采集的语音信号进行差分处理，获得声场一阶第二分量(如图6所示的Y);并通过对 选取的语音信号（即micl?mic4所分别采集到的语音信号）的均值化处理，获得声场零阶 分量(如图6所示的W);
[0116] 最后，利用获得的声场一阶第一分量、声场一阶第二分量和声场零阶分量，生成波 束方向与特定方向一致的不同波束。
[0117] 为清楚示意上述X、Y、W，未在图6中示出移动终端当前屏幕上显示的内容。
[0118] 需要说明的是，由于上述三个分量为声场正交分量，因此，利用上述三个分量可以 重构平面360°范围内任意方向的语音信号。若将重构的语音信号作为移动终端的播放系 统的激励信号进行回放，即可重建平面声场，从而获得环绕声效果。上述预先规定的信号为 加速度计在移动终端处于垂直放置状态或水平放置状态时输出的信号；处于垂直放置状态 的移动终端满足：其纵向中轴线与水平面的夹角为90度；处于水平放置状态的移动终端满 足：其纵向中轴线与水平面的夹角为〇度。
[0119] 此外需要说明的是，上述子步骤b的实现方式可以包括：
[0120] 1、确定移动终端当前用于播放语音信号的部件；
[0121] 2、在确定出用于播放语音信号的部件为耳机时，对选取的语音信号进行波束形成 处理，使得生成的波束指向选取的语音信号的共同声源所在位置；或者，使得生成的波束的 方向与输入移动终端的波束方向指不信息所表不的方向一致。而在确定出用于播放语音信 号的部件为移动终端上设置的扬声器时，对选取的语音信号进行波束形成处理，使得生成 的波束在扬声器所在方向形成零陷。
[0122] 其中，上述的共同声源所在位置可以但不限于是根据选取的语音信号，对声源所 在位置进行声源跟踪而确定出的。
[0123] 本发明实施例中，用户可以通过移动终端的信息输入部件，如触摸屏等，向移动终 端输入波束方向指示信息。该波束方向指示信息可以用于指示期望根据选取的语音信号生 成的波束的方向。比如，在双人谈话场合，若移动终端位于参与谈话的两人之间的位置，则 此时可以通过该移动终端的触摸屏设定波束的两个主方向，这两个主方向可以分别朝向上 述两人，从而达到抑制来自其他方向的干扰语音的目的。
[0124] 实施例4
[0125] 实施例4中，假设移动终端的当前应用模式为非通信场景下的录音模式。则选取 与移动终端的当前应用模式相对应的语音信号的具体实现方式可以包括：根据移动终端的 当前应用模式，在根据设置在移动终端中的加速度计输出的信号判断出移动终端当前处于 垂直放置状态或水平放置状态时，从移动终端上设置的各麦克风采集的各路语音信号中， 确定当前处于同一水平线上的一对麦克风当前所采集到的语音信号。
[0126] 实施例4中，针对移动终端当前不同的放置方式，对于语音信号的选取和处理可 以分为下述两种情况 ：
[0127] 情况一：移动终端处于如图4所示的垂直放置状态。
[0128] 针对该情况一，若选取的是当前处于同一水平线上的mic3和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用mic3和mic4所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 mic3和mic4所采集的语音信号生成右通道语音信号。
[0129] 具体而言，这里所说的左通道语音信号的生成方式具体可以包括：以mic4所采集 的语音信号为主麦克风信号，对该主麦克风信号和mic3所采集的语音信号进行差分处理 操作，从而得到一个语音信号，即左通道语音信号。其中，在进行该差分处理操作的过程中， 主麦克风信号作为差分处理操作中的被减方。
[0130] 类似地，这里所说的右通道语音信号的生成方式具体可以包括：以mic3所采集的 语音信号为主麦克风信号，对该主麦克风信号和mic4所采集的语音信号进行差分处理操 作，从而得到一个语音信号，即右通道语音信号。其中，在进行该差分处理操作的过程中，主 麦克风信号作为差分处理操作中的被减方。
[0131] 情况二：移动终端处于如图5所示的水平放置状态。
[0132] 针对该情况二，若选取的是当前处于同一水平线上的micl和mic4所分别采集的 语音信号，那么，可以按照预先设置的左通道语音信号的生成方式，利用micl和mic4所采 集的语音信号生成左通道语音信号，并按照预先设置的右通道语音信号的生成方式，利用 micl和mic4所采集的语音信号生成右通道语音信号。
[0133] 具体而言，利用micl和mic4所采集的语音信号生成左、右通道语音信号的过程可 以包括下述步骤：
[0134] 步骤一：加窗截取信号点后进行快速傅里叶变换（Fast Fourier Transform,FFT) 变换；
[0135] 假设micl和mic4均为全指向性麦克风，且micl采集到的语音信号为S1U)，mic4 采集到的语音信号为s 4 (t)，则步骤一的具体实现过程可以包括：
[0136] 首先，根据采样率fs和N点长度的汉宁窗对S1 (t)和s4 (t)分别加窗，分别得到N 个离散信号点构成的下述两个离散语音信号序列：
[0137] S1 (1+1, - , l+N/2, 1+N/2+1, - , 1+N)
[0138] S4 (1+1, - , l+N/2, 1+N/2+1, - , 1+N)
[0139] 然后，对上述离散语音信号序列进行N点FFT变换，可以得到Sl(l+1，? ，l+N/2, 1+N/2+1，…，1+N)的第k帧第i个频率点的频谱为S1 (k，i)，而s4(l+l，… ，l+N/2, 1+N/2+1，…，1+N)的第k帧第i个频率点的频谱为S4 (k，i)。
[0140] 步骤二：幅度匹配滤波；
[0141] 为保证上述离散语音信号序列的信号幅度一致性，首先采用幅度匹配滤波器进行 幅度均衡处理。若以&幅度匹配滤波器，则存在下式 ：
[0142] Si i(k，D=H1Qi, DS1Gi, i)
[0143] S14(k, i)=H4(k, i)S4(k, i)
[0144] 步骤三：差分处理获得波束输出
[0145] 若d表示两个麦克风距离，c表示声速，Hd表示与距离d相关的频率补偿滤波器， 则通过下式可以分别获得朝向两个不同方向的心形差分波束输出：
[0146] L{kj)=[s\{kj)-s\{kj)· exp(-/ 放心'')}"" (/') V Ne J

【权利要求】
1. 一种语音信号处理方法，其特征在于，包括：采集至少两路语音信号；确定终端的当前应用模式；根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应 的语音信号；采用预先设置的与所述当前应用模式相匹配的语音信号处理方式，对所述相对应的语 音信号进行波束形成处理。
2. 如权利要求1所述的方法，所述终端包括第一麦克风阵列和第二麦克风阵列；其中， 所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含位于 所述终端顶端的多个麦克风，且所述终端还包括处于所述终端顶端的听筒；其特征在于，若 所述当前应用模式为手持通话模式；则 根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应 的语音信号具体包括：根据所述当前应用模式，从所述至少两路语音信号中确定所述第一麦克风阵列和所述 第二麦克风阵列分别采集的各路语音信号；采用预先设置的与所述当前应用模式相匹配的语音信号处理方式，对所述相对应的语 音信号进行波束形成处理，具体包括：对所述第一麦克风阵列采集到的各路语音信号进行波束形成处理，使得对所述第一麦 克风阵列采集到的各路语音信号进行波束形成处理后生成的第一波束指向所述终端底端 正前方；对所述第二麦克风阵列到的各路语音信号进行波束形成处理，使得对所述第二麦 克风阵列采集到的各路语音信号进行波束形成处理后生成的第二波束指向所述终端顶端 正后方，并使得所述第二波束在所述终端的听筒所在方向形成零陷。
3. 如权利要求1所述的方法，所述终端包括第一麦克风阵列和第二麦克风阵列；其中， 所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含位于 所述终端顶端的多个麦克风，其特征在于，若所述当前应用模式为视频通话模式；则 根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应 的语音信号，具体包括：根据所述当前应用模式，在根据所述终端当前的声效模式判断出所述终端不需要合成 立体声声效的语音信号时，从所述至少两路语音信号中确定所述第一麦克风阵列采集的语音信号。
4. 如权利要求1所述的方法，所述终端包括第一麦克风阵列和第二麦克风阵列；其中， 所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含位于 所述终端顶端的多个麦克风；且所述终端中还设置有加速度计，其特征在于，若所述当前应 用模式为视频通话模式；则 根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应 的语音信号，具体包括：根据所述当前应用模式，在根据所述终端当前的声效模式判断出所述终端需要合成立 体声声效的语音信号时，根据所述加速度计输出的信号，从所述至少两路语音信号中确定 与所述当前应用模式相对应的语音信号。
5. 如权利要求4所述的方法，其特征在于，根据所述加速度计输出的信号，从所述至少 两路语音信号中确定与所述当前应用模式相对应的语音信号，具体包括： 若判断出所述加速度计当前输出的信号与预先规定的第一信号匹配，则从所述至少两 路语音信号中，确定所述第二麦克风阵列当前所采集到的各路语音信号；其中，所述预先规 定的第一信号为所述加速度计在所述终端处于垂直放置状态时输出的信号；处于垂直放置 状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为90度；若判断出所述加速度计当前输出的信号与预先规定的第二信号匹配，则从所述至少两 路语音信号中，确定特定的麦克风当前所采集到的语音信号；其中，所述预先规定的第二信 号为所述加速度计在所述终端处于水平放置状态时输出的信号；处于水平放置状态的所述 终端满足：所述终端的纵向中轴线与水平面的夹角为〇度；所述特定的麦克风包括：在所述终端处于水平放置状态时处于同一水平线的至少一对 麦克风，且每对麦克风均满足：其中的一个麦克风属于所述第一麦克风阵列，另一个麦克风 属于所述第二麦克风阵列。
6. 如权利要求4或5所述的方法，其特征在于，采用预先设置的与所述当前应用模式相 匹配的语音信号处理方式，对所述相对应的语音信号进行波束形成处理，具体包括： 确定设置在所述终端上的各摄像头当前的状态；采用预先设置的、与所述当前应用模式和所述各摄像头当前的状态均匹配的语音信号 处理方式，对所述相对应的语音信号进行波束形成处理。
7. 如权利要求1所述的方法，所述终端包括第一麦克风阵列和第二麦克风阵列；其中， 所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含位于 所述终端顶端的多个麦克风；且所述终端包括设置于所述顶端的扬声器；其特征在于，若 所述当前应用模式为免提会议模式；则 根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应 的语音信号，具体包括：根据所述当前应用模式，从所述至少两路语音信号中确定所述第一麦克风阵列和第二 麦克风阵列分别采集的各路语音信号。
8. 如权利要求7所述的方法，其特征在于，采用预先设置的与所述当前应用模式相匹 配的语音信号处理方式，对所述相对应的语音信号进行波束形成处理，具体包括： 根据所述终端当前的声效模式，判断所述终端是否需要合成环绕声声效的语音信号；在判断出所述终端不需要合成环绕声声效的语音信号时，确定所述终端当前用于播放 语音信号的部件；在确定出所述部件为耳机时，对所述相对应的语音信号进行波束形成处理，使得生成 的波束指向所述相对应的语音信号的共同声源所在位置；或者使得生成的波束的方向与输 入所述终端的波束方向指示信息所表示的方向一致；其中，所述共同声源所在位置是根据 所述相对应的语音信号对声源所在位置进行声源跟踪而确定出的；在确定出所述部件为所述扬声器时，对所述相对应的语音信号进行波束形成处理，使 得生成的波束在所述扬声器所在方向形成零陷。
9. 如权利要求8所述的方法，所述终端中设置有加速度传感器；其特征在于，采用预先 设置的与所述当前应用模式相匹配的语音信号处理方式，对所述相对应的语音信号进行波 束形成处理，具体还包括：在判断出所述终端需要合成环绕声声效的语音信号，且判断出所述加速度计当前输出 的信号与预先规定的信号匹配时，从所述相对应的语音信号中选取当前沿水平方向分布的 一对麦克风分别采集的语音信号，以及当前沿垂直方向分布的一对麦克风分别采集的语音 信号；其中，所述当前沿水平方向分布的一对麦克风满足：其中的一个麦克风属于所述第 一麦克风阵列，另一个麦克风属于所述第二麦克风阵列；所述当前沿垂直方向分布的一对 麦克风均属于所述第一麦克风阵列或第二麦克风阵列；对选取的所述沿水平方向分布的一对麦克风分别采集的语音信号进行差分处理，获得 声场一阶第一分量；对选取的所述沿垂直方向分布的一对麦克风分别米集的语音信号进行 差分处理，获得声场一阶第二分量；并通过对所述相对应的语音信号的均值化处理，获得声 场零阶分量；利用所述声场一阶第一分量、所述声场一阶第二分量和所述声场零阶分量，生成波束 方向与特定方向一致的不同波束；其中，所述预先规定的信号为所述加速度计在所述终端处于垂直放置状态或水平放置 状态时输出的信号；处于垂直放置状态的所述终端满足：所述终端的纵向中轴线与水平面 的夹角为90度；处于水平放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹 角为〇度。
10. 如权利要求1所述的方法，所述终端包括第一麦克风阵列和第二麦克风阵列；其 中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含 位于所述终端顶端的多个麦克风，且所述终端中设置有加速度传感器，其特征在于，若所述 当前应用模式为非通信场景下的录音模式；则 根据所述当前应用模式，从所述至少两路语音信号中确定与所述当前应用模式相对应 的语音信号，具体包括：根据所述当前应用模式，在根据设置在所述终端中的加速度计输出的信号判断出所述 终端当前处于垂直放置状态或水平放置状态时，从所述至少两路语音信号中，确定当前处 于同一水平线上的一对麦克风当前所采集到的语音信号；其中，处于垂直放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为 90度；处于水平放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为0度。
11. 一种语音信号处理装置，其特征在于，包括： 采集单元，用于采集至少两路语音信号；模式确定单元，用于确定终端的当前应用模式；语音信号确定单元，用于根据所述当前应用模式，从所述至少两路语音信号中确定与 所述当前应用模式相对应的语音信号；处理单元，用于采用预先设置的与所述当前应用模式相匹配的语音信号处理方式，对 所述相对应的语音信号进行波束形成处理。
12. 如权利要求11所述的装置，所述终端包括第一麦克风阵列和第二麦克风阵列；所 述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含位于所 述终端顶端的多个麦克风，且所述终端还包括处于所述终端顶端的听筒；其特征在于，若所 述当前应用模式为手持通话模式；则 所述语音信号确定单元具体用于：根据所述当前应用模式，从所述至少两路语音信号 中确定所述第一麦克风阵列和所述第二麦克风阵列分别采集的各路语音信号；所述处理单元具体用于：对所述第一麦克风阵列采集到的各路语音信号进行波束形成 处理，使得对所述第一麦克风阵列采集到的各路语音信号进行波束形成处理后生成的第一 波束指向所述终端底端正前方；对所述第二麦克风阵列到的各路语音信号进行波束形成处 理，使得对所述第二麦克风阵列采集到的各路语音信号进行波束形成处理后生成的第二波 束指向所述终端顶端正后方，并使得所述第二波束在所述终端的听筒所在方向形成零陷。
13. 如权利要求11所述的装置，所述终端包括第一麦克风阵列和第二麦克风阵列；其 中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含 位于所述终端顶端的多个麦克风，其特征在于，若所述当前应用模式为视频通话模式；则 所述语音信号确定单元具体用于：根据所述当前应用模式，在根据所述终端当前的声 效模式判断出所述终端不需要合成立体声声效的语音信号时，从所述至少两路语音信号中 确定所述第一麦克风阵列米集的语音信号。
14. 如权利要求11所述的装置，所述终端包括第一麦克风阵列和第二麦克风阵列；其 中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含 位于所述终端顶端的多个麦克风；且所述终端中还设置有加速度计，其特征在于，若所述当 前应用模式为视频通话模式；则 所述语音信号确定单元具体用于：根据所述当前应用模式，在根据所述终端当前的声 效模式判断出所述终端需要合成立体声声效的语音信号时，根据所述加速度计输出的信 号，从所述至少两路语音信号中确定与所述当前应用模式相对应的语音信号。
15. 如权利要求14所述的装置，其特征在于，所述语音信号确定单元具体用于： 若判断出所述加速度计当前输出的信号与预先规定的第一信号匹配，则从所述至少两 路语音信号中，确定所述第二麦克风阵列当前所采集到的各路语音信号；其中，所述预先规 定的第一信号为所述加速度计在所述终端处于垂直放置状态时输出的信号；处于垂直放置 状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为90度；若判断出所述加速度计当前输出的信号与预先规定的第二信号匹配，则从所述至少两 路语音信号中，确定特定的麦克风当前所采集到的语音信号；其中，所述预先规定的第二信 号为所述加速度计在所述终端处于水平放置状态时输出的信号；处于水平放置状态的所述 终端满足：所述终端的纵向中轴线与水平面的夹角为〇度；所述特定的麦克风包括：在所述终端处于水平放置状态时处于同一水平线的至少一对 麦克风，且每对麦克风均满足：其中的一个麦克风属于所述第一麦克风阵列，另一个麦克风 属于所述第二麦克风阵列。
16. 如权利要求14或15所述的装置，其特征在于，所述处理单元具体用于：确定设置 在所述终端上的各摄像头当前的状态；采用预先设置的、与所述当前应用模式和所述各摄 像头当前的状态均匹配的语音信号处理方式，对所述相对应的语音信号进行波束形成处 理。
17. 如权利要求11所述的装置，所述终端包括第一麦克风阵列和第二麦克风阵列；其 中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含 位于所述终端顶端的多个麦克风；且所述终端包括设置于所述顶端的扬声器；其特征在 于，若所述当前应用模式为免提会议模式；则所述语音信号确定单元具体用于：根据所述当前应用模式，从所述至少两路语音信号 中确定所述第一麦克风阵列和第二麦克风阵列分别采集的各路语音信号。
18. 如权利要求17所述的装置，其特征在于，所述处理单元具体用于： 根据所述终端当前的声效模式，判断所述终端是否需要合成环绕声声效的语音信号；在判断出所述终端不需要合成环绕声声效的语音信号时，确定所述终端当前用于播放 语音信号的部件；在确定出所述部件为耳机时，对所述相对应的语音信号进行波束形成处理，使得生成 的波束指向所述相对应的语音信号的共同声源所在位置；或者使得生成的波束的方向与输 入所述终端的波束方向指示信息所表示的方向一致；其中，所述共同声源所在位置是根据 所述相对应的语音信号对声源所在位置进行声源跟踪而确定出的；在确定出所述部件为所述扬声器时，对所述相对应的语音信号进行波束形成处理，使 得生成的波束在所述扬声器所在方向形成零陷。
19. 如权利要求18所述的装置，所述终端中设置有加速度传感器；其特征在于，所述处 理单元具体还用于： 在判断出所述终端需要合成环绕声声效的语音信号，且判断出所述加速度计当前输出 的信号与预先规定的信号匹配时，从所述相对应的语音信号中选取当前沿水平方向分布的 一对麦克风分别采集的语音信号，以及当前沿垂直方向分布的一对麦克风分别采集的语音 信号；其中，所述当前沿水平方向分布的一对麦克风满足：其中的一个麦克风属于所述第 一麦克风阵列，另一个麦克风属于所述第二麦克风阵列；所述当前沿垂直方向分布的一对 麦克风均属于所述第一麦克风阵列或第二麦克风阵列；对选取的所述沿水平方向分布的一对麦克风分别采集的语音信号进行差分处理，获得 声场一阶第一分量；对选取的所述沿垂直方向分布的一对麦克风分别米集的语音信号进行 差分处理，获得声场一阶第二分量；并通过对所述相对应的语音信号的均值化处理，获得声 场零阶分量；利用所述声场一阶第一分量、所述声场一阶第二分量和所述声场零阶分量，生成波束 方向与特定方向一致的不同波束；其中，所述预先规定的信号为所述加速度计在所述终端处于垂直放置状态或水平放置 状态时输出的信号；处于垂直放置状态的所述终端满足：所述终端的纵向中轴线与水平面 的夹角为90度；处于水平放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹 角为〇度。
20. 如权利要求11所述的装置，所述终端包括第一麦克风阵列和第二麦克风阵列；其 中，所述第一麦克风阵列包含位于所述终端底端的多个麦克风；所述第二麦克风阵列包含 位于所述终端顶端的多个麦克风，且所述终端中设置有加速度传感器，其特征在于，若所述 当前应用模式为非通信场景下的录音模式；则 所述语音信号确定单元具体用于：根据所述当前应用模式，在根据设置在所述终端中 的加速度计输出的信号判断出所述终端当前处于垂直放置状态或水平放置状态时，从所 述至少两路语音信号中，确定当前处于同一水平线上的一对麦克风当前所采集到的语音信 号；其中，处于垂直放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为 90度；处于水平放置状态的所述终端满足：所述终端的纵向中轴线与水平面的夹角为0度。
【文档编号】G10L21/02GK104424953SQ201310412886
【公开日】2015年3月18日 申请日期:2013年9月11日 优先权日:2013年9月11日
【发明者】陈日林, 张德明 申请人:华为技术有限公司