声音信号处理方法、装置及电子设备与流程

本公开实施例涉及降噪领域，尤其涉及一种声音信号处理方法、装置及电子设备。

背景技术：

主动降噪耳机已经越来越普遍，包括真无线立体声(truewirelessstereo，tws)耳机或者头戴式耳机等。在一些场景下，比如呼叫中心、口语考试、飞机内通信等，由于周围环境非常吵杂，周围的噪声都会通过耳机上的麦克风传到远端去，造成通话质量下降。为提高提高语音质量，可以利用主动降噪耳机设置的麦克风对噪声进行处理。

在现有技术中，降噪依据的原理通常为：主麦克风采集说话人的声音，参考麦克风采集周围环境的声音，由于主麦克风距离人嘴比较近，当说话人讲话时，主麦克风采集的信号的能量远大于参考麦克风的能量，而外界噪声距离主麦克风和参考麦克风相近，主麦克风和参考麦克风采集的噪声能量相近，因此根据两个麦克风的噪声能量差对噪声进行处理。然而，通过上述方式进行降噪处理得到的声音信号的噪声较大，降噪效果较差。

技术实现要素：

本公开实施例提供一种声音信号处理方法、装置及电子设备，以解决现有降噪效果较差的问题。

为解决上述问题，本公开是这样实现的：

第一方面，本公开实施例提供了一种声音信号处理方法，应用于电子设备，所述电子设备包括一个主麦克风和n个参考麦克风；所述方法包括：

获取所述主麦克风采集到的第一声音信号，以及所述n个参考麦克风中q个参考麦克风采集到的q个第二声音信号；

根据所述第一声音信号和所述q个第二声音信号，生成残差声音信号；

根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号；

其中，所述目标参考麦克风为所述n个参考麦克风中的任一参考麦克风；n为正整数，q为小于或等于n的正整数。

第二方面，本公开实施例还提供一种电子设备，应用于电子设备，所述电子设备包括一个主麦克风和n个参考麦克风；所述声音信号处理装置包括：

第一获取模块，用于获取所述主麦克风采集到的第一声音信号，以及所述n个参考麦克风中q个参考麦克风采集到的q个第二声音信号；

第一生成模块，用于根据所述第一声音信号和所述q个第二声音信号，生成残差声音信号；

第二生成模块，用于根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号；

其中，所述目标参考麦克风为所述n个参考麦克风中的任一参考麦克风；n为正整数，q为小于或等于n的正整数。

第三方面，本公开实施例还提供一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上所述的声音信号处理方法的步骤。

第四方面，本公开实施例还提供一种可读存储介质，该可读存储介质上存储有程序，所述程序被处理器执行时实现如上所述的应用于电子设备的声音信号处理方法的步骤。

在本公开实施例中，电子设备可以先根据所述主麦克风采集到的第一声音信号，以及q个参考麦克风采集到的q个第二声音信号，生成残差声音信号；之后，根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号。这样，相比于现有技术中直接根据主麦克风采集到的声音信号和一个参考麦克风采集的声音信号的能量差，对主麦克风采集到的声音信号进行降噪处理，可以进一步减少目标声音信号中的噪音，进而提高降噪效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

图1是根据一示例性实施例示出的一种声音信号处理方法的流程图；

图2是根据一示例性实施例示出的声音信号处理装置的结构图；

图3是根据一示例性实施例示出的电子设备的结构图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下对本公开实施例的声音信号处理方法进行说明。

本公开实施例的声音信号处理方法可以应用于任何包括一个主麦克风和n个参考麦克风的电子设备，其中，n为正整数。在实际应用中，电子设备可以是手机、电脑、电视、可穿戴式设备或车载设备等。

参见图1，图1是根据一示例性实施例示出的一种声音信号处理方法的流程图。如图1所示，声音信号处理方法可以包括以下步骤：

在步骤101中，获取所述主麦克风采集到的第一声音信号，以及所述n个参考麦克风中q个参考麦克风采集到的q个第二声音信号。

其中，q为小于或等于n的正整数。可以理解的是，在q为小于n的正整数的情况下，所述q个参考麦克风包括电子设备的部分麦克风；在q等于n的情况下，所述q个参考麦克风包括电子设备的全部麦克风。

本公开实施例旨在减少或去除主麦克风采集到的声音信号中的噪声信号。可以理解的是，所述第一声音信号包括第一类噪声信号和第二类噪声信号，其中，所述第一类噪声信号为：所述第一声音信号中与参考麦克风采集到的声音信号的相关值大于预设值的噪声信号，所述第二类噪声信号为：所述第一声音信号中与参考麦克风采集到的声信号的相关值小于或等于预设值的噪声信号。换句话说，所述第一类噪声信号因主麦克风和参考麦克风均设置在电子设备中，与参考麦克风采集到的声音信号具有较强的相关性；所述第二类噪声信号因麦克风和参考麦克风在电子设备中的设置位置不同，与参考麦克风采集到的声音信号的相关性较弱。

在本公开实施例中，电子设备可以通过执行步骤102，减少或去除所述第一声音信号中的第一类噪声信号；通过执行步骤103，减少或去除所述第一声音信号中的第二类噪声信号。

在步骤102中，根据所述第一声音信号和所述q个第二声音信号，生成残差声音信号。

在本公开实施例中，电子设备可先根据所述q个第二声音信号，生成参考声音信号，再根据所述第一声音信号和所述参考声音信号，生成残差声音信号。

具体实现时，一种实现方式中，电子设备可以对所述q个第二声音信号进行加权处理，得到所述参考声音信号；另一种实现方式中，分别对所述q个第二声音信号进行滤波处理，并对滤波处理后的q个第二声音信号进行融合，得到所述参考声音信号，具体可根据实际情况决定，本公开实施例对此不做限定。

一种实现方式中，电子设备可将所述参考声音信号进行反向处理后，与所述第一声音信号进行叠加，得到所述残差声音信号；另一种实现方式中，电子设备可将所述第一声音信号和所述参考声音信号相减，得到所述残差声音信号，具体可根据实际情况决定，本公开实施例对此不做限定。

可理解的是，所述残差声音信号与所述第一声音信号的主要区别在于：所述残差声音信号的第一类噪声信号少于所述第一声音信号的第一类噪声信号。

需要说明的是，步骤102可以通过将所述第一声音信号和所述q个第二声音信号输入目标滤波器实现，也可以通过其他方式实现，具体可根据实际情况决定，本公开实施例对此不做限定。

在步骤103中，根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号。

具体实现时，电子设备可以根据所述残差声音信号和目标参考麦克风采集到的第二声音信号的能量差，减少或去除所述残差声音信号中的第二类噪声信号，得到目标声音信号。

可理解的是，所述残差声音信号与所述目标声音信号的主要区别在于：所述目标声音信号的第二类噪声信号少于所述残差声音信号的第二类噪声信号。

另外，所述目标参考麦克风可以为所述n个参考麦克风中的任一参考麦克风，具体可根据实际情况决定，本公开实施例对此不做限定。

本公开实施例的声音信号处理方法，电子设备可以先根据所述主麦克风采集到的第一声音信号，以及q个参考麦克风采集到的q个第二声音信号，生成残差声音信号；之后，根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号。这样，相比于现有技术中直接根据主麦克风采集到的声音信号和一个参考麦克风采集的声音信号的能量差，对主麦克风采集到的声音信号进行降噪处理，可以进一步减少目标声音信号中的噪音，进而提高降噪效果。

在本公开实施例中，可选的，所述根据所述第一声音信号和所述q个第二声音信号，生成残差声音信号，包括：

将所述第一声音信号和所述q个第二声音信号输入目标滤波器中，以得到所述残差声音信号；

其中，所述目标滤波器可以用于：

分别对所述q个第二声音信号进行滤波处理，得到q个第三声音信号；

融合所述q个第三声音信号，得到参考声音信号；

根据所述第一声音信号和所述参考声音信号，生成残差声音信号。

具体实现时，所述目标滤波器可以包括：1个第一输入端、至少q个第二输入端、与所述至少q个第二输入端具有一一对应关系的至少q个滤波单元、第一处理单元和第二处理单元；其中，每个所述滤波单元分别与一个第二输入端和所述第一处理单元连接，第二处理单元分别与所述第一输入端和所述第一处理单元连接。需要说明的是，滤波单元与其连接的第二输入端具有对应关系。

在实施时，所述第一输入端用于接收所述第一声音信号，并向所述第二处理单元输出所述第一声音信号；

q个第二输入端中的每个第二输入端用于接收一个所述q个第二声音信号中的第二声音信号，并向其连接的滤波单元输出其接收到的第二声音信号；

q个滤波器中的每个滤波器用于接收其连接的第二输入端传输的第二声音信号，并对该第二声音信号进行滤波处理，得到第三声音信号，之后，将该第三声音信号传输至第一处理单元；

所述第一处理单元用于接收所述q个滤波器传输的q个第三声音信号，并融合所述q个第三声音信号，得到参考声音信号，之后，向所述第二处理单元输出所述参考声音信号；

所述第二处理单元用于接收所述第一声音信号和所述参考声音信号，并根据所述第一声音信号和所述参考声音信号，生成残差声音信号。

假设第一声音信号为：x＝[x(n),x(n-1),x(n-l+1)]^t；

第二声音信号为：yk＝[yk(n),yk(n-1),yk(n-l+1)]^t；

滤波单元的滤波参数为：wk＝[wk(n),wk(n-1),wk(n-l+1)]^t；

其中，n表示时间；l表示快拍数；k＝1，2，…，q。

那么，所述目标滤波器输出的残差声音信号为：

将w和y排列成一个列向量，则可以表示为以下两个向量相乘：

则上述e(n)公式可以变换为：

e(n)＝x(n)-w^t(n)y(n)

另外，在本公开实施例中，可选的，所述将所述第一声音信号和所述q个第二声音信号输入目标滤波器中之后，所述方法还包括：

获取所述q个第二声音信号的总功率；

根据所述总功率，调整所述目标滤波器的滤波参数。

具体实现时，总功率可以通过：pyy＝y^t(n)y(n)计算得到。

调整后的所述目标滤波器的滤波参数为：

其中，μ和ψ为常数，具体可以根据实际情况设定，本公开实施例对此不做限定。可以理解的是，各滤波单元的滤波参数w可基于其与w的关系确定。

在本公开实施例中，可选的，所述根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号之前，所述方法还包括：

获取所述n个参考麦克风中每个参考麦克风与目标声源的距离值，得到n个距离值；

将所述n个距离值中最大距离值对应的参考麦克风确定为所述目标参考麦克风。

在本可选实施方式中，选择将距离目标声源最远的参考麦克风作为目标参考麦克风。这样，由于目标参考麦克风距离目标声源最远，目标参考麦克风采集到的声音信号与主麦克风采集到的声音信号中的噪声信号的相关性最弱，从而利用目标参考麦克风采集到的声音信号去减少主麦克风采集到的第二类噪声信号，可以提高降噪的可靠性。

当然，在其他实施方式中，也可选择距离主麦克风最远的参考麦克风作为所述目标参考麦克风，具体可根据实际情况决定，本公开实施例对此不做限定。

需要说明的是，本公开实施例中介绍的多种可选的实施方式，在彼此不冲突的情况下可以相互结合实现，也可以单独实现，对此本公开实施例不作限定。

为方便理解，示例说明如下：

在本示例中，考虑到主麦克风和两个参考麦克风不仅接收的噪声信号能量相近，而且他们接收的信号还具有很强的相关性，因此可以先利用自适应滤波器方法，将主麦克风接收的信号中去除和两个参考麦克风相关的噪声，然后再利用能量相差不大的原理，进一步去除不相关部分的噪声。

下面以时域的自适应滤波器(normalizedleastmeansquare，nlms)为例进行说明：

假定主动降噪通信耳机有3个麦克风，分别为麦克风1，麦克风2和麦克风3，其中，麦克风1为主麦克风，麦克风2和麦克风2为参考麦克风。

假设麦克风1的信号为x(n)＝[x(n),x(n-1),l,x(n-l+1)]^t，l为快拍数。

参考麦克风1和参考麦克风2所接收到的信号为：

yk(n)＝[yk(n),yk(n-1),l,yk(n-l+1)]^t,k＝1,2，l为快拍数。

滤波器为wk(n)＝[wk(n),wk(n-1),l,wk(n-l+1)]^t，k＝1,2。

则经过滤波器后残差信号为：

将该公式进行简单变换，将w和x排列成一个列向量，则上面的求和可以表示为下述两个向量相乘：

那么，上式可以写为：

e(n)＝x(n)-w^t(n)y(n)

获得两个参考麦克风信号的总功率用于调整自适应滤波器的步长：

pyy(n)＝y^t(n)y(n)

更新滤波器的波长为：

获得e(n)后，可以进一步在该信号的基础上，利用它和麦克风2采集到的信号之间的能量关系，进一步对噪声进行消除。

本公开实施例，可以通过复用主动降噪耳机的两个参考麦克风，利用自适应滤波的方法，可以将主麦克风中和两个参考麦克风相关的噪声去掉，然后再结合传统的主从麦克风降噪方法，可以达到更好的降噪效果。

参见图2，图2是根据一示例性实施例示出的声音信号处理装置的结构图之一。如图2所示，声音信号处理装置200包括：

第一获取模块201，用于获取所述主麦克风采集到的第一声音信号，以及所述n个参考麦克风中q个参考麦克风采集到的q个第二声音信号；

第一生成模块202，用于根据所述第一声音信号和所述q个第二声音信号，生成残差声音信号；

第二生成模块203，用于根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号；

其中，所述目标参考麦克风为所述n个参考麦克风中的任一参考麦克风；n为正整数，q为小于或等于n的正整数。

可选的，所述第一生成模块202，具体用于：

将所述第一声音信号和所述q个第二声音信号输入目标滤波器中，以得到所述残差声音信号；

其中，所述目标滤波器用于：

分别对所述q个第二声音信号进行滤波处理，得到q个第三声音信号；

融合所述q个第三声音信号，得到参考声音信号；

根据所述第一声音信号和所述参考声音信号，生成残差声音信号。

可选的，所述声音信号处理装置200还包括：

第二获取模块，用于获取所述q个第二声音信号的总功率；

调整模块，用于根据所述总功率，调整所述目标滤波器的滤波参数。

可选的，所述声音信号处理装置200还包括：

第三获取模块，用于获取所述n个参考麦克风中每个参考麦克风与目标声源的距离值，得到n个距离值；

确定模块，用于将所述n个距离值中最大距离值对应的参考麦克风确定为所述目标参考麦克风。

声音信号处理装置200能够实现本公开方法实施例中的各个过程，以及达到相同的有益效果，为避免重复，这里不再赘述。

参见图3，图3是根据一示例性实施例示出的电子设备的结构图之二。如图3所示，电子设备300包括：处理器301、存储器302、用户接口303、收发机304和总线接口。

其中，在本公开实施例中，电子设备300还包括：存储在存储器302上并可在处理器301上运行的程序，程序被处理器301执行时实现如下步骤：

获取所述主麦克风采集到的第一声音信号，以及所述n个参考麦克风中q个参考麦克风采集到的q个第二声音信号；

根据所述第一声音信号和所述q个第二声音信号，生成残差声音信号；

根据所述残差声音信号和目标参考麦克风采集到的第二声音信号，生成目标声音信号；

其中，所述目标参考麦克风为所述n个参考麦克风中的任一参考麦克风；n为正整数，q为小于或等于n的正整数。

可选的，程序被处理器301执行时实现如下步骤：

将所述第一声音信号和所述q个第二声音信号输入目标滤波器中，以得到所述残差声音信号；

其中，所述目标滤波器用于：

分别对所述q个第二声音信号进行滤波处理，得到q个第三声音信号；

融合所述q个第三声音信号，得到参考声音信号；

根据所述第一声音信号和所述参考声音信号，生成残差声音信号。

可选的，程序被处理器301执行时实现如下步骤：

获取所述q个第二声音信号的总功率；

根据所述总功率，调整所述目标滤波器的滤波参数。

可选的，程序被处理器301执行时实现如下步骤：

获取所述n个参考麦克风中每个参考麦克风与目标声源的距离值，得到n个距离值；

将所述n个距离值中最大距离值对应的参考麦克风确定为所述目标参考麦克风。

在图3中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器301代表的一个或多个处理器和存储器302代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机304可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口303还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器301负责管理总线架构和通常的处理，存储器302可以存储处理器2601在执行操作时所使用的数据。

电子设备300能够实现上述方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

本公开实施例还提供一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述声音信号处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的可读存储介质，如只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等。

上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本公开的保护之内。