一种噪声抑制方法、装置及辅听耳机与流程

1.本公开涉及信号处理技术，更具体地，涉及一种噪声抑制方法、装置及辅听耳机。


背景技术：

2.现有的psap耳机在放大环境音的时候，语音信号和环境噪声信号是同时放大的，但是有的时候用户会有沟通的需求，此时外部环境噪声会影响语音可懂度，妨碍正常交流。
3.辅听耳机使用场景的特殊性，造成了降噪与辅听的矛盾，一方面辅听耳机需要让环境中例如对话者的声音通过辅听耳机，并且要求低延时，另一方面，辅听耳机还需要让环境中的噪音降低，起到降噪的效果。而实际使用情况下，环境中的噪音和对话者的声音大概率是同时存在的，而这时候降噪是非常困难的，如果不降噪，又会使用户觉得环境噪声过大，影响交流。


技术实现要素：

4.旨在提供一种噪声抑制方法、装置及辅听耳机，实现辅听耳机的降噪效果。
5.在第一方面，本公开的实施例提供了一种噪声抑制方法，用于辅听耳机的噪声抑制，所述噪声抑制方法包括如下步骤：获取环境音频信号；将所述环境音频信号经过分析滤波器组的处理之后，按照频段划分为多个第一子带部；将所述环境音频信号进行下采样并变换到频域，以得到多个第二子带部，其中，所述多个第二子带部的频段间隔小于或等于所述多个第一子带部的最小频段间隔；确定各第二子带部的语音存在概率；基于各第二子带部的语音存在概率确定该第二子带部的增益；基于各第二子带部的增益，对各第一子带部进行处理；以及对处理后的各第一子带部进行合成。
6.在第二方面，本公开的实施例还提供了一种噪声抑制装置，包括存储器和处理器；其中，所述存储器，用于存储计算机程序，所述处理器用于执行所述计算机程序时实现本公开各实施例所述的噪声抑制方法的步骤。
7.在第三方面，本公开的实施例还提供了一种噪声抑制组件，包括处理器，被配置为：将辅听耳机前馈麦克风获取的环境音频信号下采样并变换到频域，以得到多个第二子带部，其中，所述多个第二子带部的频段间隔小于或等于辅听耳机第一滤波器组处理后的各第一子带部之间的最小频段间隔；确定各第二子带部的语音存在概率；基于各第二子带部的语音存在概率确定该第二子带部的增益；基于各第二子带部的增益，对各第一子带部进行处理。
8.在第四方面，本公开的实施例还提供了一种辅听耳机，包括前馈麦克风，第一滤波器组，第二滤波器组以及前述的噪声抑制组件：所述前馈麦克风，被配置为获取环境音频信号；所述第一滤波器组，被配置为将所述环境音频信号按照频段划分为多个第一子带部；所述第二滤波器组，对经由所述噪声抑制组件处理后的各第一子带部进行合成。
9.利用根据本公开的各个实施例的噪声抑制方法、装置及辅听耳机，通过确定频域的多个第二子带部的语音存在概率来确定各第二子带部的增益，从而确定第二子带部的增
益，以利用第二子带部的增益调节辅听耳机硬件回路对应的第一子带部的增益，实现了辅听的同时达到良好的降噪效果，有效提升辅听耳机的使用体验。
附图说明
10.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
11.图1示出根据本公开的psap耳机的信号处理流程示意图；
12.图2示出根据本公开噪声抑制方法的基本流程示意图；
13.图3示出根据本公开噪声抑制方法信号处理流程示意图；
14.图4示出根据本公开噪声抑制方法确定各第一子带的增益的流程图。
具体实施方式
15.为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。
16.本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。
17.本公开实施例提出一种噪声抑制方法，用于辅听psap耳机的噪声抑制，图1示出了psap耳机的信号处理示意图，如图1所示，环境音频信号x(n)经过辅听耳机的分析滤波器组之后，按照频段划分为多个子带部，多个子带部可以分别对应至其后的乘法器(gain0-gainn)，例如一个乘法器可以对应处理一个频段，通过乘法器处理之后的信号，进入对应的动态范围控制drc，如图1中包含动态范围控制(drc0-drcn)，最后再经过合成滤波器组，合成后的信号y(n)进行输出。由于噪声分析模块计算复杂度比较高，电路规模较大，直接在硬件结构上实现辅听耳机的降噪是非常困难的，并且采用在硬件结构中加入噪声分析模块的降噪方法会在现有通路上加入数据缓冲结构从而引入较多的额外的处理延迟，影响用户体验，以至于不能应用于辅听的需要低延迟的场景中。如图2所示，本公开提出的噪声抑制方法始于步骤s201、获取环境音频信号，例如环境音频信号可以包括语音信号和环境噪音信号。在步骤s202中将所述环境音频信号经过分析滤波器组的处理之后，按照频段划分为多个第一子带部。也即可以直接利用psap耳机硬件回路的分析滤波器组从而将环境音频信号按照频段划分为多个第一子带部。
18.接着在步骤s203中将所述环境音频信号进行下采样并变换到频域，以得到多个第二子带部，其中，所述多个第二子带部的频段间隔小于或等于所述多个第一子带部的最小频段间隔。如图3所示，将所述环境音频信号进行下采样并变换到频域可以通过软件算法完成，例如对环境音频信号进行fft变换，其中下采样的多个第二子带部的频段间隔小于或等于多个第一子带部的最小频段间隔，通过这种设置能够保证第二子带部能够完整被映射到
第一子带部上，从而不会遗漏掉任一段环境音频信号，保证信号的完整。
19.在步骤s204中确定各第二子带部的语音存在概率，例如可以基于各个频段的第二子带部来确定每个频段的语音存在概率。每一个频段的第二子带部可以唯一确定出相应的语音存在概率。
20.在步骤s205基于各第二子带部的语音存在概率确定该第二子带部的增益。例如可以将语音存在概率为0的第二子带部的增益设置为0，从而可以直接将该频段中的噪音滤除，其他的可能存在语音的频段，可以依据语音存在概率的大小对应设置该第二子带部的增益，通过这样的设置方式，能够有效突出各第二子带部中的语音成分，同时削减环境噪音成分，起到降噪的目的。
21.最后在步骤s206中基于各第二子带部的增益，对各第一子带部进行处理；以及对处理后的各第一子带部进行合成。通过本公开的方法可以将软件算法确定的增益映射到硬件回路中，进而通过例如硬件回路中的乘法器即可实现降噪处理，并通过后续的合成滤波器合成后输出降噪后的信号。
22.在一些实施例中，按照频段经分析滤波器处理划分为多个第一子带部后并进行各子带增益调整，drc处理再经合成滤波器合成处理是通过辅听耳机的硬件通路完成的，且所述硬件通路工作的采样频率大于等于96khz。具体的硬件通路也可以参考3，硬件通路可以包括分析滤波器、乘法器(gain0-gainn)、动态范围控制(drc0-drcn)以及合成滤波器，例如乘法器具有根据软件算法获得的各子带增益完成增益调整的功能。通过将辅听耳机的硬件通路设置为工作在高采样率(≥96khz)模式下，避免了因为数据下采样而需要引入下采样滤波器所带来的通路延时。而由于硬件通路中不需要经过软件参与，硬件通路上不存在其他的会引入延时的数据缓冲结构，因此通过这种方式极大降低了辅听耳机的延时。
23.在一些实施例中，如图4所示，基于各第二子带部的增益，对各第一子带部进行处理具体可以包括：在步骤s401中确定各第一子带部的第一频段，并确定各第二子带部的第二频段。例如图3中，通过硬件回路的分析滤波器组将环境音频信号按照频段划分为多个第一子带部的第一频段为500，1000,2000,4000
…
，而软件算法fft变换后的第二子带部的第二频段可以是125，250，375，500，625，750，875，1000，1125，
…
，当然这只是一种示例，具体的采样频段可以根据实际需要设置。
24.在步骤s402中，基于各第二子带部的增益以及各第二频段和各第一频段之间的包含关系，确定各第一子带部的可选增益。例如一种示例中第二子带部的125，250，375，500频段与第一子带部的500频段存在对应关系，则可以根据125，250，375，500频段的增益来作为第一子带部的500频段的可选增益。
25.在步骤s403中基于各第一子带部的可选增益确定该第一子带部的增益。例如可以从125，250，375，500频段的可选增益中选择一个频段的增益来作为第一子带部的500频段的增益。通过这样的方式能够确定硬件回路中的各频段的增益，从而在进行信号处理的过程中进一步通过各第一频段的增益实现降噪的目的。
26.基于各第一子带部的可选增益确定该第一子带部的增益具体包括：将各第一子带部的可选增益中的最大值确定为该第一子带部的增益。作为一种具体的增益的确定方式，可以将对应第二频段的可选增益中的最大值确定为该第一子带部的增益，例如假设fft的第二频段为：125，250，375，500，625，750，875，1000，1125，1250，...，8000。各第二频段对应
的增益为：g0，g1，g2，g3，g4，g5，g6，g7，g8，g9，...，g63。各第一子带部的第一频段为：500，1000，2000，4000，8000。各第一子带部的增益为g’0，g’1，g’2，g’3，g’4，则：
27.g’0＝max{g0，g1，g2，g3}；
28.g’1＝max{g4，g5，g6，g7}；
29.g’2＝max{g8，g9，g10，g11，g12，g13，g14，g15}；
30.g’3＝max{g16，g13，g14，g15，...，g31}；
31.g’4＝max{g32，g33，g34，g35，...，g63}。
32.通过选取最大值的方式能够让各第一子带部达到最佳的语音的清晰度保留效果，以及对环境噪声适当的滤除效果，从而在辅听的同时实现降噪的目的。本公开的方法所利用的软件算法即使在较高的采样率下也能获得低延时的效果，从而克服通过硬件或软件方法实现降噪带来的高延时搞复杂度的缺陷。本公开的降噪方法尤其适用于psap耳机，一方面能够带来低延时，另一方面通过本公开的方法能够起到良好的降噪、滤噪效果，提升辅听耳机的使用体验。
33.在一些实施例中，各第二子带部的所述语音存在概率为后验语音存在概率，确定各第二子带部的语音存在概率具体包括：基于各第二子带部的先验语音存在概率、先验信噪比以及由所述先验信噪比和后验信噪比表示的中间变量来确定所述后验语音存在概率，使得所述后验语音存在概率随着先验信噪比和/或中间变量的增大而增大。
34.例如作为一种具体的示例，各第二子带部的语音存在概率p(k)满足：
[0035][0036]
其中，q(k)表示先验语音存在概率，通常取值为0.5，ξ(k)表示频段k的先验信噪比，υ(k)表示中间变量，在一些实施例中，所述中间变量随着所述先验信噪比和/或所述后验信噪比的增大而增大。例如υ(k)＝γ(k)ξ(k)/(ξ(k)+1)，γ(k)表示后验信噪比。ξ(k)＝α
p
g2(k,l-1)|y(k,l-1)|2+(1-α
p
)max{γ(k,l)-1,0}，l表示当前帧，l-1表示上一帧，α
p
为0到1之间的常数。表示频段k的后验信噪比，|y(k)|2表示信号功率，λ(k)表示噪声功率。
[0037]
示例性的噪声功率λ(k)迭代计算满足：
[0038]
λ(k,l)＝α
pow
λ(k,l-1)+(1-α
pow
)(1-p(k))|y(k,l)|2[0039]
α
pow
为0到1之间的常数，l表示当前帧，l-1表示上一帧。
[0040]
在一些实施例中，基于各第二子带部的语音存在概率确定该第二子带部的增益具体包括：根据各第二子带部的后验语音存在概率、中间谱增益以及语音不存在时的增益下限来确定该第二子带部的增益，使其随着该第二子带部的后验语音存在概率和中间谱增益的增大而增大。例如确定各频段的增益，计算方法满足：
[0041][0042]
其中，g
min
是常数，表示语音不存在时的降噪增益下限，最小为0。α为常数通常取值为1/2。表示中间谱增益。
[0043]
满足：
[0044][0045]
其中，为卡方分布函数，为合流超几何函数.
[0046]
上述降噪增益计算方法只是本发明列举的一种实施例，具体的降噪增益计算方法还可以用各种单通道或多通道麦克风降噪方案获得，比如基于单通道的dnn方法，omlsa方法，基于平稳噪声估计的mmse降噪方法，基于多通道的mvdr，dnn方法。
[0047]
psap耳机追求低延时助听效果，如果采用通用的处理手段，在psap通路前加入降噪模块，经降噪处理后再送入psap通路，会很大程度上增加通路延时，影响助听效果的自然性。但是如果不降噪，又会使用户觉得环境噪声过大，影响交流。本公开的噪声抑制方法能够在低采样率下实时估计外部环境进来的数据中的噪声，分析噪声分布情况并确定频段的增益，从而实时控制psap硬件通路上(高采样率上)各个子带的增益，降低噪声，保证用户在不同的场景下，都能有一个良好的使用体验。
[0048]
本公开实施例还提出一种噪声抑制装置，包括存储器和处理器；其中，所述存储器，用于存储计算机程序，所述处理器用于执行所述计算机程序时实现本公开各实施例所述的噪声抑制方法的步骤。
[0049]
本公开的实施例还提供了一种噪声抑制组件，包括处理器，被配置为：将辅听耳机前馈麦克风获取的环境音频信号下采样并变换到频域，以得到多个第二子带部，其中，所述多个第二子带部的频段间隔小于或等于辅听耳机第一滤波器组处理后的各第一子带部之间的最小频段间隔；确定各第二子带部的语音存在概率；基于各第二子带部的语音存在概率确定该第二子带部的增益；基于各第二子带部的增益，对各第一子带部进行处理。在一些实施例中处理器可以是包括一个或多个通用处理设备(诸如微处理器，中央处理单元(cpu)，图形处理单元(gpu)等)的处理设备。更具体地说，处理器可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器也可以是一个或多个专用处理设备，例如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等等。如本领域技术人员将理解的，在一些实施例中，处理器可以是专用处理器，而不是通用处理器。处理器可以包括一个或多个已知处理设备，诸如由英特尔公司制造的pentium tm、core tm、xeon tm或itanium tm系列的微处理器，由amd公司制造的turion tm、athlon tm、sempron tm、opteron tm、fx
tm
、phenom
tm
系列的微处理器或太阳微系统(sun microsystems)制造的各种处理器的任一种。处理器还可以包括图形处理单元，诸如来自nvidia公司制造的系列的gpu，由英特尔tm制造的gma、iris tm系列的gpu或者由amd公司制造的radeon tm系列gpu。处理器还可以包括加速的处理单元，诸如amd公司制造的桌面a-4(6，8)系列，英特尔公司制造的xeon phi tm系列。所公开的实施例不限于任何类型的处理器或处理器电路，这些处理器或处理器电路以其他方式被配置为满足对环境音频信号的处理。另外，术语“处理器”或“图像处理器”可以包括多于一个处理器，例如，多核设计或多个处理器，所述多个处理器中的每个处理器具有多核设
计。
[0050]
在一些实施例中，所述处理器还被配置为确定各第一子带部的第一频段，并确定各第二子带部的第二频段；基于各第二子带部的增益以及各第二频段和各第一频段之间的包含关系，确定各第一子带部的可选增益；基于各第一子带部的可选增益确定该第一子带部的增益。
[0051]
在一些实施例中，所述处理器还被配置为将各第一子带部的可选增益中的最大值确定为该第一子带部的增益。
[0052]
在一些实施例中，各第二子带部的所述语音存在概率为后验语音存在概率，确定各第二子带部的语音存在概率具体包括：基于各第二子带部的先验语音存在概率、先验信噪比以及由所述先验信噪比和后验信噪比表示的中间变量来确定所述后验语音存在概率，使得所述后验语音存在概率随着先验信噪比和/或中间变量的增大而增大。
[0053]
在一些实施例中，所述中间变量随着所述先验信噪比和/或所述后验信噪比的增大而增大。
[0054]
本公开的实施例还提供了一种辅听耳机，包括前馈麦克风，第一滤波器组，第二滤波器组以及前述的噪声抑制组件：所述前馈麦克风，被配置为获取环境音频信号；所述第一滤波器组，被配置为将所述环境音频信号按照频段划分为多个第一子带部；所述第二滤波器组，对经由所述噪声抑制组件处理后的各第一子带部进行合成。其中第一滤波器组可以是psap耳机硬件回路的分析滤波器组，第二滤波器组可以是psap耳机硬件回路的合成滤波器组。通过本公开的辅听耳机可以将软件算法确定的增益映射到硬件回路中，进而通过例如硬件回路中的乘法器即可实现降噪处理，并通过后续的合成滤波器合成后输出降噪后的信号，响应速度快，能够满足辅听的同时起到低延时的效果，能够有效提高用户的使用体验。
[0055]
在本文档中，如在专利文献中常见的那样，使用术语“一”或“个”来包括一个或多于一个，独立于“至少一个”或“一个或多个”的任何其他实例或用法。在本文中，除非另外指出，术语“或”用于指非排他性的，或者使得“a或b”包括“a但不包括b”，“b但不包括a”和“a和b”。在本文档中，术语“包括(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同物。而且，在下面的权利要求中，术语“包括(including)”和“包括(comprising)”是开放式的，即，包括除了那些在权利要求中在该术语后列出的要素以外的要素的设备、系统、设备、制品、组成、配方或过程，也被视为落入该权利要求的保护范围内。此外，在下面的权利要求中，术语“第一”、“第二”和“第三”等仅被用作标签，并不旨在对其对象施加数值上的要求。
[0056]
这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子设备执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用java、python、c、c++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时
间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(ram)，只读存储器(rom)等。
[0057]
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本技术的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
[0058]
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
[0059]
以上实施例仅为本公开的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。