语音降噪方法及其装置制造方法
【专利摘要】本发明提供一种语音降噪方法及其装置，该方法包括：根据语音激活判断的结果计算出平滑因子，并根据平滑因子计算得出第一频域语音信号的第一能量谱和互相关能量谱；根据第一能量谱和互相关能量谱计算得出互相关传递函数；根据噪声补偿因子、初步噪声能量和第一能量谱计算得出初步频域滤波器；根据初步频域滤波器和第一频域语音信号的幅度计算出平滑窗长度；初步频域滤波器和平滑窗长度进行卷积得出频域滤波器；第一频域语音信号通过频域滤波器滤波后输出滤波后的第一频域语音信号。以及实现上述降噪方法的语音降噪装置。本发明语音降噪方法及其装置具有噪声跟踪速度快、计算量少且能够有效抑制环境噪声等特点。
【专利说明】语音降噪方法及其装置
【技术领域】
[0001]本发明涉及音频信号处理【技术领域】，尤其涉及一种对语音信号进行降噪的方法及其装置。
【背景技术】
[0002]随着社会技术的发展，人们对声音质量的要求越来越高，尤其是对语音通话质量的要求。要确保清晰、无噪声和自然的高质量通话，语音降噪功能则是手机、平板电脑等通讯工具不可缺少的。以手机或平板电脑为例，目前市场上的产品一般都安装了两个麦克风，利用其中一个麦克风在安装靠近人体发声器官的位置上，该麦克风拾取人发出的语音信号外还拾取了环境噪声，另外一个麦克风安装在远离人体发声器官的位置上以捡拾环境噪声，通过两个麦克风拾取的声音进行分析，并对人体发出的语音信号进行降噪处理，从而获得过滤出高质量的语音信号。
[0003]目前，应用于手机或平板电脑的双麦克风语音降噪方法中，降噪效果较好的一般均为计算量较大的，需要通过配备独立降噪芯片来运行复杂的算法。而对于一些较为简单的双麦克风降噪方法，往往降噪效果不理想、残留噪声过大，或者该降噪方法对语音源方位有严格要求，使用方式不正确的话将会消去语音信号。
[0004]针对以上问题，本发明提出一种应用于手机终端的双麦克风降噪算法，该算法噪声跟踪速度快，能有效的抑制环境噪声，对于声源方位有很好的鲁棒性，而且算法复杂度低、计算量小。
【发明内容】
[0005]本发明的第一目的是提供一种噪声跟踪速度快、计算量少且能够有效抑制环境噪声的语音降噪方法。
[0006]本发明的第二目的是提供一种噪声跟踪速度快、计算量少且能够有效抑制环境噪声的语音降噪装置。
[0007]为了实现本发明的第一目的，本发明提供一种语音降噪方法，包括:将第一麦克风接收的时域语音信号进行短时傅里叶变换后获取第一频域语音信号；将第二麦克风接收的时域语音信号进行短时傅里叶变换后获取第二频域语音信号；将第一频域语音信号进行语音激活判断；根据第一频域语音信号计算得出初步噪声能量，其中，根据语音激活判断的结果和前一帧的频域滤波器计算出平滑因子，并根据平滑因子计算得出第一频域语音信号的第一能量谱，根据平滑因子计算得出第一频域语音信号和第二频域语音信号之间的互相关能量谱；根据第一能量谱、互相关能量谱和第一麦克风与第二麦克风之间的距离计算得出互相关传递函数；根据语音激活判断的结果和互相关传递函数计算出噪声补偿因子；根据噪声补偿因子、初步噪声能量和第一能量谱计算得出初步频域滤波器；根据初步频域滤波器和第一频域语音信号的幅度计算出平滑窗长度；初步频域滤波器和平滑窗长度进行卷积得出频域滤波器；第一频域语音信号通过频域滤波器滤波后输出滤波后的第一频域语音信号；将滤波后的第一频域语音信号进行短时傅里叶逆变换后输出滤波后的第一时域语音信号。
[0008]由上述方案可见，根据语音激活判断的不同结果，对初步噪声能量进行计算并在滤波器中进行动态补偿，同时再根据两个麦克风之间的互相关传递函数，对语音信号或环境噪声进行采样并在滤波器进行过滤，使得本发明语音降噪方法具有跟踪速度快、计算量少且能够有效抑制环境噪声等特点。
[0009]更进一步的方案是，语音激活判断步骤包括:根据当前帧的第一频域语音信号的幅度和初步噪声能量计算出当前帧的信噪比后，如果前一帧的第一频域语音信号为语音信号时，且判断当前帧的信噪比大于预设的信噪比阀值时，将当前帧的第一频域语音信号判断为语音信号，如果前一帧的第一频域语音信号为噪声信号时，且判断当前帧的信噪比大于预设的信噪比阀值且前一帧的信噪比大于预设的信噪比阀值时，将当前帧的第一频域语音信号判断为语音信号，反之将当前帧的第一频域语音信号判断为噪声信号。
[0010]更进一步的方案是，根据当前帧的第一频域语音信号的幅度和初步噪声能量计算出当前帧的信噪比后，判断当前帧在第一帧到第二十帧之间时，将当前帧的第一频域语音信号判断为语音信号。
[0011]更进一步的方案是，如果前一帧的第一频域语音信号为语音信号时，判断当前帧的信噪比小于或等于预设的信噪比阀值时，判断在前十九帧的信噪比中大于预设的信噪比阀值的信噪比数量为三个以上时，将当前帧的第一频域语音信号判断为语音信号，反之将当前帧的第一频域语音信号判断为噪声信号。
[0012]更进一步的方案是，平滑因子包括第一平滑因子和第二平滑因子，根据语音激活判断的结果和前一帧的初步频域滤波器计算出平滑因子步骤包括:如当前帧的第一频域语音信号为语音信号时，根据第一平滑因子计算得出第一频域语音信号的第一能量谱和第一频域语音信号和第二频域语音信号之间的互相关能量谱，如当前帧的第一频域语音信号为噪声信号时，根据第二平滑因子计算得出第一频域语音信号的第一能量谱和第一频域语音信号和第二频域语音信号之间的互相关能量谱。
[0013]由上可见，根据语音激活判断的结果，分别对语音帧或噪声则采用不同的平滑因子进行能量谱和互相关能量谱的计算，使得平滑因子在滤波器中进行动态补偿的作用，其具有响应时间短、计算量少等特点。
[0014]为了实现本发明的第二目的，本发明提供一种语音降噪装置，包括:用于接收时域语音信号并输出第一频域语音信号的第一短时傅里叶变换单元、用于接收时域语音信号并输出第二频域语音信号的第二短时傅里叶变换单元、用于判断第一频域语音信号为语音信号或噪声信号的语音激活判断单元、用于根据第一频域语音信号的幅度计算初步噪声能量的初步噪声能量计算单元，其中，语音降噪装置还包括能量计算单元，能量计算单元包括能量谱计算模块、互相关能量谱计算模块和平滑因子计算模块，平滑因子计算模块向能量谱计算模块和互相关能量谱计算模块输出平滑因子系数，能量谱计算模块根据平滑因子系数和第一频域语音信号计算得出第一能量谱，互相关能量谱计算模块根据平滑因子系数、第一频域语音信号和第二频域语音信号计算得出互相关能量谱；互相关传递计算单元，用于根据第一能量谱、互相关能量谱和第一麦克风与第二麦克风之间的距离计算得出互相关传递函数；初步频域滤波器计算单元，用于根据语音激活判断单元输出的信号和互相关传递函数计算单元输出的信号计算出噪声补偿因子，并根据噪声补偿因子、初步噪声能量和第一能量谱计算得出初步频域滤波器；修正单元，根据初步频域滤波器和第一频域语音信号的幅度计算出平滑窗长度；频域滤波器计算单元，由初步频域滤波器和平滑窗长度进行卷积得出频域滤波器，频域滤波器计算单元用于接收第一频域语音信号；短时傅里叶逆变换单元，用于接收频域滤波器计算单元输出的滤波后的第一频域语音信号，并向外输出滤波后的第一时域语音信号。
[0015]由上述方案可见，根据语音激活判断单元输出不同的判断结果，对噪声补偿因子进行计算，并在滤波器中进行动态补偿，同时在根据两个麦克风之间的互相关传递函数，对语音信号或环境噪声进行采样并在滤波器进行过滤，使得本发明语音降噪方法具有噪声跟踪速度快、计算量少且能够有效抑制环境噪声等特点。
【专利附图】
【附图说明】
[0016]图1是本发明语音降噪方法实施例的流程图。
[0017]图2是本发明语音降噪方法实施例中语音激活判断的流程图。
[0018]图3是本发明语音降噪装置的系统框图。
[0019]以下结合附图及实施例对本发明作进一步说明。
【具体实施方式】
[0020]语音降噪方法实施例:
参照图1，图1是本发明语音降噪的流程图。在本实施例通过两个麦克风拾取声音信号，通过本发明语音降噪方法对拾取的声音信号进行降噪。
[0021]本发明的具体降噪方法如下:首先执行步骤S1，将两个麦克风拾取的时域语音信号进行短时傅里叶变换，从而变换成频域的语音信号。具体是，第一麦克风将拾取的时域语音信号进行短时傅里叶变换，以获得第一频域语音信号，第二麦克风将拾取的时域语音信号进行短时傅里叶变换，以获得第二频域语音信号。本实施例采用的短时傅里叶变换的窗函数均采用汉明窗，相邻帧之间的重叠范围为75%。
[0022]然后执行步骤S2，根据第一频域语音信号进行语音激活判断。由于麦克风接收到的语音信号不仅具有人体发出的声音信号，还具有环境的噪声，而语音激活判断的目的是能够正确地区分当前声音信号为包含了环境噪声的语音信号还是只含有环境噪声的信号。
[0023]参照图2，图2是本发明语音激活判断步骤S2的流程图。首先对第一频域语音信号执行步骤S21，即根据当前帧第一频域语音信号和前一帧初步噪声能量计算当前帧的信噪比，其信噪比计算公式如下:
其中，在式1.1中SNR (η)为当前帧的信噪比，NFFT为傅里叶变换系数，f为频域系数，η为时间帧系数，XI为第一频域语音信号的幅度，Ν为初步噪声能量。
[0024]然后执行步骤S22，判断η是否大于20，如否，则执行步骤S23，即将当前帧的第一频域语音信号判断为语音信号。由于判断当前帧为语音帧，所以将当前帧vad_flag(n)设置为 1，即 vad_flag(n)=l。[0025]当η > 20时，则执行步骤S24，判断前一帧，即η_1帧的语音信号是否为语音帧，即判断vad_flag(n_l)是否等于1。
[0026]当vad_flag(n-l)=l时，则执行步骤S25，即判断当前帧的信噪比SNR(n)是否大于预设信噪比阀值SNR_THR，如是，则执行步骤S251，将当前帧语音信号判断为语音帧，即vad_flag (η) =1,如否则执行步骤S26。
[0027]当当前帧的信噪比SNR (η)是否小于或等于预设信噪比阀值SNR_THR时，执行步骤S26，即判断在前十九帧的信噪比中大于预设信噪比阀值的信噪比数量为三个以上时，则执行步骤S261，将前帧语音信号判断为语音帧即vad_f lag (η) =1，否则，执行步骤S262将前帧语音信号判断噪声帧即vad_flag(n)=0。
[0028]步骤S24中，如判断vad_flag(n_l) 1时，则执行步骤S27,判断当前帧信噪比大于预设信噪比阀值的同时前一帧信噪比大于预设信噪比阀值时，将执行步骤S271，即将前帧语音信号判断为语音帧即vad_flag(n)=l，否则执行步骤S272，即将前帧语音信号判断为噪声帧即vad_flag(n)=0。
[0029]以此完成语音激活判断步骤S2，通过当前帧信噪比的计算和与预设信噪比阀值的比较，将输入的当前帧语音信号正确地区分当前语音信号为语音帧还是噪声帧。
[0030]步骤S2执行完毕后将执行步骤S3，即根据上述语音激活判断步骤S2不同的判断结果和前一帧的初步频域滤波器计算相应的平滑因子λ，平滑因子λ的计算公式如下:λ (n, f)=0.98-0.2XG(n-l, f) , vad_flag(n) =0 (式 1.2)λ (n, f)=0.90-0.15XG(n_l, f) , vad_flag (n) =1 (式 1.3)
其中，式1.2和式1.3中的G(n-1，f)前一帧的初步频域滤波器。
[0031]然后根据当前帧语音信号的判断结果选择不同的平滑因子λ来计算第一频域语音信号的能量谱和第二频域语音信号的能量谱，即执行步骤S4，第一频域语音信号的能量谱的计算公式如下:
Pxixi (n, f) = λ (η, f)ΡΧ1Χ1 (η-1, f) + (1- λ (η, f))X! (η, f)X! (η, f)* (式 1.4)Ρχ2χ2 (η, f) = λ (η, f)ΡΧ2Χ2 (η-1, f) + (1- λ (η, f))Χ2 (η, f)Χ2 (η, f)* (式 1.5)
其中，式1.4中的ΡΧ1Χ1表示第一频域语音信号的第一能量谱，Xjn，f)表示第一频域语音信号的幅度，X^n, fT表示第一频域语音信号幅度求共轭。式1.5中的ΡΧ2Χ2表示第二频域语音信号的第二能量谱，X2(n, f)表示第二频域语音信号的幅度，X2(n, fT表示第二频域语音信号幅度求共轭。
[0032]随后执行步骤S5，根据当前帧语音信号的判断结果选择不同的平滑因子λ来计算第一频域语音信号和第二频域语音信号之间的互相关能量谱，互相关能量谱的计算公式如下:
Ρχιχ2 (n, f) = λ (η, f)ΡΧ1Χ2 (η-1, f) + (1- λ (η, f))X! (η, f)Χ2 (η, f)* (式 1.6)
其中，式1.6中的ΡΧ1Χ2表示第一频域语音信号和第二频域语音信号之间的互相关能量谱，X^n, f)表示第一频域语音信号的幅度，X2(n, fT表示第二频域语音信号幅度求共轭。
[0033]从式1.4、式1.5和式1.6中可见，如果当前帧语音信号为语音帧即vad_flag (η) =1时，则将采用式1.3中的λ (n, f)来计算第一能量谱、第二能量谱和互相关能量谱。
[0034]如果当前帧语音信号为噪声帧即vad_flag(n)=0时，则将采用式1.2中的λ (n, f)来计算第一能量谱、第二能量谱和互相关能量谱。
[0035]可见，通过对拾取的语音信号对其进行判断，根据其不同的结果采用相应的能量计算，并且还对前一帧的初步频域滤波器进行采样，使得对语音信号的能量谱跟踪较快、计算量少且具有良好动态调节效果。
[0036]然后执行步骤S6，根据第一频域语音信号幅度进行初步噪声能量的计算。其中，步骤S6包括:首先根据第一频域语音信号计算先验信噪比，先验信噪比的计算公式如下:
【权利要求】
1.语音降噪方法，包括将第一麦克风接收的时域语音信号进行短时傅里叶变换后获取第一频域语音信号；将第二麦克风接收的时域语音信号进行短时傅里叶变换后获取第二频域语音信号；将所述第一频域语音信号进行语音激活判断；根据所述第一频域语音信号计算得出初步噪声能量；其特征在于:根据所述语音激活判断的结果和前一帧的初步频域滤波器计算出平滑因子，并根据所述平滑因子计算得出 所述第一频域语音信号的第一能量谱，根据所述平滑因子计算得出所述第一频域语音信号和所述第二频域语音信号之间的互相关能量谱；根据所述第一能量谱、所述互相关能量谱和所述第一麦克风与所述第二麦克风之间的距离计算得出互相关传递函数；根据所述语音激活判断的结果和所述互相关传递函数计算出噪声补偿因子；根据所述噪声补偿因子、所述初步噪声能量和所述第一能量谱计算得出初步频域滤波器；根据所述初步频域滤波器和所述第一频域语音信号的幅度计算出平滑窗长度；所述初步频域滤波器和所述平滑窗长度进行卷积得出频域滤波器；所述第一频域语音信号通过所述频域滤波器滤波后输出滤波后的第一频域语音信号;将滤波后的第一频域语音信号进行短时傅里叶逆变换后输出滤波后的第一时域语音信号。
2.根据权利要求1所述的语音降噪方法，其特征在于:所述语音激活判断步骤包括:根据当前帧的第一频域语音信号的幅度和前一帧的初步噪声能量计算出当前帧的信噪比后，如果前一帧的第一频域语音信号为语音信号时，且判断所述当前帧的信噪比大于预设的信噪比阀值时，将当前帧的第一频域语音信号设置为语音帧；如果前一帧的第一频域语音信号为噪声帧时，且判断所述当前帧的信噪比大于预设的信噪比阀值且前一帧的信噪比大于预设的信噪比阀值时，将当前帧的第一频域语音信号设置为语音帧，反之，将当前帧的第一频域语音信号设置为噪声帧。
3.根据权利要求2所述的语音降噪方法，其特征在于:根据当前帧的第一频域语音信号的幅度和所述初步噪声能量计算出当前帧的信噪比后，判断当前帧在第一帧到第二十帧之间时，将所述当前帧的第一频域语音信号判断为语音帧。
4.根据权利要求3所述的语音降噪方法，其特征在于:如果所述前一帧的第一频域语音信号为语音帧时，判断所述当前帧的信噪比小于或等于预设的信噪比阀值时，判断在前十九帧的信噪比中大于所述预设的信噪比阀值的信噪比数量为三个以上时，将所述当前帧的第一频域语音信号设置为语音帧，反之，将所述当前帧的第一频域语音信号判断为噪声帧。
5.根据权利要求4所述的语音降噪方法，其特征在于:所述平滑因子包括第一平滑因子和第二平滑因子，根据所述语音激活判断的结果和前一帧的初步频域滤波器计算出平滑因子步骤包括:如果所述当前帧的第一频域语音信号为语音帧时，根据所述第一平滑因子计算得出所述第一频域语音信号的第一能量谱，根据所述第一平滑因子计算得出所述第一频域语音信号和所述第二频域语音信号之间的互相关能量谱；如果所述当前帧的第一频域语音信号为噪声帧时，根据所述第二平滑因子计算得出所述第一频域语音信号的第一能量谱，根据所述第二平滑因子计算得出所述第一频域语音信号和所述第二频域语音信号之间的互相关能量谱。
6.语音降噪装置，包括第一短时傅里叶变换单元，用于接收时域语音信号并输出第一频域语音信号；第二短时傅里叶变换单元，用于接收时域语音信号并输出第二频域语音信号； 语音激活判断单元，用于判断所述第一频域语音信号为语音信号或噪声信号；初步噪声能量计算单元，用于根据所述第一频域语音信号的幅度计算初步噪声能量；其特征在于:所述语音降噪装置还包括能量计算单元，所述能量计算单元包括能量谱计算模块、互相关能量谱计算模块和平滑因子计算模块，所述平滑因子计算模块向所述能量谱计算模块和所述互相关能量谱计算模块输出平滑因子系数，所述能量谱计算模块根据所述平滑因子系数和所述第一频域语音信号计算得出第一能量谱，所述互相关能量谱计算模块根据所述平滑因子系数、所述第一频域语音信号和所述第二频域语音信号计算得出互相关能量谱；互相关传递函数计算单元，用于根据所述第一能量谱、所述互相关能量谱和所述第一麦克风与所述第二麦克风之间的距离计算得出互相关传递函数；初步频域滤波器计算单元，用于根据所述语音激活判断单元输出的信号和所述互相关传递函数计算单元输出的信号计算出噪声补偿因子，并根据所述噪声补偿因子、所述初步噪声能量和所述第一能量谱计算得出初步频域滤波器；修正单元，根据所述初步频域滤波器和所述第一频域语音信号的幅度计算出平滑窗长度；频域滤波器计算单元，由所述初步频域滤波器和所述平滑窗长度进行卷积得出频域滤波器，所述频域滤波器计算单元用于接收所述第一频域语音信号；短时傅里叶逆变换单元，用于接收所述频域滤波器计算单元输出的滤波后的第一频域语音信号，并向外输出滤波后的第一时域语音信号。
7.根据权利要求6所述的语音降噪装置，其特征在于:所述语音激活判断单元还用于:根据当前帧的第一频域语音信号的幅度和前一帧的初步噪声能量计算出当前帧的信噪比后，如果前一帧的第一频域语音信号为语音信号时，且判断所述当前帧的信噪比大于预设的信噪比阀值时，将当前帧的第一频域语音信号设置为语音帧；如果前一帧的第一频域语音信号为噪声帧时，且判断所述当前帧的信噪比大于预设的信噪比阀值且前一帧的信噪比大于预设的信噪比阀值时，将当前帧的第一频域语音信号设置为语音帧，反之，将当前帧的第一频域语音信号设置为噪声帧。
8.根据权利要求7所述的语音降噪装置，其特征在于:所述语音激活判断单元还用于:在根据当前帧的第一频域语音信号的幅度和前一帧的初步噪声能量计算出当前帧的信噪比后，判断当前帧在第一帧到第二十帧之间时，将所述当前帧的第一频域语音信号判断为语音帧。
9.根据权利要求8所述的语音降噪装置，其特征在于:所述语音激活判断单元还用于:如果所述前一帧的第一频域语音信号为语音帧时，判断所述当前帧的信噪比小于或等于预设的信噪比阀值时，判断在前十九帧的信噪比中大于所述预设的信噪比阀值的信噪比数量为三个以上时，将所述当前帧的第一频域语音信号设置为语音帧，反之，将所述当前帧的第一频域语音信号判断为噪声帧。
10.根据权利要求9所述的语音降噪装置，其特征在于:所述平滑因子系数包括第一平滑因子系数和第二平滑因子系数，所述语音激活判断单元还用于:如果所述当前帧的第一频域语音信号为语音帧时，根据所述第一平滑因子系数计算得出所述第一频域语音信号的第一能量谱，根据所述第一平滑因子系数计算得出所述第一频域语音信号和所述第二频域语音信号之间的互相关能量谱；如果所述当前帧的第一频域语音信号为噪声帧时，根据所述第二平滑因子系数计算得出所述第一频域语音信号的第一能量谱，根据所述第二平滑因子系数计算得出所述第一频域语音信号和所述第二频域语音信号之间的互相关能量谱。
【文档编号】G10L21/0232GK103700375SQ201310743950
【公开日】2014年4月2日 申请日期:2013年12月28日 优先权日:2013年12月28日
【发明者】吴东海, 张林山 申请人:珠海全志科技股份有限公司