一种语音降噪方法及装置与流程
本发明涉及语音降噪技术，特别涉及一种语音智能降噪方案。
背景技术：
语音降噪是指当语音信号被各种各样的噪声干扰、甚至淹没后，从噪声背景中提取有用的语音信号，抑制、降低噪声干扰的技术。简单地说，就是从含噪语音中提取尽可能纯净的原始语音。根据语音接收信号的通道个数不同又分为单通道和多通道两种情况。
目前普遍采用如下方式进行语音降噪：
周期性噪声可以用滤波方法滤除，而设计的滤波器，在滤除干扰的同时应不产生影响语音可懂度的副作用。一般可以采用固定滤波器、自适应滤波器和傅里叶变换滤波器等。冲激噪声可以通过相邻的样本值，采取内插方法将其除去，或者利用非线性滤波器滤除。宽带噪声是难以消除的一种干扰，因为它与语音具有相同的频带，在消除噪声的同时将影响语音的质量，现在常用的方法有减谱法、自相关相减法、最大似然估计法、自适应抵消法，以及其它一些自适应技术。目前语音噪声的消除还是很困难的，一般是利用不同说话人有不同基音频率的特点，采用自适应技术跟踪某说话人的基音，形成梳状滤波器进行滤波。
从上述内容可以看出，相关技术处理语音降噪通常只能对周期性的干扰和高信噪比的声音信号处理效果较好。在实际应用中，即时通信发生的场景很多，比如汽车上、火车上、公共大厅、客厅、户外、咖啡馆等各种不同的场景，噪声环境非常复杂，而且经常存在信噪比较低的情况，相关技术在这些复杂的环境中往往表现不佳。
技术实现要素：
本申请提供一种语音降噪方法及装置。
本申请公开了一种语音降噪方法，包括：
将待降噪语音进行时频转换，得到待降噪语音的二维时频信号；
将待降噪语音的二维时频信号输入至神经网络模型，得到所述神经网络模型输出的二值掩蔽矩阵，其中，所述神经网络模型，是在输入模拟的含噪语音的二维时频信号至神经网络模型后，根据输出的二值掩蔽矩阵与理想的二值掩蔽矩阵之间的差值进行一次或多次训练得到的；
利用所述神经网络模型输出的二值掩蔽矩阵对待降噪语音的二维时频信号，进行掩蔽计算，得到降噪后的二维时频信号；
将所述降噪后的二维时频信号进行反时频转换，得到降噪后的语音。
可选地，上述语音降噪方法还包括:
创建用于输出二值掩蔽矩阵的神经网络模型,对所述神经网络模型进行训练，训练过程包括：
输入模拟的含噪语音的二维时频信号至所述神经网络模型；
所述神经网络模型针对输入的二维时频信号，提取时频域上的特征点并进行分类，得到语音特征点和噪音特征点，根据所述语音特征点和噪音特征点确定二值掩蔽矩阵并输出；
将所述神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵进行比较，若比较结果不满足设定要求，则对所述神经网络模型的参数进行一次或多次的修正,直到最近一次修正后的神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵的比较结果满足设定要求，将最近一次修正的神经网络模型做为所述语音降噪方法中用于输出二值掩蔽矩阵的神经网络模型。
可选地，上述语音降噪方法中，所述神经网络模型针对输入的二维时频信号，提取时频域上的特征点并进行分类，包括：
在神经网络模型中，利用卷积神经网络提取输入的二维时频信号在时频域上的特征点，使用非线性激活函数对提取的每一个时频域的特征点进行分类，分类得到语音特征点和噪音特征点。
可选地，上述语音降噪方法中，所述将所述神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵进行比较，若比较结果不满足设定要求，则对所述神经网络模型的参数进行一次或多次的修正，包括：
计算所述神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵的方差，计算得到的方差大于设定阈值时，确定不满足设定要求，此时，根据计算得到的方差，修正所述神经网络模型中卷积神经网络层参数。
可选地，上述语音降噪方法还包括：计算理想的二值掩蔽矩阵，该过程包括：
根据模拟的含噪语音的二维时频信号，以及模拟的含噪语音对应的纯净语音的二维时频信号，计算二维时频信号的信噪比snr(t,f)；
将所述信噪比snr(t,f)与设定信噪比阈值lc进行比较，根据比较结果得到理想的二值掩蔽矩阵ibm(t,f)。
可选地，上述语音降噪方法中，所述将所述信噪比snr(t,f)与设定信噪比阈值lc进行比较，根据比较结果得到理想的二值掩蔽矩阵ibm(t,f)的方式如下：
可选地，上述语音降噪方法中，所述将待降噪语音进行时频转换，得到待降噪语音的二维时频信号，包括：
对待降噪语音进行分帧、归一化处理，将分帧处理后的每一帧数据进行短时傅立叶变换，得到待降噪语音的二维时频信号；
所述将所述降噪后的二维时频信号进行反时频转换，得到降噪后的语音，包括：
对降噪后的二维时频信号进行反向短时傅立叶变换，得到降噪后的语音。
本文还公开了一种语音降噪装置，包括：
时频转换模块，用于将待降噪语音进行时频转换，得到待降噪语音的二维时频信号；
掩蔽矩阵预测模块，用于将待降噪语音的二维时频信号输入至神经网络模型，得到所述神经网络模型输出的二值掩蔽矩阵，其中，所述神经网络模型，是在输入模拟的含噪语音的二维时频信号至神经网络模型后，根据输出的二值掩蔽矩阵与理想的二值掩蔽矩阵之间的差值进行一次或多次训练得到的；
掩蔽处理模块，用于利用所述神经网络模型输出的二值掩蔽矩阵对待降噪语音的二维时频信号，进行掩蔽计算，得到降噪后的二维时频信号；
逆向时频转换模块，用于将所述降噪后的二维时频信号进行反时频转换，得到降噪后的语音。
可选地，上述语音降噪装置，还包括：
模型训练单元，用于创建用于输出二值掩蔽矩阵的神经网络模型,并对所述神经网络模型进行训练，训练过程包括：
输入模拟的含噪语音的二维时频信号至所述神经网络模型；
所述神经网络模型针对输入的二维时频信号，提取时频域上的特征点并进行分类，得到语音特征点和噪音特征点，根据所述语音特征点和噪音特征点确定二值掩蔽矩阵并输出；
将所述神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵进行比较，若比较结果不满足设定要求，则对所述神经网络模型的参数进行一次或多次的修正,直到最近一次修正后的神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵的比较结果满足设定要求，将最近一次修正的神经网络模型做为所述语音降噪装置中用于输出二值掩蔽矩阵的神经网络模型。
可选地，上述语音降噪装置中，所述神经网络模型，利用卷积神经网络提取输入的模拟的含噪语音的二维时频信号在时频域上的特征点，使用非线性激活函数对提取的每一个时频域的特征点进行分类，分类得到语音特征点和噪音特征点。
可选地，上述语音降噪装置中，所述模型训练单元，将所述神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵进行比较，若比较结果不满足设定要求，则对所述神经网络模型的参数进行一次或多次的修正,包括：
计算所述神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵的方差，计算得到的方差大于设定阈值时，确定不满足设定要求，此时，根据计算得到的方差，修正所述神经网络模型中卷积神经网络层参数。
可选地，上述语音降噪装置中，所述理想的二值掩蔽矩阵指：
根据所述模拟的含噪语音的二维时频信号，以及所述模拟的含噪语音对应的纯净语音的二维时频信号，计算二维时频信号的信噪比snr(t,f)；
将所述信噪比snr(t,f)与设定信噪比阈值lc进行比较，根据比较结果得到理想的二值掩蔽矩阵ibm(t,f)。
可选地，上述语音降噪装置中，所述将所述信噪比snr(t,f)与设定信噪比阈值lc进行比较，根据比较结果得到理想的二值掩蔽矩阵ibm(t,f)的方式如下：
可选地，上述语音降噪装置，还包括：
预处理模块，用于对待降噪语音进行分帧、归一化处理；
此时，时频转换模块，用于将预处理模块分帧处理后的每一帧数据进行短时傅立叶变换，得到待降噪语音的二维时频信号；
逆向时频转换模块，用于对降噪后的二维时频信号进行反向短时傅立叶变换，得到降噪后的语音。
本文还公开了一种语音降噪装置，包括：
处理器；
以及存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
执行实现上述语音降噪方法的指令。
本申请技术方案提供了一种基于神经网络的语音降噪方案，其中神经网络关注于区分语音时频数据的特征点类别，从而将语音降噪问题转化为分类问题。另外，神经网络可以自动学习到针对各类型干扰信号的特征分类方法，因此使用本方案提出的方案可以简化降噪算法，在保证降噪质量的基础上，提高降噪效率。
附图说明
图1是本申请实施例中语音降噪处理原理示意图；
图2是本申请实施例中神经网络模型训练过程示意图；
图3是本申请实施例中一种语音降噪装置结构示意图；
图4是本申请实施例中一种语音降噪装置的工作流程(包括智能语音降噪和模型训练)示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
实施例1
本申请发明人发现相关技术中，针对不同场景的语音降噪问题需要使用不同的处理方法，对于不同类型的噪声也需要使用不同的算法。在即时通信应用场景下，通常需要使用2-3种算法进行语音降噪，耗时约数十甚至近百毫秒，并且通常只能处理周期性的干扰和高信噪比的声音信号。
针对这种不同类型的噪音需要差别化降噪处理的现象，本申请提出可以使用深度学习进行语音智能降噪，其原理如图1所示，先将带噪音语音转换为时频域数据，基于神经网络关注于区分语音时频数据的特征点类别，即只需要区分人声和噪音两类，不需要区分干扰信号的类别(即噪音的类型)，从而将语音降噪问题转化为分类问题，从而通过神经网络模型输出的二值掩蔽矩阵进行掩蔽处理，得到降噪后的语音时频域数据。其中，神经网络可以自动学习到针对各类型干扰信号的特征分类方法，只要在神经网络模型的训练集中包含所有想要消除的干扰信号类型进行训练即可。
基于上述思想，本实施例提供一种语音降噪方法，可以基于神经网络实现，其主要包括如下操作：
步骤s10，创建用于输出二值掩蔽矩阵的神经网络模型,对该神经网络模型进行训练；
本实施例中，神经网络模型的工作过程可以包括，通过卷积神经网络提取语音信号在时频域上的特征点，再使用非线性激活函数对每一个时频域的特征点进行分类，以区分该特征点是语音特征点还是噪音特征点，最终根据所确定的语音特征点和噪音特征点形成一个二值掩蔽矩阵进行输出。
在本实施例的神经网络模型的训练过程中，可以利用模拟的含噪语音，以及根据模拟的含噪语音及其对应的纯净语音计算得到的理想的二值掩蔽矩阵，对神经网络模型进行训练。即将大量标记好的语音数据(相当于模拟的含噪语音)的二维时频信号输入神经网络模型中,之后神经网络模型输出二值掩蔽矩阵，根据输出的二值掩蔽矩阵与理想的二值掩蔽矩阵之间的差别(例如，输出的二值掩蔽矩阵和理想的二值掩蔽矩阵中每个对应元素值的差值的平方和)，对神经网络模型进行反复训练，得终训练后的神经网络模型输出的二值掩蔽矩阵无限接近理想的二值掩蔽矩阵。
例如：可以选取主流报刊媒体等500个语句，尽可能包含所有的发声，再选取100位不同的人进行朗读，作为纯净语音信号(即模拟的含噪语音对应的纯净语音)。然后再选取公共场景、交通、工作场景、咖啡厅等18中生活常见噪音，与纯净语音信号进行交叉合成，得到带噪音的语音信号(相当于模拟的含噪语音)。纯净语音信号与带噪音的语音信号一一匹配作为标记好的数据。将这些数据随机打乱，并选取其中80％作为训练集进行神经网络模型训练，另外20％作为验证集用于验证神经网络模型的结果，最后将训练好的神经网络模型导出运用到实际环境中。
步骤s11，当进行语音降噪时，将待降噪的语音转换成二维时频信号；
步骤s12，将待降噪的语音转换成二维时频信号输入至训练好的神经网络模型，得到神经网络模型输出的二值掩蔽矩阵；
步骤s13，利用神经网络模型输出的二值掩蔽矩阵对待降噪语音的二维时频信号，进行掩蔽计算(即对分别出的语音的时频特征进行掩蔽操作)，得到降噪后的二维时频信号；
步骤s14，将降噪后的二维时频信号进行反时频转换，得到降噪后的语音信号。
在实际应用中，将待降噪的语音转换成二维时频信息之前还可以包括一些预处理，例如可以采集带噪音的语音时域信号数据，对该时域信号数据进行分帧。之后取每帧数据进行短时傅立叶变换，获得带噪音的语音信号的二维时频数据。相应地，得到降噪后的二维时频信号后，进行反向短时傅立叶变换恢复得到降噪后的语音时域信号即可。当前采用短时傅立叶变换的方式对语音信号进行时频转换，仅为示例性说明，在其他场景中也可以采用其他方式，例如gabor变换和wigner-ville分布等，本实施例对此不做特别限制。
从上述方法的描述，可以看出本申请方案的处理方式利用了神经网络模型，即神经网络模型内部的工作过程对于使用人而言是非透明的，因此只需要使用人对信号处理科学有基础的了解，利用神经网络模型输出的二值掩蔽矩阵进行掩蔽处理即可，不像传统的语音降噪处理方法需要人员对信号处理专业知识了解非常深入，从而也极大的降低了语音降噪的应用门槛。
下面以声音信号选用16khz的采样频率为例说明通过神经网络模型处理声音信号的过程，此说明仅为示例性说明，不用于限制本方案的实施。
首先将带噪声音信号进行分帧处理，每帧可以选择256个采样点，帧移位128，得到一帧时域的声音数据x(t)，对x(t)进行短时傅立叶变换，得到二维时频信号x(t,f)，如公式1所示。
x(t,f)＝stft(x(t))公式(1)
对相应的标记好的纯净语音信号做相同的处理，对一帧时域数据x'(t)进行短时傅立叶变换，得到而二维时频信号x'(t,f)，如公式2所示。
x'(t,f)＝stft(x'(t))公式(2)
根据纯净语音信号的二维时频信号x'(t,f)和带噪语音信号的二维时频信号x(t,f)，计算二维时频信号的信噪比snr(t,f)，再计算理想的二值掩蔽矩阵ibm(t,f)，如公式3所示。
其中，lc为设定信噪比阈值，可根据场景需要设置，本实施例设置为0db。
将模拟的带噪语音信号的二维时频信号送入神经网络模型h(x)，对神经网络模型h(x)进行训练，训练后的神经网络模型h(x)输出的二值掩蔽矩阵
在神经网络模型h(x)训练过程中还可以使用以下公式5所示的函数作为损失函数进行神经网络模型更新，以使训练后的神经网络模型输出的二值掩蔽矩阵
公式5中，i为矩阵中元素角标。
进行掩蔽计算，得到降噪后的二维时频信号
最后对降噪后的二维时频信号
其中，根据模拟的带噪语音信号的二维时频信号，对神经网络模型h(x)进行训练时，神经网络模型的训练过程如图2所示，执行如下操作：
s1、将模拟的带噪语音时域信号进行预处理，进行分帧、归一化等操作；
s2、对时域信号进行短时傅立叶变换，得到二维时频信号；
s3、卷积神经网络层进行二维时频域特征提取；
s4、使用非线性激活函数对每一个时频域的特征点进行分类，分类结果形成一个二值掩蔽矩阵，由神经网络模型h(x)输出；
s5、计算输出的二值掩蔽矩阵与理想二值掩蔽矩阵的方差；
s6、判断方差较大，不满足要求进入步骤7，如果方差较小满足要求，则停止训练；
s7、将方差反向传递；
s8、修正卷积神经网络层参数；
在使用修正后的参数重复s1-s8步骤，直到方差满足要求。
实施例2
本实施例提供一种语音降噪装置，包括时频转换模块、掩蔽矩阵预测模块、掩蔽处理模块和逆向时频转换模块。
时频转换模块，用于将待降噪语音进行时频转换，得到待降噪语音的二维时频信号；
掩蔽矩阵预测模块，用于将时频转换模块转换后的二维时频信号输入至训练好的神经网络模型，得到神经网络模型输出的一个二值掩蔽矩阵；
其中，训练好的神经网络模型，是针对模拟的含噪语音的二维时频信号输出的二值掩蔽矩阵，与理想的二值掩蔽矩阵之间的差值，进行一次或多次训练得到的。
掩蔽处理模块，用于利用神经网络模型输出的二值掩蔽矩阵，对待降噪语音的二维时频信号，进行掩蔽计算，得到降噪后的二维时频信号，；
逆向时频转换模块，用于将降噪后的二维时频信号进行反时频转换，得到降噪后的语音。
以上述装置的结构为基础，还可以增加预处理模块，此模块主要用于对待降噪语音信号的预处理操作，例如，对待降噪语音信号进行分帧、归一化处理。时频转换模块，可以将预处理模块分帧处理后的每一帧数据进行短时傅立叶变换，得到待降噪语音的二维时频信号。对应的，逆向时频转换模块，对降噪后的二维时频信号进行反向短时傅立叶变换，得到降噪后的语音信号。此种语音降噪装置的结构如图3所示。其中，时频转换模块还可以采用除了短时傅立叶变换以外的其他任意方式(例如gabor变换和wigner-ville分布等)，对待降噪语音进行时频转换。只需要时频转换模块和逆向时频转换模块采用相同的方式进行时频转换，或反时频转换即可，本实施例对此不做特别限制。
下面介绍上述各模块之间相互协作实现语音智能降噪的处理流程，该流程如图4右侧所示，执行如下操作：
首先采集带有干扰信号的语音时域信号(即待降噪语音)，将语音信号送入预处理模块，预处理模块对时域信号进行分帧、归一化等处理，通常选择10到30ms为一帧，本案选择16ms为一帧。将分帧后的每一帧数据x(t)送入时频转换模块，时频转换模块对时域信号进行短时傅立叶变换(stft)，得到二维时频信号x(t,f)。将二维时频信号送入神经网络模型h(x)进行智能降噪处理。在神经网络模型中，先利用卷积神经网络提取二维时频信号在时频域上的特征点，再使用非线性激活函数对每一个时频域的特征点进行分类，以区分该特征点是语音还是噪音，形成一个二值掩蔽矩阵并进行输出。再使用神经网络模型输出的二值掩蔽矩阵对语音的时频特征进行掩蔽操作，得到语音降噪后信号的时频数据
而其中涉及的神经网络模型的训练过程中，如图4左侧所示，执行如下操作：
将标记好的带噪语音时域信号(相当于模拟的带噪语音时域信号)和对应的纯净语音时域信号分别进行分帧、加窗等操作；
对带噪语音时域信号和对应的纯净语音时域信号分别进行短时傅立叶变换，得到带噪语音时域信号和对应的纯净语音时域信号的二维时频信号，确定理想的二值掩蔽矩阵；
将根据带噪语音时域信号输入神经网络模型，得到神经网络模型输出的二值掩蔽矩阵(也可称为预测的二值掩蔽矩阵)；
根据神经网络模型输出的二值掩蔽矩阵(即预测的二值掩蔽矩阵)和理想的二值掩蔽矩阵，对神经网络模型进行重复训练，直到训练效果通过检验(例如，对训练出的神经网络模型输出的二值掩蔽矩阵与理想的二值掩蔽矩阵计算方差，方差值小于等于设定阈值，则确定训练效果通过检验)，结束训练流程，进入实际降噪处理流程。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本实施例还提供一种语音降噪装置。可以包括一个或多个处理器，以及存储器。该存储器可以用于存储可由处理器执行的指令，例如应用程序。存储器中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器被配置为执行指令，以执行上述语音降噪方法。
关于上述处理器执行指令涉及的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
从上述实施例可以看出，本申请技术方案利用神经网络模型可以针对各种类别的干扰信号进行语音降噪，且神经网络模型中一般对每帧数据的处理时间会低于帧长，因此可以做到实时降噪。且利用已训练好的神经网络模型直接输出语音降噪用的二值掩蔽矩阵，简化了语音降噪的复杂度，因此语音降噪的效率较现有技术有很大提高，在即时通信应用场景中能有效地降低时延。并且，本方案提出的方法只需要准备训练数据进行模型训练即可有效降噪，不需要非常深入的信号处理专业知识，极大的降低了对人员的要求，从而也可以降低语音降噪技术的使用成本。
本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明的意图也包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！