一种基于RefineNet的端到端语音增强方法与流程
本发明属于语音信号处理技术领域，具体设计一种基于refinenet的端到端语音增强方法。
背景技术：
语音信号增强的主要目标是从带噪语音中提取原始语音信号，通过抑制或分离噪声来提升语音感知质量与可懂度，在语音信号通信、安全监听、助听器和自动语音识别等领域有着广泛的应用。进过几十年的发展，众多语音增强算法相继被提出，经典的语音增强技术主要包括谱减法、维纳滤波法、基于统计模型的方法等，这些方法往往基于噪声平稳的假设，在高度非平稳的噪声情况下增强效果会急剧恶化。
深度学习的兴起以及在图像分类、语音识别以及自然语音处理等领域的成功应用，为解决复杂环境下的语音增强提供了思路，神经网络模型开始被广泛应用到了语音增强任务中。根据网络学习的目标不同，基于神经网络的语音增强主要分为基于时频掩蔽、基于特征映射的方法以及两者结合的信号近似方法。基于时频掩蔽的方法将纯净语音与噪声之间的相互关系作为学习目标，将得到的时频掩蔽估计作用于带噪语音上，并经由逆变换技术合成增强语音的时域波形；基于特征映射的方法利用神经网络学习带噪语音和纯净语音之间的复杂映射关系。这两类方法通常需要将时域波形变换到时频域处理信号的幅度谱或功率谱，往往会忽略掉语音信号中的相位信息。
技术实现要素：
针对现有技术中的上述不足，本发明提供的基于refinenet的端到端的语音增强方法解决了现有的语音增强方法会会忽略掉相位信息，增强语音清晰度和可懂度不足的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于refinenet的端到端语音增强方法，包括以下步骤：
s1、通过tfanet时频分析网络将原始带噪语音信号变换成含有时频信息的特征图，并输入到refinenet网络中；
s2、通过refinenet网络对特征图进行分析，确定原始带噪语音信号到纯净语音信号的特征映射对应的特征图；
s3、根据特征图，通过tfanet时频分析网络重构出增强后的语音信号，实现语音增强。
进一步地，所述tfanet时频分析网络包括stft卷积层、取特征图层、解卷积层和语音信号重构层；
所述stft卷积层的输出端与取特征图层连接，所述取特征图层的输出端分别与refinenet网络的输入端和解卷积层的输出端连接；
所述解卷积层的输入端与refinenet网络的输出端连接，所述解卷积层的输出端与语音信号重构层连接。
进一步地，所述步骤s1具体为：
s11、通过stft卷积层对原始带噪语音信号进行短时傅里叶变换，得到原始带噪语音信号的时域信息；
其中，短时傅里叶变换的公式为：
式中，xt[f]为原始语音信号在第t帧第f频点的stft结果；
n为每帧的采样点个数；
h为相邻帧间的位移；
kf[i]＝w[i]·bf[i]，kf[i]为对应的卷积核系数，bf[i]是对应的stft变换系数，w[i]是对应的窗函数系数；
s12、通过取特征图层将时域信息中的幅度信息x取绝对值作为原始带噪语音信号的模拟幅度|x|；
同时，根据x和|x|确定原始带噪语音信号的模拟相位，并输入到语音信号重构层中；
其中，模拟相位p为：
s13、将原始带噪语音信号的模拟幅度|x|作为特征图输入到refinenet网络中。
进一步地，所述refinenet网络包括输入单元、resblock单元组、refineblock单元组和输出单元；
所述resblock单元组包括第一resblock单元、第二resblock单元、第三resblock单元和第四resblock单元；
所述refineblock单元组包括第一refineblock单元、第二refineblock单元、第三refineblock单元和第四refineblock单元；
所述输入单元、第一resblock单元、第二resblock单元、第三resblock单元和第四resblock单元依次连接；
所述第四refineblock单元、第三refineblock单元、第二refineblock单元和第一refineblock单元和输出单元依次连接；
所述第一resblock单元还与第一refineblock单元连接，所述第二resblock单元还与第二refineblock单元连接，所述第三resblock单元还与第三refineblock单元连接，所述第四resblock单元还与第四refineblock单元连接。
进一步地，所述输入单元包括依次连接的7×7的卷积层和池化层，所述池化层与第一resblock单元连接；
所述7×7的卷积层的步长为2；
所述池化层的步长为2；
所述第一resblock单元、第二resblock单元、第三resblock单元和第四resblock单元均包括第一卷积组、第二卷积组、第一残差连接和第二残差连接；
所述第一卷积组包括依次连接的第一1×1的卷积层、第一3×3的卷积层和第二1×1的卷积层；
所述第二卷积组包括依次连接的第三1×1的卷积层、第二3×3的卷积层和第四1×1的卷积层；
所述第一1×1的卷积层的输入端还与第五1×1的卷积层的输入端连接；
所述第二1×1的卷积层的输出端和第五1×1的卷积层的输出端与第一残差连接的输入端连接，所述第一残差连接的输出端分别与第三1×1的卷积层的输入端和第二残差连接的输入端连接，所述第二残差连接的输入端还与第四1×1的卷积层的输出端连接，所述第二残差连接的输出端作为一个resblock单元的输出端；
所述第一resblock单元的输出通道的个数为256；其中，各个卷积层的步长均为1；
所述第二resblock单元的输出通道的个数为512；其中，第一3×3的卷积层、第二3×3的卷积层和第五1×1的卷积层的步长均为2，第一1×1的卷积层、第二1×1的卷积层、第三1×1的卷积层和第四1×1的卷积层的步长均为1；
所述第三resblock单元的输出通道的个数为1024；其中，第一3×3的卷积层、第二3×3的卷积层和第五1×1的卷积层的步长均为2，第一1×1的卷积层、第二1×1的卷积层、第三1×1的卷积层和第四1×1的卷积层的步长均为1；
所述第四resblock单元的输出通道的个数为2048；其中，第一3×3的卷积层、第二3×3的卷积层和第五1×1的卷积层的步长均为2，所述第一1×1的卷积层、第二1×1的卷积层、第三1×1的卷积层和第四1×1的卷积层的步长均为1。
进一步地，所述第一refineblock单元、第二refineblock单元、第三refineblock单元和第四refineblock单元均包括依次连接的rcu层组、多分辨率融合层组、链式残差池化层组和输出卷积层组；
其中，第一refineblock单元、第二refineblock单元和第三refineblock单元均包括两个并列设置的rcu层组和两个并列设置的多分辨率融合层组；第四refineblock单元包括一个rcu层组和多分辨率融合层组；
每个所述rcu层组的输入端分别与对应的resblock单元的输出端和refineblock单元的输出端连接；
两个所述rcu层组并列设置，每个rcu层组均包括依次连接的第三3×3的卷积层、第四3×3的卷积层和第三残差连接；
所述第三3×3的卷积层和第四3×3的卷积层中的输入端均设置有relu激活函数；
所述rcu层组的输入端还与第三残差连接的输入端连接，所述第三残差连接的输出端作为rcu层组的输出端与多分辨率融合层组的输入端连接；
每个所述多分辨率融合层组均包括依次连接的第五3×3的卷积层和特征图上采样层，所述特征图上采样层采用双线性差值对特征图上采样，并通过第四残差连接与链式差池化层组连接；
所述链式残差池化层组包括依次连接的第一3×3的池化层、第六3×3的卷积层、第二3×3的池化层和第七3×3的卷积层；
所述第四残差连接的输出端通过一个relu激活函数分别与第一3×3的池化层的输入端和第五残差连接的输入端连接，所述第五残差连接的输入端还与第六3×3的卷积层的输出端连接；
所述第五残差连接的输出端与第六残差连接的输入端连接，所述第六残差连接的输入端还与第七3×3的卷积层的输出端连接，所述第六残差连接的输出作为链式残差池化层组的输出端与输出卷积层组连接；
所述输出卷积层组包括依次连接的第八3×3的卷积层、第九3×3的卷积层和第七残差连接；
所述第八3×3的卷积层和第九3×3的卷积层的输入端设置有relu激活函数；
所述输出卷积层组的输入端还与第七残差连接的输入端连接，所述第七残差连接的输出端作为输出卷积层组的输出端与下一refineblock单元或输出单元连接。
进一步地，所述步骤s2具体为：
s21、通过各个resblock单元对输入单元输入的特征图进行处理，得到具有高层次的全局和上下文信息的特征图，并输入到对应refineblock单元；
s22、通过refineblock单元对输入的不同大小的特征图进行融合，获得特征图的高层抽象特征和底层精细特征；
s23、通过输出单元对具有高层抽象特征和底层精细特征的特征图进行微调，获得原始带噪语音信号到纯净语音信号的特征映射对应的特征图。
进一步地，所述步骤s3具体为：
s31、通过解卷积层将refinenet网络输出的特征图放大，得到去噪后的模拟幅度；
其中，放大的特征图与输入refinenet的特征图大小相等；
s32、将去噪后的模拟幅度与模拟相位相乘，生成模拟语谱图；；
s33、通过语音信号重构层对模拟生成语谱图进行重构，模拟短时傅里叶变换过程得到增强后的语音信号。
进一步地，所述tfanet时频分析网络和refinenet网络的优化目标包括sdr、stoi和rmse；
其中，sdr为增强语音信号中纯净语音分量
stoi为纯净语音信号y和增强语音信号
rmse为时域的增强语音信号
其中，sdr为：
stoi为：
式中，dj,m为两个时间包络之间的相关系数；
m为每条原始语音信号的采样点数；
rmse为：
式中，m为每条原始语音信号的采样点数；
n为每条原始语音信号的语音总数；
y为纯净语音信号。
进一步地，所述tfanet时频分析网络和refinenet网络的优化目标函数
式中，min(·)为求最小值；
m为每条原始语音信号的采样点数；
n为每条原始语音信号的语音总数；
y为纯净语音信号；
α为均方误差的权重系数；
β为stoi的权重系数；
λ为sdr的权重系数；
本发明的有益效果为：
本发明提供的基于refinenet的端到端语音增强方法，首先构建一个时频分析网络对语音信号编码分析，然后利用refinenet网络学习含噪语音到纯净语音的特征映射，最后解码生成增强的语音信号。在此基础上，我们提出将评价指标与训练损失函数相融合的改进方法以及将stoi与sdr同时作为优化目标的多目标学习策略。在不同噪声环境和不同信噪比下的测试中，本发明提出的方法在stoi、pesq以及sdr方面的指标显著优于具有代表性的传统方法、非端到端和端到端的深度学习方法，能更好地提高语音的清晰度和可懂度；得到更好的语音增强效果。
附图说明
图1为本发明提供的基于refinenet的端到端的语音增强方法流程图。
图2为本发明提供的语音增强模型(rnse模型结构图)。
图3为本发明提供的resnet单元组结构图。
图4为本发明提供的refineblock单元结构图。
图5为本发明提供的实施例中不同噪声不同信噪比下实验结果图。
图6为本发明提供的实施例中0db的babble噪声下语音增强语谱图示例。
图7为本发明提供的实施例中基于不同目标函数的测试结果。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于refinenet的端到端语音增强方法，包括以下步骤：
s1、通过tfanet时频分析网络将原始带噪语音信号变换成含有时频信息的特征图，并输入到refinenet网络中；
s2、通过refinenet网络对特征图进行分析，确定原始带噪语音信号到纯净语音信号的特征映射对应的特征图；
s3、根据特征图，通过tfanet时频分析网络重构出增强后的语音信号，实现语音增强。
图2中展示本发明中的tfanet时频分析网络与refinenet网络的连接示意，tfanet时频分析网络与refinenet网络组成本发明中的语音增强模型(rnse)；
图2中的tfanet时频分析网络是一个用于模拟短时傅里叶变换及其逆变换过程的时频分析神经网络，它作为语音增强的前端，用于将一维时域的语音信号映射为时频空间的高频表示，得到二维的特征图；同时也作为语音增强的后端，将refinenet网络输出的增强后的特征图重构成一维时域语音信号；refinenet网络作为语音增强过程中的主体部分，用于对特征图进行精炼分析，并与tfanet时频分析网络结合，实现从时域的含噪语音信号到时域的纯净语音信号的直接映射。
图2中的tfanet时频分析网络包含编码分析阶段和解码生成阶段，在编码分析阶段将原始带噪语音信号表示为二维的时频空间特征图并输入到refinenet网络，在解码生成阶段将refinenet网络输出的增强语音信号的特征图重构成一维语音信号。
该tfanet时频分析网络包括stft卷积层、取特征图层、解卷积层和语音信号重构层；
stft卷积层的输出端与取特征图层连接，取特征图层的输出端分别与refinenet网络的输入端和解卷积层的输出端连接；
解卷积层的输入端与refinenet网络的输出端连接，解卷积层的输出端与语音信号重构层连接。
因此，上述步骤s1具体为：
s11、通过stft卷积层对原始带噪语音信号进行短时傅里叶变换，得到原始带噪语音信号的时域信息；
假设带噪语音信号为s[n]，那么stft计算可以表示为：
式中，xt[f]为原始语音信号在第t帧第f频点的stft结果，最终组成一个t帧f个频点的矩阵；
n是每帧的采样点个数；
h为相邻帧间的位移；
h是窗函数系数；
bf[i]是对应的stft变换系数；
令k＝w·b，可以将式(1)变换成卷积形式：
式中，kf[i]＝w[i]·bf[i]，kf[i]为对应的卷积核系数，bf[i]是对应的stft变换系数，w[i]是对应的窗函数系数；
s12、通过取特征图层将时域信息中的幅度信息x取绝对值作为原始带噪语音信号的模拟幅度|x|；
同时，根据x和|x|确定原始带噪语音信号的模拟相位，并输入到语音信号重构层中；
其中，模拟相位p为：
s13、将原始带噪语音信号的模拟幅度|x|作为特征图输入到refinenet网络中。
在上述步骤s12-步骤s13中，stft在复数域变换语音信号的计算较为复杂，一般为了简化处理，往往是直接处理信号时频域表示的幅度，而忽略了相位；本发明中通过对语音信号卷积后的高维表示进行处理，在避免复数运算的复杂性的同时，对时频空间中隐藏的相位信息加以利用。如图2所示，我们通过对幅度信息x取绝对值|x|来模拟stft的幅度谱，然后将|x|作为特征图输入到refinenet中学习语音的增强过程；这里rnse模型保留了x的极性p作为对原始信号的模拟相位，用于后续增强语音的重构。通过这种保留极性的方式模拟原始信号的相位，实现对语音信号中的信息充分利用。
refinenet网络的总体结构如图2所示，第四resblock单元的特征图输入到第四refineblock单元中，经过微调输入第三refineblock单元，与第三resblock的特征图融合，再依次通过第二refineblock、第一refineblock与第二resblock单元、第一refineblock单元的特征图融合，最后经过输出单元做最后的微调。
图2中的refinenet网络包括输入单元、resblock单元组、refineblock单元组和输出单元；
resblock单元组包括第一resblock单元、第二resblock单元、第三resblock单元和第四resblock单元；
refineblock单元组包括第一refineblock单元、第二refineblock单元、第三refineblock单元和第四refineblock单元；
输入单元、第一resblock单元、第二resblock单元、第三resblock单元和第四resblock单元依次连接；
第四refineblock单元、第三refineblock单元、第二refineblock单元和第一refineblock单元和输出单元依次连接；
第一resblock单元还与第一refineblock单元连接，所述第二resblock单元还与第二refineblock单元连接，所述第三resblock单元还与第三refineblock单元连接，所述第四resblock单元还与第四refineblock单元连接。
本发明中的refinenet网络是在resnet框架上的改进，为了在增加神经网络的深度的同时不影响网络的训练，resnet中采用了残差连接，将一层或多层叠加的隐含层f(x)与输入x相加，作为最终输出：
f(x)+x(4)
本发明中的refinenet网络中的resblock单元组的结构如图3所示，输入单元包括依次连接的7×7的卷积层和池化层，池化层与第一resblock单元连接；
7×7的卷积层的步长为2；
池化层的步长为2；
第一resblock单元、第二resblock单元、第三resblock单元和第四resblock单元均包括第一卷积组、第二卷积组、第一残差连接和第二残差连接；
第一卷积组包括依次连接的第一1×1的卷积层、第一3×3的卷积层和第二1×1的卷积层；
第二卷积组包括依次连接的第三1×1的卷积层、第二3×3的卷积层和第四1×1的卷积层；
第一1×1的卷积层的输入端还与第五1×1的卷积层的输入端连接；
第二1×1的卷积层的输出端和第五1×1的卷积层的输出端与第一残差连接的输入端连接，第一残差连接的输出端分别与第三1×1的卷积层的输入端和第二残差连接的输入端连接，第二残差连接的输入端还与第四1×1的卷积层的输出端连接，第二残差连接的输出端作为一个resblock单元的输出端；
其余三个resblock单元的结构与上述结构类似，再次不再赘述，需要说明的是上述第一resblock单元的输出通道的个数为256，其中各个卷积层的步长为1；
第二resblock单元的输出通道的个数为512；其中，第一3×3的卷积层、第二3×3的卷积层和第五1×1的卷积层的步长为2，所述第一1×1的卷积层、第二1×1的卷积层、第三1×1的卷积层和第四1×1的卷积层的步长为1；
第三resblock单元的输出通道的个数为1024；其中，第一3×3的卷积层、第二3×3的卷积层和第五1×1的卷积层的步长为2，所述第一1×1的卷积层、第二1×1的卷积层、第三1×1的卷积层和第四1×1的卷积层的步长为1；
第四resblock单元的输出通道的个数为2048；其中，第一3×3的卷积层、第二3×3的卷积层和第五1×1的卷积层的步长为2，所述第一1×1的卷积层、第二1×1的卷积层、第三1×1的卷积层和第四1×1的卷积层的步长为1。
经过上述resblock单元后输出的特征图逐块缩小，感受也变化，特征更加抽象，从而能捕获更高层次的全局和上下文信息，但随着计算量随之减少，精细特征也会逐渐丢失。因此需要将其输出特征图输入到refineblock单元组中，refineblock是一种神经网络块，可以把不同大小的特征图融合，从而利用高层的抽象特征和底层的精细特征，其结构如图4所示；
第一refineblock单元、第二refineblock单元、第三refineblock单元和第四refineblock单元均包括依次连接的两个rcu层组、两个多分辨率融合层组、链式残差池化层组和输出卷积层组；
其中，第一refineblock单元、第二refineblock单元和第三refineblock单元均包括两个并列设置的rcu层组和两个并列设置的多分辨率融合层组；第四refineblock单元包括一个rcu层组和多分辨率融合层组；
每个rcu层组的输入端分别与对应的resblock单元的输出端和refineblock单元的输出端连接；两个rcu层组并列设置，每个rcu层组均包括依次连接的第三3×3的卷积层、第四3×3的卷积层和第三残差连接；第三3×3的卷积层和第四3×3的卷积层中的输入端均设置有relu激活函数；rcu层组的输入端还与第三残差连接的输入端连接，第三残差连接的输出端作为rcu层组的输出端与多分辨率融合层组的输入端连接；上述rcu层组用于对输入的特征图在融合前进行微调。
每个多分辨率融合层组均包括依次连接的第五3×3的卷积层和特征图上采样层，所述特征图上采样层采用双线性差值对特征图上采样，并通过第四残差连接与链式差池化层组连接；上述多分辨率融合层组用于将不同分辨率的特征图融合成一张图，该过程为：首先通过一层卷积层对特征图进行融合前的微调，然后以分辨率最高的特征图为基准，对所有分辨率较低的新特征图进行上采样，最后直接相加，得到一张高分辨率的特征图。
链式残差池化层组包括依次连接的第一3×3的池化层、第六3×3的卷积层、第二3×3的池化层和第七3×3的卷积层；第四残差连接的输出端通过一个relu激活函数分别与第一3×3的池化层的输入端和第五残差连接的输入端连接，第五残差连接的输入端还与第六3×3的卷积层的输出端连接；第五残差连接的输出端与第六残差连接的输入端连接，第六残差连接的输入端还与第七3×3的卷积层的输出端连接，第六残差连接的输出作为链式残差池化层组的输出端与输出卷积层组连接；上述链式残差池化层组使用更大的感受视野从输入特征图中提取抽象特征；该过程为：特征图首先经过relu激活函数，池化压缩图大小，提取主要特征，再通过卷积层微调，得到的新特征图在进行下一次的池化和卷积的同时，通过残差连接与原特征图融合，形成链式的残差池化结构。
输出卷积层组包括依次连接的第八3×3的卷积层、第九3×3的卷积层和第七残差连接；第八3×3的卷积层和第九3×3的卷积层的输入端设置有relu激活函数；输出卷积层组的输入端还与第七残差连接的输入端连接，第六1×1的卷积层的输出端作为输出卷积层组的输出端与下一refineblock单元或输出单元连接。上述输出卷积层组的结构与rcu结构相似，用于对输出特征进行最后的微调。
因此，上述步骤s2具体为：
s21、通过各个resblock单元对输入单元输入的特征图进行处理，得到具有高层次的全局和上下文信息的特征图，并输入到对应refineblock单元；
s22、通过refineblock单元对输入的不同大小的特征图进行融合，获得特征图的高层抽象特征和底层精细特征；
s23、通过输出单元对具有高层抽象特征和底层精细特征的特征图进行微调，获得原始带噪语音信号到纯净语音信号的特征映射对应的特征图。
上述，步骤s3具体为：
s31、通过解卷积层将refinenet网络输出的特征图放大，得到去噪后的模拟幅度；
其中，放大的特征图与输入refinenet的特征图大小相等；
s32、将去噪后的模拟幅度与模拟相位相乘，生成模拟语谱图；；
s33、通过语音信号重构层对模拟生成语谱图进行重构，模拟短时傅里叶变换过程得到增强后的语音信号；
其中，语音信号重构层实际上是一个解卷积层。
由于refinenet的输出特征图的长和宽是其输入的1/4，在tfanet时频分析网络的解码生成阶段，使用步长为4的解卷积层将特征图恢复为原大小，同时微调特征图。接着将特征图与编码分析阶段保留的相位幅值|p|相乘，输入到语音信号重构层，模拟语音重构过程的短时傅里叶逆变换，最终得到对时域纯净语音y的估计。
在本发明中，tfanet时频分析网络和refinenet网络的优化目标包括sdr、stoi和rmse；
其中，sdr为增强语音信号中纯净语音分量
stoi为纯净语音信号y和增强语音信号
rmse为时域的增强语音信号
基于深度学习的语音增强模型常用均方误差(mse)作为优化目的，在时域内可表示为：
式中，m为每条原始语音信号的采样点数；
n为每条原始语音信号的语音总数；
y为纯净语音信号；
虽然mse模型在大量模型里得到应用，但不能保证得到最优的模型训练结果，其值越小不等同于语音可懂度和语音质量越高，而提升可懂度和质量是语音增强算法的目标。stoi是常用的客观语音可懂度评估指标，sdr则计算了语音信号与失真信号的比率，与语音质量高度相关。本发明将stoi与sdr两个评估指标共同融合到mse中进行联合优化的策略，通过直接优化评价指标来提升语音增强模型的性能，缓解目标函数与评价指标之间的不匹配问题。因此，本发明将stoi与sdr作为优化目标；
sdr是增强语音信号中纯净语音分量
因此，sdr的计算公式为：
将式(5)代入式(6)得到：
优化目标stoi用于评估语音的可理解性，输入是纯净语音y和增强语音
zj,m＝[yj(m-l+1),yj(m-l+2),...yj(m)]t(9)
式中，yj(·)为由纯净语音得到的1/3倍频带；
m为纯净语音帧的索引；
l为短时时间包络包含的语音帧数量；
t为转置操作符；
之后对语音信号进行归一化与剪裁，归一化用来补偿全局差异，这种差异不应该对语音的可懂度产生影响；剪裁确保了严重退化语音上stoi评估的上界。退化语音信号的归一化和剪裁时间包络表示为
可懂度的测量被定义为两个时间包络之间的相关系数dj,m；
式中，
||·||为求范数；
因此，stoi为所有波段和帧的中间可懂度的平均值；
式中，dj,m为两个时间包络之间的相关系数；
m为每条原始语音信号的采样点数。
根据上述设定的优化目标，本发明中的tfanet时频分析网络和refinenet网络的优化目标函数
式中，min(·)为求最小值；
m为每条原始语音信号的采样点数；
n为每条原始语音信号的语音总数；
y为纯净语音信号；
α为均放误差的权重系数；
β为stoi的权重系数；
λ为sdr的权重系数；
其中，对公式(11)中sdr优化目标做替换以简化计算：
在上式的最后一步中，丢弃了
在本发明的一个实施例中，提供了通过本发明方法进行语音增强的实验过程：
实验中使用的语音数据来自于timit数据集，噪声数据集采用esc-50作为训练集，为了验证本发明提出的网络结构的泛化性能，我们也将noisex92噪声数据集用于测试。timit数据集总共包含6300条语音，由630人每人录制10个句子得到，男女比率为7:3。其中，每人录制的句子中有7个是重复的，为了去除重复句子对模型训练与测试的影响，本实验只取句子均不相同的1890条语音。将其中约80％的语音作为训练集，另外20％作为测试语音，且男女比例与timit总体分布相同。esc-50数据集包含2000条带标签的环境录音集合，共分为5个主要类别：动物、自然音景与水声、非语音人声、室内声音、城区声音。noisex92是常用于语音增强测试的数据集，本文使用babble、factory1、white、hfchannel四种常见噪声进行不同噪声环境的测试，用所有15种noisex92噪声做不可见噪声测试，用所有esc-50噪声做可见噪声测试。
本实施例选择4个经典算法对比：(a)log-mmse，是一种常用的基于统计模型的语音增强方法；(b)bnmf，采用有监督贝叶斯和非负矩阵分解模型，是基于机器学习模型的语音增强算法；(c)drnn-se，采用循环连接层和多全连接层的神经网络模型，并且结合时频掩蔽，是典型的非端到端深度学习方法；(d)wavenet-se，采用新型卷积神经网络的wavenet模型，是一种端到端的深度学习方法。
本发明中采用的评估指标为stoi、pesq及sdr，其中stoi是短时客观可懂度，用于衡量语音可懂度，得分范围0～1，分值越高表明可懂度越高；pesq用于语音质量感知评估，它是itu-t(国际滇西联盟电信标准化部)推荐的语音质量评估指标，其得分范围为-0.5到4.5，值越大表明质量越好。sdr测试增强语音中纯净语音的分量与其它分量的参量比值，范围理论上为整个实数域，值越大表明增强效果越好。
本实施例评估了rnse与其他非端到端方法的性能差异，包括log-mmse、bnmf及drnn-se。图5展示了在几种常见噪声条件下各模型的指标对比，我们可以看出在不同噪声环境和不同信噪比条件下，rnse方法相比于时频域方法有显著的性能提升，在每种评估指标下均取得了最佳结果。我们还注意到，即使在-10db的极限信噪比下，rnse方法仍然可以取得比部分基线方法在-5db下相当或更好的性能，这意味着rnse更适合于在低信噪条件下的复杂环境中挖掘语音信号的信息。在图5中，从第一行到第三行评价指标分别为pesq、stoi与sdr，图(a)～(c)、图(b)～(f)、图(g)～(i)、图(j)～(l)分别为babble,factory1,white,hfchannel噪声下的结果；-10,-5,0,5对应不同的信噪比条件；每簇信噪比中的柱状图从左至右依次对应log-mmse,bnmf,drnn以及rnse。
我们通过在可见和不可见噪声下做测试，进一步验证rnse模型的泛化性，表1和表2分别给出了已知噪声和未知噪声下的客观评价指标；同时我们添加wavenet-se作为端到端的语音增强基线算法；由表1和表2可以看出，rnse在已知噪声环境和未知噪声环境下均取得了最佳的结果，而且远优于端到端方法wavenet-se，同时，我们注意到相比于其他基线方法，drnn-se取得了较高的客观评价指标。为了更加直观的比较各种算法的增强效果，我们对各个网络增强后语音的语谱图进行了比较分析，图6为0db的babble噪声下各算法对语音增强后的语谱图，横轴表示时间t，纵轴表示语音信号频率f。从语谱图中可以看出，各种算法都一定程度上对含噪语音进行了有效的处理，然而wavenet-se方法在已知或未知噪声环境下的增强效果比较微弱，其增强后的语音在去除了大量的噪声之后保留了更少的语音成分。这表明wavenet-se很难挖掘时域语音信号的特征，导致其在增强的过程中无法较为准确地辨识语音和噪声。rnse利用tfanet将时域信号映射到时频空间，避免了这个问题。通过在各种噪声和信噪比环境下的测试表明rnse模型在复杂环境下具有较强的鲁棒性。在rnse模型训练阶段，我们把评估指标融入到损失函数中，为了比较融入的评价指标对语音增强性能的影响，我们比较了不同组合的损失函数下的增强效果。图6中，(a)为含噪语音；(b)为纯净语音；(c)为log-mmse；(d)为bnmf；(e)为drnn-se；(f)为rnse。
图7给出了不同损失函数配置在不同信噪比下的语音增强效果，从图中可以看出，mse与stoi或sdr的单独结合要比单纯的使用mse要取得更好的性能指标，并且会显著提升所融合的对应评估指标。当我们将mse同时结合stoi与sdr作为优化目标时，取得了比单独结合stoi或sdr更好的增强效果，沿着这个思路，我们将stoi和sdr与mse按照一定的权重组合起来联合训练优化，图中stoi+sdr+mse组合对应于式(5)中的超参数α＝10、β＝1、λ＝5×103。由此，我们从实验直观地证明了损失函数与评价指标的不匹配会导致语音增强性能无法达到最佳，我们通过将评估指标与损失函数按照一定的权重比例组合并输入到神经网络中联合训练，显著提高了语音增强的性能，表明损失函数与评估指标的结合可以有效地提高语音增强的性能，而且本发明提出的将评估指标融合到损失函数中联合训练的思想并不是只适用于语音增强领域，还可以普适性的应用到其他各领域。
表1：可见噪声的测试结果
注：(a)log-mmse,(b)bnmf,(c)drnn-se,(d)wavenet-se,(e)rnse
表2：不可见噪声的测试结果
注：(a)log-mmse,(b)bnmf,(c)drnn-se,(d)wavenet-se,(e)rnse
本发明的有益效果为：
本发明提供的基于refinenet的端到端语音增强方法，首先构建一个时频分析网络对语音信号编码分析，然后利用refinenet网络学习含噪语音到纯净语音的特征映射，最后解码生成增强的语音信号。在此基础上，我们提出将评价指标与训练损失函数相融合的改进方法以及将stoi与sdr同时作为优化目标的多目标学习策略。在不同噪声环境和不同信噪比下的测试中，本发明提出的方法在stoi、pesq以及sdr方面的指标显著优于具有代表性的传统方法、非端到端和端到端的深度学习方法，能更好地提高语音的清晰度和可懂度；得到更好的语音增强效果。
- 还没有人留言评论。精彩留言会获得点赞！