一种音频信号处理方法及装置与流程

本发明实施例涉及信号处理技术，尤其涉及一种音频信号处理方法及装置。

背景技术：

随着科学技术的不断发展，越来越多的硬件设备通过搭载麦克风实现语音通信、语音识别或者语音记录等功能，用户对于音频效果的要求也越来越高。

随着硬件设备的使用，设备自身产生的一些硬件设备故障会导致接收的音频信号中掺杂有类似冲激响应等的异常信号。硬件设备故障例如可以包括麦克风电路老化、失效或麦克风供电不足等情况。

当音频信号中掺杂了异常信号时，会导致音频信号的质量下降，严重影响语音通话质量或者语音识别效果。目前，解决上述问题一般是对故障的硬件设备进行维修或更换，解决成本高。

技术实现要素：

本发明提供一种音频信号处理方法及装置，以实现消除异常信号，提高音频质量。

第一方面，本发明实施例提供了一种音频信号处理方法，该方法包括：

获取待处理的时域音频信号，并将所述时域音频信号转换为频域音频信号；

检测所述频域音频信号中的异常信号，并记录所述异常信号的位置信息；

根据所述位置信息对所述时域音频信号的异常信号进行消除，所述时域音频信号的异常信号与所述频域音频信号的异常信号的位置信息相同；

对消除所述异常信号的时域音频信号进行信号修复。

进一步的，检测所述频域音频信号中的异常信号，并记录所述异常信号的位置信息，包括：

根据所述频域音频信号的频谱能量和预设能量阈值确定所述频域音频信号中是否存在异常信号；

若是，则记录所述异常信号的位置信息。

进一步的，根据所述频域音频信号的频谱能量和预设能量阈值确定所述频域音频信号中是否存在异常信号，包括：

根据预设规则将所述频域音频信号划分为多个数据帧；

对每个数据帧重复执行如下操作，直至全部数据帧检测完毕为止：

统计当前数据帧的频谱能量，并将所述频谱能量与所述预设能量阈值进行比对；

若所述频谱能量小于或等于所述预设能量阈值，则确定所述当前数据帧为正常音频信号；

若所述频谱能量大于所述预设能量阈值，则确定所述当前数据帧包含异常信号；

继续检测下一个数据帧。

进一步的，在检测所述频域音频信号中的异常信号之前，所述方法还包括：对所述频域音频信号进行高通滤波处理。

进一步的，对消除所述异常信号的时域音频信号进行信号修复，包括：

获取所述异常信号对应的待修复区域的采样数量，所述采样数量根据所述异常信号的位置信息确定，所述位置信息包括所述待修复区域的时域起始点和时长；

根据所述待修复区域的两个相邻信号和所述采样数量，对所述待修复区域进行线性拟合，生成完整的时域音频信号。

第二方面，本发明实施例还提供了一种音频信号处理装置，该装置包括：

音频信号获取模块，用于获取待处理的时域音频信号，并将所述时域音频信号转换为频域音频信号；

异常信号检测模块，用于检测所述频域音频信号中的异常信号，并记录所述异常信号的位置信息；

异常信号消除模块，用于根据所述位置信息对所述时域音频信号的异常信号进行消除，所述时域音频信号的异常信号与所述频域音频信号的异常信号的位置信息相同；

音频信号修复模块，用于对消除所述异常信号的时域音频信号进行信号修复。

进一步的，所述异常信号检测模块包括：

异常信号检测单元，用于根据所述频域音频信号的频谱能量和预设能量阈值确定所述频域音频信号中是否存在异常信号；

位置信息记录单元，用于若所述频域音频信号中存在异常信号，则记录所述异常信号的位置信息。

进一步的，所述异常信号检测单元具体用于：

根据预设规则将所述频域音频信号划分为多个数据帧；

对每个数据帧重复执行如下操作，直至全部数据帧检测完毕为止：

统计当前数据帧的频谱能量，并将所述频谱能量与所述预设能量阈值进行比对；

若所述频谱能量小于或等于所述预设能量阈值，则确定所述当前数据帧为正常音频信号；

若所述频谱能量大于所述预设能量阈值，则确定所述当前数据帧包含异常信号；

继续检测下一个数据帧。

进一步的，所述装置还包括：高通滤波摸，用于在检测所述频域音频信号中的异常信号之前，对所述频域音频信号进行高通滤波处理。

进一步的，所述音频信号修复模块包括：

采样数量获取单元，用于获取所述异常信号对应的待修复区域的采样数量，所述采样数量根据所述异常信号的位置信息确定，所述位置信息包括所述待修复区域的时域起始点和时长；

音频信号修复单元，用于根据所述待修复区域的两个相邻信号和所述采样数量，对所述待修复区域进行线性拟合，生成完整的时域音频信号。

本发明实施例通过将麦克风获取的时域音频信号转换为频域音频信号，在频域音频信号中检测异常信号，并记录异常信号的位置信息，根据异常信号的位置信息在时域音频信号中消除异常信号，并对消除的异常信号区域进行信号修复，替代了现有技术中在时域音频信号中检测异常信号检测误差大，异常信号检测不准确的情况，解决了由于硬件设备老化导致的异常信号影响音频效果的问题，实现了低成本的消除异常信号，提高了音频信号质量。

附图说明

图1是本发明实施例一提供的一种音频信号处理方法的流程图；

图2a是本发明实施例一提供的时域音频信号的展示图；

图2b是本发明实施例一提供的频域音频信号的展示图；

图3是本发明实施例二提供的一种音频信号处理方法的流程图；

图4是本发明实施例三提供的一种音频信号处理方法的流程图；

图5a是本发明实施例三提供的一个正常的正弦波信号的展示图；

图5b是本发明实施例三提供的一个存在异常信号的信号波形的展示图；

图5c是本发明实施例三提供的消除异常信号的信号波形的展示图；

图5d是本发明实施例三提供的待修复区域的信号修复波形的展示图；

图5e是本发明实施例三提供的修复后的时域音频信号的展示图；

图5f是本发明实施例三提供的时域音频信号处理对比图；

图5g是本发明实施例三提供的频域音频信号处理对比图；

图6是本发明实施例四提供的一种音频信号处理装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种音频信号处理方法的流程图，本实施例可适用于检测并消除音频信号中的异常信号的情况，该方法可以由本发明实施例提供的音频信号处理装置来执行，该装置可采用软件和/或硬件的方式实现。参见图1，该方法具体包括：

s110、获取待处理的时域音频信号，并将时域音频信号转换为频域音频信号。

其中，时域音频信号指的是随时间变化的音频幅值信号，可以是将麦克风采集的模拟音频信号转换生成的数字音频信号。示例性的，参见图2a，图2a是本发明实施例一提供的时域音频信号的展示图，其中，时域音频信号的横轴为时间，纵轴为幅值。

频域音频信号指的是随时间变化的音频频率信号，可以是将时域音频信号经过快速傅里叶变换生成的。示例性的，参见图2b，图2b是本发明实施例一提供的频域音频信号的展示图，其中，时域音频信号的横轴为时间，纵轴为频率。

s120、检测频域音频信号中的异常信号，并记录异常信号的位置信息。

其中，异常信号指的是区别于正常语音信号的噪声信号，例如异常信号可以是冲激响应信号，示例性的，异常信号可以包括但不限于设备自身产生的一些硬件设备故障导致的，硬件设备故障例如可以包括麦克风电路老化、失效或麦克风供电不足等情况。

参见图2a，在时域音频信号中信号101为正常的音频信号，信号102为底噪信号，信号103为异常信号，通常为不规则的尖峰状毛刺，例如，异常信号如信号104。现有技术中，一般是通过异常信号与正常音频信号的幅值之间的差异区分异常信号与正常音频信号，但是，参见图2a可知，正常语音信号的幅值不确定，存在小于异常信号幅值的情况，存在大于异常信号幅值的情况，还存在与异常信号幅值相近的情况，无法通过幅值阈值准确的检测出异常信号，导致异常信号检测不准确，检测误差大。

参见图2b，在频域音频信号中信号201为异常信号。其中，正常的音频信号的频域范围较小，一般正常的音频信号的频率范围为1-8khz，且在高频部分，正常音频信号的信号能量较小。异常信号201为全频带信号，且信号能量高度集中。在频域音频信号中异常信号与正常的音频信号的信号能量具有明显差异，在频域音频信号检测异常信号，提高了异常信号的检测准确度，避免了正常音频信号丢失或者异常信号无法检测的问题，提高了音频质量。

可选的，在检测频域音频信号中的异常信号之前，还包括：对频域音频信号进行高通滤波处理。

其中，对频域音频信号进行高通滤波，滤除小于截止频率的低频信号，保留大于或等于截止频率的高频信号，将正常的音频信号滤除，减少正常的音频信号对检测异常信号的识别干扰，减少了异常信号检测工作量，提高了检测效率和精度。其中，截止频率可根据频域音频信号中正常音频信号的频率确定。本实施例中，对频域音频信号进行高通滤波处理可通过高通滤波器实现。可选的，可通过时域高通滤波器同时实现将时域音频信号转换为频域音频信号，和对频域音频信号进行高通滤波处理。

本实施例中，若检测到频域音频信号中存在异常信号，则记录该异常信号的位置信息，其中，异常信号的位置信息指的是异常信号出现的时间信息。

s130、根据位置信息对时域音频信号的异常信号进行消除，时域音频信号的异常信号与频域音频信号的异常信号的位置信息相同。

本实施例中，时域音频信号与频域音频信号的时间信息同步，异常信号的位置信息相同，通过检测并记录频域音频信号中异常信号的位置信息，可确定时域音频信号中异常信号的位置信息。

根据异常信号的位置信息消除该异常信号，提高了时域音频信号的信号质量。

s140、对消除异常信号的时域音频信号进行信号修复。

其中，通过在时域音频信号消除异常信号，在异常信号的消除区域存信号缺失，导致时域音频信号存在失真的情况。本实施例中，通过对消除异常信号的区域进行信号修复，避免音频信号失真，提高了音频信号质量，提高了用户体验。

本实施例的技术方案，通过将麦克风获取的时域音频信号转换为频域音频信号，在频域音频信号中检测异常信号，并记录异常信号的位置信息，根据异常信号的位置信息在时域音频信号中消除异常信号，并对消除的异常信号区域进行信号修复，替代了现有技术中在时域音频信号中检测异常信号检测误差大，异常信号检测不准确的情况，解决了由于硬件设备老化导致的异常信号影响音频效果的问题，实现了低成本的消除异常信号，提高了音频信号质量。

实施例二

图3是本发明实施例二提供的一种音频信号处理方法的流程图，在上述实施例的基础上，进一步的提供了检测频域音频信号中的异常信号，并记录异常信号的位置信息的方法。相应的，参见图3，该方法包括：

s210、获取待处理的时域音频信号，并将时域音频信号转换为频域音频信号。

s220、根据频域音频信号的频谱能量和预设能量阈值确定频域音频信号中是否存在异常信号；

其中，频域音频信号的频谱能量指的是各频率的音频信号所具有的能量，预设能量阈值指的是用于区分异常信号与正常音频信号的能量阈值，其中可以是根据历史异常信号能量确定，也可以是在频域音频信号的预设初始时间长度内，检测能量突变信号和正常音频信号，分别计算能量突变信号的第一能量和正常音频信号的第二能量，预设能量阈值小于第一能量，且大于第二能量，第一能量大于第二能量。其中，第一能量可以是预设初始时间长度内异常信号的能量均值，第二能量可以是预设初始时间长度内正常音频信号的能量均值。

本实施例中，示例性的，若频域音频信号中的存在音频信号的频谱能量大于预设能量阈值，则确定该音频信号为异常信号，否则，确定该频域音频信号中不存在异常信号。

可选的，根据频域音频信号的频谱能量和预设能量阈值确定频域音频信号中是否存在异常信号，包括：

根据预设规则将所述频域音频信号划分为多个数据帧；

对每个数据帧重复执行如下操作，直至全部数据帧检测完毕为止：

统计当前数据帧的频谱能量，并将所述频谱能量与所述预设能量阈值进行比对；若所述频谱能量小于或等于所述预设能量阈值，则确定所述当前数据帧为正常音频信号；若所述频谱能量大于所述预设能量阈值，则确定所述当前数据帧包含异常信号；

继续检测下一个数据帧。

其中，预设规则指的是数据帧的划分长度，示例性的，预设规则可以是将时长为10ms或者20ms的音频信号换分为一个数据帧，本实施例中，对每一个数据帧的音频信号进行实时检测，确定是否存在异常信号。对每一个数据帧，通过能量统计的方法确定数据帧的能量，能量统计可以是通过周期性rms(rootmeansquare，均方根)统计方法。本实施例中，依次将数据帧中的音频信号的频谱能量与预设能量阈值，若该数据帧中的存在音频信号的频谱能量小于或等于所述预设能量阈值，则确定所述当前数据帧为正常音频信号，对该数据帧不做任何处理，继续检测下一个数据帧；若该数据帧中的存在音频信号的频谱能量大于预设能量阈值，则确定该音频信号为异常信号，并继续检测该数据帧的其他音频信号，直到该数据帧检测结束，继续检测下一个数据帧。

s230、若频域音频信号中存在异常信号，则记录异常信号的位置信息。

s240、根据位置信息对时域音频信号的异常信号进行消除，时域音频信号的异常信号与频域音频信号的异常信号的位置信息相同。

本实施例中，时域音频信号与频域音频信号根据相同的预设规则划分数据帧，若在频域音频信号的数据帧为正常音频信号，则将时域音频信号中对应数据帧输出；若在频域音频信号的数据帧中存在异常信号，则根据异常信号的位置信息，在将时域音频信号中对应数据帧中消除异常信号。

s250、对消除异常信号的时域音频信号进行信号修复。

本实施例的技术方案，通过在频域音频信号中根据频谱能量和预设能量阈值确定频域音频信号中是否存在异常信号，记录异常信号的位置信息，消除异常信号并对消除异常信号的时域音频信号进行信号修复，替代了现有技术中在时域音频信号中检测异常信号检测误差大，异常信号检测不准确的情况，解决了由于硬件设备老化导致的异常信号影响音频效果的问题，实现了低成本的消除异常信号，提高了音频信号质量。

实施例三

图4是本发明实施例三提供的一种音频信号处理方法的流程图，在上述实施例的基础上，进一步的提供了对消除异常信号的时域音频信号进行信号修复的方法。相应的，参见图4，该方法具体包括：

s310、获取待处理的时域音频信号，并将时域音频信号转换为频域音频信号。

s320、检测频域音频信号中的异常信号，并记录异常信号的位置信息。

s330、根据位置信息对时域音频信号的异常信号进行消除，时域音频信号的异常信号与频域音频信号的异常信号的位置信息相同。

s340、获取异常信号对应的待修复区域的采样数量，采样数量根据异常信号的位置信息确定，位置信息包括待修复区域的时域起始点和时长。

本实施例中，在时域音频信号中消除异常信号，导致消除异常信号区域缺失信号，为了避免音频信号缺失导致的信号失真，对异常信号对应的待修复区域进行信号修复。

示例性的，参见图5a，图5a是本发明实施例三提供的一个正常的正弦波信号的展示图，信号时长为t。当该信号受到异常信号的干扰时，参见图5b，图5b是本发明实施例三提供的一个存在异常信号的信号波形的展示图，其中，t1和t3部分为正常信号，t2部分为异常信号，且t1+t2+t3＝t。通过异常信号的检测，记录该异常信号的位置信息，位置信息包括时域起始点和时长。示例性的，参见图5c，图5c是本发明实施例三提供的消除异常信号的信号波形的展示图，根据该异常信号的位置信息对异常信号t2进行消除，剩余正常信号t1和t3，且t1+t3<t。若将t1和t3部分直接相连无法得到原始信号的时长，且由于t1信号的结束相位与t3部分的起始相位存在较大的相位差，直接连接导致频谱失真。

根据时长和采样时间间隔可确定该异常信号对应的待修复区域的采样数量，其中，同一音频信号中采样时间间隔固定。

s350、根据待修复区域的两个相邻信号和采样数量，对待修复区域进行线性拟合，生成完整的时域音频信号。

本实施例中，根据待修复区域的两个相邻信号对待修复区域进行线性预测，确定待修复区域内的信号趋势，例如根据t1信号的结束信号与t3部分的起始信号可确定待修复区域内的信号趋势为逐渐减小。

可选的，通过过采样方式对待修复区域进行信号修复。其中，过采样方式指的是实际采样数量大于待修复区域的理论采样数量。根据待修复区域内的信号趋势和实际采样数量可确定待修复区域内的采样信息，对采样信息进行线性拟合，可生成修复信。其中，线性拟合指的是用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系。本实施例中，将待修复区域划分为两个修复段，参见图5d，图5d是本发明实施例三提供的待修复区域的信号修复波形的展示图。其中，信号501是根据t1信号的结束信号和待修复区域内的信号趋势，确定待修复区域内的差值信号，并经过线性拟合确定第一修复波形t1+t1'，信号502是根据t3信号的起始信号和待修复区域内的信号趋势，确定待修复区域内的差值信号，并经过线性拟合确定第二修复波形t3+t3'。其中，t1'＝t3'＝t2/2+δt,修复后的信号时长为t'＝t+2δt。其中两个δt信号为信号501和信号502进行叠加时重合的时域部分。本实施例中，通过增加信号重合部分，可消除信号501和信号502的连接不平滑问题，避免了信号501和信号502的连接处存在相位差的情况，提高信号修复质量。

示例性的，将信号501的时间函数用s1(t)表示，信号502的时间函数用s2(t)表示，经过信号叠加，生成的待修复区域的信号为o(t)，则o(t)可以用如下公式表述：

参见图5e，图5e是本发明实施例三提供的修复后的时域音频信号的展示图。

本实施例的技术方案，通过对消除异常信号的待修复区域进行信号修复，解决了由于消除异常信号导致的音频信号失真的问题，提高了音频信号的质量。

根据上述任一实施例的提供的音频信号处理方法，对一段音频信号进行处理，示例性的，参见图5f，图5f是本发明实施例三提供的时域音频信号处理对比图。其中，信号503为包含异常信号的原始时域音频信号，信号504为经过本发明实施例提供的音频处理方法处理的时域音频信号，根据信号对比可知，原始时域音频信号中的异常信号被消除或被抑制，提高了处理后的时域音频信号的信号质量。

示例性的，参见图5g，图5g是本发明实施例三提供的频域音频信号处理对比图。其中，信号505为包含异常信号的原始频域音频信号，其中，包含异常信号601、602、603、604和605，信号506为经过本发明实施例提供的音频处理方法处理的频域音频信号，其中，对应位置的异常信号被消除或被抑制，提高了音频信号的质量。

实施例四

图6是本发明实施例四提供的一种音频信号处理装置的结构示意图，该装置包括：

音频信号获取模块610，用于获取待处理的时域音频信号，并将时域音频信号转换为频域音频信号；

异常信号检测模块620，用于检测频域音频信号中的异常信号，并记录异常信号的位置信息；

异常信号消除模块630，用于根据位置信息对时域音频信号的异常信号进行消除，时域音频信号的异常信号与频域音频信号的异常信号的位置信息相同；

音频信号修复模块640，用于对消除异常信号的时域音频信号进行信号修复。

可选的，异常信号检测模块620包括：

异常信号检测单元，用于根据频域音频信号的频谱能量和预设能量阈值确定频域音频信号中是否存在异常信号；

位置信息记录单元，用于若频域音频信号中存在异常信号，则记录异常信号的位置信息。

可选的，异常信号检测单元具体用于：

根据预设规则将频域音频信号划分为多个数据帧；

对每个数据帧重复执行如下操作，直至全部数据帧检测完毕为止：

统计当前数据帧的频谱能量，并将频谱能量与预设能量阈值进行比对；

若频谱能量小于或等于预设能量阈值，则确定当前数据帧为正常音频信号；

若频谱能量大于预设能量阈值，则确定当前数据帧包含异常信号；

继续检测下一个数据帧。

可选的，装置还包括：高通滤波摸，用于在检测频域音频信号中的异常信号之前，对频域音频信号进行高通滤波处理。

可选的，音频信号修复模块640包括：

采样数量获取单元，用于获取异常信号对应的待修复区域的采样数量，采样数量根据异常信号的位置信息确定，位置信息包括待修复区域的时域起始点和时长；

音频信号修复单元，用于根据待修复区域的两个相邻信号和采样数量，对待修复区域进行线性拟合，生成完整的时域音频信号。

本发明实施例提供的音频信号处理装置可执行本发明任意实施例所提供的音频信号处理方法，具备执行音频信号处理方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。