音频降噪方法、装置及电子设备与流程

文档序号:18603039发布日期:2019-09-03 22:56阅读:373来源:国知局
音频降噪方法、装置及电子设备与流程

本发明涉及音频处理技术领域,特别是指一种音频降噪方法、装置及电子设备。



背景技术:

目前,通过数字信号处理算法对音频进行降噪,一般是根据目标场景的噪声情况,确定相应的参数,利用该参数对音频进行降噪处理。但这种降噪方式仅可实现对单一特性的噪声场景下采集的音频进行降噪,但对于环境噪声发生动态变化的场景,降噪性能则较低。



技术实现要素:

有鉴于此,本发明的目的在于提出一种音频降噪方法、装置及电子设备,该方法可提高降噪处理后的音频的信噪比。

根据本发明的第一个方面,提供了一种音频降噪方法,包括:根据采集到的音频信号的特征确定噪声场景的类型;获取与所述噪声场景的类型对应的降噪参数组,所述降噪参数组中至少包括一种降噪参数;通过所述降噪参数组中的降噪参数对所述音频信号进行降噪。

可选的,所述方法还包括:在根据采集到的音频信号的特征确定噪声场景的类型之前,根据在不同场景下采集的音频信号的噪声强度以及噪声类型将所述场景划分为不同类型的噪声场景;将各噪声场景的类型与预设的噪声参数组建立对应关系。

可选的,根据以下至少两种信息划分所述噪声场景的类型:车辆所处的环境、车辆的行驶状态、车窗是否开启、车内空调是否开启以及环境噪声的大小。

可选的,所述获取与所述噪声场景的类型对应的降噪参数组,包括:提取所述音频信号的特征;根据所述特征确定与所述音频信号中的各帧对应的噪声场景的类型;如果连续预设个数的帧对应的噪声场景的类型相同,则生成与所述噪声场景的类型对应的降噪参数组。

可选的,所述方法还包括:采集不同噪声场景下的音频数据,所述音频数据中包括音频信号;根据所述噪声场景对所述音频数据进行标记;使用标记后的音频数据训练噪声场景分类模型,所述噪声场景分类模型的输入为音频信号的特征,所述噪声场景分类模型的输出为所述音频信号对应的噪声场景。

可选的,所述降噪参数组中至少包括以下一种降噪参数:过减因子和谱下限参数。

根据本发明的第二个方面,提供了一种音频降噪装置,包括:确定模块,用于根据采集到的音频信号的特征确定噪声场景的类型;获取模块,用于获取与所述噪声场景的类型对应的降噪参数组,所述降噪参数组中至少包括一种降噪参数;降噪模块,用于通过所述降噪参数组中的降噪参数对所述音频信号进行降噪。

可选的,所述装置还包括:划分模块,用于在根据采集到的音频信号的特征确定噪声场景的类型之前,根据在不同场景下采集的音频信号的噪声强度以及噪声类型将所述场景划分为不同类型的噪声场景;建立模块,用于将各噪声场景的类型与预设的噪声参数组建立对应关系。

可选的,根据以下至少两种信息划分所述噪声场景的类型:车辆所处的环境、车辆的行驶状态、车窗是否开启、车内空调是否开启以及环境噪声的大小。

可选的,所述获取模块,包括:提取单元,用于提取所述音频信号的特征;确定单元,用于根据所述特征确定与所述音频信号中的各帧对应的噪声场景的类型;生成单元,用于如果连续预设个数的帧对应的噪声场景的类型相同,则生成与所述噪声场景的类型对应的降噪参数组。

可选的,所述装置还包括:采集模块,用于采集不同噪声场景下的音频数据,所述音频数据中包括音频信号;标记模块,用于根据所述噪声场景对所述音频数据进行标记;训练模块,用于使用标记后的音频数据训练噪声场景分类模型,所述噪声场景分类模型的输入为音频信号的特征,所述噪声场景分类模型的输出为所述音频信号对应的噪声场景。

根据本发明的第三个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明第一个方面所述的任意一种音频降噪方法。

从上面所述可以看出,本发明的音频降噪方法,可根据获取的音频信号的特征确定当前所处的噪声场景,根据噪声场景确定用于对音频信号进行降噪处理的降噪参数组,从而基于该降噪参数组中的降噪参数对音频信号进行降噪处理,可以在周围环境噪声不断变化的情况下,自适应调整降噪参数,以获得与当前噪声场景最匹配的降噪参数组,可针对当前所处的噪声场景的特性对音频信号进行有针对性的处理,从而可提高处理后的音频信号的信噪比。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种音频降噪方法的流程图;

图2是根据一示例性实施例示出的一种音频降噪方法的示意图;

图3是根据一示例性实施例示出的噪声场景分类模型的训练过程以及使用过程示意图;

图4是根据一示例性实施例示出的根据降噪参数组中的降噪参数对原始带噪信号进行降噪的处理流程图;

图5是根据一示例性实施例示出的一种音频降噪装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。

需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。

图1是根据一示例性实施例示出的一种音频降噪方法的流程图,如图1所示,该方法包括:

步骤101:根据采集到的音频信号的特征确定噪声场景的类型;

例如,可在采集到音频信号(为待降噪音频信号)后,提取该音频信号的特征,音频信号的特征例如可以是mfcc(melfrequencycepstrumcoefficient,梅尔频率倒谱系数),将提取到的特征输入到预先训练得到的噪声场景分类模型,从而输出噪声场景的类型,例如,在提取到待降噪音频信号的梅尔频谱倒谱系数后,将该梅尔频谱倒谱系数输入到噪声场景分类模型,该模型即输出待降噪音频信号对应的场景的类型。

在上述步骤101之前,可预先根据场景的噪声强度以及噪声类型将噪声场景划分为不同类型,例如,在将本发明的音频降噪方法应用于对车辆内获取的音频进行降噪处理的情况下,可将噪声场景划分为如下几种类型:

噪声场景一:车辆处于停车场环境,怠速,车辆的车窗开启,车辆的空调关闭,环境噪音分贝值在50~55db之间;

噪声场景二:车辆处于城市道路环境,低速行驶状态,行驶速度在40-60km/h之间,车辆的车窗关闭,车辆的空调开启,环境噪音分贝值55~60db之间;

噪声场景三:车辆处于城市道路环境,低速行驶状态,行驶速度在40-60km/h之间,车辆的车窗开启,车辆的空调关闭,环境噪音分贝值60~70db之间;

噪声场景四:车辆处于快速道路环境,高速行驶状态,行驶速度在80-120km/h之间,车辆的车窗关闭,车辆的空调开启,环境噪音分贝值55~65db之间。

步骤102:获取与所述噪声场景的类型对应的降噪参数组,所述降噪参数组中至少包括一种降噪参数;

例如,可预先设置各类型的噪声场景对应不同的降噪参数组,建立各类型的噪声场景与各降噪参数组之间的对应关系。其中,不同的降噪参数组中至少包括一项不同的降噪参数。可预先建立噪声场景的类型与降噪参数组之间的对应关系,例如,对于某一噪声场景,根据该噪声场景的特性,可选择使用多组不同的降噪参数组分别对该噪声场景下获得的音频信号进行降噪,通过多次实验,选取降噪结果最佳的一组降噪参数组,将该降噪参数组确定为与该噪声场景对应的降噪参数组。在步骤102中确定了噪声场景的类型之后,可根据预设的噪声场景的类型与降噪参数组之间的对应关系生成一组降噪参数。

在一种可实现方式中,降噪参数可包括过减因子和谱下限参数中的至少一种参数。

步骤103:通过所述降噪参数组中的降噪参数对所述音频信号进行降噪。

例如,可将降噪参数组以及待降噪的音频信号发送给dsp(digitalsignalprocessing,数字信号处理)模块,通过dsp对待降噪的音频信号进行降噪处理以及输出降噪后的音频信号。

在一种可实现方式中,可将本发明的降噪方法应用于语音识别过程中,对待识别音频信号进行降噪处理,以去除待识别音频信号中的噪声,从而提高语音识别的精度。

本发明的音频降噪方法,可根据获取的音频信号的特征确定当前所处的噪声场景,根据噪声场景确定用于对音频信号进行降噪处理的降噪参数组,从而基于该降噪参数组中的降噪参数对音频信号进行降噪处理,可以在周围环境噪声不断变化的情况下,自适应调整降噪参数,以获得与当前噪声场景最匹配的降噪参数组,可针对当前所处的噪声场景的特性对音频信号进行有针对性的处理,从而可提高处理后的音频信号的信噪比。

在一种可实现方式中,所述音频降噪方法还可包括:在根据采集到的音频信号的特征确定噪声场景的类型之前,根据在不同场景下采集的音频信号的噪声强度以及噪声类型将所述场景划分为不同类型的噪声场景;例如,可首先将噪声强度划分为n档,需参考的噪声类型包括m种,可预先设定当场景中噪声强度满足n档中的某一档,以及同时在该场景下采集到的音频信号中同时包含m种噪声类型中的至少i(0<i<m)种,则确定该场景为一指定的噪声场景。其中,在将本发明的音频降噪方法应用于对车辆内获取的音频进行降噪处理的情况下,噪声类型可包括:胎噪、风噪、发动机噪声、嘈杂人声以及其他机动车噪声等,噪声的强度即噪声的大小,例如,噪声的分贝值。

在一种可实现方式中,所述获取与所述噪声场景的类型对应的降噪参数组可包括:提取所述音频信号的特征;根据所述特征确定与所述音频信号中的各帧对应的噪声场景的类型;如果连续预设个数的帧对应的噪声场景的类型相同,则生成与所述噪声场景的类型对应的降噪参数组。例如,对音频信号进行特征提取,送入解码器(该解码器通过预先训练得到的噪声场景分类模型根据音频特征确定当前所处的噪声场景),通过解码器对音频信号逐帧进行解码,当连续3-10(为上述预设个数的一个示例)帧对应的解码结果(解码结果为当前帧对应的噪声场景)相同,即取解码结果为目标噪声场景,根据该目标噪声场景生成与该场景对应降噪参数(例如,过减因子α和谱下限参数β),输出生成的降噪参数。基于此,对于待降噪的音频信号,可实现逐帧加载与噪声场景对应的降噪参数,从而可根据噪声场景的特性,对待降噪音频信号进行降噪,提高了音频信号的信噪比。

在一种可实现方式中,所述音频降噪方法还可包括:采集不同类型的噪声场景下的音频数据,所述音频数据中包括音频信号;例如,可在划分好的多个噪声场景下,分别采集音频数据,采集到的噪声可包括胎噪、风噪、发动机噪声、嘈杂人声、其它机动车噪声等多种不同类型环境噪声。根据所述噪声场景的类型对所述音频数据进行标记;例如,将在第一噪声场景下采集的音频数据标记为第一噪声场景,将在第二噪声场景下采集的音频数据标记为第二噪声场景,依次类推,将在第三噪声场景下采集的音频数据标记为第三噪声场景,将在第四噪声场景下采集的音频数据标记为第四噪声场景。使用标记后的音频数据训练噪声场景分类模型,所述噪声场景分类模型的输入为音频信号的特征,所述噪声场景分类模型的输出为所述音频信号对应的噪声场景。在训练噪声场景分类模型时,可利用dnn(深度神经网络)或hmm(隐马尔可夫模型)等模型训练方式来实现。

在一种可实现方式中,可根据以下至少两种信息划分所述噪声场景的类型:车辆所处的环境、车辆的行驶状态、车窗是否开启、车内空调是否开启以及环境噪声的大小。例如,可根据这些信息中的至少两种定义一个噪声场景。举一个例子,以以上两种信息划分噪声场景的类型,在该例子中,假设车辆处于行驶状态以及车辆的车窗开启,则定义该噪声场景为第一噪声场景;假设车辆处于行驶状态以及车辆的车窗关闭,则定义该噪声场景为第二噪声场景;假设车辆处于静止状态以及车辆的车窗开启,则定义噪声场景为第三噪声场景;假设车辆处于静止状态以及车辆的车窗关闭,则定义噪声场景为第四噪声场景。再举一个例子,以以上信息中的四种信息划分噪声场景的类型,在该例子中,假设当前车辆处于停车场环境,怠速,车辆的车窗开启,车辆的空调关闭,环境噪音分贝值在50~55db之间,该噪声场景被定义为第一噪声场景。假设当前车辆处于城市道路环境,低速行驶状态,行驶速度在40-60km/h之间,车辆的车窗关闭,车辆的空调开启,环境噪音分贝值55~60db之间,该噪声场景被定义为第二噪声场景。假设当前车辆相处于城市道路环境,低速行驶状态,行驶速度在40-60km/h之间,车辆的车窗开启,车辆的空调关闭,环境噪音分贝值60~70db之间,该噪声场景被定义为第三噪声场景;假设当前车辆处于快速道路环境,高速行驶状态,行驶速度在80-120km/h之间,车辆的车窗关闭,车辆的空调开启,环境噪音分贝值55~65db之间,该噪声场景被定义为第四噪声场景。其中,第一噪声场景、第二噪声场景、第三噪声场景以及第四噪声场景为噪声场景的一个标识,用以区分不同的噪声场景,除此之外,第一噪声场景以及第二噪声场景还可以用于表示噪声场景中的噪声的强度,例如第一噪声场景中的噪声的强度大于第二噪声场景中的噪声的强度。

在一种可实现方式中,本发明的音频降噪方法可应用于对车辆中采集到的音频信号进行降噪处理,例如,可应用于车辆中的语音交互系统中,用于对语音交互系统采集到的音频进行降噪,从而提高语音识别的精度,进而可以提高语音交互系统的响应能力。

图2是根据一示例性实施例示出的一种音频降噪方法的示意图,如图2所示,该方法可包括如下处理:

通过声音信号采集装置,例如麦克风将采集到的音频信号发送给adc(analog-to-digitalconverter,模拟/数字转换器),从而将模拟信号(即采集到的音频信号)转换为数字信号;

将数字信号送入智能噪声场景检测算法模块(该智能场景检测算法模块可根据上文中所述的噪声场景分类模型对输入的音频信号的特征输出噪声场景的类型)和数字信号处理(dsp)算法模块;

智能噪声场景检测算法模块对接收到的数字信号进行噪声场景的识别,判断当前所处的噪声场景,根据判断出的噪声场景,产生与当前噪声场景适配的降噪参数组,将降噪参数组送入数字信号处理算法模块;

数字信号处理算法模块将降噪参数更新为接收到的来自智能噪声场景检测算法模块的降噪参数组中的降噪参数,使用更新后的降噪参数对音频信号进行降噪处理,数字信号处理算法模块将处理后的音频信号送入后端语音唤醒/识别处理模块,以对处理后的音频信号进行语音识别或语音唤醒等操作。

上述智能噪声场景检测算法模块能够更精准的识别当前环境噪声的特点,为数字信号处理算法模块提供更适合的降噪参数组。

上述数字信号处理模块可根据当前所处的噪声场景动态加载降噪参数,可获得最佳降噪效果,以及最佳语音信噪比,在语音交互系统中,可为后端语音识别、语音唤醒等后处理模块提供最佳语音信号,进而可提高整体语音交互系统的抗噪性。

图3是根据一示例性实施例示出的训练噪声场景分类模型的过程以及使用噪声场景分类模型的过程示意图,以下结合图3对这两个过程进行说明(其中,图3上部分所示的流程为训练噪声场景分类模型的过程,图3中下部分所示的流程为使用噪声场景分类模型的过程)。

训练噪声场景分类模型的过程包括如下处理:

在行车应用场景下,可分别在上述噪声场景一、噪声场景二、噪声场景三以及噪声场景四这四个噪声场景下采集噪声数据,得到各行车场景噪声数据库。例如,在每个噪声场景下分别采集50小时的环境噪声数据,采集到的噪声数据例如可包括胎噪、风噪、发动机噪声、嘈杂人声、其它机动车噪声等多种不同类型的噪声数据。

根据噪声数据库中各噪声数据所属的噪声场景对各音频进行标记,提取数据库中音频的特征,其中,假设在噪声场景一采集到噪声数据a,则噪声场景一位噪声数据所述的噪声场景;

提取噪声数据库中各噪声场景下采集到的音频信号的特征,根据噪声数据库中的各噪声场景下采集到的音频信号的特征训练噪声场景分类模型,得到噪声场景分类模型。其中,可利用dnn或hmm等模型训练方法来实现噪声场景分类模型的训练。

使用噪声场景分类模型的过程可包括如下处理:

对原始带噪音频信号(待降噪的音频信号)进行特征提取,送入解码器(该解码器利用噪声场景分类模型确定音频信号对应的噪声场景),对原始带噪音频信号进行逐帧解码,得到解码结果,该解码结果包括原始带噪音频信号对应的噪声场景的类型。当连续3-10帧的解码结果相同,即确定解码结果为当前噪声场景的类型,生成与该噪声场景的类型对应降噪参数组,将该降噪参数组输出至数字信号处理模块,以使数字信号处理模块根据该降噪参数组队原始带噪音频信号进行降噪处理。

图4是根据一示例性实施例示出的根据降噪参数组中的降噪参数对原始带噪信号进行降噪的处理流程图,如图4所示,根据降噪参数组对原始带噪音频信号进行降噪处理的过程包括如下操作:

在数字信号处理模块中,对原始带噪音频信号进行分帧处理,加20ms汉明窗,取10秒帧移,并逐帧进行fft(fastfouriertransformation,快速傅氏变换)变化,获取频谱和相位信息。

利用智能噪声场景检测模块传输进来的降噪参数组中的降噪参数,如过减因子α和谱下限参数β按照下式计算谱减:

如果

其中,α(大于等于1)为过减因子,它主要影响语音谱的失真程度。β(大于0小于1)是谱下限参数,可以控制残留噪声的多少以及音乐噪声的大小,y(ω)表示原始带噪信号,x(ω)表示表示纯净语音信号,d(ω)表示加性噪声。

进行ifft(fft逆变换)变换,由频域信号和相位信号转换为时域信号,获得降噪后的音频信号。

图5是根据一示例性实施例示出的一种音频降噪装置的框图,如图5所示,该装置50包括如下组成部分:

确定模块51(该模块可包括上述智能噪声场景检测算法模块),用于根据采集到的音频信号的特征确定噪声场景的类型;

获取模块52,用于获取与所述噪声场景的类型对应的降噪参数组,所述降噪参数组中至少包括一种降噪参数;

降噪模块53,用于通过所述降噪参数组中的降噪参数对所述音频信号进行降噪。

其中,获取模块52以及降噪模块53可由上述数字信号处理模块实现。

在一种可实现方式中,所述装置还可包括:划分模块,用于在根据采集到的音频信号的特征确定噪声场景的类型之前,根据在不同场景下采集的音频信号的噪声强度以及噪声类型将所述场景划分为不同类型的噪声场景;建立模块,用于将各噪声场景的类型与预设的噪声参数组建立对应关系。

在一种可实现方式中,所述获取模块可包括:提取单元,用于提取所述音频信号的特征;确定单元,用于根据所述特征确定与所述音频信号中的各帧对应的噪声场景的类型;生成单元,用于如果连续预设个数的帧对应的噪声场景的类型相同,则生成与所述噪声场景的类型对应的降噪参数组。

在一种可实现方式中,所述装置还可包括:采集模块,用于采集不同噪声场景下的音频数据,所述音频数据中包括音频信号;标记模块,用于根据所述噪声场景对所述音频数据进行标记;训练模块,用于使用标记后的音频数据训练噪声场景分类模型,所述噪声场景分类模型的输入为音频信号的特征,所述噪声场景分类模型的输出为所述音频信号对应的噪声场景。

在一种可实现方式中,可根据以下至少两种信息划分所述噪声场景的类型:车辆所处的环境、车辆的行驶状态、车窗是否开启、车内空调是否开启以及环境噪声的大小。

上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。

基于同一发明构思,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任一实施例所述的音频降噪方法。

基于同一发明构思,本发明实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的音频降噪方法。

所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。

另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态ram(dram))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1