音频处理方法、装置及存储介质与流程

文档序号:16906558发布日期:2019-02-19 18:23阅读:236来源:国知局
音频处理方法、装置及存储介质与流程

本发明实施例涉及音频处理技术领域,特别涉及一种音频处理方法、装置及存储介质。



背景技术:

在使用耳机听音时,由于声波会由左右耳机分别到达左右耳,即左声道音频和右声道音频之间不存在交互现象,因此,使得耳机听音时难以达到如音箱般的音频环绕效果,声像上存在一定的缺陷。

目前,可以基于哈斯效应原理对音频进行处理,以改善使用耳机听音时声像上存在的缺陷。在实现过程中,一般可以将左声道音频和右声道音频中的任一个声道音频延迟一段时间,譬如,将左声道音频延迟26毫秒。当两个声道音频不同时到达左右耳时,即会达到音频环绕效果,从而可以克服耳机听音时声像上存在的缺陷。

然而,立体音频一般包括低音、清唱音和伴奏,如果左声道中的低音和清唱音与右声道中的低音和清唱音未同时达到左右耳,容易导致无法分辨音频的词意。



技术实现要素:

本发明实施例提供了一种音频处理方法,可以解决基于哈斯效应原理进行音频处理时导致无法分辨音频的词意的问题。所述技术方案如下:

第一方面,提供了一种音频处理方法,所述方法包括:

通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,所述目标滤波器包括第一低通滤波器和高通滤波器,所述第一低通滤波器用于对所述左声道音频和所述右声道音频分别进行滤波处理得到所述左声道低音频和所述右声道低音频,所述左声道低音频和所述右声道低音频均包括低音和清唱音,所述高通滤波器用于对所述左声道音频和所述右声道音频分别进行滤波处理得到所述左声道高音频和所述右声道高音频;

获取目标高音频,将所述目标高音频延迟预设时长,所述目标高音频为滤波处理后的左声道高音频或者右声道高音频;

基于所述左声道低音频、所述右声道低音频和延迟处理后的目标高音频,生成目标音频。

可选地,所述通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理之前,还包括:

获取所述音频的音频时长和音频采样率;

将所述音频采样率与所述音频时长相乘,得到目标数值,将所述目标数值作为所述目标滤波器的长度;

将第一预设阈值作为所述目标滤波器中所述第一低通滤波器的截止频率,以及将所述第一预设阈值作为所述目标滤波器中所述高通滤波器的起始频率,所述第一预设阈值大于或等于所述清唱音的频率。

可选地,所述将所述目标高音频延迟预设时长,包括:

构建延迟器;

向所述延迟器中输入目标数量个预设数值,所述目标数量与所述音频采样率之间的比值为所述预设时长;

将所述目标高音频输入至所述延迟器中,输出与所述目标高音频的音频长度相同的音频,得到延迟后的目标高音频。

可选地,所述获取目标高音频之前,还包括:

通过第二低通滤波器对所述左声道高音频和所述右声道高音频进行低通滤波处理,所述第二低通滤波器的截止频率为第二预设阈值,所述第二预设阈值大于所述第一预设阈值;

相应地,所述获取目标高音频,包括:

将通过所述第二低通滤波器进行低通滤波处理后的左声道高音频或右声道高音频获取为所述目标高音频。

可选地,所述基于所述左声道低音频、所述右声道低音频和延迟处理后的目标高音频,确定目标音频,包括:

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的左声道高音频时,将所述左声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与通过所述第二低通滤波器进行低通滤波处理后的右声道高音频进行音频合成处理,得到所述目标音频的右声道音频;

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的右声道高音频时,将所述左声道低音频与通过所述第二低通滤波器进行低通滤波处理后的左声道高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的右声道音频。

第二方面,提供了一种音频处理装置,所述装置包括:

滤波模块,用于通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,所述目标滤波器包括第一低通滤波器和高通滤波器,所述第一低通滤波器用于对所述左声道音频和所述右声道音频分别进行滤波处理得到所述左声道低音频和所述右声道低音频,所述左声道低音频和所述右声道低音频均包括低音和清唱音,所述高通滤波器用于对所述左声道音频和所述右声道音频分别进行滤波处理得到所述左声道高音频和所述右声道高音频;

延迟模块,用于获取目标高音频,将所述目标高音频延迟预设时长,所述目标高音频为滤波处理后的左声道高音频或者右声道高音频;

生成模块,用于基于所述左声道低音频、所述右声道低音频和延迟处理后的目标高音频,生成目标音频。

可选地,所述装置还包括:

获取模块,用于获取所述音频的音频时长和音频采样率;

确定模块,用于将所述音频采样率与所述音频时长相乘,得到目标数值,将所述目标数值作为所述目标滤波器的长度;

所述确定模块,还用于将第一预设阈值作为所述目标滤波器中所述第一低通滤波器的截止频率,以及将所述第一预设阈值作为所述目标滤波器中所述高通滤波器的起始频率,所述第一预设阈值大于或等于所述清唱音的频率。

可选地,所述延迟模块用于:

构建延迟器;

向所述延迟器中输入目标数量个预设数值,所述目标数量与所述音频采样率之间的比值为所述预设时长;

将所述目标高音频输入至所述延迟器中,输出与所述目标高音频的音频长度相同的音频,得到延迟后的目标高音频。

可选地,所述滤波模块,还用于通过第二低通滤波器对所述左声道高音频和所述右声道高音频进行低通滤波处理,所述第二低通滤波器的截止频率为第二预设阈值,所述第二预设阈值大于所述第一预设阈值;

所述延迟模块,还用于将通过所述第二低通滤波器进行低通滤波处理后的左声道高音频或右声道高音频获取为所述目标高音频。

可选地,所述生成模块用于:

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的左声道高音频时,将所述左声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与通过所述第二低通滤波器进行低通滤波处理后的右声道高音频进行音频合成处理,得到所述目标音频的右声道音频;

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的右声道高音频时,将所述左声道低音频与通过所述第二低通滤波器进行低通滤波处理后的左声道高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的右声道音频。

第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的音频处理方法。

第四方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的音频处理方法。

本发明实施例提供的技术方案带来的有益效果是:

通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,该目标滤波器包括第一低通滤波器和高通滤波器,该第一低通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道低音频和右声道低音频,左声道低音频和右声道低音频均包括低音和清唱音,高通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道高音频和右声道高音频。获取目标高音频,该目标高音频为滤波处理后的左声道高音频或者右声道高音频,将该目标高音频延迟预设时长,以使得使用耳机听音时达到环绕效果。之后,基于该左声道低音频、该右声道低音频和延迟处理后的目标高音频,生成目标音频,由于将左声道低音频和右声道低音频分离出后对音频剩余部分进行延迟,因此,在最终确定的目标音频中,包括低音和清唱音的左声道低音频和右声道低音频可以同时达到左右耳,从而保证可以分辨音频的词意。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种音频处理方法的流程图;

图2是根据另一示例性实施例示出的一种音频处理方法的流程图;

图3是根据一示例性实施例示出的一种音频处理装置的结构示意图;

图4是根据另一示例性实施例示出的一种音频处理装置的结构示意图;

图5是根据另一示例性实施例示出的一种计算机设备500的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

在对本发明实施例提供的音频处理方法进行详细介绍之前,先对本发明实施例涉及的应用场景和实施环境进行简单介绍。

首先,对本发明实施例涉及的应用场景进行简单介绍。

通常情况下,立体音频中包括低音、清唱音和伴奏,左声道中的低音、清唱音与右声道中的低音、清唱音一般是相同的,左声道中的伴奏与右声道中的伴奏是不相同的,但左声道音频与右声道音频一般会有超过50%的音频在同一时刻下是完全相同的。如果将左声道音频或右声道音频延迟一段时间后,使得左声道与右声道的音频几乎完全不同,即两个声道的音频差异较大。如此,将导致无法分辨音频的词意,即用户无法听清歌词。为此,本发明实施例提供了一种音频处理方法,可以解决基于哈斯效应原理进行音频处理时导致无法分辨音频的词意的问题。

其次,对本发明实施例涉及的实施环境进行简单介绍。

本发明实施例提供的音频处理方法可以由计算机设备来执行,在一些实施例中,该计算机设备可以为平板电脑、台式计算机、便携式计算机、笔记本电脑等等,本发明实施例对此不做限定。

图1是根据一示例性实施例示出的一种音频处理方法的流程图,该音频处理方法可以包括如下几个步骤:

步骤101:通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,所述目标滤波器包括第一低通滤波器和高通滤波器,所述第一低通滤波器用于对所述左声道音频和所述右声道音频分别进行滤波处理得到所述左声道低音频和所述右声道低音频,所述左声道低音频和所述右声道低音频均包括低音和清唱音,所述高通滤波器用于对所述左声道音频和所述右声道音频分别进行滤波处理得到所述左声道高音频和所述右声道高音频。

步骤102:获取目标高音频,将所述目标高音频延迟预设时长,所述目标高音频为滤波处理后的左声道高音频或者右声道高音频。

步骤103:基于所述左声道低音频、所述右声道低音频和延迟处理后的目标高音频,生成目标音频。

在本发明实施例中,通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,该目标滤波器包括第一低通滤波器和高通滤波器,该第一低通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道低音频和右声道低音频,左声道低音频和右声道低音频均包括低音和清唱音,高通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道高音频和右声道高音频。获取目标高音频,该目标高音频为滤波处理后的左声道高音频或者右声道高音频,将该目标高音频延迟预设时长,以使得使用耳机听音时达到环绕效果。之后,基于该左声道低音频、该右声道低音频和延迟处理后的目标高音频,生成目标音频,由于将左声道低音频和右声道低音频分离出后对音频剩余部分进行延迟,因此,在最终确定的目标音频中,包括低音和清唱音的左声道低音频和右声道低音频可以同时达到左右耳,从而保证可以分辨音频的词意。

可选地,所述通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理之前,还包括:

获取所述音频的音频时长和音频采样率;

将所述音频采样率与所述音频时长相乘,得到目标数值,将所述目标数值作为所述目标滤波器的长度;

将第一预设阈值作为所述目标滤波器中所述第一低通滤波器的截止频率,以及将所述第一预设阈值作为所述目标滤波器中所述高通滤波器的起始频率,所述第一预设阈值大于或等于所述清唱音的频率。

可选地,所述将所述目标高音频延迟预设时长,包括:

构建延迟器;

向所述延迟器中输入目标数量个预设数值,所述目标数量与所述音频采样率之间的比值为所述预设时长;

将所述目标高音频输入至所述延迟器中,输出与所述目标高音频的音频长度相同的音频,得到延迟后的目标高音频。

可选地,所述获取目标高音频之前,还包括:

通过第二低通滤波器对所述左声道高音频和所述右声道高音频进行低通滤波处理,所述第二低通滤波器的截止频率为第二预设阈值,所述第二预设阈值大于所述第一预设阈值;

相应地,所述获取目标高音频,包括:

将通过所述第二低通滤波器进行低通滤波处理后的左声道高音频或右声道高音频获取为所述目标高音频。

可选地,所述基于所述左声道低音频、所述右声道低音频和延迟处理后的目标高音频,确定目标音频,包括:

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的左声道高音频时,将所述左声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与通过所述第二低通滤波器进行低通滤波处理后的右声道高音频进行音频合成处理,得到所述目标音频的右声道音频;

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的右声道高音频时,将所述左声道低音频与通过所述第二低通滤波器进行低通滤波处理后的左声道高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的右声道音频。

上述所有可选技术方案,均可按照任意结合形成本发明的可选实施例,本发明实施例对此不再一一赘述。

图2是根据另一示例性实施例示出的一种音频处理方法的流程图,本实施例以该音频处理方法应用于计算机设备中为例进行说明,该音频处理方法可以包括如下几个实现步骤:

步骤201:通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,该目标滤波器包括第一低通滤波器和高通滤波器,该第一低通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道低音频和右声道低音频,左声道低音频和右声道低音频均包括低音和清唱音,高通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道高音频和右声道高音频。

人类的声音的频率一般处于150hz至3600hz之间,可以理解为清唱音,另外,150hz以下属于低音。为了便于描述和理解,这里将3600hz以下的音频称为低音频,也即是,该低音频包括低音和清唱音,进一步地,该低音频包括左声道低音频和右声道低音频。为了避免当左声道中的低音和清唱音与右声道中的低音和清唱音未同时达到左右耳时容易导致无法分辨音频的词意,可以使用目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,以将音频中的低音频与高音频分离开来。其中,该高音频是指频率大于3600hz的音频,包括左声道高音频和右声道高音频。

譬如,左声道音频为in_l,右声道音频为in_r,则通过目标滤波器进行滤波后,得到左声道低音频lp_l、左声道高音频hp_l、右声道低音频lp_r和右声道高音频hp_r。

进一步地,通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理之前,可以构建目标滤波器,即构建一个低通滤波器和高通滤波器。需要说明的是,该目标滤波器可以采用iir(infinitiimpulseresponse,无限脉冲响应)滤波器,也可以采用非iir滤波器,譬如,可以采用fir(finiteimpulseresponse,有限长单位冲激响应)滤波器、fft(fastfouriertransformation,离散傅氏变换)组合多项滤波器、或者,mdct(modifieddiscretecosinetransform,改进离散余弦变换)滤波器等,本发明实施例对此不做限定。

在一种可能的实现方式中,当目标滤波器采用非iir类的滤波器时,可以通过设置滤波器的长度、起始频率和截止频率,来得到目标滤波器。譬如,其实现过程可以包括:获取该音频的音频时长和音频采样率,将该音频采样率与该音频时长相乘,得到目标数值,将该目标数值作为该目标滤波器的长度,将第一预设阈值作为该目标滤波器中该第一低通滤波器的截止频率,以及将该第一预设阈值作为该目标滤波器中该高通滤波器的起始频率,该第一预设阈值大于或等于清唱音的频率。

其中,该第一预设阈值可以由用户根据实际需求自定义设置,也可以由该计算机设备默认设置,本发明实施例对此不做限定。

假设音频的音频采样率为44100hz,音频时长为1秒,则可以确定目标数值为44100,即将该目标滤波器的长度设置为44100。其中,目标滤波器的长度又可以被称为目标滤波器的阶数。长度越长,则目标滤波器的性能越好。

此外,还需要设置第一低通滤波器的截止频率,以及高通滤波器的起始频率,譬如,该第一预设阈值可以设置为3600hz,如此,使用包括该第一低通滤波器和高通滤波器的目标滤波器对音频进行滤波处理时,即可将该音频中低音频和高音频分离开来。

需要说明的是,上述构建目标滤波器的实现过程仅是示例性的,在另一实施例中,该目标滤波器的长度还可以由用户根据实现需求自定义设置,或者由计算机设备默认设置,本发明实施例对此不做限定。

另外,当目标滤波器选用iir类的滤波器,如biquad滤波器、巴特沃斯滤波器、椭圆滤波器等时,则没有滤波器的长度概念,iir滤波器只有阶数的概念,一般为1阶、biquad滤波器为2阶。一般通过多个iir滤波器级联组合为3阶、4阶、5阶这种多阶滤波器。阶数越低则滤波器性能越差,阶数越高则性能越好。一般常用的iir滤波器/级联组的阶数在1阶、2阶、4阶和6阶。

本发明虽然对滤波器的选择无限制,但一般情况下,若对音频进行分块处理(即先把音频分成一个一个的小块,比如分成100毫秒一个音频块,然后对每个音频块依次按照上述过程进行处理),则可以考虑选用fir滤波器作为目标滤波器。反之,若不对音频进行分块处理,或分块处理后每个音频块的长度太长(比如超过0.5秒),则可以选用iir滤波器作为目标滤波器,进一步地,可以使用4阶的iir(如4个1阶iir级联或2个biquad级联)滤波器。

步骤202:通过第二低通滤波器对该左声道高音频和该右声道高音频进行低通滤波处理,该第二低通滤波器的截止频率为第二预设阈值,该第二预设阈值大于该第一预设阈值。

当用户两耳收听的音频存在差异时,音频的频率越高,用户就会越敏感,同时也会越快产生听觉疲劳,因此,这里可以滤除会引起听觉疲劳的高频信号,即使用第二低通滤波器对该左声道高音频和该右声道高音频再次进行低通滤波处理,该第二低通滤波器的截止频率为第二预设阈值。也即是,使用第二低通滤波器滤除第二预设阈值以上的高音频。

其中,该第二预设阈值可以由用户根据实际需求自定义设置,也可以由该计算机设备默认设置,本发明实施例对此不做限定。

譬如,该第二预设阈值可以选为18khz,或者,也可以选为16khz,再或者,还可以选为20khz等等。下文以该第二预设阈值选为18khz为例进行说明。

进一步地,在通过第二低通滤波器对该左声道高音频和该右声道高音频进行低通滤波处理之前可以构建该第二低通滤波器。譬如,该第二低通滤波器可以选择biquad滤波器(双二阶iir滤波器),该第二低通滤波器的截止频率可以为18khz,该biquad滤波器的类型为q值类型,q值可以选择sqrt(2)/2,增益值选择0db。其中,sqrt表示开平方。此时,将hp_l和hp_r分别输入至第二低通滤波器,以滤除18khz以上的频率,得到低通滤波后的左声道高音频hp2_l和右声道高音频hp2_r。

当然,上述biquad滤波器的类型还可以选择为带宽等类型,本发明实施例对此不做限定。

需要说明的是,在一些实施例中,该步骤202为可选步骤,即在另一实施例中,也可以不对高音频再次进行滤波处理,本发明实施例对此不做限定。

步骤203:获取目标高音频。

在一种可能的实现方式中,当按照上述步骤202对高音频再次进行滤波处理时,获取目标高音频的具体实现可以包括:将通过该第二低通滤波器进行低通滤波处理后的左声道高音频或右声道高音频获取为该目标高音频。

在实现过程中,具体选择通过该第二低通滤波器进行低通滤波处理后的左声道高音频为目标高音频,还是选择通过该第二低通滤波器进行低通滤波处理后的右声道高音频为目标高音频,可以由用户根据实际需求来进行设置。

在另一种可能的实现方式中,当未按照上述步骤202对高音频再次进行滤波处理时,获取目标高音频的具体实现可以包括:将通过目标滤波器进行滤波处理后的左声道高音频或右声道高音频获取为该目标高音频。

步骤204:将该目标高音频延迟预设时长,该目标高音频为滤波处理后的左声道高音频或者右声道高音频。

其中,该预设时长可以由用户根据实际需求自定义设置,也可以由该计算机设备默认设置,本发明实施例对此不作限定。譬如,该预设时长可以设置为25毫秒。

在一种可能的实现方式中,将该目标高音频延迟预设时长的具体实现可以包括:构建延迟器,向该延迟器中输入目标数量个预设数值,该目标数量与该音频采样率之间的比值为该预设时长,将该目标高音频输入至延迟器中,输出与该目标高音频的音频长度相同的音频,得到延迟后的目标高音频。

其中,该预设数值可以由用户根据实际需求自定义设置,也可以由该计算机设备默认设置,本发明实施例对此不做限定。譬如,该预设数值可以设为“0”,或者,还可以设为“1”等。

上述目标数量一般由音频采样率和预设时长确定,进一步来说,该目标数量为该音频采样率与预设时长之间的乘积,譬如,当该音频采样率为44100hz,该预设时长为25毫秒时,可以确定该目标数量为1103。

在一些实施例中,该延迟器可以选择fifo(firstinputfirstoutput,先入先出)缓冲器,假设确定该目标数量为1103,该预设数值为0。此时,先向该fifo缓冲器中输入1103个0,由于1103与44100之间的比值为0.025,即为25毫秒,因此,再向fifo缓冲器中输入目标高音频时,相当于将目标高音频延迟了25毫秒。计算机设备控制该fifo缓冲器输出与该目标高音频的音频长度相同的音频,得到延迟后的目标高音频,假设该目标高音频为右声道高音频,则可以将延迟后的目标高音频记为hp3_r。

步骤205:基于该左声道低音频、该右声道低音频和延迟处理后的目标高音频,生成目标音频。

如前文所述,该目标高音频可以为通过第二低通滤波器进行低通滤波处理后的左声道高音频,或者也可以为通过第二低通滤波器进行低通滤波处理后的右声道高音频,根据该目标高音频不同,基于该左声道低音频、该右声道低音频和延迟处理后的目标高音频,生成目标音频的具体实现可以包括如下两种方式:

第一种实现方式:当该目标高音频为通过第二低通滤波器进行低通滤波处理后的左声道高音频时,将该左声道低音频与该延迟处理后的目标高音频进行音频合成处理,得到该目标音频的左声道音频,以及将该右声道低音频与通过第二低通滤波器进行低通滤波处理后的右声道高音频进行音频合成处理,得到该目标音频的右声道音频。

在音频合成处理过程中,可以采用上述步骤201的逆过程来实现。譬如,当步骤201中采用iir滤波器或fir滤波器作为目标滤波器时,这里的音频合成处理即为将音频线性相加,即将低音频与高音频线性相加,再如,当步骤201中选择mdct作为目标滤波器时,此处的音频合成处理就是逆mdct,即为imdct(inversemodifieddiscretecosinetransform,修正逆离散余弦变换)。

第二种实现方式:当该目标高音频为通过第二低通滤波器进行低通滤波处理后的右声道高音频时,将该左声道低音频与通过第二低通滤波器进行低通滤波处理后的左声道高音频进行音频合成处理,得到该目标音频的左声道音频,以及将该右声道低音频与该延迟处理后的目标高音频进行音频合成处理,得到该目标音频的右声道音频。

与上述第一种实现方式同理,在音频合成处理过程中,可以采用上述步骤201的逆过程来实现。譬如,当步骤201中采用iir滤波器或fir滤波器作为目标滤波器时,这里的音频合成处理即为将音频线性相加,即将低音频与高音频线性相加,再如,当步骤201中选择mdct作为目标滤波器时,此处的音频合成处理就是逆mdct,即为imdct。

举例来说,假设选择右声道进行延迟,即该目标高音频为通过第二低通滤波器进行低通滤波处理后的右声道高音频,此时,将lp_l和hp2_l进行音频合成处理,得到out_l,以及将lp_r和延迟处理后得到的hp3_r进行音频合成处理,得到out_r,如此,得到目标音频,包括out_l和out_r。

需要说明的是,上述是以目标高音频为通过第二低通滤波器进行低通滤波处理后的左声道高音频,或者为通过第二低通滤波器进行低通滤波处理后的右声道高音频为例进行说明,当高音频未通过第二低通滤波器进行低通滤波处理,即该目标高音频为通过目标滤波器进行滤波处理后的左声道高音频或右声道高音频,上述基于该左声道低音频、该右声道低音频和延迟处理后的目标高音频,确定目标音频的具体实现可以包括如下两种实现方式:

第一种方式:当该目标高音频为通过目标滤波器进行滤波处理后的左声道高音频时,将该左声道低音频与该延迟处理后的目标高音频进行音频合成处理,得到该目标音频的左声道音频,以及将该右声道低音频与通过目标滤波器进行滤波处理后的右声道高音频进行音频合成处理,得到该目标音频的右声道音频。

其具体实现可以参见上述第一种实现方式,这里不再重复赘述。

第二种方式:当该目标高音频为通过目标滤波器进行滤波处理后的右声道高音频时,将该左声道低音频与通过目标滤波器进行滤波处理后的左声道高音频进行音频合成处理,得到该目标音频的左声道音频,以及将该右声道低音频与该延迟处理后的目标高音频进行音频合成处理,得到该目标音频的右声道音频。

其具体实现可以参见上述第二种实现方式,这里不再重复赘述。

在本发明实施例中,通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,该目标滤波器包括第一低通滤波器和高通滤波器,该第一低通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道低音频和右声道低音频,左声道低音频和右声道低音频均包括低音和清唱音,高通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道高音频和右声道高音频。获取目标高音频,该目标高音频为滤波处理后的左声道高音频或者右声道高音频,将该目标高音频延迟预设时长,以使得使用耳机听音时达到环绕效果。之后,基于该左声道低音频、该右声道低音频和延迟处理后的目标高音频,生成目标音频,由于将左声道低音频和右声道低音频分离出后对音频剩余部分进行延迟,因此,在最终确定的目标音频中,包括低音和清唱音的左声道低音频和右声道低音频可以同时达到左右耳,从而保证可以分辨音频的词意。

图3是根据一示例性实施例示出的一种音频处理装置的结构示意图,该音频处理装置可以由软件、硬件或者两者的结合实现。该音频处理装置可以包括:

滤波模块310,用于通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,所述目标滤波器包括第一低通滤波器和高通滤波器,所述第一低通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道低音频和右声道低音频,左声道低音频和右声道低音频均包括低音和清唱音,高通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道高音频和右声道高音频;

延迟模块320,用于获取目标高音频,将所述目标高音频延迟预设时长,所述目标高音频为滤波处理后的左声道高音频或者右声道高音频;

生成模块330,用于基于所述左声道低音频、所述右声道低音频和延迟处理后的目标高音频,生成目标音频。

可选地,请参考图4,所述装置还包括:

获取模块340,用于获取所述音频的音频时长和音频采样率;

确定模块350,用于将所述音频采样率与所述音频时长相乘,得到目标数值,将所述目标数值作为所述目标滤波器的长度;

所述确定模块350,还用于将第一预设阈值作为所述目标滤波器中所述第一低通滤波器的截止频率,以及将所述第一预设阈值作为所述目标滤波器中所述高通滤波器的起始频率,所述第一预设阈值大于或等于所述清唱音的频率。

可选地,所述延迟模块320用于:

构建延迟器;

向所述延迟器中输入目标数量个预设数值,所述目标数量与所述音频采样率之间的比值为所述预设时长;

将所述目标高音频输入至所述延迟器中,输出与所述目标高音频的音频长度相同的音频,得到延迟后的目标高音频。

可选地,所述滤波模块310,还用于通过第二低通滤波器对所述左声道高音频和所述右声道高音频进行低通滤波处理,所述第二低通滤波器的截止频率为第二预设阈值,所述第二预设阈值大于所述第一预设阈值;

所述延迟模块320,还用于将通过所述第二低通滤波器进行低通滤波处理后的左声道高音频或右声道高音频获取为所述目标高音频。

可选地,所述生成模块330用于:

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的左声道高音频时,将所述左声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与通过所述第二低通滤波器进行低通滤波处理后的右声道高音频进行音频合成处理,得到所述目标音频的右声道音频;

当所述目标高音频为通过所述第二低通滤波器进行低通滤波处理后的右声道高音频时,将所述左声道低音频与通过所述第二低通滤波器进行低通滤波处理后的左声道高音频进行音频合成处理,得到所述目标音频的左声道音频,以及将所述右声道低音频与所述延迟处理后的目标高音频进行音频合成处理,得到所述目标音频的右声道音频。

在本发明实施例中,通过目标滤波器对音频的左声道音频和右声道音频分别进行滤波处理,得到左声道低音频、左声道高音频、右声道低音频和右声道高音频,该目标滤波器包括第一低通滤波器和高通滤波器,该第一低通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道低音频和右声道低音频,左声道低音频和右声道低音频均包括低音和清唱音,高通滤波器用于对左声道音频和右声道音频分别进行滤波处理得到左声道高音频和右声道高音频。获取目标高音频,该目标高音频为滤波处理后的左声道高音频或者右声道高音频,将该目标高音频延迟预设时长,以使得使用耳机听音时达到环绕效果。之后,基于该左声道低音频、该右声道低音频和延迟处理后的目标高音频,生成目标音频,由于将左声道低音频和右声道低音频分离出后对音频剩余部分进行延迟,因此,在最终确定的目标音频中,包括低音和清唱音的左声道低音频和右声道低音频可以同时达到左右耳,从而保证可以分辨音频的词意。

需要说明的是:上述实施例提供的音频处理装置在实现音频处理方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的音频处理装置与音频处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图5示出了本发明一个示例性实施例提供的计算机设备500的结构框图。该计算机设备500可以是:智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备500还可能被称为用户设备、便携式计算机设备、膝上型计算机设备、台式计算机设备等其他名称。

通常,计算机设备500包括有:处理器501和存储器502。

处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的音频处理方法。

在一些实施例中,计算机设备500还可选包括有:外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地,外围设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。

外围设备接口503可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路504用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本申请对此不加以限定。

显示屏505用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置计算机设备500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在计算机设备500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在计算机设备500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用lcd(liquidcrystaldisplay,液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在计算机设备的前面板,后置摄像头设置在计算机设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。

定位组件508用于定位计算机设备500的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件508可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源509用于为计算机设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,计算机设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以计算机设备500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测计算机设备500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对计算机设备500的3d动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在计算机设备500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在计算机设备500的侧边框时,可以检测用户对计算机设备500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置计算机设备500的正面、背面或侧面。当计算机设备500上设置有物理按键或厂商logo时,指纹传感器514可以与物理按键或厂商logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。

接近传感器516,也称距离传感器,通常设置在计算机设备500的前面板。接近传感器516用于采集用户与计算机设备500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图5中示出的结构并不构成对计算机设备500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

本申请实施例还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由计算机设备的处理器执行时,使得计算机设备能够执行上述图1或图2所示实施例提供的音频处理方法。

本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述图1或图2所示实施例提供的音频处理方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1