一种基于扬声器的声像个性化重现方法及装置与流程

文档序号:16384270发布日期:2018-12-22 09:45阅读:136来源:国知局
一种基于扬声器的声像个性化重现方法及装置与流程

本发明涉及多媒体信号处理技术领域,尤其涉及一种基于扬声器的声像个性化重现方法及装置。

背景技术

声源定位是实现虚拟现实(virtualreality,vr)的沉浸式体验的必要技术。基于幅度平移技术(amplitudepanning,ap)由于其实现简单,在扬声器重现3d音频中得到了更普遍的应用。ap的代表性技术主要包括基于矢量的幅度平移技术(vectorbaseamplitudepanning,vbap)和多方位幅度平移技术(multiple-directionamplitudepanning,mdap)。这类技术的基本思想是扬声器与听音点构成简单的几何模型,根据矢量分解原理得到各个扬声器对应的增益值。具有不同增益的扬声器信号使得听音者感知到一个虚拟方位(非扬声器方位)的声像。3d音频系统如aurora-3d、nhk22.2、dolbyatmos、中国多维声均是基于幅度平移技术得以实现,增强了三维空间感知体验。

尽管幅度平移技术实现简单,但在求解扬声器的增益时将听音者视为一个听音点,忽略了听音者头部、耳廓和躯干等对重建声场中声音传播至双耳的扰动特性,使得重现的虚拟声像的双耳线索失真,偏离目标方位。

基于头相关传输函数(headrelatedtransferfunction,hrtf)的平移技术考虑到听音者对于重建声场的扰动特性。如个性化的串声消除技术(crosstalkcancellation,ctc)通过hrtf计算串声消除模块,对声源信号进行过滤,通过两个扬声器重现原始声源的双耳信号,提供了个性化的空间感知体验。然而个性化的ctc技术首先需要获知听音者的hrtf,目前采用的hrtf个性化技术预测的值与真实的hrtf之间仍存在误差,这种误差在计算串声消除模块的过程中被放大,使得双扬声器重现的虚拟声像偏离了目标声像,带来了空间感知失真。



技术实现要素:

本发明实施例提供了一种基于扬声器的声像个性化重现方法及装置,用以解决现有的扬声器音频重建技术中由于hrtf个性化技术的误差在串声消除模块中被放大,而导致听音者的空间感知效果差的技术问题。

第一方面,本发明提供了一种基于扬声器的声像个性化重现方法,该方法包括:

步骤s1:确定扬声器的方位和目标方位,其中,所述扬声器的数量至少为两个,所述目标方位为理想的重建声像的方位;

步骤s2:根据每个扬声器的方位和所述目标方位,确定对应的hrtf,其中,所述hrtf存储于hrtf数据库中,所述数据库中记录有hrtf以及相应的完整人体参数,并基于所述hrtf数据库,建立虚拟声像的双耳信号与目标声像的双耳信号的等式,计算每个扬声器对应的第一权值向量;

步骤s3:根据所述第一权值向量与所述完整人体参数之间的相关性,从所述完整人体参数中筛选出相关性符合预设条件的关键人体参数;

步骤s4:采用预设神经网络模型构建所述关键人体参数与所述第一权值向量之间的映射关系,并将所述关键人体参数与所述第一权值向量构成一组样本,其中所述关键人体参数作为输入,所述第一权值向量作为输出,训练所述预设神经网络模型,形成训练后的神经网络模型;

步骤s5:测量听音者的关键人体参数,基于所述训练后的神经网络模型预测与所述听音者的关键人体参数对应的第二权值向量,并根据所述第二权值向量计算每个扬声器的前置频域滤波器;

步骤s6:通过所述前置频域滤波器对声源信号进行滤波,获得每个扬声器的输出信号。

进一步地,所述扬声器包括第一扬声器和第二扬声器,步骤s2中,基于所述hrtf数据库,建立虚拟声像的双耳信号与目标声像的双耳信号之间的等式,计算每个扬声器对应的第一权值向量,具体包括:

步骤s2.1:根据单声源信号和所述目标方位对应的左右耳hrtf,计算所述目标方位处的单声源信号在人耳处形成的双耳信号;

步骤s2.2:根据双扬声器信号和双扬声器方位对应的左右耳的hrtf,获得双扬声器信号在人耳处合成的双耳信号;

步骤s2.3:通过权值滤波器建立所述单声源信号与双扬声器信号之间的关系;

步骤s2.4:建立虚拟声像的双耳信号与目标声像的双耳信号的等式,并基于所述单声源信号与所述双扬声器信号间的关系,得到权值滤波器的表达式,从而计算每个扬声器对应的第一权值向量,其中,所述目标声像的双耳信号为目标方位处的单声源信号在人耳处产生的双耳信号,所述虚拟声像的双耳信号为双扬声器信号在人耳处合成的双耳信号。

进一步地,步骤s3具体包括:

s3.1:采用预设相关性分析方法分析所述第一权值向量与完整人体参数之间的相关性,获得相关系数;

s3.2:从所述完整人体参数中,筛选出相关系数大于预设值对应的人体参数项,作为所述关键人体参数。

进一步地,步骤s5中,根据第二权值向量计算每个扬声器的前置频域滤波器,具体包括:

根据步骤s2.4中的权值滤波器的表达式计算出每个扬声器对应的权值滤波器,将所述权值滤波器作为扬声器的前置频域滤波器。

基于同样的发明构思,本发明第二方面提供了一种基于扬声器的声像个性化重现装置,包括:

方位确定模块,用于确定扬声器的方位和目标方位,其中,所述扬声器的数量至少为两个,所述目标方位为理想的重建声像的方位;

第一权值向量计算模块,用于根据每个扬声器的方位和所述目标方位,确定对应的hrtf,其中,所述hrtf存储于hrtf数据库中,所述数据库中记录有hrtf以及相应的完整人体参数,并基于所述hrtf数据库,建立虚拟声像的双耳信号与目标声像的双耳信号的等式,计算每个扬声器对应的第一权值向量;

人体参数筛选模块,用于根据所述第一权值向量与所述完整人体参数之间的相关性,从所述完整人体参数中筛选出相关性符合预设条件的关键人体参数;

神经网络模型确定模块,用于采用预设神经网络模型构建所述关键人体参数与所述第一权值向量之间的映射关系,并将所述关键人体参数与所述第一权值向量构成一组样本,其中所述关键人体参数作为输入,所述第一权值向量作为输出,训练所述预设神经网络模型,形成训练后的神经网络模型;

前置频域滤波器计算模块,用于测量听音者的关键人体参数,基于所述训练后的神经网络模型预测与所述听音者的关键人体参数对应的第二权值向量,并根据所述第二权值向量计算每个扬声器的前置频域滤波器;

扬声器信号输出模块,用于通过所述前置频域滤波器对声源信号进行滤波,获得每个扬声器的输出信号。

进一步地,所述扬声器包括第一扬声器和第二扬声器,第一权值向量计算模块具体用于:

根据单声源信号和目标方位对应的左右耳hrtf,计算所述目标方位处的单声源信号在人耳处形成的双耳信号;

根据双扬声器信号和双扬声器对应的左右耳的hrtf,获得双扬声器信号在人耳处合成的双耳信号;

通过权值滤波器建立所述单声源信号与双扬声器信号之间的关系;

建立虚拟声像的双耳信号与目标声像的双耳信号等式,并基于所述单声源信号与双扬声器信号间的关系,得到权值滤波器的表达式,从而计算每个扬声器对应的第一权值向量,其中,所述目标声像的双耳信号为目标方位处的单声源信号在人耳处产生的双耳信号,所述虚拟声像的双耳信号为双扬声器信号在人耳处合成的双耳信号。

进一步地,人体参数筛选模块具体用于:

采用预设相关性分析方法分析所述第一权值向量与完整人体参数之间的相关性,获得相关系数;

从所述完整人体参数中,筛选出相关系数大于预设值对应的人体参数项,作为所述关键人体参数。

进一步地,前置频域滤波器计算模块具体用于:

根据所述权值滤波器的表达式计算出每个扬声器对应的权值滤波器,将所述权值滤波器作为所述扬声器的前置频域滤波器。

基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现第一方面所述的方法。

基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该程序被执行时实现第一方面所述的方法。

本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:

在本发明提供的方法中,在确定扬声器的方位和目标方位下,由于通过建立虚拟声像的双耳信号与目标声像的双耳信号的等式,可以求解得到第一权值向量,第一权值向量与相应的人体参数组成训练集中的一组样本,训练集中的每一组权值向量均使得目标声像与虚拟声像的双耳信号相等,其次建立一个神经网络学习权值向量与人体参数之间的映射关系,使得该神经网络可以根据新的人体参数预测权值向量的分布情况,当神经网络的预测性能很好时,预测的权值向量可以实现目标声像与虚拟声像的双耳信号相等,即听音者在真实环境与虚拟环境下的方位感知相同,可以为任意一个听音者提供个性化的空间方位感知,实现了个性化的虚拟声像重现,故而改善了听音者的空间感知效果,本发明直接对扬声器的前置滤波器的系数进行个性化预测,减小了个性化ctc技术的计算复杂度和声场重建误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于扬声器的声像个性化重现方法的流程图;

图2为计算双耳信号和求解权值向量的示意图;

图3为本发明实施例中一种基于扬声器的声像个性化重现装置的结构图;

图4为本发明实施例中一种计算机可读存储介质的结构图;

图5为本发明实施例中一种计算机设备的结构图。

具体实施方式

本发明实施例提供了一种基于扬声器的声像个性化重现方法及装置,用以改善现有的扬声器音频重建技术中由于hrtf个性化技术的误差在串声消除模块中被放大,而导致听音者的空间感知效果差的技术问题。

本申请实施例中的技术方案,总体思路如下:

首先确定扬声器的方位和目标方位,然后基于hrtf数据库计算多扬声器对应的第一权值向量,接着筛选关键的人体参数项,接下来设计神经网络建立人体参数与第一权值向量之间的映射关系,再测量听音者的筛选的人体参数,然后基于神经网络模型预测对应的权值向量,最后声源信号经前置频域滤波器的滤波作用后通过两扬声器输出。

通过本发明提供的上述方法,首先在目标声像与虚拟声像双耳信号相等的条件下求解得到第一权值向量,并与相应的人体参数组成训练集的一组样本,训练集中的每一组权值向量均使得目标声像与虚拟声像的双耳信号相等;其次建立一个神经网络学习人体参数与权值向量之间的映射关系,使得该神经网络可以根据新的人体参数预测权值向量的分布情况,当神经网络的预测性能很好时,预测的权值向量可以实现目标声像的双耳信号与虚拟声像的双耳信号相等,即听音者在真实环境与虚拟环境下的方位感知相同。权值向量在不同频带下具有不同的分布,对于不同的听音者也具有不同的分布趋势,因此本发明将不同个体在各个频率下对于重建声场的扰动特性通过权值向量表达出来,并通过扬声器的前置滤波器得到实际的应用,是一种个性化的虚拟声像重现方式,改善了传统的幅度平移技术重现声像的方位偏离的现象。并且本发明直接对扬声器的前置滤波器的系数进行个性化预测,减小了个性化ctc技术的计算复杂度和声场重建误差。

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例一

本实施例提供了一种基于扬声器的声像个性化重现方法,请参见图1,该方法包括:

步骤s1:确定扬声器的方位和目标方位,其中,扬声器的数量至少为两个,目标方位为理想的重建声像的方位。

具体来说,目标方位为期望两扬声器可以合成的声像的方位,例如希望两扬声器合成的方位为a,则a即为目标方位。扬声器的数量可以根据实际情况进行设置,例如为2个、3个、4个等等,通过设置多个扬声器可以实现小范围的声像个性化重现,并得到更好方位渲染效果。

在具体的实施过程中,以2个扬声器为例,可以首先建立合适的坐标系,如图2所示,令双扬声器位于以听音点为圆心的同心圆上,以听音点为原点建立笛卡尔直角坐标系,确定双扬声器的方位和目标方位。设人头正前方为0°,左右耳对应的方位分别为-90°和90°,则双扬声器的角度分别为为目标方位(单扬声器)的角度为θ。

步骤s2:根据每个扬声器的方位和目标方位,确定对应的hrtf,其中,hrtf存储于hrtf数据库中,数据库中记录有hrtf以及相应的人体参数,并基于hrtf数据库,建立虚拟声像的双耳信号与目标声像的双耳信号的等式,计算每个扬声器对应的第一权值向量。

具体来说,hrtf(headrelatedtransferfunction)头相关传输函数是一种音效定位算法,利用脉冲信号,将自由场声波从声源到听音者双耳的传输过程,包括听音者的头部、耳廓和躯干等对声波的综合滤波记录下来,保存为hrtf数据库。不同的方位对应不同的hrtf,且hrtf与个体特征相关。hrtf数据库包括cipic库、mit库、中国人hrtf库等,可以根据实际情况进行选取。目标声像为目标方位处的单声源信号在人耳处形成的双耳信号,虚拟声像为双扬声器信号在人耳处合成的双耳信号,也是人耳最终接收的左耳信号和右耳信号。

作为一种可选实施方式,扬声器包括第一扬声器和第二扬声器,步骤s2中,基于hrtf数据库,建立虚拟声像的双耳信号与目标声像的双耳信号等式,计算每个扬声器对应的第一权值向量,具体包括:

步骤s2.1:根据单声源信号和所述目标方位对应的左右耳hrtf,计算所述目标方位处的单声源在人耳处形成的双耳信号;

具体来说,单声源信号为一个声源发出的声音,一般记录为电信号,不包含方位信息。

在具体的实施过程中,可以通过公式(1)和(2)来实现:

x(ω)·hl(ω)=sl(ω)(1)

x(ω)·hr(ω)=sr(ω)(2)

其中,x(ω)为单声源信号,即不包方位信息的声音信号,hl(ω)为目标方位对应的左耳hrtf,hr(ω)为目标方位对应的右耳hrtf,sl(ω)为单声源在人耳处形成的左耳信号,sr(ω)为单声源在人耳处形成的右耳信号;

步骤s2.2:根据双扬声器信号和所述双扬声器的方位对应的左右耳的hrtf,计算双扬声器信号在人耳处合成的双耳信号。

在具体的实施过程中,可以通过公式(3)和(4)来实现

x1(ω)·h1l(ω)+x2(ω)·h2l(ω)=vl(ω)(3)

x1(ω)·h1r(ω)+x2(ω)·h2r(ω)=vr(ω)(4)

其中,h1l(ω)为第一扬声器对应的左耳hrtf,h1r(ω)为第一扬声器对应的右耳hrtf,h2l(ω)为第二扬声器对应的左耳hrtf,h2r(ω)为第二扬声器对应的右耳hrtf,x1(ω)为第一扬声器信号,x2(ω)为第二扬声器信号;

步骤s2.3:通过权值滤波器建立所述单声源信号与双扬声器信号之间的关系。

具体来说,单声源信号分别经过两个权值滤波器的滤波作用后成为两个扬声器信号,即单声源信号x(ω)分别经过扬声器的两个前置滤波器g1(ω)和g2(ω)的滤波作用后成为扬声器信号x1(ω)和x2(ω)。

在具体的实施过程中,可以通过公式(5)和(6)来实现

x(ω)·g1(ω)=x1(ω)(5)

x(ω)·g2(ω)=x2(ω)(6)

其中,g1(ω)为第一扬声器的权值滤波器,g2(ω)为第二扬声器的权值滤波器。

步骤s2.4:建立虚拟声像的双耳信号与目标声像的双耳信号的等式,并基于所述单声源信号与双扬声器信号之间的关系,得到权值滤波器的表达式,从而计算每个扬声器对应的第一权值向量,其中,所述目标声像的双耳信号为目标方位处的单声源信号在人耳处产生的双耳信号,所述虚拟声像的双耳信号为双扬声器信号在人耳处合成的双耳信号。

在具体的实施过程中,可以根据求和定位准则,双扬声器在人耳处产生的双耳信号为两个独立的扬声器信号分别在人耳处产生的双耳信号的叠加,使式(1)与式(5)相等,式(2)与式(6)相等,并结合步骤s2.3中的所述单声源与扬声器信号之间的关系,则可以得到权值滤波器的表达式,如式(7)和(8),从而计算每个扬声器对应的第一权值向量。第一扬声器对应的权值向量为g1(ω),第二扬声器对应的权值向量为g2(ω),g1(ω)、g2(ω)构成的向量组为第一权值向量,其中,

com(ω)=h1l(ω)·h2r(ω)-h1r(ω)·h2l(ω)(9)

g1(ω)=hl(ω)·h2r(ω)-hr(ω)·h2l(ω)(10)

g2(ω)=hr(ω)·h1l(ω)-hl(ω)·h1r(ω)(11)

具体来说,本实施方式选择cipci数据库作为hrtf数据库,步骤s2.4中通过如公式(7)和(8)可以求解出权值滤波器的具体形式,申请人通过大量的理论与实践发现:因用于求解权值滤波器的分母com(ω)有时候会接近于0,由于除法的缘故,求解权值滤波器g1(ω)和g2(ω)的分布曲线波动很大,不利于分析权值滤波器的个性化特点。为了解决上述问题,本实施例提取了权值滤波器g1(ω)和g2(ω)的分子和分母(com(ω),g1(ω),g2(ω)),并将这三组数据组成一组权值向量,作为训练数据。

步骤s3:根据第一权值向量与完整人体参数之间的相关性,从完整人体参数中筛选出相关性符合预设条件的关键人体参数。

具体来说,权值向量与人体参数之间具有对应关系,根据权值向量与人体参数之间的相关性,可以筛选出关键人体参数。

作为一种可选实施方式,步骤s3具体包括:

s3.1:采用预设相关性分析方法分析第一权值向量与完整人体参数之间的相关性,获得相关系数;

s3.2:从完整人体参数中,筛选出相关系数大于预设值对应的人体参数项,作为关键人体参数。

具体来说,预设相关性分析方法可以为pearson系数、spearman系数、kendall系数等方法,通过上述方法,分析权值向量组与相应的完整人体参数之间的相关性,获得相关系数,然后相关系数大于预设值对应的人体参数项,作为关键人体参数,其中预设值可以根据已有的经验和实际情况进行设置,例如设置为0.5、0.45等。在具体的实施过程中,本实施例采用的cipic库共记录了37项人体参数信息,通过计算pearson系数分析权值向量与人体参数之间的相关性后,选择出相关系数大于0.45时对应的人体参数项,最终选择的关键人体参数为8项x3,x6,x9,x12,x14,x15,x16,x17。

步骤s4:采用预设神经网络模型构建关键人体参数与第一权值向量之间的映射关系,并将关键人体参数与第一权值向量构成一组样本,其中关键人体参数作为输入,第一权值向量作为输出,训练预设神经网络,形成训练后的神经网络模型。

在具体的实施过程中,可采用多种神经网络的预测模型来建立关键人体参数与第一权值向量之间的映射关系。例如可以采用学习速度较快的径向基函数(radialbasisfunction,rbf)神经网络模型建立两者之间的映射关系,并将筛选后的关键人体参数与第一权值向量组成一组有监督学习的样本,即训练数据,前者作为输入,后者作为输出,训练该神经网络。对样本进行学习后,rbf神经网络具有了确定的结构,则可以形成训练后的神经网络模型。

步骤s5:测量听音者关键人体参数,基于训练后的神经网络模型预测与关键人体参数对应的第二权值向量,并根据第二权值向量计算每个扬声器的前置频域滤波器。

具体地,步骤s5中,根据第二权值向量计算每个扬声器的前置频域滤波器,具体包括:

根据步骤s2.4中权值滤波器的表达式,计算出每个扬声器对应的权值滤波器,将权值滤波器作为前置频域滤波器。

具体来说,需要测量听音者的筛选后的关键人体参数,该步骤中的关键人体参数不同于步骤s3和步骤s4中的关键人体参数,步骤s3与步骤s4中的人体参数在数据库中已经测量好,而步骤s5中是一个听音者的关键人体参数,因为对于一个听音者来说,并不知道其人体参数项,因而需要对其进行测量。本实施方式中,可以首先测量该听音者的筛选的人体参数项x3,x6,x9,x12,x14,x15,x16,x17,然后通过步骤s4中训练好的rbf神经网络预测该听音者对应的第二权值向量(包含com(ω),g1(ω),g2(ω)),并计算双扬声器的前置频域滤波器g1(ω)和g2(ω),从而可以得到仅适用于该听音者的权值滤波器。步骤s2中的第一权值向量为训练数据,用来得到训练后的具有确定结构的神经网络。通过第一权值向量可为hrtf数据库中的听音者提供个性化的空间方位感知。而步骤s5中的第二权值向量是通过具有确定结构的神经网络预测得到的。对于任意一个听音者来说,测量得到关键的人体参数后,即可以通过神经网络预测其对应的第二权值向量(即个性化的权值向量)。通过第二权值向量可为任意一个听音者提供个性化的空间方位感知,从而达到改善空间感知效果的目的。

步骤s6:通过前置频域滤波器对声源信号进行滤波,获得每个扬声器的输出信号。

总体来说,本实施例提供的基于扬声器的声像个性化重现方法,主要包括训练过程和预测过程,其中,训练过程包括:

确定扬声器方位和目标方位后,得到对应的hrtf数据,然后建立虚拟声像的双耳信号与目标声像的双耳信号的等式,计算每个扬声器对应的第一权值向量,并推导出第一权值向量的求解方法,接下来筛选出关键人体参数,并将关键人体参数与第一权值向量作为训练集训练神经网络

预测过程包括:

测量听音者的关键人体参数后,通过训练过程得到的神经网络预测第二权值向量,并根据第二权值向量以及相关的求解方法得到权值滤波器,通过权值滤波器过滤声源信号,最终得到固定方位的扬声器播放声源信号。

本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:

在本发明提供的方法中,在确定扬声器的方位和目标方位下,由于通过建立虚拟声像的双耳信号与目标声像的双耳信号等式可以求解得到第一权值向量,第一权值向量与相应的人体参数组成一组训练集,训练集中的每一组权值向量均使得目标声像与虚拟声像的双耳信号相等,其次建立一个神经网络学习权值向量与人体参数之间的映射关系,使得该神经网络可以根据新的人体参数预测权值向量的分布情况,当神经网络的预测性能很好时,预测的权值向量可以使得目标声像与虚拟声像的双耳信号相等,即听音者在真实环境与虚拟环境下的方位感知相同,可以为任意一个听音者提供个性化的空间方位感知,实现了个性化的虚拟声像重现,故而改善了听音者的空间感知效果,本发明直接对扬声器的前置滤波器的系数进行个性化预测,减小了个性化ctc技术的计算复杂度和声场重建误差。

基于同一发明构思,本申请还提供了与实施例一中基于扬声器的声像个性化重现方法对应的装置,详见实施例二。

实施例二

本实施例提供一种基于扬声器的声像个性化重现装置,请参见图3,该装置包括:

方位确定模块301,用于确定扬声器的方位和目标方位,其中,扬声器的数量至少为两个,目标方位为理想的重建声像的方位;

第一权值向量计算模块302,用于根据每个扬声器的方位和目标方位,确定对应的hrtf,其中,hrtf存储于hrtf数据库中,数据库中记录有hrtf以及相应的完整人体参数,并基于hrtf数据库,建立虚拟声像的双耳信号与目标声像的双耳信号的等式,计算每个扬声器对应的第一权值向量;

人体参数筛选模块303,用于根据第一权值向量与完整人体参数之间的相关性,从完整人体参数中筛选出相关性符合预设条件的关键人体参数;

神经网络模型确定模块304,用于采用预设神经网络模型构建关键人体参数与第一权值向量之间的映射关系,并将关键人体参数与第一权值向量构成一组样本,其中关键人体参数作为输入,第一权值向量作为输出,训练预设神经网络,形成训练后的神经网络模型;

前置频域滤波器计算模块305,用于测量听音者的关键人体参数,基于训练后的神经网络模型预测与听音者的关键人体参数对应的第二权值向量,并根据第二权值向量计算每个扬声器的前置频域滤波器;

扬声器信号输出模块306,用于通过前置频域滤波器对声源信号进行滤波,获得每个扬声器的输出信号。

在一种实施方式中,扬声器包括第一扬声器和第二扬声器,第一权值向量计算模块302具体用于:

根据单声源信号和所述目标方位对应的左右耳hrtf,计算所述目标方位处的单声源信号在人耳处形成的双耳信号;

根据双扬声器信号和双扬声器方位对应的左右耳的hrtf,获得双扬声器信号在人耳处合成的双耳信号;

通过权值滤波器建立所述单声源信号与双扬声器信号之间的关系;

建立虚拟声像与目标声像的双耳信号等式,并基于所述单声源信号与所述双扬声器信号间的关系,得到权值滤波器的表达式,从而计算每个扬声器对应的第一权值向量,其中,所述目标声像的双耳信号为目标方位处的单声源信号在人耳处产生的双耳信号,所述虚拟声像的双耳信号为双扬声器信号在人耳处合成的双耳信号。

在一种实施方式中,人体参数筛选模块303具体用于:

采用预设相关性分析方法分析第一权值向量与完整人体参数之间的相关性,获得相关系数;

从完整人体参数中,筛选出相关系数大于预设值对应的人体参数项,作为关键人体参数。

在一种实施方式中,前置频域滤波器计算模块305具体用于:

根据权值滤波器的表达式计算出每个扬声器对应的权值滤波器,将所述权值滤波器作为扬声器的前置频域滤波器。

由于本发明实施例二所介绍的装置,为实施本发明实施例一中基于扬声器的声像个性化重现方法所采用的装置,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该装置的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

实施例三

基于同一发明构思,本申请还提供了一种计算机可读存储介质400,请参见图4,其上存储有计算机程序411,该程序被执行时实现实施例一中的方法。

由于本发明实施例三所介绍的计算机可读存储介质,为实施本发明实施例一中基于扬声器的声像个性化重现方法所采用的计算机可读存储介质,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。

实施例四

基于同一发明构思,本申请还提供了一种计算机设备,请参见图5,包括存储501、处理器502及存储在存储器上并可在处理器上运行的计算机程序503,处理器502执行上述程序时实现实施例一中的方法。

由于本发明实施例四所介绍的计算机设备,为实施本发明实施例一中基于扬声器的声像个性化重现方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机设备都属于本发明所欲保护的范围。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1