一种多区域不同语音声源的2.5D重放方法与流程

本发明属于声场重放
技术领域：
，尤其涉及多声道空间音频系统的多区域重放方法，进一步涉及一种多区域不同语音声源的2.5D重放方法。
背景技术：
：三维音频的研究热点问题是空间声场重放，其目标是通过采用扬声器阵列在指定空间内重构一个与目标声场一致的声场。在现有的声场重放中，通常进行的是单区域重放，即在扬声器阵列中只有一个独立的重建区域(也称作，最佳听音区域)。重建区域位于扬声器阵列中心处，其面积受扬声器数量所影响，通过增加扬声器的数量可扩大重放区域面积。随着音频播放技术的提高与播放设备广泛普及，单区域声场重放技术已远远不能满足日常生活、娱乐的需求。企业和学术界也开始研究多区域重放技术，使得在特定的阵列空间内部可以出现多个不相邻的重建区域。利用扬声器阵列在给定的多个区域内进行不同声音的重放有多种应用环境。如：车载娱乐系统中，利用此项技术可在车内不同乘客位置处播放不同的音乐；在办公室环境下的个人扬声器系统中，利用本技术可以在办公室内，每个人所在区域播放各自独立数据，不同人间互不干扰；多语言会议中，利用本技术不同的区域可以独立播放各自国家的语言。目前，现有空间声场重放中要么是2D声场重放要么是3D声场重放。在2D声场重放中，利用2D线声源作为2次声源在线声源阵列内部重建2D水平面波。因为线性声源只存在于理论条件下，所以这种重放方式无法真实实现。在3D声场重建中，利用3D点声源或扬声器阵列在空间区域内进行3D空间声场重建。因为所搭建的是3D空间扬声器阵列，所以重建单位空间内的目标声场所需的扬声器数量巨大，给实际应用带来了困难。由空间听觉感知特性可知，人耳对与其处于同一水平面的声波更为敏感，因此重建2D声场比重建3D声场更具实际意义。要想将2D声场重建问题实际可实现，就需要选用实际的3D声源/扬声器来进行重放。用3D声源重建2D声场的方式，称为2.5D声场重放。相对于3D声场重放而言，2.5D声场重放仅需要在水平面内放置一组扬声器，所使用的扬声器数量大大减少，更适合于实际应用，但是目前还没有一种2.5D声场重放技术实际应用。技术实现要素：本发明要解决的技术问题是，提供一种多区域不同语音声源的2.5D重放方法。为解决上述问题，本发明采用如下的技术方案：一种多区域不同语音声源的2.5D重放方法包括以下几个步骤：步骤1、设定需要重放的声场数量及声源的方位；步骤2、对每路语音信号进行时-频变换，求得语音信号的频率系数并保留每个频率所对应的相位；步骤3、建立各子区域声场的柱谐展开模型，计算每个声场所需的柱谐展开阶数，并在截断阶数下进行声场柱谐展开；步骤4、建立全局声场的柱谐展开模型，并计算全局声场所需的柱谐展开阶数，利用空间柱谐转移算子将各个子声场的柱谐系数转换成全局声场展开系数步骤5、基于声场的线性叠加原理，构建高阶扬声器阵列重建声场的展开表达式，然后利用空间球汉克尔函数的附加性质，求得重建声场的最终球谐展开表达式；步骤6、基于重建声场和目标声场在各个观察点的声压匹配模型关系，采用正则化最小二乘法求解扬声器阵列中每个高阶扬声器所分配的模式权值向量Al，进而最终求解出整个扬声器阵列的ω；步骤7、将解出整个扬声器阵列的权值系数向量ω进行时-频反变换，得到高阶扬声器的时域重放信号。作为优选，所述步骤2首先将每路语音信号sperson_i(n)，i＝1,2,…,S，进行时-频变换得到频域系数为：其中，n＝1,2,…,N为时域样点标号，f为频率，N为时-频变换点数，T为离散信号采样周期。Sperson_i(f)为频域系数。作为优选，所述步骤3具体为：在S个互补交叠的区域重放S个不同的声源，即：扬声器阵列内有S个互不交叠的听音区域，每个区域对应重建一个语音声源场，当波数频率为k时，阵列外第i个声源进行辐射，在听音区域中任意观测点(R(i),φ(i))处产生的声压值为：Pd(i)(R(i),φ(i);k)=Σm=-∞∞Samp_i(k)αmd(i)(k)Jm(kR(i))ejmφ(i)]]>其中，i为听音区域标号，i＝1,2,…,S。R(i)为观测点相对于该区域中心点的距离，φ(i)为观测点相对于区域中心x轴方向的方位角，代表第i个区域内声源辐射声场的柱谐展开系数，Jm(·)为m阶柱贝塞尔函数；对于上式，可根据柱贝塞尔函数的带通特性，对其进行Mi阶截断，得到第i个区域内声场的有限阶数下的声场表达式：Pd(i)(R(i),φ(i);k)=Σm=-MiMiSamp_i(k)αmd(i)(k)Jm(kR(i))ejmφ(i)]]>作为优选，步骤4具体为：基于空间柱谐系数转换理论，利用转换算子构建各子区域声场系数与全局声场系数间的关系，此关系可以由以下公式表示：其中：因此，根据求得的全局柱谐展开系数βd构建整体2D声场表达式，则空间内任意点处的声压为：Pd(R,φ;k)=Σm=-M0M0βmd(k)Jm(kR)ejmφ]]>其中，M0为最远重放区域圆心到坐标原点所对应的阶段阶数，(R,φ)为整体声场区域内的观察点位置。作为优选，步骤5具体为：选用3D高阶扬声器作为二次声源进行声场重建，每个扬声器在三维空间内进行声场辐射，则水平面内3D高阶扬声器在任意位置x处产生的声压为：Tl(x,k)=Σm^=-N^N^Σn^=|m^|wn^,m^(l)(k)h′n^(kr0)hn^(k||x-xl||)Yn^,m^(y^l)]]>其中,xl＝(Rl,φl),l＝1,2,…,L为高阶扬声器的位置，Rl为第l个扬声器相对于区域中心点的距离，φl为第l个扬声器相对于区域中心x轴方向的方位角，为球汉克尔函数的一阶导数，r0代表高阶扬声器的半径，为3D高阶扬声器的阶数，为高阶扬声器的模式权值，也是最终合成声场的扬声器信号，代表阶次实数域球谐函数，即：Yn^,m^(y^l)=(-1)m^An^,m^Pn^,||m^||(cos(π/2))Em^(φ‾l)]]>其中，是缔合勒让德函数，为归一化系数，为此，首先基于物理声线性叠加理论，将L个3D高阶扬声器辐射的声场进行线性相叠加，得到重建叠加声场的球谐展开表达式，即，空间内任意点x处L个高阶扬声器的合成声压为：Pr(x,k)=Σl=1LTl(x,k)=Σl=1LΣm^=-N^N^Σn^=||m^||wn^,m^(l)(k)h′n^(kr0)hn^(k||x-xl||)Yn^,m^(y^l)]]>其中，Pr(x,k)为重建声场在观察点x处的声压值。作为优选，步骤6具体为：将虚拟声源辐射的目标声场与L个扬声器的重建声场建立联系，令二者相等Pd(R,φ；k)＝Pr(x,k)，即：Σm=-M0M0βmd(k)Jm(kR)ejmφ=Σl=1LΣm^=-N^N^Σn^=||m^||wn^,m^(l)(k)h′n^(kr0)hn^(k||x-xl||)Yn^,m^(y^l)]]>根据球汉克尔函数的附加特性，可得：hn^(k||x-xl||)Yn^,m^(y^l)=Σn=0M0Σm=-nnSn^,nm^,m(xl)jn(kR)Yn,m(x^)]]>基于上式，可把等式Pd(R,φ；k)＝Pr(x,k)进一步分解为：βmd(k)Jm(kR)=Σn=||m||Σl=1LΣm^=-N^N^Σn^=||m^||(-1)mwn^,m^(l)(k)h′n^(kr0)Sn^,nm^,m(xl)jn(kR)An,mPn,||m||(cos(π/2))m=-M0,-M0+1,...,M0]]>最后，基于矩阵相乘理论，将上式改为矩阵相乘形式，如下：Hω＝βd其中，βd为全局声场系数向量，满足ω是扬声器权值系数向量，满足每个元素H=T1T2...TL⇒Tl=TN^,M-N^,-M(l)TN^-1,M-N^+1,M(l)......TN^,MN^,-M(l)...............TN^,M-N^,M(l)TN^-1,M-N^+1,M(l)......TN^,MN^,M(l)]]>其中：作为优选，所述步骤7为在步骤6所得Al的基础上，把它改写为如下频率表达式：Lound(l,k)=wN^,-N^(l)(k)wN^,-N^+1(l)(k)...wN^,N^(l)(k)]]>对向量中每个元素进行时-频反变换，得到各高阶扬声器中每个指向性扬声器信号的时域表示：Lound(l,n)=wN^,-N^(l)(n)wN^,-N^+1(l)(n)...wN^,N^(l)(n).]]>本发明多区域不同语音声源的2.5D重放方法，选用3D高阶扬声器作为2次声源进行二维水平面的多区域2.5D声场重放；在扬声器阵列内部有多个重建听音区域，每个听音区域可以重放不同的声音信号，即在扬声器阵列内部的多个重建区域可以互不干扰地重建不同的声音信号。本发明提供一种基于高阶扬声器阵列的多区域内不同语音声源的2.5D重放方法，目的是设计一套将S路不同的声源信号通过扬声器阵列在空间不同区域精确重放的虚拟声系统；本发明利用子区域声场的柱谐展开理论，首先，将S路语音信号变换到频域，提取各频率系数的幅度信息，并基于幅度信息得到空间内各相应目标子声场的二维柱谐展开表达式；其次，基于空间柱谐系数转换理论，通过空间转移算子把S组子区域声场系数转换为一组整体的声场柱谐展开系数；再次，基于空间声场的线性叠加理论和球贝塞尔函数的附加理论，得到高阶扬声器阵列重建声场的三维球谐表达式，在最小均方准则下计算出2.5D重放系统中各高阶扬声器的模式权值；最后，将高阶扬声器模式权值变换到时域，得到高阶扬声器内各指向性扬声器的时域重放信号。本发明的技术方案复杂度低、实时性高，解决了实际三维扬声器和二维重建声场间的维度不匹配问题，同时能够在S个区域重放S个不同的声源信号，既可应用于个人和公共虚拟声娱乐系统，也可用于办公环境和音视频会议。附图说明图1是扬声器阵列多区域重放示意图；图2是本发明方法流程示意图图。具体实施方法以下结合具体实施例，并参照附图，对本发明进一步详细说明。本发明提供一种多区域不同语音声源的2.5D重放方法，为解决多区域内不同语音声源的重放难题，利用环形扬声器阵列重建阵列内部多个不相邻的听音区域，并在每个听音区域内重建不同语音声场，各区域间声音互不干扰，如图1所示。本发明的多区域不同语音声源的2.5D重放方法，首先对拟重放的S个声源信号分别进行时-频变换得到频域系数，并将其从频域表示转换到波数域表示，随后利用各声源信号频率系数结合各重放区域位置信息求取各扬声器驱动信号值，得到每个扬声器的播放信号，完成整体设计；具体的工作流程如下，如图2所示，步骤1：设定重放的区域数(即，播放的语音数，每个区域播放一个语音)及每个语音的发声位置。假定重建区域数为S，(即，重放声源数量也为S)，S个声源信号sperson_i(n)各自的方位角为φi，i＝1,2,…,S；步骤2：各声源信号的时-频变换。将每路语音信号sperson_i(n)，i＝1,2,…,S，进行时-频变换得到频域系数为：其中，n＝1,2,…,N为时域样点标号，f为频率，N为时-频变换点数，T为离散信号采样周期。频域系数Sperson_i(f)写为幅度和相位形式：Sperson_i(f)＝。即，Samp_i(f)＝||Sperson_i(f)||，Spha_i(f)＝arg(Sperson_i(f))。令波数，则可得到频域系数的波数域表示，Samp_i(k)和Spha_i(k)将第i个声源的每个频率幅度信息Samp_i(k)均视为一个单频率声源进行处理。考虑到实际场景下声源大都为远场声源，故本设计设定为远场情景，即重建的虚拟声源在扬声器阵列外部，此时在构建目标声场时，声场可视为平面波辐射。步骤3：求取声源在各区域的辐射声场表示。与待播放声源数相一致，本设计设定扬声器阵列内有S个互不交叠的听音区域，每个区域对应重建一个语音声源场。由于重建声场为2维水平面声场，因此可利用柱谐展开函数来对声源的辐射声场进行表示。由此，波数频率为k时，阵列外第i个声源进行辐射，在听音区域中任意观测点(R(i),φ(i))处产生的声压值为：Pd(i)(R(i),φ(i);k)=Σm=-∞∞Samp_i(k)αmd(i)(k)Jm(kR(i))ejmφ(i)]]>其中，i为听音区域标号，i＝1,2,…,S。R(i)为第i个听音域内观测点相对于该区域中心点的距离，φ(i)为观测点相对于区域中心x轴方向的方位角。代表第i个区域内声源辐射声场的柱谐展开系数，Jm(·)为m阶柱贝塞尔函数。基于柱贝塞尔函数的带通特性，当展开阶数m大于时，Jm(·)的函数值趋近于0，因此可对上式进行Mi阶截断，得到第i个区域内声场的有限阶数下的声场表达式：Pd(i)(R(i),φ(i);k)=Σm=-MiMiSamp_i(k)αmd(i)(k)Jm(kR(i))ejmφ(i)]]>步骤4：构建扬声器阵列内多区域声场的整体柱谐函数表示。在阵列内部不同听音区域内拥有不同的表达式，第i个听音区内任意点(R(i),φ(i))处的声压值对应为Pd(i)(R(i),φ(i)；k)(即，)。没有统一的目标声场表示，无法进行目标声场的重建。因此需要设计一个统一的目标声场表达式，即寻找全局声场柱谐展开系数本设计基于空间柱谐系数转换理论，利用第i个声场的转换算子(注：)构建各子区域声场系数与全局声场系数间的关系。对于上述对应关系，本设计用一组线性方程来表示；同时基于矩阵相乘理论，此关系可以由以下公式表示：其中：因此，本设计可以根据求得的全局柱谐展开系数βd构建整体2D声场表达式，则空间内任意点处的声压为：Pd(R,φ;k)=Σm=-M0M0βmd(k)Jm(kR)ejmφ]]>其中：M0为最远重放区域圆心到坐标原点所对应的阶段阶数，(R,φ)为整体声场区域内的观察点位置。步骤5：构建高阶扬声器阵列重建声场的球谐展开表达式。本设计选用3D高阶扬声器作为二次声源进行声场重建。每个扬声器在三维空间内进行声场辐射，则水平面内3D高阶扬声器在任意位置x＝(R,φ)处产生的声压为：Tl(x,k)=Σm^=-N^N^Σn^=|m^|wn^,m^(l)(k)h′n^(kr0)hn^(k||x-xl||)Yn^,m^(y^l)]]>其中,xl＝(Rl,φl),l＝1,2,…,L为高阶扬声器的位置，Rl为第l个扬声器相对于区域中心点的距离，φl为第l个扬声器相对于区域中心x轴方向的方位角，为球汉克尔函数的一阶导数，r0代表高阶扬声器的半径，为3D高阶扬声器的阶数，为高阶扬声器的模式权值，也是最终合成声场的扬声器信号，代表阶次实数域球谐函数，即：Yn^,m^(y^l)=(-1)m^An^,m^Pn^,||m^||(cos(π/2))Em^(φ‾l)]]>其中：是缔合勒让德函数，为归一化系数，本设计选用L个3D高阶扬声器进行声场重放，这些扬声器在2D水平面内的可以任意摆放。L个扬声器各种辐射的声场相叠加构成了整体的重建声场。声场重建的关键是求取各扬声器权值。为此，本设计首先基于物理声线性叠加理论，将L个3D高阶扬声器辐射的声场进行线性相叠加，得到重建叠加声场的球谐展开表达式。即，空间内任意点x处L个高阶扬声器的合成声压为：Pr(x,k)=Σl=1LTl(x,k)=Σl=1LΣm^=-N^N^Σn^=||m^||wn^,m^(l)(k)h′n^(kr0)hn^(k||x-xl||)Yn^,m^(y^l)]]>其中：Pr(x,k)为重建声场在观察点x处的声压值，r代表重放。步骤6：计算各高阶扬声器的模式权值向量。多区域不同语音声源2.D实现系统的另外一个关键步骤就是在重建误差最小的情况下求取高阶扬声器的模式权值。因此，本设计将虚拟声源辐射的目标声场与L个扬声器的重建声场建立联系，令二者相等Pd(R,φ；k)＝Pr(x,k)，即：Σm=-M0M0βmd(k)Jm(kR)ejmφ=Σl=1LΣm^=-N^N^Σn^=|m^|wn^,m^(l)(k)h′n^(kr0)hn^(k||x-xl||)Yn^,m^(y^l)]]>根据球汉克尔函数的附加特性，可得：hn^(k||x-xl||)Yn^,m^(y^l)=Σn=0M0Σm=-nnSn^,nm^,m(xl)jn(kR)Yn,m(x^)]]>基于上式，可把等式Pd(R,φ；k)＝Pr(x,k)进一步分解为：βmd(k)Jm(kR)=Σn=||m||Σl=1LΣm^=-N^N^Σn^=||m^||(-1)mwn^,m^(l)(k)h′n^(kr0)Sn^,nm^,m(xl)jn(kR)An,mPn,||m||(cos(π/2))m=-M0,-M0+1,...,M0]]>最后，基于矩阵相乘理论，将上式改为矩阵相乘形式，如下：Hω＝βd其中，βd为全局声场系数向量，满足ω是扬声器权值系数向量，满足每个元素H=T1T2...TL⇒Tl=TN^,M-N^,-M(l)TN^-1,M-N^+1,M(l)......TN^,MN^,-M(l)...............TN^,M-N^,M(l)TN^-1,M-N^+1,M(l)......TN^,MN^,M(l)]]>其中：步骤7：计算各高阶扬声器的时域重放信号。由步骤6所得是第l个扬声器的模式权值向量，向量共有个元素，每个元素对应高阶扬声器所包含的各指向性扬声器(共个)的模式权值，改写为如下频率表达式：Lound(l,k)=wN^,-N^(l)(k)wN^,-N^+1(l)(k)...wN^,N^(l)(k)]]>对向量中每个元素进行时-频反变换，得到各高阶扬声器中每个指向性扬声器信号的时域表示：Lound(l,n)=wN^,-N^(l)(n)wN^,-N^+1(l)(n)...wN^,N^(l)(n)]]>以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。当前第1页1 2 3