一种3d音频中多声道信号的下混方法

文档序号:7779226阅读:417来源:国知局
一种3d音频中多声道信号的下混方法
【专利摘要】一种3D音频中多声道信号的下混方法,包括对3D音频系统中各层分别进行下混,设某层有R个扬声器,对层中所有扬声器进行编号,包括根据在层内选择的中心扬声器,以中心扬声器为1号,对层内其他扬声器根据与1号扬声器的距离从近至远依次编号,左手为偶数号,右手为奇数号,直到第R号;根据编号对层中所有扬声器进行下混,左边的扬声器和右边的扬声器分别循环进行按编号从小到大依次两两配对下混,直到剩下2号、3号扬声器信号;2号和3号扬声器信号下混之后,再与1号扬声器信号进行下混得到该层最后的单声道信号;对步骤1所得3D音频系统中各层最后的单声道信号,循环按编号从小到大依次两两配对下混,得到最终的下混声道。
【专利说明】—种3D音频中多声道信号的下混方法
【技术领域】
[0001]本发明属于声学信号处理领域,尤其涉及一种3D音频中多声道信号的下混方法。【背景技术】
[0002]2009年底,3D电影《阿凡达》在全球三十多个国家登上票房榜首,到2010年9月初,全球累计票房超过27亿美元。《阿凡达》之所以能取得如此辉煌的票房成绩,在于它所采用了全新的3D特效制作技术带给人们感官上的震撼效果。《阿凡达》所展现的绚丽画面与逼真声效不仅震撼了观众,也使得业界有了“电影进入3D时代”的断言。不仅如此,它还将催生更多的相关影视、录音、播放方面的技术和标准。2010年I月在美国拉斯维加斯举行的国际消费电子产品展上,各彩电巨头纷纷亮出的电视新品带给了人们新的期待——3D已经成为全球各大彩电制造商竞争的新焦点。要想达到更好的视听体验,需要有与3D视频内容同步的3D声场听觉效果,才能真正达到身临其境的视听感受。早期的3D音频系统(如Ambisonics系统)由于其结构复杂,对采集和回放设备要求较高,难以推广实用。近年来日本NHK公司推出了 22.2声道系统,能通过24个扬声器再现原来的3D声场。2011年MPEG着手制定3D音频的国际标准,在达到一定编码效率的同时希望能通过比较少的扬声器或耳机来还原3D声场,以便能将该技术推广到普通家庭用户。
[0003]为了获得更好的3D声效,需要最大限度地增加声道数,声道数增长使得3D音频面临诸多挑战:3D音频声道数的激增使得其数据量非常大,在受到实时转播带宽和存储媒介容量限制的情况下,3D音频的重建效果会显著下降。目前针对3D音频的压缩编码技术,各声道无损编码虽然可以满足3D音效的无损压缩,但压缩效率难以满足3D音频存储和传输的需求。
[0004]因此,本领域提出对3D音频中多声道信号进行下混,现有的3D音频系统都是通过多层布置来实现整个3D空间的听音感受,一般来说主要分为三层,中间层是与听音者人耳水平面平齐的一层,是最主要的一层。不同的3D音频系统在中间层的布置都不太一样,分别表现在扬声器的数量和放置角度的不同,但大多是对称排列。参数立体声技术是将两个或三个声道下混为单声道和立体声的技术,通过提取ILD和IC来恢复原始声像的方位信息。但是任意的扬声器个数如何进行下混是非常重要的问题,现有下混原则是将相关性最大的两个扬声器信号作为一组进行下混,通过不断的寻找相关性最大的扬声器声道对,逐步下混到一个声道,这样消耗的参数码率也是最小。但是这样计算的复杂度比较高,也不便于解码后的恢复。

【发明内容】

[0005]本发明针对现有技术的不足,提出一种3D音频中多声道信号的下混方法,以便大幅度降低3D音频的编码码率。
[0006]本发明提供的技术方案提供一种3D音频中多声道信号的下混方法,包括以下步骤:步骤1,对3D音频系统中各层分别进行下混,设某层有R个扬声器,对该层实现下混的方式如下,
步骤1.1,对层中所有扬声器进行编号,包括根据在层内选择的中心扬声器,以中心扬声器为I号,对层内其他扬声器根据与I号扬声器的距离从近至远依次编号,左手为偶数号,右手为奇数号,直到第R号;
步骤1.2,根据编号对层中所有扬声器进行下混,
首先,左边的扬声器和右边的扬声器分别进行下混,
左边的扬声器下混时,包括以下步骤,
步骤Al,对当前待下混的扬声器信号,按编号从小到大依次两两配对下混;配对下混方式为,设有xl号扬声器信号和yl号扬声器信号下混,xKyl,下混后所得单声道信号记为新的xl号扬声器信号,下混提取的一组相应参数的编号为yl ;
步骤A2,返回执行步骤Al,直到剩下2号扬声器信号;
右边的扬声器下混时,包括以下步骤,
步骤B1,对当前待下混的扬声器信号,按编号从小到大依次两两配对下混;配对下混方式为,设有x2号扬声器信号和12号扬声器信号下混,x2<y2,下混后所得单声道信号记为新的x2号扬声器信号,下混提取的一组相应参数的编号为12 ;
步骤B2,返回执行步骤B1,直到剩下3号扬声器信号;
然后,2号和3号扬声器信号下混之后,下混后所得单声道信号记为新的2号扬声器信号,下混提取的一组参数的编号为3 ;下混所得新的2号扬声器信号再与I号扬声器信号进行下混得到新的I号扬声器信号作为该层最后的单声道信号,下混提取的一组相应参数的编号为2 ;
步骤2,对步骤I所得3D音频系统中各层最后的单声道信号进行下混,设3D音频系统中各层从上到下依次编号为第1、2…K层,包括以下步骤,
步骤Cl,对当前待下混的各层单声道信号,按编号从小到大依次两两配对下混;配对下混方式为,设有第x3层单声道信号和第y3层单声道信号下混,x3<y3,下混后所得单声道信号记为新的第x3层单声道信号,下混提取的一组相应参数的编号为y3 ;
步骤C2,返回执行步骤Cl,直到剩下第I层单声道信号,视为最终的下混声道。
[0007]而且,步骤Al中,下混提取的一组相应参数为,xl号扬声器信号和yl号扬声器信号之间的强度差ILD和相关性1C。
[0008]而且,步骤BI中,下混提取的一组相应参数为,x2号扬声器信号和y3号扬声器信号之间的强度差ILD和相关性1C。
[0009]而且,步骤Cl中,下混提取的一组相应参数为,第x3层单声道信号和第y3层单声道信号所形成声像在以听音者为原点建立的球面坐标系中的水平角和高度角。
[0010]本发明可大幅度降低3D音频的编码码率,并且计算复杂度低,可以节约系统资源,便于解码后的恢复。
【专利附图】

【附图说明】
[0011]图1为本发明实施例的扬声器编号方法不意图。
[0012]图2为本发明实施例的多声道信号下混流程图。[0013]图3为本发明实施例的10声道信号下混过程示意图。
[0014]图4为本发明实施例的11声道信号下混过程示意图。
[0015]【具体实施方式】
下面结合附图及实施例对本发明作进一步说明。
[0016]本发明技术方案由本领域技术人员基于计算机软件技术实现自动运行流程。实施例的流程具体如下所述:
步骤1,对3D音频系统中各层分别进行下混。
[0017]本发明的技术方案设计为考虑到扬声器布置的对称性和邻近性的特点,可以分别在中心扬声器两侧选择相邻扬声器进行下混,直到所有扬声器配对(层内扬声器数目R为偶数)或者留下最后一个扬声器(层内扬声器数目R为奇数),然后进行第二轮,反复这个过程,直到下混到最后一个声道信号后再与中心扬声器进行下混得到最终的单声道信号。
[0018]3D音频系统一般分为三层。因此实施例以三层为例进行说明,其他层数的实现方式相同。
[0019]步骤1.1,对层中所有扬声器进行编号:
假设扬声器的布置如图1所不,标号的规则是以中心扬声器为I号,挨着I号扬声器从近至远依次编号,左手为偶数号,右手为奇数号,直到第R号。如图1中,左边距离I号扬声器从近至远依次为 2、4、6、8…号扬声器,右边距离I号扬声器从近至远依次为3、5、7、9…号扬声器。具体实施时,每层内可以听音者正前方的扬声器为中心扬声器,标号为I。
[0020]步骤1.2,根据编号对层中所有扬声器进行下混:
结合扬声器的排布,左边的扬声器和右边的扬声器分别进行下混,左边的扬声器第一轮下混时,偶数号扬声器依次两两配对,下混后的单声道信号以参与下混的两个扬声器中较小的号继续编号,以便下一轮继续下混。右边的扬声器第一轮下混时,奇数号扬声器从第3个开始也是依次两两配对下混并编号。左边的扬声器和右边的扬声器分别反复进行多轮,只到剩下2号和3号扬声器信号,他们下混之后再与I号扬声器信号进行下混得到最后的单声道信号。在每一次下混时提取参与下混的两个扬声器信号之间的强度差ILD和相关性IC的参数值构成一组参数,每一组参数的编号以参与下混的两个扬声器中较大的号码进行编号,这样在解码时就非常容易根据参数值生成相应的重建信号。例如编号为2和4的声道下混,下混后的声道编号取小值是2,相应得到的一组参数的编号取大值4。
[0021]具体实施时,流程可设计为:
左边的扬声器下混时,包括以下步骤,
Al,对当前待下混的扬声器信号,按编号从小到大依次两两配对下混;配对下混方式为,设有Xl号扬声器信号和yl号扬声器信号下混,xl〈yl,下混后所得单声道信号记为新的xl号扬声器信号,下混提取的一组相应参数的编号为yl ;
A2,返回执行步骤Al,直到剩下2号扬声器信号;
右边的扬声器下混时,包括以下步骤,
BI,对当前待下混的扬声器信号,按编号从小到大依次两两配对下混;配对下混方式为,设有x2号扬声器信号和12号扬声器信号下混,x2<y2,下混后所得单声道信号记为新的x2号扬声器信号,下混提取的一组相应参数的编号为y2 ;
B2,返回执行步骤BI,直到剩下3号扬声器信号。[0022]初次执行Al时,当前待下混的扬声器信号包括了所有左边的扬声器,之后执行Al时和上一轮执行两两配对下混后重新编号的情况有关,BI的情况相同。特殊地,在每轮执行Al或B1的下混中,如果有奇数个扬声器信号待下混,那么两两下混之后还剩下一个扬声器信号,等到下一轮执行Al或B1再配对下混,如果下一轮仍有奇数个扬声器信号待下混,继续等到再下一轮…直到最后一轮对两个扬声器信号下混完成。
[0023]具体的下混过程如图2所示:
设第K层中,左边距离I号扬声器从近至远依次为2、4、6、8…m号扬声器,右边距离1号扬声器从近至远依次为3、5、7、9…n号扬声器,则xl、yl在2、4、6、8…m中取值,x2、y2在
3、5、7、9…n中取值,实施例中K=1, 2,3 ;
设左边的下混共有kl轮,和左边的扬声器数目有关,
(1)第1轮下混中,2和4号扬声器信号下混并编号为2号扬声器下混结果,视为新的2号扬声器信号;6和8号扬声器信号下混并编号为6号扬声器下混结果,视为新的6号扬声器信号;…m-2和m号扬声器信号下混并编号为m-2号扬声器下混结果,视为新的m_2号扬声器信号;
(2)第2轮下混中,根据(1)所得2和6号扬声器信号下混并编号为新的2号扬声器下混结果,视为新的2号扬声器信号…
(3)按以上同样方式进行第3轮下混,…,进行第kl-1轮下混,进行第kl轮下混:设第kl-1轮下混得到2号扬声器下混结果和a号扬声器下混结果,即新的2号扬声器信号和a号扬声器信号,最后进行第kl轮对第kl-1轮所得2号扬声器信号和a号扬声器信号进行下混并编号为2号扬声器下混结果,视为新的2号扬声器信号。
[0024]设右边的下混共有k2轮,和右边的扬声器数目有关,
(1)第1轮下混中,3和5号扬声器信号下混并编号为3号扬声器下混结果,视为新的3号扬声器信号;7和9号扬声器信号下混并编号为7号扬声器下混结果,视为新的7号扬声器信号;和n号扬声器信号下混并编号为n-2号扬声器下混结果,视为新的n_2号扬声器信号;
(2)第2轮下混中,根据(1)所得3和7号扬声器信号下混并编号为新的3号扬声器下混结果,视为新的3号扬声器信号;…
(3)按以上同样方式进行第3轮下混,…,进行第k2-l轮下混,进行第k2轮下混:设第k2-l轮下混得到3号扬声器下混结果和b号扬声器下混结果,即新的3号扬声器信号和b号扬声器信号,最后进行第k2轮对第k2-l轮所得3号扬声器信号和b号扬声器信号进行下混并编号为3号扬声器下混结果,视为新的3号扬声器信号。
[0025]最后,左边下混所得和右边下混分别所得2号和3号扬声器信号进行下混并编号为2号扬声器下混结果,该2号扬声器下混结果再与1号扬声器信号进行下混得到最后的
单声道信号。
[0026]比如某层所在水平面有十个扬声器,布置如图3所示,根据实施例所提供技术方案的具体下混过程包括:
左边包括2和4、6、8、10号扬声器,下混过程为,
(1)第1轮下混中,2和4号扬声器信号下混并编号为2号扬声器下混结果,即新的2号扬声器信号;6和8号扬声器信号下混并编号为6号扬声器下混结果,即新的6号扬声器信号;剩下10号扬声器信号;
(2)第2轮下混中,第I轮下混所得2和6号扬声器信号下混并编号为新的2号扬声器下混结果,即新的2号扬声器信号;剩下10号扬声器信号仍没有配对;
(3)第3轮下混中,2和10号扬声器信号下混并编号为新的2号扬声器下混结果,即新的2号扬声器信号。
[0027]右边包括3和5、7、9号扬声器,下混过程为,
(1)第I轮下混中,3和5号扬声器下混并编号为3号扬声器下混结果,7和9号扬声器下混并编号为7号扬声器下混结果;
(2)第2轮下混中,3和7号扬声器下混并编号为新的2号扬声器下混结果。
[0028]最后,左边下混所得和右边下混分别所得2号和3号扬声器信号进行下混并编号为2号扬声器下混结果,该2号扬声器下混结果再与I号扬声器信号进行下混得到最后的单声道信号。
[0029]比如某层所在水平面有十一个扬声器,布置如图4所示,根据实施例所提供技术方案的具体下混过程包括:
左边包括2和4、6、8、10号扬声器,下混过程为,
(I)第I轮下混中,2和4号扬声器信号下混并编号为2号扬声器下混结果,即新的2号扬声器信号;6和8号扬声器信号下混并编号为6号扬声器下混结果,即新的6号扬声器信号;剩下10号扬声器信号。
[0030](2)第2轮下混中,第I轮下混所得2和6号扬声器信号下混并编号为新的2号扬声器下混结果,即新的2号扬声器信号;剩下10号扬声器信号仍没有配对。
[0031](3)第3轮下混中,第2轮下混所得2和10号扬声器信号下混并编号为新的2号扬声器下混结果,即新的2号扬声器信号。
[0032]右边包括3和5、7、9、11号扬声器,下混过程为,
(1)第I轮下混中,3和5号扬声器信号下混并编号为3号扬声器下混结果,即新的3号扬声器信号;7和9号扬声器信号下混并编号为7号扬声器下混结果,即新的7号扬声器信号;剩下11号扬声器信号;
(2)第2轮下混中,第I轮下混所得3和7号扬声器信号下混并编号为新的3号扬声器下混结果,即新的3号扬声器信号;剩下11号扬声器信号仍没有配对;
(3)第3轮下混中,第2轮下混所得3和11号扬声器信号下混并编号为新的3号扬声器下混结果,即新的3号扬声器信号。
[0033]最后,左边下混所得和右边下混分别所得2号和3号扬声器信号进行下混并编号为2号扬声器下混结果,该2号扬声器下混结果再与I号扬声器信号进行下混得到最后的
单声道信号。
[0034]实施例先对中间层下混好之后,按照同样的方法下混上层和下层的多声道信号(其他多层3D音频系统中每一层可以按照同样的方法操作),最后每一层只剩下一个声道。具体实施时,各层的下混也可以并行执行。
[0035]步骤2,对步骤I所得3D音频系统中各层最后的单声道信号进行下混。设3D音频系统中各层从上到下依次编号为第1、2…K层,包括以下步骤,
Cl,对当前待下混的各层单声道信号,按编号从小到大依次两两配对下混;配对下混方式为,设有第x3层单声道信号和第y3层单声道信号下混,x3〈y3,x3、y3在1、2…K中取值;下混后所得单声道信号记为新的第x3层单声道信号,下混提取的一组相应参数的编号为y3 ;
C2,返回执行步骤Cl,直到剩下第I层单声道信号,视为最终的下混声道。
[0036]初次执行Cl时,当前待下混的扬声器信号包括了 3D音频系统中所有层在步骤I所得单声道信号,之后执行Cl时和上一轮执行两两配对下混后重新编号的情况有关。特殊地,在每轮下混中,如果有数量为奇数的多层单声道信号待下混,那么两两下混之后还剩下一层单声道信号,等到下一轮再配对下混,如果下一轮仍有数量为奇数的多层单声道信号待下混,继续等到再下一轮…直到最后一轮对两层单声道信号下混完成。
[0037]具体的下混过程如下:
设层间的下混共有k3轮,和层数K有关,
(1)第I轮下混中,根据3D音频系统从上到下的第1、2…K层分别经步骤I所得单声道信号,对第1、2层单声道信号下混并按以其中较小的层号标记得到下混结果1,即新的第I层单声道信号;第3、4层单声道信号下混按以其中较小的层号得到下混结果3,即新的第3层单声道信号;…第K-1层单声道信号与第K层单声道信号下混得到,即新的第K-1层单声道信号;
(2)第2轮下混中,根据(I)所得第I层单声道信号和第3层单声道信号下混并按以其中较小的层号标记得到新的下混结果1,即新的第I层单声道信号…
(3)按以上同样方式进行第3轮下混,…,进行第k3-l轮下混,进行第k3轮下混:设第k3-l轮下混得到第I层单 声道信号和第c层单声道信号,最后进行第k3轮对第k3-l轮所得第I层单声道信号和第c层单声道信号进行下混并编号为新的第I层单声道信号,视为最终的下混声道。
[0038]例如,K=5时,
(1)第I轮下混中,对第1、2层单声道信号下混并按以其中较小的层号标记得到下混结果1,即新的第I层单声道信号;第3、4层单声道信号下混按以其中较小的层号得到下混结果3,即新的第3层单声道信号;剩下第5层单声道信号没有配对;
(2)第2轮下混中,根据(I)所得第I层单声道信号和第3层单声道信号下混并按以其中较小的层号标记得到新的下混结果1,即新的第I层单声道信号;仍剩下第5层单声道信号没有配对;
(3)最后进行第3轮对第2轮所得第I层单声道信号和第5层单声道信号进行下混并编号为新的第I层单声道信号,视为最终的下混声道。
[0039]在每一次下混时提取参数值构成一组参数,每一组参数的编号以参与下混的两个层中较大的层号进行编号,这样在解码时就非常容易根据参数值生成相应的重建信号。本步骤提取的参数值可以是,参与下混的两个相应声道所形成声像在以听音者为原点建立的球面坐标系中的水平角和高度角。
[0040]实施例中,Κ=3,只需对第1、2层相应单声道信号下混并标记得到下混结果1,即新的第I层单声道信号,新的第I层单声道信号与第3层相应单声道信号下混得到最终的下混声道。
[0041]将每次下混提取的参数和最终的下混声道发送到解码端,解码时通过下混声道和参数,依次获得各个声道信号。
[0042]本发明的上述实例仅仅为说明本发明的方法实现,任何熟悉该技术的人在本发明所揭露的技术范围内,都可轻易想到其变化和替换,因此本发明保护范围都应涵盖在由权利要求书所限定的保护范围之内。
【权利要求】
1.一种3D音频中多声道信号的下混方法,其特征在于,包括以下步骤: 步骤1,对3D音频系统中各层分别进行下混,设某层有R个扬声器,对该层实现下混的方式如下, 步骤1.1,对层中所有扬声器进行编号,包括根据在层内选择的中心扬声器,以中心扬声器为I号,对层内其他扬声器根据与I号扬声器的距离从近至远依次编号,左手为偶数号,右手为奇数号,直到第R号; 步骤1.2,根据编号对层中所有扬声器进行下混, 首先,左边的扬声器和右边的扬声器分别进行下混, 左边的扬声器下混时,包括以下步骤, 步骤Al,对当前待下混的扬声器信号,按编号从小到大依次两两配对下混;配对下混方式为,设有Xl号扬声器信号和yl号扬声器信号下混,xKyl,下混后所得单声道信号记为新的Xl号扬声器信号,下混提取的一组相应参数的编号为yl ; 步骤A2,返回执行步骤Al,直到剩下2号扬声器信号; 右边的扬声器下混时,包括以下步骤, 步骤BI,对当前待下混的扬声器信号,按编号从小到大依次两两配对下混;配对下混方式为,设有x2号扬声器信号和12号扬声器信号下混,x2<y2,下混后所得单声道信号记为新的x2号扬声器信号,下混提取的一组相应参数的编号为12 ; 步骤B2,返回执行步骤 BI,直到剩下3号扬声器信号; 然后,2号和3号扬声器信号下混之后,下混后所得单声道信号记为新的2号扬声器信号,下混提取的一组参数的编号为3 ;下混所得新的2号扬声器信号再与I号扬声器信号进行下混得到新的I号扬声器信号作为该层最后的单声道信号,下混提取的一组相应参数的编号为2 ; 步骤2,对步骤I所得3D音频系统中各层最后的单声道信号进行下混,设3D音频系统中各层从上到下依次编号为第1、2…K层,包括以下步骤, 步骤Cl,对当前待下混的各层单声道信号,按编号从小到大依次两两配对下混;配对下混方式为,设有第x3层单声道信号和第y3层单声道信号下混,x3<y3,下混后所得单声道信号记为新的第x3层单声道信号,下混提取的一组相应参数的编号为y3 ; 步骤C2,返回执行步骤Cl,直到剩下第I层单声道信号,视为最终的下混声道。
2.根据权利要求1所述3D音频中多声道信号的下混方法,其特征在于:步骤Al中,下混提取的一组相应参数为,xl号扬声器信号和yl号扬声器信号之间的强度差ILD和相关性1C。
3.根据权利要求1所述3D音频中多声道信号的下混方法,其特征在于:步骤BI中,下混提取的一组相应参数为,x2号扬声器信号和y3号扬声器信号之间的强度差ILD和相关性1C。
4.根据权利要求1所述3D音频中多声道信号的下混方法,其特征在于:步骤Cl中,下混提取的一组相应参数为,第x3层单声道信号和第y3层单声道信号所形成声像在以听音者为原点建立的球面坐标系中的水平角和高度角。
【文档编号】H04S5/00GK103607690SQ201310650601
【公开日】2014年2月26日 申请日期:2013年12月6日 优先权日:2013年12月6日
【发明者】王恒, 张聪, 郭峰林, 高尚 申请人:武汉轻工大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1