能量整形装置以及能量整形方法

专利名称：能量整形装置以及能量整形方法
技术领域：
本发明涉及能量整形装置以及能量整形方法，尤其涉及在多通道 音频信号的解码中进行能量整形的技术。
背景技术：
近年，在MPEG音频标准中，被称为Spatial Audio Codec (空间 音频编解码)的技术正在被标准化。其目的在于要以非常少的信息量 来对表现出临场感的多通道信号进行压縮及编码。例如，在作为数字 电视的声音方式已被广泛使用的多声道编解码方式的MC (Advanced Audio Coding :高级音频编码)方式，5. l声道要有512kbps或384kbps 的比特率，然而，在Spatial Audio Codec则以用128kbps或64kbps 甚至于48kbps这样非常少的比特率来对多通道音频信号进行压縮及 编码为目标(例如参照非专利文献l )。图1是利用空间编解码的基本原理的音频装置的整体结构方框图。音频装置1包括音频编码器10和音频解码器20，音频编码器 10输出对音频信号的组进行空间音频编码后而得到的编码信号，音频 解码器20对从音频编码器10输出的编码信号进行解码。音频编码器10以由1024个采样或2048个采样等所示出的帧为单 位，对多个声道的音频信号(例如双声道的音频信号L、 R)进行处理， 且该音频编码器10包括縮混部11、双声列(Binaural Cue)检测 部12、编码器13、以及多路复用部14。縮混部11通过对以谱表示的例如左右双声道的音频信号L、 R取平均，即通过1^(L+R)/2，而生成缩混音频信号L、 R后而得到的缩混 信号M。双声列检测部12通过按照各个谱带对音频信号L、 R以及縮混信 号M进行比较，从而生成用于将縮混信号M复原到音频信号L、 R的 BC信息(双声列)。BC信息中包含示出声道间强度/强度差(inter-channel level/intensity difference)的强度信息IID、示出声道间相干/ 相关(inter—channel coherence/correlation)的相关f言息ICC、 以 及示出声道间相位延迟差(inter-channel phase/delay difference) 的相位信息IPD。在此，相关信息ICC示出两个音频信号L、 R的类似性，强度信息 IID示出音频信号L、 R的相对强度。 一般而言，强度信息IID是用于 控制声音的平衡和定位的信息，相关信息ICC是用于控制声音的幅度 和扩散性的信息。这些信息均为帮助听者在头脑中构成听觉情景的空 间参数。在最新的空间编码中，以谱表示的音频信号L、 R以及縮混信号M 被划分为由"参数频带(parameter band)"构成的通常的多个组。因 此，BC信息是按照各个参数频带被算出的。并且，"BC信息(双声列)" 和"空间参数"会经常被作为具有互换性的同义词语来使用。编码器13通过例如MP3 (MPEG Audio Layer-3)或AAC(Advanced Audio Coding :先进音频编码)等对縮混信号M进行压縮编码。即，编 码器13编码縮混信号M，并生成被压縮的编码串。多路复用部14在量化BC信息的同时，还通过对縮混信号M和被 量化了的BC信息进行多路复用而生成比特流，并将该比特流作为所述的编码信号来输出。音频解码器20包括逆多路复用部21、解码器22、以及多声道 合成部23。逆多路复用部21获得所述的比特流，并从该比特流中将被量化的BC信息和被编码的縮混信号M分离出来后输出。并且，逆多路复用部 21对被量化的BC信息进行逆量化后输出。解码器22将被编码的縮混信号M解码后输出到多声道合成部23。 多声道合成部23获得从解码器22输出的縮混信号M和从逆多路 复用部21输出的BC信息。并且，多声道合成部23利用所述BC信息, 将縮混信号M复原为两个音频信号L、 R。这些将縮混信号复原为原来 的两个音频信号的处理是与后述的"声道分离技术"结合在一起进行 的。并且，在上述的例子中只是说明了 (1)是怎样在编码器中以一个缩 混信号和空间参数的组来表示两个音频信号的，以及(2)是怎样通过处 理空间参数和縮混信号，在解码器中将縮混信号分离为两个音频信号 的。在所述技术中，可以在进行编码处理时，将多于两个声道的声道 (例如5.1声道声源的六个声道)压縮为一个或两个缩混声道，并可 以在进行解码处理时复原。艮P，在以上所述中，以对两个声道的音频信号进行编码及解码为例对音频装置l进行了说明，不过，音频装置l也可以对两个声道以 上的声道的音频信号(例如构成5. 1声道声源的六个声道的音频信号) 进行编码及解码。图2是六个声道中多声道合成部23的功能结构框图。 多声道合成部23例如在将縮混信号M分离为六个声道的音频信号 的情况下，包括第一声道分离部241、第二声道分离部242、第三声 道分离部243、第四声道分离部244、以及第五声道分离部245。并且， 缩混信号M是对以下的音频信号进行縮混后而得到的，这些音频信号 是指与设置在视听者正面的扬声器相对应的中置音频信号C、与设 置在视听者左前方的扬声器相对应的前左音频信号Lf 、与设置在视听 者右前方的扬声器相对应的前右音频信号Rf 、与设置在视听者左侧的 扬声器相对应的左环绕音频信号Ls、与设置在视听者右侧的扬声器相 对应的右环绕音频信号Rs、以及与用于输出低音的重低音扬声器相对应的低音音频信号LFE。第一声道分离部241从縮混信号M中将中途的第一縮混信号Ml 和中途的第四縮混信号M4分离出来后输出。第一縮混信号M1由中置 音频信号C、前左音频信号Lf 、前右音频信号Rf 、以及低音音频信号 LFE縮混而成。第四縮混信号M4由左环绕音频信号Ls和右环绕音频 信号Rs縮混而成。第二声道分离部242从第一縮混信号M1中将中途的第二缩混信号 M2和中途的第三縮混信号M3分离出来后输出。第二縮混信号M2由前 左音频信号Lf和前右音频信号Rf缩混而成。第三縮混信号M3由中置 音频信号C和低音音频信号LFE縮混而成。第三声道分离部243从第二縮混信号M2中将前左音频信号Lf和 前右音频信号Rf分离出来后输出。第四声道分离部244从第三縮混信号M3中将中置音频信号C和低 音音频信号LFE分离出来后输出。笛T吉憎A兹都/i笛四媳泡佶县AM由您亡K^i吝瓶佶县T c和右环绕音频信号Rs分离出来后输出。这样，多声道合成部23通过多阶段的方法在各个声道分离部以相同的分离处理，将一个縮混信号分离为两个缩混信号，直至分离到单声道的音频信号为止重复进行递归的信号分离。图3是用于说明多声道合成部23的原理的功能框图。 多声道合成部23包括全通滤波器261、 BCC处理部262、以及运算部263。全通滤波器261获得縮混信号M，并对该縮混信号M生成没有相 关性的无相关信号Mrev并输出。在听觉上对縮混信号M和无相关信号 Mrev进行比较可知它们互不相干。并且，无相关信号Mrev具有与縮 混信号M相等的能量，含有能够制作出好像声音被传播得很远这种幻 觉的有限时间的混响成分。BCC处理部262获得BC信息，并根据该BC信息中所包含的强度信息IID或相关信息ICC等，生成混合系数Hij并输出，该混合系数 Hij用于维持L、 R之间的相关程度或L、 R的方向性。运算部263获得并利用縮混信号M、无相关信号Mrev、以及混合 系数Hij，进行(公式l )所示的运算，并输出音频信号L、 R。这样， 通过利用混合系数Hij，从而使音频信号L、 R间的相关程度或这些信 号的方向性成为希望的状态。 (公式1 )及-iJ2承M + H22啦M咖图4是多声道合成部23的详细构成的方框图。并且，解码器22 也在此图中示出。解码器22将编码缩混信号解码为时域的缩混信号M，并将解码后 的縮混信号M输出到多声道合成部23。多声道合成部23包括解析滤波器组231、声道扩大部232、以 及时间上的处理装置(能量整形装置)900。声道扩大部232包括前 矩阵处理部2321、后矩阵处理部2322、第一运算部2323、无相关处 理部2324、以及第二运算部2325。解析滤波器组231获得从解码器22输出的縮混信号M，并将该縮 混信号M的表示形式转换为以时间和频率表示的混合表示形式，并作为以简略方式的矢量x表示的第一频带信号x来输出。并且，此解析 滤波器组231包括第一阶段和第二阶段。例如，第一阶段是QMF滤波 器组，第二阶段是奈奎斯特滤波器组。在这些阶段中，首先以QMF滤 波器(第一阶段)划分为多个频带，进而以奈奎斯特滤波器(第二阶 段)将低频侧的子频带分为更窄的子频带，从而可以提高位于低频的 子频带的频谱分辨率。声道扩大部232的前矩阵处理部2321利用BC信息生成作为标度 因子的矩阵Rl，所述标度因子示出向各声道的信号强度的分配(定 标)。例如，前矩阵处理部2321利用强度信息IID来生成矩阵Rl，所 述强度信息IID示出以下的信号强度的比率，即縮混信号M的信号强 度分别和第一縮混信号M1、第二縮混信号M2、第三縮混信号M3以及 第四縮混信号M4的信号强度的比率。艮P，前矩阵处理部2321的目的在于生成中间信号，该中间信号可 以用在图2所示的第一到第五声道分离部241到245生成无相关信号 中，且前矩阵处理部2321根据定标输入縮混信号M的能量强度的ILD 空间参数来算出标度因子的矢量Rl，该标度因子的矢量Rl包括合成 信号M1 M4的ILD空间参数的矢量元素(vector elements) Rl[O] 到Rl [4]。第一运算部2323获得从解析滤波器组231输出的时频混合表示的 第一频带信号x，例如(公式2)和(公式3)所示，算出所述第一 频带信号x和矩阵Rl的乘积。并且，第一运算部2323输出示出矩阵 运算结果的中间信号v。 g口，第一运算部2323从由解析滤波器组231 输出的吋频混合表示的第一频带信号x中分离四个在此，M1到M4，以下列(公式3)来表示< (公式3)<formula>formula see original document page 14</formula>无相关处理部2324具有图3所示的全通滤波器261所具有的功 能，通过对中间信号v施行全通滤波处理，从而如(公式4所示)，生 成并输出无相关信号w。并且，无相关信号w的构成要素Mrev以及 Mi， rev是对縮混信号M以及Mi施行无相关处理的信号。(公式4)<formula>formula see original document page 14</formula>并且，上述(公式4 )的wDry由原来的縮混信号构成(以后称为 "Dry"信号)，wWet由无相关信号的集合构成(以后称为"Wet"信 号)。后矩阵处理部2322利用BC信息生成矩阵R2，该矩阵R2示出混响在各个声道中的分配。即，后矩阵处理部2322为了导出各个信号， 算出混合M和Mi, rev的混合系数的矩阵R2。例如，后矩阵处理部2322 通过示出声音的幅度或扩散性的相关信息ICC导出混合系数Hij，并 生成由该混合系数Hij构成的矩阵R2。第二运算部2325算出无相关信号w和矩阵R2的乘积，并输出示 出矩阵运算结果的输出信号y。即，第二运算部2325从无相关信号w 分离六个音频信号，即Lf、 Rf、 Ls、 Rs、 C、以及LFE。例如，如图2所示，要想从第二縮混信号M2分离前左音频信号 Lf ，就要在该前左音频信号Lf的分离中利用第二縮混信号M2和与其 相对应的无相关信号w的构成要素M2，rev。同样，要想从第一縮混信 号M1分离第二縮混信号M2，就要在该第二缩混信号M2的算出中利用 第一縮混信号Ml和与其相对应的无相关信号w的构成要素Ml, rev。因此，前左音频信号Lf以以下的(公式5)来表示。 (公式5)碼-^，ZM^i^，^M一在此，(公式5 )中的Hij， A是第三声道分离部243中的混合系数， Hij， D是第二声道分离部242中的混合系数，Hi j， E是第一声道分离部 241中的混合系数。(公式5 )中所示出的三个公式可以归纳为以下(公 式6)所示出的一个矢量乘法算式。 (公式6 )除前左音频信号Lf以外，其它的音频信号Rf、 C、 LFE、 Ls、以 及Rs也可以通过上述的矩阵和无相关信号w的矩阵的运算来算出。 艮P，输出信号y可以用以下的(公式7)来表示。 (公式7)<formula>formula see original document page 16</formula>由第一到第五声道分离部241到245的混合系数的倍数集合构成 的矩阵R2为了生成多通道信号，而线性组合M、 Mrev、 M2，rev、 '"M4，rev。为了以后的能量整形处理，yDry和yWet被分别 存储。时间上的处理装置900将被复原的各个音频信号的表示形式从时 频混合表示转换为时域表示形式，并将以时域表示的多个音频信号作 为多通道信号来输出。并且，时间上的处理装置900为了与解析滤波 器组231相匹配，例如可以由两个阶段构成。并且，矩阵R1、 R2是按 各个上述的参数频带b作为矩阵Rl (b) 、 R2 (b)而被生成的。在此，Wet信号和Dry信号在被合并之前，Wet信号是按照Dry 信号的时间上的包络被整形的。时间上的处理装置900这一模块对于 像攻击音等这种具有快速时间变化特性的信号而言是不可缺少的。即，时间上的处理装置900在像攻击音或声音信号这样的时间变 化急剧的信号的情况下，为了改善声音的失真，为了适合于直接信号 的时间包络，而通过使整形扩散信号的时间包络的信号和直接信号相加并输出，来保持原有声音的音质。图5是图4所示的时间上的处理装置900的详细构成方框图。 如图5所示，时间上的处理装置900包括分离器901、合成滤波器组902和903、縮混部904、带通滤波器(BPF)905和906、正规化处理部907和908、标度算出处理部909、平滑处理部910、运算部911、高通滤波器(HPF)912、以及加法部913。分离器901，将被复原了的信号y像以下的(公式8)和(公式9)所示那样，划分为直接信号ydirect和扩散信号ydiffuse。 (公式8)低频用 高频用(公式9)低频用 高频用合成滤波器组902将六个直接信号向时域转换。合成滤波器组903 与合成滤波器组902 —样，将六个扩散信号向时域转换。縮混部904根据以下(公式1 0 )，使时域中的六个直接信号相加， 从而得到一个直接縮混信号Mdirect。 (公式l0)6BPF905对一个直接縮混信号施行带通处理。BPF906与BPF905 — 样，对六个扩散信号均施行带通处理。被施行了带通处理的直接縮混 信号以及扩散信号以以下的(公式l 1 )来表示。 (公式l1)w一尸一u力，卿眠朋正规化处理部907根据以下所示的(公式1 2 )进行正规化处理， 以使直接縮混信号在一个处理帧中具有一个能量。 (公式l2)见 (rt = , 4"，",)正规化处理部908与正规化处理部907 —样，根据以下所示的(公 式1 3 )，对六个扩散信号进行正规化。 (公式l3)m一_乃,卿咖，00_3^],rf朋鹏,"o;加o 一 Iy "、 * "、/ j x;顿犯,朋w 乃，卿je,朋w被正规化的信号在标度算出处理部909被划分为时间块。并且， 标度算出处理部909根据以下(公式l 4)分别对各个时间块算出标度因子。(公式l 4)/仁6〉:/,ff骄加,/7。/加^j,rf^iise，"。〃'i另外，图6示出了所述(公式l 4)的时间块b示出"块索引" 时的所述划分处理。最后，所述扩散信号在运算部911被定标，并且在于加法部913 被组合到所述直接信号之前，在HPF912根据以下(公式1 5 )被施行 高通滤波处理。 (公式l5)x,鄉加,咖械朋=历^i^m(JV晚犯 s^^)并且，平滑处理部910是一种提高连续的时间块中标度因子的平 滑性的附加技术。例如，连续的时间块可以是如图6中所示，具有重 叠的a部分，在此重叠的部分，"被加权"的标度因子利用窗功能被运算。在定标处理部911也可以利用本领域技术人员所熟知的重叠加法 技术。这样，在以往的时间上的处理装置900，对于原来的各个信号， 通过整形时域的各个无相关信号，来提示上述的能量整形方法。非专利文献1 J. Herre， et al， "The Reference Model Architecture for MPEG Spatial Audio Coding", 118th AES Convention, Barcelona然而，在以往的能量整形装置中， 一半是直接信号，另一半是扩 散信号，由于需要对于这十二个信号进行合成滤波处理，因此运算负 荷非常重。并且，由于频带的不同以及高通滤波器的使用，导致了滤 波处理的延迟。艮P,在以往的能量整形装置中，通过合成滤波器组902和903， 分别将分离器901所划分的直接信号和扩散信号转换为时域信号。因 此，出现的问题是例如输入音频信号为六个声道的情况下，在每个 时间帧中需要进行6X2 = 12个合成滤波处理，这样，处理量就会很大。并且，还会出现的问题是由于对由合成滤波器组902和903转 换的时域的直接信号以及扩散信号施行带通处理或高通滤波处理，因 此，导致在这些通过处理中发生延迟。发明内容因此，本发明为了解决上述问题，目的在于提供一种能量整形装 置以及能量整形方法，可以降低合成滤波处理的处理量，并可以防止 在通过处理中所发生的延迟。为了达成上述的目的，本发明所涉及的能量整形装置在多通道音频信号的解码中进行能量整形，其中，包括分离单元，将通过时频 混合转换而得到的子频带区域的音频信号划分为，表示混响成分的扩散信号和表示非混响成分的直接信号；縮混单元，通过縮混所述直接信号来生成縮混信号；滤波处理单元，通过以每个子频带为单位，对 所述縮混信号和按照每个所述子频带划分的扩散信号施行带通滤波处 理，从而分别生成带通缩混信号和带通扩散信号；正规化处理单元， 通过对所述带通缩混信号和所述带通扩散信号各自的能量进行正规 化，从而分别生成正规化縮混信号和正规化扩散信号；标度因子算出 单元，按每个预先规定的时间间隙算出标度因子，该标度因子示出对 于所述正规化扩散信号的能量的、所述正规化縮混信号的能量的大小; 乘法单元，通过使所述标度因子与所述扩散信号相乘，从而生成标度 扩散信号；高通滤波处理单元，通过对所述标度扩散信号施行高通滤 波处理，从而生成高通扩散信号；加法单元，通过使所述高通扩散信 号和所述直接信号相加，从而生成相加信号；以及合成滤波处理单元， 通过对所述相加信号施行合成滤波处理，从而使所述相加信号转换为 时域信号。这样，在进行合成滤波处理之前，可以对各声道的直接信号以及 扩散信号，按每个子频带进行带通滤波处理。因此，可以以单纯的乘 法运算来实现带通滤波处理，并可以防止带通滤波处理所产生的延迟。 并且，对于各声道的直接信号以及扩散信号，在处理结束后对相加信 号施行合成滤波处理，由此可以进行转换为时域信号的合成滤波处理。 因此，例如在六个声道的情况下，可以将合成滤波处理的个数减少为 六个，从而可以使合成滤波处理的处理量比以往减少一半。并且，可以是，在本发明所涉及的能量整形装置中，所述能量整 形装置进一步包括平滑单元，通过对所述标度因子施行平滑处理，从 而生成平滑的标度因子，所述平滑处理是指抑制每个时间间隙的所述 标度因子的变动。据此，可以防止在频域求出的标度因子的值急剧变化或上溢，或 因音质降低而引起的问题。并且，可以是，在本发明所涉及的能量整形装置中，所述平滑单 元通过使以下两个值相加来施行所述平滑处理，所述两个值是指当前的时间间隙中的标度因子与a相乘得到的值，和当前的时间间隙的 前一个时间间隙中的标度因子与(1一 a )相乘得到的值。据此，可以以简单的处理来防止在频域求出的标度因子的值的急 剧变化或上溢。并且，可以是，在本发明所涉及的能量整形装置中，所述能量整 形装置进一步包括限幅处理单元，在所述标度因子超过预先规定的上 限值的情况下，将所述标度因子限制为上限值，并且，在所述标度因 子低于预先规定的下限值的情况下，将所述标度因子限制为下限值， 通过进行以上所述限制来对所述标度因子施行限幅处理。据此，也可以防止在频域求出的标度因子的值急剧变化或上溢， 或因音质降低而引起的问题。并且，可以是，在本发明所涉及的能量整形装置中，所述限幅处 理单元在设上限值为e的情况下，设下限值为l / e，来施行所述限 幅处理。据此，也可以以简单的处理来防止在频域求出的标度因子的值的 急剧变化或上溢。并且，可以是，在本发明所涉及的能量整形装置中，所述直接信 号包含所述音频信号的低频中的混响成分和非混响成分，以及所述 音频信号的高频中的非混响成分。并且，可以是，在本发明所涉及的能量整形装置中，所述扩散信 号包含所述音频信号的高频中的混响成分，不包含所述音频信号的低 频成分。并且，可以是，在本发明所涉及的能量整形装置中，所述能量整 形装置进一步包括控制单元，对所述音频信号是否施行能量整形进行 切换。据此，通过对是否施行能量整形进行切换，从而可以实现声音 的时间上变动的尖锐性以及确实地声像定位。并且，可以是，在本发明所涉及的能量整形装置中，所述控制单 元按照控制是否施行能量整形处理的控制标志，对所述扩散信号以及所述高通扩散信号的某一方进行选择，所述加法单元使在所述控制单 元选择的信号和所述直接信号相加。据此，可以随时简单地对是否施行能量整形进行切换。 并且，本发明不仅可以作为这样能量整形装置来实现，而且可以 作为将具有这样的能量整形装置的特征性单元作为步骤的能量整形方 法来实现，也可以作为使计算机执行这些步骤的程序来实现，还可以 对能量整形装置所具备的特征性单元进行集成电路化。并且，这样的程序可以通过CD-ROM等记录介质或互联网等传输介质来分发。通过以上的说明，可以明确知道，根据本发明所涉及的能量整形装置，可以在不使比特流的句法变形，且维持高音质的基础上，降低合成滤波处理的处理量，并可以防止在通过处理中所发生的延迟。 因此，本发明在向移动电话或移动信息终端分发音乐内容或在视听已经普及的今天，具有非常高的实用价值。


图1是利用空间编解码的基本原理的音频装置的全体构成的方框图。图2是在六个声道时的多声道合成部23的功能构成方框图。图3是用于说明多声道合成部23的原理的其它的功能构成方框图。图4是多声道合成部23的详细构成的方框图。图5是图4所示的时间上的处理装置900的详细构成的方框图。图6是在以往的整形方法中根据加窗重叠处理的平滑技术示意图。图7是本实施例1中的时间上的处理装置(能量整形装置)的构 成示意图。图8是考虑在子频带区域中频带滤波处理以及运算节约的示意图。图9是本实施例1中的时间上的处理装置(能量整形装置)的构 成示意图。 符号说明600 a , 600b 时间上的处理装置601分离器604縮混部605,606 BPF607， 608正规化处理部609标度算出处理部610平滑处理部611运算部612 HPF613加法部614合成滤波器组615控制部具体实施方式
以下，利用附图对本发明的实施例进行说明。并且，以下所示的 实施例只不过用于说明各种创造性的原理。在此所述的详细变形可以 理解为是本领域技术人员可以知道的。因此，本发明仅限定于权利要 求的范围，并非受以下具体的、详细说明所限。 (实施例l )图7是本发明的实施例1中时间上的处理装置(能量整形装置) 的构成图。该时间上的处理装置600a是代替图5的时间上的处理装置900， 构成多声道合成部23的装置，如图7所示，该时间上的处理装置600a 包括分离器601、縮混部604、 BPF605、 BPF606、正规化处理部607、 正规化处理部608、标度算出处理部609、平滑处理部610、运算部611、HPF612、加法部613、以及合成滤波器组614。在该时间上的处理装置600a中，将来自声道扩大部232的、以时 频混合表示的子频带区域的输出信号作为直接输入，最后通过以合成 滤波处理返回到时间信号，从而可以节省以往所需要的合成滤波处理 负荷的50%，并且，各部的处理也可以变得简单。分离部601的工作因与图5的分离器901相同，故省略说明。艮P, 分离部601将通过时频混合转换而得到的子频带区域的音频信号划分 为，表示混响成分的扩散信号和表示非混响成分的直接信号。在此，直接信号中含有音频信号的低频频带中的混响成分和非 混响成分，以及所述音频信号的高频频带中的非混响成分。并且，扩 散信号中含有音频信号的高频频带中的混响成分，不含有音频信号的 低频成分。据此，可以对攻击音等时间变化剧烈的声音施行恰当地音 质失真防止处理。在非专利文献1中所述的縮混部904和本发明中的縮混部604的 区别在于处理的信号是时域信号还是子频带信号。然而，不论是哪 一个都采用的是一般的多声道縮混处理方法。即，縮混部604通过縮 混直接信号而生成縮混信号。BPF605以及BPF606对于縮混信号以及按照每个所述子频带划分 的扩散信号，通过在各个子频带中施行带通处理，从而生成各个带通 缩混信号以及带通扩散信号。如图8所示，在BPF605和BPF606中的频带滤波处理是通过在各个子频带对频带滤波器所对应的频率响应进行单纯的相乘而被简单化 的。从广义上来讲，频带滤波器可以被视为乘法器。在此，800表示 频带滤波器的频率响应。而且，在此乘法运算只要对具有重要的频带 响应的区域801进行即可，因此，可以消减运算量。例如，在外部阻 带区域802和803，若假定乘法运算结果为O，通带的振幅为l，则乘 法运算可以视为是单纯的复制处理。艮卩，在BPF605和BPF606的频带滤波处理可以根据以下(公式16 )进行。 (公式l6)<formula>formula see original document page 26</formula><formula>formula see original document page 26</formula>
在此，ts是时间间隙索引，sb是子频带索弓l。 Bandpass(sp)可以 是如以上所说明的单纯的乘法运算器。正规化处理部607和608对带通縮混信号以及带通扩散信号各自 的能量进行正规化，并分别生成正规化縮混信号以及正规化扩散信号。正规化处理部607以及正规化处理部608与非专利文献1中公开 的正规化处理部907以及正规化处理部908的区别在于(l)处理的信 号的区域不同，正规化处理部607以及正规化处理部608处理的是子 频带区域的信号，而正规化处理部907以及正规化处理部908处理的 是时域的信号；(2)除利用以下所示的复共轭以外， 一般的正规化处理 方法不同，即按照以下(公式l 7)的处理方法不同。在这种情况下，需要在每个子频带进行正规化处理，根据正规化 处理部607以及正规化处理部608的优点，在具有"0 "数据的空间 区域中运算可以被省略。因此，与必需要对成为正规化对象的所有样 本进行处理的、以往的文献中所公开的正规化模块相比，从整体上来 看几乎没有增加运算负荷。 (公式l7)<formula>formula see original document page 26</formula>标度算出处理部609按照预先规定的各个时间间隙算出标度因 子，该标度因子是示出对于正规化扩散信号的能量的正规化縮混信号 的能量的大小的标度因子。具体而言，如以下所示，与其说是以时间 块为单位来执行，不如说是以时间间隙为单位来执行，除此之外，标 度算出处理部609的运算也如以下(公式l 8)所示，原则上与标度 算出处理部909相同。 (公式l 8 )<formula>formula see original document page 27</formula>在成为处理对象的时域数据相当少的情况下，基于平滑处理部 910的加窗重叠处理的平滑技术也必需被平滑处理部610所运行。然而，本实施例中所涉及的平滑处理部610的情况是，若为了以 非常小的单位进行平滑处理，而采用的标度因子与以往文献中所述的 标度因子相同的话(公式l 4)，标度因子会很散乱，因此，标度因子 本身也需要进行平滑处理。为此，例如(公式l 9)所示的单纯的低通滤波器可以用于按照 时间间隙抑制scalei(ts)的大幅度变动。 (公式l 9 )<formula>formula see original document page 27</formula>艮P，平滑处理部610通过对标度因子施行抑制各个时间间隙的变 动的平滑处理，从而生成平滑的标度因子。具体而言，平滑处理部610通过使以下两个值相加来施行平滑处理，所述两个值是指对当前的时间间隙中的标度因子乘以a而得到的值，和对当前的时间间隙的前 一个时间间隙中的标度因子乘以(1-a)而得到的值。在此，例如设a为0.45。并且，通过改变a的大小，从而可以控 制效果(0《a《1)。上述a的值可以由编码装置一方即音频编码器10发送，也可以在 发送方控制平滑处理，可以在众多方面发挥效用。当然，以上所述的 预先规定的a值也可以保持在平滑处理装置中。但是，在平滑处理中处理的信号能量大的情况下等，能量集中于 特定的频带，平滑处理的输出会出现上溢。为此，进行以下的(公式 2 0 )所示的scalei(ts)的限幅处理。 (公式2 0)sca/ (to) = min(max(化a/ 问，l / jS)， j3)在此，e是限幅系数，min()和max()分别表示最小值和最大值。艮口，限幅处理单元(未图示)对标度因子施行的限幅处理是在 标度因子超过预先规定的上限值的情况下则限制为上限值，在低于预 先规定的下限值的情况下则限制为下限值。在(公式2 0 )中，按每个通道计算的scalei(ts)表示的意思是 例如0=2.82的情况下，上限值被设定为2.82,下限值被设定为 1/2.82，则scalei(ts)的值被限制在这个范围。并且，所述阈值2.82 和1/2. 82在此仅为一个例子，并非受这些值所限。运算部611通过使标度因子与扩散信号相乘，从而生成标度扩散 信号。HPF612通过对标度扩散信号施行高通滤波处理，从而生成高频 扩散信号。加法部613使高频扩散信号和直接信号相加，从而生成相 加后的信号。具体而言，运算部611、 HPF612、以及与直接信号进行加法运算 的加法部613，分别像合成滤波器组902、 HPF912、以及加法部913那样工作。然而，上述处理可以像以下(公式2 1 )所示进行组合。 (公式2 1 )<formula>formula see original document page 113</formula>上述的BPF605和BPF606中的为了节约运算的想法(例如在阻带 适用"0"，在通带适用复制处理)也可以适用于高通滤波器612。合成滤波器组614通过对相加后的信号施行合成滤波处理，从而 使相加后的信号转换为时域信号。即，最后通过合成滤波器组614而 使新的直接信号yl转换为时域信号。另外，本发明所包括的各个构成构件可以由LSI(Large Scale Integration)等集成电路来构成。而且在本发明，这些装置以及各构成构件的工作可以作为使计算 机执行的程序来实现。 (实施例2 )并且，对于决定本发明是否适用，可以设定比特流中的若干个控 制标志，并在图9所示的时间上的处理装置600b的控制部615，可以 通过这些标志，对一部分再建信号的每个帧的工作或不工作进行控制。 即，控制部615可以按照时间帧或通道来切换是对音频信号施行能量 整形还是不施行能量整形。据此，通过对施行或不施行能量整形进行 切换，可以实现声音的时间上变动的尖锐性以及确实地声像定位。为此，也可以是，例如在编码处理过程中，分析音频通道，进行 是否具有伴随急剧变化的能量包络的判断，在存在有相对应的音频通 道的情况下，由于需要能量整形，因此将所述控制标志设定为"0N"， 使整形处理按照解码时的控制标志来适用。即也可以是，控制单元615按照所述控制标志，选择扩散信号以及高频扩散信号的任一个，加法部613使控制部615所选择的信号和 直接信号相加。这样，可以随时简单地对施行或不施行能量整形进行 切换。本发明所涉及的能量整形装置是一种可以比芯片尺寸还要小，并 且可以减少存储器的必要容量的技术，可以适用于家庭影院系统、车 载音响系统、电子游戏系统或移动电话等，并可以适用于希望多声道 再生的装置。
权利要求
1.一种能量整形装置，在多通道音频信号的解码中进行能量整形，其特征在于，包括分离单元，将通过时频混合转换而得到的子频带区域的音频信号划分为，表示混响成分的扩散信号和表示非混响成分的直接信号；缩混单元，通过缩混所述直接信号来生成缩混信号；滤波处理单元，通过以每个子频带为单位，对所述缩混信号和按照每个所述子频带划分的扩散信号施行带通滤波处理，从而分别生成带通缩混信号和带通扩散信号；正规化处理单元，通过对所述带通缩混信号和所述带通扩散信号各自的能量进行正规化，从而分别生成正规化缩混信号和正规化扩散信号；标度因子算出单元，按每个预先规定的时间间隙算出标度因子，该标度因子示出对于所述正规化扩散信号的能量的、所述正规化缩混信号的能量的大小；乘法单元，通过使所述标度因子与所述扩散信号相乘，从而生成标度扩散信号；高通滤波处理单元，通过对所述标度扩散信号施行高通滤波处理，从而生成高通扩散信号；加法单元，通过使所述高通扩散信号和所述直接信号相加，从而生成相加信号；以及合成滤波处理单元，通过对所述相加信号施行合成滤波处理，从而使所述相加信号转换为时域信号。
2.如权利要求l所述的能量整形装置，其特征在于， 所述能量整形装置进一步包括平滑单元，通过对所述标度因子施行平滑处理，从而生成平滑的标度因子，所述平滑处理是指抑制每个 时间间隙的所述标度因子的变动。
3. 如权利要求2所述的能量整形装置，其特征在于，所述平滑单元通过使以下两个值相加来施行所述平滑处理，所述 两个值是指当前的时间间隙中的标度因子与a相乘得到的值，和当 前的时间间隙的前一个时间间隙中的标度因子与(1 一a)相乘得到 的值。
4. 如权利要求1所述的能量整形装置，其特征在于， 所述能量整形装置进一步包括限幅处理单元，在所述标度因子超过预先规定的上限值的情况下，将所述标度因子限制为上限值，并且， 在所述标度因子低于预先规定的下限值的情况下，将所述标度因子限 制为下限值，通过进行以上所述限制来对所述标度因子施行限幅处理。
5. 如权利要求4所述的能量整形装置，其特征在于， 所述限幅处理单元在设上限值为3的情况下,设下限值为1 /卜来施行所述限幅处理。
6. 如权利要求1所述的能量整形装置，其特征在于， 所述直接信号包含所述音频信号的低频中的混响成分和非混响成分，以及所述音频信号的高频中的非混响成分。
7. 如权利要求l所述的能量整形装置，其特征在于， 所述扩散信号包含所述音频信号的高频中的混响成分，不包含所述音频信号的低频成分。
8. 如权利要求l所述的能量整形装置，其特征在于，所述能量整形装置进一步包括控制单元，对所述音频信号是否施 行能量整形进行切换。
9.如权利要求8所述的能量整形装置，其特征在于， 所述控制单元按照表示在每个音频帧是否施行能量整形处理的控 制标志进行选择，在不施行能量整形处理的情况下选择所述扩散信号， 在施行能量整形处理的情况下选择所述高通扩散信号；所述加法单元使在所述控制单元选择的信号和所述直接信号相加。
10 . —种能量整形方法，在多通道音频信号的解码中进行能量 整形，其特征在于，包括分离步骤，将通过时频混合转换而得到的子频带区域的音频信号 划分为，表示混响成分的扩散信号和表示非混响成分的直接信号；縮混步骤，通过縮混所述直接信号来生成縮混信号；滤波处理步骤，通过以每个子频带为单位，对所述縮混信号和按 照每个所述子频带划分的扩散信号施行带通滤波处理，从而分别生成 带通縮混信号和带通扩散信号；正规化处理步骤，通过对所述带通缩混信号和所述带通扩散信号 各自的能量进行正规化，从而分别生成正规化縮混信号和正规化扩散 信号；标度因子算出步骤，按每个预先规定的时间间隙算出标度因子， 该标度因子示出对于所述正规化扩散信号的能量的、^f述正规化縮混 信号的能量的大小；乘法步骤，通过使所述标度因子与所述扩散信号相乘，从而生成 标度扩散信号；高通滤波处理步骤，通过对所述标度扩散信号施行高通滤波处理， 从而生成高通扩散信号；加法步骤，通过使所述高通扩散信号和所述直接信号相加，从而生成相加信号；以及合成滤波处理步骤，通过对所述相加信号施行合成滤波处理，从 而使所述相加信号转换为时域信号。
11 .如权利要求1 Q所述的能量整形方法，其特征在于， 所述能量整形方法进一步包括平滑步骤，通过对戶万述标度因子施行平滑处理，从而生成平滑的标度因子，所述平滑处理是指抑制每个时间间隙的所述标度因子的变动。
12.如权利要求l l所述的能量整形方法，其特征在于， 在所述平滑步骤通过使以下两个值相加来施行所述平滑处理，所 述两个值是指当前的时间间隙中的标度因子与a相乘得到的值，和 当前的时间间隙的前一个时间间隙中的标度因子与(1 一a )相乘得 到的值。
13.如权利要求l O所述的能量整形方法，其特征在于， 所述能量整形方法进一步包括限幅处理步骤，在所述标度因子超 过预先规定的上限值的情况下，将所述标度因子限制为上限值，并且， 在所述标度因子低于预先规定的下限值的情况下，将所述标度因子限 制为下限值，通过进行以上所述限制来对所述标度因子施行限幅处理。
14.如权利要求l 3所述的能量整形方法，其特征在于， 在所述限幅处理步骤，在设上限值为P的情况下，设下限值为 1 / P ，来施行所述限幅处理。
15.如权利要求l 0所述的能量整形方法，其特征在于， 所述直接信号包含所述音频信号的低频中的混响成分和非混响成分，以及所述音频信号的高频中的非混响成分。
16.如权利要求l 0所述的能量整形方法，其特征在于， 所述扩散信号包含所述音频信号的高频中的混响成分，不包含所 述音频信号的低频成分。
17.如权利要求l 0所述的能量整形方法，其特征在于， 所述能量整形方法进一步包括控制步骤，对所述音频信号是否施 行能量整形进行切换。
18.如权利要求l 7所述的能量整形方法，其特征在于， 在所述控制步骤按照表示在每个音频帧是否施行能量整形处理的 控制标志进行选择，在不施行能量整形处理的情况下选择所述扩散信 号，在施行能量整形处理的情况下选择所述高通扩散信号；在所述加法步骤使在所述控制步骤选择的信号和所述直接信号相加。
19 . 一种程序，其特征在于，该程序是用于在多通道音频信号 的解码中进行能量整形的程序，并使计算机执行权利要求l 0所述的 能量整形方法中所包含的步骤。
20. —种集成电路，在多通道音频信号的解码中进行能量整形， 其特征在于,该集成电路集成了能量整形装置，该能量整形装置包括分离器，将通过时频混合转换而得到的子频带区域的音频信号划 分为，表示混响成分的扩散信号和表示非混响成分的直接信号； 縮混电路，通过縮混所述直接信号来生成縮混信号； 滤波器，通过以每个子频带为单位，对所述缩混信号和按照每个 所述子频带划分的扩散信号施行带通滤波处理，从而分别生成带通縮混信号和带通扩散信号；正规化处理电路，通过对所述带通縮混信号和所述带通扩散信号 各自的能量进行正规化，从而分别生成正规化縮混信号和正规化扩散 信号；标度因子算出电路，按每个预先规定的时间间隙算出标度因子， 该标度因子示出对于所述正规化扩散信号的能量的、所述正规化缩混 信号的能量的大小；乘法器，通过使所述标度因子与所述扩散信号相乘，从而生成标 度扩散信号；高通滤波处理电路，通过对所述标度扩散信号施行高通滤波处理， 从而生成高通扩散信号；加法器，通过使所述高通扩散信号和所述直接信号相加，从而生 成相加信号；以及合成滤波器，通过对所述相加信号施行合成滤波处理，从而使所 述相加信号转换为时域信号。
全文摘要
时间上的处理装置(能量整形装置)(600a)包括分离器(601)，将通过时频混合转换而得到的子频带区域的音频信号划分为，表示混响成分的扩散信号和表示非混响成分的直接信号；缩混部(604)，通过缩混所述直接信号来生成缩混信号；BPF(605、606)，通过以每个子频带为单位，对所述缩混信号和按照每个所述子频带划分的扩散信号施行带通滤波处理，从而分别生成带通缩混信号和带通扩散信号；正规化处理部(607、608)，通过对所述带通缩混信号和所述带通扩散信号各自的能量进行正规化，从而分别生成正规化缩混信号和正规化扩散信号；标度算出处理部(609)，按每个预先规定的时间间隙算出标度因子，该标度因子示出对于所述正规化扩散信号的能量的、所述正规化缩混信号的能量的大小；运算部(611)，通过使所述标度因子与所述扩散信号相乘，从而生成标度扩散信号；HPF(612)，通过对所述标度扩散信号施行高通滤波处理，从而生成高通扩散信号；加法部(613)，通过使所述高通扩散信号和所述直接信号相加，从而生成相加信号；以及合成滤波器组(614)，通过对所述相加信号施行合成滤波处理，从而使所述相加信号转换为时域信号。
文档编号G10L19/02GK101253556SQ20068003186
公开日2008年8月27日 申请日期2006年8月31日 优先权日2005年9月2日
发明者则松武志, 宫阪修二, 小野耕司郎, 川村明久, 张国成, 石川智一, 高木良明 申请人:松下电器产业株式会社