用于改善高频重建的方法

专利名称：用于改善高频重建的方法
技术领域：
本发明涉及信源编码系统，这些系统利用了高频重建(HFR)如谱带复制(SBR[WO 98/57436])或相关的方法。它改善了高质量方法(SBR)和低质量复制方法[美国专利5127054]的性能。它可以应用于语音编码及自然音频编码系统。
背景技术：
高频重建(HFR)是一种用以提高音频及语音编码算法质量的相对较新的技术。迄今为止，该项技术已经被语音编解码器如用于第三代蜂窝系统的宽带AMR编码器以及音频编码器如mp3或AAC所采用，其中用高频重建算法SBR对传统的波形编解码器进行了补充(从而形成mp3PRO或AAC+SBR)。
高频重建是一种编码音频及语音信号高频部分的非常高效的方法。由于它本身不能完成编码，因此它总是与一种普通的基于波形的音频编码器(比如AAC、mp3)或语音编码器结合使用。这些编码器负责编码频谱上的低频部分。高频重建的基本思想是，较高的频率不被编码及传输，而是在解码器中根据较低的频谱在一些附加参数(主要是描述音频信号的高频频谱包络的数据)的帮助下重建出来，所述的低频频谱在较低比特速率的比特流中传输，而附加参数则可以单独或作为基本编码器的辅助数据传输。附加的参数也可以被省略，但是从现在的情况看来，其所能达到的质量要低于使用了附加参数的系统。
特别是对于音频编码，HFR能够显著改善编码效率，尤其是在“听起来不错但不够明晰”的质量范围之内。其中有两个主要原因传统的波形编解码器如mp3需要减小音频带宽以适应非常低的比特速率，否则频谱中的人为成分水平就会变得太高。HFR以很低的代价和较好的质量重建那些高频。由于HFR使用一种低成本的方法来创建高频成分，因此由音频编码器编码的音频带宽可以被进一步降低，从而带来更少的人为成分以及整个系统更好的最坏情况。
HFR可以与编码器中的下采样/解码器中的上采样一同使用。在这种常用的环境中，HFR编码器分析全带宽的音频信号，但是送入音频编码器的信号被下采样到一个较低的采样速率。一个典型的例子是HFR速率为44.1kHz，而音频编码器速率为22.05kHz。将音频编码器运行在较低的采样速率上是一种优势，因为它在较低的采样率上效率更高。在解码端，经过解码的低采样速率音频信号被上采样，并且HFR部分被添加进来，从而就能够产生达到最初的奈奎斯特频率的频率，尽管音频编码器是工作在比如一半的采样速率下的。
使用了HFR的系统的一个基本参数是所谓的分隔频率(COF，cross over frequency)，也就是普通波形编码结束而HFR频率范围开始的频率点。最简单的设置是令COF为一个固定频率。已经被引入的一个较为先进的方案是根据待编码信号的特性动态调节COF。
HFR的一个主要问题在于一个音频信号中可能包含了更高频率上的成分，其使用目前的HFR方法很难重建，但是这些成分可以比较容易地由其他方法重建，比如波形编码方法或通过合成信号生成。一个简单的例子是编码一个只含有高于COF的正弦波的信号。这里的COF为5.5kHz。由于在低频中没有有用信号存在，因此基于低频带的推断以得到高频带的HFR方法不能产生任何信号。因此，所述的正弦波信号就不能被重建。需要用其他方法以有用的途径来编码这个信号。在这个简单的例子中，提供COF灵活调节的HFR系统已经能够在某种程度上解决该问题。如果COF被设置为高于所述正弦波的频率，那么就能利用核心编码器非常高效地编码该信号。然而这里假设能够这样做，但实际情况并不总是如此。如前所述，结合HFR与语音编码的主要优点之一在于核心编码器可以工作在一半的采样速率上(提供较高的压缩效率)。在实际情况中，比如一个核心工作在22.05kHz上的44.1kHz系统，这样的一个核心编码器只能编码至10.5kHz左右的信号。但是除此之外，在考虑更为复杂的信号时，即使是对于核心编码器所能达到范围内的频谱部分，问题也会明显变得更为复杂。现实世界的信号可能会在一个复杂的频谱中包含可以听见的类似正弦波的高频成分(比如小铃当)，如图2所示。在这种情况下调节COF不是一种解决方案，因为HFR方法所获得的大部分收益都被使用核心编码器编码更大部分的频谱而缩减了。

发明内容
因此，上述问题的一个解决方案，也就是本发明的主题，是一种高度灵活的HFR系统的概念，该系统不仅允许改变COF，还允许通过不同方法的频率选择合成来得到更灵活的解码/重建频谱的组合。
本发明的基础是HFR系统中允许根据频率选择不同编码或重建方法的机制。该机制可以利用例如SBR中所用的64带滤波器组解析/合成系统来实现。提供无混叠均衡功能的复滤波器组特别有用。
主要的发明步骤在于滤波器组现在不止作为供COF及其后的包络调节使用的滤波器，还要以高度灵活的方式使用它以从下列来源中为各个滤波器组通道选出输入信号波形编码(利用核心编码器)；置换(通过后面的包络调节)；波形编码(利用奈奎斯特以外的额外编码)；参数编码；可以应用在频谱的某些部分中的任意其他编码/重建方法；或是上述各项的任意组合。
由此，现在可以在任意频谱结构中使用波形编码、其他编码方法以及HFR重建来实现最高的可能质量和编码增益。但是很明显，本发明并不局限于使用子带滤波器组，而是可以与任何频率选择性滤波结合使用。
本发明包括下列特性一种利用解码器中的可用低频带来推断高频带的HFR方法；
在编码器端，利用HFR方法在不同的频率区域内进行估算，哪些地方HFR方法不能根据低于COF的频率范围正确地产生与原始信号的谱线相似的谱线；为不同的频率区域编码一条或多条谱线；将经过编码的对应于不同频率区域的一条或多条谱线从编码器发送到解码器；解码一条或多条谱线；将经过解码的一条或多条谱线添加到从解码器中的HFR方法输出的不同频率区域中；所述的编码是所述一条或多条谱线的参数编码；所述的编码是所述一条或多条谱线的波形编码；利用子带滤波器组将经过参数编码的一条或多条谱线合成起来；所述一条或多条谱线的波形编码是由信源编码系统的基础核心编码器完成的；所述一条或多条谱线的波形编码是由任意的波形编码器完成的。


以下将参照附图通过图示实例的方式说明本发明，但这些实例并不限制本发明的范围与主旨，在附图中图1示出了原始信号的频谱，该信号只含有一个高于5.5kHz COF的正弦波；图2示出了流行音乐中含有铃声的原始信号频谱；图3示出了利用预测增益检测丢失的谐波；图4示出了一个原始信号的频谱；图5示出了未使用本发明的频谱；图6示出了使用本发明的输出频谱；图7示出了本发明一种可能的编码器实现方式；图8示出了本发明一种可能的解码器实现方式；图9示出了一种创新性编码器的原理示意图；
图10示出了一种创新性解码器的原理示意图；图11所示的示意图展示了根据分隔频率与采样频率的关系将频谱范围组织成比例因子频带与通道；以及图12示出了与基于滤波器组方法的HFR变换方法有关的创新性解码器的原理示意图。
具体实施例方式
以下所述的实施例仅用来说明本发明改善高频重建系统的原理。应该理解，对于精通本技术的其他人来说对这里所述的结构及细节进行改进和改变是很显然的。因此，说明意图在于(本发明)只受到后文中的专利权利要求的限制，而不受此处通过对实施例的描述和说明而呈现的特定细节所限。
图9示出了一种创新性编码器。该编码器包括一个核心编码器702。这里需要注意的是该创新性方法还可以被用作已有核心编码器的所谓附加模块。在该例中，创新性编码器包括一个输入端用来接收一个编码输入信号，该输入信号是由一个独立的核心编码器702输出的。
图9中所述的创新性编码器还额外包括一个高频重建模块703c、一个差值检测器703a、一个差值记录器模块703b以及一个合并器705。
下面将说明上述方法的各功能间的相互依赖性。
具体地说，所述的创新性编码器是用来对音频信号输入端900上输入的音频信号进行编码以获取一个编码信号。该编码信号供利用高频重建技术的解码所用，所述的高频重建技术适合于根据低于预定频率的频率成分产生高于预定频率的频率成分，所述的预定频率也被称为分隔频率。
这里需要注意的是作为一种高频重建技术，有多种最近已知的技术可以使用。从这一点看来，应该在广义上来理解“频率成分”这个术语。这个术语至少包括通过时域/频域变换方法如FFT、MDCT或其他方法得到的频谱系数。另外，“频率成分”这个术语还包括带通信号，也就是频率选择滤波器如低通滤波器、带通滤波器或高通滤波器输出端上获得的信号。
无论核心编码器702是所述创新性编码器的一部分，还是创新性编码器被用作现有核心编码器的附加模块，编码器都包括用以产生编码输入信号的装置，该编码输入信号是一个输入信号经过编码的表现形式，它是利用一种编码算法编码而成的。关于这一点需要指明的是，所述的输入信号代表了低于一个预定频率的音频信号的频率内容，也就是说这个信号在所谓的分隔频率以下。为了表明所述输入信号只包括音频信号的低频带部分这一事实，在图9中示出了一个低通滤波器902。所述的创新性编码器确实可以带有这样的一个低通滤波器。或者，这样的一个低通滤波器也可以被包含在核心编码器702中。或者，核心编码器可以通过任意其他的已知方法完成去除音频信号频带的功能。
在核心编码器702的输出端存在一个编码输入信号，这个信号的频率内容与输入信号相似，但是它与音频信号的不同之处在于所述的编码输入信号中不含有任何高于所述预定频率的频率成分。
高频重建模块703c用于对输入信号实现高频重建技术，所述的输入信号也是输入到核心编码器702的信号，或是该信号经过编码再解码的版本。如果选择了后一种情况，那么所述的创新性编码器还要包括一个核心解码器903，该解码器从核心编码器接收编码输入信号并解码该信号，从而得到与解码器/接收器端完全相同的情况，在解码器端，高频重建技术被执行来为利用低比特率传输的编码信号提高音频带宽。
HFR模块703输出一个重建信号，该信号中含有高于所述预定频率的频率成分。
如图9中所示，由HFR模块703c输出的重建信号被输入一个差值检测器装置703a。另一方面，差值检测器装置还接收了从音频信号输入端900输入的原始音频信号。该装置用于检测来自HFR模块703c的重建信号与来自输入端900的音频信号之间的差别，它被设置来检测那些高于预定重要门限值的信号之间的差别。下面将说明若干个起到了重要门限值作用的优选门限值的实例。
差值检测器的输出端与一个差值记录器模块703b的输入端相连。差值记录器模块703b以一种特定的方式记录检测到的差值，以获取关于检测到的差值的附加信息。这些附加信息适合被输入到合并器装置705中，该装置将所述的编码输入信号、附加信息及其他可能产生的信号组合起来以得到一个编码信号，该信号被发送给一个接收机或是被存储到一种存储介质上。关于附加信息的一个重要例子是由频谱包络估算器704产生的频谱包络信息。所述的频谱包络估算器704被设置用来提供高于预定频率-也就是高于分隔频率的音频信号的谱包络信息。该谱包络信息在解码器端的HFR模块中被用来合成解码音频信号高于预定频率的频谱成分。
在本发明的一个优选实施例中，谱包络估算器704被设置用来提供频谱包络的一个比较粗糙的表示。具体地说，它(谱包络估算器)最好只为每个比例因子频带提供一个频谱包络值。比例因子频带(scale factor band)的使用对于那些精通本技术的人来说是熟知的。与变换编码器如MP3或MPEG-AAC有关，一个比例因子频带中包括若干条MDCT线。关于哪条谱线属于哪个比例因子频带的具体组织是经过标准化的，但是也会改变。一般而言，一个比例因子频带中包括多条谱线(例如MDCT线，其中MDCT代表改进的离散余弦变换)或带通信号，这些谱线或信号的数量会随比例因子频带而改变。通常，一个比例因子频带中包括至少多于两条且通常多于10条或20条谱线或带通信号。
根据本发明的一个优选实施例，创新性编码器额外包括一个可变的分隔频率。对该分隔频率的控制由创新性差值检测器703a执行。所述的控制是这样安排的当差值检测器得出较高的分隔频率将大大减少纯粹HFR可能产生的人为成分这样一个结论时，差值检测器就会指示低通滤波器902和谱包络估算器704以及核心编码器702将分隔频率置为更高的频率，以扩展编码输入信号的带宽。
另一方面，差值检测器也可以被设置为，在它发现某个低于分隔频率的带宽在听觉上不重要、因此可以由解码器中的HFR合成产生而不需直接由核心编码器编码时，它就会降低分隔频率。
另一方面，通过降低分隔频率而节省的比特可以供另一种分隔频率必须被提高的情况使用，从而获得一种比特节省选项，它以一种心理声学覆盖方法而为人所知。在这些方法中，很难编码(即需要许多比特被编码才能没有人为成分)的主音调部分会消耗更多的比特，而另一方面，信号中还存在容易编码(即只需编码较少数量的比特并且没有人为成分)的白噪声信号部分，这些信号成分会被某种比特节省控制(装置)辨认出来。
概括地说，分隔频率控制被设置用来根据差值检测器所得到的判决结果提高或降低预定频率，即分隔频率，所述的差值检测器通常会估算HFR模块703c的效率和性能以便在解码器中模拟实际情况。
差值检测器703a最好被设置用来检测未被包含在重建信号中的音频信号内的谱线。为了做到这一点，差值检测器最好包括一个预测器，用于对重建信号和音频信号执行预测工作，还包括为重建信号和音频信号确定所获得的预测增益的差值的装置。具体地说，重建信号或音频信号中频率相关的部分被确定出来，在这些部分中的预测器增益差值大于增益门限值，所述门限值在本优选实施例中是所述的重要门限值。
这里需要指出的是，差值检测器703a最好起到频率选择性元件的作用，因为它一方面估算了重建信号中相应的频带，另一方面估算了音频信号中相应的频带。为此，差值检测器中可以包括时-频转换元件，用于转换音频信号和重建信号。如果HFR模块703c所产生的重建信号已经以与频率有关的形式存在，那么这样的时/频域转换装置就不必要了，这正是本发明所使用的优选高频重建方法中的情况。如果某人必须使用时-频域转换元件来转换音频信号(该信号通常是一个时域信号)，那么最好使用滤波器组方法。一个解析滤波器组包括一组尺度合适的相邻带通滤波器，其中每个带通滤波器输出一个带通信号，该带通信号的带宽由相应带通滤波器的带宽决定。带通滤波器信号可以被认为是相对于提取它的源信号而言具有受限带宽的时域信号。带通信号的中心频率由各带通滤波器在解析滤波器组中的位置决定，这在本技术中是众所周知的。
正如后文中所要说明的那样，用来确定高于重要门限值的差值的优选方法是基于音调测量、和特别是基于音调噪声比的判决，因为这些方法适合于以鲁棒或高效的方式找出信号中的谱线或找出信号中类似噪声的部分。
待编码谱线的检测为了能够对将在HFR之后从解码输出中消失的谱线进行编码，必须在编码器中将这些信号检测出来。为了完成这一点，需要在编码器中进行随后的解码器HFR的适当合成。这并不表示该合成的输出结果必须是与解码器输出信号相似的时域输出信号。观察并合成出解码器中HFR的绝对值频谱表示就足够了。通过在一个QMF滤波器组中使用预测、并随后拾取原始信号与HFR部分之间预测增益的差值峰值，就能实现这一点。如果不拾取预测增益中的差值峰值，也可以使用频谱绝对值的差值。对于这两种方法，都通过简单地重组(频率)成分的频率分布来合成依赖于频率的预测增益或HFR的频谱绝对值，这与HFR将在解码器中进行的工作相似。
一旦获得了两种代表形式，即原始信号与合成的HFR信号，那么就可以以多种方式来完成检测。
在QMF滤波器组中可以对不同通道进行低阶线性预测，比如二阶LPC。给定被预测信号的能量以及信号的总能量，音调噪声比就可以根据下式定义q=ψ-EE]]>其中ψ＝|x(0)|2+|x(1)|2+...+|x(n-1)|2是一个已知滤波器组通道的信号块能量，而E则是预测误差块的能量。可以为原始信号计算上式，并给出如何能够得到解码器的HFR输出中不同频带的音调噪声比。从而可以计算出在任意给定的频率选择性基础上(大于QMF的频率分辨率)两者之间的差别。这个差值向量代表了原始信号与来自解码器中HFR的期望输出信号之间音调噪声比的差值，随后该差值向量被用来判定哪里需要一个额外编码方法，以补偿给定HFR技术的不足，见图3。在图3中显示了原始及合成HFR输出信号中对应于子带滤波器组频带15-41之间的频率范围的音调噪声比。栅格显示了以bark-scale形式组合在一起的频率范围的比例因子频带。为每个比例因子频带计算出原始信号与HFR输出信号的最大部分之间的差值，并显示在第三张图表中。
上述的检测也可以利用原始信号与合成HFR输出信号的任意给定频谱表示法来完成，例如在频谱绝对值中拾取峰值[“利用短时傅立叶变换模型提取频谱峰值参数[sic]且没有旁瓣窗口”(Extraction ofspectral peak parameters using a short-time Fourier transformmodeling[SiC]and without side lobe windows)Ph Depalle，T Helie，IRCAM]或类似的方法，然后对原始信号中检测到的音调成分与合成HFR输出信号中检测到的成分进行比较。
如果一条谱线被判定从HFR输出信号中消失了，就需要对其进行有效的编码，将其发送给解码器并添加到HFR输出信号中。可以使用多种方法；交织波形编码或者是例如谱线的参数编码。
QMF/混合滤波器组、交织波形编码如果待编码的谱线位于核心编码器的FS/2之下，那么它就可以同样的编码。这意味着核心编码器将对上至COF的整个频率范围以及音调成分周围规定的频率范围进行编码，后者不会由解码器中的HFR重建。或者，音调成分也可以由任意给定的波形编码器编码，在这种方法中，系统不受核心编码器FS/2的限制，而是可以对原始信号的整个频率范围进行操作。
为此，在创新性编码器中提供了核心编码器控制单元910。如果差值检测器703a判断出一个高于预定频率但低于采样频率值的一半(FS/2)的重要峰值，它就会指示核心编码器702对从音频信号中取得的带通信号进行核心编码，其中所述带通信号的频带中包括被检测出谱线的频率，以及根据实际的实施方式的一个嵌有被检测到谱线的特定频带。为此，核心编码器702本身或是核心编码器中的可控带通滤波器会将有关部分滤出音频信号，所述的音频信号是被直接送入核心编码器的，如虚线912所示。
在这种情况下，核心编码器702起到了差值记录器703b的作用，因为它对差值检测器所检测到的分隔频率之上的谱线进行了编码。因此，差值记录器703b所得到的附加信息与核心编码器702输出的编码信号一致，该编码信号涉及高于预定频率但低于采样频率值的一半(FS/2)的某些音频信号频带。
为了更好地展示上述的频率安排，参考图11。图11示出了从频率0开始一直延伸到图11右端的频率刻度。在某个频率值处，可以看到预定频率1100，该频率也被称为分隔频率。在该频率之下，图9中的核心编码器702能够产生编码输入信号。在所述的预定频率之上，只有谱包络估算器704可以为每个比例因子频带获得例如一个谱包络值。从图11可见，很明显一个比例因子频带中包括多个通道，在已知变换编码器的情况下，这些通道对应于频率系数或带通信号。图11也可用于展示图12中所示的合成滤波器组的合成滤波器组通道，后文中将说明图12。另外，还给出了采样频率值的二分之一FS/2的参考点，在图11中该点高于预定频率。
如果检测到的谱线高于FS/2，那么核心编码器702就不能起到差值记录器703b的作用。在这种情况下-如上文中所概括的那样-就必须在差值记录器中使用完全不同的编码算法，以便编码/获取关于音频信号中的谱线的附加信息，普通的HFR技术不会重建这些信息。
下面将参照图10来说明一种用来对编码信号进行解码的创新性解码器。在输入端1000将编码信号输入到一个数据流去复用器801中。具体地说，编码信号中包括一个经过编码的输入信号(从图9中的核心编码器702输出)，该信号代表原始音频信号(输入到图9中的输入端900)中一个预定频率以下的频率内容。对所述原始信号的编码在核心编码器702中利用某种已知的编码算法完成。输入端1000处的编码信号中包括一些附加信息，这些信息描述了检测到的重建信号与原始音频信号之间的差值，所述的重建信号由高频重建技术(在图9中的HFR模块703c中实现)根据输入信号或是输入信号经过编码及解码的版本(由图9中的核心解码器903实现)来产生。具体地讲，所述的创新性解码器中包括用来获得解码输入信号的装置，根据编码算法对编码输入信号进行解码即可获得所述的解码输入信号。为此，所述的创新性解码器还包括一个核心解码器803，如图10中所示。或者，所述的创新性解码器也可以被用作已有核心解码器的附加模块，从而用来获得解码输入信号的装置可以利用随后设置的HFR模块804的某个输入来实现，如图10中所示。所述的创新性解码器中还包括一个重建器用于根据附加信息重建检测到的差值，所述的附加信息是由图9中所示的差值记录器703b产生的。
作为一个关键部分，创新性解码器中还包括一个用于实现高频重建技术的高频重建装置，该技术与图9中所示的HFR模块703c所实现的高频重建技术类似。所述的高频重建模块输出一个重建信号，该信号将在一个普通的HFR解码器中被用来合成在编码器中被丢弃的音频信号部分频谱。
根据本发明，其中提供了一个包括图8中模块806和807的功能的发生器，该发生器输出的音频信号中不但包含高频重建部分，还包括任何检测到的差值，最好是谱线，这些差值不能由HFR模块804合成，但是存在于原始音频信号中。
如后文中将要概述的那样，发生器806、807可以利用HFR模块804输出的重建信号，简单地将其与核心解码器803输出的低频解码信号组合在一起，然后再根据附加信息插入谱线。或者，发生器最好还能对HFR生成的谱线进行某些操作，后文中将参照图12进行概述。通常，发生器不仅简单地将谱线插入HFR频谱的某些频率位置处，还通过衰减插入谱线周围的HFR重建谱线来计及插入谱线的能量。
以上处理是基于编码器中所执行的谱包络参数估计的。在高于预定频率-即分隔频率的频带中有一条谱线，谱包络估算器来估算该频带中的能量。这种频带可以是例如一个比例因子频带。由于谱包络估算器累计该频带中的能量而不考虑所述的能量来自噪声谱线还是某些显著的峰值-即音调谱线，因此对于给定的比例因子频带的谱包络估算值中包含谱线的能量，以及给定比例因子频带中的“噪声”谱线的能量。
为了尽可能准确地利用与编码信号一同传输的谱能量估算信息，创新性解码器通过调节给定的比例因子频带中的插入谱线以及相邻“噪声”谱线来计及编码器中的能量累计方法，从而使得总能量(即该频带中所有谱线的能量)与传输过来的对应于该比例因子频带的谱包络估算值指示的能量一致。
图12示出了基于解析滤波器组1200与合成滤波器组1202的优选HFR重建的原理示意图。解析滤波器组与合成滤波器组都由若干滤波器组通道构成，它们在图11中也参照比例因子频带及预定频率一同示出。高于预定频率的滤波器组通道在图12中由1204表示，它们必须通过滤波器组信号进行重建，即低于预定频率的滤波器组通道，在图12中由直线1206表示。这里需要指出的是，在每个滤波器组通道中，存在一个具有复带通信号采样的带通信号。图10中的高频重建模块804以及图9中的HFR模块703c中都包括一个置换/包络调节模块1208，该模块被设置用来参照某些HFR算法完成HFR。还需要指出的是，编码器端的模块不必包括一个包络调节模块。最好是以频率的函数形式估算音调的量度。这样的话，音调相差再大，谱包络绝对值的差值也不相关。
HFR算法可以是纯粹的谐波算法，或是近似的谐波HFR算法，也可以是低复杂度的HFR算法，其中包括将若干低于预定频率的连续解析滤波器组通道变换成某些高于预定频率的连续合成滤波器组通道。另外，模块1208中最好包括包络调节功能，从而可以对经过置换的谱线的幅度进行调节，以便例如让一个比例因子频带中的经过调节的谱线的累计能量与所述比例因子频带的谱包络值一致。
从图12中清晰可见，一个比例因子频带中包括若干滤波器组通道。一个示范性的比例因子频带从滤波器组通道llow延伸到滤波器组通道lup。
关于随后的匹配/正弦插入方法，这里需要指出的是这种匹配或“操作”是由图10中的发生器806、807完成的，在这些发生器中包括了一个操作器1210，用来对HFR产生的带通信号进行操作。作为输入，该操作器1210至少要从图10中的重建器805接收到谱线的位置，即数字Is，这就是待合成的正弦波要被放置的位置。另外，操作器1210最好接收到该谱线(正弦波)的合适电平，以及关于给定的比例因子频带sfb 1212的总能量的信息。
这里需要指出的是，对于要插入合成正弦信号的某个通道Is，要区别于给定比例因子频带1212中其他的通道进行处理，下面将说明这一点。对于模块1208所输出的HFR重建通道信号的这种“处理”是由操作器1210完成的，该操作器是图10中的发生器806、807的一部分，如上所述。
谱线的参数编码下面将概述一种基于滤波器组的丢失谱线参数编码的系统实例。
在使用HFR方法时，如果系统利用了符合[PCT/SE00/00159]的自适应噪声低限相加(adaptive noise floor addition，)，那么只有丢失谱线的频率位置需要被编码，这是因为谱线的电平由包络数据以及噪声低限数据隐含地提供。一个给定比例因子频带的总能量由能量数据给出，而音调/噪声能量比则由噪声低限电平数据给出。另外，在高频域中，谱线的准确位置没什么重要性，这是因为在较高的频率下人类听觉系统的频率分辨率相当粗糙。这表明可以非常高效地对谱线进行编码，并用一个向量来为各个比例因子频带指出是否要在解码器中向那个特定的频带加入正弦波。
在解码器中可以通过多种形式产生谱线。一种方法利用QMF滤波器组，这种方法已经被用于HFR信号的包络调节。这种方法效率很高，因为在一个子带滤波器组中产生正弦波是非常容易的，只要它们处在滤波器通道的中央从而不会在相邻信道中产生混叠即可。这不是一个严重的限制，因为谱线的频率位置通常被量化得比较粗糙。
如果用分组的子带滤波器组能量从时间和频率上表示从编码器发往解码器的谱包络数据，那么一个给定时刻的谱包络向量可由下式表示e＝[e(1)，e(2)，...，e(M)]，而噪声低限电平向量则根据下式给出q＝[q(1)，q(2)，...，q(M)]。
这里的能量和噪声低限数据都是在QMF滤波器组频带上进行平均的，其由一个向量表示v＝[lsb，...，usb]，该向量中包含QMF频带记录形式，从所用的最低QMF频带(lsb)到最高频带(usb)，其长度为M+1，并且其中各个比例因子频带(QMF频带中)的界限由下式给出 其中ll是比例因子频带n的下限，lu是该频带的上限。在上式中，噪声低限电平数据向量q被映射为与能量数据e相同的频率分辨率。
如果在一个滤波器组通道中产生了一个合成正弦波，就需要为所有包含在那个特定比例因子频带中的子带滤波器组通道考虑。因为这是那个频率范围内的谱包络的最高频率分辨率。如果该频率分辨率还被用于标示从HFR中消失并且需要被添加到输出中的谱线的位置，那么就可以根据下文来完成这些合成正弦波的产生与补偿。
首先，需要根据下式调节当前比例因子频带中的所有子带通道以保持该频带内的平均能量 其中ll和lu是需要添加合成正弦信号的比例因子频带的界限，xre和xim是子带采样值的实部和虚部，l是通道标号，并且ghfr(n)=q‾(n)1+q‾(n)]]>
是要求的增益调节因子，其中n是当前的比例因子频带。这里需要指出的是，上述方程对于将要放置正弦信号的滤波器组通道的谱线/带通信号不成立。
这里需要指出的是，上述方程仅仅对从llow延伸到lup的指定比例因子频带中通道成立，而且还不包括编号为Is的通道中的带通信号。该信号通过下列方程组处理。
操作器1210对通道编号为Is的通道执行下列方程，即利用代表合成正弦波的复调制信号对通道Is中的带通信号进行调制。另外，操作器1210还对从HFR模块1208输出的谱线进行加权，并利用合成正弦信号调节因子gsine来确定合成正弦信号的电平。因此下列方程仅对将要插入正弦信号的滤波器组通道Is成立。
从而根据下列方程将正弦信号置入QMF通道ls，其中ll≤ls＜luyre(ls)＝xre(ls)·ghfr(ls)+gsin(ls)·re(k)yim(ls)＝xim(ls)·ghfr(ls)+gsin(ls)·(-1)lsim(k)其中，k为调制向量指数(0≤k＜4)，(-1)ls则给出了每条其他通道的复共轭。需要这样做的原因在于QMF滤波器组中的每条其他通道都是频率倒置的。用来将一个正弦信号放置在一个子带滤波器组复频带中间的调制向量为 合成正弦信号的电平由下式给出gsine(n)=e‾(n)]]>在图4-6中示出了上述情况，其中在图4中示出了原始信号的频谱，在图5-6中分别示出了使用和未使用上述方法的输出信号频谱。在图5中，8kHz范围内的音调被宽带噪声替代。图6中，在8kHz范围内的比例因子频带中间插入了一个正弦信号，并且对整个比例因子频带的能量进行了调节，从而为那个比例因子频带保持了正确的平均能量。
实际实施方式本发明可以用硬件芯片及DSP实现，以供各类不同的系统使用，它能利用任意给定的编解码器对模拟或数字信号进行存储或传输。
在图7中示出了本发明一种可行的编码器实现方式。模拟输入信号被转换成数字形式701，并被送入核心编码器702以及用于HFR的参数提取模块704。进行一次分析703以判定在解码器中进行高频重建之后哪些谱线会丢失。以一种适当的方式对这些谱线进行编码，并将它们与其他编码数据一同复接成比特流705。图8示出了本发明一种可行的解码器实现方式。比特流被去复用801，其中低频带由核心解码器803解码，高频带则利用适当的HFR单元804重建，关于HFR之后丢失的谱线的附加信息被解码805，并被用来重建丢失的部分806。高频带的谱包络被解码802，并被用来调节重建高频带的谱包络807。低频带被延迟808，以保证与重建高频带正确地时间同步，两者(低频带与高频带)被叠加在一起。数字宽频带信号被转换成模拟宽频带信号809。
根据具体的实现细节，编码或解码的创新性方法可以用硬件或软件来实现。具体实现可以在数字存储媒质上完成，特别是在含有可以电子记录的控制信号的盘片、CD上实现，该盘片能与可编程计算机系统协作，从而实现相应的方法。一般而言，本发明还涉及计算机程序产品，该产品带有存储在可由机器读取的载体上的程序代码，当所述的计算机程序产品在计算机上运行时，所述的代码能执行所述的创新性方法。换句话说，本发明就是一种计算机程序，其中含有能够执行编码或解码的创新性方法的程序代码，当所述的计算机程序在计算机上运行时执行所述的代码。
这里需要指出的是，上述说明涉及的是一种复系统。然而所述的创新性解码器实施例也能在实值系统中工作。在这种情况下，由操作器1210实现的方程仅包括对应于实部的方程。
权利要求
1.用于编码音频信号以得到编码信号的编码器，所述的编码信号供利用了高频重建技术的解码使用，所述的高频重建技术适用于根据预定频率以下的频率成分产生高于预定频率的频率成分，所述的编码器包括用于提供编码输入信号的装置(702)，所述编码输入信号是一个输入信号经过编码的表示，所述的输入信号用一种编码算法被编码并代表了音频信号低于所述预定频率的频率内容；一个高频重建器(703c)，用来对输入信号或输入信号编码和解码后的版本执行高频重建技术，以获得一个含有高于所述预定频率的频率成分的重建信号；一个检测器(703a)，用来检测重建信号与音频信号之间高于一个重要门限值的差值；一个记录器(703b)，用来记录检测到的差值以得到附加信息；以及一个合并器(705)，用来组合编码输入信号及附加信息以产生编码信号。
2.根据权利要求1所述的编码器，其中所述的检测到的差值是包含在音频信号中但未包含在重建信号中的谱线。
3.根据权利要求1或2所述的编码器，其中所述的预定频率是一个分隔频率，该频率决定了由编码算法进行编码的输入信号的频率上限。
4.根据上述权利要求之一所述的编码器，其中所述的检测器(703a)被设置来为重建信号及音频信号使用多个频带，其中所述的差值是根据重建信号的频带以及音频信号的相同频带进行检测的。
5.根据上述权利要求之一所述的编码器，其中所述的检测器(703a)和/或高频重建器中包含一个时域到频域的转换器。
6.根据权利要求5所述的编码器，其中所述的时域到频域的转换器是一种变换或一个滤波器组。
7.根据上述权利要求之一所述的编码器，其中所述的检测器(703)包括一个预测器，用来对重建信号及音频信号进行预测；以及一个检测器，用来检测由预测器获得的预测增益中的差值，该差值大于构成所述重要门限值的增益门限值。
8.根据上述权利要求之一所述的编码器，其中所述的检测器(703a)被设置用来检测音频信号与重建信号的频谱绝对值之间的差值，该差值高于构成重要门限值的预定差值门限值。
9.根据上述权利要求之一所述的编码器，其中所述用于检测的检测器(703a)被设置用来为音频信号及重建信号决定一个依赖频率的音调量度，其中检测到一个频带，该频带中的音调量度的差别超过了构成所述重要门限值的门限差值。
10.根据权利要求9所述的编码器，其中所述的音调量度是音调噪声比。
11.根据上述权利要求之一所述的编码器，其中所述的音频信号是利用一个采样频率采样的离散音频信号；其中所述的预定频率小于所述采样频率值的一半；其中所述的检测器(703a)被设置用来测定高于预定频带的一个特定频带的差值，所述特定频带的中心频率小于采样频率值的一半，所述的编码器还包括一个控制器(910)，用来控制一个编码器产生编码输入信号，以便根据编码算法额外地对与所述特定频带有关的音频信号进行编码，从而记录下确定的差值，其中编码器(702)对应于所述特定频带的输出作为附加信息。
12.根据权利要求1至10中之一所述的编码器，其中所述的记录器(703b)中包括一个带通滤波器，用来对音频信号进行带通滤波，该带通滤波器被设置在一个特定的频带上，其中含有检测到的差值，并且其中所述的记录器(703b)中包括一个编码器，用来编码带通滤波器的一个输出以获取所述附加信号，该编码器所使用的编码算法与编码输入信号被编码所采用的编码算法不同。
13.根据权利要求1至11之一所述的编码器，其中所述的用于检测差值的检测器被设置用来检测谱线，并且其中所述的记录器被设置用来产生关于检测到的谱线的频率位置的信息。
14.根据权利要求13所述的编码器，其中所述的关于频率位置的信息包括一个向量，该向量为一个比例因子频带指出在解码该编码信号的时候是否要向该特定的比例因子频带中添加谱线。
15.根据上述权利要求之一所述的编码器，其中所述的音频信号按帧处理，并且其中所确定频率随各帧变化。
16.根据权利要求15所述的编码器，其中所述的差值检测器(703a)还包括一个分隔频率控制器，用来根据检测到的差值改变预定频率。
17.根据上述权利要求之一所述的编码器，其中所述的HFR技术被设置来根据低于预定频率的频谱值产生高于预定频率的频谱值。
18.根据上述权利要求之一所述的编码器，其中所述的HFR技术被设置来将一组与连续频率有关的频谱值或带通信号置换为一组高于所述预定频率且对应于连续频率的频谱值或带通信号。
19.根据权利要求17或18所述的编码器，其中还包括一个用来确定音频信号的谱包络的谱包络估算器(704)，所述的谱包络涉及音频信号高于预定频率的频谱部分。
20.根据权利要求19所述的编码器，其中所述的谱包络数据中包含多个包络数据点，其数量小于频谱值的数量，其中为每一个比例因子频带提供一个数据点。
21.根据上述权利要求之一所述的编码器，其中所述的频谱成分是复变换系数或复带通信号。
22.用于解码一个编码信号的解码器，所述的编码信号中包含一个编码输入信号，该输入信号代表了一个原始音频信号低于某个预定频率的频率内容，所述的编码是利用一种编码算法来实现的，以及记录了重建信号与所述原始音频信号之间被检测到的差值的附加信息，所述的重建信号是通过高频重建技术根据输入信号或输入信号编码和解码后的版本产生的，所述的解码器包括用来获取解码输入信号的装置(803)，所述的解码输入信号是根据编码算法对编码输入信号进行解码而产生的；一个重建器(805)，用来根据附加信息重建检测到的差值；一个高频重建器(804)，用来实现一个高频重建技术以获取重建信号，该高频重建技术与用来获取检测差值的高频重建技术类似；一个发生器(806、807)，用来根据解码输入信号、重建差值以及重建信号产生一个高频重建音频信号。
23.根据权利要求22所述的解码器，其中所述的检测差值包括指定频率区域内的谱线以及与该特定频率区域有关的附加信息，其中所述的重建器(805)被设置用来根据附加信息产生所述指定区域内的谱线。
24.根据权利要求22或23所述的解码器，其中所述的附加信息指定了一个比例因子频带，该频带中谱线需要被重建，其中所述的编码信号中还包含谱包络数据，用来记录音频信号高于预定频率的频谱部分，其中所述的发生器(806、807)被设置用来产生比例因子频带中的谱线，并且其中所述的发生器(806、807)还被设置用来调节比例因子频带中的谱线，从而使得含有生成谱线的比例因子频带的给定能量保持不变。
25.根据权利要求22至24之一所述的解码器，其中所述的高频重建器(804)中包括一个具有多个合成滤波器组通道的合成滤波器组(1203)，其中一个比例因子频带中包含一个以上的滤波器组通道，其中所述的编码信号中还包含一个谱包络向量与一个噪声低限电平向量，并且其中所述的重建器(805)被设置用来根据所述谱包络向量计算重建谱线的电平。
26.根据权利要求25所述的解码器，其中所述的发生器(806、807)被设置用来根据下列方程判定一个比例因子频带中哪些滤波器组通道的带通信号中不需插入正弦信号 其中l是滤波器组通道编号，其中ll是比例因子频带中最低滤波器组通道编号，其中lu是比例因子频带中最高滤波器组通道编号，其中xre是HFR模块(804)所输出的带通信号采样值的实部，xim是HFR模块(804)所输出的带通信号采样值的虚部，其中yre和yim是一个滤波器组通道的经过调节的带通信号的实部和虚部，而其中的ghfr是从噪声低限电平向量导得到增益调节因子。
27.根据权利要求25或26所述的解码器，其中所述的重建器(805)被设置用来确定需要插入合成正弦信号的某一个比例因子频带ls，并且其中根据下式定义了需要插入的合成正弦信号的电平gsine(n)=e‾(n)]]>其中n是给定比例因子频带的标号，e则是谱包络向量，并且其中所述的发生器被设置用来根据下列方程为需要置入合成正弦信号的通道求出一个带通信号yre(ls)＝xre(ls)·ghfr(ls)+gsin(ls)·re(k) 其中ls是滤波器组通道标号，正弦信号将被插入该滤波器组通道，其中ll是比例因子频带中最低滤波器组通道编号，其中lu是比例因子频带中最高滤波器组通道编号，其中xre是HFR模块(804)所输出的带通信号采样值的实部，xim是HFR模块(804)所输出的带通信号采样值的虚部，其中yre和yim是一个滤波器组通道的经过调节的带通信号的实部和虚部，而其中的ghfr是从噪声低限电平向量得到的增益调节因子，其中re和im形成了复调制向量，用于将正弦信号插入带通信号，其中k是调制向量指数，其范围在0与4之间。
28.用于编码一个音频信号以获得编码信号的方法，所述的编码信号供利用了高频重建技术的解码使用，所述的高频重建技术适用于根据预定频率以下的频率成分产生高于预定频率的频率成分，所述的方法包括下列步骤提供一个编码输入信号，该编码输入信号是一个输入信号经过编码的表示，所述的输入信号使用一种编码算法被编码并代表了音频信号低于所述预定频率的频率内容；对输入信号或输入信号编码和解码后的版本执行高频重建技术，以获得一个含有高于所述预定频率的频率成分的重建信号；检测(703a)重建信号与音频信号之间的差值，所述差值高于一个重要门限值；记录(703b)检测到的差值以得到附加信息；以及组合编码输入信号及附加信息以产生一个编码信号。
29.用于解码一个编码信号的方法，所述的编码信号中包含一个编码输入信号，该信号代表了一个原始音频信号低于某个预定频率的频率内容，所述的编码是利用一种编码算法来实现的，以及记录了重建信号与原始音频信号之间被检测到的差值的附加信息，所述的重建信号是通过高频重建技术根据输入信号或输入信号编码和解码后的版本产生的，所述的方法包括下列步骤获取一个解码输入信号，所述的解码输入信号是根据编码算法对编码输入信号进行解码而产生的；根据附加信息重建检测到的差值；使用一个高频重建技术以获取重建信号，该重频重建技术与用来获取检测差值的高频重建技术类似；根据解码输入信号、重建差值以及重建信号产生一个高频重建音频信号。
30.含有用来实现权利要求21中所述的编码方法以及权利要求22中所述的解码方法的程序代码的计算机程序，当该计算机程序在计算机上运行时执行这些代码。
全文摘要
本发明提出了一种新方法及一种新装置来增强利用高频重建(HFR)的音频信源编码系统。它在编码器端利用一种检测机制(703a)来估算频谱中的哪些部分不能被解码器中的HFR正确地重建。关于这一点的信息被有效地编码(703b)并发送给解码器，在解码器中将该信息与HFR单元的输出组合起来。
文档编号G10L21/038GK1571993SQ02820840
公开日2005年1月26日 申请日期2002年11月28日 优先权日2001年11月29日
发明者克利斯托弗·科林, 珀·埃克斯坦德, 霍尔格·霍里奇 申请人:编码技术股份公司