改善低速率码激励线性预测解码器的非语音内容的制作方法
【专利摘要】一种用于修正由时域解码器解码的时域激励的合成的方法和设备，其中解码的时域激励的合成被分类到多个类别之一。将解码的时域激励转换成频域激励，并作为解码的时域激励的合成被分类到的类别的函数，对频域激励进行修正。将修正的频域激励转换成修正的时域激励，并向合成滤波器提供修正的时域激励，以产生解码的时域激励的修正的合成。
【专利说明】改善低速率码激励线性预测解码器的非语音内容
【技术领域】
[0001]本公开涉及一种装置和方法，用于修正由时域解码器解码的时域激励的合成。
【背景技术】
[0002]现有技术的会话编解码器可以用非常好的质量表现具有大约8kbps比特率的干净语音信号和16kbps比特率的近似透明度。为了维持这样的高语音质量，即使在低比特率，也可以使用多模态编码方案。通常，输入声音信号被分离成反映其特性的不同类别。例如，不同的类别可以包括池音(voiced)、清音(unvoiced)和起始(onset)。编解码器对所有这些类别使用优化的不同的编码模式。
[0003]然而，一些部署的语音编解码器不使用这种多模态方法，导致对不同于干净语音的声音信号的次优质量(特别是在低比特率)。由于比特流被标准化，并且对比特流的任何修正都将破坏编解码器的互操作性的事实，因此在部署编解码器时，很难对编码器进行修正。然而，对解码器进行修正可以被实现用来改善在接收器侧感知到的质量。
【发明内容】
[0004]根据第一方面，本公开涉及一种用于修正由时域解码器解码的时域激励的合成的设备，包括:分类器，用于将解码的时域激励的合成分类到多个类别之一；用于将解码的时域激励转换到频域激励的转换器；修正器，作为通过分类器将解码的时域激励的合成分类到的类别的函数来修正频域激励；用于将修正的频域激励转换到修正的时域激励的转换器；以及合成滤波器，被提供修正的时域激励以产生解码的时域激励的修正的合成。
[0005]根据另一个方面，本公开涉及一种用于解码通过编码参数编码的声音信号的设备，包括:响应于声音信号编码参数对时域激励进行解码的解码器；合成滤波器，响应于解码的时域激励产生所述时域激励的合成；以及上述用于修正时域激励的合成的设备。
[0006]根据第三方面，本公开涉及一种用于修正由时域解码器解码的时域激励的合成的方法，包括:将解码的时域激励的合成分类到多个类别之一中；将解码的时域激励转换到频域激励；作为解码的时域激励的合成被分类到的类别的函数来修改频域激励；将修正的频域激励转换成修正的时域激励；以及合成修正的时域激励以产生解码的时域激励的修正的合成。
[0007]根据进一步的方面，本公开涉及一种用于解码通过编码参数编码的声音信号的方法，包括:响应于声音信号编码参数解码时域激励；合成解码的时域激励以产生所述时域激励的合成；以及上述用于修正时域激励的合成的方法。
[0008]在阅读参照附图以非限制性示例的方式给出的下面的非限制性描述之后，用于修正时域激励的合成的设备和方法的前述和其他特征将变得更加明显。
【专利附图】
【附图说明】
[0009]在附图中:[0010]图1是示出用于无效(inactive)和有效(active)的清音巾贞改善的CELP解码器的变型的简化示意图；
[0011]图2是示出用于无效和有效的清音帧改善的CELP解码器变型的详细示意图；
[0012]图3是示出用于通用音频帧改善的CELP解码器的变型的简化示意图；以及
[0013]图4是示出用于通用音频帧改善的CELP解码器变型的详细示意图。
【具体实施方式】
[0014]本公开涉及一种在解码器侧实现多模态解码以维持互操作性并提升感知质量的方法。在本公开中，虽然如在参考文献[3GPP TS26.190，((AdaptiveMult1-Rate_Wideband(AMR-WB)speech codec ；Transcoding funct1ns))]中描述的 AMR-WB用作示例性示例，但应该切记的是，这种方法也可以应用到其他类型的低比特率语音解码器，该参考文献的全部内容通过引用并入本文。
[0015]参照图1，为了实现这种多模态解码，时域激励解码器102首先对接收到的比特流101进行整体解码，例如AMR-WB比特流，以获得完整的时域码本激励线性预测(CELP)解码的激励。解码的时域激励通过线性预测(LP)合成滤波器103进行处理，以获得解码器内部采样频率的语音/声音信号时域合成。对于AMR-WB，该内部采样频率为12.8kHz，但对另一编解码器，它可能是不同的。
[0016]来自LP合成滤波器103的当前帧的时域合成通过分类器104-105-106-301(图1、图2和图3)进行处理，其中向所述分类器提供来自比特流101的话音有效性检测(VAD)信息109。分类器104-105-106-301分析时域合成并将其分类成无效语音、有效浊音语音、有效清音或通用音频。无效语音(在1051检测到)包括语音突发、表示主动语音突发期间具有浊音特性的帧的有效浊音语音(在1061检测到)、表示在语音突发期间具有清音特性的帧的有效的清音语音(在1062检测到)、以及表示音乐或混响语音的通用音频(在3010检测到)之间的所有的背景噪音。其他的类别可以添加或从上述类别得到。所公开的方法的目的是改进尤其(但并非排他性地)是无效的语音、有效的清音语音和通用音频的感知质量。
[0017]一旦确定了时域合成的类别，转换器/修正器107就使用非重叠频率变换将来自时域激励解码器102的解码的激励转换到频域。也可以使用重叠变换，但它意味着增加了端到端延迟，这在大多数情况下是不希望的。然后，在转换器/修正器107中，将激励的频率表示分离到不同的频带。频带可以有固定的大小，可以依赖于临界频带[[J.D.Johnston,“Transform coding of aud1 signal using perceptual noise criteria，，，IEEE J.Select.Areas Commun.,第6卷,第314-323页，1988年2月](其全部内容通过引入并入本文),或任何其他的组合。然后，计算每个频带的能量，并将其保存在转换器/修正器107的存储器中，以在整形(resample)处理后使用，以确保修正不改变全局的帧能量级。
[0018]转换器/修正器107执行的频域中的激励的修正可能会随着合成的分类而不同。对于无效的语音和有效的清音语音，整形可以包括对低频归一化再添加噪声，以及仅用噪声替换高频内容。解码的时域合成的截止频率、低频和高频之间的界限可以固定在约I至
1.2kHz的值。当在未修正的帧和修正的帧之间进行切换时，保持解码的时域合成的一些低频内容以防止伪像。也可以通过选择频率区间(frequency bin)作为来自时域激励解码器102的解码的基音(pitch)的函数而使得截止频率逐帧可变化。修正处理具有除去与低比特率语音编解码器相关联的电噪声种类的效果。修正处理后，应用每频带的增益匹配，以取回每个频带的初始能量级，其中稍微增加6kHz以上的频率的能量，以补偿在这些频率上的LP滤波器增益下降。
[0019]对于被归类为通用音频的帧，转换器/修正器107中的处理是不同的。首先，对所有频带的每一个频带进行归一化。在归一化操作中，频带中低于频带内最大频率值的一部分的所有区间都被设置为零。对于更高的频段，每个频段内更多的区间归零。这以较高的比特预算模拟了频率量化方案，但更多的比特分配给了较低的频率。归一化处理后，可以应用噪声填充，用随机噪声替换归零的区间，但取决于不同的比特率，并不总是使用噪声填充。修正处理后，应用每频带的增益匹配，以取回每个频带的初始能量级，并沿频带应用取决于比特率的倾斜校正，以补偿在通用音频输入情形中对LP滤波器的系统性低估。通用音频路径的另一个不同来自于增益匹配并非应用在所有的频率区间上的事实。由于通用音频的频谱通常比语音更加多尖峰，因此当可以识别频谱脉冲并对其加重时，改善了感知质量。要做到这一点，只对频带内的最高能量区间应用具有倾斜校正的全增益匹配。对于最低能量区间，对这些区间只应用一部分增益匹配。这导致增加频谱动态。
[0020]在激励频率整形和增益匹配之后，转换器/修正器107应用逆频率变换，以获得修正的时域激励。该修正的激励通过LP合成滤波器108处理，以得到修正的时域合成。在去加重滤波器和重采样器112中最终去加重和重采样至16kHz (对于AMR-WB的示例)之前，取决于时域解码合成的 分类，覆写器110简单地用来自LP合成滤波器108的修正后的时域合成覆写来自LP合成滤波器103的时域解码合成。
[0021]在无效的语音的情形中，与有效的清音语音的修正相比，唯一的区别是使用平滑器111用于平滑LP合成滤波器108以给出更平滑的噪声变化。其余的修正都与有效的清音路径相同。在下面的文本中，参照图2描述实现公开的方法的更详细的示例。
[0022]I)信号分类
[0023]参照图2，分类器104-105-106-301对于应用了修正的比特率在解码器执行如上文描述的语音/声音信号的时域合成的分类1021。为了简化附图的目的，图2没有示出LP滤波器103。解码器处的分类与如在参考文献[Milan Jelinek和Philippe Gournay ；PCT专利申请 W003102921A1, “A method and device for efficient frame erasure concealmentin linear predictive based speech codecs”]和[T.Vaillancourt 等人，PCT 专利申请W02007073604A1,“Method and device for efficient frame erasure concealment in speechcodecs”]中描述的相似(这些参考文献的全部内容通过引用并入本文)，加上对通用音频检测的一些适配。下面的参数用于在解码器处对帧进行分类:归一化的相关性！^、频谱倾斜度量et、基音稳定性计数器pc、在当前帧Es结束处声音信号的相对帧能量和过零计数器ZC0这些用于对信号进行分类的参数的计算在下面说明。
[0024]归一化的相关性rx在帧结束处基于语音/声音信号的时域合成Swt (η)计算。使用来自时域激励解码器102的最后一个子帧的基音滞后(lag)。更具体地，归一化的相关性rx基音同步地计算如下:
【权利要求】
1.一种用于修正由时域解码器解码的时域激励的合成的设备，包括: 分类器，用于将解码的时域激励的合成分类到多个类别之一； 用于将解码的时域激励转换到频域激励的转换器； 修正器，作为通过分类器将解码的时域激励的合成分类到的类别的函数来修正频域激励； 用于将修正的频域激励转 换到修正的时域激励的转换器；以及 合成滤波器，被提供修正的时域激励以产生解码的时域激励的修正的合成。
2.如权利要求1所述的用于修正时域激励的合成的设备，其中所述修正器包括: 用于计算停止使用时域激励贡献的截止频率的计算器。
3.如权利要求2所述的用于修正时域激励的合成的设备，其中所述修正器包括: 用于将所述截止频率以上的频域激励归零的归零器；以及 用于将所述截止频率以下的频域激励归一化以产生归一化的频域激励的归一化器。
4.如权利要求3所述的用于修正时域激励的合成的设备，其中所述修正器包括:随机噪声产生器和将随机噪声添加到归一化的频域激励的添加器。
5.如权利要求3和4中任一项所述的用于修正时域激励的合成的设备，其中所述修正器包括: 使用修正前和修正后的频域激励的能量计算匹配增益的计算器，该计算器将匹配增益应用到归一化的频域激励以产生修正的频域激励。
6.如权利要求2至5中任一项所述的用于修正时域激励的合成的设备，其中所述分类器将解码的时域激励的合成分类为无效或有效的清音。
7.如权利要求1至6中任一项所述的用于修正时域激励的合成的设备，包括当解码的时域激励的合成通过分类器分类为给定的一个类别时对合成滤波器进行平滑的平滑器。
8.如权利要求1至7中任一项所述的用于修正时域激励的合成的设备，其中频域激励被划分成多个频带，每个频带划分成多个频率区间，并且其中所述修正器包括: 使用随频带变化的归一化因子对频域激励进行归一化以产生归一化的频域激励的归一化器。
9.如权利要求8所述的用于修正时域激励的合成的设备，其中归一化器包括对包含多个频率区间的频带中的归一化的频域激励的最大值的一部分以下的频率区间进行归零的归零器。
10.如权利要求8或9所述的用于修正时域激励的合成的设备，其中所述修正器包括: 使用修正前和修正后的频域激励的能量计算每个频带的匹配增益的计算器。
11.如权利要求10所述的用于修正时域激励的合成的设备，其中所述修正器包括对于第一频率以下的频带，将匹配增益应用到归一化的频域激励以产生修正的频域激励的计算器。
12.如权利要求10所述的用于修正时域激励的合成的设备，对于第一较低频率和第二较高频率之间的频带包括: 用于查找归一化的频域激励在每个频带的最大值的查找器； 放大器，用于当频率区间中归一化的频域激励等于或高于与频带的所述最大值成比例的值时，在每个频率区间将匹配增益放大一放大因子；以及用于将放大的匹配增益应用到频率区间中归一化的频域激励以在所述频率区间中产生修正的频域激励的计算器。
13.如权利要求10所述的用于修正时域激励的合成的设备，对于第一较低频率和第二较高频率之间的频带包括: 用于查找归一化的频域激励在每个频带的最大值的查找器； 衰减器，用于当频率区间中归一化的频域激励低于与频带的所述最大值成比例的值时，在每个频带的频率区间将匹配增益衰减一衰减因子； 用于将衰减的匹配增益应用到所述频率区间中归一化的频域激励以在所述频率区间中产生修正的频域激励的计算器。
14.如权利要求10所述的用于修正时域激励的合成的设备，对于给定频率以上的频带包括: 用于查找归一化的频域激励在每个频带的最大值的查找器； 用于当频率区间中归一化的频域激励高于与频带的所述最大值成比例的值时，计算匹配增益的倾斜的计算器，所述计算器将计算出的倾斜应用到匹配增益；以及 用于将已经应用了计算出的倾斜的匹配增益应用到所述频率区间中归一化的频域激励以在所述频率区间中产生修正的频域激励的计算器。
15.如权利要求 10所述的用于修正时域激励的合成的设备，对于给定频率以上的频带包括: 用于查找归一化的频域激励在每个频带的最大值的查找器； 衰减器，用于当频域区间中的归一化的频域激励低于与频带的最大值成比例的值时，在频带的每个频率区间将匹配增益衰减一放大因子；以及 用于将衰减的匹配增益应用到所述频率区间中归一化的频域激励以在所述频率区间中产生修正的频域激励的计算器。
16.一种用于解码通过编码参数编码的声音信号的设备，包括: 响应于声音信号编码参数对时域激励进行解码的解码器； 合成滤波器，响应于解码的时域激励产生所述时域激励的合成；以及 根据权利要求1至15中任一项所述的用于修正时域激励的合成的设备。
17.一种用于修正由时域解码器解码的时域激励的合成的方法，包括: 将解码的时域激励的合成分类到多个类别之一中； 将解码的时域激励转换到频域激励； 作为解码的时域激励的合成被分类到的类别的函数来修正频域激励； 将修正的频域激励转换成修正的时域激励；以及 合成修正的时域激励以产生解码的时域激励的修正的合成。
18.如权利要求17所述的用于修正时域激励的合成的方法，其中修正频域激励包括: 计算停止使用时域激励贡献的截止频率。
19.如权利要求18所述的用于修正时域激励的合成的方法，其中修正频域激励包括: 将截止频率以上的频域激励归零； 将截止频率以下的频域激励归一化，以产生归一化的频域激励。
20.如权利要求19所述的用于修正时域激励的合成的方法，其中修正频域激励包括产生随机噪声并将该随机噪声添加到归一化的频域激励。
21.如权利要求19或20所述的用于修正时域激励的合成的方法，其中修正频域激励包括: 使用修正前和修正后的频域激励的能量计算匹配增益，并将该匹配增益应用到归一化的频域激励以产生修正的频域激励。
22.如权利要求18至21中任一项所述的用于修正时域激励的合成的方法，其中将解码的时域激励的合成分类为无效或有效清音。
23.如权利要求17至22中任一项所述的用于修正时域激励的合成的方法，包括当解码的时域激励的合成通过分类器分类为给定的一个类别时对执行修正的时域激励的合成的合成滤波器进行平滑。
24.如权利要求17至23中任一项所述的用于修正时域激励的合成的方法，其中频域激励被划分成多个频带，每个频带划分成多个频率区间，并且其中修正频域激励包括: 使用随频带变化的归一化因子归一化频域激励以产生归一化的频域激励。
25.如权利要求24所述的用于修正时域激励的合成的方法，其中修正频域激励包括对包含多个频率区间的频带中的归一化的频域激励的最大值的一部分以下的频率区间进行归零。
26.如权利要求24 或25所述的用于修正时域激励的合成的方法，其中修正频域激励包括: 使用修正前和修正后的频域激励的能量计算每个频带的匹配增益。
27.如权利要求26所述的用于修正时域激励的合成的方法，其中修正频域激励包括对于第一频率以下的频带，将匹配增益应用到归一化的频域激励以产生修正的频域激励。
28.如权利要求26所述的用于修正时域激励的合成的方法，包括对于第一较低频率和第二较高频率之间的频带: 查找归一化的频域激励在每个频带的最大值； 当频率区间中归一化的频域激励等于或高于与频带的所述最大值成比例的值时，在每个频率区间将匹配增益放大一放大因子；以及 将放大的匹配增益应用到频率区间中归一化的频域激励以在所述频率区间中产生修正的频域激励。
29.如权利要求26所述的用于修正时域激励的合成的方法，包括对第一较低频率和第二较高频率之间的频带: 查找归一化的频域激励在每个频带的最大值； 当频率区间中归一化的频域激励低于与频带的所述最大值成比例的值时，在频带的每个频率区间将匹配增益衰减一衰减因子； 将衰减的匹配增益应用到所述频率区间中归一化的频域激励以在所述频率区间中产生修正的频域激励。
30.如权利要求26所述的用于修正时域激励的合成的方法，包括对于给定频率以上的频带: 查找归一化的频域激励在每个频带的最大值； 当频率区间中归一化的频域激励高于与频带的所述最大值成比例的值时，计算匹配增益的倾斜，并将计算出的倾斜应用到匹配增益；以及 将已经应用了计算出的倾斜的匹配增益应用到所述频率区间中归一化的频域激励以在所述频率区间中产生修正的频域激励。
31.如权利要求26所述的用于修正时域激励的合成的方法，包括对给定频率以上的频带: 查找归一化的频域激励在每个频带的最大值； 当频域区间中的归一化的频域激励低于与频带的最大值成比例的值时，在频带的每个频率区间将匹配增益衰减一放大因子；以及 将衰减的匹配增益应用到所述频率区间中归一化的频域激励，以在所述频率区间中产生修正的频域激励。
32.一种用于解码通过编码参数编码的声音信号的方法，包括: 响应于声音信号编码参数解码时域激励； 合成解码的时域激励以产生所述时域激励的合成；以及 根据权利要求17至3 1中任一项所述的用于修正时域激励的合成的方法。
【文档编号】G10L19/08GK104040624SQ201280065936
【公开日】2014年9月10日 申请日期:2012年11月1日 优先权日:2011年11月3日
【发明者】T.瓦兰考特, M.杰里尼克 申请人:沃伊斯亚吉公司