音频信号处理装置、音频信号处理方法及音频信号处理程序的制作方法
【技术领域】
[0001] 本发明涉及对音频信号进行处理的音频信号处理装置、音频信号处理方法及音频 信号处理程序。
【背景技术】
[0002] 在如IP(InternetProtocol)电话那样将音频信号进行编码及分组化并在互联 网中传输时，由于网络拥挤等原因，有时分组丢失（以下将该现象称为"分组丢失（packet loss) ")。在发生分组丢失时，由于必需的音频码丢失而不能进行音频解码，产生声音中断。 作为防止因分组丢失而产生的声音中断的技术有音频分组丢失隐藏技术。音频分组丢失 隐藏技术用于检测分组丢失，并生成与丢失的分组对应的准音频信号（以下称为"隐藏信 号"）。
[0003] 在作为音频编码方法采用更新编码器/解码器的内部状态的同时进行音频编码 的方法的情况下，将不能得到本来应该接收的编码参数，因而音频分组丢失隐藏技术也利 用模拟地生成的参数进行解码器的内部状态更新。
[0004] 作为更新编码器/解码器的内部状态进行音频编码的方法，广泛采用CELP(Code ExcitedLinearPrediction)编码。在CELP编码中，假定自回归模型，经由全极型合成滤 波器a(i)对激励信号e(n)进行滤波，由此将音频信号合成。即，按照下式来合成音频信号 s(η)。a(i)表示线性预测系数（LP(LinearPrediction)系数），作为次数采用P= 16等 值。
[0005] [数式 1]
[0006]
[0007] 在CELP编码中，将对线性预测系数进行数学上的等效而表述的ISF(ImmittanCe SpectralFrequency，导抗谱频率）参数、和过去的激励信号作为内部状态。在产生了分组 丢失的情况下，模拟地生成这些参数和信号，因而与本来应该通过解码得到的参数之间产 生偏差。由于参数的偏差而引起的合成声音的不匹配，被视听者认为是噪声，大大破坏了主 观上的品质。
[0008] 下面，以音频编码方法采用CELP编码的情况为例，对进行音频分组丢失隐藏的音 频解码器的结构及动作进行说明。
[0009] 音频解码器的结构图及动作如图1、图2所示。如图1所示，音频解码器1具有分 组丢失检测部11、音频码解码部12、隐藏信号生成部13和内部状态缓存器14。
[0010] 分组丢失检测部11在正常接收到音频分组的情况下，向音频码解码部12发送控 制信号、及音频分组中包含的音频码（正常接收：在图2的步骤S100为"是"的情况）。然 后，音频码解码部12按照后面所述进行音频码的解码及内部状态更新（图2的步骤S200、 S400)。另一方面，在不能正常接收到音频分组的情况下，分组丢失检测部11向隐藏信号生 成部13发送控制信号（分组丢失：在图2的步骤S100为"否"的情况）。然后，隐藏信号生 成部13按照后面所述进行隐藏信号的生成及内部状态更新（图2的步骤S200、S400)。反 复图2的步骤S100~S400的处理一直到通信结束为止（一直到在步骤S500判定为"是" 为止）。
[0011] 音频码至少包括被编码后的数式2所示的ISF参数，
[0012] [数式 2]
[0013]
[0014] 被编码后的第一~第四子帧的基音滞后T]p、第一~第四子帧的被编码后的自 适应码本增益g]p、第一~第四子帧的被编码后的固定码本增益g]。、第一~第四子帧的被 编码后的固定码本向量σ](η)。也可以使用数学上的等效的表述即LSF(Linespectral frequency)参数来取代ISF参数。在下面的讨论中进行使用了ISF参数的说明，但该讨论 对使用LSF参数的情况也成立。
[0015] 在内部状态缓存器中包括数式3所示的过去的ISF参数
[0016][数式 3]
[0017]
[0018] 以及数式4所示的
[0019][数式 4]
[0020]
[0021] 的等效表述即ISP(ImmittanceSpectralPair)参数
[0022] [数式 5]
[0023]
[0024]ISF残差参数
[0025][数式6]
[0026]
[0027] 过去的基音滞后Τ·]ρ、过去的自适应码本增益、过去的固定码本增益。、自适应 码本u(n)。分别包含过去几个子帧的量的参数取决于设计方针。在本说明书中，假定1帧 包括4个子帧，但也可以按照设计方针设为其它的值。
[0028]〈正常接收的情况〉
[0029] 图3示出音频码解码部12的功能结构例。如该图3所示，音频码解码部12具有 ISF解码部120、稳定性处理部121、LP系数计算部122、自适应码本计算部123、固定码本解 码部124、增益解码部125、激励向量合成部126、主滤波器127、和合成滤波器128。但是，主 滤波器127不是必须的构成要素。另外，在图3中，为了便于说明，在音频码解码部12内用 双点划线示出了内部状态缓存器14,但该内部状态缓存器14也可以不包含在音频码解码 部12的内部，而是图1所示的内部状态缓存器14。对于以后的音频码解码部的结构图也一 样。
[0030]LP系数计算部122的结构图如图4所示，根据被编码后的ISF参数计算LP系数的 处理流程如图5所示。如图4所示，LP系数计算部122具有ISP-ISP变换部122A、ISP插 值部122B、和ISP-LPC变换部122C。
[0031] 首先，说明与根据被编码后的ISF参数计算LP系数的处理（图5)相关联的功能 结构及动作。
[0032]ISF解码部120对被编码后的ISF参数进行解码，求出数式7所示的ISF残差参 数，
[0033] [数式 7]
[0034]
[0035] 按照数式9计算数式8所示的ISF参数（图5的步骤S1)。其中，!^&111表示事前 通过学习等求出的平均向量。
[0036][数式 8]
[0037]
[0038] [数式 9]
[0039]
[0040] 另外，在此对使用MA预测进行ISF参数的计算的示例进行了说明，但也可以是如 下所述使用AR预测进行ISF参数的计算的结构。在此，紧前面的帧的ISF参数表示为数式 10,将AR预测的加权系数设为Pl。
[0041][数式 10]
[0042]
[0043]
[0044]
[0045] 稳定性处理部121进行基于数式12的处理，以使ISF参数的各要素之间隔开50Hz 以上的间隔，从而确保滤波器的稳定性（图5的步骤S2)。ISF参数是用线谱表述音频频 谱包络的形状的参数，彼此的距离越近，频谱的峰值就越大并产生共振。因此，需要确保稳 定性的处理，使得在频谱的峰值时的增益不会过大。其中，min_dist表示最小的ISF间隔， isf_min表示确保min_dist的间隔所需要的ISF的最小值。isf_min通过将相邻的ISF的 值与min_dist的间隔相加而依次进行更新。另一方面，isf_max表示确保min_dist的间 隔所需要的ISF的最大值。isf_max通过从相邻的ISF的值减去min_dist的间隔而依次进 行更新。
[0046][数式 12]
[0047]
[0048] LP系数计算部122内的ISF-ISP变换部122A按照数式15将数式13所示的项变 换为数式14所示的ISP参数（图5的步骤S3)。其中，C表示事前设定的常数。
[0049][数式13]
[0050]
[0051]
[0052]
[0053]
[0054]
[0055] ISP插值部122B根据内部状态缓存器14中包含的数式16所示的过去的ISP参数 和数式17所示的上述ISP参数，按照数式18计算每个子帧的ISP参数（图5的步骤S4)。 在进行插值时也可以使用其它系数。
[0056][数式16]
[0065] ISP-LPC变换部122C将每个子帧的ISP参数变换为数式19所示的LP系数（图5 的步骤S5)。作为具体的变换步骤，能够使用非专利文献1记载的处理步骤。在此，将先行 信号（先読办信号）中包含的子帧的数量设为4,但也可以按照设计方针变更子帧的数量。
[0066][数式19]
[0067]
[0068] 下面，说明音频码解码部12的其它结构及动作。
[0069] 自适应码本计算部123对被编码后的基音滞后（pitchlag)进行解码，计算第 一~第四子帧的基音滞后T]p。然后，自适应码本计算部123使用自适应码本u(n)，按照数 式20对每个子帧计算自适应码本向量。通过利用FIR滤波器Int(i)对自适应码本u(n) 进行插值，计算出自适应码本向量。在此，将自适应码本的长度设为Nadapt。在插值中使用的 滤波器Int(i)是事前设定的长度21+1的FIR滤波器，L'表示子帧的采样数。通过使用插 值滤波器Int(i)，能够以小数点以下的精度利用基音滞后。关于插值滤波器的详细情况，能 够使用非专利文献1记载的方法。
[0070] 「救=rt州?
[0071]
[0072] 固定码本解码部124对被编码后的固定码本向量进行解码，取得第一~第四子帧 的固定码本向量(η)。
[0073] 增益解码部125对被编码后的自适应码本增益及被编码后的固定码本增益进行 解码，取得第一~第四子帧的自适应码本增益及固定码本增益。例如，能够利用非专利文献 1记载的如下的方法进行自适应码本增益及固定码本增益的解码。根据利用非专利文献1 记载的如下的方法，不必像AMR-WB的增益编码那样使用帧间预测，因而能够提高抗分组丢 失性。
[0074] 例如，增益解码部125按照以下的处理流程取得固定码本增益。
[0075] 首先，增益解码部125计算固定码本向量的功率。在此，将子帧的长度设为Ns。
[0076][数式21]
[0077]
[0078] 然后，增益解码部125对被向量量化后的增益参数进行解码，得到数式22所示的 自适应码本增益和数式23所示的量化固定码本增益。根据量化固定码本增益和上述固定 码本向量的功率计算如下数式24所示的预测固定码本增益。
[0079][数式22]
[0083][数式 24]
[0084]
[0085] 最后，增益解码部125对数式25所示的预测系数进行解码，并与预测增益相乘，由 此得到数式26所示的固定码本增益。
[0086][数式 25]
[0087]
[0088]
[0089]
[0090] 激励向量合成部126按照数式27所示将自适应码本向量与自适应码本增益相乘， 并且将固定码本向量与固定码本增益相乘，再求出乘积之和，由此取得激励信号。
[0091][数式 27]
[0092]
[0093] 主滤波器127对激励信号向量进行例如基音强调、噪声强调、低频强调这样的后 处理。基音强调、噪声强调、低频强调能够使用非专利文献1记载的方法。
[0094] 合成滤波器128通过线性预测逆向滤波，将以激励信号为驱动音源的解码信号合 成。
[0095][数式 28]
[0096]
[0097] 另外，当在编码器中进行了预加重（pre-emphasis)的情况下，进行去加重 (de-emphasis)〇
[0098][数式 29]
[0099]
[0100] 另一方面，当在编码器中未进行预加重的情况下，不进行去加重。
[0101] 下面，说明有关内部状态更新的动作。
[0102] LP系数计算部122利用根据数式30计算的向量更新ISF参数的内部状态，以便进 行分组丢失时的参数插值。
[0103][数式 30]
[0104]
[0105] 其中，ω/j)表示被存储在缓存器中的第j帧前的ISF参数。ω^表示事前通过学 习等求出的讲话区间的ISF参数。β表示常数，例如能够取值如0.75,但不限于此。ω，、 β例如也可以如非专利文献1记载的ISF隐藏（3yシ一;レyy卜）那样根据表示编码对 象帧的性质的索引而变化。
[0106] 另外，LP系数计算部122也按照下式更新ISF残差参数的内部状态