联合声道间和声道内预测的立体声误码隐藏方法及系统的制作方法
【技术领域】
[0001] 本发明设及立体声音频编解码器技术领域，具体设及一种联合声道间和声道内预 测的立体声误码隐藏方法及系统。
【背景技术】
[0002] 随着人们生活水平的提高，对音频服务有了更高的要求，立体声音频可W提供良 好的空间感知体验。现有的音频编码器几乎都支持立体声编码，而其流媒体服务，包括歌 曲、影视等的音频都采取立体声格式。然而由于网络，尤其是移动网络中的不稳定因素很 多，数据丢包和误码等现象时有发生，运严重影响用户的感知体验。为了尽可能的降低上述 丢包、误码带来的损伤，采取有效的误码隐藏具有非常重要的现实意义。
[0003] 现有的立体声音频误码隐藏算法都是针对某个声道数据的恢复，根据声道间或者 声道内的相关性，利用声道间数据或者声道内数据对当前丢失或误码数据进行恢复。AMR- WB+编码器在处理立体声部分误码隐藏的时候是利用了声道间相关性，通过上一帖的主声 道和边声道数据构建一个维纳滤波器。假设相邻帖之间主声道和边声道的关系相似，一旦 当前帖的边声道数据丢失，可W利用当前帖的主声道数据和上一帖构造的维纳滤波器，重 构当前帖的边声道数据。Koji Yoshida通过计算声道内和声道间的相关性，选择采用声道 内数据或者声道间数据进行误码恢复，当声道内相关性较大时，采用声道内数据进行误码 恢复，当声道间相关性较大时，采用声道间数据进行误码恢复。
[0004] 现有技术中，同一时刻，声道内和声道间数据只会有一个起作用，并没有考虑声道 内和声道间数据在误码恢复时的相互作用。
【发明内容】
[0005] 针对现有技术存在的不足，本发明提供了一种联合声道间和声道内预测的立体声 误码隐藏方法及系统。
[0006] 本发明思路为:根据不同声道间的能量比关系，自适应调整声道间和声道内数据 在误码恢复过程中的权重。本发明充分考虑了声道内和声道间数据的作用，从而可达到更 好的误码恢复效果。
[0007] 为解决上述技术问题，本发明采用如下的技术方案：
[000引一种联合声道间和声道内预测的立体声误码隐藏方法，包括：
[0009] S1利用上一帖两声道数据生成第一维纳滤波器，基于相邻帖的声道间数据关系相 似原理，采用第一维纳滤波器和当前帖第一声道数据预测出当前帖第二声道数据Si(n);
[0010] S2利用上一帖第二声道数据及上一帖第二声道的相似帖生成第二维纳滤波器，采 用第二维纳滤波器和当前帖第二声道的相似帖预测出当前帖第二声道数据S2(n);
[ΟΟ?] S3采用Si(n)和S2(n)重构当前帖第二声道数据S(n)=wi · Si(n)+W2 · S2(n)，wi、W2 为人为自适应调整的权重；
[0012]上述当前帖的第二声道存在丢码或误码，当前帖的第一声道数据已正确接收或已 恢复。
[0013] 上述相似帖采用基音周期匹配波形复制法生成。
[0014] 上述权重wi、W2满足如下条件：
[0015]
[0016] 其中，η表示时间单位，L表示帖长，S'（η)为当前帖第二声道的相似帖;ratio是上 一帖第一声道能量和第二声道能量的比值。
[0017] 上述联合声道间和声道内预测的立体声误码隐藏系统对应的系统，包括：
[0018] 声道间预测模块，用来利用上一帖两声道数据生成第一维纳滤波器，基于相邻帖 的声道间数据关系相似原理，采用第一维纳滤波器和当前帖第一声道数据预测出当前帖第 二声道数据Si(n);
[0019] 声道内预测模块，用来利用上一帖第二声道数据及上一帖第二声道的相似帖生成 第二维纳滤波器，采用第二维纳滤波器和当前帖第二声道的相似帖预测出当前帖第二声道 数据S2(n);
[0020] 联合声道间和声道内预测模块，用来采用Si(n)和S2(n)重构当前帖第二声道数据S (n)=wi · Si(n)+W2 · S2(n)，wi、W2为人为自适应调整的权重；
[0021] 上述当前帖的第二声道存在丢码或误码，当前帖的第一声道数据已正确接收或已 恢复。
[0022] 与现有技术相比，本发明具有如下有益效果：
[0023] AMR-WB+编码器只用了声道间数据对误码数据进行恢复，忽略了声道内数据的影 响;Koji YosMda虽然同时考虑到了声道内和声道间数据的影响，但是在同一时刻，声道间 数据和声道内数据只会有一个起作用，并没有充分利用声道间和声道内的共同作用。本发 明联合声道间预测数据和声道内数据共同对误码数据进行恢复，充分考虑到了声道间和声 道内的数据的共同作用，从而可进一步提高解码音频的质量。
【附图说明】
[0024] 图1是声道间预测模型框图；
[0025] 图2是利用基音周期进行匹配生成相似帖的框图；
[0026] 图3是联合声道间和声道内预测模型的框图。
【具体实施方式】
[0027] 下面将结合附图和实施例对本发明技术方案做进一步说明。
[002引本实施例WAMR-WB+编码器为例，AMR-W化编码器将立体声的两个声道的和数据编 码为主声道数据，将两个声道的差数据编码为边声道数据。本实施例中假设当前帖主声道 数据M(n)已正确接收或恢复，边声道有数据丢失或误码数据，需进行数据恢复。
[0029] 步骤1，声道间预测模型。
[0030] 声道间预测模型见图1，图中表示延迟L长度的时间，L表示帖长，Hi(z)为维纳滤 波器hi(n)的频域表示。利用现有技术中已有的短时预测理论，根据上一帖的主声道和边声 道数据生成维纳滤波器hi(n)，使得S(n+U=M(n+L)*hi(n)，M(n+U、S(n+L)分别为上一帖的 主声道和边声道数据。假定相邻帖的两个声道间数据关系相似，则利用上一帖的维纳滤波 器hi(n)和当前帖的主声道数据M(n)预测当前帖的基于声道间预测的边声道数据Si(n):
[0031] Si(n) =M(n)*hi(n) (1)
[0032] 其中，M(n)表示当前帖的主声道数据，η表示时间单位。
[0033] 步骤2,声道内预测模型。
[0034] 声道内预测实质即单声道音频的误码隐藏过程，本步骤结合了现有技术中已有的 长时预测理论和短时预测理论。
[0035] 见图2,首先，根据上一帖的自相关估计基音周期大约r，利用基音周期匹配波形复 制法生成上一帖边声道的相似帖S'（n+L);然后，利用上一帖边声道数据S(n+L)及相似帖S' (n+L)生成维纳滤波器h2(n)，使得S(n+U = S'（n+L)*h2(n);最后，采用上一帖的维纳滤波器 h2(n)和当前帖边声道的相似帖S'（η)预测当前帖的基于声道内预测的边声道数据S2(n)，见 公式(2)。
[0036] S2(n) = S，（n)*h2(n) (2)
[0037] 其中，h2(n)是由当前帖S声道数据和其相似帖S'（η)生成的维纳滤波器系数，η是 时间单位，S2(n)是利用声道内预测得到的当前帖S声道数据。
[003引步骤3,联合声道间和声道内预测模型。
[0039] 根据各声道间的能量信息、音频信号特性，自适应调整Si(n)和S2(n)的权重，使声 道间预测和声道内预测共同作用重构当前帖的边声道数据S(n)，见公式(3):
[0040] S(n)=wi · Si(n)+W2 · 82(11) (3)
[0041] 权重wi、W2人为自适应调整。但通过实验发现，当wi、W2满足如式(4)~(6)所示关系 时，误码隐藏效果更好。
[0045] 式(4)~(6)中，式(4)是为了保证声道间预测和声道内预测的数据能量在同一个 大小范围之内；L表示帖长;ratio是上一帖主声道能量和边声道能量的比值。
[0046] 图3所示为联合声道间和声道内预测模型，其中出(Z)为维纳滤波器h2(n)的频域表 示。当前帖边声道数据需要进行误码隐藏，M(n)是当前帖主声道已正确接收或已恢复的数 据，S'（η)是当前帖边声道的相似帖，分别通过维纳滤波器生成声道间预测数据Si(n)和声 道内预测数据S2(n)，按照公式(3)将声道间预测模型和声道内预测模型进行联合，生成预 测数据S(n)作为最终的当前帖边声道恢复数据。
【主权项】
1. 一种联合声道间和声道内预测的立体声误码隐藏方法，其特征是，包括： Sl利用上一帖两声道数据生成第一维纳滤波器，基于相邻帖的声道间数据关系相似原 理，采用第一维纳滤波器和当前帖第一声道数据预测出当前帖第二声道数据Si(n); S2利用上一帖第二声道数据及上一帖第二声道的相似帖生成第二维纳滤波器，采用第 二维纳滤波器和当前帖第二声道的相似帖预测出当前帖第二声道数据S2(n); S3采用Si(n)和S2(n)重构当前帖第二声道数据S(n)=wi ? Si(n)+W2 ? S2(n)，wi、W2为人 为自适应调整的权重； 上述当前帖的第二声道存在丢码或误码，当前帖的第一声道数据已正确接收或已恢 复。2. 如权利要求1所述的联合声道间和声道内预测的立体声误码隐藏方法，其特征是： 所述的相似帖采用基音周期匹配波形复制法生成。3. 如权利要求1所述的联合声道间和声道内预测的立体声误码隐藏方法，其特征是： 所述的权重Wl、W2满足如下条件：其中，n表示时间单位，L表示帖长，S'（n)为当前帖第二声道的相似帖；ratio是上一帖 第一声道能量和第二声道能量的比值。4. 一种联合声道间和声道内预测的立体声误码隐藏系统，其特征是，包括： 声道间预测模块，用来利用上一帖两声道数据生成第一维纳滤波器，基于相邻帖的声 道间数据关系相似原理，采用第一维纳滤波器和当前帖第一声道数据预测出当前帖第二声 道数据Si(n); 声道内预测模块，用来利用上一帖第二声道数据及上一帖第二声道的相似帖生成第二 维纳滤波器，采用第二维纳滤波器和当前帖第二声道的相似帖预测出当前帖第二声道数据 S2(n); 联合声道间和声道内预测模块，用来采用Si(n)和S2(n)重构当前帖第二声道数据S(n) =Wi ? Si(n)+W2 ? S2(n)，wi、W2为人为自适应调整的权重； 上述当前帖的第二声道存在丢码或误码，当前帖的第一声道数据已正确接收或已恢 复。
【专利摘要】本发明提供了一种联合声道间和声道内预测的立体声误码隐藏方法及系统，包括：S1利用上一帧两声道数据生成第一维纳滤波器，基于相邻帧的声道间数据关系相似原理，采用第一维纳滤波器和当前帧第一声道数据预测出当前帧第二声道数据S1(n)；S2利用上一帧第二声道数据及上一帧第二声道的相似帧生成第二维纳滤波器，采用第二维纳滤波器和当前帧第二声道的相似帧预测出当前帧第二声道数据S2(n)；S3采用S1(n)和S2(n)重构当前帧第二声道数据。本发明联合声道间预测数据和声道内数据共同对误码数据进行恢复，充分考虑到了声道间和声道内的数据的共同作用，从而可进一步提高解码音频的质量。
【IPC分类】G10L19/04, G10L19/26, G10L19/008
【公开号】CN105654957
【申请号】
【发明人】胡瑞敏, 杨玉红, 王衍业, 余洪江, 高丽, 王松, 杨乘, 王晓晨, 涂卫平, 高戈
【申请人】武汉大学
【公开日】2016年6月8日
【申请日】2015年12月24日