视频帧的错误隐藏方法及应用其的视频解码方法
【专利摘要】本发明公开了一种视频帧的错误隐藏方法及视频解码方法，错误隐藏方法包括：解码丢失帧的前一帧和后一帧，得到前向运动矢量和后向运动矢量，前向运动矢量是指前一帧的对应像素的运动矢量，后向运动矢量是指后一帧的对应像素的运动矢量；判定前向运动矢量和后向运动矢量对于丢失帧的各个像素是否有效；根据判定为有效的前向运动矢量和/或后向运动矢量对丢失帧的各个像素进行运动补偿，获得丢失帧的各个像素值；对于所获得的丢失帧的各像素的运动矢量来判断是否需要对各像素进行优化，并对需要进行优化的像素，利用像素的空间相关性进行优化。本发明可以确保丢失帧不会错误的使用相邻帧的运动矢量信息，并尽可能准确地恢复像素值。
【专利说明】视频帧的错误隐藏方法及应用其的视频解码方法
【技术领域】
[0001] 本发明涉及多媒体通信【技术领域】，尤其涉及一种视频帧错误隐藏方法及应用其的 视频解码方法。
【背景技术】
[0002] 近年来，随着多媒体通信的发展，基于多媒体通信的各种应用也得到迅猛发展，例 如数字电视广播、远程监控、数字视频点播（VoD)、无线多媒体通信等。随着网络的发展，视 频业务占据了主流，同时人们对于视频分辨率的要求逐步提高,高清视频已经越来越受到 人们的欢迎，然而视频业务的数据量巨大，给网络也带来了巨大的压力。因此，视频编码与 传输技术的发展与需求也不断提高。如何对越来越大的视频数据进行编码压缩，以及传输 过程中遇到丢包后如何恢复丢失的数据等均面临着巨大挑战。
[0003] 视频编码技术主要是利用视频源的时间相关性和空间相关性对视频进行压缩编 码，然而这直接导致了视频部分数据丢失后的错误传播。随着无线网络技术的发展，视频业 务在无线网络环境中的传输已经越来越流行，然而众所周知视频业务数据量非常大，无线 网络状态不稳定，相对于有线网络而言丢包率较大。对于网络拥塞带来的数据丢包，从而引 起的错误传播会对视频质量带来严重的影响。所以，对于视频传输过程中丢包后，在解码端 如何进行错误隐藏成为了必不可少的技术。
[0004] 图1为现有技术视频编解码过程的示意图。如图1所示，视频编码过程主要分为 预测、变换、量化和熵编码四个部分。其中，预测部分主要利用空间和时间相关性（帧内预 测和帧间预测）去除视频内容的冗余获取当前编码块的预测值，获取预测值的过程中主要 对视频帧进行分块处理，每个块有不同的预测模式，通过率失真优化获取最优的预测模式， 为每个视频块得到最优的预测值，对于原始值和预测值之间的残差进行变换量化，然后再 对量化后的残差进行熵编码。在解码过程中，直接从码流中解码得到相应的模式信息、运动 信息以及残差信息；通过模式信息和运动信息为每个块得到相应的预测值，再将预测值与 解码得到的残差值相加得到最终的重建视频内容。
[0005] 在实际传输过程中，对最终形成的码流进行打包处理，再传输。对于打包方法，目 前有整帧作为一个整体打包；有对整个视频帧分割成固定的片，然后每个片打一个包；还 有按照数据大小，每个数据包固定大小后对码流打包。
[0006] 图2为现有技术视频编码中片打包方式下的错误传播的示意图。如图2所示，对 于各种打包方法而言，如果某个数据包丢失，尽管后续的数据包正确接收，然而由于后续视 频内容的解码需要用到前面已经解码的重建值作为预测，因此前面数据包的丢失，会对后 面正确接收到的视频块有错误传播。因此，在解码端需要尽量准确的恢复丢包的数据，从而 保证视频播放质量。以下给出两种现有技术视频编码中错误隐藏的方法。
[0007]( -）帧拷贝方法
[0008] 在H. 264/AVC的标准制定过程中，就已经对错误隐藏技术有所研究，其中比较直 接的一种错误隐藏方法就是帧拷贝方法，该方法直接利用时间相关性，将时间相邻帧的对 应位置作为当前丢失包对应的视频内容作为当前恢复内容。另一种错误隐藏方法直接拷贝 时间相邻重建帧的运动信息，然后假设编码残差全0,直接根据运动信息获取预测值，将预 测值直接作为恢复的重建帧。
[0009] 然而，该方法比较适用于运动比较缓慢的序列，但是对于运动剧烈的序列，如果仍 然只是复制相邻时刻对应帧内容或者直接复制运动信息，都会导致后续帧解码的严重错误 传播。
[0010] (二）双向运动信息错误隐藏方法
[0011] 考虑到上述基于帧拷贝方法的错误隐藏方法的缺点，已经有很多相关的错误隐藏 方法提出，其中利用双向运动信息推导恢复当前丢失帧的运动信息是主要的核心思想。由 于在H. 264/AVC的编码过程中，对于运动信息的编码并不使用时间相关性，因此当前帧的 信息丢失，并不会影响后续帧码流的正确解码，因此后续帧虽然无法正确重建出整帧内容， 但是其运动信息是可以正确解码获得的。因此，相关研究工作基于此提出双向运动信息估 计的思想。
[0012] 参考文献1提出分别使用前向和后向帧的运动信息外推，假设相邻帧的视频内容 都是匀速直线运动，因此可以根据前一重建帧的各个像素的运动信息反推到当前丢失帧的 对应像素，同样，也可以利用后向运动信息反推得到各个像素与当前丢失帧的对应像素。因 此，可以得到当前丢失帧的像素与前向相邻重建帧的对应像素，从而利用该像素作为当前 丢失帧的恢复值。
[0013] 需要注意的是，并不是所有当前丢失帧的各个像素都能找到与前一重建帧对应的 像素，因此会有空洞现象，对于空洞现象则直接复制对应位置的像素或者采用别的简单的 方法进行恢复。参考文件2和参考文献3也提出了与此类似的思想进行错误隐藏。
[0014] 然而，上述基于该使用前向和后向帧的运动信息外推的错误隐藏方法虽然充分利 用了后向的运动信息，但是仍然可能会出现空洞现象，对于空洞现象问题的解决仍然是很 简单的，但是这部分内容有可能影响主观质量或者对视频内容错误传播造成比较严重的影 响。此外，上述方法可能会导致有些内容被错误的分配运动信息，尤其是前向运动信息和后 向运动信息外推得到的差别很大时，即：并不满足前向和后向都是匀速直线运动时，有可能 会导致比较严重的错误恢复。尤其是对于新进入场景的内容，或者是从场景中消失的内容， 这些内容其实只和一个方向的相邻帧有着很强的相关性，若强制使用双向信息，反而会使 得恢复内容误差较大。
[0015] 参考文献：
[0016] 1、YChen，K.Yu，J.Li,S.Li,"AnErrorConcealmentAlgorithmforEntire FrameLossinVideoTransmission"，ProceedingofIEEEPCS,2004.
[0017] 2、B.Yan，H.Gharavi，"AHybridFrameConcealmentAlgorithmforH. 264/ AVC''，IEEETransactionsonImageProcessing，19(1)，98-107, 2010.
[0018] 3、Z.YWu，J.EBoyce,AnErrorConcealmentSchemeforEntireFrameLosses BasedonH. 264/AVC"，ProceedingofIEEEISCAS，4463-4466,2006.
【发明内容】
[0019](一）要解决的技术问题
[0020] 本发明旨在提出一种视频帧的错误隐藏方法及应用其的视频解码方法，以对丢失 的视频帧的数据进行恢复。
[0021] (二）技术方案
[0022] 为解决上述技术问题，本发明提出一种视频帧的错误隐藏方法，用于在视频解码 过程中对丢失帧进行像素恢复，该方法包括如下步骤：
[0023]S1、解码丢失帧的前一帧和后一帧，得到前向运动矢量和后向运动矢量，所述前向 运动矢量是指前一帧的对应像素的运动矢量，所述后向运动矢量是指后一帧的对应像素的 运动矢量；
[0024]S2、判定所述前向运动矢量和后向运动矢量对于所述丢失帧的各个像素是否有 效；
[0025]S3、根据判定为有效的前向运动矢量和/或后向运动矢量对所述丢失帧的各个像 素进行运动补偿，获得所述丢失帧的各个像素值；
[0026]S4、对于步骤S3所获得的丢失帧的各像素的运动矢量来判断是否需要对各像素 进行优化，并对需要进行优化的像素，利用像素的空间相关性进行优化。
[0027] 根据本发明的一种优选的实施方式，所述步骤S2包括：获得与所述丢失帧的各图 像块对应的前一帧和/或后一帧的图像块在解码时从码流中获得的编码预测模式：若预测 模式为帧内预测模式，则判定该图像块内的像素的运动矢量对于丢失帧的对应像素无效。
[0028] 根据本发明的一种优选的实施方式，所述步骤S2还包括：计算各像素所述前向运 动矢量和后向运动矢量归一化之后的差值，若该差值超过一个预定范围，则判定该像素的 前向运动矢量或后向运动矢量中的一个对于该像素无效。
[0029] 根据本发明的一种优选的实施方式，所述步骤S2还包括：获得所述丢失帧的各图 像块的前向残差和后向残差，并将与两个残差中较大的残差对应的运动矢量判定为对所述 丢失帧的对应图像块的各像素无效，所述前向残差是指前一帧的图像块的残差，所述后向 残差是指后一帧的图像块的残差。
[0030] 根据本发明的一种优选的实施方式，所述步骤S3为：根据如下公式对所述丢失帧 的各个像素进行运动补偿，获得所述丢失帧的各个像素值：
[0031]p(x，y) =w(x，y)Xpf(x，y) + (l_w(x，y))Xpb(x，y)，其中，x、y分别表示像素的水 平和垂直坐标，P(x，y)为补偿得到的丢失帧的像素值，Pf(x，y)为前向运动补偿值，Pb(x，y) 为后向运动补偿值，w(x，y)是权重因子，其取值如下：
[0032]
【权利要求】
1. 一种视频帧的错误隐藏方法，用于在视频解码过程中对丢失帧进行像素恢复，其特 征在于，该方法包括如下步骤： 51、 解码丢失帧的前一帧和后一帧，得到前向运动矢量和后向运动矢量，所述前向运动 矢量是指前一帧的对应像素的运动矢量，所述后向运动矢量是指后一帧的对应像素的运动 矢量； 52、 判定所述前向运动矢量和后向运动矢量对于所述丢失帧的各个像素是否有效； 53、 根据判定为有效的前向运动矢量和/或后向运动矢量对所述丢失帧的各个像素进 行运动补偿，获得所述丢失帧的各个像素值； 54、 对于步骤S3所获得的丢失帧的各像素的运动矢量来判断是否需要对各像素进行 优化，并对需要进行优化的像素，利用像素的空间相关性进行优化。
2. 如权利要求1所述的视频帧的错误隐藏方法，其特征在于，所述步骤S2包括：获得 与所述丢失帧的各图像块对应的前一帧和/或后一帧的图像块在解码时从码流中获得的 编码预测模式：若预测模式为帧内预测模式，则判定该图像块内的像素的运动矢量对于丢 失帧的对应像素无效。
3. 如权利要求2所述的视频帧的错误隐藏方法，其特征在于，所述步骤S2还包括：计 算各像素所述前向运动矢量和后向运动矢量归一化之后的差值，若该差值超过一个预定范 围，则判定该像素的前向运动矢量或后向运动矢量中的一个对于该像素无效。
4. 如权利要求3所述的视频帧的错误隐藏方法，其特征在于，所述步骤S2还包括：获 得所述丢失帧的各图像块的前向残差和后向残差，并将与两个残差中较大的残差对应的运 动矢量判定为对所述丢失帧的对应图像块的各像素无效，所述前向残差是指前一帧的图像 块的残差，所述后向残差是指后一帧的图像块的残差。
5. 如权利要求1所述的视频帧的错误隐藏方法，其特征在于，所述步骤S3为：根据如 下公式对所述丢失帧的各个像素进行运动补偿，获得所述丢失帧的各个像素值： p(x，y) = w(x，y) Xpf(x，y) + (l_w(x，y)) Xpb(x，y)，其中，x、y 分别表示像素的水平和 垂直坐标，P(x，y)为补偿得到的丢失帧的像素值，Pf(x，y)为前向运动补偿值，Pb(x，y)为 后向运动补偿值，w (x，y)是权重因子，其取值如下：
6. 如权利要求5所述的视频帧的错误隐藏方法，其特征在于， 所述前向运补偿值的计算公式如下： Pf(x，y) = pr(x+fx, y+fy)，其中，pr(x，y)表示前一巾贞在坐标为（x、y)处的像素值，fx为坐标为（x、y)处的前向运动矢量的水平量，fy为坐标为（x、y)处的前向运动矢量的垂直 量； 所述后向运补偿值的计算公式如下： Pb(x，y) = Pr(x+bx，y+by)，其中，pr(x，y)表示前一巾贞在坐标为（x、y)处的像素值，b x为坐标为（x、y)处的后向运动矢量的水平量,by为坐标为（x、y)处的后向运动矢量的垂直 量。
7. 如权利要求1所述的视频帧的错误隐藏方法，其特征在于，步骤S4中判断对于丢失 帧的各像素是否需要进行优化的步骤为： 计算一个像素与其相邻的像素的运动矢量的差值，若该像素与至少一个相邻像素的运 动矢量的差值大于超过一个预定范围，则判断为需要对该像素的像素值进行优化。
8. 如权利要求1所述的视频帧的错误隐藏方法，其特征在于，步骤S4中对于丢失帧的 各像素是否需要进行优化的步骤为：对于需要优化的像素，通过最小化该像素与其相邻像 素之间的梯度值来对该像素的像素值进行优化。
9. 如权利要求8所述的视频帧的错误隐藏方法，其特征在于，步骤S4中对于丢失帧 的各像素是否需要进行优化的步骤通过最小化所要恢复的视频帧的像素值矩阵中的二维 TV(Total Variation)范数来进行。
10. 如权利要求8所述的视频帧的错误隐藏方法，其特征在于，所述最小化所要恢复的 视频帧的像素值矩阵中的二维TV(Total Variation)范数的数学模型如下：
其中，M表示需要恢复出的视频帧的完整像素值矩阵，Il M Il 2_DTV表示矩阵M的二维TV 范数，Y表示未优化的视频帧的不完整像素值矩阵，Q表示矩阵Y中无需优化元素的集合， 即Y中非0元素的集合，Pn (M-Y) =0表示：如果（i，j) G Q，则Pn (M-Y)的第（i，j)个元 素为〇,否则Pn (M-Y)的第（i，j)个元素就是（M-Y)的第（i，j)个元素。
11. 如权利要求1所述的视频帧的错误隐藏方法，其特征在于，若步骤Sl不能解码得到 丢失帧的某些图像块的所述后向运动矢量，则将所述图像块的各像素直接判定为需要优化 的像素。
12. -种视频解码方法，包括权利要求1?11中任一项所述的视频帧的错误隐藏方法。
【文档编号】H04N19/895GK104363461SQ201410613005
【公开日】2015年2月18日 申请日期:2014年11月4日 优先权日:2014年11月4日
【发明者】李厚强, 张金雷 申请人:中国科学技术大学