专利名称：一种视频解码错误恢复方法
技术领域：
本发明属于视频信息压縮领域，具体涉及一种使用参考帧间隔码流的 视频解码错误恢复方法。
背景技术：
随着网络技术和视频编解码技术的发展，视频通讯的应用范围越来 越广泛。在目前的很多视频应用系统中，视频解码的错误恢复是一个非 常重要的方向。这是因为视频经过编码以后，对误码和丢包非常敏感， 会造成视频码流的码字错误，在进行帧内或帧间预测的时候容易使错误 扩散，持续影响视频解码质量。如图l所示的现有解码方式中如果不进 行错误恢复，错误将在后续码流的解码过程中被扩散。
在现有的视频通讯系统中，通常在视频编码端采用一些容错控制的 方法，来提高视频码流对错误的鲁棒性。常用的方法有分层编码、多描 述编码、独立分段编码、重同步编码和冗余编码等。其中I帧刷新或I 块刷新是最常用的方法之一，可采用固定间隔刷新、随机刷新或者基于 反馈的刷新。因为I帧或帧内编码宏块不使用参考帧信息，这样错误能 够在I帧或I块位置立即被阻止。但由于I帧和I块的编码效率低，特别 是I帧编码对带宽要求高、码流抖动大，且错误扩散的范围受到I帧间 隔限制。
另外一种有效的方法是参考帧选择，特别是在有反馈信道的时候， 编码端根据反馈信息选择合适的参考帧，这样既可以提供较好的容错能 力，编码效率也相对较高。不过这种方法需要有编解码之间的反馈，单 在很多视频通讯应用中是没有反馈信道的，这样就无法完成交互。而且 在使用多参考帧的编码系统中， 一般来说由于紧邻的两帧之间相关性最 强，所以大部分情况下宏块编码的参考就是紧邻的上一帧。这样在视频 通讯过程中，如果码流发生错误的话，这种错误还是会在后续帧的解码 过程中被扩散，持续影响视频质量。
发明内容
本发明所要解决的技术问题是提供一种视频解码错误恢复方法，可以 对固定参考帧间隔和非固定参考帧间隔的码流进行错误恢复，以达到更好 的视频质量。为达到上述目的，本发明采用下述技术方案 一种视频解码错误恢复方法，包括以下处理过程
1) 确定当前待解码码流中的参考帧间隔模式；
2) 对于使用参考帧间隔的待解码码流在解码发生错误时，利用前后间 隔的参考帧对当前帧出错的部分进行错误恢复。
优选的，所述步骤2)中若当前待解码码流为固定参考帧间隔，则按 原解码方式对码流进行解码处理，并对解码发生错误的当前帧按照以下方 式进行错误恢复使用前后相邻的两个帧对当前帧出错的部分进行双向错 误恢复。
优选的，所述步骤2)中若当前待解码码流为非固定参考帧间隔，则 按原解码方式对码流进行解码处理，并对解码发生错误的当前帧按照以下 步骤进行错误恢复确定当前帧出错部分和上一帧对应部分的图像行为属 性；然后对当前帧进行错误恢复。
优选的，所述步骤2)中还包括从码流中得到固定参考帧间隔的处理
优选的，所述步骤2)中还包括从码流中得到最大参考帧间隔的处理 步骤。
优选的，所述步骤2)中图像行为属性根据图像的运动幅度和纹理变 化程度的大小设为属性大和属性小两个档位。
优选的，所述步骤2)中确定当前帧出错部分的图像行为属性具体包 括以下过程
21) 如果下一帧使用了当前帧出错部分进行运动补偿，则说明当前帧 出错部分的图像行为属性为小；否则说明当前帧出错部分的图像行为属性 为大；
22) 如果下一帧也存在错误，则默认当前帧出错部分的图像行为属性 为小。
优选的，，所述步骤2)中，若当前帧出错部分的行为属性为小，且上 一帧对应部分的图像行为属性为小，则采用上一帧对当前帧进行前向错误 恢复。优选的，，所述步骤2)中，若当前帧出错部分的行为属性为大，且上 一帧对应部分的图像行为属性为小，则下一帧使用上一帧进行解码重建， 用下一帧对当前帧进行后向错误恢复，或者用上一帧和下一帧结合对当前 帧进行双向错误恢复。优选的，，所述步骤2)中，若当前帧出错部分的行为属性为小，且上 一帧对应部分的图像行为属性为大，则采用上上一帧对当前帧进行前向错 误恢复。优选的，，所述步骤2)中，若当前帧出错部分的行为属性为大，且上 一帧对应部分的图像行为属性为大，则下一帧使用上一帧进行解码重建， 用下一帧对当前帧进行后向错误恢复，或者用上一帧和下一帧结合对当前 帧进行双向错误恢复。采用本发明提出的视频解码错误恢复方法，比通常的视频解码错误 恢复方法具有更好的错误恢复性能。
图1是现有原始单帧参考帧模式示意图；' 图2是本发明提出的视频解码错误恢复方法流程图； 图3是本发明优选实施例固定参考帧间隔s=l时定周期的参考帧间隔 示例示意图；图4是本发明优选实施例固定参考帧间隔s=2时定周期的参考帧间隔 示例示意图；图5是本发明优选实施例最大参考帧间隔k=l时不定周期的参考帧间 隔示例一示意图；图6是本发明优选实施例最大参考帧间隔k=l时不定周期的参考帧间 隔示例二示意图；图7是本发明优选实施例最大参考帧间隔k=l时不定周期的参考帧间 隔示例三示意图；图8是本发明优选实施例最大参考帧间隔k=l时不定周期的参考帧间 隔示例四示意图；图9是本发明优选实施例最大参考帧间隔k=2时不定周期的参考帧间隔示例示意图。
具体实施方式
下面结合附图给出实施例，对本发明的技术方案作进一步的详细描述。如图2所示的视频解码错误恢复方法流程，包括以下处理过程-第一步判断当前待解码码流中的参考帧间隔模式，若没有使用参 考帧间隔，则采用采用原解码方式进行解码，不进行错误恢复处理；若 为固定参考帧间隔则进入第二步，否则为非固定参考帧间隔进入第四 步。第二步对于固定参考帧间隔，从码流中得到固定参考帧间隔S (S>0)进入第三步。第三步在当前帧解码发生错误时，使用前后相邻的两帧对当前帧 出错的部分进行双向错误恢复。第四步对于非固定参考帧间隔，从码流中得到最大参考帧间隔k (k>0)，进入第五步。第五步在当前帧解码发生错误时，从码流中得到下一帧的参考帧 使用情况，以判断出当前帧出错部分的图像行为属性。如果下一帧使用 了当前帧出错的部分进行运动补偿，则说明当前帧出错部分的图像行为 属性小，否则说明当前帧出错部分的图像行为属性大。如果下一帧也存 在错误，无法得知是否使用当前帧进行了运动补偿，则可以默认当前帧 出错部分的图像行为属性为小。在这里，图像行为属性定义为图像的运 动幅度和纹理变化程度。进入第六步。第六步根据得到的当前帧出错部分的图像行为属性和上一帧对应 部分的图像行为属性，采用相应的方法对当前帧进行错误恢复。从以上方法可以看出错误恢复过程区分固定参考帧间隔和非固定参考 帧间隔进行分别处理。固定参考帧的处理方式比较简单，如图3、 4所示， 假设Ps帧出错，此时P6帧参考P4帧进行解码重建(如图3)或者P6帧参 考P3帧进行解码重建(如图4)，然后用P4帧和P6帧结合对P5帧进行双 向错误恢复。下面再对非固定参考帧间隔的方法进行展开说明。假设当前待解码的P帧在整个视频码流中的编号为n (r^l)。 第一步对于非固定参考帧间隔，从码流中得到最大参考帧间隔k (k>0)，进入第二步。第二步在当前帧解码发生错误时，从码流中得到后续第n+l帧的 参考帧使用情况，以判断出当前帧出错部分的图像行为属性。如果第n+l帧使用了第n帧出错的部分进行运动补偿，则说明第n帧出错部分的图 像行为属性小，否则说明第n帧出错部分的图像行为属性大。如果第n+l 帧也存在错误，无法得知是否使用第n帧进行了运动补偿，则可以默认 第n帧出错部分的图像行为属性为小。在这里，图像行为属性定义为图 像的运动幅度和纹理变化程度。进入第三步。第三步根据得到的当前帧出错部分的图像行为属性和第n-l帧对 应部分的图像行为属性，采用相应的方法对当前帧进行错误恢复。下面 结合附图进行说明如图5中，假设P5帧出错，首先根据上一步得知P5帧的图像行为 属性为小(此时P6帧参考Ps帧)，则说明P5和P4帧的之间变化较小， 此时P4帧对应部分的图像行为属性为小，所以可以采用P4帧对P5帧进行前向错误恢复。如图6中，假设P5帧出错，首先根据上一步得知P5帧的图像行为 属性为大，则说明Ps和P4帧的之间变化较大，此时P6帧参考P4帧，所 以可以正确解码重建，这样在P6帧解码后，此时P4帧对应部分的图像 行为属性为小，对P5帧进行后向或与P4帧结合进行双向错误恢复。如图7中，假设P5帧出错，首先根据上一步得知P5帧的图像行为 属性为小(此时P6帧参考P5帧)，则说明Ps和P3帧的之间变化较小， 此时P4帧对应部分的图像行为属性为大，可以采用P3帧对Ps帧进行前 向错误恢复。如图8中，假设Ps帧出错，首先根据上一步得知Ps帧的图像行为 属性为大，则说明P5和P3帧的之间变化较大，此时P6帧参考P4帧，可 以正确解码重建，可以采用P6帧解码后，此时P4帧对应部分的图像行 为属性为大，对P5帧进行后向或与P4帧结合进行双向错误恢复。本发明给出的可变参考帧间隔下的视频解码错误恢复方法，比通常 的视频解码错误恢复方法具有更好的错误恢复性能。比如在图1中Ps帧 的错误会在后续帧的解码过程中被扩散，而在图6中P6帧的解码不会受 任何影响，并且P5帧可以在P6帧解码之后，进行更有效的错误恢复。再如图9中的情况，因为P5是大运动图像，所以P6编码不参考Ps， 增加阈值后继续判断P4仍是大运动图像，则选择P3作为运动参考。这 样P4发生错误以后，不会将错误扩散到Ps帧和P6帧；Ps发生错误以后， 不会将错误扩散到P6帧。反过来，正确的Ps帧，还可以用来对P4帧进 行后向错误隐蔽；或者跟P3帧结合，对P4帧进行双向错误隐蔽。以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若 干简单推演或替换，都应当视为属于本发明的保护范围。
权利要求
1. 一种视频解码错误恢复方法，其特征在于，所述方法包括以下处理过程1)确定当前待解码码流中的参考帧间隔模式；2)对于使用参考帧间隔的待解码码流在解码发生错误时，利用前后间隔的参考帧对当前帧出错的部分进行错误恢复。
2. 根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中若当前待解码码流为固定参考帧间隔，则按原解码方式对码流 进行解码处理，并对解码发生错误的当前帧按照以下方式进行错误恢复使用前后相邻的两个帧对当前帧出错的部分进行双向错误恢复。
3. 根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中若当前待解码码流为非固定参考帧间隔，则按原解码方式对码 流进行解码处理，并对解码发生错误的当前帧按照以下步骤进行错误恢复 确定当前帧出错部分和上一帧对应部分的图像行为属性；然后对当前帧进 行错误恢复。
4. 根据权利要求2所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中还包括从码流中得到固定参考帧间隔的处理步骤。
5. 根据权利要求3所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中还包括从码流中得到最大参考帧间隔的处理步骤。
6. 根据权利要求3所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中图像行为属性根据图像的运动幅度和纹理变化程度的大小设为 属性大和属性小两个档位。
7. 根据权利要求6所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中确定当前帧出错部分的图像行为属性具体包括以下过程21) 如果下一帧使用了当前帧出错部分进行运动补偿，则当前帧出错 部分的图像行为属性为小；否则说明当前帧出错部分的图像行为属性为大；22) 如果下一帧也存在错误，则默认当前帧出错部分的图像行为属性 为小。
8. 根据权利要求7所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中，若当前帧出错部分的行为属性为小，且上一帧对应部分的图像行为属性为小，则采用上一帧对当前帧进行前向错误恢复。
9. 根据权利要求7所述的视频解码错误恢复方法，其特征在于，所述 步骤2)中，若当前帧出错部分的行为属性为大，且上一帧对应部分的图 像行为属性为小，则下一帧使用上一帧进行解码重建，用下一帧对当前帧 进行后向错误恢复，或者用上一帧和下一帧结合对当前帧进行双向错误恢 复。
10. 根据权利要求7所述的视频解码错误恢复方法，其特征在于，所 述步骤2)中，若当前帧出错部分的行为属性为小，且上一帧对应部分的 图像行为属性为大，则采用上上一帧对当前帧进行前向错误恢复。
11. 根据权利要求7所述的视频解码错误恢复方法，其特征在于，所 述步骤2)中，若当前帧出错部分的行为属性为大，且上一帧对应部分的 图像行为属性为大，则下一帧使用上一帧进行解码重建，用下一帧对当前 帧进行后向错误恢复，或者用上一帧和下一帧结合对当前帧进行双向错误 恢复。
全文摘要
本发明公开了一种视频解码错误恢复方法，通过对固定参考帧间隔和非固定参考帧间隔的码流先区分，然后再根据前后帧的情况进行错误恢复，以达到更好的视频质量。采用本发明提出的视频解码错误恢复方法，比通常的视频解码错误恢复方法具有更好的错误恢复性能。
文档编号H04N7/64GK101287128SQ20081006751
公开日2008年10月15日 申请日期2008年5月29日 优先权日2008年5月29日
发明者杨巨前, 梁立伟, 宁 王 申请人:中兴通讯股份有限公司