专利名称：分层视频编码和解码的方法
技术领域：
本发明涉及分层视频编码(SVC)方法，且更具体地，涉及在其中能够通过向关键 画面分配号码以及检测关键画面的丢失来实现掩错(error concealment)的SVC方法和使 用该SVC方法的编解码器。本发明特别涉及分层视频编码和解码的方法。
背景技术：
图1示出在联合分层视频编码(JSVC)中的画面组(GOP)和关键画面，图2示出当 预测(P)画面丢失时的错误传播。图2(a)示出在错误传播时存在帧内(I)画面的情形，图 2(b)示出在错误传播时不存在I画面的情形。参考图1，在JSVC中在GOP的末尾的画面被称为关键画面。关键画面之间的间隔 (即GOP的大小)可以是固定的或可变的。当使用时间分层时，关键画面之间的间隔是可变 的。在JSVC中，关键画面被编码为I或P画面。当关键画面被编码为P画面时，对关 键画面执行闭环编码。在闭环编码中，如图2所示通过使用关于前一 P画面的预测来编码 连续的P画面。当通过闭环编码来编码P画面时，由于发送线中的错误，P画面可能被丢失。图2(a)示出当P1画面和P11画面在发送期间丢失时的错误传播。参考先于P1画 面解码的Itl画面来预测解码本该参考丢失的P1画面预测解码的P2画面。结果，P2画面包 括错误，并且该错误连续地传播到P2画面之后的各个P画面直到I8画面被发送。参考先于 P11画面解码的Pltl画面来预测解码本该参考丢失的P11画面预测解码的P12画面。结果，P12 画面包括错误，并且该错误连续地传播到P12画面之后的各个P画面直到I16画面被发送。图2(b)示出当关键画面仅被编码为P画面时的错误传播，与图2(a)所示的情形 不同，P1画面丢失。参考先于P1画面解码的I。画面来预测解码本该参考丢失的P1画面预 测解码的P2画面。结果，P2画面包括错误，并且该错误连续地传播到P2画面之后的各个P 画面。图3示出在典型的具有两层的JSVC中编码的例子。下层(k-Ι层)是具有帧速率 为15Hz和GOP大小为2的图像。上层(k层)是具有帧速率为30Hz和GOP大小为4的图像。参考图3，在下层中，可以丢弃B1画面以便支持7. 5Hz的帧速率，在上层中，丢弃B2 画面以便支持15Hz的帧速率，以及丢弃B1画面和B2画面以便支持7. 5Hz的帧速率。图4示出一种在图3示出的两个层中都支持7. 5Hz的帧速率的结构。参考图4，在 下层中丢弃B1画面并且在上层中丢弃B2画面和B1画面，从而在两个层中都支持7. 5Hz的 帧速率。在此情况下，仅关键画面保留在两个层中并且通过闭环编码被编码。图5示出当在图4的上层中的单个P画面在发送期间被丢弃时的错误传播。
与在图2中示出的例子类似，当解码下一个P画面时，参考紧接在被丢弃的P画面 之前的P画面，因而产生错误。产生的错误传播直到I画面被发送。如果GOP的最后画面 是P画面，则错误将连续地传播。因此，应当识别错误的产生并且应当采取有效的行动。当下层是基本层时，根据在 JSVC中的传统国际编码标准H. 264进行编码，由此无法采取特殊的行动。然而，在当前的 JSVC中，解码的画面被存储在使用列表数据结构的画面缓冲器中。因此，当解码单个P画面 时，基于在列表数据结构中待解码的P画面的画面计数器(POC)信息来安排各画面，并且通 过使用列表数据结构中的位置信息参考特定解码的画面来解码P画面。在此方案中，当单 个画面被丢弃时，参考包括在画面列表中的另一画面以便解码在被丢弃的画面之后的P画 面。结果，能够执行解码，但是利用不正确参考的预测导致了连续传播的错误。图6示出当在图3的包括B画面的上层中丢弃单个P画面时在P画面中的错误的 产生和所产生的错误的传播。在此情形下，在包括丢弃的P画面的GOP中的B画面在解码的画面缓冲器中具有 时间在前的Iistci和时间在后的lis、。由于本该包括在Iist1中的P画面被丢弃，因此 Iist1中存在空白，因而当进行解码时产生错误。如果忽视该错误并且对下一个GOP执行解 码，则如在图5示出的情形中发生的，在下一个GOP的P画面将具有不正确的参考，并且在 下一个GOP的B画面将受到具有不正确的参考并且导致错误的P画面的影响。结果，错误 传播到随后的连续的G0P。因此，应当识别错误的产生以及应当采取有效的行动。然而，由于JSVC采用在其中根据画面被显示的次序对全部画面分配号码的方案， 因此很难检测关键画面的丢弃(或丢失)，因而很难针对由关键画面的丢失导致的错误有 效地采取行动。
发明内容
技术问题如上所述，当解码输入预测(P)画面时，应当参考紧接在要被解码的P画面之前的 P画面。然而，如果要被参考的P画面被丢弃，则将参考紧接在被丢弃的P画面之前的P画 面，由此导致错误。错误传播直到帧内(I)画面被发送。如果画面组(GOP)的最后画面是 P画面，则错误连续传播。由此，应当识别错误的产生并且应当采取有效的行动。然而，由于联合分层视频编 码(JSVC)采用在其中根据画面被显示的次序对全部画面分配号码的方案，因此很难检测 关键画面的丢弃(或丢失)，因而很难针对由关键画面的丢失导致的错误有效地采取行动。技术方案本发明提供一种在其中预测(P)画面具有闭环结构的联合分层视频编码(JSVC) 中通过对关键画面进行编号来检测关键画面的丢失，并针对在关键画面丢失的情形下的错 误有效地采取行动的编码方法，以及使用该编码方法的编解码器。参考用于示出本发明的实施例的附图以便获得对本发明、及其价值以及由本发明 的实施完成的目的的充分理解。虽然参照本发明的实施例具体示出和描述了本发明，但是 本领域普通技术人员应该理解在不脱离由所附权利要求定义的本发明的精神和范围的情 形下，可以对其进行形式和细节上的改变。
4
根据本发明的一方面，提供一种分层视频解码方法，其中用于区分画面组GOP的 关键画面的至少一些是参考其前一关键画面被预测的，该分层视频解码方法包括检查用 于解码当前画面所需的关键画面是否可用，其中基于分配给每个关键画面的关键画面号码 确定关键画面的可用性；以及如果关键画面可用，则使用关键画面解码当前画面。根据本发明的一方面，提供一种分层视频编码方法，其中用于区分画面组GOP的 关键画面的至少一些是参考其前一关键画面被预测的，该分层视频编码方法包括检查输 入画面是否是关键画面；以及当输入画面是关键画面时，参考之前分配的关键画面号码，给 输入画面分配关键画面号码。根据本发明的一方面，提供一种分层视频编码方法，其用于通过在区分每个画面 组(GOP)的关键画面之间的连续预测执行闭环编码。该分层视频编码方法包括检查输入 画面是否是关键画面；以及当输入画面是关键画面时依次给该关键画面分配号码。根据本发明的另一方面，提供一种分层视频解码方法，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环解码。该分层视频解码方法包括确定当前输入画面 是否是关键画面；当当前输入画面是关键画面时，从当前输入画面中读关键画面号码；以 及基于在当前关键画面的关键画面号码和前一关键画面的关键画面号码之间的差，检测在 当前关键画面和在该当前关键画面之前输入的前一关键画面之间的关键画面的丢失。根据本发明的另一方面，提供一种分层视频解码方法，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环解码。该分层视频解码方法包括当检测到在上层的 当前关键画面和在该当前关键画面之前输入的前一关键画面之间的关键画面的丢失时，确 定上层的当前关键画面的每个宏块的模式；当宏块是帧间模式时，在时间上与上层的当前 关键画面匹配的下层的画面的已解码图像中搜索与上层的当前关键画面的宏块对应的区 域；以及将已搜索区域的数据复制到当前关键画面的宏块以便重构数据。根据本发明的另一方面，提供一种分层视频编码方法，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环编码。该分层视频编码方法包括在给关键画面分配 号码的同时执行编码；以及基于在当前关键画面的关键画面号码和前一关键画面的关键画 面号码之间的差，检测在当前关键画面和在该当前关键画面之前输入的前一关键画面之间 的关键画面的丢失。根据本发明的另一方面，提供一种分层视频编码方法，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环编码。该分层视频编码方法包括在给上层的关键画 面分配号码的同时执行编码；以及当检测到在上层的、号码被编码的当前关键画面和号码 先于当前关键画面被编码的前一关键画面之间的关键画面的丢失时，使用在时间上与上层 的当前关键画面匹配的下层的画面的已解码的图像的数据，对上层的号码被编码的当前关 键画面执行解码。根据本发明的另一方面，提供一种分层视频编码器，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环编码。该分层视频编码器包括关键画面检查单元，用 于检查输入画面是否是关键画面；以及关键画面编号单元，当输入画面是关键画面时给该 关键画面依次分配号码。根据本发明的另一方面，提供一种分层视频解码器，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环解码。该分层视频解码器包括关键画面确定单元，其确定输入画面是否是关键画面；关键画面号码检索(retrieve)单元，当输入画面是关键画 面时从当前关键画面中读关键画面号码；以及检错单元，其基于在当前关键画面的关键画 面号码和前一关键画面的关键画面号码之间的差，检测在当前关键画面和在该当前关键画 面之前输入的前一关键画面之间的关键画面的丢失。根据本发明的另一方面，提供一种分层视频解码器，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环解码。该分层视频解码器包括模式确定单元，当检 测到上层的当前关键画面和在该当前关键画面之前输入的前一关键画面之间的关键画面 的丢失时，确定上层的当前关键画面的每个宏块的模式；区域搜索单元，当宏块是帧间模式 时，在时间上与上层的当前关键画面匹配的下层的画面的已解码图像中搜索与上层的当前 关键画面的宏块对应的区域；以及数据重构单元，将已搜索到的区域的数据复制到当前关 键画面的宏块以便重构数据。根据本发明的另一方面，提供一种分层视频编解码器，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环编码。该分层视频编解码器包括编码器，在给关键画 面分配号码的同时执行编码；和解码器，基于在当前关键画面的关键画面号码和前一关键 画面的关键画面号码之间的差，检测在当前关键画面和在该当前关键画面之前输入的前一 关键画面之间的关键画面的丢失。根据本发明的另一方面，提供一种分层视频编解码器，其用于通过在区分每个GOP 的关键画面之间的连续预测执行闭环编码。该分层视频编解码器包括编码器，在给上层的 关键画面分配号码的同时执行编码；和解码器，当检测到在上层的、号码被编码的当前关键 画面和号码先于当前关键画面被编码的前一关键画面之间的关键画面的丢失时，使用在时 间上与上层的当前关键画面匹配的下层的画面的已解码的图像的数据，对上层的号码被编 码的当前关键画面执行解码。根据本发明的另一方面，提供一种计算机可读记录介质，其上记录有用于实现通 过在区分每个GOP的关键画面之间的连续预测执行闭环编码的分层视频编码方法的程序。有益效果本发明能够通过检测在解码期间关键画面的丢失来针对由关键画面丢失导致的 错误有效地采取行动，该检测是通过在联合分层视频编码(JSVC)中使用关键画面的编号 来编码的，在JSVC中，通过连续地预测区分每个画面组(GOP)的关键画面来进行闭环编码。本发明能够在对于具有多层结构的视频流中下层基本层的传输有保证的环境下， 当上层的关键画面被丢失时，通过使用下层基本层的对应画面的已解码的图像的数据掩藏 由不正确的参考导致的错误来最小化画面质量的退化。本发明也能够在由于系统的性质不太可能产生错误时，通过决定是否使用用来向 关键画面分配号码的额外比特来检错和掩错，从而减少比特数量。根据本发明的使用关键画面的编号的编码方法能够应用于其中当使用自适应GOP 结构(AGS)时关键画面被丢弃以支持低于7. 5Hz的帧速率的情形，从而允许有效的检错和 掩错。
图1示出在联合分层视频编码(JSVC)中的画面组(GOP)和关键画面；
6
图2示出当预测(P)画面丢失时的错误传播；图3示出在典型的具有两层的JSVC中编码的例子；图4示出一种在图3示出的两个层中均支持7. 5Hz的帧速率的结构；图5示出当在图4所示的上层中单个P画面在发送期间被丢弃时的错误传播；图6示出当在图3所示的上层中单个P画面在发送期间被丢弃时的错误传播；图7是示出根据本发明的实施例的包括关键画面的编号的编码方法的流程图；图8是示出根据本发明的实施例的使用关键画面的编号的检测P画面丢失的概念 图；图9是示出当编号关键画面时根据本发明的实施例的解码方法的流程图；图10示出在编号关键画面的图5中示出的上层中的单个P画面在发送期间被丢 弃时的错误传播的例子；图11是示出当使用图10示出的关键画面的编号检测到P画面的丢失时使用下层 的信息阻止错误传播的方法的概念图；图12是示出根据本发明的实施例的当检测到上层的前一 P画面的丢失时使用下 层的信息的方法的流程图；图13是示出仅在“error_concealment_flag”为1时进行关键画面的编号时，根 据本发明的实施例的解码方法的流程图；图14示出自适应GOP结构(AGS)编码的例子，其中，具有15Hz的帧速率的基本层 以具有大小为16的GOP为单位被AGS编码，以及[8，2，2，2，2]被选择为子GOP模式，并且 根据基本层的子GOP模式按[16，4，4，4]模式进行编码，以及在上层增强层中编码用于提供 时间分层的 “temporal_level” ；图15示出在图14示出的上层中通过丢弃具有“temporaljevel”为5的画面而 具有15Hz的帧速率的图像的例子；图16示出在图14示出的上层中通过丢弃具有“temporaljevel”为4的画面而 具有7. 5Hz的帧速率的图像的例子；图17示出在图14的上层中一起丢弃具有“temporaljevel”高于3的关键画面 以便提供3. 75Hz的帧速率的图像的例子；图18示出在实际图像(足球CIF 3. 75Hz)中由于不正确的参考而解码结果不完 整(画面#0到#7)；图19是当使用在图17示出的关键画面的编号来识别上层的关键画面的丢失时使 用下层基本层的信息处理错误的图；图20示出通过使用掩错，对画面(足球CIF 3. 75Hz)的解码结果；图21是示出当使用3比特编码“use_age_flag”和“key_picture_num”时，根据 本发明的实施例的解码方法的流程图；图22是根据本发明的实施例的实现包括关键画面的编号的编码方法的编码器的 示意框图；图23是根据本发明的实施例的实现解码方法的解码器的示意框图，在该方法中， 从关键画面的关键画面号码中检测关键画面的丢失并且掩藏错误；以及图24是根据本发明的实施例的执行关键画面的编号和掩错的编解码器的示意框
7图。
具体实施例方式下文中，将参考附图详细地描述本发明的优选实施例。应当注意到，说明书中相似 的参考数字始终指示相似的元件。在以下描述中，为了简洁明了，省略合并于此的已知功能 和结构的详细描述。图7是示出根据本发明的实施例的在画面编码期间对关键画面进行编号的编码 方法的流程图。一旦输入画面，则在操作S710中确定该输入画面是否是画面组(GOP)的最后画面 (即，关键画面)。如果该输入画面是关键画面，则在操作S720中向关键画面分配使用η比 特的关键画面号码。这样，依次为关键画面分配关键画面号码，该关键画面号码使用对于η 比特的2η模数操作，从0到(2η-1)依次增加并且该关键画面号码循环移动。对于具有多层 结构的编码，仅对上层的关键画面编号。在操作S730中，编码中止。如果该输入画面不是关键画面，则在操作S730中根据画面模式类型执行编码而 不进行编号。例如，通过向“slice_hader_in_scalalbe-extension”语法增加用于编码关键画 面的编号的3比特“key_pictUre_nUmber”语法，能够将关键画面的编号应用到联合分层视 频编码(JSVC)中，如下所示。
8
权利要求
一种分层视频解码方法，其中用于区分画面组GOP的关键画面的至少一些是参考其前一关键画面被预测的，该分层视频解码方法包括检查用于解码当前画面所需的关键画面是否可用，其中基于分配给每个关键画面的关键画面号码确定关键画面的可用性；以及如果关键画面可用，则使用关键画面解码当前画面。
2.如权利要求1所述的分层视频解码方法，其中该方法还包括如果关键画面不可用，则确定关键画面丢失已经发生；以及启动预定的错误处理机制。
3.如权利要求1所述的分层视频解码方法，其中关键画面具有顺序的关键画面号码。
4.如权利要求2所述的分层视频解码方法，其中该预定的错误处理机制包括基于下层 的对应关键画面数据恢复丢失的关键画面信息。
5.一种分层视频编码方法，其中用于区分画面组GOP的关键画面的至少一些是参考其 前一关键画面被预测的，该分层视频编码方法包括检查输入画面是否是关键画面；以及当输入画面是关键画面时，参考之前分配的关键画面号码，给输入画面分配关键画面 号码。
6.如权利要求5所述的分层视频编码方法，其中依次分配关键画面的关键画面号码。
7.如权利要求5或6所述的分层视频编码方法，其中通过关于η比特的2n模数操作分 配关键画面号码，其中该关键画面号码循环移动且η是正整数。
全文摘要
本发明提供一种分层视频解码方法，其中用于区分画面组GOP的关键画面的至少一些是参考其前一关键画面被预测的，该分层视频解码方法包括检查用于解码当前画面所需的关键画面是否可用，其中基于分配给每个关键画面的关键画面号码确定关键画面的可用性；以及如果关键画面可用，则使用关键画面解码当前画面。
文档编号H04N5/00GK101964909SQ20101023704
公开日2011年2月2日 申请日期2006年10月10日 优先权日2005年10月11日
发明者朴光勋, 朴慜佑, 洪镇佑, 郑洗润, 金奎宪 申请人:韩国电子通信研究院;庆熙大学校