帧间预测方法和使用帧间预测方法的视频编码/解码方法与流程

技术领域

本公开涉及视频编码/解码设备和方法。更具体地，本公开涉及能够防止在将IDR图片用于随机访问期间的编码效率的降低的帧间预测方法以及使用该帧间预测方法的视频编码/解码技术。

背景技术：

在该章节中的声明仅提供与本公开相关的背景技术信息并且可不构成现有技术。

H.264/AVC将即时解码刷新(IDR)图片用于将编码的比特流自特定的时间位置随机地解码。如在图1中所示，刚好在编码IDR图片之前，编码器将解码的图片从解码图片缓存(DPB)删除并且清空DPB。如在编码器的情形中一样，解码器也刚好在解码IDR图片之前清空DPB。

将在图1的IDR图片之后编码或解码的图片参考IDR图片和在IDR图片之后编码和解码的图片而被编码。

IDR图片编码方法基本上与I图片编码方法相同。然而，IDR图片编码方法支持随机访问功能，该随机访问功能通过插入IDR图片而从随机的IDR图片时间点执行解码处理。

当编码帧间图片时，H.264/AVC通过使用之前编码和解码的图片而预测当前图片。如在图2中所示，在P图片的情形中，基于显示顺序，通过使用在当前图片之前的过去图片执行运动估计。对在当前时钟和通过运动估计确定的时钟之间的残差信号进行编码。

如在图3中所示，在B图片的情形中，基于显示顺序，通过使用在当前图片之前的过去图片和在当前图片之后的将来图片来执行运动估计。然后，对在当前时钟和通过运动估计确定的时钟之间的残差信号进行编码。

根据H.264/AVC标准，相对于每一个预测方向，一个或更多个参考图片可以用于帧间图片估计。由于该功能，H.264/AVC展示出相对于其它图片压缩标准的出众的压缩性能。

H.264/AVC将IDR图片用于支持随机访问功能。如在图4中所示，编码器和解码器刚好在编码和解码IDR图片之前清空DPB。因此，相对于在IDR图片之前显示的一些B图片，在编码期间不能执行双向运动估计，并且因此，仅执行单向运动估计。因此，降低了仅执行单向运动估计的图片的编码效率。

另外，如在图5中所示，在IDR图片之后显示的特定P图片仅能够将一个IDR图片用于参考图片，但是不能够将在该IDR图片之前的多个图片用于参考图片。因此，P图片的编码效率可能被降低。

技术实现要素：

技术问题

因此，为了解决上述问题，本公开试图提供帧间预测方法和使用该帧间预测方法的视频编码/解码方法，该帧间预测方法能够解决用于支持随机访问的传统IDR图片的问题，并且提高编码和解码效率。

技术方案

本公开的实施方式提供使用帧间预测的视频编码方法，该方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码；生成参考图片信息，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片；以及，传输编码的第一和第二图片以及所述参考图片信息。当过去的参考图片被用于对第二图片进行编码时，参考图片信息可以是表示过去的参考图片的信息。当过去的参考图片用于对所述第二图片进行编码时，编码器可以对至少所述第二图片进行编码，并且删除在所述第一图片的编码之后编码的、再解码的并且存储在存储器中的参考图片。

当对在所述第一图片之前或之后显示的所述第二图片进行编码时，在其中在当前的第二图片之前的过去的图片被存储在用于存储参考图片的存储器中的情形中，可以将存储的所述过去的图片复制到用于存储所述当前的第二图片的将来的参考图片的存储器中并且用作将来的参考图片。可以通过使用将来的参考图片的存储器中的图片以及过去的参考图片的存储器中的图片来对当前的第二图片编码。在其中在当前的第二图片之后的将来的图片被存储在用于存储参考图片的存储器中的情形中，可以将存储的所述将来的参考图片复制到用于存储所述当前的第二图片的过去的参考图片的存储器中并且用作所述当前的第二图片的过去的参考图片。可以通过使用将来的参考图片的存储器中的图片以及过去的参考图片的存储器中的图片来对当前的第二图片编码。所述第一图片可以是与IDR图片相对应的R图片，并且所述第二图片可以是B图片或P图片。为了方便，在本公开中的术语“IDR图片”和“R图片”被命名，并且可以被指代为其它名称。

本公开的另一个实施方式提供使用帧间预测的视频编码方法，该方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；以及，通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码，其中，在所述第二图片中包括的所述块的所述帧间预测编码将一个或更多个图片用作参考图片，所述一个或更多个图片是通过修改以对编码的第一图片进行解码的方式获得的解码的第一图片而获得的。该视频编码方法可以进一步包括以下步骤：生成修改标识信息，所述修改标识信息表示所述解码的第一图片的修改类型；以及，将编码的第一和第二图片以及所述修改标识信息传输到解码器。所述第一图片可以是与IDR图片相对应的R图片，并且所述第二图片可以是B图片。

本公开的又一个实施方式提供使用帧间预测的视频解码方法，该方法包括以下步骤：对用作用于随机访问的参考的第一图片进行解码；以及，通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测解码，其中，基于参考图片信息执行在所述第二图片中包括的所述块的所述解码，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片。当过去的参考图片被用于解码所述第二图片时，所述参考图片信息可以是表示所述过去的参考图片的信息，并且当过去的参考图片被用于解码所述第二图片时，解码器可以解码至少所述第二图片，并且删除在所述第一图片的解码之前解码的并且存储在存储器中的参考图片。

当对在所述第一图片之前或之后显示的所述第二图片进行解码时，在其中在当前的第二图片之前的过去的图片被存储在用于存储参考图片的存储器中的情形中，可以将存储的所述过去的图片复制到用于存储所述当前的第二图片的将来的参考图片的存储器中并且用作将来的参考图片。可以通过使用将来的参考图片的存储器中的图片以及过去的参考图片的存储器中的图片来对当前的第二图片解码。当在当前的第二图片之后的将来的图片被存储在用于存储参考图片的存储器中时，可以将存储的所述将来的参考图片复制到用于存储所述当前的第二图片的过去的参考图片的存储器中并且用作所述当前的第二图片的过去的参考图片。可以通过使用将来的参考图片的存储器中的图片以及过去的参考图片的存储器中的图片来对当前的第二图片解码。所述第一图片可以是与IDR图片相对应的R图片，并且所述第二图片可以是B图片。

本公开的又一个实施方式提供使用帧间预测的视频解码方法，该方法包括以下步骤：对用作用于随机访问的参考的第一图片进行解码；以及，通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测解码，其中，在包括在所述第二图片中的所述块的所述解码中，基于修改标识信息修改解码的第一图片，所述修改标识信息表示所述解码的第一图片的修改类型，并且将修改的图片用作参考图片。所述第一图片可以是与IDR图片相对应的R图片，并且所述第二图片可以是B图片。

本公开的又一个实施方式提供用于视频编码或解码的帧间预测方法，该方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码或解码；以及，通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码或解码；其中，在包括在所述第二图片中的所述块的所述帧间预测编码或解码中，将编码和解码的图片或者通过修改解码的第一图片而获得的图片用作参考图片。所述第一图片可以是与IDR图片相对应的R图片，并且所述第二图片可以是B图片。

本公开的又一个实施方式提供用于视频编码或解码的帧间预测方法，该方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码或解码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码或解码；以及，在过去的参考图片被用于对所述第二图片进行编码或解码的情形中，在完成所述第二图片的编码或解码之后，删除在所述第一图片的编码之前编码的、再解码的、并且然后存储在存储器中的参考图片或者在所述第一图片的解码之前解码的、并且存储在存储器中的参考图片。

当对在所述第一图片之前或之后显示的第二图片进行编码或解码时，在其中在当前的第二图片之前的过去的图片被存储在用于存储参考图片的存储器中的情形中，可以将存储的所述过去的图片复制到用于存储所述第二图片的将来的参考图片的存储器中并且用作将来的参考图片。当在当前的第二图片之后的将来的图片被存储在用于存储参考图片的存储器中时，可以将存储的将来的图片复制到用于存储所述当前的第二图片的过去的参考图片的存储器中并且用作过去的参考图片。所述第一图片可以是与IDR图片相对应的R图片，并且所述第二图片可以是P图片或B图片。

本公开的又一个实施方式提供用于视频编码或解码的帧间预测方法，该方法包括以下步骤：对用作参考图片的第一图片进行编码或解码；通过使用多个参考图片对在所述第一图片之后编码或解码的第二图片中包括的块进行帧间预测编码或解码；以及，当过去的和将来的参考图片被用于编码所述第二图片并且过去的或将来的参考图片不存在时，复制或修改所述第一图片并且将复制的或修改的第一图片用作非现成的过去的或将来的参考图片。所述第一图片是用作帧间图片的参考图片的图片，并且所述第二图片是B图片或P图片。

有利效果

根据如上所述的本公开，通过刚好在编码IDR图片之前重置DPB，在所述IDR图片之后的P或B图片通过使用该IDR图片和在该IDR图片之后重构的图片被编码，而不用参考在该IDR图片之前重构的图片。因此，可以解决降低编码效率的问题，因为与在IDR图片之前编码的P或B图片相比，更少数量的参考图片被使用。

根据上述的本公开，当具体P或B图片的参考图片的数量被限制或者小于其他P或B图片的参考图片的数量时，通过复制可用的参考图片和使用任意的图片处理方法而另外地提供多个参考图片，由此提高编码效率。

而且，根据如上所述的本公开，新的参考图片生成步骤和方法引入新的语法元素或者根据预定算法相同地操作编码器或解码器。因为编码器和解码器生成相同的参考图片，所以由编码器生成的重构图片的质量与由解码器生成的解码图片的质量相同。

附图说明

图1是说明其中在当前图片之前的过去图片用于参考图片的传统DPB管理的图表；

图2是说明P图片预测方法的图表；

图3是说明B图片预测方法的图表；

图4是说明当使用传统的IDR图片时B图片编码的问题的图表；

图5是说明当使用传统的IDR图片时P图片编码的问题的图表；

图6是例示H.264编码器和解码器的示例的图表；

图7是根据本公开的实施方式的MI块预测方法的图表；

图8是说明根据本公开的实施方式的图片的定义术语和R图片功能的图表；

图9是示出根据本公开的第一实施方式的使用帧间预测的视频编码方法的流程图；

图10是示出根据本公开的第二实施方式的使用帧间预测的视频编码方法的流程图；

图11是示出根据本公开的第三实施方式的使用帧间预测的视频解码方法的流程图；

图12是示出根据本公开的第四实施方式的使用帧间预测的视频解码方法的流程图；

图13是示出根据本公开的第五实施方式的帧间预测方法的流程图；

图14是示出根据本公开的第六实施方式的帧间预测方法的流程图；

图15是示出根据本公开的第七实施方式的帧间预测方法的流程图；

图16是示出根据本公开的第八实施方式的使用帧间预测的视频编码方法的流程图；

图17是示出根据本公开的第九实施方式的使用帧间预测的视频编码方法的流程图；

图18是示出根据本公开的第十实施方式的使用帧间预测的视频解码方法的流程图；

图19是示出根据本公开的第十一实施方式的使用帧间预测的视频解码方法的流程图；

图20是示出根据本公开的第十二实施方式的帧间预测方法的流程图；

图21是示出根据本公开的第十三实施方式的帧间预测方法的流程图；

图22是说明根据本公开的实施方式的语法组合的第一示例的图表；

图23是说明根据本公开的实施方式的语法组合的第二示例的图表；

图24是说明根据本公开的实施方式的语法组合的第三示例的图表；

图25是说明根据本公开的实施方式的语法组合的第四示例的图表；

图26是说明根据本公开的实施方式的语法组合的第六示例的图表；以及

图27是说明根据本公开的实施方式的语法组合的第七示例的图表。

具体实施方式

下面，将参考附图详细地描述本公开的具体实施方式。

图6是例示H.264编码器和解码器的示例的图表。

在诸如H.264这样的视频压缩标准中，图片可以编码为I、P和B帧(或图片)中的任何一种。I帧通过仅使用在当前被编码的帧内的空间相关而被编码，并且可以在解码器中通过仅使用一帧数据来重构(解码)，而不用参考其他帧。P帧通过使用基于显示顺序而参考过去的帧当中的重构的帧的帧间预测而被编码，并且解码器可以通过使用之前重构的图片来重构当前的图片。B帧通过使用前向重构图片(在H.264中的列表0)和后向重构图片(在H.264的列表1)的帧间预测来编码，并且解码器可以通过使用前向和后向重构图片来重构当前的图片。

参考图6，视频编码器执行帧内预测处理300或帧间预测处理302，获得在当前帧和预测的图片303之间的残差304，并且通过对量化变换系数308执行熵编码处理310而生成比特流312，该量化变换系数308是通过对帧内或帧间模式信息和该残差执行变换/量化处理306而获得的。经编码的图片通过经历逆量化/逆变换处理314并且添加到预测图片303而被生成为重构的图片316，并且存储在存储器缓存(解码图片缓存(DPB))318中，从而用于将被编码为接下来的P或B图片的图片的参考帧。

参考图6，视频解码器400是编码器的一部分。视频解码器400接收比特流，通过与编码器的解码循环相同的处理而生成重构的图片316，并且将重构的图片316输出到显示级使得用户观看图片。而且，视频解码器400将重构的图片316存储在DPB318中，从而用于下一次将被重构的图片的参考帧。

为了允许解码器400随机地访问图片，当编码器生成比特流时，IDR帧(在本公开的实施方式中，与IDR帧相对应的R帧)以规则的间隔插入。在比特流中，IDR帧被表示为网络适应层(NAL)单元的nal_unit_type 5。刚好在编码IDR帧之前，编码器重置DPB，并且当编码在IDR帧之后的P或B帧时，通过仅使用在IDR帧之后的重构的图片来执行编码，而不用参考在IDR帧之前的重构的图片。当编码器以如此的方式重置DPB时，解码器仅检验在比特流上的NAL单元的nal_unit_type。当nal_unit_type为IDR帧时，解码器可以通过从IDR帧开始解码而重构图片。如果解码器从在中间出现的IDR帧开始解码，则以没有重构的图片被存储在DPB中的状态开始解码。因此，考虑到解码器的状态，根据在生成IDR帧时编码的开始来重置DPB。

另一方面，在其中通过插入IDR帧以支持随机访问功能而执行编码的情形中，在解码器中实现了随机访问。然而，如上所述，IDR帧的插入降低了图片质量。I帧的图片质量基本上与IDR帧的图片质量相同。然而，由于参考图片的差异，在接下来的帧中的图片质量被改变。由IDR帧的使用导致的问题可以通过下面的实施方式来解决。

在本公开的实施方式中，代替传统的IDR帧，与IDR图片相对应的新的编码图片类型被定义为刷新(R)图片，并且提出技术细节来解决在传统的H.264/AVC中出现的问题。R图片仅是用于描述本公开的内容的术语和符号，并不是要限制本公开的技术内容。

R图片是用于支持随机访问的图片类型并且是用于随机访问的参考图片。即，编码器或解码器可以从随机的R图片执行编码或解码。为此，如在传统I图片或IDR图片的情形中一样，构成R图片的块一般地通过仅使用帧内预测而被编码或解码，而不需使用参考其他图片的帧间预测。可选地，为了增加编码效率，可以如图7中所例示地使用运动帧内(MI)块。

MI块在单个图片或宏块条(slice)内搜索与当前块相似的块，通过使用运动矢量表示位置信息，传输位置信息，并且传输利用下面的等式1相减得到的每一个块的像素。

在该情形中，通过在当前图片或宏块条内应用特定的内插滤波器以搜索最佳的块，在将解码的块用作参考块方面没有限制。

r_MI＝C_MI-R_MI 等式1

在上面的等式1中，C_MI和R_MI表示当前块的像素值和参考块的像素值，并且r_MI表示通过上述两个块的像素值的减法获得的残差值。残差信号通过变换和量化处理而被传输。与图7相关的描述仅是用于编码R图片的示例性实施方式。可以使用在传统H.264/AVC中的I图片编码方法。在本公开中，对于R图片编码方法没有限制。

在本公开的实施方式中提出的R图片有效地管理参考图片列表，增加按照显示顺序与R图片相邻的图片的编码效率，并且支持随机访问功能。为了有效地说明R图片功能，由于R图片的使用而影响编码效率的图片的术语被概括如在图8中所例示的。

在图8中，按照显示顺序与当前的R图片最接近的在过去的P、I或R图片当中存在的B图片被定义为B_P，并且按照显示顺序在该R图片之后的并且将经解码的当前R图片用作参考图片的B或P图片被分别定义为B_F和P_F。

图9是示出根据本公开的第一实施方式的使用帧间预测的视频编码方法的流程图。

参考图9，对用作随机访问的参考的作为第一图片的R图片进行编码(S910)。通过使用多个参考图片对在R图片之前显示的作为第二图片的B图片(例如，图8的B_P图片)中包括的块进行帧间预测编码(S930)。

另外，生成参考图片信息(S950)。该参考图片信息(例如，表格1的语法)表示在B图片之前显示的过去的图片(例如，图15的解码的R图片的修改的参考图片)是否被用作用于对B图片进行编码的参考图片。在步骤S930中，当过去的参考图片被用于对B图片进行编码时，参考图片信息可以是表示过去的参考图片的信息。另外，在将该过去的参考图片用于对B图片进行编码的情形中，至少在B图片的编码之后，编码器可以删除在R图片的编码之前被编码的、再被解码的、并且然后被存储在存储器中的参考图片。

然后，如上所述，编码的R图片、编码的B图片和参考图片信息被传输到解码器(S970)。

图10是示出根据本公开的第二实施方式的使用帧间预测的视频编码方法的流程图。

参考图10，对用作随机访问的参考的作为第一图片的R图片进行编码(S1010)。将编码的R图片解码，并且生成通过修改解码的R图片而获得的多个图片作为参考图片(S1030)。

然后，通过使用多个参考图片对在R图片之前显示的作为第二图片的B图片(例如，图8的B_P图片)中包括的块进行帧间预测编码(S1050)。

另外，在步骤S1030中生成表示修改的解码的R图片的类型的修改标识信息。在步骤S1050之后，编码的R图片、编码的B图片和修改标识信息被传输到解码器。而且，尽管没有示出，但是可以与图9的步骤S950和S970的处理相对应地生成关于在步骤S1030中生成的参考图片的信息，并且可以将参考图片信息传输到解码器。

图11是示出根据本公开的第三实施方式的使用帧间预测的视频解码方法的流程图。

参考图11，对用作随机访问的参考的作为第一图片的R图片进行解码(S1110)，并且分析从编码器接收到的参考图片信息(S1130)。

然后，通过使用多个参考图片对在R图片之前显示的作为第二图片的B图片(例如，图8的B_P图片)中包括的块进行帧间预测解码，并且基于表示在B图片之前显示的过去的图片是否被用作用于对B图片进行编码的参考图片的参考图片信息来执行对在B图片中包括的块进行解码的处理(S1150)。

图12是示出根据本公开的第四实施方式的使用帧间预测的视频解码方法的流程图。

参考图12，对用作随机访问的参考的作为第一图片的R图片进行解码(S1210)，并且分析表示解码的R图片的修改类型的修改标识信息(S1230)。

然后，通过根据分析的修改标识信息修改解码的R图片而生成多个参考图片(S1250)，并且通过使用多个参考图片对在R图片之前显示的作为第二图片的B图片(例如，图8的B_P图片)中包括的块进行帧间预测解码(S1270)。

图13是示出根据本公开的第五实施方式的帧间预测方法的流程图。

参考图13，对用作随机访问的参考的作为第一图片的R图片进行编码或解码(S1310)，并且通过逐步地修改解码的R图片(在编码器中编码的并且然后解码的R图片，或者在解码器中解码的R图片)而生成多个参考图片(S1330)。

关于步骤S1330的处理，编码器执行与图10的步骤S1030相同的处理，并且解码器执行与步骤S1230到S1250相同的处理。

在对R图片进行编码或解码之后，通过使用多个参考图片对在R图片之前显示的作为第二图片的B图片(例如，图8的B_P图片)中包括的块进行帧间预测编码或解码(S1350)。

图14是示出根据本公开的第六实施方式的帧间预测方法的流程图。

参考图14，对用作随机访问的参考的作为第一图片的R图片进行编码或解码(S1410)。在解码R图片之后，通过使用多个参考图片对在R图片之前显示的作为第二图片的B图片(例如，图8的B_P图片)中包括的块进行帧间预测编码或解码(S1430)。

然后，在将过去的参考图片用于对B图片进行编码或解码的情形中，在完成B图片的编码或解码之后，删除在R图片的编码之前被编码的、再被解码的、并且然后被存储在存储器中的参考图片或者在R图片的解码之前被解码的、并且被存储在存储器中的参考图片(S1450)。

图15是示出根据本公开的第七实施方式的帧间预测方法的流程图。

参考图15，对用作随机访问的参考的作为第一图片的R图片进行编码或解码(S1510)，并且通过逐步地修改解码的R图片(在编码器中编码的并且然后解码的R图片，或者在解码器中解码的R图片)而生成多个参考图片(S1530)。

关于步骤S1530的处理，编码器执行与图10的步骤S1030相同的处理，并且解码器执行与步骤S1230到S1250相同的处理。

在对R图片进行编码或解码之后，通过使用多个参考图片中的至少一个参考图片，对在R图片之后显示的作为第二图片的P图片(例如，图8的P_F图片)中包括的块进行帧间预测编码或解码(S1550)。

图16是示出根据本公开的第八实施方式的使用帧间预测的视频编码方法的流程图。参考图16，在从存储在当前的图片之前显示的过去的参考图片的存储器(列表0DPB，L0)中选择过去的参考图片之后，将选择的参考图片复制到存储在当前的图片之后显示的将来的参考图片的存储器(列表1DPB，L1)中(S1610)。然后，通过使用在存储器L0和L1中存储的参考图片对当前的图片进行预测编码(S1620)。在该情形中，当前的图片是B图片。

在下一个步骤中，生成用作用于当前的图片的编码的参考图片的参考图片信息(例如，表格1的语法)(S1630)。在步骤S1630中，过去的参考图片和/或将来的参考图片可以用于当前的图片的编码。然后，如上所述，编码的当前的图片和参考图片信息被传输到解码器(S1640)。

图17是示出根据本公开的第九实施方式的使用帧间预测的视频编码方法的流程图。参考图17，在从存储在当前的图片之后显示的将来的参考图片的存储器(列表1DPB，L1)中选择将来的参考图片之后，将选择的将来的参考图片复制到存储在当前的图片之前显示的过去的参考图片的存储器(列表0DPB，L0)中(S1710)。然后，通过使用在存储器L0和L1中存储的参考图片对当前的图片进行预测编码(S1720)。在该情形中，当前的图片是B图片。

在下一个步骤中，生成用作用于当前的图片的编码的参考图片的参考图片信息(例如，表格1的语法)(S1730)。在步骤S1730中，过去的参考图片和/或将来的参考图片可以用于当前的图片的编码。然后，如上所述，编码的当前的图片和参考图片信息被传输到解码器(S1740)。

图18是示出根据本公开的第十实施方式的使用帧间预测的视频解码方法的流程图。参考图18，对关于当前的图片的接收到的信号进行解码(S1810)，并且分析从编码器接收的参考图片信息。然后，从存储在当前的图片之前显示的过去的参考图片的存储器(列表0DPB，L0)中选择一些图片，并且将选择的参考图片复制到存储在当前的图片之后显示的将来的参考图片的存储器(列表1DPB，L1)中(S1820)。基于表示哪一图片用作用于编码的参考图片的参考图片信息，通过使用在存储于存储器L0和L1中的图片中包括的块来执行帧间预测解码(S1830)。

图19是示出根据本公开的第十一实施方式的使用帧间预测的视频解码方法的流程图。参考图19，对关于当前的图片的接收到的信号进行解码(S1910)，并且分析从编码器接收的参考图片信息。然后，从存储在当前的图片之后显示的将来的参考图片的存储器(列表1DPB，L1)中选择一些参考图片，并且将选择的参考图片复制到存储在当前的图片之前显示的过去的参考图片的存储器(列表0DPB，L0)中(S1920)。基于表示哪一图片用作用于编码的参考图片的参考图片信息，通过使用在存储于存储器L0和L1中的图片中包括的块来执行帧间预测解码(S1930)。

图20是示出根据本公开的第十二实施方式的帧间预测方法的流程图。参考图20，在从存储在当前的图片之前显示的过去的参考图片的存储器(列表0DPB，L0)中选择过去的参考图片之后，将选择的参考图片复制到用于在当前的图片之后显示的将来的参考图片的存储器(列表1DPB，L1)中(S2010)。然后，通过使用在存储器L0和L1中存储的参考图片对当前的图片进行预测编码和预测解码(S2020)。在该情形中，当前的图片是P图片或B图片。在步骤S2020中，过去的参考图片和/或将来的参考图片可以用于当前的图片的编码和解码。

图21是示出根据本公开的第十三实施方式的帧间预测方法的流程图。参考图21，在从存储在当前的图片之后显示的将来的参考图片的存储器(列表1DPB，L1)选择将来的参考图片之后，将选择的参考图片复制到存储在当前的图片之前显示的过去的参考图片的存储器(列表0DPB，L0)中(S2110)。然后，通过使用在存储器L0和L1中存储的参考图片对当前的图片进行预测编码和预测解码(S2120)。在该情形中，当前的图片是B图片。在步骤S2120中，过去的参考图片和/或将来的参考图片可以用于当前的图片的编码和解码。

在下文中，将参考图22到图27描述用于实现本公开的第一到第十三实施方式的具体技术的各种示例。

根据本公开的实施方式，R图片或R图片宏块条头部可以包括如在下面的表格1中示出的语法(在该实施方式中，被称为参考图片信息和修改标识信息)。

[表格1]

下面将描述表格1的语法的功能。

1)past_pic_ref_type

past_pic_ref_type是表示过去的参考图片是否用于对B_P编码，并且如果是的话，哪一个过去的参考图片被使用的语法元素。past_pic_ref_type的值可以被确定在0到2的范围中，并且由past_pic_ref_type的值作用的图片是B_P。下面将描述根据在0到2的范围中确定的past_pic_ref_type的值的编码器或解码器的功能的示例。

当past_pic_ref_type的值为0时，编码器或解码器基于显示顺序将在B_P之前的时间点的(解码的)图片用作B_P的过去的参考图片(列表0参考图片)。为此，当该语法元素的值为0时，解码器不删除在DPB中存储的已经解码的图片，而是继续存储解码的图片直到预定的时间点，并且然后删除解码的图片。例如，刚好在解码在R图片之后解码的图片当中的显示顺序晚于R图片的全部或部分图片之后，可以删除在R图片之前解码的并且存储在DPB中的图片。

当past_pic_ref_type的值为1时，编码器或解码器删除存储在DPB中的已经解码的图片，修改解码的当前R图片，并且将修改的R图片存储在DPB中，从而将该修改的R图片用作过去的参考图片。

当past_pic_ref_type的值为2时，编码器或解码器删除存储在DPB中的已经解码的图片。仅基于显示顺序在B_P之后的时间点的图片(解码的图片)，即，仅B_P的将来的参考图片(列表1参考图片)被存储在DPB中，从而将该参考图片用作用于编码或解码B_P的参考图片。

2)past_L0_R_pic_process_type

past_L0_R_pic_process_type是仅当past_pic_ref_type的值为1时才被编码的语法元素，并且表示修改解码的当前R图片的方法。past_L0_R_pic_process_type的值可以确定在0到3的范围中，并且相应的图片是B_P。下面将描述根据在0到3的范围中确定的past_L0_R_pic_process_type的值的编码器或解码器的功能的示例。

当past_L0_R_pic_process_type的值为0时，编码器或解码器将低通滤波(LPF)处理逐步地应用到解码的当前R图片，并且然后将经过LPF处理的R图片用作B_P的过去的参考图片。

当past_L0_R_pic_process_type的值为1时，编码器或解码器将放大处理逐步地应用到解码的当前R图片，并且然后将经过放大处理的R图片用作B_P的过去的参考图片。

当past_L0_R_pic_process_type的值为2时，编码器或解码器将缩小处理逐步地应用到解码的当前R图片，并且然后将经过缩小处理的R图片用作B_P的过去的参考图片。

当past_L0_R_pic_process_type的值为3时，编码器或解码器将亮度调节处理逐步地应用到解码的当前R图片，并且然后将经过亮度调节处理的R图片用作B_P的过去的参考图片。

3)past_L1_R_pic_process_type

past_L1_R_pic_process_type是表示用于对B_P进行编码或解码的将来的参考图片的语法元素。past_L1_R_pic_process_type的值可以被确定在0到4的范围中，并且相应的图片是B_P。下面将描述根据past_L1_R_pic_process_type的值的编码器或解码器的功能的示例。

当past_L1_R_pic_process_type的值为0时，编码器或解码器仅将解码的当前R图片用作B_P的将来的参考图片(列表1参考图片)，而没有修改R图片。

当past_L1_R_pic_process_type的值为1时，编码器或解码器将解码的当前R图片和通过将LPF处理逐步地应用到该解码的当前R图片而获得的图片用作B_P的将来的参考图片。

当past_L1_R_pic_process_type的值为2时，编码器或解码器将解码的当前R图片和通过将放大处理逐步地应用到该解码的当前R图片而获得的图片用作B_P的将来的参考图片。

当past_L1_R_pic_process_type的值为3时，编码器或解码器将解码的当前R图片和通过将缩小处理逐步地应用到该解码的当前R图片而获得的图片用作B_P的将来的参考图片。

当past_L1_R_pic_process_type的值为4时，编码器或解码器将解码的当前R图片和通过将亮度处理调节处理逐步地应用到该解码的当前R图片而获得的图片用作B_P的将来的参考图片。

4)fut_L0_R_pic_process_type

fut_L0_R_pic_process_type是表示用于对B_F或P_F进行编码或解码的过去的参考图片的语法元素。fut_L0_R_pic_process_type的值可以确定在0到4的范围中，并且相应的图片是B_F。下面将描述根据fut_L0_R_pic_process_type的值的编码器或解码器的功能的示例。

当fut_L1_R_pic_process_type的值为0时，编码器或解码器仅将解码的当前R图片用作B_F或P_F的过去的参考图片，而没有修改R图片。

当fut_L0_R_pic_process_type的值为1时，编码器或解码器将解码的当前R图片和通过将LPF处理逐步地应用到该解码的当前R图片而修改的图片用作B_F或P_F的过去的参考图片。

当fut_L0_R_pic_process_type的值为2时，编码器或解码器将解码的当前R图片和通过将放大处理逐步地应用到该解码的当前R图片而修改的图片用作B_F或P_F的过去的参考图片。

当fut_L0_R_pic_process_type的值为3时，编码器或解码器将解码的当前R图片和通过将缩小处理逐步地应用到该解码的当前R图片而修改的图片用作B_F或P_F的过去的参考图片。

当fut_L0_R_pic_process_type的值为4时，编码器或解码器将解码的当前R图片和通过将亮度调节处理逐步地应用到该解码的当前R图片而修改的图片用作B_F或P_F的过去的参考图片。

通过上述语法的组合可以实现各种实施方式，至少包括图9到图21的第一到第十三实施方式。

作为上述语法的组合的示例，当past_pic_ref_type的值为0并且past_L1_R_pic_process_type的值在1到4的范围中时，属于B_P的B图片被编码或解码，如在图22中所例示。

作为上述语法的组合的另一个示例，当past_pic_ref_type的值为1，past_L0_R_pic_process_type的值在0到3的范围中，并且past_L1_R_pic_process_type的值为0时，属于B_P的图片被编码或解码，如在图23中所例示。

作为上述语法的组合的又一个示例，当past_pic_ref_type的值为2并且past_L1_R_pic_process_type的值在1到4的范围中时，属于B_P的B图片被编码或解码，如在图24中所例示。

作为上述语法的组合的又一个示例，当fut_L0_R_pic_process_type的值在1到4的范围中时，属于B_F或P_F的B图片或P图片被编码或解码，如在图25中所例示。

根据与当前的图片的显示顺序的时间距离，可以逐步地应用在past_L0_R_pic_process_type,past_L1_process_R_pic_type和fut_L0_R_pic_process_type中使用的LPF处理、放大处理、缩小处理和亮度调节处理。当显示顺序的时间距离较近时，可以轻微地执行修改，当显示顺序的时间距离较远时，可以较强地执行R修改。

在该情形中，根据显示顺序的时间距离，对当距离较近时的较强的R图片修改和当距离较远时的轻微的修改没有限制。

根据上述实施方式，编码器或解码器可以按照相同的方式管理存储器即DPB。因此，通过使用在DPB中存储的相同的参考图片，编码器编码每一个图片并且解码器解码每一个图片。

在上述实施方式中，编码器通过使用适当的方法来选择诸如past_pic_ref_type,past_L0_R_pic_process_type,past_L1_R_pic_process_type或fut_L0_R_pic_process_type这样的语法元素的值，并且将语法元素插入到语法元素的图片头部或宏块条头部，或者其他适当的比特流层。解码器解析语法元素，并且根据各个语法元素的值执行相关的操作。

在上述实施方式中，已经引入了用于控制解码器的操作的新的语法元素。然而，根据本公开的另一个实施方式，可以通过根据预定算法以相同的方式操作编码器和解码器而以更简单的方式解决传统的IDR图片的上述问题，而不用引入诸如past_pic_ref_type这样的语法元素。例如，在上述实施方式中，可以根据past_pic_ref_type的值执行各种DPB管理。在另一个实施方式中，代替传输past_pic_ref_type，可以由编码器或解码器以相同的方式执行与其中past_pic_ref_type的值为0的情形相对应的功能。

另外，在本公开的实施方式中，尽管根据每一个语法的值来指定用于修改解码的R图片的方法，但是值和相对应的修改方法的1:1对应关系可以根据预定规则改变。

可以根据由用户设置的参考图片的数量来确定修改所有的解码的R图片的步骤的数量。

尽管在本公开的实施方式中已经以图片或宏块条为单位应用了修改所有的R图片的方法，但是对于以块为单位修改从宏块条头部传输的R图片的方法没有限制。

另外，如在图26中例示，当对当前的图片B1编码或解码时，可以将在过去的参考图片R、B2、B1、B2和P当中的特定帧、所有帧或部分帧复制到将来的参考图片的缓存，并且可以用于当前的图片B1的预测编码和解码。

另外，如在图27中例示，当对当前的图片B1编码或解码时，可以将在将来的参考图片当中的特定帧、所有帧或部分帧复制到过去的参考图片的缓存，并且可以用于当前的图片B1的预测编码和解码。

根据本公开的实施方式，为了将在B_P图片之前(按照显示顺序)的解码的图片或经修改的解码的当前R图片用作图8的B_P图片的参考图片，将所述语法添加到宏块条头部。然而，对通过仅使用一个预定的方法来编码相应的B_P图片没有限制。

另外，当解码的当前R图片被修改并且用作B_F或P_F图片的参考图片时，所述语法被添加到宏块条头部以将修改方法编码化。然而，对通过仅使用一个预定的方法来编码B_F或P_F图片没有限制。

另外，在本公开的实施方式中，对用于修改解码的R图片的滤波器的类型、大小或阶没有限制。

另外，在本公开的实施方式中，对用于修改解码的R图片的放大方法和图片/块内插方法没有限制。

另外，在本公开的实施方式中，对用于修改解码的R图片的缩小方法和图片/块内插以及采样方法没有限制。

另外，在本公开的实施方式中，对用于修改解码的R图片的亮度改变方法和亮度改变参数的数量没有限制。

而且，在本公开的实施方式中，经解码的当前R图片被复制或修改，从而被用于B_F或P_F图片的参考图片。然而，对于参考图片的任何类型的复制或修改没有限制。

虽然已经将本发明的示例性实施方式描述用于示例性目的，但是本领域技术人员将理解的是，在不脱离本公开的基本特征的情况下，各种修改、添加和替换是可能的。因此，本公开的示例性方面的描述不是用于限制目的。因此，本公开的范围不是由上述方面限制，而是由权利要求书及其等效限制。

工业应用性

如上所述，本公开对于本技术领域中的应用是非常有用的，因为各种实施方式被应用到视频编码/解码技术，以解决在将IDR图片用于随机访问期间的问题，由此提高编码和解码效率。

相关申请的交叉引用

如果可以的话，该申请在35U.S.C§119(a)下要求在2010年12月16日提交的韩国专利申请No.10-2010-0129059和在2010年4月16日提交的韩国专利申请No.10-2010-0035222的优先权，上述韩国专利申请通过引用被整体合并于此。另外，由于基于通过引用被整体合并于此的上述韩国专利申请的相同原因，该非临时申请在除了美国之外的国家要求优先权。