基于间预测模式的图像处理方法及其装置与流程

本发明涉及一种处理静止图像或运动图像的方法，并且更具体地，涉及一种基于间预测模式对静止图像或运动图像进行编码/解码的方法以及一种支持该方法的装置。

背景技术

压缩编码指的是经由通信线路发送数字化信息的一系列信号处理技术，或者以适用于存储介质的形式存储信息的技术。包括图片、图像、音频等等的介质可以是用于压缩编码的目标，并且具体地，对图片执行压缩编码的技术被称为视频图像压缩。

下一代视频内容被假定为是具有高空间分辨率、高帧速率和场景表示的高维度的特征。为了处理这样的内容，将导致在存储器存储、存储器存取速率和处理功率方面的急剧增长。

因此，需要设计一种有效率地处理下一代视频内容的编译工具。

技术实现要素：

技术问题

本发明的实施例提供一种用于定义作为间预测中的新运动信息预测方法的反向运动信息预测方法并且通过使用该方法对图像进行编码/解码的方法。

此外，本发明的实施例提供一种用于将在反向方向上预测的运动信息应用于运动信息候选列表的方法。

在本发明中要实现的技术目的不限于前述技术目的，并且本发明所属领域的普通技术人员显然可以从以下描述中理解上面未描述的其它技术目的。

技术方案

在本发明的一个方面中，一种用于基于间预测来处理图像的方法，包括：通过使用在当前图片的参考图片内的块的运动信息来导出当前块的反向运动信息；将反向运动信息作为运动信息候选添加到包括多个运动信息候选的当前块的运动信息候选列表中；从在运动信息候选列表内的多个运动信息候选当中选择的运动信息导出当前块的运动信息；以及通过使用当前块的运动信息生成当前块的预测块，其中在参考图片内的块可以由反向运动信息指定。

在本发明的另一方面中，一种基于间预测处理图像的装置，包括：反向运动信息导出单元，该反向运动信息导出单元通过使用在当前图片的参考图片内的块的运动信息导出当前块的反向运动信息；运动信息候选列表配置单元，该运动信息候选列表配置单元将反向运动信息作为运动信息候选添加到包括多个运动信息候选的当前块的运动信息候选列表；运动信息导出单元，该运动信息导出单元从在运动信息候选列表中的多个运动信息候选当中选择的运动信息导出当前块的运动信息；以及预测块生成单元，该预测块生成单元通过使用当前块的运动信息生成当前块的预测块，其中在参考图片内的块可以由反向运动信息指定。

优选地，在参考图片内的块的运动信息可以被缩放以指向当前块，并且可以将反向运动信息导出为与缩放的运动信息在大小上相同且在方向上相反的运动信息。

优选地，可以基于在当前图片和参考图片之间的图片顺序计数(poc)差以及在参考图片和该参考图片的参考图片之间的poc差来缩放参考图片内的块的运动信息。

优选地，该方法还可以包括在当前图片的参考图片内搜索具有运动信息的块，其中可以基于搜索到的块的运动信息导出反向运动信息。

优选地，反向运动信息可以对应于由缩放的运动信息指定的对应块，并且可以将当前块的反向运动信息确定为与当前块重叠的对应块的反向运动信息。

优选地，该方法还可以包括：当多个反向运动信息对应于单个对应块时，将用于选择多个反向运动信息作为当前块的反向运动信息的优先级指配给多个反向运动信息。

优选地，当在当前图片与参考图片之间的图片顺序(poc)的差是小的时，可以指配较高的优先级。

优选地，当在当前图片与参考图片的参考图片之间的图片顺序(poc)的差是小的时，可以指配较高的优先级。

优选地，当在当前图片与参考图片之间的图片顺序(poc)差和在参考图片与该参考图片的参考图片之间的poc差具有相同符号时，可以指配较高优先级。

优选地，当在参考图片内的块与由参考图片内的块指定的参考图片的参考图片内的块之间的残差值是小的时，可以指配较高的优先级。

优选地，可以首先将较高优先级指配给对应于多个反向运动信息当中的对应块的反向运动信息。

优选地，该方法还可以包括：当在当前块内存在多个对应块时，将用于选择反向运动信息作为当前块的反向运动信息的优先级指配给多个对应块的反向运动信息。

优选地，可以将较高优先级指配给存在于距多个反向运动信息当中的当前块的特定样本的位置一定距离处的对应块的反向运动信息。

优选地，特定样本可以是当前块的左上样本、中心样本和右下样本。

优选地，可以将较高优先级指配给具有与多个反向运动信息当中的当前块的邻近块的运动信息不同的值的反向运动信息。

优选地，当存在当前块的多个反向运动信息时，可以基于指配给多个反向运动信息的优先级将预定数量的反向运动信息添加到当前块的运动信息候选列表中。

优选地，当从不同参考图片列表的参考图片导出的多个反向运动信息对应于单个对应块时，从多个反向运动信息导出的双向运动信息可以被存储同时被映射到单个对应块。

有益效果

根据本发明的实施例，能够通过预测反向方向中的运动信息来增强预测精度。

此外，根据本发明的实施例，当反向运动信息被用于运动信息候选列表时，能够最大多样化地使用邻近运动信息，从而增加编译效率。

另外，根据本发明的实施例，随着预测性能增加，能够减少残差，从而增加图像的压缩率。

可以在本发明中获得的技术效果不限于上述的技术效果，并且本领域的技术人员可以从下面的描述中理解本文未提及的其它技术效果。

附图说明

附图作为用于帮助理解本发明的说明书的一部分被包括在此处，其提供本发明的实施例，并且借助以下的说明来描述本发明的技术特征。

图1图示作为本发明应用于的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。

图2图示作为本发明应用于的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。

图3是用于描述可以应用于本发明的编译单元的分割结构的图。

图4是用于描述可以应用于本发明的预测单元的图。

图5是本发明可以被应用于的实施例并且是图示间预测的方向的图。

图6是本发明可以被应用于的实施例并且图示用于1/4采样内插的整数和分数采样位置。

图7是本发明可以被应用于的实施例并且图示空间候选的位置。

图8是本发明可以被应用于的实施例并且是图示间预测方法的图。

图9是本发明可以被应用于的实施例并且是图示运动补偿过程的图。

图10是可以应用本发明的实施例并且是用于描述反向预测运动信息的图。

图11是可以应用本发明的实施例并且是用于描述反向预测运动信息的图。

图12是图示根据本发明的实施例的用于确定优先级的方法的图。

图13是图示根据本发明的实施例的用于确定优先级的方法的图。

图14是图示根据本发明的实施例的用于确定优先级的方法的图。

图15是图示根据本发明的实施例的用于确定优先级的方法的图。

图16是图示根据本发明的实施例的用于确定优先级的方法的图。

图17是根据本发明的实施例的用于描述用于生成双向预测运动信息的方法的图。

图18图示根据本发明的实施例的包括用于预测双向运动信息的方法的编码器的示意性框图。

图19图示根据本发明的实施例的包括用于预测双向运动信息的方法的解码器的示意性框图。

图20是可以应用本发明的实施例并且图示用于通过使用反向运动信息来配置运动信息候选列表的方法。

图21是可以应用本发明的实施例并且图示用于通过使用反向运动信息来配置运动信息候选列表的方法。

图22图示根据本发明的实施例的用于将反向预测运动信息插入到运动信息候选列表中的方法。

图23是图示根据本发明的实施例的基于间预测的图像处理方法的图。

图24是图示根据本发明的实施例的反向运动信息预测单元和间预测单元的图。

具体实施方式

在下文中，本发明的优选实施例将通过参考伴随的附图来描述。在下面借助于伴随的附图描述的说明书将描述本发明示例性实施例，并且不意欲描述仅可以实现本发明的实施例。以下的描述包括特定细节以便提供对本发明的完全理解。但是，应该明白，对于本领域技术人员来说，无需特定细节，也可以实施本发明。

在一些情形中，为了防止本发明的技术概念不清楚，公知的结构或者设备可以被省略，或者可以围绕结构或者设备的核心功能将其描述为框图。

此外，虽然尽可能多地选择当前广泛地使用的常规术语作为本发明的术语，但是在特定情形中使用了由申请人任意选择的术语。由于在这样的情况下，术语的含义将在说明书的相应的部分中被清楚地描述，因此，应该明白，本发明将不是简单地由仅在本发明的描述中使用的术语来解释，而是应当理解术语的含义。

在以下的描述中使用的特定术语可以被提供以帮助理解本发明。此外，特定术语可以被修改为本发明的技术概念范围内的其他形式。例如，信号、数据、采样、图片、帧和块等可以在每个编译过程中被适当地替换和解释。

在下文中，在本说明书中，“处理单元”指的是执行编码/解码处理过程(诸如预测、变换和/或量化)的单元。在下文中，为了描述的方便起见，处理单元也可以被称作“处理块”或者“块”。

处理单元可以被认为是具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编译树单元(ctu)、编译单元(cu)、预测单元(pu)或者变换单元(tu)。

此外，处理单元可以被认为是用于亮度分量的单元或者用于色度分量的单元。例如，处理单元可以对应于编译树块(ctb)、编译块(cb)、预测块(pb)或者用于亮度分量的变换块(tb)。可替选地，处理单元可以对应于编译树块(ctb)、编译块(cb)、预测块(pb)或者用于色度分量的变换块(tb)。此外，本发明不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元。

此外，处理单元基本上不局限于正方形块，并且可以以具有三个或更多个顶点的多边形形式来构建。

图1图示作为本发明应用于的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。

参考图1，编码器100可以包括视频分割单元110、减法器115、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码的图片缓冲器(dpb)单元170、预测单元180和熵编码单元190。此外，预测单元180可以包括间预测单元(inter-predictionunit)181和内预测单元(intra-predictionunit)182。

视频分割单元110将输入给编码器100的输入视频信号(或者图片或者帧)分割为一个或多个处理单元。

减法器115通过从输入视频信号减去由预测单元180(即，由间预测单元181或者内预测单元182)输出的预测信号(或者预测块)来生成残差信号(或者残差块)。生成的残差信号(或者残差块)被发送给变换单元120。

变换单元120通过将变换方案(例如，离散余弦变换(dct)、离散正弦变换(dst)、基于图的变换(gbt)或者卡南-洛伊夫变换(klt))应用于残差信号(或者残差块)来生成变换系数。在这种情况下，可以通过使用应用于残差块的预测模式和基于残差块的大小所确定的变换方案执行变换，变换单元120生成变换系数。

量化单元130量化变换系数，并且将其发送给熵编码单元190，并且熵编码单元190执行量化信号的熵编码操作，以及将其作为比特流输出。

同时，由量化单元130输出的量化的信号可以用于生成预测信号。例如，可以通过经由去量化单元140和逆变换单元150将去量化和逆变换应用于量化信号来重建残差信号。可以通过将重建的残差信号增加给由间预测单元181或者内预测单元182输出的预测信号来生成重建的信号。

同时，在这样的压缩过程期间，邻近块通过不同的量化参数来量化。因此，显示块边缘的伪影(artifact)可能出现。这样的现象被称为块伪影，其是用于评估图像质量的重要因素的一个。为了减少这样的伪影，可以执行滤波过程。经由这样的滤波过程，块伪影被除去，并且当前图片的误差同时被降低，从而改善图像质量。

滤波单元160将滤波应用于重建的信号，并且经由回放设备将其输出，或者将其发送给解码的图片缓冲器170。发送给解码的图片缓冲器170的滤波的信号可以在间预测单元181中用作参考图片。如上所述，可以以图片间预测模式，使用滤波的图片作为参考图片来改善编码速率以及图像质量。

解码的图片缓冲器170可以存储滤波的图片，以便在间预测单元181中将其用作参考图片。

间预测单元181参考重建的图片来执行时间预测和/或空间预测，以便除去时间冗余和/或空间冗余。

具体地，根据本发明的间预测单元181可以在间预测(或图片间预测)中使用后向运动信息。稍后将描述其详细描述。

在这种情况下，块伪影或者环形伪影可能出现，因为用于执行预测的参考图片是变换的信号，当其被预先地编码/解码时，其在块单元中经历量化或者去量化。

因此，为了解决可归因于这样的信号或者量化的中断的性能退化，像素之间的信号可以通过将低通滤波器应用于间预测单元181而在子像素单元中被内插。在这种情况下，子像素指的是通过应用内插滤波器生成的虚拟像素，并且整数像素指的是存在于重建的图片之中的实际的像素。线性内插、双线性内插、维纳滤波器等等可以作为内插方法被应用。

内插滤波器可以应用于重建的图片，并且可以改善预测的精确度。例如，间预测单元181可以通过将内插滤波器应用于整数像素生成内插像素并且通过使用包括内插像素的内插块作为预测块来执行预测。

内预测单元182参考邻近现在要编码的块的采样来预测当前块。内预测单元182可以执行以下的过程以便执行内预测。首先，内预测单元182可以准备生成预测信号所必需的参考采样。此外，内预测单元182可以使用准备的参考采样来生成预测信号。其次，内预测单元182可以对预测模式进行编码。在这种情况下，可以经由参考采样填充和/或参考采样滤波来准备参考采样。量化误差可能存在，因为参考采样经历预测和重建过程。因此，为了降低这样的误差，可以对用于内预测的每个预测模式执行参考采样滤波过程。

经由间预测单元181或者内预测单元182生成的预测信号(或者预测块)可以用于生成重建的信号(或者重建的块)，或者可以用于生成残差信号(或者残差块)。

图2图示作为本发明应用于的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。

参考图2，解码器200可以包括熵解码单元210、去量化单元220、逆变换单元230、加法器235、滤波单元240、解码的图片缓冲器(dpb)250和预测单元260。此外，预测单元260可以包括间预测单元261和内预测单元262。

此外，经由解码器200输出的重建的视频信号可以经由回放设备来回放。

解码器200可以接收由在图1中示出的编码器100输出的信号(即，比特流)。熵解码单元210对接收的信号执行熵解码操作。

去量化单元220使用量化步长信息(quantizationstepsizeinformation)，从熵解码的信号获得变换系数。

逆变换单元230通过应用逆变换方案对变换系数进行逆变换来获得残差信号(或者残差块)。

加法器235将获得的残差信号(或者残差块)与由预测单元260(即，间预测单元261或者内预测单元262)输出的预测信号(或者预测块)相加，从而生成重建的信号(或者重建的块)。

滤波单元240将滤波应用于重建的信号(或者重建的块)，并且将滤波的信号输出给回放设备，或者将滤波的信号发送给解码的图片缓冲器250。发送给解码的图片缓冲器250的滤波的信号可以在间预测单元261中用作参考图片。

在本说明书中，在编码器100的滤波单元160、间预测单元181和内预测单元182中描述的实施例可以分别同等地应用于解码器的滤波单元240、间预测单元261和内预测单元262。

具体地，根据本发明的间预测单元261可以在间预测(或图片间预测)中使用后向运动信息。稍后将描述其详细描述。

处理单元分割结构

通常，基于块的图像压缩方法被在静止图像或者视频的压缩技术(例如，hevc)中使用。基于块的图像压缩方法是通过将其分割为特定块单元来处理图像的方法，并且可以降低存储器使用和计算的负载。

图3是描述可以应用于本发明的编译单元的分割结构的图。

编码器将单个图像(或者图片)分割为方格形式的编译树单元(ctu)，并且按照栅格扫描顺序逐个地编码ctu。

在hevc中，ctu的大小可以确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或者输入视频信号的特征来选择和使用ctu的大小。ctu包括用于亮度分量的编译树块(ctb)和用于与其相对应的二个色度分量的ctb。

一个ctu可以以四叉树结构分割。也就是说，一个ctu可以被分割为每个具有正方形形式并且具有一半水平大小和一半垂直大小的四个单元，从而能够生成编译单元(cu)。四叉树结构的这样的分割可以递归地执行。也就是说，以四叉树结构从一个ctu分等级地分割cu。

cu指的是用于输入视频信号的处理过程(例如，执行内/间预测的编译)的基本单位。cu包括用于亮度分量的编译块(cb)和用于与亮度分量相对应的两个色度分量的cb。在hevc中，cu大小可以被确定为64×64、32×32、16×16和8×8中的一个。

参考图3，四叉树的根节点与ctu有关。四叉树被分割，直到达到叶节点。叶节点对应于cu。

对此进行更详细地描述。ctu对应于根节点，并且具有最小的深度(即，深度＝0)值。根据输入视频信号的特征，ctu可能不能被分割。在这种情况下，ctu对应于cu。

ctu可以以四叉树形式分割。因此，生成下节点，也就是说，深度1(深度＝1)。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于cu。例如，在图3(b)中，对应于节点a、b和j的cu(a)、cu(b)和cu(j)已经从ctu分割一次，并且具有深度1。

具有深度1的节点中的至少一个可以以四叉树形式分割。因此，生成具有深度1的下节点(即，深度＝2)。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于cu。例如，在图3(b)中，对应于节点c、h和i的cu(c)、cu(h)和cu(i)已经从ctu分割两次，并且具有深度2。

此外，具有深度2的节点中的至少一个可以以四叉树形式再次分割。因此，生成具有深度3(即，深度＝3)的下节点。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于cu。例如，在图3(b)中，对应于节点d、e、f和g的cu(d)、cu(e)、cu(f)和cu(g)已经从ctu分割三次，并且具有深度3。

在编码器中，cu的最大大小或者最小大小可以基于视频图像的特征(例如，分辨率)或者通过考虑编码速率来确定。此外，有关最大或者最小大小的信息或者能够得到该信息的信息可以被包括在比特流中。具有最大大小的cu被称为最大编译单元(lcu)，并且具有最小大小的cu被称为最小编译单元(scu)。

此外，具有树结构的cu可以以预先确定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割的cu可以具有深度信息。由于深度信息表示分割计数和/或cu的程度，其可以包括有关cu大小的信息。

由于lcu被以四叉树形状分割，所以scu的大小可以通过使用lcu的大小和最大深度信息来获得。或者，相反地，lcu的大小可以通过使用scu的大小和树的最大深度信息来获得。

对于单个cu，表示是否相应的cu被分割的信息(例如，分割的cu标志(split_cu_flag))可以转发给解码器。这个分割的信息被包括在除了scu之外的所有cu中。例如，当表示是否分割的标志的值是“1”时，相应的cu被进一步分割为四个cu，并且当表示是否分割的标志的值是“0”时，相应的cu不再分割，并且可以执行用于相应的cu的处理过程。

如上所述，cu是执行内预测或者间预测的编译的基本单位。hevc在预测单元(pu)中分割cu，以更加有效地编译输入视频信号。

pu是用于生成预测块的基本单位，并且即使在单个cu中，预测块也可以以pu为单位以不同的方式生成。但是，对于属于单个cu的pu不一起使用内预测和间预测，并且属于单个cu的pu通过相同的预测方法(即，内预测或者间预测)来编译。

pu不以四叉树结构分割，但是在单个cu中以预先确定的形状分割一次。这些将通过参考以下的附图来描述。

图4是描述可以应用于本发明的预测单元的图。

根据是否使用内预测模式或者间预测模式作为pu所属于的cu的编译模式，pu被不同地分割。

图4(a)图示使用内预测模式时的pu，并且图4(b)图示使用间预测模式时的pu。

参考图4(a)，假设单个cu的大小是2n×2n(n＝4、8、16和32)，单个cu可以被分割为两种类型(即，2n×2n或者n×n)。

在这种情况下，如果单个cu被分割为2n×2n形状的pu，则这指的是仅一个pu存在于单个cu中。

同时，如果单个cu被分割为n×n形状的pu，则单个cu被分割为四个pu，并且对于每个pu单元生成不同的预测块。但是，只有在用于cu的亮度分量的cb的大小是最小大小(即，cu是scu的情形)时，可以执行这样的pu分割。

参考图4(b)，假设单个cu的大小是2n×2n(n＝4、8、16和32)，单个cu可以被分割为八个pu类型(即，2n×2n、n×n、2n×n、n×2n、nl×2n、nr×2n、2n×nu和2n×nd)。

像在内预测中一样，只有在用于cu的亮度分量的cb的大小是最小大小(即，cu是scu的情形)时，可以执行n×n形状的pu分割。

间预测以在水平方向上分割的2n×n形状和以在垂直方向上分割的n×2n形状来支持pu分割。

此外，间预测以nl×2n、nr×2n、2n×nu和2n×nd形状来支持pu分割，其是不对称运动分割(amp)。在这种情况下，“n”指的是2n的1/4值。但是，如果pu所属于的cu是最小大小的cu，则amp可以不被使用。

为了在单个ctu中有效率地编码输入视频信号，可以经由如下的处理过程基于最小速率失真值来确定编译单元(cu)、预测单元(pu)和变换单元(tu)的最佳分割结构。例如，关于在64×64ctu中的最佳cu分割过程，可以经由从64×64大小的cu到8×8大小的cu的分割过程来计算速率失真成本。详细的过程如下。

1)生成最小速率失真值的pu和tu的最佳分割结构通过对64×64大小的cu执行间/内预测、变换/量化、去量化/逆变换和熵编码来确定。

2)pu和tu的最佳分割结构被确定以将64×64cu分割为32×32大小的四个cu，并且生成用于每个32×32cu的最小速率失真值。

3)pu和tu的最佳分割结构被确定以进一步将32×32cu分割为16×16大小的四个cu，并且生成用于每个16×16cu的最小速率失真值。

4)pu和tu的最佳分割结构被确定以进一步将16×16cu分割为8×8大小的四个cu，并且生成用于每个8×8cu的最小速率失真值。

5)通过将在过程3)中获得的16×16cu的速率失真值与在过程4)中获得的四个8×8cu的速率失真值的增加比较来确定在16×16块中的cu的最佳分割结构。也以相同的方式对于剩余的三个16×16cu来执行这个过程。

6)通过将在过程2)中获得的32×32cu的速率失真值与在过程5)中获得的四个16×16cu的速率失真值的增加比较来确定在32×32块中的cu的最佳分割结构。也以相同的方式对于剩余的三个32×32cu执行这个过程。

7)最后，在64×64块中cu的最佳分割结构通过将在过程1)中获得的64×64cu的速率失真值与在过程6)中获得的四个32×32cu的速率失真值的增加比较来确定。

在内预测模式中，预测模式被选择为pu单元，并且在实际的tu单元中对选择的预测模式执行预测和重建。

tu指的是执行实际的预测和重建的基本单位。tu包括用于亮度分量的变换块(tb)和用于与亮度分量相对应的两个色度分量的tb。

在图3的示例中，像在一个ctu被以四叉树结构分割以生成cu的示例中一样，从要编译的一个cu以四叉树结构分等级地分割tu。

因为tu被以四叉树结构分割，所以从cu分割的tu可以被分割为更小和更低的tu。在hevc中，tu的大小可以被确定为32×32、16×16、8×8和4×4中的一个。

返回参考图3，四叉树的根节点被假设为与cu相关。四叉树被分割，直到达到叶节点，并且叶节点对应于tu。

对此进行更详细的描述。cu对应于根节点，并且具有最小的深度(即，深度＝0)值。根据输入图像的特征，cu可能不能被分割。在这种情况下，cu对应于tu。

cu可以以四叉树形式分割。因此，生成具有深度1(深度＝1)的下节点。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于tu。例如，在图3(b)中，对应于节点a、b和j的tu(a)、tu(b)和tu(j)已经从cu分割一次，并且具有深度1。

具有深度1的节点的至少一个可以再次以四叉树形式分割。因此，生成具有深度2(即，深度＝2)的下节点。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于tu。例如，在图3(b)中，对应于节点c、h和i的tu(c)、tu(h)和tu(i)已经从cu分割两次并且具有深度2。

此外，具有深度2的节点的至少一个可以以四叉树形式再次分割。因此，生成具有深度3(即，深度＝3)的下节点。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于cu。例如，在图3(b)中，对应于节点d、e、f和g的tu(d)、tu(e)、tu(f)和tu(g)已经从cu分割三次，并且具有深度3。

具有树结构的tu可以以预先确定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割的tu可以具有深度信息。该深度信息可以包括有关tu的大小的信息，因为其指示分割数目和/或tu的程度。

指示是否相应的tu已经相对于一个tu被分割的信息(例如，分割的tu标记“split_transform_flag”)可以传送给解码器。分割信息被包括在除了最小大小的tu之外的所有tu中。例如，如果指示是否tu已经分割的标志的值是“1”，则相应的tu被分割为四个tu。如果指示是否tu已经分割的标志的值是“0”，则相应的tu不再分割。

预测

为了重建对其执行解码的当前处理单元，可以使用包括当前处理单元的当前图片或其它图片的已解码的部分。

仅使用当前图片用于重建(即，仅对其执行内预测)的图片(条带)可被称作内图片(intra-picture)或i图片(条带)，为了预测每个单元使用最多一个运动向量和参考索引的图片(条带)可以被称作预测图片或p图片(条带)，并且使用最多两个运动向量和参考索引的图片(条带)可以被称作双预测图片或者b图片(条带)。

内预测意指从同一解码的图片(或条带)的数据元素(例如，样本值)导出当前处理块的预测方法。也就是说，内预测意指参考当前图片内的重建区域来预测当前处理块的像素值的方法。

在下文中，对间预测进行更详细的描述。

间预测(inter-prediction)(或帧间预测(inter-frameprediction))

间预测意指基于除当前图片以外的图片的数据元素(例如，样本值或运动向量)来导出当前处理块的预测方法。也就是说，间预测意指参考除当前图片以外的另一重建图片内的重建区域来预测当前处理块的像素值的方法。

间预测(或图片间预测)是用于去除存在于图片之间的冗余的技术，并且主要通过运动估计和运动补偿来执行。

图5是本发明可以被应用于的实施例并且是图示间预测的方向的图。

参考图5，间预测可以被划分成单向预测和双向预测，在所述单向预测中仅一个过去的图片或将来的图片被用作相对于单个块的时间轴上的参考图片，而在所述双向预测中过去的和将来的图片均同时被参考。

此外，单向预测可以被划分成正向预测和后向预测，在所述正向预测中使用在当前图片之前暂时显示(或者输出)的单个参考图片，而在后向预测中使用在当前图片之后暂时显示(或者输出)的单个参考图片。

在间预测过程(即，单向或双向预测)中，用于指定在预测当前块时使用哪一个参考区域(或参考块)的运动参数(或信息)包括间预测模式(在这种情况下，间预测模式可以指示参考方向(即，单向或双向)以及参考列表(即，l0、l1或双向))、参考索引(或参考图片索引或参考列表索引)和运动向量信息。运动向量信息可以包括运动向量、运动向量预测(mvp)或运动向量差(mvd)。运动向量差值意指在运动向量与运动向量预测因子之间的差。

在单向预测中，使用单侧方向的运动参数。也就是说，可能需要一个运动参数来指定参考区域(或参考块)。

在双向预测中，使用两个方向的运动参数。在双向预测方法中，可以使用最多两个参考区域。两个参考区域可以存在于相同的参考图片中或者可以存在于不同的图片中。也就是说，在双向预测方法中，可以使用最多两个运动参数。两个运动向量可以具有相同的参考图片索引或者可以具有不同的参考图片索引。在这种情况下，可以在当前图片之前暂时显示参考图片，或者可以在当前图片之后暂时显示(或者输出)参考图片。

编码器在间预测过程中执行在参考图片中搜索与当前处理块最相似的参考区域的运动估计。此外，编码器可以给解码器提供用于参考区域的运动参数。

编码器/解码器可以使用运动参数来获得当前处理块的参考区域。参考区域存在于具有参考索引的参考图片中。此外，由运动向量指定的参考区域的像素值或内插值可以被用作当前处理块的预测因子。也就是说，使用运动信息来执行根据先前解码的图片预测当前处理块的图像的运动补偿。

为了减小与运动向量信息有关的传送速率，可以使用利用先前解码的块的运动信息来获得运动向量预测因子(mvp)并且仅发送相应的差(mvd)的方法。也就是说，解码器使用其它解码的块的运动信息来计算当前处理块的运动向量预测因子并且使用与编码器的差异来获得当前处理块的运动向量值。在获得运动向量预测因子时，解码器可以使用其它已经解码的块的运动信息来获得各种运动向量候选值，并且可以获得各种运动向量候选值中的一个作为运动向量预测因子。

-参考图片集和参考图片列表

为了管理多个参考图片，一组先前解码的图片被存储在解码的图片缓冲器(dpb)中以用于剩余图片的解码。

属于存储在dpb中的重建图片并且被用于间预测的重建图片被称作参考图片。换句话说，参考图片意指包括可以在解码序列的下一个图片的解码过程中被用于间预测的样本的图片。

参考图片集(rps)意指与图片相关联的一组参考图片，并且包括解码序列中的所有先前关联的图片。参考图片集可以被用于解码序列中的关联图片或紧跟一图片之后的图片的间预测。也就是说，保持在解码的图片缓冲器(dpb)中的参考图片可以被称作参考图片集。编码器可以在每个条带头中给解码器提供序列参数集(sps)(即，具有语法元素的语法结构)或参考图片集信息。

参考图片列表意指用于p图片(或条带)或b图片(或条带)的间预测的参考图片的列表。在这种情况下，参考图片列表可以被划分成两个参考图片列表，所述两个参考图片列表可以被称作参考图片列表0(或l0)和参考图片列表1(或l1)。此外，属于参考图片列表0的参考图片可以被称作参考图片0(或l0参考图片)，而属于参考图片列表1的参考图片可以被称作参考图片1(或l1参考图片)。

在p图片(或条带)的解码过程中，可以使用一个参考图片列表(即，参考图片列表0)。在b图片(或条带)的解码过程中，可以使用两个参考图片列表(即，参考图片列表0和参考图片列表1)。可以通过参考图片集信息将用于区分每个参考图片的此类参考图片列表的信息提供给解码器。解码器基于参考图片集信息将参考图片添加到参考图片列表0或参考图片列表1。

为了识别参考图片列表内的任何一个特定参考图片，使用参考图片索引(或参考索引)。

-分数样本内插

用于间预测的当前处理块的预测块的样本是从通过参考图片索引识别的参考图片内的相应参考区域的样本值获得的。在这种情况下，参考图片内的相应参考区域指示通过运动向量的水平分量和垂直分量所指示的位置的区域。除了运动向量具有整数值的情况之外，分数样本内插被用于针对非整数样本坐标生成预测样本。例如，可以支持样本之间的距离的1/4定标的运动向量。

在hevc的情况下，亮度分量的分数样本内插在横向和纵向上应用8抽头滤波器。此外，色度分量的分数样本内插在横向和纵向上应用4抽头滤波器。

图6是本发明可以被应用于的实施例并且图示用于1/4样本内插的整数和分数样本位置。

参考图6，写入大写字母(a_i,j)的阴影块指示整数样本位置，而不具有写入小写字母(x_i,j)的阴影的块指示分数样本位置。

分数样本通过在水平方向和垂直方向上对整数样本值应用内插滤波器来生成。例如，在水平方向的情况下，可以基于要生成的分数样本将8抽头过滤器应用于在左侧的四个整数样本值和在右侧的四个整数样本值。

-间预测模式

在hevc中，为了减少运动信息的量，可以使用合并模式和高级运动向量预测(amvp)。

1)合并模式

合并模式意指从空间或时间上的相邻块导出运动参数(或信息)的方法。

在合并模式下，一组可用候选包括空间邻近候选、时间候选和生成的候选。

图7是本发明可以被应用于的实施例并且图示空间候选的位置。

参考图7(a)，确定根据{a1、b1、b0、a0、b2}的顺序每个空间候选块是否可用。在这种情况下，如果在内预测模式下未对候选块进行编码并且存在运动信息或者如果候选块位于当前图片(或条带)之外，则不能使用相应候选块。

在确定了空间候选的有效性之后，可以通过从当前处理块的候选块中排除不必要的候选块来配置空间合并候选。例如，如果当前预测块的候选块是同一编码块内的第一预测块，则可以排除除相应候选块以外的具有相同的运动信息的候选块。

当空间合并候选配置完成时，按照{t0、t1}的次序执行时间合并候选配置过程。

在时间候选配置中，如果参考图片的并置块的右下部块t0是可用的，则对应块被配置为时间合并候选。并置块意指存在于与选择的参考图片中的当前处理块相对应的位置中的块。相比之下，如果不是，则位于并置块的中心处的块t1被配置为时间合并候选。

可以在条带头中指定合并候选的最大数目。如果合并候选的数目大于最大数目，则维持具有比最大数目小的数目的空间候选和时间候选。如果不是，则通过组合迄今为止添加的候选来生成附加合并候选(即，组合双预测合并候选)的数目，直到候选的数目变成最大数目为止。

编码器使用上述方法来配置合并候选列表，并且将通过执行运动估计在合并候选列表中选择的候选块信息作为合并索引(例如，merge_idx[x0][y0]')发信号通知给解码器。图7(b)图示已经从合并候选列表中选择了b1块的情况。在这种情况下，可以将“索引1(index1)”作为合并索引发信号通知给解码器。

解码器像编码器一样配置合并候选列表，并且从合并候选列表中的与来自编码器的合并索引相对应的候选块的运动信息导出关于当前预测块的运动信息。此外，解码器基于所导出的运动信息(即运动补偿)来生成用于当前处理块的预测块。

2)高级运动向量预测(amvp)模式

amvp模式意指从相邻块导出运动向量预测值的方法。因此，水平和垂直运动向量差(mvd)、参考索引和间预测模式被发信号通知给解码器。水平和垂直运动向量值使用所导出的运动向量预测值和编码器提供的运动向量差(mvdp)来计算。

也就是说，编码器配置运动向量预测因子候选列表，并且将通过执行运动估计在运动向量预测器候选列表中选择的运动参考标志(即，候选块信息)(例如，mvp_lx_flag[x0][y0]')发信号通知给解码器。解码器像编码器一样配置运动向量预测器候选列表，并且使用运动向量预测因子候选列表中的通过从编码器接收到的运动参考标志所指示的候选块的运动信息来导出当前处理块的运动向量预测因子。此外，解码器使用所导出的运动向量预测因子和由编码器发送的运动向量差来获得当前处理块的运动向量值。此外，解码器基于所导出的运动信息(即，运动补偿)生成用于当前处理块的预测块。

在amvp模式的情况下，图7中的五个可用候选中的两个空间运动候选被选择。第一空间运动候选是从位于左侧的{a0、a1}集合中选择的，而第二空间运动候选是从位于顶部的{b0、b1、b2}集合中选择的。在这种情况下，如果相邻候选块的参考索引与当前预测块不相同，则运动向量被定标。

如果作为搜索空间运动候选的结果而选择的候选的数目是2，则终止候选配置。如果选择的候选的数目小于2，则增加时间运动候选。

图8是本发明被应用于的实施例并且是图示间预测方法的图。

参考图8，解码器(具体地，图2中的解码器的间预测单元261)对用于处理块(例如，预测单元)的运动参数进行解码(s801)。

例如，如果已经对处理块应用了合并模式，则解码器可以对由编码器发信号通知的合并索引进行解码。此外，可以从通过合并索引所指示的候选块的运动参数导出当前处理块的运动参数。

此外，如果已经对处理块应用了amvp模式，则解码器可以对由编码器发信号通知的水平和垂直运动向量差(mvd)、参考索引以及间预测模式进行解码。此外，解码器可以从通过运动参考标志所指示的候选块的运动参数导出运动向量预测因子，并且可以使用运动向量预测因子和所接收到的运动向量差来导出当前处理块的运动向量值。

解码器使用经解码的运动参数(或信息)来对预测单元执行运动补偿(s802)。

也就是说，编码器/解码器使用经解码的运动参数来执行根据先前解码的图片预测当前单元的图像的运动补偿。

图9是本发明可以被应用于的实施例并且是图示运动补偿过程的图。

图9图示用于当前图片中的要编码的当前块的运动参数是单向预测、列表0内的第二图片、列表0以及运动向量(-a,b)的情况。

在这种情况下，像在图9中一样，使用与列表0的第二图片中的当前块间隔开的位置(-a,b)的值(即，参考块的样本值)来预测当前块。

在双向预测的情况下，发送另一参考列表(例如，列表1)、参考索引和运动向量差。解码器导出两个参考块并且基于这两个参考块预测当前块值。

反向运动信息预测方法

本发明提出一种通过预测反方向的运动信息来对图像进行编码/解码以便于增加图片间预测(即，间预测)的预测精度的方法。特别地，本发明提出一种用于确定预测反向方向上的运动信息的优先级的方法。此外，本发明提出一种用于将在反方向上预测的运动信息应用于运动信息候选列表的方法。

反向运动信息预测方法意指使用存在于参考列表中的参考图片的运动信息用于预测当前图片的运动信息的方法。

反向运动向量(或反向预测运动向量)可以指的是从当前图片中的随机位置到参考图片中的随机位置的向量，该向量是从参考图片中的随机位置处的运动向量导出的。

反向运动信息(或反向预测运动信息)可以包括反向运动向量和/或参考图片信息(包括，例如，参考图片列表和/或参考图片索引)。在下文中，将参考下述附图描述。

图10是可以应用本发明的实施例，并且是用于描述反向预测运动信息的图。

参考图10，编码器/解码器可以首先在当前图片1001的参考图片列表中选择参考图片1002，以便于执行反向运动信息预测。

编码器/解码器可以将参考图片1002中的随机位置1007的运动向量1004投射到当前图片1001。换句话说，编码器/解码器可以缩放参考图片1002中的随机位置1007的运动向量1004，并将缩放的运动向量变换成朝向当前图片1001的向量1006。

也就是说，缩放的运动向量(或缩放的运动信息)1006可以意指从通过缩放参考图片1002中的随机位置1007的运动向量而获取的参考图片1002中的随机位置1007到当前图片1001中的随机位置的向量(即，其中参考图片1002引用当前图片1001的向量)。

这样，将参考图片1002中的随机位置1007处的运动向量1004投射到当前图片1001的过程可以采用运动向量的缩放操作。

例如，可以基于在当前图片1001和参考图片1002之间的图片顺序计数(poc)差以及在参考图片1002和参考图片1002的参考图片1003之间的poc差，通过向量缩放来计算缩放的运动向量1006。

图10图示用于描述参考运动向量(或反向运动信息)并且参考图片1002的参考图片1003可以被定位在当前图片1001和参考图片1002之间的一个示例。在这种情况下，与图10中的示例不同，参考图片1002中的随机位置1007处的运动向量1004和缩放的运动向量1006可以具有相同的符号(即，大小不同但方向相同的向量)。

这样，可以通过使用其中参考图片1002引用当前图片1001的向量1006在当前图片中获得与参考图片1002的随机位置1007相对应的位置，并且该位置可以被定义为对应块1005。

换句话说，对应块1005可以指的是由缩放的运动向量1006识别的当前图片1001内的块1005。

指向当前图片1001的对应块1005中的参考图片1002的随机位置1007的运动向量(即，反向运动向量)是对于通过缩放获得的(即，缩放的运动向量)的每个分量采用相反符号的向量，并且用于该向量的索引信息和参考图片的参考列表可以被定义为反向运动信息。

编码器/解码器对缩放的运动向量1006的每个分量采用相反的符号以导出反向运动向量(即，与缩放的运动向量1006大小相同且方向相反的向量)，其从对应块1005指向参考图片1002内的块1007。

编码器/解码器可以执行上述反向运动信息预测同时搜索参考图片1002内的所有区域。

当参考图片1002的随机位置1007不具有运动信息1004(例如，通过图片间预测(或帧内预测)编码/解码)时，编码器/解码器可以跳过反向运动信息预测(即，可以是参考图片1002内的另一区域)。

此外，编码器/解码器可以针对存在于当前图片1001的参考图片列表内的所有参考图片执行上述反向运动信息预测。将参考下述附图描述反向运动信息预测过程。

图11是可以应用本发明的实施例，并且是用于描述反向预测运动信息的图。

在本发明的描述中，为了便于描述参考图11描述反向运动信息预测过程，但是运动信息预测过程不限于此。

参考图11，编码器/解码器选择当前图片的参考图片列表中的参考图片(s1101)。

编码器/解码器选择参考图片，并且然后在所选择的参考图片中选择随机块(s1102)。在这种情况下，编码器/解码器可以通过使用各种扫描方案来选择所选择的参考图片内的随机块。

例如，可以通过使用包括栅格扫描、右上对角扫描、垂直扫描、水平扫描等的扫描方案在参考图片内选择随机块。

在选择参考图片内的随机块之后，编码器/解码器确定所选择的参考图片内的块是否是具有运动信息的块(s1103)。

作为在步骤s1103中确定所选择的参考图片内的块是否是具有运动信息的块的结果，当所选择的参考图片内的块不是具有运动信息的块时，编码器/解码器移动到参考图片内的所选块的下一个块(s1104)。

相反，作为在步骤s1103中确定所选择的参考图片内的块是否是具有运动信息的块的结果，当所选择的参考图片内的块是具有运动信息的块时，编码器/解码器缩放参考图片内的块的运动信息以指向当前图片(s1105)。

也就是说，当参考图片中的块是具有运动信息的块时，编码器/解码器可以通过应用向量缩放操作来计算其中参考图片引用当前图片的方向上的向量。换言之，编码器/解码器可以通过应用向量缩放操作将参考图片内的块的运动向量(或运动信息)变换成从参考图片内的块指向当前图片内的块的向量。

例如，可以基于在当前图片和参考图片之间的poc差以及在参考图片和该参考图片的参考图片之间的poc差来缩放缩放的运动向量。

编码器/解码器缩放参考图片内的块的运动向量(或运动信息)以指向当前图片，并且然后确定缩放的运动向量是否对应于当前图片的区域(是否指定当前图片的区域)(s1106)。也就是说，编码器/解码器可以确定缩放的运动向量的结束点是否位于当前图片的区域内。

作为在步骤s1106中确定缩放的运动向量是否对应于当前图片的区域的结果，当缩放的运动向量不对应于当前图片的区域时，编码器/解码器移动到参考图片内的所选块的下一个块(s1104)。

相反，作为在步骤s1106中确定缩放的运动向量是否对应于当前图片的区域的结果，当缩放的运动向量对应于当前图片的区域时，编码器/解码器将相反的符号应用于计算的向量并将向量存储在对应块的位置中(s1107)。

换句话说，当缩放的运动向量对应于当前图片的区域时，编码器/解码器可以将具有缩放的运动向量的相反向量的向量(即，反向运动向量)映射到当前图片的对应块并且存储该向量。

当搜索反向运动信息的块单元是pu单元时，对应块1005可以具有与搜索到的pu相同的大小和形状。例如，当pu的形状是2n×n时，对应块1005的形状也可以是2n×n。在这种情况下，可以以对应块1005为单位存储反向运动信息。

当搜索反向运动信息的块单元是具有固定大小的单元时，可以以固定大小为单位确定对应块1005。例如，当参考图片内的pu的运动信息以4×4为单位存储并且当前pu具有8×4的大小时，在运动信息被存储在解码的图片缓冲器(dpb)中时运动信息可以每一个以4×4为单位存储。在这种情况下，编码器/解码器可以以4×4为单位搜索运动信息，并且以对应块1005(4×4)为单位存储反向运动信息。

此外，当存储反向运动信息同时映射到对应块时，可以以预定大小为单位存储反向运动信息。例如，具有8×8大小的对应块1005可以被分裂成具有4×4大小的四个块，并且对应块1005的反向运动信息可以类似地存储在每个分裂块中。

此外，搜索反向运动信息的块单元被设置为4×4的大小，其是存储运动信息以防止pu的边界被定位在对应块内的最小单元。

编码器/解码器将反向运动信息映射到当前图片的对应块的位置并存储反向运动信息，并且然后确定所选择的参考图片内的块是否是参考图片的最后一个块(s1108)。

作为在步骤s1108中确定所选择的参考图片内的块是否是参考图片的最后一个块的结果，当所选择的块不是最后一个块时，编码器/解码器移动到参考图片内的所选择的块的下一个块(s1104)。

作为在步骤s1108中确定所选择的块是否是参考图片的最后一个块的结果，当所选择的块是最后一个块时，编码器/解码器确定所选择的参考图片是否是参考图片列表中的最后一个图片(s1109)。

作为确定所选择的参考图片是否是参考图片列表的最后图片的结果，当参考图片不是参考图片列表的最后图片时，编码器/解码器移动参考图片列表的下一个参考图片。

相反，作为确定所选择的参考图片是否是参考图片列表的最后图片的结果，当参考图片是参考图片列表的最后图片时，编码器/解码器可以结束反向运动信息预测。

也就是说，编码器/解码器可以针对预测图片的所有区域和参考列表(或参考图片列表)内的所有参考图片执行上述反向运动信息预测。

在反向运动信息预测处理期间，由参考列表的另一参考图片在相反方向上投射的运动向量可以对应于当前图片的相同对应块，并且在这种情况下，编码器/解码器需要确定反向预测运动信息之间的优先级。

换句话说，可以通过缩放的运动向量来指定相同的对应块，其中参考图片是从不同块的运动信息导出，并且在这种情况下，编码器/解码器可以确定参考运动信息之间的优先级。

当多个反向运动信息对应于相同的对应块时，可以采用下述方法。

1)能够给予从最接近当前图片的参考图片导出的反向预测运动信息更高的优先级。

2)当参考图片的参考图片存在于距当前图片的近距离处时，能够给予反向预测运动信息更高优先级。

3)当在参考图片与参考图片所引用的图片之间的poc差以及在参考图片与当前图片之间的poc差具有相同符号时，能够给予导出的反向预测运动信息更高的优先级。

4)当在参考图片内的块与由参考图片内的块指定的参考图片的参考图片内的块(即，通过参考图片内的块的运动信息所识别的块)之间的差(或残差值)是小的时，可以给予导出的反向预测运动信息更高的优先级。

然而，本发明不限于此，并且除了这种方法之外，可以使用各种方法，用于选择(或确定)反向运动信息之间的优先级。此外，可以分别单独采用上述四种方法，并且可以通过组合多(例如，2至3)种方法的方法在反向运动信息之间确定(或给予)优先级。

将参考以下附图详细描述当多个反向运动信息对应于相同的对应块时的优先级确定方法。

编码器/解码器可以给予从最靠近当前图片的参考图片导出的反向预测运动信息较高的优先级。在下文中，将参考以下附图描述优先级确定方法。

图12是图示根据本发明的实施例的用于确定优先级的方法的图。

参考图12，当参考图片11202的随机位置处的反向预测运动向量和参考图片21203的随机位置处的反向预测运动向量对应于在相同当前图片1201的相同位置处的对应块1208时，可以采用第一种方法。

换句话说，当参考图片11202内的随机位置处的运动向量1204和参考图片21203内的随机位置处的运动向量1206被缩放以指向当前图片1201时，可以在缩放运动向量1205和1207在当前图像1201的相同位置处指定(或指示)对应块1204的情况下采用这样的方法。

在这种情况下，编码器/解码器可以对从更靠近当前图片1201的参考图片11202导出的反向预测运动信息给予较高的优先级。

在这种情况下，编码器/解码器可以基于poc差确定当前图片1201与参考图片之间的距离。也就是说，因为在当前图片1201和参考图片11202之间的poc差是1并且在当前图片1201和参考图片21203之间的poc差是2，所以编码器/解码器可以给予从具有小的poc差的参考图片11201导出的反向运动信息较高的优先级。

此外，当参考图片的参考图片存在于距当前图片的近距离处时，编码器/解码器可以给予导出的反向预测运动信息的较高的优先级。在下文中，将参考以下附图描述给予较高的优先级。

图13是图示根据本发明的实施例的用于确定优先级的方法的图。

参考图13，当参考图片11302内的块的运动向量1305和参考图片21303内的块的运动向量1307被缩放以指向当前图片1301时，可以在缩放的运动向量1306和1308在当前图像1201的相同位置处指定(或指示)对应块1305的情况下采用这种方法。

在这种情况下，参考图片21303的参考图片1302可以给予从存在于距当前图片1301比参考图片11302的参考图片1304近的距离处的参考图片21303导出的反向运动信息较高的优先级。

在这种情况下，编码器/解码器可以基于poc差确定当前图片1301与参考图片1302和1303的参考图片1304和1302之间的距离。也就是说，因为在当前图片1301和参考图片11302的参考图片1304之间的poc差是3并且在当前图片1301和图片21303的参考图片1302之间的poc差是1，所以编码器/解码器可以对从具有小poc差的参考图像21303导出的反向运动信息给予较高的优先级。

此外，当在参考图片与该参考图片的参考图片之间的poc差以及在参考图片与当前图片之间的poc差具有相同的符号时，编码器/解码器可以对所导出的反向预测运动信息给予较高的优先级。

参考图13，参考图片11302的运动向量1305和被缩放以指向当前图片1301的运动向量1306对应于方向彼此相反的情况(即，在参考图片11302与参考图片11302的参考图片1304之间的poc差以及在参考图片11302与当前图片1301之间的poc差具有相反的符号)。

相反，参考图片21303的运动向量1307和被缩放以指向当前图片1301的运动向量1308对应于方向彼此相同的情况(即，在参考图片21303和参考图片21303的参考图片1302之间的poc差与在参考图片21303与当前图片1303之间的poc差具有相同的符号)。

在这种情况下，编码器/解码器可以给予从参考图片21303导出的反向运动信息较高的优先级，其中运动向量1307和缩放的运动向量1308具有相同的方向。

此外，当在参考图片内的块与通过该参考图片内的块的运动信息指定的参考图片的参考图片内的块(即，参考图片内的块的运动信息所识别的块)之间的差(或残差值)是小的时，编码器/解码器可以给予所导出的反向预测运动信息较高的优先级。在下文中，将参考以下附图描述给予较高的优先级。

图14是图示根据本发明的实施例的用于确定优先级的方法的图。

参考图14，当参考图片11401内的块1405的运动向量1409和参考图片21403内的块1407的运动向量1411被缩放以指向当前图片1401时，可以在其中缩放的运动向量1410和1412指定(或指示)当前图片1401的相同位置处的对应块1404的情况下采用这种方法。

当在参考图片11402内的块1405与由块1405的运动信息1409指定的参考图片11402的参考图片1403内的块(即，通过参考图片11402内的块1405的运动信息1409匹配的参考图片11402的参考图片1403内的块)1406之间的差，以及在参考图片21403内的块1407与由块1407的运动信息1411指定的参考图片21403的参考图片1402内的块(即，通过参考图片21403内的块1407的运动信息1411匹配的参考图片21403的参考图片1402内的块)1408之间的差，之间的较小值被提供时，可以给予导出的反向运动信息较高的优先级。

在这种情况下，关于用于计算块之间的差(或残差值)的方法，可以通过各种方法来计算差。例如，可以通过包括均方误差(mse)、平均绝对偏差(mad)、平方差之和等的方法来计算块之间的差(或残差值)。

此外，当参考图片的参考图片不存在于当前图片的参考图片列表中时，可以不计算块之间的差(或残差值)，并且结果，最低优先级可以给予(或指定)。

如上所述，除了上述四种方法之外，还可以使用各种方法作为用于确定优先级的方法，并且可以分别单独使用上述方法，并且可以使用组合多种方法的方法。

为了采用上述方法，除了反向运动信息预测处理中的反向运动信息之外，还可能需要存储附加信息。例如，除了反向运动信息之外，编码器/解码器可能需要存储在当前图片和参考图片之间的poc残差值、在当前图片与参考图片的参考图片之间的poc残差值、在参考图片的随机块与参考图片的参考图片的块之间的差(或不同值)等。

相反，编码器/解码器可以采用一种方法，该方法用于在没有任何其他条件的情况下对首先填充的值给予优先级，以便于在除了反向预测运动信息之外没有存储另一值的情况下执行预测。换句话说，编码器/解码器可以首先将较高优先级应用于存储并同时被映射到对应块的反向运动信息，使得在存储运动信息时存储反向预测运动信息而无需附加信息。

例如，当将参考列表的搜索顺序设置为通过从接近当前图片中的poc的参考图片开始远离poc的图片时，可以获得与第一方法的结果相同的结果。换句话说，当基于poc从最接近当前图片的参考图片到距当前图片最远的参考图片执行运动信息预测，并且首先给予存储的同时被映射到相对应块的反向运动信息较高的优先级时，可以获得与图12中描述的方法相同的结果。

可以采用用于对甚至在参考图片内首先填充的值给予优先级的方法。在下文中，将参考以下附图描述该方法。

图15是图示根据本发明的实施例的用于确定优先级的方法的图。

当编码器/解码器在参考图片内执行反向运动信息预测时，编码器/解码器可以应用执行搜索同时旋转到如图15中所图示的参考图片的中心处的参考图片的边缘的螺旋搜索，而不是栅格扫描顺序。在这种情况下，随着更加靠近参考图片的中心，编码器/解码器可以给予更高的优先级。

例如，当从被定位在参考图片的边缘处的块导出的反向运动信息的错误率高于从被定位在参考图片的中心处的块导出的反向运动信息的错误率时，通过应用螺旋搜索给予参考图像的中心更高的优先级，从而增加编码效率。

在以上描述中，已经描述了当多个缩放的运动信息指示相同的对应块时确定反向运动信息之间的优先级的方法。在下文中，当使用通过反向运动信息预测处理获得的运动信息时当前块(hevc，例如，预测单元(pu))中存在各种反向运动信息时，将会描述编码器/解码器选择反向运动信息以在编码/解码过程中被使用的方法。

换句话说，当在当前块内存在具有反向运动信息的多个对应块时，描述编码器/解码器确定(或给予)反向运动信息优先级的方法。

当在pu中存在多个对应块时，可以通过采用以下方法来确定(或给予)优先级。

1)编码器/解码器可以使用当前块内的特定位置处的反向运动信息作为当前块的反向运动信息。

2)编码器/解码器可以使用具有与当前块的相邻(或邻近)块的运动信息不同的值的反向运动信息作为当前块的反向运动信息。

3)编码器/解码器可以通过列出反向运动信息使用多个反向运动信息作为当前块的反向运动信息。

然而，本发明不限于此，并且可以通过除了上述方法之外的方法确定(或给予)反向运动信息之间的优先级，并且可以通过组合上述多种方法的方法在反向运动信息之间确定(或给予)优先级。

通过采用第一种方法，编码器/解码器可以对存在于多个反向运动信息当中的当前块的特定位置处的对应块的反向运动信息给予较高的优先级。在下文中，将参考以下附图描述给予较高优先级。

图16是图示根据本发明的实施例的用于确定优先级的方法的图。

参考图16，当前块的左上样本1601可以是基于2n×2n块的其水平和垂直坐标为[0,0]的样本。当前块的中心样本1601可以是基于2n×2n块的其水平和垂直坐标为[n，n]的样本。当前块的右下样本1603可以是基于2n×2n块的其水平和垂直坐标为[2n-1,2n-1]的样本。

编码器/解码器可以加权并选择存在于左上样本1601、中心样本1602或右下样本1603的位置处的反向运动信息。

可以使用用于加权的当前块内的一个特定位置或多个位置，并且可以采用除了图16中所图示的三个位置之外的其他位置。

当在当前块内的特定位置处不存在反向运动信息，但是存在多个反向运动信息时，编码器/解码器可以选择在特定位置最接近的反向运动信息。

换句话说，编码器/解码器可以对存在于当前块的左上样本1601、中心样本1602或右下样本1603的位置处的反向运动信息或者存在于最靠近该位置的距离处的反向运动信息给予较高的优先级。

通过使用左上样本1601的位置，可以对在图像编码器中代表性地使用的位置(左上：lt)处的反向运动信息给予较高的优先级。

通过使用中心样本1602的位置，可以给予在位置(中心：c)处的反向运动信息较高的优先级，以表示块(或单元)的特性。

通过使用右下样本1603的位置，还可以使用未应用空间运动信息的位置(右下：rb)的运动信息。

如上所述，根据图像的特性、计算的复杂性等，可以将特定样本的位置指定为除了上述三个位置之外的位置。

通过采用第二种方法，编码器/解码器可以使用具有与当前块的相邻(或邻近)块的运动信息不同的值的反向运动信息作为当前块的反向运动信息。

可以将反向运动信息添加(或插入)到运动信息候选列表。例如，可以将反向运动信息插入到合并模式或高级运动向量预测(amvp)模式的运动信息候选列表中。

在这种情况下，当反向运动信息具有与相邻(或邻近)块的运动信息相同的值时，反向运动信息可能不具有作为数据的重大意义(换句话说，可能只是重叠的运动信息)，当反向运动信息具有与相邻运动信息不同的值时，编码器/解码器可以给予反向运动信息较高的优先级并且使用反向运动信息作为当前块的反向运动信息。

在这种情况下，因为在确定当前块的反向运动信息的过程中预先检查冗余，所以可以省略在合并模式或amvp模式的配置过程中的精简。

通过采用第三方法，编码器/解码器可以存储多个反向运动信息，并且通过列出反向运动信息在编码/解码过程期间使用存储的反向运动信息。

编码器/解码器可以通过预设特定数量来配置反向运动信息列表，并且可以通过存储所有反向运动信息而不预先确定数量来配置反向运动信息列表。

例如，当当前块(或当前pu)中存在四条反向运动信息并且允许存储反向运动信息的列表的数量是两个时，编码器/解码器可以基于给定的优先级选择四条反向运动信息当中的两个，并且在反向运动信息列表中存储两个所选择的反向运动信息，并在编码/解码过程期间使用存储的反向运动信息。

在配置反向运动信息的列表的过程中，可以分别或同时采用上述第一方法和第二方法。在这种情况下，编码器/解码器可以执行精简以避免反向运动信息的冗余。

除了上述三种方法(或组合三种方法当中的多种方法的方法)之外，当存在与当前块重叠的多个对应块时，编码器/解码器可以给予在多个对应块当中具有较大重叠区域的对应块的反向运动信息较高的优先级。

例如，当当前pu具有16×16的大小并且在当前pu内存在具有8×8的大小的一个对应块和具有4×4的大小的一个对应块时，编码器/解码器可以对具有8×8大小的对应块的反向运动信息给予较高优先级，其具有较大的重叠区域。

此外，当搜索反向运动信息的块单元是pu并且存储反向运动信息同时以pu为单位被映射到对应块时，当前pu的边界可以被定位在对应块内。

例如，当假设当前pu具有16×16的大小并且具有8×4大小的对应块的数量是2时，在两个相邻的块当中具有一个相对应的块的8×4的大小的整个部分可以存在于当前pu内，并且仅具有作为剩余的一个对应块的一半大小的4×4的大小的部分可以存在于当前pu内，并且具有4×4的大小的剩余部分可以存在于当前pu外。

在这种情况下，编码器/解码器可以给予其具有8×4的大小的整个部分存在于当前pu中的对应块的反向运动信息较高的优先级。

在以上描述中，已经描述了用于确定多个反向运动信息的优先级的方法。在下文中，将描述用于双向执行反向运动信息预测的方法。

编码器/解码器可以在反向运动信息预测中生成双向预测运动信息。可以采用下述方法来生成双向预测运动信息。

1)编码器/解码器可以根据参考图片列表的方向来设置双向预测运动信息的方向。也就是说，编码器/解码器可以配置从在l0方向上属于参考图片列表0(或l0)的参考图片0(或l0参考图片)导出的反向运动信息，并配置从在l1方向上属于参考图片列表1(或l1)的参考图片1导出的反向运动信息(或l1参考图片)。

2)编码器/解码器可以根据与当前图片相比参考图片的输出时间是否为过去或者将来来配置l0方向和l1方向，不管参考图片列表的方向如何。也就是说，当与当前图片相比参考图片的输出时间是过去时，编码器/解码器可以在l0方向上配置反向运动信息，并且当输出时间是未来时，编码器/解码器可以配置l1方向的反向运动信息。

根据第一种方法，通过根据当前图片的参考图片列表的方向配置方向的方法，在配置双向预测运动信息的过程中，可以不执行比较操作过程。

根据第二方法，可能需要与当前图片相比确定参考图片的输出时间是否是过去或者将来的比较操作过程。然而，根据方法，能够防止在输出方面过去图片被包括在l1中并且未来图片被包括在l0中的情况。

将参考以下附图描述用于在双向预测中配置参考图片列表的方法。

图17是用于描述根据本发明的实施例的用于生成双向预测运动信息的方法的图。

参考图17，当当前图片是图片11701时，作为基于输出时间的未来方向的图片21702可以包括在参考图片列表0中。

在这种情况下，当采用第一种方法时，从图片21702导出的反向运动信息可以用作参考图片列表0(或l0)的运动信息。相反，当采用第二种方法时，因为基于作为当前图片的图片11701图片21702的输出时间是未来，所以从图片21702导出的反向运动信息可以用作参考图片列表1(或l1)的运动信息。也就是说，当采用第二种方法时，从图片21702导出的反向运动信息不被用作参考图片列表0(或l0)的运动信息。

在上文中，已经描述了通过反向运动信息预测来导出(或生成)反向运动信息的方法。在下文中，将描述使用通过编码/解码过程中的反向运动信息预测过程获得的运动信息的方法。

将参考以下附图描述包括反向运动信息预测方法的编码器的框图。

图18图示根据本发明的实施例的包括用于预测双向运动信息的方法的编码器的示意性框图。

参考图18，编码器可以被配置成包括反向运动信息预测单元1810、减法器1815、变换单元1820、量化单元1830、去量化单元1840、逆变换单元1850、滤波单元1860、解码图片缓冲器(dpb)1870、间预测单元1881、内预测单元1882和熵编码单元1890。

根据本发明的反向运动信息预测单元1810可以相对于参考图片列表内的所有参考图片执行反向运动信息预测。

在这种情况下，反向运动信息预测单元1810可以以用于参考图片的随机块的图片为单位执行反向运动信息预测。在这种情况下，反向运动信息预测单元1810可以在实际编码/解码过程(即，以当前图片中的块为单位执行编码/解码的过程)之前执行反向运动信息预测。也就是说，反向运动信息预测单元1810可以在执行编码/解码过程之前导出关于所有参考列表的参考图片的反向运动信息，将反向运动信息存储在当前图片的对应块中，并且在图片间预测过程中使用存储的反向运动信息。

相反，可以以在其中执行间预测的块为单位导出反向运动信息。在这种情况下，反向运动信息预测单元1810可以不被实现为如图18中所图示的单独组件，并且可以被实现为间预测单元1881的一些组件。

此外，即使当以在其中执行间预测的块为单位导出反向运动信息时，反向运动信息预测单元1810也可以执行反向运动信息预测。

反向运动信息预测单元1810可以通过图10至17中描述的方法执行反向运动信息预测。

也就是说，反向运动信息预测单元1810可以通过使用参考图片内的随机块的运动信息来导出反向运动信息。此外，反向运动信息预测单元1810可以存储所导出的反向运动信息同时被映射到当前图片的对应块。

反向运动信息预测单元1810可以针对存在于当前图片的参考图片列表中的所有参考图片内的所有区域执行反向运动信息预测。

此外，当多个缩放的运动向量指示当前图片的相同对应块时，反向运动信息预测单元1810可以确定多个反向运动信息中的优先级。

另外，当在当前块内存在具有反向运动信息的多个对应块时，反向运动信息预测单元1810可以确定多个反向运动信息中的优先级。

减法器1815从输入图像信号中减去从间预测单元1881或内预测单元1882输出的预测信号(或预测块)，以产生残差信号(或残差块)。生成的残差信号(或残差块)被发送到变换单元1820。

变换单元1820将变换技术(例如，离散余弦变换(dct)、离散正弦变换(dst)、基于图形的变换(gbt)、karhunen-loeve变换(klt)等)应用于残差信号(或残差块)以产生变换系数。在这种情况下，变换单元1820通过使用根据应用于残余块的预测模式和残余块的大小而确定的变换技术来执行变换以生成变换系数。

量化单元1830量化变换系数并将量化的变换系数发送到熵编码单元1890，并且熵编码单元1890对量化的信号进行熵编码，并输出熵编码的量化信号作为比特流。

同时，从量化单元1830输出的量化信号可以被用于生成预测信号。例如，通过去量化单元1840和反向变换单元1850在环路中将去量化和逆变换应用于量化信号以重建残差信号。将重构的残差信号添加到从间预测单元1881或内预测单元1882输出的预测信号以生成重构信号。

同时，在这样的压缩过程期间，通过不同的量化参数量化相邻块，并且结果，可能出现示出块边界的劣化。这种现象被称为成块伪影，并且这是评估图像质量的关键要素之一。可以执行滤波处理以便于减少劣化。消除成块劣化，并且通过滤波处理减少当前图像的误差以增强图像质量。

滤波单元1860将滤波应用于重构信号，并将所应用的重构信号输出到再现设备，或者将输出重构信号发送到解码图像缓冲器1870。间预测单元1881可以使用发送到解码的图片缓冲器1870的经滤波的信号作为参考图片。这样，滤波后的图像被用作图片间预测模式中的参考图片以增强图像质量和编码效率。

解码图片缓冲器1870可以存储经滤波的图片，以便于在间预测单元1881中将经滤波的图片用作参考图片。

间预测单元1881执行时间预测和/或空间预测，以便于通过参考重建的图片来去除时间冗余和/或空间冗余。

具体地，在间预测(或图片间预测)处理期间，根据本发明的间预测单元1881可以使用由反向运动信息预测单元1810存储同时映射到对应块的反向运动信息。稍后将对其进行详细描述。

这里，因为被用于预测的参考图片是在前一次的编码/解码时以块为单位进行量化和去量化的变换信号，所以可能存在成伪影或振荡伪影。

因此，间预测单元1881可以通过应用低通滤波器以子像素为单位在像素之间内插信号，以便于解决由于这种信号的不连续性或量化引起的性能劣化。这里，子像素意指通过应用插值滤波器生成的虚拟像素，并且整数像素意指存在于重建图片中的实际像素。作为插值方法，可以采用线性插值、双线性插值、维纳滤波器等。

将插值滤波器应用于重建的图片以增强预测的精度。例如，间预测单元1881将内插滤波器应用于整数像素以生成内插像素，并且可以通过使用由内插像素组成的内插块作为预测块来执行预测。

内预测单元1882通过参考将要经历当前编码的块附近的样本来预测当前块。内预测单元1882可以执行下述处理以便于执行帧内预测。首先，可以准备参考样本，其是生成预测信号所需的。另外，可以通过使用所准备的参考样本来生成预测信号。此后，编码预测模式。在这种情况下，可以通过参考样本填充和/或参考样本滤波来制备参考样本。因为参考样本经历预测和重建处理，所以可能存在量化误差。因此，可以针对被用于内预测的每个预测模式执行参考样本滤波处理以便于减少这种误差。

通过间预测单元1881或内预测单元1882生成的预测信号(或预测块)可以被用于生成重构信号(或重构块)或被用于生成残差信号(或残余块)。

图19图示根据本发明的实施例的包括用于预测双向运动信息的方法的解码器的示意性框图。

参考图19，解码器可以被配置为包括反向运动信息预测单元1920、反量化单元1930、逆变换单元1940、加法器1945、滤波单元1950、解码图片缓冲器(dpb)单元1960、以及间预测单元1971和内预测单元1972。

另外，可以通过再现设备再现通过解码器输出的重构的视频信号。

解码器接收从图18的编码器输出的信号(即，比特流)并且通过图18的熵解码单元1910对接收信号进行熵解码。

反向运动信息预测单元1920可以针对参考图片列表内的所有参考图片执行反向运动信息预测。

在这种情况下，反向运动信息预测单元1920可以以用于参考图片的随机块的图片为单位执行反向运动信息预测。在这种情况下，反向运动信息预测单元1920可以在实际编码/解码处理(即，以当前图片中的块为单位执行编码/解码的处理)之前执行反向运动信息预测。也就是说，反向运动信息预测单元1920可以在执行编码/解码处理之前导出关于所有参考列表的参考图片的反向运动信息，将反向运动信息存储在当前图片的对应块中，并且在图片间预测过程中使用存储的反向运动信息。

相反，可以以在其中执行间预测的块为单位导出对应块的反向运动信息。在这种情况下，反向运动信息预测单元1920可以不被实现为如图19中所图示的单独组件，并且可以实现为间预测单元1971的一些组件。

此外，即使当反向运动信息预测单元1920执行反向运动信息预测时，可以以在其中执行间预测的块为单位导出反向运动信息。

反向运动信息预测单元1920可以通过在图10至图17中描述的方法执行反向运动信息预测。

也就是说，反向运动信息预测单元1920可以通过使用与编码器类似的参考图片内的随机块的运动信息来导出反向运动信息。此外，反向运动信息预测单元1920可以存储所导出的反向运动信息同时被映射到当前图片的对应块。

反向运动信息预测单元1920可以针对存在于当前图片的参考图片列表中的所有参考图片内的所有区域执行反向运动信息预测。

此外，当多个缩放的运动向量指示当前图片的相同对应块时，反向运动信息预测单元1920可以确定多个反向运动信息当中的优先级。

另外，当在当前块内存在具有反向运动信息的多个对应块时，反向运动信息预测单元1920可以确定反向运动信息当中的优先级。

去量化单元1930通过使用量化步长大小信息从熵解码信号中获取变换系数。

逆变换单元1940通过应用逆变换技术来逆变换变换系数以获取残差信号(或残差块)。

加法器1945将所获取的残差信号(或残差块)添加到从间预测单元1971或内预测单元1972输出的预测信号(或预测块)以生成重构信号(或重构块)。

滤波单元1950将滤波应用于重构信号(或重构块)，并将所应用的重构信号输出到生成装置，或者将输出重构信号发送到解码图片缓冲器单元1960。间预测单元1971可以使用被发送到解码图片缓冲器单元1960的经滤波的信号作为参考图片。

在本说明书中，在编码器的滤波单元1860、间预测单元1881和内预测单元1882中描述的实施例可以类似地应用于解码器的滤波单元1950、间预测单元1971以及内预测单元1972。

具体地，在间预测(或图片间预测)过程期间，根据本发明的间预测单元1971可以使用由反向运动信息预测单元1920存储同时映射到对应块的反向运动信息。稍后将对其进行详细描述。

通过反向运动信息预测导出的反向运动信息可以被用于间预测(或图片间预测)。例如，可以在合并模式或高级运动向量预测(amvp)模式中应用反向运动信息作为运动信息候选列表。

在下文中，将参考以下附图描述用于通过使用反向运动信息来配置合并模式的候选列表的方法。

图20是可以应用本发明的实施例，并且图示通过使用反向运动信息来配置运动信息候选列表的方法。

在本发明的描述中，为了便于描述，假设并描述合并候选列表的项目数被设置为5的情况，但是本发明不限于此。此外，在本发明的描述中，为了便于描述，参考图20详细地描述合并候选列表配置过程，但是运动信息预测过程不限于此。

参考图20，编码器/解码器通过排除冗余运动信息在空间邻近运动信息中选择最多四个候选，并将四个所选候选添加到候选列表。

可以通过邻近当前块的块的运动信息来配置空间邻近运动信息候选。作为邻近当前块的块，例如，可以使用五个合并候选(即，图7(a)中的a1、b1、b0、a0和b2)，如图7(a)中所描述的。

当完成空间合并候选配置时，执行时间合并候选配置过程。也就是说，编码器/解码器通过排除冗余运动信息来选择时间邻近运动信息中的一个候选，并将一个所选候选添加到候选列表中(s2002)。

可以通过片报头将参考图片的方向和用于时间合并候选的参考图片索引发送到解码器。可以由与当前块相对应的参考图片内的位置或者在参考图片内的当前块的邻近块的位置的运动信息来配置时间合并候选。作为时间合并候选的选择位置，例如，图7(a)中描述的位置(即，图7(a)中的t0和t1)可以被使用。

在配置空间和时间合并候选之后，编码器/解码器确定合并候选列表项的数量是否是5或小于5(s2003)。

作为步骤s2003中的确定的结果，当合并候选的数量被配置为作为项目的预定数量5时，编码器/解码器可以结束合并候选列表配置。

相反，作为步骤s2003中的确定的结果，当合并候选的数量小于作为项目的预定数量5时，编码器/解码器将组合的双向预测合并候选添加到候选列表(s2004)。

此后，编码器/解码器确定合并候选列表项的数量是否是5或小于5(s2005)。

作为步骤s2005中的确定的结果，当合并候选的数量被配置为作为项目的预定数量5时，编码器/解码器可以结束合并候选列表配置。

相反，作为步骤s2005中的确定的结果，当合并候选的数量小于作为项目的预定数量5时，编码器/解码器将反向预测运动向量添加到合并候选列表(s2006)。

此后，编码器/解码器确定是否合并候选列表项目的数量是5或小于5(s2007)。

作为步骤s2007中的确定的结果，当合并候选的数量被配置是作为项目的预定数量5时，编码器/解码器可以结束合并候选列表配置。

相反，作为步骤s2007中的确定的结果，当合并候选的数量小于作为预定的最大数量5时，编码器/解码器通过考虑冗余运动信息并将零运动向量添加到合并候选列表改变参考图片索引直到合并候选的数量变为5(s2009)。

在上面的图20中，要被搜索的运动信息(即，空间运动信息候选、时间运动信息候选、组合双预测运动信息候选、反向运动信息候选和零向量候选)仅是为了配置运动信息候选列表的一个示例，并且在图20的示例中，可以仅搜索一些运动信息或者在图20中未图示的运动信息可以被另外搜索。

此外，用于配置合并候选列表的方法(过程或顺序)不限于图20中所图示的方法。即，与图20不同，可以比组合的双向预测合并候选更早地将反向运动信息插入到合并候选列表中，可以比空间运动信息候选更早地插入反向运动信息，并且可以在空间运动信息候选被插入之后直到时间运动信息候选被插入时才插入反向运动信息。

此外，图20的一些步骤可以被省略，并且可以添加其他步骤。

即使当插入序列被改变时，如在早于组合的双向预测合并候选将反向运动信息插入到合并候选列表中的情况，关联于合并模式编码器/解码器的与移动图片有关的语法可能不会改变。

在下文中，将参考随后的附图描述用于通过使用反向运动信息来配置高级运动向量预测(amvp)模式的候选列表的方法。

图21是可以应用本发明的实施例，并且图示通过使用反向运动信息来配置运动信息候选列表的方法。

在本发明的描述中，为了便于描述，假设并描述amp候选列表的项目数被设置为2的情况，但是本发明不限于此。

参考图21，编码器/解码器将空间邻近运动信息添加到amvp候选列表(s2101)。

空间邻近运动信息候选可以由邻近当前块的块的运动信息配置。作为邻近当前块的块，例如，可以使用五个候选(即，图7(a)中的a1、b1、b0、a0和b2)，如图7(a)中所描述的。

在将空间邻近运动信息添加到候选列表之后，编码器/解码器确定所选候选的数量是否是2或小于2(s2102)。

作为步骤s2102中的确定的结果，当作为搜索空间运动候选的结果的所选候选的数量是2时，可以结束候选配置。

相反，作为步骤s2102中的确定的结果，当作为搜索空间运动候选的结果的所选候选的数量小于2时，编码器/解码器将时间相邻运动信息添加到候选列表(s2103)。

可以通过片报头将参考图片的方向和用于时间amvp候选的参考图片索引发送到解码器。可以由与当前块相对应的参考图片内位置或参考图片内的当前块的邻近块的位置的运动信息来配置时间amvp候选。作为时间amvp候选的选择位置，例如，图7(a)中描述的两个位置(即，图7(a)中的t0和t1)可以被使用。

在配置空间和时间合并候选之后，编码器/解码器确定amvp候选列表项的数量是否是2或小于2(s2104)。

作为步骤s2104中的确定的结果，当所选择的amvp候选的数量被配置为作为项目的预定数量2时，编码器/解码器可以结束amvp候选列表配置。

相反，作为步骤s2104中的确定的结果，当amvp候选的数量小于作为项目的预定数量2时，编码器/解码器将双向预测amvp候选添加到候选列表中(s2105)。

此后，编码器/解码器确定amvp候选列表项的数量是否是2或小于2(s2106)。

作为步骤s2106中的确定的结果，当所选择的amvp候选的数量被配置为作为项目的预定数量2时，编码器/解码器可以结束amvp候选列表配置。

相反，作为步骤s2106中的确定的结果，当amvp候选的数量小于作为项目的预定数量2时，编码器/解码器将反向预测运动向量添加到amvp候选列表(s2107)。

此后，编码器/解码器确定amvp候选列表项的数量是否是2或小于2(s2108)。

作为步骤s2108中的确定的结果，当所选择的amvp候选的数量被配置为作为项目的预定数量2时，编码器/解码器可以结束amvp候选列表配置。

相反，作为步骤s2108中的确定的结果，当amvp候选的数量小于作为项目的预定数量2时，编码器/解码器将零运动向量添加到amvp候选列表(s2109)。

在上面的图22中，要搜索的运动信息(即，空间运动信息候选、时间运动信息候选、组合双预测运动信息候选、反向运动信息候选和零向量候选)仅是为了配置运动信息候选列表的一个示例，并且在图21的示例中，可以仅搜索一些运动信息或者在图21中未图示的运动信息可以被另外搜索。

此外，用于配置amvp候选列表的方法(过程或顺序)不限于图21中所图示的方法。即，与图21不同，可以比组合的双向预测amvp候选更早地将反向运动信息插入到amvp候选列表中，可以比空间运动信息候选更早地插入反向运动信息，并且可以在插入空间运动信息候选之后直到时间运动信息候选被插入时才插入反向运动信息。

此外，图21的一些步骤可以被省略，并且可以添加其他步骤。

在合并模式和amvp模式两者中，当将反向运动信息插入到候选列表中时，可以将反向运动信息插入到双向预测运动信息或单向预测运动信息中。在下文中，将参考随后的附图描述插入。

图22图示根据本发明的实施例的用于将反向预测运动信息插入到运动信息候选列表中的方法。

当存储在当前图片的对应块中的反向运动信息是双向预测运动信息时，每个方向上的运动信息(参考图片列表0或参考图片列表1的方向)可以单独地应用为单向的预测以及同时应用为双向预测。

参考图22，存储在对应块中的双预测运动信息可以单向插入到运动信息候选列表中。当单向插入反向预测运动信息时，可以将反向预测运动信息插入到两个候选中的每一个中。也就是说，可以将参考图片列表0的方向上的反向运动信息插入到候选列表(2201)中，并且可以将参考图片列表1的方向上的反向运动信息单独地插入到候选列表(2202)中。

相反，存储在对应块中的双向预测运动信息可以双向插入到运动信息候选列表中。当双向预测运动信息被双向插入候选列表中时，可以将参考图片列表0(即，l0)和参考图片列表1(即，l1)的方向上的运动信息作为一个运动信息插入到候选列表中(2203)。

此外，针对每个方向(参考图片列表0或参考图片列表1的方向)配置多个反向预测运动信息列表，以选择多个运动信息中的一个并将所选择的运动信息插入候选列表中。

图23是图示根据本发明的实施例的基于间预测的图像处理方法的图。

编码器/解码器通过使用当前图片的参考图片内的块的运动信息来导出当前块的反向运动信息(s2301)。

如参考图10和图11在上面所描述的，编码器/解码器可以使用参考图片内的随机位置处的运动信息来导出反向运动信息。

也就是说，编码器/解码器可以缩放参考图片内的块的运动向量，并且将缩放的运动向量变换成指向当前图片的运动向量。编码器/解码器可以存储反向运动信息，该反向运动信息采用与缩放的运动向量的每个符号相反的符号，同时被映射到当前图片的对应块。

此外，编码器/解码器可以针对存在于当前图片的参考图片列表内的所有参考图片内的所有区域执行反向运动信息预测。

此外，如图12至图15中所描述的，当多个反向运动信息被存储同时被映射到相同的对应块时，编码器/解码器可以向多个反向运动信息给予用于选择多个反向运动信息的优先级作为当前块的反向运动信息的优先级。

另外，如图16中所描述的，当在当前块中存在具有反向运动信息的多个对应块时，编码器/解码器可以给予反向运动信息用于选择多个对应块的反向运动信息作为当前块的反向运动信息的优先级。

编码器/解码器可以将反向运动信息添加到当前块的运动信息候选列表(s2302)。

如上面的图20至22中所描述的，可以在间预测的合并模式或高级运动向量预测(amvp)模式中将反向运动信息添加(或插入)到运动信息列表。

如上所述，在将空间运动信息候选和时间运动信息候选添加到运动信息候选列表之后，添加到当前运动信息候选列表的运动信息候选的数量小于运动信息候选列表的预定的项目的数量，可以将反向运动信息添加到运动信息候选列表。

此外，如上所述，在将空间运动信息候选和时间运动信息候选添加到运动信息候选列表之后，添加到当前运动信息候选列表的运动信息候选的数量小于运动信息候选列表的预定的项目的数量，可以将通过组合添加到运动信息候选列表的运动信息而获取的组合双向运动信息候选添加到运动信息候选列表。在将组合双向运动信息候选添加到运动信息候选列表(或可以不添加)之后，添加到当前运动信息候选列表的运动信息候选的数量小于运动信息候选列表的预定的项目的数量，可以将反向运动信息添加到运动信息候选列表中。

此外，当存在多个反向运动信息时，可以基于给予多个反向运动信息的优先级按预定的数量将反向运动信息添加(或插入)到当前块的运动信息候选列表。

编码器/解码器从添加到运动信息候选列表的运动信息候选中选择的运动信息导出当前块的运动信息(s2303)。

在这种情况下，解码器可以从编码器中接收用于指定当前块的运动信息候选列表中的当前块的运动信息的运动信息候选索引。在这种情况下，可以从由接收到的运动信息候选索引指示的运动信息候选导出当前块的运动信息。

例如，当合并模式应用于当前块时，解码器可以从编码器接收合并索引并解码所接收的合并索引。另外，可以导出由合并候选列表(或运动信息候选列表)内的合并索引指示的运动信息作为当前块的运动信息。

此外，例如，当amvp模式应用于当前块时，解码器可以从编码器接收运动参考标记并解码接收的运动参考标记。另外，可以导出由运动向量预测值候选列表内的运动参考标记指示的运动信息作为当前块的运动向量预测值。此外，解码器对从编码器接收到的接收的运动向量残差值、参考图片索引和间预测模式进行解码，并且将导出的运动向量预测值和解码的运动向量残差值相加以导出当前块的运动向量。

编码器/解码器通过使用当前块的运动信息来生成当前块的预测块(s2304)。

编码器/解码器可以从由运动信息(特别地，参考图片索引)指定的参考图片中的运动信息(特别地，运动向量)指定的块生成当前块的预测块。

换句话说，编码器/解码器可以从由参考图片内的运动向量指定的块(区域)的样本值生成(导出)由参考图片内的运动向量指定的块(区域)的样本值作为当前块的预测单元的样本值。

图24是图示根据本发明的实施例的反向运动信息预测单元和间预测单元的图。

为了便于图24中的描述，分别图示反向运动信息预测单元2401和间预测单元2402，但是反向运动信息预测单元2401可以被实现为包括在间预测单元2402中的组件。此外，反向运动信息预测单元2401和间预测单元2402中的每一个被图示为一个块，但是反向运动信息预测单元2401和/或间预测单元2402可以实现为包括在编码器和/解码器中的组件。

参考图24，反向运动信息预测单元2401和/或间预测单元2402实现在图9至图19中提出的功能、过程和/或方法。具体地，间预测单元2402可以被配置成包括运动信息候选列表配置单元2403、运动信息导出单元2404和预测块生成单元2405。

如上面参考图10和图11所描述的，反向运动信息预测单元2401可以使用参考图片内的随机位置处的运动信息来导出反向运动信息。

也就是说，反向运动信息预测单元2401可以缩放参考图片内的块的运动向量，并且将缩放的运动向量变换成指向当前图片的运动向量。反向运动信息预测单元2401可以存储反向运动信息，该反向运动信息采用与缩放的运动向量的每个符号相反的符号，同时被映射到当前图片的对应块。

反向运动信息预测单元2401可以针对存在于当前图片的参考图片列表中的所有参考图片内的所有区域执行反向运动信息预测。

此外，如在图12至图15中所描述的，当存储多个反向运动信息同时被映射到相同的对应块时，反向运动信息预测单元2401可以给予多个反向运动信息用于选择多个反向运动信息作为当前块的反向运动信息的优先级。

另外，如在图16中所描述的，当在当前块中存在具有反向运动信息的多个对应块时，反向运动信息预测单元2401可以给予反向运动信息用于选择多个对应块的反向运动信息作为当前块的反向运动信息的优先级。

运动信息候选列表配置单元2403可以将反向运动信息添加到当前块的运动信息候选列表。

如在上面的图20至图22中所描述的，运动信息候选列表配置单元2403可以在间预测的合并模式或高级运动向量预测(amvp)模式中将反向运动信息添加(或插入)到运动信息列表。

如上所述，在将空间运动信息候选和时间运动信息候选添加到运动信息候选列表之后，添加到当前运动信息候选列表的运动信息候选的数量小于运动信息候选列表的预定的项目的数量，可以将反向运动信息添加到运动信息候选列表。

此外，如上所述，在将空间运动信息候选和时间运动信息候选添加到运动信息候选列表之后，当添加到当前运动信息候选列表的运动信息候选的数量小于运动信息候选列表的预定的项目的数量时，可以将通过组合添加到运动信息候选列表的运动信息而获取的组合双向运动信息候选添加到运动信息候选列表。在将组合双向运动信息候选添加到运动信息候选列表(或可以不添加)之后，添加到当前运动信息候选列表的运动信息候选的数量小于运动信息候选列表的预定的项目的数量，可以将反向运动信息添加到运动信息候选列表中。

此外，当存在多个反向运动信息时，运动信息候选列表配置单元2403可以基于被给予多个反向运动信息的优先级将预定数量的多个反向运动信息添加(或插入)到当前块的运动信息候选列表。

运动信息导出单元2404可以从添加到运动信息候选列表的运动信息候选中选择的运动信息导出当前块的运动信息。

在这种情况下，运动信息导出单元2404可以从编码器接收用于指定当前块的运动信息候选列表中的当前块的运动信息的运动信息候选索引。在这种情况下，可以从由接收到的运动信息候选索引指示的运动信息候选导出当前块的运动信息。

例如，当合并模式应用于当前块时，运动信息导出单元2404可以从编码器接收合并索引并解码所接收的合并索引。另外，可以导出由合并候选列表(或运动信息候选列表)内的合并索引指示的运动信息作为当前块的运动信息。

此外，例如，当amvp模式应用于当前块时，运动信息导出单元2404可以从编码器接收运动参考标记并解码接收的运动参考标记。另外，可以导出由运动向量预测值候选列表内的运动参考标记指示的运动信息作为当前块的运动向量预测值。此外，运动信息导出单元2403对从编码器接收的接收的运动向量残差值、参考图片索引和间预测模式进行解码，并且将导出的运动向量预测值和解码的运动向量残差值相加以导出当前块的运动向量。

预测块生成单元2405可以通过使用导出的当前块的运动信息来生成当前块的预测块。

预测块生成单元2405可以从由运动信息(特别地，参考图片索引)指定的参考图片中的运动信息(特别地，运动向量)指定的块中生成当前块的预测块。

换句话说，预测块生成单元2405可以从由参考图片内的运动向量指定的块(区域)的样本值生成(导出)由参考图片内的运动向量指定的块(区域)的样本值作为当前块的预测单元的样本值。

在上述实施例中，本发明的组件和特征以预定形式组合。除非另有明确说明，否则应将每个组件或特征视为选项。可以实现每个组件或特征以不与其他组件或特征相关联。此外，可以通过关联一些组件和/或特征来配置本发明的实施例。可以改变在本发明的实施例中描述的操作的顺序。任何实施例的一些组件或特征可以包括在另一个实施例中，或者由对应于另一实施例的组件和特征替换。显而易见的是，在权利要求中未明确引用的权利要求被组合以形成实施例或者在申请之后通过修改将其包括在新的权利要求中。

可以通过硬件、固件、软件或其组合来实现本发明的实施例。在通过硬件实现的情况下，根据硬件实现，这里描述的示例性实施例可以通过使用一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器等来实现。

在通过固件或软件实现的情况下，本发明的实施例可以以模块、过程、功能等的形式实现，以执行上述功能或操作。软件代码可以存储在存储器中并由处理器执行。存储器可以被定位在处理器内部或外部，并且可以通过各种装置向/从处理器发送和接收数据。

对于本领域的技术人员来说显而易见的是，在不脱离本发明的基本特征的情况下，本发明可以以其他特定形式实施。因此，前述详细描述不应被解释为在所有方面都是限制性的，并且应被示例性地考虑。本发明的范围应通过合理地构造所附权利要求来确定，并且在本发明的等同范围内的所有修改都包括在本发明的范围内。

[工业适用性]

在上文中，为了说明性的目的公开本发明的优选实施例并且在下文中，本领域的技术人员将在随附的权利要求中公开的本发明的技术精神和技术范围内进行各种其它实施例的修改、更改、替代或者添加。