本申请是申请日为2012年12月18日、申请号为201280063917.5、发明名称为“用于设置时间合并候选的参考画面索引的方法和设备”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2011年12月23日提交的韩国专利申请第10-2011-0140861号、2012年1月11日提交的韩国专利申请第10-2012-0003617号、和2012年12月18日提交的韩国专利申请第10-2012-0147996号的优先权的权益，这里通过引用而对其全部进行合并。
本发明涉及图像处理方法和设备，并更具体地，涉及帧间预测方法和使用该方法的设备。
背景技术：
最近，对于诸如高清晰度(hd)图像和超高清晰度(uhd)图像的具有高分辨率和高质量的图像的需求正在各个应用领域中增长。随着图像数据的分辨率和质量变高，图像数据的数量比现有图像数据的数量变得相对更大。为此原因，如果使用诸如现有有线/无线宽带线路的介质来传送图像数据、或者通过使用现有存储介质来存储图像数据，则增加传送成本和存储成本。能使用具有高效率的图像压缩技术来解决因为图像数据的分辨率和质量变高而出现的问题。
图像压缩技术包括各种技术，诸如用于根据当前画面之前或之后的画面来预测当前画面中包括的像素值的帧间预测技术、用于使用关于当前画面中的像素的信息来预测当前画面中包括的像素值的帧内预测技术、和用于向具有高出现频率的值分配短码元并向具有低出现频率的值分配长码元的熵编码技术。能通过使用图像压缩技术来有效压缩、传送、或存储图像数据。
技术实现要素：
本发明的目的在于提供设置时间合并候选的参考画面索引的方法。
本发明的另一目的在于提供用于执行设置时间合并候选的参考画面索引的方法的设备。
根据本发明的一个方面，一种图像解码方法包括：确定用于当前预测块的时间合并候选的参考画面索引；从基于当前预测块导出的时间合并候选块导出时间合并候选；基于时间合并候选是否可用，在用于当前预测块的合并候选列表中包括该时间合并候选；以及通过使用该合并候选列表获得当前预测块的预测样本，其中该时间合并候选的参考画面索引被设置为固定值，其中基于包括该时间合并候选块的并置画面和该时间合并候选块的参考画面之间的第一画面距离以及包括该当前预测块的当前画面和当前预测块的参考画面之间的第二画面距离而导出该时间合并候选，其中当满足能对其应用并行合并处理的块的尺寸的条件时，基于当前编码块的位置和当前编码块的尺寸来确定时间合并候选块，以及其中当前编码块包括当前预测块。
根据本发明的又一个方面，一种图像编码方法包括：确定用于当前预测块的时间合并候选的参考画面索引；从基于当前预测块导出的时间合并候选块导出时间合并候选；基于时间合并候选是否可用，在用于当前预测块的合并候选列表中包括该时间合并候选；以及通过使用该合并候选列表获得当前预测块的预测样本，其中该时间合并候选的参考画面索引被设置为固定值，其中基于包括该时间合并候选块的并置画面和该时间合并候选块的参考画面之间的第一画面距离以及包括该当前预测块的当前画面和当前预测块的参考画面之间的第二画面距离而导出该时间合并候选，其中当满足能对其应用并行合并处理的块的尺寸的条件时，基于当前编码块的位置和当前编码块的尺寸来确定时间合并候选块，以及其中当前编码块包括当前预测块。
根据本发明的再一个方面，公开了一种存储通过图像编码方法形成的比特流的记录介质，所述方法包括：确定用于当前预测块的时间合并候选的参考画面索引；从基于当前预测块导出的时间合并候选块导出时间合并候选；基于时间合并候选是否可用，在用于当前预测块的合并候选列表中包括该时间合并候选；以及通过使用该合并候选列表获得当前预测块的预测样本，其中该时间合并候选的参考画面索引被设置为固定值，其中基于包括该时间合并候选块的并置画面和该时间合并候选块的参考画面之间的第一画面距离以及包括该当前预测块的当前画面和当前预测块的参考画面之间的第二画面距离而导出该时间合并候选，其中当满足能对其应用并行合并处理的块的尺寸的条件时，基于当前编码块的位置和当前编码块的尺寸来确定时间合并候选块，以及其中当前编码块包括当前预测块。
根据本发明的再一个方面，一种使用时间合并候选的帧间预测方法可包括以下步骤：确定用于当前块的时间合并候选的参考画面索引并导出当前块的时间合并候选块和从该时间合并候选块导出时间合并候选，其中能导出该时间合并候选的参考画面索引，而不管是否已对除了当前块之外的其他块进行了解码。可取决于当前块是否将使用单一合并候选列表，而按照包括当前块的编码块的单位或按照当前块的单位，来导出该时间合并候选。该帧间预测方法可进一步包括确定该当前块是否是使用该单一合并候选列表的块的步骤，其中该单一合并候选列表可基于包括预测块的编码块，而导出并生成预测块的空间合并候选和时间合并候选中的至少一个。所述确定该当前块是否是使用该单一合并候选列表的块的步骤可包括步骤：解码关于当前块的尺寸的信息并确定所述关于当前块的尺寸的信息是否满足导出单一合并候选列表的块的尺寸的条件。该时间合并候选的参考画面索引可被设置为固定值。所述时间合并候选可包括通过比较时间合并候选块(即，并置块)的参考画面索引和包括并置块的画面(即，并置画面)的索引之间的差、与具有固定值的索引的时间合并候选的参考画面索引和包括当前块的画面的索引之间的差、而计算的时间运动向量。该时间合并候选的参考画面索引可被设置为0。
根据本发明的另一方面，一种执行使用时间合并候选的帧间预测方法的解码器包括：合并候选导出单元，被配置为确定用于当前块的时间合并候选的参考画面索引，导出当前块的时间合并候选块，并从该时间合并候选块导出时间合并候选，其中可导出该时间合并候选的参考画面索引，而不管是否已对除了当前块之外的其他块进行了解码。可取决于当前块是否将使用单一合并候选列表，而按照包括当前块的编码块的单位或按照当前块的单位来导出该时间合并候选。该合并候选导出单元可被配置为确定该当前块是否是使用该单一合并候选列表的块，和该单一合并候选列表可基于包括预测块的编码块，而导出并生成预测块的空间合并候选和时间合并候选中的至少一个。该合并候选导出单元可被配置为解码关于当前块的尺寸的信息，并确定所述关于当前块的尺寸的信息是否满足导出单一合并候选列表的块的尺寸的条件，以便确定该当前块是否是使用该单一合并候选列表的块。该时间合并候选的参考画面索引可被设置为固定值。所述时间合并候选可包括通过比较时间合并候选块(并置块)的参考画面索引和包括并置块的画面(并置画面)的索引之间的差、与具有固定值的索引的时间合并候选的参考画面索引和包括当前块的画面的索引之间的差、而计算的时间运动向量。该时间合并候选的参考画面索引可被设置为0。
如上所述，依照根据本发明实施例的用于设置时间合并候选的参考画面索引的方法和设备，能通过使用设置为特定值的时间合并候选或通过使用特定位置处的空间合并候选的参考画面索引作为时间合并候选的参考画面索引，来对多个预测块并行执行使用时间合并候选的帧间预测。因此，能增加图像处理速度，并能降低图像处理的复杂度。
附图说明
图1是示出了根据本发明实施例的图像编码器的构造的框图。
图2是示出了根据本发明实施例的图像解码器的构造的框图。
图3(a)、3(b)是图示了根据本发明实施例的使用合并模式的帧间预测方法的概念图。
图4是图示了根据本发明实施例的使用时间合并候选和时间合并候选的参考画面索引的帧间预测的概念图。
图5(a)、5(b)是图示了其中将一个编码块划分(partitioned)为两个预测块的情况的概念图。
图6是图示了根据本发明实施例的用于设置时间合并候选的参考画面索引的方法的概念图。
图7(a)、7(b)是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图8(a)、8(b)是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图9(a)、9(b)是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图10(a)、10(b)是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图11(a)、11(b)是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图12(a)、12(b)是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图13(a)、13(b)是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图14是图示了根据本发明实施例的用于在合并候选列表中包括时间合并候选的方法的流程图。
图15是图示了根据本发明实施例的用于通过在多个预测块中共享所有空间合并候选和时间合并候选、而生成单一合并候选列表的方法的概念图。
图16(a)、16(b)是图示了根据本发明实施例的用于生成单一候选列表的方法的概念图。
具体实施方式
其后，将参考附图来详细描述示范实施例。在描述本发明的实施例时，将省略已知功能和构造的详细描述，如果认为它使得本发明的要义不必要地模糊的话。
当说到一个元件“连接到”或“耦接到”另一元件时，所述一个元件可直接连接或耦接到所述另一元件，但是应理解的是，可在这两个元件之间存在第三元件。此外，在本发明中，描述“包括(或包含)”特定元件的内容并不意味着排除除了特定元件之外的元件，而是意味着附加元件可被包括在本发明的实现中或本发明的技术精神的范围中。
可使用诸如第一和第二的术语来描述各个元件，但是这些元件不受到这些术语的限制。这些术语仅用来将一个元件与另一元件进行彼此区分。例如，第一元件可被称为第二元件，而不脱离本发明的范围。类似地，第二元件也可被称为第一元件。
另外，仅独立示出本发明的实施例中描述的元件，以便指示不同的和独特的功能，并且这不意味着每一元件包括单独硬件或一块软件单元。即，为了便于描述，安排每一元件，并且这些元件中的至少两个可组合以形成一个元件，或者一个元件可被分割为多个元件并且多个元件可执行功能。其中组合元件或分割每一元件的实施例被包括在本发明的范围中，而不脱离本发明的本质。
另外，在本发明中，一些元件可以不是执行必然功能的必要元件，而可以是仅改进性能的选择性元件。本发明可仅使用除了仅用来改进性能的元件之外的用于实现本发明的本质的必要元件来实现，并且包括除了仅用来改进性能的选择性元件之外的仅必要元件的结构被包括在本发明的范围中。
图1是示出了根据本发明实施例的图像编码器的构造的框图。
参考图1，图像编码器100包括运动预测单元111、运动补偿单元112、帧内预测单元120、开关115、减法器125、变换单元130、量化单元140、熵编码单元150、逆量化单元160、逆变换单元170、加法器175、滤波单元180、和参考画面缓冲器190。
图像编码器100可按照帧内模式或按照帧间模式来对输入画面执行编码，并输出比特流。在帧内模式的情况下，开关115可切换到帧内模式，而在帧间模式的情况下，开关115可切换到帧间模式。图像编码器100可导出输入画面的输入块的预测块，并然后编码输入块和预测块的残差。
帧内模式可被定义和使用术语“帧内预测模式”，帧间模式可被定义和用作术语“帧间预测模式”，帧内预测单元120可被定义和用作术语“帧内预测单元”，而运动预测单元111和运动补偿单元112可被定义和用作术语“帧间预测单元”。
根据本发明实施例的帧间预测方法公开了用于确定时间合并候选的参考画面索引的方法。帧内预测单元120可包括合并候选导出单元，用于导出当前块的空间合并候选和时间合并候选块，并导出来自空间合并候选块的空间合并码元和来自时间合并候选块的时间合并候选。稍后将详细描述用于导出合并候选的方法。
在帧内模式的情况下，帧内预测单元120可通过使用当前块附近的已编码块的像素值执行空间预测，来导出预测块。
在帧间模式的情况下，运动预测单元111可通过在运动预测处理中与输入块最佳匹配的区域中搜索参考画面缓冲器190中存储的参考画面，来获得运动向量。运动补偿单元112可通过使用运动向量执行运动补偿来导出预测块。
减法器125可通过输入块和导出的预测块的残差来导出残差块。变换单元130可通过对残差块执行变换来输出变换系数。这里，变换系数可意味着通过对残差块和/或残差信号执行变换而导出的系数值。在以下说明书中，通过对变换系数应用量化而导出的量化后的变换系数电平也可被称为变换系数。
量化单元140可根据量化参数对输入的变换系数进行量化，并输出量化后的变换系数电平。
熵编码单元150可基于量化单元140所计算的值或在编码处理中导出的编码参数值来执行熵编码，并基于熵编码的结果来输出比特流。
如果应用熵编码，则可降低用于每一目标编码码元的比特流的尺寸，因为通过向具有高出现概率的码元分配小数目比特并向具有低出现概率的码元分配大数目比特，来表示码元。因此，能通过熵编码来增加图像编码的压缩性能。熵编码单元150可使用诸如指数哥伦布、上下文自适应可变长度编码(cavlc)或上下文自适应二进制算术编码(cabac)的编码方法用于熵编码。
在根据图1的实施例的图像编码器中，当前编码的图像需要被解码和存储以便用作参考画面，因为执行帧间预测编码(即，帧间预测编码)。因此，量化后的系数被逆量化单元160逆量化，并然后被逆变换单元170逆变换。逆量化和逆变换后的系数通过加法器175被添加到预测块，并由此导出重构的块。
重构的块经过(experiences)滤波单元180。滤波单元180可向重构块或重构画面应用解块滤波器、样本自适应偏移(sao)、和自适应环路滤波器(alf)中的一个或多个。已经过滤波单元160的重构块可被存储在参考画面缓冲器190中。
图2是示出了根据本发明另一实施例的图像解码器的构造的框图。
参考图2，图像解码器200包括熵解码单元210、逆量化单元220、逆变换单元230、帧内预测单元240、运动补偿单元250、加法器255、滤波单元260、和参考画面缓冲器270。
图像解码器200可从编码器接收比特流，按照帧内模式或帧间模式来对比特流执行解码，并输出重构的图像(即，重构的画面)。在帧内模式的情况下，开关可切换到帧内模式，而在帧间模式的情况下，开关可切换到帧间模式。图像解码器200可从输入比特流获得重构的残差块，从重构的残差块导出预测块，并导出通过将重构的残差块与预测块添加到一起而重构的块，即，重构的块。
熵解码单元210可通过根据概率分布对输入比特流执行熵解码，来导出包括具有量化后的系数形式的码元的码元。熵解码方法与上述熵编码方法类似。
如果应用熵解码方法，则能降低每一码元的比特流的尺寸，因为通过向具有高出现概率的码元分配小数目比特并向具有低出现概率的码元分配大数目比特来表示码元。因此，能通过熵解码方法来增加图像解码的压缩性能。
量化后的系数由逆量化单元220逆量化并然后由逆变换单元230逆变换。作为对量化后的系数进行逆量化和逆变换的结果，可导出重构的残差块。
在帧内模式的情况下，帧内预测单元240可通过使用当前块周围的已解码块的像素值执行空间预测，来导出预测块。在帧间模式的情况下，运动补偿单元250可通过使用运动向量和参考画面缓冲器270中存储的参考画面执行运动补偿，来导出预测块。
根据本发明实施例的帧间预测方法公开了用于确定时间合并候选的参考画面索引的方法。帧内预测单元能包括合并候选导出单元，用于导出当前块的空间合并候选和时间合并候选块，并从空间合并候选块导出空间合并码元和从时间合并候选块导出时间合并候选。稍后附加描述用于导出合并候选的方法。
加法器255将重构的残差块和预测块相加，并且相加的块能经过滤波单元260。滤波单元260可向重构的块或重构的画面应用解块滤波器、sao、和alf中的一个或多个。滤波单元260能输出重构的画面。重构的画面可被存储在参考画面缓冲器270中并用于帧间预测。
用于改进图像编码器和图像解码器的预测性能的方法包括用于增加内插图像的精度的方法和用于预测差别信号的方法。差别信号指示原始图像和预测图像之间的差别。在本发明中，“差别信号”可取决于上下文用“残差信号”、“残差块”或“差别块”代替。本领域普通技术人员能在不影响本发明的精神和本质的范围中对残差信号、残差块和差别块进行彼此区分。
在本发明的实施例中，诸如编码单元(cu)、预测单元(pu)、或变换单元(tu)的术语可被用作用于处理图像的单元。
cu是对其执行编码/解码的图像处理单元。cu能包括用来对编码块(即，对其执行编码/解码的亮度样本或色度样本的块单元集合)和编码块的样本进行编码或解码的信息
pu是对其执行预测的图像处理单元。pu能包括用来对预测块(即，对其执行预测的亮度样本或色度样本的块单元集合)和预测块的样本进行预测的信息。这里，编码块能被分类为多个预测块。
tu是对其执行变换的图像处理单元。tu能包括用来对变换块(即，对其执行变换的亮度样本或色度样本的块单元集合)和变换块的样本进行变换的信息。这里，编码块能被分类为多个变换块。
在本发明的实施例中，块和单元可被解释为具有相同含义，除非其后按照别的方式进行描述。
此外，当前块能指定正对其执行特定图像处理的块，诸如现在对其执行预测的预测块或现在对其执行预测的编码块。例如，如果一个编码块被划分为两个预测块，则所划分的预测块之中的现在对其执行预测的块能被指定为当前块。
在本发明的实施例中，稍后要描述的图像编码方法和图像解码方法能通过参考图1和2描述的图像编码器和图像解码器的元件来执行。该元件可不仅包括硬件含义，而且包括能通过算法执行的软件处理单元。
其后，能在图像处理方法中的跳跃(skip)模式和作为帧间预测方法中的模式之一的合并模式中，使用本发明实施例中公开的用于设置时间合并候选的参考画面索引的方法。跳跃模式是输出基于从周围块导出的运动预测信息而预测的块作为重构的块、而不生成残差块的图像处理方法。作为帧间预测方法中的模式之一的合并模式是这样的图像处理方法，其与跳跃模式的相同之处在于，基于从周围块导出的运动预测信息来预测块，而与跳跃模式的不同之处在于，输出通过关于残差块的编码和解码信息将残差块与预测块相加而重构的块。诸如解块滤波和样本自适应偏移的环路内滤波方法能附加应用到输出的重构的块。
图3是图示了根据本发明实施例的使用合并模式的帧间预测方法的概念图。
参考图3，能如下执行使用合并模式的帧间预测。
使用合并模式的帧间预测方法表示用于从与当前块相邻的块导出合并候选、并通过使用导出的合并候选来执行帧间预测的方法。用来导出合并候选的相邻块能被划分为与当前块位于相同画面中并与当前块相邻的块、以及位于与包括当前块的画面不同的画面中并与当前块并置定位的块。
其后，在本发明的实施例中，在用来导出合并候选的相邻块之中，与当前块位于相同画面中并与当前块相邻的块被定义为空间合并候选块，并且从空间合并候选块导出的与运动预测相关的信息被定义为空间合并候选。此外，在用来导出合并候选的相邻块之中，位于与包括当前块的画面不同的画面中并与当前块并置定位的块被定义为时间合并候选块，并且从时间合并候选块导出的与运动预测相关的信息被定义为时间合并候选。
即，使用合并模式的帧间预测方法是用于通过使用稍后要描述的关于空间合并候选块的与运动预测相关的信息(即，空间合并候选)或者关于时间合并候选块的与运动预测相关的信息(即，时间合并候选)、来预测当前块的帧间预测方法。
例如，运动向量mvl0/l1、参考画面索引refidxl0/l1、和多条参考画面列表利用信息predflagl0/l1能被用作与运动预测相关的信息。
图3(a)示出了运动向量mvl0/l1、参考画面索引refidxl0/l1、和多条参考画面列表利用信息predflagl0/l1。
运动向量304是方向信息，并能由预测块使用以在执行帧间预测时从参考画面导出关于位于特定位置处的像素的信息。如果在预测块中使用多条方向信息来执行帧间预测，则用于各个方向的运动向量能由mvl0/l1指示。
参考画面索引306是关于在执行帧间预测时预测块所参考的画面的索引的信息。如果使用多个参考画面执行帧间预测，则可使用相应参考画面索引refidxl0和refidxl1来为参考画面编索引。
参考画面列表利用信息能指示已从哪个参考画面列表0308导出参考画面。例如，画面i、j和k能被存储在参考画面列表0308中并使用。如果存在其中存储参考画面的两个列表，则关于已从哪个参考画面列表导出参考画面的信息能由predflagl0和predflagl1来指示。
为了执行使用合并模式的帧间预测方法，首先，可通过以下步骤(1)来获得空间合并候选。图3(b)公开了空间合并候选和时间合并候选。
(1)从用于当前块(即，目标预测块)的相邻块导出空间合并候选。
如上所述，空间合并候选是从空间合并候选块导出的与运动预测相关的信息。空间合并候选块可以基于当前块的位置来导出。
参考图3(b)，已基于目标预测块导出现有空间合并候选块300、310、320、330和340。假设目标预测块的左上端存在的像素的位置是(xp,yp)，预测块的宽度是npbw，目标预测块的高度是npbh，并且minpbsize是预测块的最小尺寸。在其后的本发明的实施例中，预测块的空间合并候选块能包括含有在(xp-1,yp+npbh)处存在的像素的块(即，左侧的第一块(或a0块)300)、含有在(xp-1,yp+npbh-1)处存在的像素的块(即，左侧的第二块(或a1块)310)、含有在(xp+npbw,yp-1)处存在的像素的块(即，上侧的第一块(或b0块)320)、含有在(xp+npbw-1,yp-1)处存在的像素的块(即，上侧的第二块(或b1块)330)、以及含有在(xp-1,yp-1)处存在的像素的块(即，上侧的第三块(或b2块)340)。可使用例如“minpbsize”的另一值代替1。在该情况下，能指示相同位置处的块。用来指示特定位置处的块的坐标是任意的，并且相同位置处的块可以通过各种其他表示方法来指示。
图3中公开的空间合并候选块300、310、320、330和340的位置及其数目与时间合并候选块360和370的位置及其数目是示意性的，并且空间合并候选块的位置及其数目与时间合并候选块的位置及其数目可以改变，如果它们落入本发明的本质之内的话。此外，当配置合并候选列表时优先扫描的合并候选块的顺序可改变。即，本发明的以下实施例中描述的候选预测块的位置、其数目、及其扫描顺序、以及当配置候选预测运动向量列表时使用的候选预测组仅是示意性的，并且能改变，如果它们落入本发明的本质之内的话。
空间合并候选能通过确定空间合并候选块300、310、320、330和340是否可用而从可用空间合并候选块导出。指示是否能从空间合并候选块导出空间合并候选的信息是可用性信息。例如，如果空间合并候选块位于当前块所属于的片段、拼接块(tile)或画面外部或者是已对其执行帧内预测的块，则不能从对应块导出空间合并候选(即，与运动预测相关的信息)。在该情况下，空间合并候选块能被确定为不可用。为了确定关于空间合并候选的可用性信息，可使用一些确定方法并且稍后详细描述其实施例。
如果空间合并候选块可用，则能导出与运动预测相关的信息并使用，以对当前块执行使用合并模式的帧间预测。
一个编码块可被划分为一个或多个预测块。即，编码块可包括一个或多个预测块。如果编码块中包括多个预测块，则每一预测块能通过特定索引信息指示。例如，如果一个编码块被划分为两个预测块，则这两个预测块能通过将一个预测块的分区索引设置为0并将另一预测块的分区索引设置为1来指示。如果分区索引为0，则预测块可被定义为另一术语，诸如第一预测块。如果分区索引为1，则预测块可被定义为另一术语，诸如第二预测块。如果一个编码块被进一步划分为附加预测块，则可增加指示预测块的索引值。为了指定预测块而定义的术语是任意的，并且可以不同地使用或不同地解释这些术语。当预测块执行图像处理时，预测块的分区索引也可被用作指示执行图像处理(诸如编码和解码)的顺序的信息。
如果在一个编码块中存在多个预测块，则可存在其中当导出用于预测块的空间合并候选时、必须首先执行另一预测块的编码或解码的情况。根据本发明的实施例，详细地附加公开了用于在生成合并候选列表时、向一个编码块中包括的每一预测块并行导出空间合并候选和时间合并候选的方法。
(2)确定时间合并候选的参考画面索引。
空间合并候选是从与包括当前块的画面不同的画面处存在的时间合并候选块导出的与运动预测相关的信息。根据在基于当前块的位置并置的位置处的块，来导出时间合并候选块。术语“并置块”可被用作与时间合并候选块相同的含义。
返回参考图3，时间合并候选块360和370能基于包括预测块的画面内的像素位置(xp,yp)，而包括块360，块360包括当前预测块的并置画面中的位置(xp+npsw,yp+npsh)处的像素，或者如果包括位置(xp+npsw,yp+npsh)处的像素的块360不可用，则包括块370，块370包括位置(xp+(npsw>>1),yp+(npsh>>1))处的像素。包括并置画面中的位置(xp+npsw,yp+npsh)处的像素的预测块360可被称为第一时间合并候选块(或第一并置块)360，而包括并置画面中的位置(xp+(npsw>>1),yp+(npsh>>1))处的像素的预测块可被称为第二时间合并候选块370。
最终，用来导出时间合并候选(或与运动预测相关的信息)的最终时间合并候选块可以位于基于第一时间合并候选块360和第二时间合并候选块370的位置而部分移动的位置。例如，如果在存储器中存储关于并置画面中存在的一些预测块的仅几条与运动预测相关的信息，则基于第一时间合并候选块360和第二时间合并候选块370的位置而部分移动的位置处的块能被用作用于导出最终与运动预测相关的信息的最终时间合并候选块。与空间合并候选块中类似，时间合并候选块的位置可与图3不同地改变或添加，并且稍后描述其实施例。
时间合并候选的参考画面索引是指示参考的画面的信息，以便由当前块基于从时间合并候选导出的运动向量mvlxcol来执行帧间预测。
图4是图示了根据本发明实施例的使用时间合并候选和时间合并候选的参考画面索引的帧间预测的概念图。
参考图4，可定义当前块400、包括当前块的画面410、时间合并候选块(或并置块)420、和包括并置块的并置画面430。
从时间合并候选块420的角度出发，存在由空间合并候选块在帧间预测中使用以便对时间合并候选块420执行帧间预测的画面440。该画面被定义为并置画面430的参考画面440。此外，由时间合并候选块420使用以便从并置画面430的参考画面440执行帧间预测的运动向量可被定义为mvcol470。
从当前块400的角度出发，不得不定义基于计算的mvcol470在当前块400的帧间预测中使用的参考画面460。定义为在当前块400的帧间预测中使用的参考画面460可被称为时间合并候选的参考画面460。即，时间合并候选的参考画面460的索引(即，时间合并候选的参考索引)是指示在当前块400的时间运动预测中使用的参考画面的值。在步骤(2)，能确定时间合并候选的参考画面索引。
作为从时间合并候选块420导出的运动向量的mvcol470可取决于并置画面430和并置画面的参考画面440之间的距离、以及包括当前块的画面410与通过步骤(2)导出的时间合并候选的参考画面460之间的距离，而被缩放和变换为不同值。
即，根据当前块400的时间合并候选的帧间预测可基于稍后要描述的通过步骤(3)导出的mvlxcol480、基于通过步骤(2)导出的时间合并候选的参考画面索引460和时间合并候选的参考画面索引460来执行。mvlxcol可被定义为时间运动向量。
在现有图像编码/解码方法中，时间合并候选的参考画面索引可基于目标预测块中从空间合并候选的参考画面索引导出的时间合并候选的参考画面索引候选来确定。如果使用该方法，则可以存在其中必须导出还没有编码或解码的空间合并候选的参考画面索引的情况。在该情况下，仅当完成包括对应空间合并候选的预测块的编码或解码时，才能导出空间合并候选的参考画面索引。因此，如果基于从所有空间合并候选块导出的时间合并候选的参考画面索引候选来确定时间合并候选的参考画面索引，则不能并行执行用于导出当前块的时间合并候选的参考画面的处理。图5公开了该问题。
图5是图示了其中一个编码块被划分为两个预测块的情况的概念图。
参考图5，一个编码块被划分为具有nx2n形式的第一预测块500和第二预测块520。第一预测块500的空间合并候选块基于图5(a)的第一预测块500的位置导出，而第二预测块520的空间合并候选块基于图5(b)的第二预测块520的位置导出。尽管没有示出，但是在时间合并候选块中，时间合并候选可基于每一预测块的位置导出。
第一预测块500的空间合并候选块在第一预测块500外部，并处于已对其执行编码或解码的块中包括的位置处。
相反，第二预测块520的空间合并候选块之中的a1块530存在于第一预测块500中。因此，在执行对第一预测块500的预测之后，能知道关于a1块530的与运动预测相关的信息(例如，运动向量、参考画面索引、和参考画面列表利用信息)。此外，不能导出a0块550的与运动预测相关的信息，因为a0块550处于还没有编码或解码的位置处。
如果时间合并候选的参考画面索引从a1块530的与运动预测相关的信息导出，则其能在完成对第一预测块500的编码或解码之后被导出。此外，不能从a0块550导出参考画面索引。即，由于不能导出一些空间合并候选块的参考画面索引，所以不能并行导出各个预测块的时间合并候选的参考画面索引。
在本发明的实施例中，为了解决该问题，公开了用于导出预测块的时间合并候选的参考画面索引(或时间合并候选的参考索引)的方法。
如果使用根据本发明实施例的导出时间合并候选的参考画面索引的方法，则能并行执行导出一些预测块的时间合并候选的参考画面索引的处理。由于并行导出时间合并候选的参考画面索引，所以能并行执行用于一个编码块中包括的多个预测块的使用合并模式的帧间预测处理。
其后，在本发明的实施例中，详细公开并附加描述了用于导出时间合并候选的参考画面索引的方法。
(3)导出关于时间合并候选块的与运动预测相关的信息。
在步骤(3)，为了基于时间合并候选执行运动预测，能导出时间合并候选，诸如关于时间合并候选块是否可用的信息(availableflagcol)、参考画面列表利用信息(predflaglxcol)、和关于时间合并候选的运动向量的信息(mvlxcol)。从时间合并候选导出的与运动预测相关的信息可以被定义为术语“时间合并候选”。关于时间合并候选块的可用性信息指示是否能从时间合并候选块导出时间合并候选。时间合并候选可基于关于时间合并候选块的可用性信息而包括在合并候选列表中。
(4)导出合并候选列表。
合并候选列表能包括基于关于合并候选块(即，空间合并候选块或时间合并候选块)的可用性信息、能在使用合并模式的帧间预测中使用的关于合并候选的信息。合并候选列表中包括的合并候选之一能用来对当前块执行使用合并模式的帧间预测。关于将使用哪个合并候选来预测当前块的信息(即，合并索引)能在编码步骤中编码并传送到解码器。
能按照以下优先级顺序来生成合并候选列表。
1)如果a1块可用，则从a1块导出合并候选
2)如果b1块可用，则从b1块导出合并候选
3)如果b0块可用，则从b0块导出合并候选
4)如果a0块可用，则从a0块导出合并候选
5)如果b2块可用，则从b2块导出合并候选
6)如果col块可用，则从col块导出合并候选
合并候选列表能取决于可用块的数目包括例如0到5个合并候选。如果用来导出合并候选的块的数目是多个，则可在合并候选列表中包括多个合并候选。
(5)如果合并候选列表中包括的合并候选的数目小于能在合并候选列表中包括的合并候选的最大数目，则导出附加合并候选。
附加合并候选可以是通过组合关于现有合并候选的多条与运动预测相关的信息而生成的候选(即，组合合并候选)，或者可以是0向量合并候选(即，零合并候选)。这里，0向量合并候选指定具有运动向量(0，0)的合并候选。
(6)确定合并候选列表中包括的合并候选之中的、向对当前块执行的帧间预测施加的合并候选，并将关于确定的合并候选的与运动预测相关的信息设置为关于当前块的与运动预测相关的信息。
在解码处理中，能基于合并索引merge_idx[xp][yp](即，关于在对当前块执行的帧间预测中使用合并候选列表中包括的哪个候选的信息)来对当前块执行使用合并模式的帧间预测。
通过步骤(1)到步骤(6)的过程，能导出关于当前块的与运动预测相关的信息，并能基于导出的与运动预测相关的信息来对当前块执行帧间预测。
本发明的实施例公开了在步骤(2)设置时间合并候选的参考画面索引时并行导出用于一个编码块中包括的多个预测块的时间合并候选的参考画面索引的方法。
能使用下面各种方法作为并行导出用于一个编码块中包括的多个预测块的时间合并候选的参考画面索引的方法。
1)设置空间合并候选块的位置、作为包括当前块的编码块所位于的并且已对其执行编码或解码的位置的方法，所述空间合并候选块的位置用来导出目标预测块(即，当前块)的时间合并候选的参考画面索引候选。
2)如果用来导出目标预测块(即，当前块)的时间合并候选的参考画面索引候选的空间合并候选块的位置在编码块中或者是还没有对其执行编码的位置、则将从对应位置的空间合并候选导出的时间合并候选的参考画面索引候选设置为“0”的方法。
3)将目标预测块(即，当前块)的时间合并候选的参考画面索引设置为作为固定值的“0”的方法。
4)如果为了导出目标预测块(即，当前块)的时间合并候选的参考画面索引候选而参考的空间合并候选块的位置在编码块中或者是还没有对其执行编码的位置、则不使用对应位置的空间合并候选块的参考画面索引以便导出时间合并候选的参考画面索引的方法。
5)预先确定为了导出目标预测块(即，当前块)的时间合并候选的参考画面索引而参考的特定位置处的空间合并候选块、并从特定位置处的空间合并候选块导出时间合并候选的参考画面索引的方法。
6)如果为了对目标预测块(即，当前块)执行合并而导出的空间合并候选的一些空间合并候选块的位置在编码块中、或者是还没有对其执行编码的位置、并由此不能从对应位置处的空间合并候选块导出关于时间合并候选的参考画面索引的多条信息、则将对应位置处的空间合并候选块固定为已对其执行编码或解码的编码块之外的位置的方法。
本发明的以下实施例详细公开了导出时间合并候选的参考画面索引的方法。
首先，参考图6详细描述参考图5所描述的现有技术中当确定时间合并候选的参考画面索引时出现的问题。
图6是图示了根据本发明实施例的用于设置时间合并候选的参考画面索引的方法的概念图。
参考图6，一个编码块(例如，2nx2n形式)可被划分为两个预测块(例如，nx2n)。在两个划分的块的第一预测块600中，所有空间合并候选块605、610、615、620和625存在于编码块外部。相反，在两个划分的块的第二预测块650中，空间合并候选块655、660、665、670和675中的一些(例如，655、665、670和675)存在于编码块外部，而空间合并候选块655、660、665、670和675中的一些(例如，660)存在于编码块内部。
用于当前块(即，目标预测块)的时间合并候选的参考画面索引可从空间合并候选的参考画面索引导出。即，用于当前块的时间合并候选的参考画面索引可基于空间合并候选块为了执行帧间预测已使用的参考画面索引的信息来导出。
例如，可以假设当前块的多个空间合并候选中的三个的参考画面索引是refidxlxa、refidxlxb和refidxlxc。关于参考画面索引refidxlxa、refidxlxb和refidxlxc的多条信息可成为时间合并候选的参考画面索引候选，并且时间合并候选的参考画面索引值可基于时间合并候选的参考画面索引候选来导出。
如果使用以上方法，则不需要预先编码或解码当前块的空间合并候选块，因为关于当前块的空间合并候选块的参考画面索引的多条信息对于导出当前块的时间合并候选的参考画面索引是必需的。
返回参考图6，第一预测块600是其中空间合并候选被包括在上述已对其执行编码或解码的编码块外部的位置中的块。因此，如果第一预测块600是对其执行预测的当前块，则第一预测块600的时间合并候选的参考画面索引候选可以从第一预测块600的空间合并候选块直接导出。
然而，在第二预测块650中，空间合并候选中的一些(例如660)存在于上述编码块内的第一预测块600中。因此，当对第二预测块650执行使用合并模式的帧间预测时，在对a1块660编码或解码之前(即，在对包括a1块660的第一预测块600执行预测之前)不能导出第一预测块650的时间合并候选的参考画面索引。在该情况下，存在的问题在于，不能对第一预测块600和第二预测块650并行执行使用合并模式的帧间预测，因为在对第一预测块600执行预测之前，没有导出第二预测块650的时间合并候选。为了解决该问题，可使用各种方法。
为了便于描述，本发明的以下实施例中仅公开了预测块的分区形式中的一些，但是本发明可应用到编码块的几个预测块的分区形式，并且其实施例也被包括在本发明的范围中。
图7是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图7的实施例公开了设置为了导出时间合并候选的参考画面索引而由预测块进行参考的空间合并候选块的位置、作为包括当前预测块的编码块外部的位置的方法。
图7(a)示出了其中将一个编码块划分为具有nx2n形式的两个预测块700和750的情况。
第一预测块700的所有空间合并候选块处于已对其执行编码或解码的编码单元外部的位置。由此，第一预测块700的时间合并候选的参考画面索引候选可通过使用已编码或解码的空间合并候选块而直接导出。
然而，在第二预测块750的情况下，用来导出时间合并候选的参考画面索引的空间合并候选块的一些(例如，710和720)的位置可改变，并且时间合并候选的参考画面索引可从改变的位置导出。
为了导出时间合并候选的参考画面索引候选，空间合并候选块710可被替换为编码块外部的块715，而不使用第二预测块750的空间合并候选块之中的、编码单元中包括的空间合并候选块710，并且块715的参考画面索引可被用作时间合并候选的参考画面索引候选。
此外，空间合并候选块720可被替换为编码块外部的块725，而不使用空间合并候选块之中的、还没有对其执行编码或解码的编码单元外部的块720，并且块725的参考画面索引可被用作时间合并候选的参考画面索引候选。
即，时间合并候选的参考画面索引候选可通过使用编码块外部的a0’块725和a1’块715(代替第二预测块750的a0块710和a1块720)来导出。
如果使用以上方法，则用来导出时间合并候选的参考画面索引的所有空间合并候选块可成为第二预测块750中的已编码块中包括的块。因此，在第二预测块750中，可导出时间合并候选的参考画面索引，而不管是否已对第一预测块700执行了预测处理。
图7(b)示出了其中将一个编码块划分为具有2nxn形式的两个预测块的情况。
如图7(a)中那样，在图7(b)中，代替第二预测块770的空间合并候选块之中的、作为编码块中包括的块的b1块780、和作为还没有对其执行编码或解码的块的b0块790，作为已编码块的b1’块785和b0’块795能被用来导出用于第二预测块750的时间合并候选的参考画面索引。
图8是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图8的实施例公开了如果为了导出目标预测块(即，当前块)的时间合并候选的参考画面索引而参考的空间合并候选块的位置在包括当前块的编码块中或者是还没有对其执行编码或解码的位置、则将从编码块中存在的空间合并候选块和在还没有对其执行编码或解码的位置处存在的空间合并候选块导出的时间合并候选的参考画面索引候选设置为“0”的方法。
图8(a)示出了其中将一个编码块划分为具有nx2n形式的两个预测块的情况。
参考图8(a)，第一预测块800的所有空间合并候选块处于已对其执行编码或解码的编码单元外部的位置。因此，第一预测块800的时间合并候选的参考画面索引候选可从第一预测块800的空间合并候选块导出。
在第二预测块850的情况下，假设一些空间合并候选块(例如，810和820)的参考画面索引是“0”，则可导出第二预测块850的时间合并候选的参考画面索引候选。与位于包括目标预测块(即，当前块)的编码块中的空间合并候选块或者在还没有对其执行编码或解码的位置处的空间合并候选块相关地，从对应空间合并候选块导出的时间合并候选的参考画面索引候选可被设置为“0”，并且当前块的时间合并候选的参考画面索引可从设置的参考画面索引候选导出。
例如，能使用当导出时间合并候选的参考画面索引候选并从设置的参考画面索引候选导出时间合并候选的参考画面索引时、预先将从第二预测块850的a0块810和a1块820导出的时间合并候选的参考画面索引候选设置为“0”的处理。
图8(b)示出了其中将一个编码块划分为具有2nxn形式的两个预测块的情况。
第一预测块860的所有空间合并候选块在已对其完成编码或解码的编码单元外部的位置处。因此，用于第一预测块860的时间合并候选的参考画面索引候选可从第一预测块860的空间合并候选块直接导出。
当导出用于第二预测块870的时间合并候选的参考画面索引时，能将从还没有对其执行预测的预测块中包括的空间合并候选块880、或在还没有对其执行编码或解码处理的位置处的一些空间合并候选块(例如，890)导出的时间合并候选的参考画面索引候选设置为“0”。时间合并候选的参考画面索引候选能从设置的参考画面索引候选中导出。
例如，以上方法能在将从b0块880和b1块890(即，第二预测块870的空间合并候选块)导出的时间合并候选的参考画面索引设置为“0”、并导出用于第二预测块870的时间合并候选的参考画面索引的处理中使用。
图9是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图9的实施例公开了其中预测块将时间合并候选的参考画面索引设置为“0”(即，固定值)并使用所设置的参考画面索引的方法。
图9(a)示出了其中将一个编码块划分为具有nx2n形式的两个预测块的情况。
参考图9(a)，为了导出用于第一预测块900和第二预测块950的时间合并候选的参考画面索引，时间合并候选的参考画面索引值可被设置为“0”并使用，而不使用空间合并候选块905到925以及930到947。如果使用该方法，则能降低编码和解码的导出中的复杂程度，并能增加编码和解码的速度，因为不执行导出时间合并候选的参考画面索引的步骤。此外，能导出当前块的时间合并候选的参考画面索引，而不需要等待直到执行当前编码块中包括的其他预测块的预测为止。因此，能并行导出一个编码块中包括的多个预测块的时间合并候选的参考画面索引。
图9(b)示出了其中将一个编码块划分为具有2nxn形式的两个预测块的情况。
类似地，在图9(b)中，为了导出用于第一预测块960和第二预测块990的时间合并候选的参考画面索引，时间合并候选的参考画面索引值可被固定为“0”并使用，而不使用空间合并候选。
在图9中，为了便于描述，在空间合并候选块中标记“0”。然而，当实际导出时间合并候选的参考画面索引时，能使用设置为“0”的值，而无需搜索空间合并候选块的参考画面索引的过程。“0”仅是固定画面索引的示例，并且可使用除了0之外的另一画面索引，并且其实施例也被包括在本发明的范围中。
图10是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图10的实施例公开了这样的方法，如果为了导出当前块(即，目标预测块)的时间合并候选的参考画面索引而参考的空间合并候选块的位置在包括当前块的编码块中或者在还没有对其执行编码的位置处，则不使用空间合并候选块的参考画面索引作为用于导出时间合并候选的参考画面索引的候选。
图10(a)示出了其中将一个编码块划分为具有nx2n形式的两个预测块的情况。
参考图10(a)，第二预测块1010的a1块1030和a0块1020是包括当前块的编码块中的块并且是还没有对其执行编码或解码的位置处的块。当导出用于第一预测块1000的时间合并候选的参考画面索引时，不能使用关于a1块1030和a0块1020的参考画面索引的多条信息。
因此，当从第二预测块1010导出时间合并候选的参考画面索引时，能将关于a1块1030和a0块1020的参考画面索引的多条信息设置为“-1”。如果特定空间合并候选块的参考画面索引值为“-1”，则空间合并候选块能指示没有用来导出时间合并候选的参考画面索引的块。
图10(b)示出了其中将一个编码块划分为具有2nxn形式的两个预测块的情况。
参考图10(b)，第二预测块1050的b1块1060是编码块中的空间合并候选块，并且是仅当对第一预测块1040执行预测时能知道其参考画面索引信息的块。第二预测块1050的b0块1070是还没有对其执行编码的位置处的空间合并候选块，并且不能知道关于其参考画面索引的信息。
在该情况下，为了并行从第一预测块1040和第二预测块1050导出时间合并候选的参考画面索引，关于b1块1060和b0块1070的参考画面索引的多条信息可被设置为“-1”。即，b0块1070和b1块1060可以不被用作用于导出用于第二预测块1050的时间合并候选的参考画面索引候选的块。
图11是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图11的实施例公开了预先确定为了导出时间合并候选的参考画面索引而由预测块参考的特定空间合并候选块、并从特定空间合并候选块导出时间合并候选的参考画面索引的方法。
图11(a)示出了其中将一个编码块划分为具有nx2n形式的两个预测块的情况。
第一预测块1100和第二预测块1120能共享空间合并候选块a0、a1、b0、b1和b2。即，在第一预测块1100和第二预测块1120中执行使用合并模式的帧间预测所使用的空间合并候选块a0、a1、b0、b1和b2可以是编码块外部的块。
用于第一预测块1100的时间合并的参考画面索引可被设置为b1块1105的参考画面索引值。即，预测块的特定位置处的空间合并候选块的固定参考画面索引可取决于分区形式而被设置为用于当前块的时间合并的参考画面索引值。
如果b1块1125不可用，则参考画面索引值可被设置为“0”并使用。
与第二预测块1120类似，a1块1125的参考画面索引值可被用作用于时间合并的参考画面索引。如果b1块1105不可用，则参考画面索引值可被设置为“0”并使用。
图11(b)示出了其中将一个编码块划分为具有2nxn形式的两个预测块的情况。
第一预测块1150和第二预测块1170能共享空间合并候选块a0、a1、b0、b1和b2。即，在第一预测块1150和第二预测块1170中执行使用合并模式的帧间预测的空间合并候选块可以是编码块外部的块。
用于第一预测块1150的时间合并的参考画面索引可被设置为a1块1155的参考画面索引值。即，预测块的特定位置处的空间合并候选块的参考画面索引可取决于分区形式而被设置为用于当前块的时间合并的参考画面索引值。
如果b1块1175不可用，则参考画面索引值可被设置为“0”并使用。
与第二预测块1170类似，b1块1175的参考画面索引值可被用作用于时间合并的参考画面索引。如果b1块1175不可用，则参考画面索引值可被设置为“0”并使用。
图12是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图12的实施例公开了预先确定为了导出时间合并候选的参考画面索引而由目标预测块参考的特定空间合并候选块、并从特定空间合并候选块导出时间合并候选的参考画面索引的方法。
参考图12，取决于从一个编码块划分的预测块的形式，能使用不同空间合并候选块，来导出时间合并候选的参考画面索引。
例如，在预测块中，可使用空间合并候选块之中的a1块和b1块之一作为用于导出时间合并候选的参考画面索引的块。在这两个空间合并候选块之中，不使用编码块内部的空间合并候选块来导出时间合并候选的参考画面索引，而可以使用编码块外部的空间合并候选块来导出时间合并候选的参考画面索引。
尽管为了便于描述而图示了示出其中将编码块划分为具有nx2n形式的预测块的情况的图12(a)和示出其中将编码块划分为具有2nxn形式的预测块的情况的图12(b)，但是相同方法可应用到按照各种形式划分的编码块。
图12(a)示出了其中将编码块划分为具有nx2n形式的预测块的情况。
如果将一个编码块划分为具有nx2n形式的预测块，则两个空间合并候选块(例如，a1块1200和b1块1220)之中的b1块1220(即，位于编码块外部并且处于已对其执行编码或解码的位置处的空间合并候选)的参考画面索引可以被设置为用于第二预测块1210的时间合并候选的参考画面索引。
图12(b)示出了其中将编码块划分为具有2nxn尺寸的预测块的情况。
如果将一个编码块划分为具有2nxn形式的预测块，则两个空间合并候选块(例如，a1块1240和b1块1260)之中的a1块1240(即，编码块外部的空间合并候选)的参考画面索引可以被设置为用于第二预测块1250的时间合并候选的参考画面索引。
图13是图示了根据本发明实施例的用于导出时间合并候选的参考画面索引的方法的概念图。
图13的实施例公开了这样的方法，如果预测块的一些空间合并候选的位置在编码块内或者位于还没有对其执行编码的位置处，则将对应预测块的空间合并候选块的位置固定为编码块外部的位置，并使用固定的位置。
图13(a)示出了其中将编码块划分为具有nx2n形式的两个预测块的情况。
第一预测块1300能基于第一预测块1300来确定空间合并候选块1305、1310、1315、1320和1325。相反，第二预测块1330能将空间合并候选块固定为位于编码块外部的位置处的块1335、1340、1345、1350和1355，并使用固定的空间合并候选块。即，空间合并候选块1335、1340、1345、1350和1355能基于编码块导出，并且导出的空间合并候选块1335、1340、1345、1350和1355能在用于第二预测块1330的使用合并模式的帧间预测中使用。
图13(b)示出了其中将一个编码块划分为具有2nxn形式的两个预测块的情况。
类似地，在图13(b)中，第一预测块能使用基于预测块导出的空间合并候选块。相反，能基于编码块来导出第二预测块1360的空间合并候选块1365、1370、1375、1380和1385。
图14是图示了根据本发明实施例的用于在合并候选列表中包括时间合并候选的方法的流程图。
图14的实施例公开了通过使用由导出时间合并候选的参考画面索引的上述方法所计算的索引值来导出时间合并候选的参考画面索引、并在合并候选列表中包括该时间合并候选的处理。
参考图14，在步骤s1400导出时间合并候选的参考画面索引。
时间合并候选的参考画面索引表示上述为了执行使用合并模式的帧间预测而由当前块(即，目标预测块)参考的画面的参考画面索引。时间合并候选的参考画面索引能与预测块相关地通过导出时间合并候选的参考画面索引的几种方法来并行导出。例如，时间合并候选的参考画面索引能通过几种方法导出，例如1)总是将空间合并候选块的空间位置放置为在编码块外部参考的方法，2)如果空间合并候选块的空间位置在编码块内部，则用“0”替换从要参考的空间合并候选块导出的参考画面索引值的方法，和3)无条件地将时间合并候选的参考画面索引固定为“0”的方法。
在步骤s1410导出时间合并候选。
如上所述，时间合并候选可以是从预测块(例如，第一时间合并候选块)导出的与运动预测相关的信息(例如，predflag或mvlxcol)，所述预测块基于包括预测块的画面内的像素的位置(xp,yp)、而包括位于当前块的并置画面中的位置(xp+npbw,yp+npbh)处的像素。如果包括并置画面中的位置(xp+npbw,yp+npbh)处的像素的预测块不可用或者是通过帧内预测方法预测的块，则能从包括位置(xp+(npbw>>1),yp+(npbh>>1))处的像素的预测块(例如，第二时间合并候选块)导出与运动预测相关的信息(例如，时间合并候选)。
最终，用来导出与运动预测相关的信息的最终时间合并候选块(即，并置块)可以是已经基于第一时间合并候选块和第二时间合并候选块的位置而部分移动的位置处的块。例如，如果在存储器中存储关于一些块的仅几条与运动预测相关的信息，则在基于第一时间合并候选块和第二时间合并候选块的位置而部分移动的位置处存在的时间合并候选块能被确定为用于导出时间合并候选(即，与运动预测相关的信息)的最终并置块。
在导出时间合并候选时，能取决于当前块是使用单一合并候选列表的块还是不使用单一合并候选列表的块，来导出不同时间合并候选。如果当前块是使用单一合并候选列表的块，则编码块中包括的多个预测块能使用从一个时间合并候选块导出的时间合并候选。如果当前块是不使用单一合并候选列表的块，则能生成编码块中包括的多个预测块的合并候选列表，并能单独执行使用合并模式的帧间预测。即，在该情况下，能通过使用从每一预测块的时间合并候选块导出的时间合并候选，来执行帧间预测。下面描述其中通过使用单一合并候选列表来执行帧间预测的示例。
图15是图示了根据本发明实施例的用于通过在多个预测块中共享全部空间合并候选和时间合并候选而生成单一合并候选列表的方法的概念图。
图15的实施例公开了从一个编码块划分的多个预测块通过共享基于编码块确定的所有空间合并候选和时间合并候选、而生成单一合并候选列表的方法。
参考图15，第一预测块1500和第二预测块1550能从相同空间合并候选块导出空间合并候选，并共享导出的空间合并候选。用于第一预测块1500和第二预测块1550的空间合并候选块是基于编码块确定的块，并且a0块1505、a1块1510、b0块1515、b1块1520和b2块1525能被用作空间合并候选块。
每一空间合并候选块的位置可以是包括基于编码块的左上位置(xc,yc)和ncs(即，编码块的尺寸)而在图中示出的像素的位置。
a0块1505可以是包括位置(xc-1,yc+ncs)处的像素的块，a1块1510可以是包括位置(xc-1,yc+ncs-1)处的像素的块，b0块1515可以是包括位置(xc+ncs,yc-1)处的像素的块，b1块1520可以是包括位置(xc+ncs-1,yc-1)处的像素的块，而b2块1525可以是包括位置(xc-1,yc-1)处的像素的块。
此外，第一预测块1500和第二预测块1550可共享时间合并候选。用于导出第一预测块1500和第二预测块1550所共享的时间合并候选的时间合并候选块1560和1570可以是基于编码块的左上位置(xc,yc)和编码块的尺寸ncs导出的位置处的块。
时间合并候选的参考画面索引可通过上述方法导出。
例如，时间合并候选块1560和1570可以包括预测块1560，预测块1560能基于包括预测块的画面内的像素位置(xc,yc)，而包括当前预测块的并置画面中的位置(xc+ncs,yc+ncs)处的像素，或者如果包括位置(xc+ncs,yc+ncs)处的像素的预测块不可用，则可以是包括位置(xc+(ncs>>1),yc+(ncs>>1))处的像素的预测块1570。
如果不共享时间合并候选，则能导出第一预测块1500和第二预测块1550的每一时间合并候选。
如果使用导出单一合并候选列表的方法，则能通过对每一预测块执行的并行合并处理来执行帧间预测，并且不需要单独导出每一预测块的合并候选列表。因此，通过使用根据本发明实施例的单一合并候选列表，能在诸如需要大量数据处理的超高清晰度电视(uhdtv)的设备中改善图像处理速度。
图15仅公开了其每一个按照nx2n形式划分的第一nx2n预测块1500和第二nx2n预测块1550，但是该方法也能被应用到按照各种形式划分的预测块，诸如具有不同分区形式(例如，2nxn、2nxnu、2nxnd、nlx2n、nrx2n和nxn)的块。
此外，在该方法中，能取决于块的尺寸或分区深度，来不同地确定是否应用单一合并候选列表。例如，能基于关于能对其并行执行合并处理的编码块的尺寸和块的尺寸的多条信息，来导出关于是否能在特定块中使用单一合并候选列表的信息。例如，关于是否能在特定块中使用单一合并候选列表的信息可用标记信息表示。指示是否能在特定块中使用单一合并候选列表的标记可被定义为singlemclflag(即，单一合并候选列表标记)。例如，如果单一合并候选列表标记singlemclflag为0，则其能指示块不使用单一合并候选列表。如果单一合并候选列表标记singlemclflag为1，则其能指示块使用单一合并候选列表。用于预测块的空间合并候选能基于以单一合并候选列表标记singlemclflag的值为基础的编码块来导出。
例如，能对其并行执行合并处理的块的尺寸能导出标记信息，该标记信息指示基于指示大于4x4尺寸的值的信息以及指示当前块的尺寸为8x8的信息、从8x8编码块划分的预测块使用单一合并候选列表。能使用导出的标记来基于编码块导出预测块的空间合并候选和时间合并候选。
返回参考图14，能基于在步骤s1410为了导出时间合并候选而导出的关于时间合并候选的参考画面索引的信息，来导出关于时间合并候选的可用性信息和时间运动向量。
时间合并候选的可用性信息可被用作指示是否能基于时间合并候选块来导出时间合并候选的信息。如果时间合并候选可用，则可导出时间运动向量。
返回参考图4，时间运动向量mvlxcol能基于以包括时间合并候选的画面430的索引和并置画面410所参考的参考画面440的索引为基础而导出的两个画面之间的距离、以及基于包括当前块400的并置画面410的索引和时间合并候选的参考画面的索引(即，帧间预测中当前块400所参考的参考画面460的索引)而导出的画面之间的距离，而被缩放并导出。
如果时间合并候选可用，则时间合并候选在步骤s1420被包括在合并候选列表中。
当配置合并候选列表时，如果基于步骤s1410导出的时间合并候选的可用性信息、该时间合并候选可用，则对应块能被包括在合并候选列表中。
图16公开了其中仅当块的尺寸等于或小于特定尺寸时、相同编码块中的预测块共享空间合并候选和时间合并候选的方法。
图16是图示了根据本发明实施例的用于生成单一候选列表的方法的概念图。
图16的实施例公开了其中当在使用合并模式的帧间预测中编码块的尺寸等于或小于特定尺寸时、相同编码块中的预测块共享空间合并候选和时间合并候选的方法。
能使用几条信息，以使用仅在满足特定条件的块中共享单一合并候选列表的方法。例如，能基于关于能对其执行并行合并处理的块的尺寸的信息和关于当前编码块的尺寸的信息，来导出关于当前块是否使用单一合并候选列表的信息。能基于以导出的几条信息为基础满足特定条件的编码块，来导出用于特定块的空间合并候选和时间合并候选。
参考图16(a)，仅当满足能对其执行并行合并处理的块的尺寸为8x8或更大并且编码块的尺寸为8x8的条件时，例如，从该编码块划分的预测块能共享单一合并候选列表。
假设第一编码块cu01600具有尺寸32x32，第二编码块cu11610具有尺寸16x16，第三编码块cu21620具有尺寸32x32，第四编码块cu31630具有尺寸16x16，以及第五编码块cu41640具有尺寸8x8。
图16(b)是仅示出了用于一些编码块的空间合并候选块的概念图。
参考图16(b)，第二编码块1610能被划分为具有nlx2n形式的两个预测块1615和1618，而第五编码块1640能被划分为具有nx2n形式的两个预测块1645和1650。在图16(b)中，假设生成仅用于具有8x8尺寸的编码块1640的单一合并候选列表。
第二编码块1610的第一预测块1615和第二预测块1618中的每一个能导出用于每一预测块的空间合并候选，并基于导出的空间合并候选生成用于每一预测块的合并候选列表。
第五编码块1640的尺寸是8x8，并且第五编码块1640能满足能对其执行并行合并处理的块的尺寸的条件和当前编码块的尺寸的条件。在该情况下，第五编码块1640中包括的第三预测块1645和第四预测块1650能基于以编码块的位置和尺寸为基础导出的空间合并候选和时间合并候选，来生成单一合并候选列表。因此，能将时间合并候选的参考画面索引导出为一个值。
能通过前述方法来导出时间合并候选的参考画面索引。
能在参考图1和2描述的图像编码器和图像解码器的元件中实现上述图像编码和图像解码方法。
尽管已描述了本发明，但是本领域技术人员将理解，可按照各种方式来修改和改变本发明，而不脱离以下权利要求中书写的本发明的精神和范围。