图像编码装置、图像编码方法以及记录介质与流程

本申请是基于申请号为201280028619.2、申请日为2012年6月13日、申请人为jvc建伍株式会社、发明名称为“图像编码装置、图像编码方法及图像编码程序、图像解码装置、图像解码方法及图像解码程序”的发明提出的分案申请。

本发明涉及图像编码及解码技术，特别涉及画面内编码及解码技术。

背景技术：

在作为动图像编码的国际标准的mpeg-4avc中，作为在一个画面内完成处理的画面内编码的方式，采样了被称作帧内预测的方式。帧内预测是通过沿所指定的预测方向复制与成为处理对象的块相邻的已解码采样值来生成处理对象块的预测图像的方式。在mpeg-4avc中，定义了图1的(a)、(b)所示的9种预测方向，采用通过在各块中传送表示预测方向的帧内预测模式的模式编号，来指定适当的预测方向的构成。

通过扩展预测方向的定义数能提高预测图像质量。图2的(a)的标号201表示了17种预测方向的定义例子，图2的(b)的标号202表示了34种预测方向的定义例子。然而，预测方向的定义数的增加将导致帧内预测模式的传送信息量的增加。随着预测方向的定义数增加，全部产生码量中的帧内预测模式所占的比例会增加，故需要一种高效的传送方法。

专利文献1中记载了通过减少要传送的画面内预测模式的总数来削减画面内预测模式的码量的方法。在专利文献1的方法中，将多个块的画面内预测模式扫描预定的统合单位量，若统合单位内的所有画面内预测模式相同，则按统合单位传送一个画面内预测模式，由此来减少要传送的画面内预测模式。

〔在先技术文献〕

〔专利文献〕

〔专利文献1〕日本特开2009-246975号公报

技术实现要素：

〔发明所要解决的课题〕

一般在帧内预测中，是以假定如下情况的帧内预测模式的发生概率模型为前提对帧内预测模式进行编码的，即，假定在编码对象块中也选择与相邻于图像的编码对象块的块的帧内预测模式相同的帧内预测模式的可能性较高。作为目前所采用的方法的一个例子，有简易地设定上述发生概率模型的方法，但并未成为充分反映了现实的帧内预测模式的发生概率的方法，难以高效地对帧内预测模式进行编码。在各块中自适应地设定最佳发生概率模型的方法能够进行帧内预测模式的高效的编码，但会导致帧内预测处理的复杂化。

专利文献1的方法并非能够设定适当的概率模型的方案，故上述课题依然没有解决。

本发明是鉴于这样的状况而研发的，其目的在于提供一种能抑制帧内预测处理的复杂化，并进一步提高编码效率的图像编码及解码技术。

〔用于解决课题的手段〕

为解决上述课题，本发明一个方案的图像编码装置是一种利用按块单位从多个画面内预测模式中选择的画面内预测模式对图像信号进行编码，并对确定该所选择的画面内预测模式的信息进行编码的图像编码装置，其特征在于，包括：画面内预测模式选择部(509)，选择编码对象块的画面内预测模式；画面内预测模式存储部(601)，存储已编码块的画面内预测模式；优先预测模式列表生成部(602)，从上述画面内预测模式存储部取得用于上述编码对象块的画面内预测处理的多个参照块的画面内预测模式，并基于该取得的画面内预测模式，生成成为上述编码对象块的画面内预测模式的候选的优先预测模式的列表；优先预测模式判定标志计算部(603)，算出表示上述编码对象块的画面内预测模式是否为优先预测模式的信息；优先预测模式索引导出部(605)，在上述编码对象块的画面内预测模式为优先预测模式时，按照上述列表导出确定该优先预测模式的信息；非优先预测模式索引导出部(607)，在上述编码对象块的画面内预测模式为非优先预测模式时，基于上述列表导出确定该非优先预测模式的信息；以及编码部(604、606、608)，在上述编码对象块的画面内预测模式为优先预测模式时，将确定该优先预测模式的信息与表示上述编码对象块的画面内预测模式是否为优先预测模式的信息一起编码，在上述编码对象块的画面内预测模式为非优先预测模式时，将确定该非优先预测模式的信息与表示上述编码对象块的画面内预测模式是否为优先预测模式的信息一起编码。上述优先预测模式列表生成部(602)生成与多个上述参照块的不同的画面内预测模式的数量无关、任一编码对象块都具有预定数量的要素的上述列表。

本发明的另一方案是一种图像编码方法。该方法是利用按块单位从多个画面内预测模式中选择的画面内预测模式对图像信号进行编码，并对确定该所选择的画面内预测模式的信息进行编码的图像编码方法，其特征在于，包括：画面内预测模式选择步骤，选择编码对象块的画面内预测模式；优先预测模式列表生成步骤，参照存储已编码块的画面内预测模式的存储器，取得用于上述编码对象块的画面内预测处理的多个参照块的画面内预测模式，并基于该取得的画面内预测模式，生成成为上述编码对象块的画面内预测模式的候选的优先预测模式的列表；优先预测模式判定标志计算步骤，算出表示上述编码对象块的画面内预测模式是否为优先预测模式的信息；优先预测模式索引导出步骤，在上述编码对象块的画面内预测模式为优先预测模式时，按照上述列表导出确定该优先预测模式的信息；非优先预测模式索引导出步骤，在上述编码对象块的画面内预测模式为非优先预测模式时，基于上述列表导出确定该非优先预测模式的信息；以及编码步骤，在上述编码对象块的画面内预测模式为优先预测模式时，将确定该优先预测模式的信息与表示上述编码对象块的画面内预测模式是否为优先预测模式的信息一起编码，在上述编码对象块的画面内预测模式为非优先预测模式时，将确定该非优先预测模式的信息与表示上述编码对象块的画面内预测模式是否为优先预测模式的信息一起编码。上述优先预测模式列表生成步骤生成与多个上述参照块的不同的画面内预测模式的数量无关、任一编码对象块都具有预定数量的要素的上述列表。

本发明一个方案的图像解码装置是从编码流中按块单位解码确定画面内预测模式的信息，并使用所解码出的确定画面内预测模式的信息来解码图像信号的图像解码装置，其特征在于，包括：画面内预测模式存储部，存储已解码块的画面内预测模式；优先预测模式列表生成部，从上述画面内预测模式存储部取得用于解码对象块的画面内预测处理的多个参照块的画面内预测模式，并基于该取得的画面内预测模式生成成为上述解码对象块的画面内预测模式的候选的优先预测模式的列表；解码部，在上述解码对象块的画面内预测模式为优先预测模式时，将该确定优先预测模式的信息与表示上述解码对象块的画面内预测模式是否为优先预测模式的信息一起解码，在上述解码对象块的画面内预测模式为非优先预测模式时，将该确定非优先预测模式的信息与表示上述解码对象块的画面内预测模式是否为优先预测模式的信息一起解码；优先预测模式导出部，基于上述表示画面内预测模式是否为优先预测模式的信息，在将上述解码对象块的画面内预测模式判定为优先预测模式时，按照上述列表，从所解码出的上述确定优先预测模式的信息，导出优先预测模式；以及非优先预测模式导出部，基于上述表示画面内预测模式是否为优先预测模式的信息，在将上述解码对象块的画面内预测模式判定为非优先预测模式时，基于上述列表，从所解码出的上述确定非优先预测模式的信息，导出非优先预测模式。上述优先预测模式列表生成部生成与多个上述参照块的不同的画面内预测模式的数量无关、任一解码对象块都具有预定数量的要素的上述列表。

本发明的另一方案是图像解码方法。该方法是从编码流中按块单位解码确定画面内预测模式的信息，并使用所解码出的确定画面内预测模式的信息来解码图像信号的图像解码方法，其特征在于，包括：优先预测模式列表生成步骤，参照存储已解码块的画面内预测模式的存储器，取得用于解码对象块的画面内预测处理的多个参照块的画面内预测模式，并基于该取得的画面内预测模式生成成为上述解码对象块的画面内预测模式的候选的优先预测模式的列表；解码步骤，在上述解码对象块的画面内预测模式为优先预测模式时，将该确定优先预测模式的信息与表示上述解码对象块的画面内预测模式是否为优先预测模式的信息一起解码，在上述解码对象块的画面内预测模式为非优先预测模式时，将该确定非优先预测模式的信息与表示上述解码对象块的画面内预测模式是否为优先预测模式的信息一起解码；优先预测模式导出步骤，基于上述表示画面内预测模式是否为优先预测模式的信息，在将上述解码对象块的画面内预测模式判定为优先预测模式时，按照上述列表，从所解码出的上述确定优先预测模式的信息，导出优先预测模式；以及非优先预测模式导出步骤，基于上述表示画面内预测模式是否为优先预测模式的信息，在将上述解码对象块的画面内预测模式判定为非优先预测模式时，基于上述列表，从所解码出的上述确定非优先预测模式的信息，导出非优先预测模式。上述优先预测模式列表生成步骤生成与多个上述参照块的不同的画面内预测模式的数量无关、任一解码对象块都具有预定数量的要素的上述列表。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的方案，作为本发明的实施方式也是有效的。

〔发明效果〕

通过本发明，能抑制帧内预测处理的复杂化，并提高编码效率。

附图说明

图1是说明9模式(pattem)的帧内预测模式的预测方向的图。

图2是说明17模式、34模式及18模式的帧内预测模式的预测方向的图。

图3是说明用于编码帧内预测模式的编码树的图。

图4是说明用于按照图3的编码树传送帧内预测模式的编码句法的图。

图5是表示用于执行实施方式的帧内预测模式的编码方法的图像编码装置的构成的功能块图。

图6是表示图5的帧内预测模式编码部的第1实施例的详细构成的功能块图。

图7是说明图6的帧内预测模式编码部所进行的帧内预测模式编码步骤的流程图。

图8是表示用于执行实施方式的帧内预测模式的解码方法的图像解码装置的构成的功能块图。

图9是表示图8的帧内预测模式解码部的第1实施例的详细构成的功能块图。

图10是说明图9的帧内预测模式解码部所进行的帧内预测模式解码步骤的流程图。

图11是说明第1实施例中的算出优先预测模式列表的步骤的流程图。

图12是说明第1实施例中的算出优先预测模式判定标志、优先预测模式索引的步骤的流程图。

图13是说明第1实施例中的算出非优先预测模式索引的步骤的流程图。

图14是说明第1实施例中的对非优先预测模式索引进行编码的步骤的流程图。

图15是说明第1实施例中的解码非优先预测模式索引的步骤的流程图。

图16是说明第1实施例中的算出对象预测模式的步骤的流程图。

图17是说明第2实施例的帧内预测模式编码部的动作的流程图。

图18是说明图像的块结构和参照块的图。

图19是说明第2实施例中的算出优先预测模式列表的步骤的流程图。

图20是说明第2实施例中的编码非优先预测模式索引的处理的流程图。

图21是说明第2实施例的帧内预测模式解码部的动作的流程图。

图22是说明第2实施例中的解码非优先预测模式索引的步骤的流程图。

图23是说明与第1实施例的编码装置/解码装置对应的帧内预测模式的编码句法的图。

图24是说明与第2实施例的编码装置/解码装置对应的帧内预测模式的编码句法的图。

图25是说明第3实施例中的算出优先预测模式列表的步骤的流程图。

图26是表示第3实施例中的优先预测模式列表的计算中所使用的参照表的例子的图。

具体实施方式

首先，说明本发明实施方式的前提技术。

在以下的说明中，所谓“处理对象块”，对于图像编码装置的编码处理，是指编码对象块，对于图像解码装置的解码处理，是指解码对象块。所谓“已处理块”，对于图像编码装置的编码处理，是指已编码的被解码后的块，对于图像解码装置的解码处理，是指已解码的块。以下，在没有特别说明的情况下，按该意思来使用。

[编码树]

图3是说明用于对图1的9模式的帧内预测模式进行编码的编码树的图。mpeg-4avc中的帧内预测模式的传送方法遵循图3的(a)的标号301所示的编码树。图中、内部节点(圆形)分配码，叶(四角形)分配帧内预测的模式编号。叶中的标号302是优先预测模式。关于优先预测模式，将在后面说明。例如，对优先预测模式分配了“1”，对模式7分配了码“0111”。

图4是说明用于按照图3的编码树传送帧内预测模式的编码句法的图。图4的(a)、(b)所示的prev_intra_pred_flag是用于确定是否为优先预测模式的句法要素，rem_intra_pred_mode是表示模式编号的句法要素。在解码时，首先从编码序列中读出1比特的prev_intra_pred_flag，在prev_intra_pred_flag为1时，将帧内预测模式设定为优先预测模式，并移向下一句法。在非为1时，进一步读出3比特的prev_intra_pred_flag，将帧内预测模式设定为rem_intra_pred_mode所示的预测模式。

为对图2的(a)所示的17模式的帧内预测模式进行编码，可以按照图3的(b)的标号303所示的编码树，采用同样的传送方法。

[优先预测模式]

为决定优先预测模式，参照与处理对象块相邻的已处理相邻块。将已处理相邻块定为处理对象块的左侧相邻、且位于最上侧的块(称作“参照块a”)、和处理对象块的上侧相邻、且位于最左侧的块(称作“参照块b”)。

使用图18说明已处理相邻参照块的例子。相对于图中的处理对象块1801、空间上位于上侧或/和左侧的块(标号1802～1811)全部已处理，其它的块(标号1812～1815)为未处理。处理对象块1801的左侧相邻的块是块1807和块1809这两个，但将其中位于上侧的块1807定为参照块a。此外，处理对象块1801的上侧相邻的块仅有块1803，将该块1803定为参照块b。

将参照块a、参照块b的帧内预测模式编号分别记为modeidxa、modeidxb时，用下式表示处理对象块的优先预测模式的索引mpmidx。

mpmidx＝min(modeidxa，modeidxb)

即，优先预测模式与参照块的帧内预测模式的某一者一致。

[优先预测模式与编码树的关系]

图3的编码树是对优先预测模式分配1比特的码，对其它模式都同样地分配1+3＝4比特的码，并遵循以下概率模型。

p(mpm)≥0.5，mpm表示优先模式。

p(m)＝0.0625＝(1-p(mpm))/8，m≠mpm

采用这样的传送方法的优点在于，通过使处理对象预测模式与优先预测模式相等或对预测模式分配较短的码语言，能平均地削减帧内预测模式的码量。

然而，实际的优先预测模式的发生概率为平均p(mpm)＝0.2程度，图3的编码树未必遵循现实的帧内预测模式的发生分布，上述方法不能说是用于提高编码效率的最佳方法。

若仅着眼于提高编码效率，例如根据已处理块的预测模式分布自适应地切换编码树的方法是有效的，但这样的方法会需要各块中的条件判断、处理分支，导致电路规模的增大、处理的复杂化。

在本实施方式中，在抑制电路规模的增大及处理的复杂化的基础上提高编码效率。

[编码装置]

参照附图说明实施本发明的优选的图像编码装置。图5是表示实施方式的图像编码装置的构成的功能块图。实施方式的图像编码装置包括减法部501、正交变换.量化部502、逆量化.逆变换部503、加法部504、解码图像存储器505、帧内预测部506、纹理信息编码部507、帧内预测模式编码部508、帧内预测模式选择部509。本发明的实施方式是针对画面内预测的，故对于与画面间预测相关联的构成要素未进行图示，并省略说明。

帧内预测模式选择部509针对图像的每个块选择最佳的帧内预测模式，并将所选择的帧内预测模式提供给帧内预测部506和帧内预测模式编码部508。

帧内预测模式编码部508对所输入的帧内预测模式进行可变长度编码，输出帧内预测模式比特流。对于帧内预测模式编码部508的详细构成和动作，将在后面说明。

帧内预测部506使用所输入的帧内预测模式和存储在解码图像存储器505中的相邻块的已解码图像来生成帧内预测图像，将生成的帧内预测图像提供给减法部501。

减法部501通过从编码对象的原图像减去帧内预测图像来生成差分图像，将生成的差分信号提供给正交变换.量化部502。

正交变换.量化部502对差分图像进行正交变换.量化后生成纹理信息，将生成的纹理信息提供给逆量化.逆变换部503和纹理信息编码部507。

纹理信息编码部507对纹理信息进行熵编码，输出纹理信息比特流。

逆量化.逆变换部503对从正交变换.量化部502收到的纹理信息进行逆量化.逆正交变换，生成解码差分信号，将生成的解码差分信号提供给加法部504。

加法部504将帧内预测图像和解码差分信号相加，生成解码图像，将生成的解码图像保存在解码图像存储器505中。

[解码装置]

参照附图说明实施本发明的优选的图像解码装置。图8是表示实施方式的动图像解码装置的构成的功能块图。实施方式的图像解码装置包括纹理信息解码部801、逆量化.逆变换部802、帧内预测模式解码部803、加法部804、解码图像存储器805、帧内预测部806。本发明的实施方式是针对画面内预测的，故与画面间预测相关联的构成要素未图示，省略说明。

图8的图像解码装置的解码处理是与图5的图像编码装置内部所设的解码处理相对应的，故图8的逆量化.逆变换部802、加法部804、解码图像存储器805、及帧内预测部806的各构成分别具有与图5的图像编码装置的逆量化.逆变换部503、加法部504、解码图像存储器505、及帧内预测部506的各构成相对应的功能。

帧内预测模式解码部803对所输入的帧内预测模式比特流进行熵解码，生成帧内预测模式，并将所生成的帧内预测模式提供给帧内预测部806。帧内预测模式解码部803的详细构成和动作将在后面叙述。

帧内预测部806使用所输入的帧内预测模式和存储在解码图像存储器805中的相邻块的已解码图像，生成帧内预测图像，并将生成的帧内预测图像提供给加法部804。

纹理信息解码部801对纹理信息进行熵解码，生成纹理信息。将生成的纹理信息提供给逆量化.逆变换部802。

逆量化.逆变换部802对从纹理信息解码部801收到的纹理信息进行逆量化.逆正交变换，生成解码差分信号，将生成的解码差分信号提供给加法部804。

加法部804将帧内预测图像和解码差分信号相加，生成解码图像，并将生成的解码图像保存在解码图像存储器805中，进行输出。

本发明实施方式的帧内预测模式编码及解码处理是在图5的动图像编码装置的帧内预测模式编码部508及图8的动图像解码装置的帧内预测模式解码部803中被实施的。以下说明实施方式的帧内预测模式编码及解码处理的详细情况。

[编码块]

在实施方式中，如图18所示，按矩形块阶层地分割画面，并对各块进行预定处理顺序的逐次处理。将分割的各块称为编码块。图18的块1817在实施方式中是分割的最大单位，将其称作最大编码块。图18的块1816在实施方式中是分割的最小单位，将其称作最小编码块。以下以最小编码块为4×4像素、最大编码块为16×16像素进行说明。

[预测块]

将编码块中进行帧内预测的单位称作预测块。预测块具有最小编码块以上、最大编码块以下的任意大小。在图18中，块1802、1803及1804为16×16块，块1805、1810、1811及1801为8×8块，块1806、1807、1808、1809为4×4块。块1812、1813、1814、1815是未处理块，编码块尺寸未确定。在编码步骤中，决定最佳的预测块尺寸，并传送预测块尺寸。在解码步骤中从比特流取得预测块尺寸。以下以预测块为处理单位进行说明。

[参照块和参照帧内预测模式]

参照块是作为处理对象块的左侧相邻且位于最上侧的块的块a、和作为处理对象块的上侧相邻且位于最左侧的块的块b。将块a的预测模式记作refmodea、将块b的预测模式记作refmodeb。将各参照块的帧内预测模式称作“参照帧内预测模式”。将不存在参照块时的参照帧内预测模式设定为直流预测模式(也称作“平均值模式”)。

(第1实施例)

[预测块尺寸和帧内预测模式]

根据预测块的尺寸来切换帧内预测模式的构成。对于4×4块，定义图2的(a)的标号201所示的17模式的帧内预测模式，对于8×8块和16×16块，定义图2的(b)的标号202所示的34模式的帧内预测模式。

[编码步骤]

说明本发明实施方式的帧内预测模式的编码方法的第1实施例。图6是图5的帧内预测模式编码部508的第1实施例的详细构成的功能块图。第1实施例的帧内预测模式编码部508包括帧内预测模式存储器601、优先预测模式列表生成部602、优先预测模式判定标志计算部603、优先预测模式判定标志编码部604、优先预测模式索引计算部605、优先预测模式索引编码部606、非优先预测模式索引计算部607、非优先预测模式索引编码部608、以及优先预测模式判定部609。以下、参照图7的流程图说明帧内预测模式的编码步骤。

优先预测模式列表生成部602从帧内预测模式存储器601取得相邻块的帧内预测模式refmodea和refmodeb，生成优先预测模式列表mpmlist，并决定优先预测模式列表尺寸mpmlistsize(步骤s701)。对于优先预测模式列表生成步骤的详细情况，将在后面说明。此外，将对象帧内预测模式存储在帧内预测模式存储器601中。在本实施例中，优先预测模式列表尺寸mpmlistsize被设定为1或2的一者，在参照模式refmodea与refmodeb相等时，mpmlistsize成为1，在参照模式refmodea与refmodeb不同时，mpmlistsize成为2。

优先预测模式判定标志计算部603取得对象预测模式和优先预测模式列表mpmlist，算出优先预测模式判定标志mpmflag。此外，优先预测模式索引计算部605算出优先预测模式索引mpmindex(步骤s702)，优先预测模式判定标志编码部604对优先预测模式判定标志mpmflag进行编码(步骤s703)。优先预测模式判定标志、优先预测模式索引计算步骤的详细情况将在后面叙述。

优先预测模式判定部609判定优先预测模式判定标志mpmflag(步骤s704)。

在优先预测模式判定标志mpmflag为true时，优先预测模式索引编码部606判定优先预测模式索引mpmindex(步骤s705)，在mpmlistsize＝1时，优先预测模式索引mpmindex总为0，故不进行mpmindex的编码，结束处理。若mpmlistsize＝2，则对优先预测模式索引mpmindex进行编码(步骤s706)，结束处理。

若优先预测模式判定标志mpmflag为false，则非优先预测模式索引计算部607算出非优先预测模式索引remmodeindex(步骤s707)，非优先预测模式索引编码部608对算出的非优先预测模式remmodeindex进行编码(步骤s708)。非优先预测模式索引计算步骤及非优先预测模式编码步骤的详细情况将在后面说明。

[优先预测模式列表生成步骤]

参照图11的流程图说明图7的步骤s701的优先预测模式列表生成步骤的详细情况。

优先预测模式列表生成部602从帧内预测模式存储器601取得相邻块的帧内预测模式refmodea和refmodeb，并比较refmodea和refmodeb(步骤s1101)。

若refmodea与refmodeb相等，则设定mpmlist[0]＝refmodea(步骤s1102)，进而设定mpmlistsize＝1(步骤s1103)，进入图7的步骤s702。

若refmodea与refmodeb不同，则设定mpmlist[0]＝min(refmodea，refmodeb)，mpmlist[1]＝max(refmodea，refmodeb)(步骤s1104)，进而设定mpmlistsize＝2(步骤s1105)，进入图7的步骤s702。

[优先预测模式判定标志、优先预测模式索引计算步骤]

参照图12的流程图说明图7的步骤s702的优先预测模式判定标志和优先预测模式索引计算步骤的详细情况。

在本步骤中，通过升序扫描mpmlist来推进处理。优先预测模式判定标志计算部603及优先预测模式索引计算部605分别以false、0来初始化优先预测模式判定标志mpmflag和优先预测模式索引mpmindex。以0来初始化用于扫描mpmlist的变量i(步骤s1201)。

若变量i不足mpmlistsize(步骤s1202)、即尚未扫描完mpmlist的所有要素，则比较mpmlist[i]与currmodeindex(步骤s1203)。若mpmlist[i]与currmodeindex相等，则表示对象预测模式等于优先预测模式列表的第i个要素，分别将mpmflag设定为true、将mpmindex设定为i(步骤s1204)，进入图7的步骤s703。若mpmlist[i]与currmodeindex不同，则使i增1(步骤s1205)，继续进行扫描。

在步骤s1202中，当变量i在mpmlistsize以上时，即已扫描完mpmlist的所有要素时，结束优先预测模式判定标志、优先预测模式索引计算步骤，进入图7的步骤s703。此时表示对象预测模式未包含在优先预测模式列表中，不进行mpmflag和mpmindex的再设定。即，mpmflag＝false、mpmindex＝0。

[非优先预测模式索引计算步骤]

参照图13的流程图说明图7的步骤s707的非优先预测模式索引计算步骤的详细情况。

在本步骤中，通过按索引的降序扫描mpmlist来推进处理。非优先预测模式索引计算部607以对象预测模式currmodeindex来初始化非优先预测模式索引remmodeindex，并以mpmlistsize-1来初始化用于扫描mpmlist的变量i(步骤s1301)。

若变量i在0以上(步骤s1302)、即尚未扫描完mpmlist的所有要素，则比较remmodeindex和mpmlist[i](步骤s1303)。若remmodeindex比mpmlist[i]大，则使remmodeindex的值减1(步骤s1304)。使变量i的值减1(步骤s1305)，继续扫描。

在步骤s1302中，当变量i不足0时、即已扫描完mpmlist的所有要素时，结束非优先预测模式索引计算步骤，进入图7的步骤s708。

[非优先预测模式索引编码步骤]

参照图14的流程图说明图7的步骤s708的非优先预测模式索引编码步骤的详细情况。

非优先预测模式索引编码部608判定对象块尺寸(步骤s1401)。

在对象块为4×4块时，定义了17模式的帧内预测。在上述的非优先预测模式索引计算步骤中，若优先预测模式的数量为1，则remmodeindex被变换成[0，15]的任一值，若优先预测模式的数量为2，则remmodeindex被变换成[0，14]的任一值。不论在哪种情况下，用4比特都足以以固定长度来表现remmodeindex了，故对remmodeindex进行4比特的固定长度编码(步骤s1402)，结束处理。

在对象块为8×8块或16×16块时，定义了34模式的帧内预测。在上述的非优先预测模式索引计算步骤中，若优先预测模式的数量为1，则remmodeindex被变换成[0，32]的任一值，若优先预测模式的数量为2，则remmodeindex被变换成[0，31]的任一值。在优先预测模式的数量为1的情况下，为取得33模式的非优先预测模式索引，5比特的固定长度并不足够，故需要进行可变长度的编码。在remmodeindex不足31时(步骤s1403)，对remmodeindex进行5比特的固定长度编码(步骤s1404)，结束处理。当remmodeindex在31以上时(步骤s1405)，若remmodeindex为31，则对6比特序列“111110”进行编码(步骤s1406)，若remmodeindex为32，则对6比特序列“111111”进行编码(步骤s1407)，结束处理。

在本实施例中，对4×4块定义了图2的(a)的标号201的17模式。其理由是为简便地对4×4块的非优先预测模式索引进行编码/解码。标号201以按将180度16分割后的11.25(＝180/16)度单位表现预测方向为基础，但仅模式9与模式8之间产生25度的方向差，导致该方向的预测精度下降。除标号201外、考虑图2的(c)的标号203的定义18模式的情况。18模式的定义的优点在于，能将5度单位的预测方向全部表现出来，不会出现标号201那样的预测精度的下降。在该情况下，若优先预测模式的数量为1，则remmodeindex被变换成[0，16]的任一值，若优先预测模式的数量为2，则remmodeindex被变换成[0，15]的任一值。在优先预测模式的数量为1的情况下，能取到16模式的非优先预测模式索引，同本实施例的8×8块、16×16块的例子一样、需要进行可变长度编码，处理会变复杂。在对8×8块、16×16采取图2的(d)的标号204的定义33模式的构成的情况下，同4x4块的处理一样，能进行5比特的固定长度编码，但由于帧内预测模式的候选数减少，会发生编码效率的劣化。像这样，帧内预测模式的候选数和处理的复杂度呈相互制衡(trade-off)的关系，4×4块与8×8、16×16块相比，较小的角度差导致的预测精度质量的差较少，且4×4块的运算量的影响比8×8、16×16块要大，故对4×4块定义标号201的17模式，对8×8、16×16块定义标号202的34模式。

[解码步骤]

说明本发明实施方式的帧内预测模式的解码方法的第1实施例。图9是图8的帧内预测模式解码部803的第1实施例的详细构成的功能块图。第1实施例的帧内预测模式解码部803包括帧内预测模式存储器901、优先预测模式列表生成部902、优先预测模式判定标志解码部903、优先预测模式索引解码部904、优先预测模式计算部905、非优先预测模式索引解码部906、以及非优先预测模式计算部907。

图9的帧内预测模式解码部803中的帧内预测模式解码处理是与图6的帧内预测模式编码部508中的帧内预测模式编码处理相对应的，故图9的帧内预测模式存储器901、优先预测模式列表生成部902的各构成分别具有与图6的帧内预测模式存储器601、优先预测模式列表生成部602的各构成相同的功能。

以下也参照图10的流程图来说明帧内预测模式的解码步骤。

优先预测模式列表生成部902从帧内预测模式存储器901取得相邻块的帧内预测模式refmodea和refmodeb，生成优先预测模式列表mpmlist，并决定优先预测模式列表的尺寸mpmlistsize(步骤s1001)。优先预测模式列表生成步骤同图6的优先预测模式列表生成部602中的优先预测模式列表生成步骤一样，遵从图11的流程图所示的步骤，故省略详细说明。

优先预测模式判定标志解码部903从编码序列读入1比特，解码优先预测模式判定标志mpmflag(步骤s1002)，判定优先预测模式判定标志mpmflag的值(步骤s1003)。

若优先预测模式判定标志mpmflag为true，则优先预测模式索引解码部904判定优先预测模式的数量mpmlistsize(步骤s1004)。若mpmlistsize为1，则将优先预测模式索引mpmindex设定为0(步骤s1005)。若mpmlistsize为2，则从编码序列再读入1比特，解码优先预测模式索引mpmindex(步骤s1006)。进而，优先预测模式计算部905将优先预测模式列表mpmlist的第mpmindex个要素mpmlist[mpmindex]作为对象预测模式currmodeindex(步骤s1007)，结束处理。

若优先预测模式判定标志mpmflag为false，则非优先预测模式索引解码部906解码非优先预测模式索引remmodeindex(步骤s1008)，非优先预测模式计算部907基于算出的remmodeindex算出对象预测模式currmodeindex(步骤s1009)。将对象预测模式currmodeindex保存在帧内预测模式存储器901中，结束处理。对于非优先预测模式索引的解码步骤和对象预测模式计算步骤，将在后面说明。

[非优先预测模式索引解码步骤]

参照图15的流程图说明图10的步骤s1008的非优先预测模式索引解码步骤的详细情况。

非优先预测模式索引解码部906判定对象块尺寸(步骤s1501)。

在对象块为4×4块时，进行4比特的固定长度解码，作为remmodeindex(步骤s1502)。

在对象块为8×8块或16×16块时，首先进行5比特的固定长度解码，作为remmodeindex(步骤s1503)。判定remmodeindex的值(步骤s1504)。

在remmodeindex并非“11111”时，结束非优先预测模式索引解码步骤，并进入图10的步骤s1009。

在remmodeindex为“11111”时，再进行1比特nextbit的解码(步骤s1505)，判定nextbit的值(步骤s1506)。若nextbit为“0”，则将remmodeindex设定为31后，结束非优先预测模式索引解码步骤，进入图10的步骤s1009。若nextbit为“0”，则将remmodeindex设定为32后，结束非优先预测模式索引解码步骤，进入图10的步骤s1009。

[预测模式计算步骤]

参照图16的流程图说明图10的步骤s1009的预测模式计算步骤的详细情况。

在本步骤中，通过按索引的升序扫描mpmlist来推进处理。非优先预测模式计算部907以非优先预测模式索引remmodeindex来初始化对象预测模式currmodeindex，并以0来初始化用于扫描mpmlist的变量i(步骤s1601)。

若变量i不足mpmlistsize(步骤s1602)、即尚未扫描mpmlist的所有要素，则比较currmodeindex和mpmlist[i](步骤s1603)。若currmodeindex在mpmlist[i]以上，则使currmodeindex的值加1(步骤s1604)。使变量i的值加1(步骤s1605)，继续扫描。

在步骤s1602中，当i变成mpmlistsize以上时，即已扫描完mpmlist的所有要素时，结束处理。

图23是由本实施例的编码装置输出、并在解码装置中被解释的编码流的帧内预测模式的编码句法。

(第2实施例)

在本实施例中，在生成优先预测模式列表时，若refmodea与refmodeb相同，则将与参照预测模式不同的预测模式追加到优先预测模式列表中，从而总是设定2个优先预测模式，在这一点上与实施例1不同。通过进行这样的动作，来减少之后的编码/解码处理的处理分支，实现处理的简略化。

[预测块尺寸和帧内预测模式]

在本实施例中，根据预测块的尺寸来切换帧内预测模式构成。

在本实施例中，对于4×4块，定义图2的标号203所示的18模式，对于8×8块和16×16块，定义在图2的标号201的模式上增加了标号202的模式的34模式。18模式及34模式的定义分别能表现11.25度单位、7.125单位的全部预测方向，在这一点上与存在一部分不能表现的方向的17模式和33模式的定义相比，具有预测精度不会下降这样的优点。与实施例1的不同点在于4×4块的帧内预测模式构成。在本实施例中，总是设定2个优先预测模式，故即使在定义了18模式的帧内预测模式的情况下，也能总是将非优先预测模式固定为16模式，故在对非优先预测模式进行固定长度编码时能进行不存在多余或不足的码分配。

[编码步骤]

说明本发明实施方式的帧内预测模式的编码方法的第2实施例。第2实施例中的帧内预测模式编码部508的构成同图6所示的第1实施例一样，但优先预测模式列表生成部602、优先预测模式索引编码部606、及非优先预测模式索引编码部608的详细动作与第1实施例是不同的。以下、参照图17的流程图说明帧内预测模式的编码步骤。

优先预测模式列表生成部602从帧内预测模式存储器601取得相邻块的帧内预测模式，生成优先预测模式列表mpmlist，决定优先预测模式列表尺寸mpmlistsize(步骤s1701)。对于优先预测模式列表生成步骤的详细情况，将在后面说明。此外，将对象帧内预测模式存储在帧内预测模式存储器601中。在本实施例中，生成优先预测模式列表mpmlist使得优先预测模式列表尺寸mpmlistsize总是为2，在这一点上与第1实施例不同。

优先预测模式判定标志计算部603及优先预测模式索引计算部605取得对象预测模式和优先预测模式列表mpmlist，算出优先预测模式判定标志mpmflag和优先预测模式索引mpmindex(步骤s1702)，对优先预测模式判定标志mpmflag进行编码(步骤s1703)。优先预测模式判定标志、优先预测模式索引计算步骤的详细情况与图7的s702一样，故省略说明。

优先预测模式判定部609判定优先预测模式判定标志mpmflag(步骤s1704)。

若优先预测模式判定标志mpmflag为true，则优先预测模式索引编码部606对优先预测模式索引mpmindex进行编码(步骤s1705)，结束处理。在本实施例中，总是将优先预测模式列表尺寸mpmlistsize设定为2，故省略实施例1的图7中的优先预测模式列表尺寸mpmlistsize判定步骤(步骤s705)。

若优先预测模式判定标志mpmflag为false，则非优先预测模式索引计算部607算出非优先预测模式索引remmodeindex(步骤s1706)，进而非优先预测模式索引编码部608进行所算出的非优先预测模式remmodeindex的编码(步骤s1707)。关于非优先预测模式索引计算步骤，与图7的步骤s707是一样的，故省略说明。对于非优先预测模式编码步骤的详细情况，将在后面说明。

[优先预测模式列表生成步骤]

参照图19的流程图说明图17的步骤s701的参照帧内预测模式决定步骤的详细情况。

优先预测模式列表生成部602从帧内预测模式存储器601取得相邻块的帧内预测模式refmodea和refmodeb，并比较refmodea和refmodeb(步骤s1901)。

若refmodea与refmodeb相等，则设定mpmlist[0]＝refmodea(步骤s1902)。判定refmodea是否为平均值模式(步骤s1903)，若refmodea是平均值模式，则设定mpmlist[1]＝0(步骤s1904)。若refmodea非平均值模式，则设定mpmlist[1]＝2(步骤s1905)。如图2的标号201、202所参照的那样，0表示垂直方向预测模式、2表示平均值模式。mpmlist[1]必须是与mpmlist[0]不同值的模式。在本实施例中，当refmodea非平均值模式时，将mpmlist[1]设定成平均值模式，但当refmodea为平均值模式时，若对mpmlist[1]设定平均值模式，则mpmlist[1]与mpmlist[0]将变得相同。对mpmlist[1]设定的预测模式的候选必须至少在2个以上。在本实施例中，对mpmlist[1]设定的值是预先决定的，不因refmodea、refmodeb及编码过程而变动，但例如也可以如在步骤s1904中设定mpmlist[1]＝1(水平方向预测模式)那样，使预先决定的值为不同的值。此处所设定的值优选是一般发生频率较高的预测模式。进而设定mpmlistsize＝2(步骤s1407)，进入图17的步骤s1702。

若refmodea与refmodeb不同，则设定mpmlist[0]＝min(refmodea，refmodeb)，mpmlist[1]＝max(refmodea，refmodeb)(步骤s1906)，进而设定mpmlistsize＝2(步骤s1907)，进入图17的步骤s1702。

[非优先预测模式索引编码步骤]

参照图20的流程图说明图17的步骤s1707的非优先预测模式索引编码步骤的详细情况。

非优先预测模式索引编码部608判定对象块尺寸(步骤s2001)。

在对象块为4×4块时，定义了18模式的帧内预测。在上述的非优先预测模式索引计算步骤中，优先预测模式的数量为2，remmodeindex被变换成[0，15]的任一值。用4比特足够以固定长度来表现remmodeindex，故对remmodeindex进行4比特的固定长度编码(步骤s2002)，结束处理。

在对象块为8×8块或16×16块时，定义了34模式的帧内预测。在上述的非优先预测模式索引计算步骤中，优先预测模式的数量为2，故remmodeindex被变换成[0，31]的任一值。用5比特足够以固定长度表现remmodeindex，故对remmodeindex进行5比特的固定长度编码(步骤s2003)，结束处理。

在第1实施例中，根据优先预测模式的数量，非优先预测模式的数量会变动，故将导致适用非优先预测模式的可变长度编码所引起的处理复杂化、或帧内预测模式的候选数减少所引起的编码效率下降。在第2实施例中，保证了优先预测模式的数量为2，故不会出现帧内预测模式的候选数的减少，能总是对非优先预测模式索引进行固定长度编码，能在确保简便的编码步骤的情况下，实现进一步的编码效率提高。

[解码步骤]

说明本发明实施方式的帧内预测模式的解码方法的第2实施例。第2实施例中的帧内预测模式解码部803的构成与图9所示的第1实施例是一样的，但优先预测模式列表生成部902、优先预测模式索引解码部904、及非优先预测模式索引解码部906的详细动作与第1实施例是不同的。以下参照图21的流程图说明帧内预测模式的解码步骤。

优先预测模式列表生成部902从帧内预测模式存储器901取得相邻块的帧内预测模式，并生成优先预测模式列表mpmlist，决定优先预测模式列表的尺寸mpmlistsize(步骤s2101)。在第2实施例中，以优先预测模式列表尺寸mpmlistsize总是为2的方式生成优先预测模式列表mpmlist，在这一点上与第1实施例不同。优先预测模式列表生成步骤同图6的优先预测模式列表生成部602中的优先预测模式列表生成步骤一样，遵从图19的流程图所示的步骤，故省略详细说明。

优先预测模式判定标志解码部903从编码序列读入1比特，解码优先预测模式判定标志mpmflag(步骤s2102)，并判定优先预测模式判定标志mpmflag(步骤s2103)。

若优先预测模式判定标志mpmflag为true，则优先预测模式索引解码部904从编码序列再读入1比特，解码优先预测模式索引mpmindex(步骤s2104)。进而，优先预测模式计算部905使优先预测模式列表mpmlist的第mpmindex个要素mpmlist[mpmindex]为对象预测模式currmodeindex(步骤s2105)，结束处理。在第2实施例中，将优先预测模式列表尺寸mpmlistsize总是设定为2，故省略第1实施例的图10中的优先预测模式列表尺寸mpmlistsize判定步骤(步骤s1004)。

若优先预测模式判定标志mpmflag为false，则非优先预测模式索引解码部906解码非优先预测模式索引remmodeindex(步骤s2106)，进而，非优先预测模式计算部907基于算出的remmodeindex算出对象预测模式currmodeindex(步骤s2107)。将对象预测模式currmodeindex保存在帧内预测模式存储器901中，结束处理。关于非优先预测模式索引的解码步骤，将在后面说明。关于对象预测模式计算步骤，与图10的步骤s1009是一样的，故省略说明。

[非优先预测模式索引解码步骤]

参照图22的流程图说明图21的步骤s2106的非优先预测模式索引解码步骤的详细情况。

非优先预测模式计算部907判定对象块尺寸(步骤s2201)。

在对象块为4×4块时，进行4比特的固定长度解码，作为remmodeindex(步骤s2202)，结束非优先预测模式索引解码步骤，进入图21的步骤s2107。

在对象块为8×8块或16×16块时，进行5比特的固定长度解码，作为remmodeindex(步骤s2203)，结束非优先预测模式索引解码步骤，进入图21的步骤s2107。

图24是由本实施例的编码装置输出、并在解码装置中被解释的编码流的帧内预测模式的编码句法。

(第3实施例)

在第3实施例中，仅优先预测模式列表生成步骤与第2实施例不同，故仅说明优先预测模式列表生成步骤，省略其它说明。

[优先预测模式列表生成步骤]

参照图25的流程图说明图17的步骤s701的参照帧内预测模式决定步骤的详细情况。

优先预测模式列表生成部602从帧内预测模式存储器601取得相邻块的帧内预测模式refmodea和refmodeb，并比较refmodea和refmodeb(步骤s2501)。

若refmodea与refmodeb相等，则设定mpmlist[0]＝refmodea(步骤s2502)。判定refmodea是否为平均值模式(步骤s2503)，若refmodea为平均值模式，则设定mpmlist[1]＝0(步骤s2504)。若refmodea为平均值模式，通过参照表来对mpmlist[1]设定与refmodea在预测方向上相邻的预测模式中的模式索引较小的预测模式(步骤s2505)。图26是针对图2的标号201的帧内预测模式的、相邻预测模式参照表的一例。与预测模式0相邻的预测模式为11和12，将其中值较小的11设定为预测模式0的相邻模式。进而设定mpmlistsize＝2(步骤s2507)，进入图17的步骤s1702。

若refmodea与refmodeb不同，则设定mpmlist[0]＝min(refmodea，refmodeb)，mpmlist[1]＝max(refmodea，refmodeb)(步骤s2506)，进而设定mpmlistsize＝2(步骤s2507)，进入图17的步骤s1702。

在第3实施例中，refmodea与refmodeb相等、且并非平均值模式时的mpmlist[1]的设定方法与第2实施例不同。在第2实施例中，在refmodea与refmodeb相等，且并非平均值模式时，对mpmlist[1]唯一地分配模式0。在第3实施例中，在refmodea与refmodeb相等、且并非平均值模式时，对mpmlist[1]分配与refmodea相邻的模式。由于期待与refmodea相邻的模式的发生频率较高，故优先预测模式列表生成步骤的运算量与第2实施例相比会增加，但能生成更有效的优先预测模式列表，能提高编码效率。

通过以上所述的第2和第3实施例，具有以下这样的作用效果。

(1)在利用2个优先预测模式的编码构成中，在参照预测模式相同的情况下，也将不同的预测模式加入优先预测模式，从而实现优先预测模式总为2个(固定)那样的编码构成。由此，能消除依赖于优先预测模式的数量的处理的分支，能使处理简略化、削减电路规模。

(2)在参照预测模式相同基础上的、不同的预测模式下，适用不依赖于编码处理过程的预先设定的模式。作为追加候选，采用水平方向预测/垂直方向预测/平均值预测等平均的发生频率较高的预测模式。由此，能低负荷地实现将不同的预测模式设定为优先预测模式的处理，并能平均地确保优良的预测精度。

(3)对于参照预测模式相同基础上的、不同的预测模式，也能采用与参照预测模式相邻的预测模式。与(2)的情况相比，负荷会增加，但能将更优秀的预测模式设定为优先预测模式，能提高编码效率。

以上所述的实施方式的图像编码装置和图像解码装置具有以下的作用效果。

(1)从多个帧内预测模式设定多个优先预测模式。与仅用一个来表现优先预测模式的构成相比，用较短的码语言能表现的优先预测模式的数量增加，并且能对各优先预测模式分配符合更现实的概率模型的码长度，故能削减帧内预测模式的发生码量。

(2)对于参照帧内预测模式相同的情况，也默认地决定另一个优先预测模式。不论参照帧内预测模式是否相同，都总能生成固定长度的优先帧内预测模式列表，故能消除编码/解码处理中的优先帧内预测模式列表生成处理的分支，使处理简略化。进而，由于非优先帧内预测模式列表为固定长度，故能使编码/解码的结构简单化，能谋求电路规模的缩小。

(3)对于默认地决定的另一个优先预测模式，采用参照预测模式、及不依赖于之前的编码/解码过程地预先设定的帧内预测模式，从而能抑制另一个优先预测模式计算所导致的负荷的增加。对于此处使用的另一个优先预测模式，采用一般发生频率较高的预测模式、例如垂直方向/水平方向/平均值成分预测模式，从而能抑制编码效率的下降。

以上所述的实施方式的动图像编码装置所输出的动图像的编码流为能根据在实施方式中使用的编码方法来解码而具有特定的数据格式，与动图像编码装置对应的动图像解码装置能解码该特定的数据格式的编码流。

为在动图像编码装置与动图像解码装置之间收发编码流而使用有线或无线的网络时，可以将编码流变换成适合通信路径的传送方式的数据格式来进行传送。此时，设置将动图像编码装置输出的编码流变换成适合通信路径的传送方式的数据格式的编码数据后发送于网络的动图像发送装置、和从网络接收编码数据后复原成编码流、提供给动图像解码装置的动图像接收装置。

动图像发送装置包括用于缓存动图像编码装置输出的编码流的存储器、和对编码流进行打包的包处理部、以及介由网络发生被打包后的编码数据的发送部。动图像接收装置包括介由网络接收被打包了的编码数据的接收部、用于缓存所接收到的编码数据的存储器、以及对编码数据进行包处理而生成编码流后提供给动图像解码装置的包处理部。

以上的编码及解码的相关处理当然能作为使用了硬件的传送、存储、接收装置来实现，也可以通过存储于rom(只读存储器)或闪速存储器等中的固件、计算机等的软件来实现。能将该固件程序、软件程序记录到计算机等可读取的记录介质中来提供，也能通过有线或无线的网络从服务器提供，还能作为地面波或卫星数字广播的数据广播来提供。

以上基于实施方式说明了本发明。实施方式仅是例示，本领域技术人员当理解其各构成要素和各处理过程的组合可以有各种各样的变形例，并且这样的变形例也包含在本发明的范围内。

〔标号说明〕

501减法部、502正交变换.量化部、503逆量化.逆变换部、504加法部、505解码图像存储器、506帧内预测部、507纹理信息编码部、508帧内预测模式编码部、509帧内预测模式选择部、601帧内预测模式存储器、602优先预测模式列表生成部、603优先预测模式判定标志计算部、604优先预测模式判定标志编码部、605优先预测模式索引计算部、606优先预测模式索引编码部、607非优先预测模式索引计算部、608非优先预测模式索引编码部、609优先预测模式判定部、801纹理信息解码部、802逆量化.逆变换部、803帧内预测模式解码部、804加法部、805解码图像存储器、806帧内预测部、901帧内预测模式存储器、902优先预测模式列表生成部、903优先预测模式判定标志解码部、904优先预测模式索引解码部、905优先预测模式计算部、906非优先预测模式索引解码部、907非优先预测模式计算部。

〔工业可利用性〕

本发明能适用于图像编码及解码技术，特别适用于画面内编码及解码技术。