图像解码装置以及图像解码方法与流程

本发明涉及图像编码及解码技术，特别涉及画面内编码及解码技术。

背景技术：

作为运动图像的压缩编码方式的代表，有mpeg-4avc/h.264标准。在mpeg-4avc/h.264中，按将图片分割成多个矩形块的宏块单位进行编码。不论图像尺寸如何，宏块的尺寸都按亮度信号规定为16×16像素。此外，宏块中也包含色差信号，宏块所包含的色差信号的尺寸因被编码的图像的色差格式而不同，当色差格式为4：2：0时，按色差信号成为8×8像素；当色差格式为4：2：2时，按色差信号成为8×16像素；当色差格式为4：4：4时，按色差信号成为16×16像素。

色差格式以x：y：z来表示1个亮度信息和2个色差信息这3个信号的被样本化的像素数的比率。在mpeg-4avc/h.264中，成为编码及解码的对象的图像的色差格式有4：2：0、4：2：2、4：4：4、以及单色。

图3是说明图像的各色差格式的图。×表示图像的画面平面上的亮度信号的像素的位置，○表示色差信号的像素的位置。

图3的(a)所示的4：2：0是色差信号在水平、垂直两方向上都相对于亮度信号以二分之一密度被样本化的色差格式。即，在4：2：0下，亮度信号与色差信号的像素的纵横比相同。需要说明的是，4：2：0也有在图3的(e)所示的位置对色差信号进行样本化的情况。

图3的(b)所示的4：2：2是相对于亮度信号、色差信号在水平方向以二分之一密度、在垂直方向上以相同密度被样本化的色差格式。即，在4：2：2下，亮度信号与色差信号的像素的纵横比不同。

图3的(c)所示的4：4：4是亮度信号、色差信号都被以相同密度样本化的色差格式。即，在4：4：4下，亮度信号与色差信号的像素的纵横比相同。

图3的(d)所示的单色是没有色差信号、仅由亮度信号构成的色差格式。

需要说明的是，亮度信号和色差信号为共用运动补偿等的编码信息而被作为组来进行编码和解码，但在4：4：4下，也准备了将1个亮度信号和2个色差信号独立地作为3个单色来进行编码及解码的方式。

在avc/h.264方式中，采用了从编码/解码对象图片内的已经编码、解码的块来进行预测的方法。将该方法称作帧内预测。此外，还采用了将已编码、解码的图片作为参照图片，预测相对于参照图片的运动的运动补偿。将通过该运动补偿来预测运动的方法称作帧间预测。

首先，说明在avc/h.264方式的帧内编码的帧内预测中切换帧内预测模式的单位。图4的(a)～(c)是用于说明切换帧内预测模式的单位的图。在avc/h.264方式的帧内编码中，作为切换帧内预测模式的单位，准备了“4×4帧内预测”、“16×16帧内预测”、“8×8帧内预测”的3种。

在“4×4帧内预测”下，将宏块(亮度信号16×16像素块、色差信号8×8像素块)的亮度信号16分割成4×4像素块，按分割后的4×4像素单位从9种4×4帧内预测模式中选择模式，依次进行帧内预测(图4的(a))。

在“16×16像素帧内预测”下，按亮度信号的16×16像素块单位从4种16×16帧内预测模式中选择模式，进行帧内预测(图4的(b))。

在“8×8像素帧内预测”下，将宏块的亮度信号4分割成8×8像素块，按分割后的8×8像素单位从9种8×8帧内预测模式中选择模式，依次进行帧内预测(图4的(c))。

另外，关于色差信号的帧内预测，在色差格式为4：2：0或4：2：2时，按宏块单位从4种色差信号的帧内预测模式中选择模式，进行帧内预测。

接下来说明avc/h.264方式的帧间编码中的帧间预测的单位。图5的(a)～(h)是用于说明宏块分区(partition)及子宏块分区的图。在此，为简化说明，仅描绘了亮度信号的像素块。在mpeg系列中，宏块是按正方形区域规定的。一般，在包括avc/h.264方式在内的mpeg系列中，将按16×16像素(水平16像素、垂直16像素)规定的块称作宏块。进而，在avc/h.264方式中，将按8×8像素规定的块称作子宏块。所谓宏块分区，是指为对宏块进行运动补偿预测而进一步分割后的各个小块。所谓子宏块分区，是指为对子宏块进行运动补偿预测而进一步分割后的各个小块。

图5的(a)是表示宏块由1个宏块分区构成的情况的图，该1个宏块分区是由16×16像素的亮度信号和与之对应的2个色差信号构成的。在此，将该构成称作16×16模式的宏块类型。

图5的(b)是表示宏块由2个宏块分区构成的情况的图，该2个宏块分区分别由16×8像素(水平16像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区纵向排列。在此，将该构成称作16×8模式的宏块类型。

图5的(c)是表示宏块由2个宏块分区构成的情况的图，该2个宏块分区分别由8×16像素(水平8像素、垂直16像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区横向排列。在此，将该构成称作8×16模式的宏块类型。

图5的(d)是表示宏块由4个宏块分区构成的情况的图，该4个宏块分区分别由8×8像素的亮度信号和与之对应的2个色差信号构成。该4个宏块分区纵横各二地排列。将该构成称作8×8模式的宏块类型。

图5的(e)是表示子宏块由1个子宏块分区构成的情况的图，该1个子宏块分区由8×8像素的亮度信号和与之对应的2个色差信号构成。在此，将该构成称作8×8模式的子宏块类型。

图5的(f)是表示子宏块由2个子宏块分区构成的情况的图，该2个子宏块分区分别由8×4像素(水平8像素、垂直4像素)的亮度信号和与之对应的2个色差信号构成。该2个子宏块分区纵向排列。将该构成称作8×4模式的子宏块类型。

图5的(g)是表示子宏块由2个子宏块分区构成的情况的图，该2个子宏块分区分别由4×8像素(水平4像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个子宏块分区横向排列。在此，将该构成称作4×8模式的子宏块类型。

图5的(h)是表示子宏块由4个子宏块分区构成的情况的图，该4个子宏块分区分别由4×4像素的亮度信号和与之对应的2个色差信号构成。该4个子宏块分区纵横各二地排列。在此，将该构成称作4×4模式的子宏块类型。

在avc/h.264编码方式中，采用了能够从以上运动补偿块尺寸中进行选择使用的方案。首先，作为宏块单位的运动补偿块尺寸，能从16×16、16×8、8×16及8×8模式的宏块类型中选择任意一者。当选择了8×8模式的宏块类型时，作为子宏块单位的运动补偿块尺寸，能从8×8、8×4、4×8、4×4模式的子宏块类型中选择任意一者。

[在先技术文献]

[非专利文献]

[非专利文献1]iso/iec14496-10informationtechnology--codingofaudio-visualobjects--part10：advancedvideocoding

技术实现要素：

〔发明所要解决的课题〕

在对与图像信号的帧内预测模式相关的信息进行编码时，是对与亮度信号的帧内预测模式相关的信息和与色差信号的帧内预测模式相关的信息进行编码后排列在编码流内的，但此时若没有根据色差格式对帧内预测模式进行编码，则有时处理效率会变差。

本发明是鉴于这样的状况而研发的，其目的在于提供一种能通过与色差格式相应的亮度信号和色差信号的帧内预测，效率良好地对图像信号进行编码或解码的技术。

〔用于解决课题的手段〕

为解决上述课题，本发明一个方案的图像编码装置是一种按预测块单位对与帧内预测模式相关的信息进行编码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行编码的图像编码装置，其包括：帧内亮度预测模式编码部(122、126)，设定亮度信号的预测块，基于表示所述亮度信号的预测块的帧内预测方法的亮度信号的帧内预测模式，将与亮度信号的帧内预测模式相关的句法要素编码，将与帧内亮度预测模式相关的信息编码到编码流中；帧内色差预测模式编码部(123、126)，设定色差信号的预测块，基于表示所述色差信号的预测块的帧内预测方法的色差信号的帧内色差预测模式，还参照所述帧内亮度预测模式地将与色差信号的帧内色差预测模式相关的句法要素编码，将与帧内色差预测模式相关的信息编码到编码流中；亮度信号帧内预测部(103)，根据所述帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测部(103)，根据所述帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

本发明的另一方案是一种图像编码方法。该方法是按预测块单位对与帧内预测模式相关的信息进行编码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行编码的图像编码方法，其包括：帧内亮度预测模式编码步骤，设定亮度信号的预测块，基于表示所述亮度信号的预测块的帧内预测方法的亮度信号的帧内预测模式，将与亮度信号的帧内预测模式相关的句法要素编码，将与帧内亮度预测模式相关的信息编码到编码流中；帧内色差预测模式编码步骤，设定色差信号的预测块，基于表示所述色差信号的预测块的帧内预测方法的色差信号的帧内色差预测模式，还参照所述帧内亮度预测模式地将与色差信号的帧内色差预测模式相关的句法要素编码，将与帧内色差预测模式相关的信息编码到编码流中；亮度信号帧内预测步骤，根据所述帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测步骤，根据所述帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

本发明的再一个方案是一种图像解码装置。该装置是按预测块单位将与帧内预测模式相关的信息解码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行解码的图像解码装置，其包括：帧内亮度预测模式解码部(222、224)，从编码流中解码出与亮度信号的帧内预测模式相关的句法要素，导出亮度信号的帧内预测模式，其中，所述编码流中编码有与表示亮度信号的预测块的帧内预测方法的帧内亮度预测模式相关的信息；帧内色差预测模式解码部(222、225)，从编码流中解码出与色差信号的帧内色差预测模式相关的句法要素，还参照所述帧内亮度预测模式地导出帧内色差预测模式，其中，所述编码流中编码有与表示色差信号的预测块的帧内预测方法的帧内色差预测模式相关的信息；亮度信号帧内预测部(206)，根据针对所述亮度信号的每个预测块分别确定的帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测部(206)，根据针对所述色差信号的每个预测块分别确定的帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

本发明的再一个方案是一种图像解码方法。该方法是按预测块单位将与帧内预测模式相关的信息解码，并利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行解码的图像解码方法，其包括：帧内亮度预测模式解码步骤，从编码流中解码出与亮度信号的帧内预测模式相关的句法要素，导出亮度信号的帧内预测模式，其中，所述编码流中编码有与表示亮度信号的预测块的帧内预测方法的帧内亮度预测模式相关的信息；帧内色差预测模式解码步骤，从编码流中解码出与色差信号的帧内色差预测模式相关的句法要素，还参照所述帧内亮度预测模式地导出帧内色差预测模式，其中，所述编码流中编码有与表示色差信号的预测块的帧内预测方法的帧内色差预测模式相关的信息；亮度信号帧内预测步骤，根据针对所述亮度信号的每个预测块分别确定的帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及色差信号帧内预测步骤，根据针对所述色差信号的每个预测块分别确定的帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

需要说明的是，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的实施方式，作为本发明的方案也是有效的。

〔发明效果〕

通过本发明，能利用与色差格式相应的亮度信号和色差信号的帧内预测，效率良好地编码或解码图像信号。

附图说明

图1是表示实施方式的图像编码装置的构成的功能框图。

图2是表示实施方式的图像解码装置的构成的功能框图。

图3是说明图像的色差格式的图。

图4是说明avc/h.264方式的切换帧内预测模式的单位的图。

图5是说明avc/h.264方式的帧间预测的单位的图。

图6是说明本实施例规定的树块及编码块的图。

图7是说明本实施例规定的分割模式的图。

图8是说明本实施例规定的帧内预测模式的值和预测方向的图。

图9是用于说明本实施例规定的块的位置的一例的图。

图10是说明用序列参数集对色差格式信息进行编码时的句法的定义的一例的图，该序列参数集是对本实施例规定的与序列整体的编码相关的信息进行编码的首部。

图11是说明本实施例规定的帧内预测时的n×n分割的编码块的色差信号的分割方法的图。

图12是表示实施方式的图像编码装置的第2编码流生成部的构成的功能框图。

图13是表示实施方式的图像解码装置的第2编码流解码部的构成的功能框图。

图14是基于本实施例规定的解码侧所使用的句法要素的值和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，导出帧内色差预测模式的值的表。

图15是本实施例规定的色差格式为4：2：2时，用于从帧内亮度预测模式或第1帧内色差预测模式变换成第2帧内色差预测模式的变换表的例子。

图16是本实施例规定的色差格式为4：2：2时，用于从帧内亮度预测模式或第1帧内色差预测模式变换成第2帧内色差预测模式的变换表。

图17是本实施例规定的色差格式为4：2：2时，用于从帧内亮度预测模式或第1帧内色差预测模式变换成第2帧内色差预测模式的变换表的另一例。

图18是说明本实施例规定的图15的变换表的帧内预测模式的值和预测方向的图。

图19是说明本实施例规定的图16的变换表的帧内预测模式的值和预测方向的图。

图20是说明本实施例规定的图17的变换表的帧内预测模式的值和预测方向的图。

图21是说明色差格式为4：2：2时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。

图22是说明色差格式为4：2：0时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。

图23是说明与本实施例规定的图15及图16的变换表对应的、从帧内亮度预测模式或第1帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。

图24是说明与本实施例规定的图17的变换表对应的、从第1帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。

图25是基于本实施例规定的编码侧所使用的帧内色差预测模式的值和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，导出与帧内色差预测模式相关的句法要素的值的表。

图26是说明解码侧的帧内预测模式的解码及帧内预测的处理步骤的图。

图27是从第1帧内色差预测模式导出色差格式4：2：2用的帧内预测的角度的表的例子。

图28是从第1帧内色差预测模式导出色差格式4：2：2用的帧内预测的角度的表的另一例。

图29是说明与本实施例规定的图28的表对应的、从第1帧内色差预测模式导出色差格式4：2：2用的帧内预测的角度的导出处理步骤的图。

图30是本实施例规定的色差格式为4：2：2时，用于从帧内亮度预测模式或第1帧内色差预测模式变换成第2帧内色差预测模式的变换表。

图31是说明本实施例规定的图30的变换表的帧内预测模式的值和预测方向的图。

图32是说明与本实施例规定的图30的变换表对应的、从第1帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。

图33是本实施例规定的色差格式为4：2：2时，用于从帧内亮度预测模式或第1帧内色差预测模式变换成第2帧内色差预测模式的变换表。

图34是说明本实施例规定的图33的变换表的帧内预测模式的值和预测方向的图。

图35是说明与本实施例规定的图33的变换表对应的、从第1帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤的图。

具体实施方式

在本实施方式中，针对运动图像的编码及解码，尤其是按照将图片分割成任意尺寸、形状的矩形后的块单位，利用帧内预测和帧间预测来削减码量，所述帧内预测在编码中是基于已编码及已解码的周围块的像素值进行预测的，在解码中是基于已经解码(以下称作已解码)的周围块的像素值进行预测的，所述帧间预测是基于已解码的图片、利用运动补偿来进行预测的。

首先，对在本实施例中使用的技术及技术用语进行定义。

(色差格式)

在实施方式的说明中作为编码及解码对象的图像的色差格式有单色、4：2：0、4：2：2、4：4：4，将亮度信号和色差信号作为组来进行编码及解码。但在与色差信号相关的说明中，省略单色情况时的说明。需要说明的是，色差格式为4：4：4时，也能对rgb的信号进行编码及解码。此时，将g(绿)信号视为亮度信号，将b(蓝)信号、r(红)信号视为色差信号进行编码和解码。需要说明的是，关于在4：4：4时对亮度信号和色差信号独立进行编码及解码的方法，在本实施例中是视作单色来进行的。

(关于树块、编码块)

在实施方式中，如图6所示，将画面内按任意的相同尺寸的正方形单位均等分割。将该单位定义为树块，作为用于确定图像内的编码/解码对象块(在编码中为编码对象块、在解码中为解码对象块)的地址管理的基本单位。除单色外，树块由1个亮度信号和2个色差信号构成。树块的尺寸可以根据图片尺寸或画面内的纹理按2的幂乘的尺寸自由设定。关于树块，可以根据画面内的纹理，为使编码处理最优化而根据需要将树块内的亮度信号及色差信号层级地4分割(纵横各2分割)，使其成为块尺寸较小的块。将该块分别定义为编码块，作为进行编码及解码时的处理的基本单位。除单色外，编码块也由1个亮度信号和2个色差信号构成。编码块的最大尺寸与树块的尺寸相同。将成为编码块的最小尺寸的编码块称作最小编码块，可以按2的幂乘的尺寸自由设定。

在图6中，编码块a是不对树块进行分割、直接作为1个编码块的。编码块b是将树块4分割而成的编码块。编码块c是对将树块4分割后的块再进行4分割而成的编码块。编码块d是对将树块4分割后的块再层级地进行两次4分割而成的编码块，是最小尺寸的编码块。

在实施方式的说明中，色差格式为4：2：0，将树块的尺寸针对亮度信号设定为64×64像素、针对色差信号设定为32×32像素，将最小编码块的尺寸针对亮度信号设定为8×8像素、针对色差信号设定为4×4像素。在图6中，编码块a的尺寸针对亮度信号成为64×64像素、针对色差信号成为32×32像素，编码块b的尺寸针对亮度信号成为32×32像素、针对色差信号成为16×16像素，编码块c的尺寸针对亮度信号成为16×16像素、针对色差信号成为8×8像素，编码块d的尺寸针对亮度信号成为8×8像素、针对色差信号成为4×4像素。需要说明的是，在色差格式为4：4：4时，各编码块的亮度信号和色差信号的尺寸变得相等。在色差格式为4：2：2时，编码块a的尺寸针对色差信号成为32×64像素，编码块b的尺寸针对色差信号成为16×32像素，编码块c的尺寸针对色差信号成为8×16像素，作为最小编码块的编码块d的尺寸针对色差信号成为4×8像素。

(关于预测模式)

按照编码块单位，切换基于已编码/已解码的周围的图像信号进行预测的帧内预测、和基于已编码/已解码的图像的图像信号进行预测的帧间预测。将识别该帧内预测和帧间预测的模式定义为预测模式(predmode)。关于预测模式(predmode)，可以使帧内预测(mode_intra)或帧间预测(mode_inter)作为数值来进行选择、编码。

(关于分割模式、预测块)

在将画面内分割成块进行帧内预测和帧间预测的情况下，为使切换帧内预测和帧间预测的方法的单位更小，根据需要而将编码块分割进行预测。将用于识别该编码块的亮度信号和色差信号的分割方法的模式定义为分割模式(partmode)。进而，将该分割后的块定义为预测块。如图7所示，根据编码块的亮度信号的分割方法，定义4种分割模式(partmode)。将不分割编码块的亮度信号、直接视为1个预测块(图7的(a))的分割模式(partmode)定义为2n×2n分割(part_2nx2n)；将对编码块的亮度信号进行水平方向2分割，使之成为2个预测块(图7的(b))的分割模式(partmode)定义为2n×n分割(part_2nxn)；将对编码块的亮度信号进行垂直方向分割，使编码块成为2个预测块(图7的(c))的分割模式(partmode)定义为n×2n分割(part_nx2n)；将通过水平和垂直的均等分割而使编码块的亮度信号成为4个预测块(图7的(d))的分割模式(partmode)定义为n×n分割(part_nxn)。需要说明的是，除帧内预测(mode_intra)的n×n分割(part_nxn)外，针对各分割模式(partmode)，分别与亮度信号的纵横分割比率同样地分割色差信号。帧内预测(mode_intra)的n×n分割(part_nxn)的编码块的色差信号的纵横分割比率因色差格式的种类而有所不同，对此将在后面进行说明。

在编码块内部，为确定各预测块，对编码块内部所存在的预测块按编码顺序分配从0开始的编号。将该编号定义为分割索引partidx。图7的编码块的各预测块中所记载的数字表示该预测块的分割索引partidx。在图7的(b)所示的2n×n分割(part_2nxn)中，设上方的预测块的分割索引partidx为0、设下方的预测块的分割索引partidx为1。在图7的(c)所示的n×2n分割(part_nx2n)中，设左方的预测块的分割索引partidx为0、右方的预测块的分割索引partidx为1。在图7的(d)所示的n×n分割(part_nxn)中，设左上方的预测块的分割索引partidx为0、右上方的预测块的分割索引partidx为1、左下方的预测块的分割索引partidx为2、右下方的预测块的分割索引partidx为3。

在预测模式(predmode)为帧内预测(mode_intra)时，除作为最小编码块的编码块d(本实施例中亮度信号为8×8像素)外，分割模式(partmode)定义为2n×2n分割(part_2nx2n)，仅最小编码块的编码块d的分割模式(partmode)定义2n×2n分割(part_2nx2n)和n×n分割(part_nxn)。

在预测模式(predmode)为帧间预测(mode_inter)时，除作为最小编码块的编码块d外，分割模式(partmode)定义2n×2n分割(part_2nx2n)、2n×n分割(part_2nxn)、及n×2n分割(part_nx2n)，仅最小编码块的编码块d的分割模式(partmode)除2n×2n分割(part_2nx2n)、2n×n分割(part_2nxn)、及n×2n分割(part_nx2n)外还定义有n×n分割(part_nxn)。需要说明的是，在最小编码块之外不定义n×n分割(part_nxn)的理由在于，除最小编码块外，都能将编码块4分割而表现更小的编码块。

(关于帧内预测、帧内预测模式)

在帧内预测中，基于同一画面内的周围已解码的后述的变换块的像素值来预测处理对象变换块的像素值。在本实施例的编码装置及解码装置中，针对每个预测块分别从35种帧内预测模式中进行选择，针对每个变换块分别进行帧内预测。有时预测块和变换块的尺寸并不相同，但在变换块的帧内预测时，采用包含该变换块的预测块的帧内预测模式。图8是说明本实施例规定的帧内预测模式的值和预测方向的图。以0至34的模式编号来规定帧内预测模式的值。帧内预测模式(intrapredmode)除通过内插像素值来基于周围的已解码的块进行预测的平面预测(帧内预测模式intrapredmode＝0)、通过导出平均值来基于周围的已解码的块进行预测的平均值预测(帧内预测模式intrapredmode＝1)外，还定义了基于周围的已解码的块按各种角度进行预测的33种角度预测(帧内预测模式intrapredmode＝2…34)。

(变换块)

同以往一样，在本实施方式中也采用dct(离散余弦变换)、dst(离散正弦变换)等将离散信号变换到频域的正交变换及其逆变换，来谋求码量的削减。按照将编码块层级地4分割后的变换块单位进行变换或逆变换。在实施方式中，定义了32×32像素、16×16像素、8×8像素、4×4像素这四种变换尺寸，进行32×32变换、16×16变换、8×8变换、4×4变换、以及其各自的逆变换。

(树块、编码块、预测块、变换块的位置)

关于本实施例中说明的树块、编码块、预测块、变换块等各块的位置，以亮度信号的画面的最左上方的亮度信号的像素的位置为原点(0，0)，将各个块的区域内所包含的最左上方的亮度信号的像素的位置用(x，y)二维坐标来表示。关于坐标轴的方向，将水平方向向右的方向作为正的方向，将垂直方向向下的方向作为正的方向，单位是亮度信号的1像素单位。关于亮度信号和色差信号，在图像尺寸(像素数)相同的色差格式为4：4：4的情况下，当然用该块的区域内所包含的亮度信号的像素的坐标来表示色差信号的各块的位置，关于亮度信号和色差信号，在图像尺寸(像素数)不同的色差格式为4：2：0、4：2：2的情况下，也用该块的区域内所包含的亮度信号的像素的坐标表示色差信号的各块的位置，单位是亮度信号的1像素。这样，不仅能确定色差信号的各块的位置，还能仅通过比较坐标的值，就明确亮度信号的块与色差信号的块的位置关系。图9是用于说明色差格式为4：2：0时本实施例规定的块的位置的一例的图。图9的×表示图像的画面平面上的亮度信号的像素的位置，○表示色差信号的像素的位置。图9的虚线的四边形是8×8像素的亮度信号的块e，同时也是4×4像素的色差信号的块f。▲是虚线所示的8×8像素的亮度信号的块e的最左上方的亮度信号的像素的位置。因此，▲成为虚线所示的8×8像素的亮度信号的块e的位置，▲所示的像素的亮度信号的坐标就成为虚线所示的8×8像素的亮度信号的块e的坐标。同样地，▲也是虚线所示的4×4像素的色差信号的块f的区域内所包含的最左上方的亮度信号的像素的位置。因此，▲也成为虚线所示的4×4像素的色差信号的块f的位置，▲所示的像素的亮度信号的坐标就成为虚线所示的4×4像素的色差信号的块f的坐标。在实施方式中，不论色差格式的种类及块的形状、大小如何，只要所定义的亮度信号的块的坐标与色差信号的块的坐标的x分量和y分量的值都相同，就定义为这些块处于相同位置。

图1是表示实施方式的图像编码装置的构成的功能框图。实施方式的图像编码装置包括色差格式设定部101、图像存储器102、帧内预测部103、帧间预测部104、编码方法决定部105、残差信号生成部106、正交变换·量化部107、逆量化·逆正交变换部108、解码图像信号重叠部109、解码图像存储器111、第1编码流生成部112、第2编码流生成部113、第3编码流生成部114、编码流多路复用部115。

在色差格式设定部101中设定编码对象图像信号的色差格式。既可以根据被提供给色差格式设定部101的编码图像信号判断色差格式、设定色差格式，也可以从外部设定。将被设定为仅亮度信号、或4：2：0、或4：2：2、或4：4：4的色差格式的信息提供给第1编码流生成部112，并提供给第2编码流生成部113，进行基于色差格式的编码处理。需要说明的是，虽然并未图示，但在图1的图像存储器102、帧内预测部103、帧间预测部104、编码方法决定部105、残差信号生成部106、正交变换·量化部107、逆量化·逆正交变换部108、解码图像信号重叠部109、第3编码流生成部114中也基于该设定的色差格式进行编码处理，在编码信息保存存储器110、解码图像存储器111中基于该设定的色差格式进行管理。

在图像存储器102中，暂时保存按时间顺序供给来的编码对象图像信号。图像存储器102中所保存的编码对象图像信号被按编码顺序重排，按与设定相应的多个组合被分割成各种编码块单位，进而被分割成各种预测块单位后，提供给帧内预测部103、帧间预测部104。

帧内预测部103按照多种编码块单位下的各种分割模式(partmode)所对应的预测块单位，针对编码对象预测块的亮度信号、色差信号，基于解码图像存储器111内所保存的已解码的图像信号来设定多个帧内亮度预测模式及帧内色差预测模式，针对每个变换块分别进行与帧内亮度预测模式和帧内色差预测模式相应的各种帧内预测，得到帧内预测信号。需要说明的是，关于帧内色差预测模式，可以针对每个预测块分别选择基于帧内亮度预测模式预测的值、或作为代表性的帧内预测模式的0(平面预测)、1(平均值预测)、10(水平预测)、26(垂直预测)、34(斜向预测)中的任一者。但在本实施方式中，在色差格式为4：2：2的帧内预测时，采用后述的第2帧内色差预测模式。关于色差信号的帧内预测及帧内预测模式，将在后面详细说明。

从按预测块单位供给的编码对象的信号针对每个像素减去预测块单位的帧内预测信号，得到预测残差信号。利用该预测残差信号导出用于评价码量和畸变量的评价值，按预测块单位从多个帧内亮度预测模式及帧内色差预测模式中选择在码量及畸变量方面最佳的模式，作为该预测块的帧内预测的候选，将与所选择的帧内预测模式对应的帧内预测信息、帧内预测信号及帧内预测的评价值提供给编码方法决定部105。

帧间预测部104按照多个编码块单位中的各自的分割模式(partmode)所对应的单位、即预测块单位，基于解码图像存储器111中所保存的已解码的图像信号，进行与多个帧间预测模式(l0预测、l1预测、两预测)及参照图像相应的各自的帧间预测，得到帧间预测信号。此时，进行运动矢量搜索，根据搜索到的运动矢量进行帧间预测。需要说明的是，在双向预测的情况下，通过使2个帧间预测信号按每像素平均、或加权相加，来进行双向预测的帧间预测。从被按预测块单位供给的编码对象信号按每个像素减去预测块单位的帧间预测信号，得到预测残差信号。利用该预测残差信号导出用于评价码量和畸变量的评价值，并按预测块单位从多个帧间预测模式中选择在码量及畸变量方面最佳的模式作为该预测块的帧间预测的候选，将与所选择的帧间预测模式对应的帧间预测信息、帧间预测信号、及帧间预测的评价值提供给编码方法决定部105。

编码方法决定部105基于针对多个编码块单位下的各个预测块分别所选择的、与帧内预测信息对应的帧内预测评价值及与帧间预测信息对应的帧间预测评价值，决定最佳的编码块的分割方法、预测模式(predmode)、分割模式(partmode)，将包含与决定相应的帧内预测信息或帧间预测信息的编码信息提供给第2编码流生成部113，并保存到编码信息保存存储器110中，将与决定相应的帧内预测或帧间预测出的预测信号提供给残差信号生成部106及解码图像信号重叠部109。

残差信号生成部106从要编码的图像信号按每像素减去帧内预测或帧间预测出的预测信号，生成残差信号，提供给正交变换·量化部107。

正交变换·量化部107针对被供给的残差信号，根据量化参数进行dct、dst等向频域变换的正交变换及量化，生成被正交变换和量化了的残差信号，提供给第3编码流生成部114、及逆量化·逆正交变换部108。

第1编码流生成部112按照句法要素的意思、定义导出方法的语义(seemantics)规则，导出序列、图片及条带单位的与编码信息相关的句法要素的值，对导出的各句法要素的值按照句法规则进行基于可变长度编码、算术编码等的熵编码，生成第1编码流，将被编码后的第1编码流提供给编码流多路复用部115。与色差格式相关的句法要素的值也在第1编码流生成部112中被导出。根据从色差格式设定部101供给的色差格式信息，导出与色差格式相关的句法要素。图10是用序列参数集对色差格式信息进行编码时的句法定义的一例，所述序列参数集是对本实施例规定的与序列整体的编码相关的信息进行编码的首部。句法要素chroma_format_idc表示色差格式的种类。句法要素chroma_format_idc的意思是，值为0时表示单色，值为1时表示4：2：0，值为2时表示4：2：2，值为3时表示4：4：4。此外，句法要素separate_colour_plane_flag的意思是表示亮度信号和色差信号是否被分别编码，当separate_colour_plane_flag的值为0时，表示以亮度信号对应有2个色差信号的方式被编码。句法要素chroma_format_idc的值为1时，表示亮度信号和2个色差信号被分别编码。仅在句法要素chroma_format_idc的值为3、即色差格式为4：4：4时，能将chroma_format_idc的值设定为0或1，对于这以外的色差格式，总是以句法要素separate_colour_plane_flag的值为0的方式被编码。

第2编码流生成部113按照句法要素的意思及定义导出方法的语义规则，除导出编码块单位的编码信息外，还导出与由编码方法决定部105针对每个预测块决定的编码信息相关的句法要素的值。具体来说，除编码块的分割方法、预测模式(predmode)、分割模式(partmode)等编码块单位的编码信息外，还导出预测块单位的与编码信息相关的句法要素的值。当预测模式(predmode)为帧内预测时，导出与包含帧内亮度预测模式及帧内色差预测模式的帧内预测模式相关的句法要素的值，当预测模式(predmode)为帧间预测时，导出帧间预测模式、确定参照图像的信息、运动矢量等与帧间预测信息相关的句法要素的值。对所导出的各句法要素的值按句法规则进行基于可变长度编码、算术编码等的熵编码，生成第2编码流，并将被编码后的第2编码流提供给编码流多路复用部115。关于在第2编码流生成部113中进行的与帧内亮度预测模式及帧内色差预测模式相关的句法要素的导出的相关详细处理内容，将在后面说明。

第3编码流生成部114对被正交变换及量化后的残差信号按照规定的句法规则进行基于可变长度编码、算术编码等的熵编码，生成第3编码流，并将第3编码流提供给编码流多路复用部115。

在编码流多路复用部115中，将第1编码流、第2编码流及第3编码流按规定的句法规则多路复用而生成比特流，并输出被多路复用后的比特流。

逆量化·逆正交变换部108对从正交变换·量化部107供给来的被正交变换和量化了的残差信号进行逆量化及逆正交变换，导出残差信号，提供给解码图像信号重叠部109。解码图像信号重叠部109根据编码方法决定部105的决定，使被帧内预测或帧间预测出的预测信号与在逆量化·逆正交变换部108中被逆量化及逆正交变换后的残差信号进行重叠，生成解码图像，保存到解码图像存储器111中。需要说明的是，有时也对解码图像施以用于减少因编码导致的块畸变等的滤波处理后再保存到解码图像存储器111中。

图2是表示与图1的图像编码装置对应的实施方式的图像解码装置的构成的块。实施方式的图像解码装置包括编码流分离部201、第1编码流解码部202、第2编码流解码部203、第3编码流解码部204、色差格式管理部205、帧内预测部206、帧间预测部207、逆量化·逆正交变换部208、解码图像信号重叠部209、编码信息保存存储器210、解码图像存储器211、以及开关212、213。

提供到编码流分离部201的比特流被按规定的句法规则分离，表示序列、图片及条带单位的编码信息的第1编码流被提供到第1编码流解码部202，包含编码块单位的编码信息的第2编码流被提供到第2编码流解码部203，包含被正交变换及量化了的残差信号的第3编码流被提供到第3编码流解码部204。

第1编码流解码部202按照句法规则对供给来的第1编码流进行熵解码，得到与序列、图片及条带单位的编码信息相关的句法要素的各值。按照句法要素的意思及定义导出方法的语义规则，基于解码出的与序列、图片及条带单位的编码信息相关的句法要素的值，导出序列、图片及条带单位的编码信息。第1编码流解码部202是与编码侧的第1编码流生成部112对应的编码流解码部，具有从被第1编码流生成部112编码后的包含序列、图片、及条带单位的编码信息的第1编码流恢复出各编码信息的功能。基于通过在第1编码流解码部202中对第2编码流进行熵解码而得到的与色差格式信息相关的句法要素的值，导出被第1编码流生成部112编码了的色差格式信息。按照图10所示的句法规则及语义规则，基于句法要素chroma_format_idc的值确定色差格式的种类，当句法要素chroma_format_idc的值为0时成为单色，为1时成为4：2：0，为2时成为4：2：2，为3时成为4：4：4。进而，句法要素chroma_format_idc的值为3、即色差格式为4：4：4时，将句法要素separate_colour_plane_flag解码，判别亮度信号与色差信号是否被分别编码的。导出的色差格式信息被提供到色差格式管理部205。

色差格式管理部205管理供给来的色差格式信息。供给来的色差格式信息被提供给第2编码流解码部203，进行基于色差格式信息的编码块及预测块的编码信息导出处理。需要说明的是，图中虽未明示，但在第3编码流解码部204、图2的帧内预测部206、帧间预测部207、逆量化·逆正交变换部208、解码图像信号重叠部209中也进行基于该色差格式信息的解码处理，并在编码信息保存存储器210、解码图像存储器211中基于该色差格式信息进行管理。

第2编码流解码部203按照句法规则对供给来的第2编码流进行熵解码，得到编码块、及预测块单位的与编码信息相关的句法要素的各值。按照句法要素的意思及定义导出方法的语义规则，根据供给来的与编码块单位及预测块单位的编码信息相关的句法要素的值，导出编码块单位及预测块单位的编码信息。第2编码流解码部203是与编码侧的第2编码流生成部113对应的编码流解码部，具有从被第2编码流生成部113编码的包含编码块及预测块单位的编码信息的第2编码流恢复各个编码信息的功能。具体来说，基于通过对第2编码流按规定的句法规则解码而得到的各句法要素，除得到编码块的分割方法、预测模式(predmode)、分割模式(partmode)外，在预测模式(predmode)为帧内预测时，还得到包括帧内亮度预测模式及帧内色差预测模式的帧内预测模式。另一方面，若预测模式(predmode)为帧间预测，则得到帧间预测模式、确定参照图像的信息、运动矢量等帧间预测信息。若预测模式(predmode)为帧内预测，则通过开关212将包含帧内亮度预测模式及帧内色差预测模式的帧内预测模式提供给帧内预测部206，若预测模式(predmode)为帧间预测，则通过开关212将帧间预测模式、确定参照图像的信息、运动矢量等帧间预测信息提供给帧间预测部207。关于在第2编码流解码部203中进行的熵解码处理、以及基于与帧内亮度预测模式和帧内色差预测模式相关的句法要素导出帧内亮度预测模式及帧内色差预测模式的导出处理的相关详细处理，将在后面说明。

第3编码流解码部204将供给来的第3编码流解码，导出被正交变换和量化了的残差信号，并将被正交变换和量化了的残差信号提供给逆量化·逆正交变换部208。

帧内预测部206根据被供给的帧内亮度预测模式及帧内色差预测模式，基于解码图像存储器211中所保存的已解码的周边块，利用帧内预测生成预测图像信号，并介由开关213将预测图像信号提供给解码图像信号重叠部209。但在本实施方式中，在色差格式为4：2：2的帧内预测时，采用后述的第2帧内色差预测模式。关于色差信号的帧内预测及帧内预测模式，稍后详细说明。

帧间预测部207利用供给来的帧间预测模式、确定参照图片的信息、运动矢量等帧间预测信息，基于解码图像存储器211中所保存的已解码的参照图片，通过利用了运动补偿的帧间预测来生成预测图像信号，并介由开关213将预测图像信号提供给解码图像信号重叠部209。需要说明的是，在双向预测的情况下，对l0预测、l1预测的两个运动补偿预测图像信号适应性地乘以加权系数后再重叠，生成最终的预测图像信号。

逆量化·逆正交变换部208对在第3编码流解码部204中解码出的被正交变换和量化了的残差信号进行逆正交变换及逆量化，得到被逆正交变换和逆量化后的残差信号。

解码图像信号重叠部209通过使在帧内预测部206或帧间预测部207中预测出的预测图像信号与被逆量化·逆正交变换部208逆正交变换和逆量化后的残差信号重叠，来将解码图像信号解码，并保存到解码图像存储器211中。在向解码图像存储器211保存时，有时对解码图像施以使因编码导致的块畸变等减少的滤波处理后，再保存到解码图像存储器211中。解码图像存储器211中所保存的解码图像信号被按输出顺序输出。

接下来说明在图1的图像编码装置的帧内预测部103及图2的图像解码装置的帧内预测部206中进行的帧内预测，以及在帧内预测时使用的被图1的第2编码流生成部113编码、被图2的第2编码流解码部203解码的帧内预测模式。

在帧内预测时，基于同一画面内的周围已解码的变换块的像素的值来预测处理对象变换块的像素的值。在本实施例的编码装置及解码装置中，从35种帧内预测模式中选择，进行帧内预测。图8是说明本实施例规定的帧内预测模式的值和预测方向的图。箭头指示的方向表示各帧内预测的预测方向、即在帧内预测中要参照的方向。在各帧内预测模式下，参照与作为帧内预测对象的变换块相邻的变换块中所包含的、帧内预测的预测方向(图8的箭头指示的方向)上的已解码的边界的像素，来进行各像素(图8的箭头的始点的像素)的帧内预测。左侧、上侧的编号表示帧内预测模式的值。其右侧、下侧的数字分别表示与该左侧、上侧的帧内预测模式对应的帧内预测的角度。除从周围的已解码变换块的像素通过内插像素值来进行预测的平面预测(帧内预测模式intrapredmode＝0)、从周围的已解码变换块的像素通过导出平均值来进行预测的平均值预测(帧内预测模式intrapredmode＝1)外，帧内预测模式(intrapredmode)还定义了从周围的已解码变换块的像素按各种角度进行预测的33种角度预测(帧内预测模式intrapredmode＝2…34)。需要说明的是，该角度预测中也包括从上方的已解码变换块的像素沿垂直方向进行预测的垂直预测(帧内预测模式intrapredmode＝26)、和从左方的已解码变换块的像素沿水平方向进行预测的水平预测(帧内预测模式intrapredmode＝10)。需要说明的是，在本实施例中，通过相对于水平方向的单位长度32的垂直方向的长度、或者相对于垂直方向的单位长度32的水平方向的长度，来表示帧内预测的角度。将沿水平方向预测的水平预测的帧内预测模式所对应的帧内预测的角度定为0，关于相对于水平方向的单位长度32的垂直方向上的长度，朝下方向的用正值表示，朝上方向的用负值表示，由此设定帧内预测的角度。或者，将沿垂直方向预测的垂直预测的帧内预测模式所对应的帧内预测的角度定为0，关于相对于垂直方向的单位长度32的水平方向上的长度，将朝右方向的用正值表示，朝左方向的用负值表示，由此设定帧内预测的角度。例如，帧内预测的角度32表示度数法的45°，-32表示度数法的-45°。

帧内预测模式是针对亮度信号、色差信号分别准备的，将亮度信号用的帧内预测模式定义为帧内亮度预测模式、将色差信号用的帧内预测模式定义为帧内色差预测模式。在帧内亮度预测模式的编码及解码中，采用了如下方式：利用与周边块的帧内亮度预测模式的相关性，若在编码侧判断为能基于周边块的帧内亮度预测模式进行预测，则传送用于确定要参照的块的信息，若判断为与其基于周边块的帧内亮度预测模式进行预测，不如对帧内亮度预测模式设定其它值更好，则再对帧内亮度预测模式的值进行编码或解码。通过基于周边块的帧内亮度预测模式预测编码和解码对象块的帧内亮度预测模式，能削减要传送的码量。另一方面，在帧内色差预测模式的编码及解码中，采用了如下方式：利用与跟色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的相关性，若在编码侧判断为能基于帧内亮度预测模式进行预测，则基于帧内亮度预测模式的值预测帧内色差预测模式的值，若判断为与其基于帧内亮度预测模式进行预测，不如对帧内色差预测模式设定独自的值更好，则对帧内色差预测模式的值进行编码或解码。通过基于帧内亮度预测模式预测帧内色差预测模式，能削减要传送的码量。

接下来，针对在图1的第2编码流生成部113中进行的编码块及预测块单位的编码信息的编码处理，以作为实施方式的特征的帧内预测模式的相关点为中心进行说明。图12是表示图1的第2编码流生成部113的构成的功能框图。

如图12所示，图1的第2编码流生成部113由与编码块单位的编码信息相关的句法要素导出部121、与帧内亮度预测模式相关的句法要素导出部122、与帧内色差预测模式相关的句法要素导出部123、与帧间预测信息相关的句法要素导出部124、帧内预测模式编码控制部125、熵编码部126构成。在构成第2编码流生成部113的各部中，进行与从色差格式设定部101供给的色差格式信息相应的处理，并进行与编码块单位的预测模式、分割模式(partmode)等编码信息相应的处理。

与编码块单位的编码信息相关的句法要素导出部121导出与编码块单位的编码信息相关的句法要素的值，并将导出的各句法要素的值提供给熵编码部126。与判别编码块的帧内预测(mode_intra)或帧间预测(mode_inter)的预测模式(predmode)、以及判别预测块的形状的分割模式(partmode)相关的句法要素的值，被在该与编码块单位的编码信息相关的句法要素导出部121中导出。

与帧内亮度预测模式相关的句法要素导出部122在编码块的预测模式(predmode)为帧内预测(mode_intra)时，分别导出亮度信号的预测块的与帧内亮度预测模式相关的句法要素的值，并将导出的各句法要素的值提供给熵编码部126。与帧内亮度预测模式相关的句法要素有表示是否能从周边块的帧内亮度预测模式进行预测的标志、即句法要素prev_intra_luma_pred_flag[x0][y0]，和作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]，以及表示预测块单位的帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]。需要说明的是，x0及y0是表示预测块的位置的坐标。在与帧内亮度预测模式相关的句法要素的值的导出中，利用与编码信息保存存储器110中保存的周边块的帧内亮度预测模式的相关性，若能从周边块的帧内亮度预测模式进行预测，则将表示采用其值的标志、即句法要素prev_intra_luma_pred_flag[x0][y0]设定为1(真)，并对指示预测源的预测块的索引、即句法要素mpm_idx[x0][y0]设定用于确定参照目标的值，若无法预测，则将prev_intra_luma_pred_flag[x0][y0]设定为0(假)，并对表示要编码的帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]设定用于确定帧内亮度预测模式的值。

需要说明的是，根据分割块，编码块内的预测块的帧内亮度预测模式的数量会有所不同，当分割模式(partmode)为2n×2n分割时，针对每个编码块导出1组与预测块的帧内亮度预测模式相关的句法要素的值，当分割模式为n×n分割时，针对每个编码块导出4组与预测块的帧内亮度预测模式相关的句法要素的值。

与帧内色差预测模式相关的句法要素导出部123在编码块的预测模式(predmode)为帧内预测(mode_intra)时，导出色差信号的预测块的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值，并将导出的句法要素intra_chroma_pred_mode[x0][y0]的值提供给熵编码部126。在帧内预测部103的帧内色差预测模式的决定、以及与帧内色差预测模式相关的句法要素导出部123的与帧内色差预测模式相关的句法要素的值的导出过程中，利用与跟色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的相关性，若根据与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式预测帧内色差预测模式的预测值最适合，则根据帧内亮度预测模式的值预测帧内色差预测模式的值，若判断为与基于帧内亮度预测模式的预测值相比设定单独的值更好，则对帧内色差预测模式设定作为代表性的帧内预测模式的0(平面预测)、1(平均值预测)、10(水平预测)、26(垂直预测)、34(斜向预测)的任一值，通过采用该方式来削减码量。

在此，说明在解码侧的后述的帧内色差预测模式导出部225中，根据帧内亮度预测模式的值和与帧内色差预测模式相关的句法要素的值导出帧内色差预测模式的值的方法。需要说明的是，在本实施例中，为与后述的色差格式4：2：2用的帧内色差预测模式相区别，将利用后述的图14的表导出的4：2：0或4：4：4用的帧内色差预测模式定义为第1帧内色差预测模式。图14是根据本实施例规定的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值和与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值导出第1帧内色差预测模式的值的表，利用该表，在解码侧导出第1帧内色差预测模式的值。

当句法要素intra_chroma_pred_mode[x0][y0]的值为0时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为0，则第1帧内色差预测模式的值取0(平面预测)，若帧内亮度预测模式的值为0，则第1帧内色差预测模式的值取34(斜向预测)。

当句法要素intra_chroma_pred_mode[x0][y0]的值为1时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为1，则第1帧内色差预测模式的值取26(垂直预测)，若帧内亮度预测模式的值为1，则第1帧内色差预测模式的值取34(斜向预测)。

当句法要素intra_chroma_pred_mode[x0][y0]的值为2时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为2，则第1帧内色差预测模式的值取10(水平预测)，若帧内亮度预测模式的值为2，则第1帧内色差预测模式的值取34(斜向预测)。

当句法要素intra_chroma_pred_mode[x0][y0]的值为3时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式不为3，则第1帧内色差预测模式的值取1(平均值预测)，若帧内亮度预测模式的值为3，则第1帧内色差预测模式的值取34(斜向预测)。

当句法要素intra_chroma_pred_mode[x0][y0]的值为4时，第1帧内色差预测模式的值取与跟色差信号的预测块相同位置的预测块的帧内亮度预测模式相同的值。

在色差格式为4：2：0或4：4：4的情况下，将利用图14导出的第1帧内色差预测模式作为色差格式4：2：0或4：4：4用的色差信号的帧内预测模式来使用。在图1的图像编码装置的帧内预测部103及图2的图像解码装置的帧内预测部206中，当色差格式为4：2：0或4：4：4时，采用第1帧内色差预测模式进行色差信号的帧内预测。

在色差格式为4：2：2时，根据由图14导出的第1帧内色差预测模式，利用变换表，导出色差格式4：2：2用的帧内色差预测模式的值。在本实施方式的编码及解码中，将利用后述的图15、图16、图17、图30或图33的变换表导出的色差格式4：2：2用的帧内色差预测模式定义为第2帧内色差预测模式。图1的图像编码装置的帧内预测部103及图2的图像解码装置的帧内预测部206在色差格式为4：2：2时，利用第2帧内色差预测模式进行色差信号的帧内预测。图15、图16、图17、图30及图33是用于根据本实施例规定的帧内亮度预测模式或利用图14的表导出的第1帧内色差预测模式，进一步导出要在色差格式为4：2：2的色差信号的帧内预测中使用的色差格式4：2：2用的第2帧内色差预测模式的值的变换表。图18是说明用本实施例规定的图15的变换表导出的帧内预测模式的值和预测方向的图，图19是说明用本实施例规定的图16的变换表导出的帧内预测模式的值和预测方向的图，图20是说明用本实施例规定的图17的变换表导出的帧内预测模式的值和预测方向的图，图31是说明用本实施例规定的图30的变换表导出的帧内预测模式的值和预测方向的图，图34是说明用本实施例规定的图33的变换表导出的帧内预测模式的值和预测方向的图。

在本实施方式中，关于根据图15、图16、图17、图30及图33的帧内亮度预测模式或第1帧内色差预测模式导出色差格式4：2：2用的第2帧内色差预测模式的处理，在编码侧是由编码装置的帧内预测部103进行的，在解码侧是由解码装置的第2编码流解码部203或帧内预测部206进行的。

在本实施方式的编码及解码中，当色差格式为4：2：2时，并非如4：2：0和4：4：4时那样直接采用基于图14的表导出的第1帧内色差预测模式，而是利用图15、图16、图17、图30或图33的变换表导出色差格式4：2：2用的第2帧内色差预测模式，下面说明其理由。当色差格式为4：2：2时，如图3的(b)所示，是相对于亮度信号，色差信号在水平方向上以二分之一密度、垂直方向上以相同密度被样本化的色差格式。因此，相对于帧内亮度预测模式或第1帧内色差预测模式各自的预测方向，若按水平方向上缩放为二分之一倍的预测方向或其附近的预测方向进行色差信号的帧内预测，则将与跟色差信号的预测块相同位置的预测块的亮度信号的帧内预测变得等价或接近等价。

参照图21对此进行更详细的说明。图21是说明色差格式为4：2：2时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。在图21中，×表示亮度信号的像素的位置，○表示色差信号的像素的位置。在4：2：2的情况下，相对于亮度信号，色差信号在水平方向上被以1/2密度样本化(采样)，亮度信号与色差信号的像素的纵横比不同。图21的(a)表示4：2：2的亮度信号和色差信号的被样本化后的像素的位置。标号p1是要被帧内预测的像素，标号p2是帧内预测时要参照的像素(实际上要被滤波，所以也参照其相邻的像素)。标号2701所示的从像素p1指向像素p2的箭头表示亮度信号的像素p1的帧内预测方向，并且表示色差信号的像素p1的帧内预测方向。

图21的(b)表示水平方向1/2采样后的色差信号的像素的排列。在此，在进行色差信号的帧内预测时，若不在水平方向上进行1/2的缩放，则色差信号的像素p1的帧内预测方向会成为标号2702所示的箭头的方向，在色差信号的像素排列中会误参照标号p3的像素。但正确的参照目标却是标号p2的像素。因此，对亮度信号的帧内预测方向进行水平方向1/2倍的缩放，作为色差信号的帧内预测方向，由此，将如标号2703所示那样导出色差信号的排列中正确的帧内预测方向，取得该帧内预测方向上的正确的参照目标、即上侧相邻的像素(实际由于要被滤波，故也参照其相邻的像素)。

在图21的(a)、(b)中说明了参照预测块的上侧相邻的像素的情况，但在参照左侧相邻的像素时也是同样。在左侧相邻的像素的情况下，通过将亮度信号的帧内预测方向沿垂直方向缩放为2倍(这与在水平方向上缩放为1/2倍来寻求帧内预测的方向的意思是等价的)，来导出色差信号的排列上正确的帧内预测方向，取得该帧内预测方向上的正确的参照目标、即左侧相邻的像素(也包含一部分上侧相邻的像素)。

因此，在图15及图16的变换表中，在分别如图18及图19的虚线箭头所示那样水平方向(水平轴上)上排列的帧内亮度预测模式或利用图14的表导出的第1帧内色差预测模式的值为18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34时，使预测方向的角度以垂直预测(帧内预测模式26)为中心在水平方向上缩放为二分之一倍，将与通过此而导出的预测方向接近的预测方向上的帧内预测模式的值选为第2帧内色差预测模式的值，使第2帧内色差预测模式的值分别成为21、22、23、23、24、24、25、25、26、27、27、28、28、29、29、30、31。此外，使帧内预测的预测方向在水平方向上缩放为二分之一倍，与在垂直方向上缩放为2倍是等价的。因此，若针对帧内亮度预测模式或第1帧内色差预测模式各自的预测方向，按以水平预测(帧内预测模式10)为中心在垂直方向上缩放为2倍后的预测方向或者其附近的预测方向进行色差信号的帧内预测，则将跟与色差信号的预测块相同位置的预测块的亮度信号的帧内预测等价或接近等价。因此，在图15及图16的变换表中，在分别如图18及图19所示那样垂直方向(垂直轴上)上排列的帧内预测模式(帧内亮度预测模式或第1帧内色差预测模式)的值为2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17时，使预测方向的角度以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，将与通过此而导出的预测方向接近的预测方向上的帧内预测模式的值选为第2帧内色差预测模式的值，使第2帧内色差预测模式的值分别成为2、2、2、2、3、5、7、8、10、12、13，15，17、18、18、18、18、及2、2、2、2、3、5、7、8、10、12、13，15，17、18、18、19、20。

此外，也可以利用图17的变换表从帧内预测模式(帧内亮度预测模式或第1帧内色差预测模式)变换至第2帧内色差预测模式。在图17的变换表中，在如图20的虚线箭头所示那样参照目标在水平方向(水平轴上)上排列的帧内亮度预测模式或由图14的表导出的第1帧内色差预测模式的值为18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34时，使通过将帧内亮度预测模式或第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍而导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值分别成为22、22、23、23、24、24、25、25、26、27、27、28、28、29、29、30、30。另外，使帧内预测的预测方向在水平方向上缩放为二分之一倍，与在垂直方向上缩放为2倍是等价的。因此，针对帧内亮度预测模式或第1帧内色差预测模式各自的预测方向，若按以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍后的预测方向或其附近的预测方向进行色差信号的帧内预测，则将跟与色差信号的预测块相同位置的预测块的亮度信号的帧内预测等价或接近等价。因此，在图17的变换表中，在如图20的虚线箭头所示那样参照目标在垂直方向(垂直轴上)上排列的帧内亮度预测模式或第1帧内色差预测模式的值为2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17时、使帧内亮度预测模式或第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，并限制在2以上18以下，将由此导出的值作为帧内色差预测模式的值，使第2帧内色差预测模式的值成为2、2、2、2、2、4、6、8、10、12、14，16，18、18、18、18。

另外，还可以利用图30的变换表从帧内预测模式(帧内亮度预测模式或第1帧内色差预测模式)变换至第2帧内色差预测模式。在图30的变换表中，在如图31的虚线箭头所示那样帧内亮度预测模式或由图14的表导出的第1帧内色差预测模式的值为16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34时，使帧内亮度预测模式或第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值分别成为21、21、22、22、23、23、24、24、25、25、26、27、27、28、28、29、29、30、30。另外，当帧内亮度预测模式或第1帧内色差预测模式的值为2、3、4、5、6、7、8、9、10、11、12、13、14、15时，使帧内亮度预测模式或第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，并限制在2以上，将由此导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值成为2、2、2、2、2、4、6、8、10、12、14，16，18、20。

此外，还可以利用图33的变换表从帧内预测模式(帧内亮度预测模式或第1帧内色差预测模式)变换至第2帧内色差预测模式。在图33的变换表中，在如图34的虚线箭头所示那样帧内亮度预测模式或由图14的表导出的第1帧内色差预测模式的值为21、22、23、24、25、26、27、28、29、30、31时，使帧内亮度预测模式或第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值分别成为23、24、24、25、25、26、27、27、28、28、29。另外，当帧内亮度预测模式或第1帧内色差预测模式的值为7、8、9、10、11、12、13时，使帧内亮度预测模式或第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，将由此导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值成为4、6、8、10、12、14、16。进而，当帧内亮度预测模式或第1帧内色差预测模式的值为2、3、4、5、6时，使帧内亮度预测模式或第1帧内色差预测模式减3，并限制在2以上，将由此导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值成为2、2、2、2、3。此外，当帧内亮度预测模式或第1帧内色差预测模式的值为14、15、16、17、18、19、20时，使帧内亮度预测模式或第1帧内色差预测模式加3，将由此导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值成为17、18、19、20、21、22。再者，当帧内亮度预测模式或第1帧内色差预测模式的值为32、33、34时，使帧内亮度预测模式或第1帧内色差预测模式减3，将由此导出的值作为第2帧内色差预测模式的值，使第2帧内色差预测模式的值成为29、30、31。

利用图23的流程图，说明在色差格式为4：2：2的情况下，与从第1帧内色差预测模式变换至第2帧内色差预测模式时的图15及图16的变换表相对应的从第1帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤。

在第1帧内预测模式intrapredmode1的0至34的各值下，通过图23的流程图的步骤导出第2帧内预测模式intrapredmode2。

首先，若并非角度预测，即第1帧内预测模式intrapredmode1在1以下(图23的步骤s3001的no)，则使第1帧内预测模式intrapredmode1的值直接作为第2帧内色差预测模式intrapredmode2(图23的步骤s3002)，结束本导出处理。第1帧内预测模式intrapredmode1在1以下的，是从周围的已解码的块通过内插像素值来进行预测的平面预测(帧内预测模式intrapredmode1＝0)、和从周围的已解码的块通过导出平均值来进行预测的平均值预测(帧内预测模式intrapredmode1＝1)。

另一方面，若第1帧内色差预测模式intrapredmode1为角度预测，即比1大(图23的步骤s3001的yes)，则进行步骤s3003以后的从第1帧内色差预测模式向第2帧内色差预测模式的变换处理。

若帧内色差预测模式intrapredmode1比18小(图23的步骤s3003的yes)，则使与第1帧内色差预测模式intrapredmode1对应的第1帧内预测的角度intrapredangle1变为2倍，作为帧内预测的角度intrapredangle2'(图23的步骤s3004)。然后，将与帧内预测的角度intrapredangle2'接近的第1帧内预测的角度intrapredangle1所对应的帧内亮度预测模式或第1帧内色差预测模式intrapredmode1的值设定为第2帧内预测模式intrapredmode2(图23的步骤s3005)，结束本导出处理。但是，在第1帧内预测模式为2、3、4及5时，帧内预测的角度intrapredangle2'的值会变到-32以下，但将此时的帧内预测的角度定为-32，使第2帧内色差预测模式为2。在第1帧内预测模式为15、16及17时，帧内预测的角度intrapredangle2'的值会变到32以上，但将此时的帧内预测的角度定为32，使第2帧内色差预测模式为18。需要说明的是，如图19所示，使与第1帧内预测模式16对应的帧内预测的角度沿纵方向变为2倍时，将取与帧内预测模式19所对应的帧内预测的角度相近的值，使与第1帧内预测模式17对应的帧内预测的角度沿纵方向变为2倍时，将取与帧内预测模式20所对应的帧内预测的角度相近的值。因此，可以如图19所示那样，在第1帧内预测模式为16时，使第2帧内预测模式成为19，在第1帧内预测模式为17时，使第2帧内预测模式成为20。

另一方面，若帧内色差预测模式intrapredmode1不小于18，即在18以上(图23的步骤s3003的no)，则使与第1帧内色差预测模式intrapredmode1对应的第1帧内预测的角度intrapredangle1变为1/2倍，作为帧内预测的角度intrapredangle2'(图23的步骤s3006～s3007)。在本实施例中，根据与第1帧内色差预测模式intrapredmode1对应的第1帧内预测的角度intrapredangle1的正负符号，若为负，则将变量signintrapredangle的值设定为-1，若为正或者变量a为0，则将变量signintrapredangle的值设定为1(图23的步骤s3006)，在对第1帧内色差预测模式intrapredmode1的绝对值进行与1/2倍处理等价的1比特右移位运算后，使该运算的结果乘以变量signintrapredangle，设定为帧内预测的角度intrapredangle2'(图23的步骤s3007)。需要说明的是，也可以在使第1帧内色差预测模式intrapredmode1的绝对值加1后对其进行与1/2倍处理等价的1比特右移位运算，然后使该运算结果乘以变量signintrapredangle，设定为帧内预测的角度intrapredangle2'。然后，将按照与帧内预测的角度intrapredangle2'接近的帧内亮度预测模式和第1帧内色差预测模式而准备的帧内预测的角度(图8的下面部分)所对应的帧内预测模式(图8的上面部分)的值，设定给第2帧内预测模式intrapredmode2(图23的步骤s3008)，结束本导出处理。在使帧内预测的角度intrapredangle2'的值规整成按帧内亮度预测模式及第1帧内色差预测模式准备的帧内预测的角度时，可以规整成最接近帧内预测的角度intrapredangle2'的值，也可以进行四舍五入、进一、或去尾。此外，还可以对将帧内预测的角度intrapredangle2'的绝对值四舍五入或进一或去尾而得到的值，设定与帧内预测的角度intrapredangle2'相同的正负符号。

需要说明的是，在使第1帧内色差预测模式25的帧内预测的角度变为1/2倍时，其成为-1，可以将-1规整成(变换成)与帧内预测模式值25对应的-2和与帧内预测模式值26对应的0的其中一个值，但表示垂直预测的26总是能编码的，故在将第1帧内色差预测模式25变换成第2帧内色差预测模式时，采用25。在使第1帧内色差预测模式27的帧内预测的角度变为1/2倍时，其成为1，可以规整成(变换成)与帧内预测模式值26对应的0和与帧内预测模式值27对应的2的其中一个值，但表示垂直预测的26总是能编码的，故在将第1帧内色差预测模式27变换成第2帧内色差预测模式时，采用27。即，在利用图15、图16、图17、图30及图33所示的变换表从第1帧内色差预测模式向第2帧内色差预测模式变换时，若第1帧内色差预测模式并非作为垂直预测的26，则变换成规避开作为垂直预测的26的值，由此从第1帧内色差预测模式导出第2帧内色差预测模式。即，以如下方式进行变换：规避开能从在帧内亮度预测模式的值与帧内色差预测模式的值不一致时所选择的帧内色差预测模式的句法要素(图14、图25的0、1、2、3)导出的值(0、1、10、26、34)。通过这样设定，帧内色差预测模式的选择面变宽，能使编码效率提高。

需要说明的是，在步骤s3005及s3008中，将与帧内预测的角度intrapredangle2'接近的第1帧内预测的角度intrapredangle1所对应的帧内亮度预测模式或第1帧内色差预测模式intrapredmode1的值设定给第2帧内预测模式intrapredmode2，由此，在用硬件实现色差格式4：2：2下的色差信号的帧内预测运算时，能仅以与帧内亮度预测模式或第1帧内色差预测模式intrapredmode1对应的帧内预测的角度实现利用了第2帧内色差预测模式的帧内预测运算，故无需追加新的与帧内预测的角度相关的硬件就能进行。

需要说明的是，该角度预测中也包括从上方的已解码块沿垂直方向进行预测的垂直预测(帧内预测模式intrapredmode1＝26)、从左方的已解码块沿水平方向进行预测的水平预测(帧内预测模式intrapredmode1＝10)。但是，在垂直预测及水平预测中，即使进行步骤s3003以后的从第1帧内色差预测模式向第2帧内色差预测模式的变换处理，值也不会变。因此，在步骤s3001的条件判断中，在垂直预测及水平预测的情况下可以进入步骤s3002。

利用图24的流程图，说明在色差格式4：2：2时，从与图17的变换表对应的第1帧内色差预测模式向第2帧内色差预测模式变换时的导出处理步骤。

若并非角度预测，即第1帧内预测模式intrapredmode1在1以下(图24的步骤s3101的no)，则将第1帧内预测模式intrapredmode1的值直接作为第2帧内色差预测模式intrapredmode2(图24的步骤s3102)，结束本导出处理。

另一方面，若第1帧内色差预测模式intrapredmode1是角度预测、即比1大(图24的步骤s3101的yes)，则进行步骤s3103以后的从第1帧内色差预测模式向第2帧内色差预测模式的变换处理。

若第1帧内色差预测模式intrapredmode1比18小(图24的步骤s3103的yes)，则使由图14的表导出的第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，将由此导出的值作为第2帧内色差预测模式的值(图32的步骤s3304～s3307)。将从第1帧内色差预测模式intrapredmode1减去表示水平预测的10后所得到的值设定给变量a(图24的步骤s3104)。接下来，将使变量a变成2倍而得到的值设定给变量b(图24的步骤s3105)。接下来，将使b加上表示水平预测的10而得到的值设定给变量c(图24的步骤s3106)。接下来，将把变量c的值限制在2以上18以下而得到的值设定给第2帧内预测模式intrapredmode2(图24的步骤s3107)，结束本导出处理。具体来说，若变量c在2以上、不足18，则对帧内预测模式intrapredmode2的值直接设定变量c，若变量c不足2，则对帧内预测模式intrapredmode2设定2，若变量c超过18，则对帧内预测模式intrapredmode2设定18。即，当将第1帧内色差预测模式的角度预测的模式编号缩放而导出的值超出帧内预测模式所规定的角度预测的模式编号范围时，使导出的值成为该范围内的值。由此，在用硬件实现色差格式4：2：2下的色差信号的帧内预测运算时，能无需追加硬件地进行利用了第2帧内色差预测模式的帧内预测运算。

另一方面，若第1帧内色差预测模式intrapredmode1不比18小、即在18以上(图24的步骤s3103的no)，则将由图14的表导出的第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值(图24的步骤s3108～s3112)。将从第1帧内色差预测模式intrapredmode1减去表示垂直预测的26后得到的值设定给变量a(图24的步骤s3108)。接下来，根据变量a的正负符号，若为负，则将变量signintrapredmode的值设定为-1，若为正或变量a为0，则将变量signintrapredmode的值设定为1(图24的步骤s3109)。接下来，对变量a的绝对值进行与1/2倍处理等价的1比特右移位运算，并将使该运算结果乘以变量signintrapredmode后得到的值设定给变量b(图24的步骤s3110)。需要说明的是，也可以在使变量a的绝对值加1后，对其进行与1/2倍处理等价的1比特右移位运算，将对该运算结果乘以变量signintrapredmode后得到的值设定给变量b。接下来，将使b加上表示垂直预测的26后得到的值设定给变量c(图24的步骤s3111)。接下来，将变量c的值设定给第2帧内预测模式intrapredmode2(图24的步骤s3112)，结束本导出处理。需要说明的是，在与第1帧内色差预测模式25对应的变量c的值要变成26时，规避开总能进行编码的表示垂直预测的26，在将第1帧内色差预测模式25向第2帧内色差预测模式变换时，采用25。在与第1帧内色差预测模式27对应的变量c的值要变成26时，规避开总能进行编码的表示垂直预测的26，在将第1帧内色差预测模式27向第2帧内色差预测模式变换时，采用27。即，以如下方式进行规整(变换)：规避开能从在帧内亮度预测模式的值与帧内色差预测模式的值不一致时所选择的帧内色差预测模式的句法要素(图14、图25的0、1、2、3)导出的值(0、1、10、26、34)。

通过这样设定，帧内色差预测模式的选择面变宽，能使编码效率提高。在本导出处理步骤中，为了以规避开能从在帧内亮度预测模式的值与帧内色差预测模式的值不一致时所选择的帧内色差预测模式的句法要素(图14、图25的1)导出的值26的方式进行变换，在步骤s3110中，在对变量a的绝对值进行1比特右移位运算前，使变量a的绝对值加1。

利用图32的流程图说明在色差格式为4：2：2时，从与图30的变换表对应的第1帧内色差预测模式向第2帧内色差预测模式变换时的导出处理步骤。

若非角度预测、即第1帧内预测模式intrapredmode1在1以下(图32的步骤s3301的no)，则将第1帧内预测模式intrapredmode1的值直接作为第2帧内色差预测模式intrapredmode2(图32的步骤s3302)，结束本导出处理。

另一方面，若第1帧内色差预测模式intrapredmode1为角度预测、即比1大(图32的步骤s3301的yes)，则进行步骤s3303以后的从第1帧内色差预测模式向第2帧内色差预测模式的变换处理。

若第1帧内色差预测模式intrapredmode1比16小、即在15以下(图32的步骤s3303的yes)，则使由图14的表导出的第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，并限制在2以上，将由此导出的值作为第2帧内色差预测模式的值(图32的步骤s3304～s3307)。将从第1帧内色差预测模式intrapredmode1减去表示水平预测的10后得到的值设定给变量a(图32的步骤s3304)。接下来，将使变量a变为2倍后得到的值设定给变量b(图32的步骤s3305)。接下来，将使b加上表示水平预测的10后得到的值设定给变量c(图32的步骤s3306)。接下来，将使变量c的值限制在2以上而得到的值设定给第2帧内预测模式intrapredmode2(图32的步骤s3307)，结束本导出处理。具体来说，若变量c在2以下，则使帧内预测模式intrapredmode2的值为2。即，当将第1帧内色差预测模式的角度预测的模式编号缩放而导出的值处于帧内预测模式规定的角度预测的模式编号的范围外时，使导出的值成为该范围内的值。由此，在用硬件实现色差格式4：2：2下的色差信号的帧内预测运算时，能无需追加硬件地进行利用了第2帧内色差预测模式的帧内预测运算。

另一方面，若第1帧内色差预测模式intrapredmode1不比16小、即在16以上(图32的步骤s3303的no)，则使由图14的表导出的第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值(图32的步骤s3308～s3312)。将从第1帧内色差预测模式intrapredmode1减去表示垂直预测的26后得到的值设定给变量a(图32的步骤s3308)。接下来，根据变量a的正负符号，若为负，则将变量signintrapredmode的值设定为-1，若为正或变量a为0，则将变量signintrapredmode的值设定为1(图32的步骤s3309)。接下来，对变量a的绝对值进行与二分之一倍处理等价的1比特右移位运算，将使该运算的结果乘以变量signintrapredmode后得到的值设定给变量b(图32的步骤s3310)。需要说明的是，也可以使变量a的绝对值加1后再进行与二分之一倍处理等价的1比特右移位运算，并将使该运算的结果乘以变量signintrapredmode而得到的值设定给变量b。接下来，将使b加上表示垂直预测的26而得到的值设定给变量c(图32的步骤s3311)。接下来，将变量c的值设定给第2帧内预测模式intrapredmode2(图32的步骤s3312)，结束本导出处理。需要说明的是，当与第1帧内色差预测模式25对应的变量c的值要变成26时，规避开总能进行编码的表示垂直预测的26，在将第1帧内色差预测模式25变换成第2帧内色差预测模式时，采用25。在与第1帧内色差预测模式27对应的变量c的值要变成26时，规避开总能进行编码的表示垂直预测的26，在将第1帧内色差预测模式27变换成第2帧内色差预测模式时，采用27。即，在利用图15、图16、图17、图30及图33所示的变换表从第1帧内色差预测模式向第2帧内色差预测模式变换时，若第1帧内色差预测模式并非作为垂直预测的26，则变换成规避开作为垂直预测的26的值，由此从第1帧内色差预测模式导出第2帧内色差预测模式。即，以如下方式进行规整(变换)：规避开能从在帧内亮度预测模式的值与帧内色差预测模式的值不一致时所选择的帧内色差预测模式的句法要素(图14、图25的0、1、2、3)导出的值(0、1、10、26、34)。在本导出处理步骤中，为规避开能从在帧内亮度预测模式的值与帧内色差预测模式的值不一致时所选择的帧内色差预测模式的句法要素(图14、图25的1)导出的值26地进行变换，在步骤s3310中，在对变量a的绝对值进行1比特右移位运算前，使变量a的绝对值加1。

需要说明的是，在本导出处理步骤的步骤s3303中，若帧内色差预测模式intrapredmode1比16小、即在15以下，则使第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，并限制在2以上，将由此导出的值作为第2帧内色差预测模式的值(图32的步骤s3304～s3307)，若帧内色差预测模式intrapredmode1不比16小、即在16以上，则使第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值(图32的步骤s3308～s3312)，但也可以若帧内色差预测模式intrapredmode1比15小、即在14以下，则使第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，将由此导出的值作为第2帧内色差预测模式的值(图32的步骤s3304～s3307)，若帧内色差预测模式intrapredmode1不比15小、即在15以上，则使第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值(图32的步骤s3308～s3312)，变换结果在结果上是相同的。这是因为，当帧内色差预测模式intrapredmode1为15时，通过使第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍而导出的值、与通过使第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍而导出的值是相等的。

接下来，利用图35的流程图说明在色差格式为4：2：2时，从与图33的变换表对应的第1帧内色差预测模式变换成第2帧内色差预测模式时的导出处理步骤。

若非角度预测、即第1帧内预测模式intrapredmode1在1以下(图35的步骤s3401的no)，则将第1帧内预测模式intrapredmode1的值直接作为第2帧内色差预测模式intrapredmode2(图35的步骤s3402)，结束本导出处理。

另一方面，若第1帧内色差预测模式intrapredmode1为角度预测、即比1大(图35的步骤s3401的yes)，则进行步骤s3403以后的从第1帧内色差预测模式向第2帧内色差预测模式的变换处理。

若第1帧内色差预测模式intrapredmode1比7小、即在6以下(图35的步骤s3403的yes)，则将从第1帧内色差预测模式intrapredmode1减去表示水平预测的3后得到的值设定给变量c(图35的步骤s3407)。接下来，将使变量c的值限制在2以上而得到的值设定给第2帧内预测模式intrapredmode2(图35的步骤s3408)，结束本导出处理。具体来说，若变量c在2以上，则将变量c直接设定给帧内预测模式intrapredmode2，若变量c不足2，则将2设定给帧内预测模式intrapredmode2。即，当将第1帧内色差预测模式的角度预测的模式编号缩放而导出的值在帧内预测模式规定的角度预测的模式编号的范围外时，使导出的值成为该范围内的值。由此，在用硬件实现色差格式4：2：2下的色差信号的帧内预测运算时，无需追加硬件就能进行利用了第2帧内色差预测模式的帧内预测运算。

另一方面，若第1帧内色差预测模式intrapredmode1不比7小且第1帧内色差预测模式intrapredmode1比14小、即在7以上13以下(图35的步骤s3403的no且步骤s3404的yes)，则使由图14的表导出的第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，将由此导出的值作为第2帧内色差预测模式的值(图35的步骤s3409～s3412)。将从第1帧内色差预测模式intrapredmode1减去表示水平预测的10后得到的值设定给变量a(图35的步骤s3409)。接下来，将使变量a变成2倍而得到的值设定给变量b(图35的步骤s3410)。接下来，将使b加上表示水平预测的10而得到的值设定给变量c(图35的步骤s3411)。接下来，将变量c的值设定给第2帧内预测模式intrapredmode2(图35的步骤s3412)，结束本导出处理。

另一方面，若第1帧内色差预测模式intrapredmode1不比14小且比21小、即在14以上20以下(图35的步骤s3404的no且步骤s3405的yes)，则将使第1帧内色差预测模式intrapredmode1加3后得到的值设定给变量c(图35的步骤s3413)。接下来，将变量c的值设定给第2帧内预测模式intrapredmode2(图35的步骤s3414)，结束本导出处理。

另一方面，若第1帧内色差预测模式intrapredmode1不比21小且比32小、即在21以上31以下(图35的步骤s3405的no且步骤s3406的yes)，则使由图14的表导出的第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值(图35的步骤s3415～s3419)。将从第1帧内色差预测模式intrapredmode1减去表示垂直预测的26后得到的值设定给变量a(图35的步骤s3415)。接下来，根据变量a的正负符号，若为负，则将变量signintrapredmode的值设定为-1，若为正或变量a为0，则将变量signintrapredmode的值设定为1(图35的步骤s3416)。接下来，对变量a的绝对值进行与二分之一倍处理等价的1比特右移位运算，将对该运算的结果乘以变量signintrapredmode而得到的值设定给变量b(图35的步骤s3417)。需要说明的是，也可以对变量a的绝对值加1后再进行与二分之一倍处理等价的1比特右移位运算，将使该运算的结果乘以变量signintrapredmode后得到的值设定给变量b。接下来，将使b加上表示垂直预测的26后得到的值设定给变量c(图35的步骤s3418)。接下来，将变量c的值设定给第2帧内预测模式intrapredmode2(图35的步骤s3419)，结束本导出处理。需要说明的是，当与第1帧内色差预测模式25对应的变量c的值要变成26时，规避开总能进行编码的表示垂直预测的26，在将第1帧内色差预测模式25向第2帧内色差预测模式变换时，采用25。在与第1帧内色差预测模式27对应的变量c的值要变成26时，规避开总能进行编码的表示垂直预测的26，在将第1帧内色差预测模式27向第2帧内色差预测模式变换时，采用27。即，以如下方式进行规整(变换)：规避开能从在帧内亮度预测模式的值与帧内色差预测模式的值不一致时所选择的帧内色差预测模式的句法要素(图14、图25的0、1、2、3)导出的值(0、1、10、26、34)。在本导出处理步骤中，为规避开能从在帧内亮度预测模式的值与帧内色差预测模式的值不一致时所选择的帧内色差预测模式的句法要素(图14、图25的1)导出的值26地进行变换，在步骤s3417中，在对变量a的绝对值进行1比特右移位运算前，使变量a的绝对值加1。

另一方面，若第1帧内色差预测模式intrapredmode1不比32小、即在32以上(图35的步骤s3416的no)，则将从第1帧内色差预测模式intrapredmode1减3而得到的值设定给变量c(图35的步骤s3420)。接下来，将变量c的值设定给第2帧内预测模式intrapredmode2(图35的步骤s3421)，结束本导出处理。

需要说明的是，在本导出处理步骤的步骤s3403中，若帧内色差预测模式intrapredmode1在6以下，则是将从第1帧内色差预测模式减3得到的值限制在2以上来作为第2帧内色差预测模式的，但为了简化，也可以省略步骤s3403的条件判断，与帧内色差预测模式intrapredmode1在7以上13以下时同样地、当帧内色差预测模式intrapredmode1在6以下时，也使第1帧内色差预测模式以水平预测(帧内预测模式10)为中心沿垂直方向缩放为2倍，将由此导出的值作为第2帧内色差预测模式的值(图35的步骤s3409～s3412)。但在步骤s3412中，与s3408同样地将在步骤s3411中导出的变量c限制在2以上来作为第2帧内色差预测模式。

此外，在本导出处理步骤的步骤s3406中，若帧内色差预测模式intrapredmode1在32以上，则是将从第1帧内色差预测模式减3而得到的值作为第2帧内色差预测模式的，但为了简化，也可以省略步骤s3406的条件判断，同帧内色差预测模式intrapredmode1在21以上31以下时一样地、当帧内色差预测模式intrapredmode1在32以上时，也使第1帧内色差预测模式以垂直预测(帧内预测模式26)为中心沿水平方向缩放为二分之一倍，将由此导出的值作为第2帧内色差预测模式的值(图35的步骤s3415～s3419)。

另一方面，当色差格式为4：2：0或4：4：4时，亮度信号的帧内预测方向的样本化的比率与色差信号的水平方向及垂直方向的样本化的比率是一致的，故无需将由图14的表导出的第1帧内色差预测模式变换成第2帧内色差预测模式。参照图22对此进行说明。图22是说明色差格式4：2：0时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。图22的(a)表示色差格式4：2：0时的亮度信号和色差信号的配置，色差信号相对于亮度信号在水平、垂直方向上都被以1/2比率进行样本化(采样)，亮度信号和色差信号的像素的纵横比是相同的。标号2704所示的从像素p4指向像素p5的箭头表示亮度信号的像素p4的帧内预测方向。标号2705所示的从像素p1指向像素p2的箭头表示色差信号的像素p1的帧内预测方向。标号2704所示的从像素p4指向像素p5的箭头和标号2705所示的从像素p1指向像素p2的箭头朝向相同方向，帧内预测方向是相同的。在此情况下，在图22的(b)所示的色差信号的排列中，亮度信号的帧内预测方向也直接如标号2706所示那样是色差信号的帧内预测方向，能够正确地参照色差信号的像素p1的参照目标像素p2。

需要说明的是，在帧内预测部103中考虑以上情况地预测帧内色差预测模式的值时，根据色差格式，从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值预测帧内色差预测模式的值。即，在亮度信号与色差信号的像素的纵横比相同的色差格式4：2：0或4：4：4下预测帧内色差预测模式的值时，将从图14的表得到的帧内色差预测模式的值直接作为色差格式4：2：0或4：4：4用的帧内色差预测模式的值，根据该帧内色差预测模式进行色差信号的帧内预测。在色差格式4：2：2下预测帧内色差预测模式的值时，通过图15、图16、图17、图30、或图33所示的变换表，基于从图14的表得到的帧内色差预测模式的值导出色差格式4：2：2用的帧内色差预测模式的值，根据该帧内色差预测模式进行色差信号的帧内预测。

图25是基于帧内色差预测模式的值和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，导出与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值的表，在编码侧使用的图25的表与在解码侧使用的图14的表是对应的。利用该图25所示的表，在编码侧导出句法要素intra_chroma_pred_mode[x0][y0]的值。

当第1或第2帧内色差预测模式的值为0时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为0，则句法要素intra_chroma_pred_mode[x0][y0]的值取0，若帧内亮度预测模式的值为0，则句法要素intra_chroma_pred_mode[x0][y0]的值取4。

当第1或第2帧内色差预测模式的值为26时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为26，则句法要素intra_chroma_pred_mode[x0][y0]的值取1，若帧内亮度预测模式的值为26，则句法要素intra_chroma_pred_mode[x0][y0]的值取4。

当第1或第2帧内色差预测模式的值为10时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为10，则句法要素intra_chroma_pred_mode[x0][y0]的值取2，若帧内亮度预测模式的值为10，则句法要素intra_chroma_pred_mode[x0][y0]的值取4。

当第1或第2帧内色差预测模式的值为1时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为10，则句法要素intra_chroma_pred_mode[x0][y0]的值取3，若帧内亮度预测模式的值为10，则句法要素intra_chroma_pred_mode[x0][y0]的值取4。

当第1帧内色差预测模式的值为34时，若与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值不为0，则句法要素intra_chroma_pred_mode[x0][y0]的值取0，若帧内亮度预测模式的值为1，则句法要素intra_chroma_pred_mode[x0][y0]的值取1，若帧内亮度预测模式的值为2，则句法要素intra_chroma_pred_mode[x0][y0]的值取2，若帧内亮度预测模式的值为3，则句法要素intra_chroma_pred_mode[x0][y0]的值取3，若帧内亮度预测模式的值为34，则句法要素intra_chroma_pred_mode[x0][y0]的值取4。

当第1帧内色差预测模式的值和与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值相同时，句法要素intra_chroma_pred_mode[x0][y0]的值取4。但是，当在色差格式4：2：2下预测帧内色差预测模式的值时，在帧内预测部103中，通过图15、图16、图17、图30、或图33所示的变换表从色差格式4：2：0或4：4：4用的第1帧内色差预测模式导出色差格式4：2：2用的第2帧内色差预测模式，第2帧内色差预测模式被用于色差格式4：2：2用的色差信号的帧内预测。

需要说明的是，在确定与色差信号的预测块相同位置的亮度信号的预测块时，可以通过参照用于确定各个预测块的分割索引partidx来进行确定，也可以通过参照表示各个预测块的位置的坐标来进行确定。

需要说明的是，根据从色差格式设定部101供给的分割模式与色差格式的组合，编码块内的预测块的帧内色差预测模式的数量是不同的。当分割模式为2n×2n分割时，不论色差格式的种类如何，都针对每个编码块分别导出1个与预测块的帧内色差预测模式相关的句法要素的值。

当分割模式为n×n分割且色差格式为4：2：0时，针对每个编码块分别导出1个与预测块的帧内色差预测模式相关的句法要素的值。当分割模式为n×n分割且色差格式为4：2：2时，针对每个编码块分别导出2个与预测块的帧内色差预测模式相关的句法要素的值。当分割模式为n×n分割且色差格式为4：4：4时，针对每个编码块分别导出4个与预测块的帧内色差预测模式相关的句法要素的值。图11是说明帧内预测时的n×n分割下的编码块向色差信号的预测块分割的分割方法的图。图11的(a)表示n×n分割时的亮度信号，图11的(b)表示色差格式为4：2：0时的n×n分割下的色差信号，图11的(c)表示色差格式为4：2：2时的n×n分割下的色差信号，图11的(d)表示色差格式为4：4：4时的n×n分割下的色差信号。当色差格式为4：2：0、4：4：4时，亮度信号的编码块与色差信号的编码块相似，两块的纵横比一致。色差格式为4：2：2时，亮度信号的编码块与色差信号的编码块不相似，两编码块的纵横比不同。需要说明的是，同色差格式4：2：0时一样，在色差格式为4：2：2和4：4：4时，在分割模式为n×n分割的色差信号中也可以不分割编码块地作为1个预测块。需要说明的是，同色差格式为4：0：0时一样，在色差格式为4：2：2和4：4：4时，对于分割模式为n×n分割的色差信号，也可以不分割编码块地作为1个预测块。

与帧间预测信息相关的句法要素导出部124在编码块的预测模式(predmode)为帧间预测(mode_inter)时，导出与预测块单位的帧间预测信息相关的句法要素的值，并将导出的各句法要素的值提供给熵编码部126。预测块单位的帧间预测信息中包括帧间预测模式(l0预测、l1预测、两预测)、确定多个参照图像的索引、运动矢量等信息。

熵编码部126对从与编码块单位的编码信息相关的句法要素导出部121供给的与编码块单位的编码信息相关的句法要素的值、从与帧内亮度预测模式相关的句法要素导出部122供给的与亮度信号的预测块的帧内亮度预测模式相关的句法要素的值、从与帧内色差预测模式相关的句法要素导出部123供给的与色差信号的预测块的帧内色差预测模式相关的句法要素的值、以及从与帧间预测信息相关的句法要素导出部124供给的与预测块单位的帧间预测信息相关的句法要素的值，按照既定的句法规则进行熵编码。此时，帧内预测模式编码控制部125根据分割模式和色差格式控制帧内亮度预测模式和帧内色差预测模式的熵编码的顺序，熵编码部126按照该帧内预测模式编码控制部125指示的顺序，进行帧内亮度预测模式和帧内色差预测模式的熵编码处理。

接下来，针对图2的第2编码流解码部203所进行的编码块及预测块单位的编码信息的解码处理，以作为实施方式特征的帧内预测模式的相关点为中心进行说明。图13是表示图2的第2编码流解码部203的构成的功能框图。

如图13所示，图2的第2编码流解码部203由帧内预测模式解码控制部221、熵解码部222、编码块单位的编码信息导出部223、帧内亮度预测模式导出部224、帧内色差预测模式导出部225、帧间预测信息导出部226构成。在构成第2编码流解码部203的各部中，进行与从色差格式管理部205供给的色差格式信息相应的处理，并进行与编码块单位的预测模式、分割模式等编码信息相应的处理。

熵解码部222对从编码流分离部201供给的包含编码块及预测块单位的编码信息的第2编码流按照既定的句法规则进行熵解码，得到与编码块单位的编码信息相关的句法要素的值、与亮度信号的预测块的帧内亮度预测模式相关的句法要素的值、与色差信号的预测块的帧内色差预测模式相关的句法要素的值、以及与预测块单位的帧间预测信息相关的句法要素的值。此时，帧内预测模式解码控制部221根据分割模式和色差格式控制帧内亮度预测模式和帧内色差预测模式的熵解码的顺序，熵解码部222按照该帧内预测模式解码控制部221指示的顺序进行帧内亮度预测模式和帧内色差预测模式的熵解码处理。帧内预测模式解码控制部221是与编码侧的帧内预测模式编码控制部125对应的控制部，根据分割模式和色差格式设定与帧内预测模式编码控制部125所设定的帧内预测模式的编码顺序相同的帧内预测模式的解码顺序，控制熵解码部222的帧内预测模式的解码顺序。熵解码部222是与编码侧的熵编码部126对应的解码部，按照与熵编码部126中使用的句法规则相同的规则进行熵解码处理。

解码得到的与编码块单位的编码信息相关的句法要素的值被提供给编码块单位的编码信息导出部223，与亮度信号的预测块的帧内亮度预测模式相关的句法要素的值被提供给帧内亮度预测模式导出部224，与色差信号的预测块的帧内色差预测模式相关的句法要素的值被提供给帧内色差预测模式导出部225，与预测块单位的帧间预测信息相关的句法要素的值被提供给帧间预测信息导出部226。

编码块单位的编码信息导出部223基于被供给的与编码块单位的编码信息相关的句法要素的值导出编码块单位的编码信息，并介由开关212提供给帧内预测部206或帧间预测部207。

编码块单位的编码信息导出部223是对应于编码侧的与编码块单位的编码信息相关的句法要素导出部121的编码信息导出部，在编码侧和解码侧按照共通的规则导出编码信息。与判别编码块的帧内预测(mode_intra)或帧间预测(mode_inter)的预测模式(predmode)、及判别预测块的形状的分割模式(partmode)相关的值在该编码块单位的编码信息导出部223中被导出。

帧内亮度预测模式导出部224在编码块单位的编码信息导出部223所导出的编码块的预测模式(predmode)为帧内预测(mode_intra)时，从所被供给的与亮度信号的预测块的帧内亮度预测模式相关的句法要素的值导出亮度信号的预测块的帧内亮度预测模式，提供给帧内色差预测模式导出部225，并介由开关212提供给帧内预测部206。帧内亮度预测模式导出部224是对应于编码侧的与帧内亮度预测模式相关的句法要素导出部122的导出部，在编码侧和解码侧按共通的规则进行导出。与帧内亮度预测模式相关的句法要素是作为表示能否从周边块的帧内亮度预测模式进行预测的标志的句法要素prev_intra_luma_pred_flag[x0][y0]、作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]、以及表示预测块单位的帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]。在帧内亮度预测模式的导出过程中，利用与保存在编码信息保存存储器210中的周边块的帧内亮度预测模式的相关性，若能从周边块的帧内亮度预测模式进行预测，则作为表示要采用该值的标志的句法要素prev_intra_luma_pred_flag[x0][y0]变成1(真)，将作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]所指示的周边预测块的帧内亮度预测模式作为该预测模式的帧内亮度预测模式。若句法要素prev_intra_luma_pred_flag[x0][y0]为0(假)，则不从周边预测块预测帧内亮度预测模式，而是从解码出的表示帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]的值导出帧内亮度预测模式。

需要说明的是，根据分割模式，编码块内的预测块的帧内亮度预测模式的数量会有不同，当分割模式为2n×2n分割时，针对每个编码块导出1组预测块的帧内亮度预测模式的值，当分割模式为n×n分割时，针对每个编码块导出4组预测块的帧内亮度预测模式的值。

帧内色差预测模式导出部225在编码块单位的编码信息导出部223所导出的编码块的预测模式(predmode)为帧内预测(mode_intra)时，基于所被供给的与色差信号的预测块的帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值和从帧内亮度预测模式导出部224供给的帧内亮度预测模式的值，按照图14的表导出第1帧内色差预测模式的值。当色差格式为4：2：0或4：4：4时，将第1帧内色差预测模式作为色差信号的帧内预测模式介由开关212提供给帧内预测部206。此外，当色差格式为4：2：2时，通过图15、图16、图17、图30或图33的变换表，从第1帧内色差预测模式导出第2帧内色差预测模式，将第2帧内色差预测模式作为色差信号的帧内预测模式介由开关212提供给帧内预测部206。帧内色差预测模式导出部225是对应于编码侧的与帧内色差预测模式相关的句法要素导出部123的编码信息导出部，在编码侧和解码侧按照共通的规则进行导出。在编码侧，在帧内色差预测模式的编码过程中，利用与跟色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的相关性，若在编码侧判断为将基于与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式进行预测的预测值作为帧内色差预测模式的值最合适，则基于帧内亮度预测模式的值预测帧内色差预测模式的值，若判断为与其从帧内亮度预测模式进行预测，对帧内色差预测模式设定独自的值更好，则对帧内色差预测模式设定作为代表性的帧内预测模式的0(平面预测)、1(平均值预测)、10(水平预测)、26(垂直预测)、34(斜向预测)的任一值，通过采用该方式来削减码量。

帧间预测信息导出部226在编码块的预测模式(predmode)为帧间预测(mode_inter)时，基于与预测块单位的帧间预测信息相关的句法要素的值导出帧间预测信息，将导出的帧间预测信息的值介由开关212提供给帧间预测部207。帧间预测信息导出部226是对应于编码侧的与帧间预测信息相关的句法要素导出部124的帧间预测信息导出部，在编码侧和解码侧按共通的规则进行导出。导出的预测块单位的帧间预测信息包含帧间预测模式(l0预测、l1预测、两预测)、用于确定多个参照图像的索引及运动矢量等的信息。

下面说明解码侧的帧内预测模式的解码及帧内预测的处理步骤。图26是说明解码侧的第2编码流解码部203及帧内预测部206中实施的帧内预测模式的解码及帧内预测的处理步骤的图。首先，在第2编码流解码部203的帧内亮度预测模式导出部224中解码帧内亮度预测模式(图26的步骤s4001)。接下来，在第2编码流解码部203的帧内色差预测模式导出部225中按照图14的表解码第1帧内色差预测模式(图26的步骤s4002)。接下来，若色差格式不为4：2：2(图26的步骤s4003的no)，则进入步骤s4004，若色差格式为4：2：2(图26的步骤s4003的yes)，则在第2编码流解码部203的帧内色差预测模式导出部225中利用图15、图16、图17、图30或图33的变换表，基于第1帧内色差预测模式导出第2帧内色差预测模式(图26的步骤s4004)。接下来，在帧内预测部206中进行亮度信号及色差信号的帧内预测(图26的步骤s4004)。需要说明的是，关于图26的步骤s4004的从第1帧内色差预测模式导出第2帧内色差预测模式的处理，也可以不在第2编码流解码部203的帧内色差预测模式导出部225中、而是在帧内预测部206中实施。

需要说明的是，在平面预测的帧内预测模式为0、以及平均值预测的帧内预测模式为1的情况下，同色差格式4：2：0、色差格式4：4：4时一样，在色差格式4：2：2时也分别按平面预测的帧内预测模式0及平均值预测的帧内预测模式1进行帧内预测，故在图15、图16、图17、图30或图33的变换表中，即使从第1帧内色差预测模式变换成第2帧内色差预测模式，值也是相同的。因此，在并非角度预测的帧内预测模式0及1时，也可以在利用图15、图16、图17、图30或图33的变换表从第1帧内色差预测模式的值导出第2帧内色差预测模式的值后，再实施帧内预测，还可以不利用图15、图16、图17、图30或图33的变换表导出第2帧内色差预测模式，按照第1帧内色差预测模式直接实施帧内预测。

在本实施方式的图像编码装置及图像解码装置中，说明了在色差格式为4：2：2时，利用图15、图16、图17、图30或图33的变换表从第1帧内色差预测模式的值导出第2帧内色差预测模式的值的情况，但也可以不用变换表，而是通过计算式从第1帧内色差预测模式的值导出第2帧内色差预测模式的值。

在本实施方式的图像编码装置及图像解码装置中，说明了在亮度信号与色差信号的像素的纵横比不同的色差格式4：2：2时，利用图15、图16、图17、图30或图33的变换表从第1帧内色差预测模式的值导出第2帧内色差预测模式的值的情况，但在编码装置的帧内预测部103及解码装置的帧内预测部206中，也可以不变换成第2帧内色差预测模式，而是按照图27或图28所示的帧内预测模式，准备一个除了对应非色差格式4：2：2的色差信号的帧内预测的角度(亮度信号用的帧内预测的角度、及色差格式4：2：0、4：4：4的色差信号用的帧内预测的角度)外、还对应色差格式4：2：2的色差信号用的帧内预测的角度的表，在色差格式为4：2：2时能够利用该表从第1帧内色差预测模式导出色差格式4：2：2的色差信号用的帧内预测的角度，利用该角度进行色差信号的帧内预测。图27及图28是在基于帧内预测模式导出除色差格式4：2：2的色差信号外的帧内预测的角度(亮度信号用的帧内预测的角度、及色差格式4：2：0、4：4：4的色差信号用的帧内预测的角度)、以及色差格式4：2：2用的色差信号的帧内预测的角度时所使用的表。图27是设定了色差格式4：2：2的色差信号用的帧内预测的角度的表，使得得到与利用图15的变换表从第1帧内色差预测模式的值导出第2帧内色差预测模式的值来进行色差信号的帧内预测时相同的结果。在色差格式为4：2：2时，按照图27的表导出色差信号用的帧内预测的角度进行帧内预测，由此，与利用图15的变换表从第1帧内色差预测模式的值导出第2帧内色差预测模式的值而进行色差信号的帧内预测时是相同的结果。

另外，图28是设定有使帧内预测的角度在垂直方向上成为2倍、在水平方向上成为二分之一倍的结果的表。利用图29的流程图说明在色差格式为4：2：2时，从第1帧内色差预测的角度变换成第2帧内色差预测的角度时的图28表的导出处理步骤。

在第1帧内预测模式intrapredmode1的0至34的各值时，通过图29的流程图的步骤导出色差格式4：2：2的色差信号的帧内预测所要使用的第2帧内预测的角度intrapredmode2。

首先，若非角度预测，即第1帧内预测模式intrapredmode1在1以下(图29的步骤s3201的no)，则结束本导出处理。第1帧内预测模式intrapredmode1在1以下，表示是通过从周围已解码的块内插像素值来进行预测的平面预测(帧内预测模式intrapredmode1＝0)、和通过从周围已解码的块导出平均值来进行预测的平均值预测(帧内预测模式intrapredmode1＝1)。

另一方面，若第1帧内色差预测模式intrapredmode1为角度预测、即比1大(图29的步骤s3201的yes)，则进行步骤s3202以后的从第1帧内预测的角度向第2帧内预测的角度的变换处理。

若帧内色差预测模式intrapredmode1比18小(图29的步骤s3202的yes)，则使与第1帧内色差预测模式intrapredmode1对应的第1帧内预测的角度intrapredangle1变为2倍，作为第2帧内预测的角度intrapredangle2(图29的步骤s3203)。进而，将第2帧内预测的角度intrapredangle2限制在-32以上32以下(图29的步骤s3204)，结束本导出处理。具体来说，若第2帧内预测的角度intrapredangle2比-32还小，则将第2帧内预测的角度intrapredangle2设定为-32，若第2帧内预测的角度intrapredangle2比32还大，则将第2帧内预测的角度intrapredangle2设定为32。若帧内预测模式intrapredmode2在2以上、不足18，则帧内预测模式intrapredmode2保持原样。

另一方面，若帧内色差预测模式intrapredmode1不比18小、即在18以上(图29的步骤s3202的no)，则使与第1帧内色差预测模式intrapredmode1对应的第1帧内预测的角度intrapredangle1变为二分之一倍，作为第2帧内预测的角度intrapredangle2(图29的步骤s3205)，结束本导出处理。在本实施例中，对第1帧内预测的角度intrapredangle1进行与二分之一倍处理等价的1比特右移位运算，将该运算的结果设定给第2帧内预测的角度intrapredangle2。

以上说明了在色差格式为4：2：2时，利用图28的表从第1帧内预测的角度导出第2帧内预测的角度的情况，但也可以在编码装置的帧内预测部103及解码装置的帧内预测部206中不使用图28的表、而是通过基于图29的处理步骤的导出方法来从第1帧内色差预测模式的值导出第2帧内预测的角度。

以上所述的实施方式的图像编码装置输出的运动图像的编码流具有特定的数据格式，以使得能根据实施方式中采用的编码方法进行解码，与图像编码装置对应的图像解码装置能够解码该特定数据格式的编码流。

在为在图像编码装置和图像解码装置间收发编码流而采用有线或无线的网络时，可以将编码流变换成适于通信路径的传送方式的数据格式后进行传送。在该情况下，设有将图像编码装置输出的编码流变换成适于通信路径的传送方式的数据格式的编码数据而发送至网络的图像发送装置、和从网络接收编码数据并恢复成编码流而提供给图像解码装置的图像接收装置。

图像发送装置包括对图像编码装置输出的编码流进行缓存的存储器、对编码流进行打包的打包处理部、以及介由网络发送被打包后的编码数据的发送部。图像接收装置包括介由网络接收被打包了的编码数据的接收部、对接收到的编码数据进行缓存的存储器、以及对编码数据进行包处理而生成编码流并提供给图像解码装置的包处理部。

以上的关于编码和解码的处理当然可以通过采用了硬件的传送、存储、接收装置来实现，也可以通过存储在rom(只读存储器)或闪存存储器等中的固件或计算机等的软件来实现。可以将该固件程序、软件程序记录在计算机等可读取的记录介质中提供，也可以通过有线或无线的网络从服务器提供，还可以作为地面波或卫星数字广播的数据广播来提供。

以上基于实施方式说明了本发明。本领域技术人员当理解实施方式是个例示，其各构成要素或各处理过程的组合可以有各种各样的变形例，并且这样的变形例也包含在本发明的范围内。

〔标号说明〕

[项目1]

一种图像编码装置，按预测块单位对与帧内预测模式相关的信息进行编码，利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行编码，该图像编码装置的特征在于，包括：

帧内亮度预测模式编码部，设定亮度信号的预测块，基于表示所述亮度信号的预测块的帧内预测方法的亮度信号的帧内预测模式，将与亮度信号的帧内预测模式相关的句法要素编码，将与帧内亮度预测模式相关的信息编码到编码流中；

帧内色差预测模式编码部，设定色差信号的预测块，基于表示所述色差信号的预测块的帧内预测方法的色差信号的帧内色差预测模式，还参照所述帧内亮度预测模式地将与色差信号的帧内色差预测模式相关的句法要素编码，将与帧内色差预测模式相关的信息编码到编码流中；

亮度信号帧内预测部，根据所述帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及

色差信号帧内预测部，根据所述帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

[项目2]

如项目1所述的图像编码装置，其特征在于，

所述帧内色差预测模式编码部在所述亮度信号与所述色差信号的像素的纵横比不同时，将所述纵横比相同时使用的第1帧内色差预测模式的模式编号变换成使其缩放后的模式编号，来导出在所述纵横比不同时使用的第2帧内色差预测模式。

[项目3]

如项目1所述的图像编码装置，其特征在于，

所述色差信号帧内预测部在所述亮度信号与所述色差信号的像素的纵横比不同时，将所述纵横比相同时使用的第1帧内色差预测模式所规定的预测方向的角度缩放，确定出与缩放后的角度接近的角度的帧内预测模式的模式编号，来导出在所述纵横比不同时使用的第2帧内预测模式。

[项目4]

如项目1所述的图像编码装置，其特征在于，

所述色差信号帧内预测部在所述亮度信号与所述色差信号的像素的纵横比不同时，参照使所述纵横比相同时使用的帧内色差预测模式的模式编号与缩放后的角度建立了对应关系的变换表，采用变换后的角度对色差信号进行帧内预测。

[项目5]

如项目1所述的图像编码装置，其特征在于，

所述帧内色差预测模式编码部在所述亮度信号与所述色差信号的像素的纵横比不同时，基于设定有接近预测方向的值的变换表，来导出在所述纵横比不同时使用的第2帧内色差预测模式，所述预测方向是通过将与在所述纵横比相同时使用的第1帧内色差预测模式对应的预测方向的角度缩放而导出的预测方向。

[项目6]

如项目5所述的图像编码装置，其特征在于，

当将所述第1帧内色差预测模式的预测方向的角度缩放而导出的所述第2帧内色差预测模式的值处于帧内预测模式规定的模式编号的范围外时，所述帧内色差预测模式编码部使所述第2帧内色差预测模式的值成为所述帧内预测模式规定的模式编号的范围内的值。

[项目7]

如项目5或6所述的图像编码装置，其特征在于，

所述帧内色差预测模式编码部参照与帧内色差预测模式相关的句法要素及对应的帧内亮度预测模式，确定所述第1帧内色差预测模式的模式编号；

所述色差信号帧内预测部基于被如下这样设定的变换表来导出所述第2帧内色差预测模式，即，该变换表被设定使得将所述第1帧内色差预测模式的模式编号缩放后的值规避开能在帧内亮度预测模式与第1帧内色差预测模式的值不一致时导出的模式编号。

[项目8]

如项目5至7的任一项所述的图像编码装置，其特征在于，

所述帧内色差预测模式编码部参照与帧内色差预测模式相关的句法要素及对应的帧内亮度预测模式，确定所述第1帧内色差预测模式的模式编号；

所述色差信号帧内预测部基于以如下方式进行变换的变换表导出所述第2帧内色差预测模式：当所述第1帧内色差预测模式的模式编号并非表示垂直预测的值时，规避开表示垂直预测的模式编号。

[项目9]

如项目1至8的任一项所述的图像编码装置，其特征在于，

所述与帧内色差预测模式相关的句法要素的候选数比所述帧内色差预测模式的模式数少。

[项目10]

一种图像编码方法，按预测块单位对与帧内预测模式相关的信息进行编码，利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行编码，该图像编码方法的特征在于，包括：

帧内亮度预测模式编码步骤，设定亮度信号的预测块，基于表示所述亮度信号的预测块的帧内预测方法的亮度信号的帧内预测模式，将与亮度信号的帧内预测模式相关的句法要素编码，将与帧内亮度预测模式相关的信息编码到编码流中；

帧内色差预测模式编码步骤，设定色差信号的预测块，基于表示所述色差信号的预测块的帧内预测方法的色差信号的帧内色差预测模式，还参照所述帧内亮度预测模式地将与色差信号的帧内色差预测模式相关的句法要素编码，将与帧内色差预测模式相关的信息编码到编码流中；

亮度信号帧内预测步骤，根据所述帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及

色差信号帧内预测步骤，根据所述帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

[项目11]

一种图像编码程序，按预测块单位对与帧内预测模式相关的信息进行编码，利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行编码，该图像编码程序的特征在于，使计算机执行以下步骤：

帧内亮度预测模式编码步骤，设定亮度信号的预测块，基于表示所述亮度信号的预测块的帧内预测方法的亮度信号的帧内预测模式，将与亮度信号的帧内预测模式相关的句法要素编码，将与帧内亮度预测模式相关的信息编码到编码流中；

帧内色差预测模式编码步骤，设定色差信号的预测块，基于表示所述色差信号的预测块的帧内预测方法的色差信号的帧内色差预测模式，还参照所述帧内亮度预测模式地将与色差信号的帧内色差预测模式相关的句法要素编码，将与帧内色差预测模式相关的信息编码到编码流中；

亮度信号帧内预测步骤，根据所述帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及

色差信号帧内预测步骤，根据所述帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

[项目12]

一种图像解码装置，按预测块单位将与帧内预测模式相关的信息解码，利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行解码，该图像解码装置的特征在于，包括：

帧内亮度预测模式解码部，从编码流中解码出与亮度信号的帧内预测模式相关的句法要素，导出亮度信号的帧内预测模式，其中，所述编码流中编码有与表示亮度信号的预测块的帧内预测方法的帧内亮度预测模式相关的信息；

帧内色差预测模式解码部，从编码流中解码出与色差信号的帧内色差预测模式相关的句法要素，还参照所述帧内亮度预测模式地导出帧内色差预测模式，其中，所述编码流中编码有与表示色差信号的预测块的帧内预测方法的帧内色差预测模式相关的信息；

亮度信号帧内预测部，根据针对所述亮度信号的每个预测块分别确定的帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及

色差信号帧内预测部，根据针对所述色差信号的每个预测块分别确定的帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

[项目13]

如项目12所述的图像解码装置，其特征在于，

所述帧内色差预测模式解码部在所述亮度信号与所述色差信号的像素的纵横比不同时，将所述纵横比相同时使用的第1帧内色差预测模式的模式编号变换成使之缩放后的模式编号，来导出在所述纵横比不同时使用的第2帧内色差预测模式。

[项目14]

如项目12所述的图像解码装置，其特征在于，

所述色差信号帧内预测部在所述亮度信号与所述色差信号的像素的纵横比不同时，将所述纵横比相同时使用的第1帧内色差预测模式所规定的预测方向的角度缩放，确定出接近缩放后的角度的角度的帧内预测模式的模式编号，来导出在所述纵横比不同时使用的第2帧内预测模式。

[项目15]

如项目12所述的图像解码装置，其特征在于，

所述色差信号帧内预测部在所述亮度信号与所述色差信号的像素的纵横比不同时，参照使所述纵横比相同时使用的帧内色差预测模式的模式编号与缩放后的角度建立了对应关系的变换表，采用变换后的角度对色差信号进行帧内预测。

[项目16]

如项目12所述的图像解码装置，其特征在于，

所述帧内色差预测模式解码部在所述亮度信号与所述色差信号的像素的纵横比不同时，基于设定有接近预测方向的值的变换表来导出在所述纵横比不同时使用的第2帧内色差预测模式，所述预测方向是通过将与所述纵横比相同时使用的第1帧内色差预测模式对应的预测方向的角度缩放而导出的预测方向。

[项目17]

如项目16所述的图像解码装置，其特征在于，

当将所述第1帧内色差预测模式的预测方向的角度缩放而导出的所述第2帧内色差预测模式的值处于帧内预测模式规定的模式编号的范围外时，所述帧内色差预测模式解码部使所述第2帧内色差预测模式的值成为所述帧内预测模式规定的模式编号的范围内的值。

[项目18]

如项目16或17所述的图像解码装置，其特征在于，

所述帧内色差预测模式解码部参照与帧内色差预测模式相关的句法要素及对应的帧内亮度预测模式，确定所述第1帧内色差预测模式的模式编号；

所述色差信号帧内预测部基于被如下这样设定的变换表来导出所述第2帧内色差预测模式，即，所述变换表被设定使得将所述第1帧内色差预测模式的模式编号缩放后值规避开能在帧内亮度预测模式与第1帧内色差预测模式的值不一致时导出的模式编号。

[项目19]

如项目16至18的任一项所述的图像解码装置，其特征在于，

所述帧内色差预测模式解码部参照与帧内色差预测模式相关的句法要素及对应的帧内亮度预测模式，确定所述第1帧内色差预测模式的模式编号；

所述色差信号帧内预测部基于以如下方式进行变换的变换表导出所述第2帧内色差预测模式：当所述第1帧内色差预测模式的模式编号并非表示垂直预测的值时，规避开表示垂直预测的模式编号。

[项目20]

如项目12至19的任一项所述的图像解码装置，其特征在于，

所述与帧内色差预测模式相关的句法要素的候选数比所述帧内色差预测模式的模式数少。

[项目21]

一种图像解码方法，按预测块单位将与帧内预测模式相关的信息解码，利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行解码，该图像解码方法的特征在于，包括：

帧内亮度预测模式解码步骤，从编码流中解码出与亮度信号的帧内预测模式相关的句法要素，导出亮度信号的帧内预测模式，其中，所述编码流中编码有与表示亮度信号的预测块的帧内预测方法的帧内亮度预测模式相关的信息；

帧内色差预测模式解码步骤，从编码流中解码出与色差信号的帧内色差预测模式相关的句法要素，还参照所述帧内亮度预测模式地导出帧内色差预测模式，其中，所述编码流中编码有与表示色差信号的预测块的帧内预测方法的帧内色差预测模式相关的信息；

亮度信号帧内预测步骤，根据针对所述亮度信号的每个预测块分别确定的帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及

色差信号帧内预测步骤，根据针对所述色差信号的每个预测块分别确定的帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

[项目22]

一种图像解码程序，按预测块单位将与帧内预测模式相关的信息解码，利用帧内预测按变换块单位对包含亮度信号和色差信号的图像信号进行解码，该图像解码程序的特征在于，使计算机执行以下步骤：

帧内亮度预测模式解码步骤，从编码流中解码出与亮度信号的帧内预测模式相关的句法要素，导出亮度信号的帧内预测模式，其中，所述编码流中编码有与表示亮度信号的预测块的帧内预测方法的帧内亮度预测模式相关的信息；

帧内色差预测模式解码步骤，从编码流中解码出与色差信号的帧内色差预测模式相关的句法要素，还参照所述帧内亮度预测模式地导出帧内色差预测模式，其中，所述编码流中编码有与表示色差信号的预测块的帧内预测方法的帧内色差预测模式相关的信息；

亮度信号帧内预测步骤，根据针对所述亮度信号的每个预测块分别确定的帧内亮度预测模式，从亮度信号的变换块周围的亮度信号预测所述亮度信号的变换块的亮度信号；以及

色差信号帧内预测步骤，根据针对所述色差信号的每个预测块分别确定的帧内色差预测模式，从色差信号的变换块周围的色差信号预测所述色差信号的变换块的色差信号。

101色差格式设定部、102图像存储器、103帧内预测部、104帧间预测部、105编码方法决定部、106残差信号生成部、107正交变换·量化部、108逆量化·逆正交变换部、109解码图像信号重叠部、110编码信息保存存储器、111解码图像存储器、112第1编码流生成部、113第2编码流生成部、114第3编码流生成部、115编码流多路复用部、121与编码块单位的编码信息相关的句法要素导出部、122与帧内亮度预测模式相关的句法要素导出部、123与帧内色差预测模式相关的句法要素导出部、124与帧间预测信息相关的句法要素导出部、125帧内预测模式编码控制部、126熵编码部、201编码流分离部、202第1编码流解码部、203第2编码流解码部、204第3编码流解码部、205色差格式管理部、206帧内预测部、207帧间预测部、208逆量化·逆正交变换部、209解码图像信号重叠部、210编码信息保存存储器、211解码图像存储器、212开关、213开关、221帧内预测模式解码控制部、222熵解码部、223编码块单位的编码信息导出部223、224帧内亮度预测模式导出部、225帧内色差预测模式导出部、226帧间预测信息导出部。

〔工业可利用性〕

本发明能用于画面内编码及解码技术。