理，并对存在通过减小块尺寸而能够高效进行编码的倾向的复杂区域部 等较小块尺寸的块进行上述滤波处理，由此能够得到提高预测效率、提高解码图像质量的 效果。
[0309] 并且，在序列级头具有表示是否进行场编码的标志且上述标志为有效的情况下， 如图19所示，不对预测图像生成块的上端实施滤波处理。
[0310] 在场编码的情况下，垂直方向的像素间的相关性低，因此存在由于预测图像生成 块的上端处的滤波处理使得预测效率恶化的可能性。因此，仅对区域A、C进行滤波处理，区 域B不进行滤波处理，能够抑制预测效率的降低且削减运算量。
[0311] 虽然上文中设为在序列级头的表示是否进行场编码的标志为有效的情况下，仅对 区域A、C进行滤波处理，但也可以是区域A也进行与区域C相同的滤波处理。这样，通过不 使用像素间的相关性低的垂直方向上的像素，能够进一步降低预测效率恶化的可能性并削 减滤波处理所需的运算量。或者，也可以是，在更重视削减运算量的情况下，区域A也不进 行滤波处理而仅对区域C进行滤波处理。
[0312] 在对于预测图像生成块所属的预测块P1"的内部预测模式的索引值为26(垂直方 向预测）的情况下，根据下述式（2)计算预测图像生成块内的像素的预测值来生成预测图 像。
[0314] 其中，坐标（X，y)为以预测图像生成块内的左上像素为原点的相对坐标（参照图 9)，S'（X，y)为坐标（X，y)下的预测值，S(X，y)为坐标（X，y)下的已编码像素的亮度值 (解码后的亮度值）。并且，在计算出的预测值超出亮度值可取的范围的情况下，对数值进 行缩减使得预测值收于该范围内。
[0315] 另外，式（2)的第一行的式子意味着将如下的滤波处理后的值作为预测值：对 MPEG-4 AVC/H. 264下的垂直方向预测的预测值S(x，-1)加上相邻的已编码像素的垂直方 向的亮度值的变化量S(-1，Y)-S(-1，-1)的1/2的值而对块边界进行平滑。式（2)的第二 行的式子示出与MPEG-4 AVC/H. 264下的垂直方向预测相同的预测式。
[0316] 在针对预测图像生成块所属的预测块P1"的内部预测模式的索引值为10(水平方 向预测）的情况下，根据下述的式（3)计算预测图像生成块内的像素的预测值来生成预测 图像。
[0318] 其中，坐标（X，y)是以预测图像生成块内的左上像素为原点的相对坐标（参照图 9)，S'（X，y)是坐标（X，y)下的预测值，S(x，y)是坐标（X，y)下的已编码像素的亮度值 (解码后的亮度值）。并且，在计算出的预测值超出亮度值可取的范围的情况下，对数值进 行缩减使得预测值收于该范围内。
[0319] 另外，式（3)的第一行的式子意味着将如下的滤波处理后的值作为预测值：对 MPEG-4 AVC/H. 264下的水平方向预测的预测值S(-l，Y)加上相邻的已编码像素的水平方 向的亮度值的变化量S(x，-1)-S(-1，-1)的1/2的值而对块边界进行平滑。式（3)的第二 行的式子示出与MPEG-4 AVC/H. 264下的水平方向预测相同的预测式。
[0320] 但是，也可以限定进行式（2)的垂直方向预测、式（3)的水平方向预测的预测图像 生成块的块尺寸。
[0321] -般而言，当仅块端进行加上与预测方向的亮度值的变化量成比例的值的滤波处 理而使预测值变化的情况下，在较大块尺寸的块的情况下，预测值由于上述的预测图像生 成块的块端的滤波处理而改变的区域所占的比例小，因此由于该预测值的变化而产生的预 测残余信号的变化由频率非常高的频率成分来表示，为了对该高频成分进行编码，存在产 生编码效率恶化的倾向。并且，使编码效率优先而不对该高频成分进行编码，由此存在无法 复原块端的预测残余信号的变化而在块边界产生失真的倾向
[0322] 另一方面，在较小块尺寸的块的情况下，预测值由于上述滤波处理而改变的区域 所占的比例大，因此由于该预测值的变化而产生的预测残余信号的变化不会如较大块尺寸 的块时那样以高频成分来表示，能够适当地对残余信号进行编码，通过本滤波处理，能够提 高块边界的连续性，相应地提高解码图像的质量。
[0323] 因此，例如对于32X32像素以上的块尺寸的预测图像生成块，与预测对象像素的 坐标无关地，始终使用式（2)以及式（3)的第二行的式子（不进行预测图像生成块的块 端的滤波处理），而仅对尺寸小于32X32像素的块应用进行上述滤波处理的式（2)以及 式（3)，由此能够相比现有的垂直方向预测、水平方向预测提高预测性能并抑制运算量的增 加。
[0324] 也可以另外根据变换块尺寸限定进行式（2)的垂直方向预测、式（3)的水平方向 预测的预测图像生成块的块尺寸。
[0325] 例如，对于max (16, MaxTUsize)以上的块尺寸的预测图像生成块，与预测对象像 素的坐标无关地，始终使用式（2)以及式（3)的第二行的式子（不进行预测图像生成块的 块端的滤波处理），而仅对小于max(16，MaxTUsize)的块应用进行上述滤波处理的式（2)以 及式（3)。
[0326] 其中，max( α，β )示出α和β中的最大值（例如，若α = 1、β = 2,则max( α， β) = 2)，"MaXTUsize"示出可取的最大的变换块尺寸，"16"示出规定的块尺寸（16X16像 素）。
[0327] 即，对于max(16、MaxTUsize)以上的块尺寸的预测图像生成块，不应用上述滤波 处理，而仅对小于max(16，MaxTUsize)的块应用上述滤波处理，即，在MaxTUsize为32的情 况下，max(16,32) = 32,仅32X32像素块不应用上述滤波处理，而对16X16像素、8X8像 素、4 X 4像素块实施上述滤波处理。
[0328] 同样，在MaxTUsize为16的情况下，max(16,16) = 16,仅16X16像素块不应用上 述滤波处理，而对8 X 8像素、4X 4像素块实施上述滤波处理。
[0329] 并且，在MaxTUsize为8的情况下，max(16,8) = 16,仅16X16像素块不应用上述 滤波处理，而对8X8像素、4X4像素块实施上述滤波处理，因此在16X 16像素块不存在的 MaxTUsize为8的情况下，在全部的像素块（8X8、4X4)中实施上述滤波处理。
[0330] 同样，在MaxTUsize为4的情况下，max (16,4) = 16,仅16X 16像素块不应用上 述滤波处理，而对8X8像素、4X4像素块实施上述滤波处理，因此在只存在4X4像素块的 MaxTUsize为4的情况下，在全部的像素块（4X4)中实施上述滤波处理。
[0331] 通过这样处理，一般而言在进行高效率的编码时，例如，在"天空"等平坦区域，实 施尽量大尺寸的正交变换处理，因此在这样的区域中，进行基于MaxTUsize的块尺寸的变 换处理。
[0332] 另一方面，在这样的较大的块中，如上所述，存在由于滤波处理而在解码图像的块 边界产生失真的倾向，因此为了抑制这样的失真，对于人的视觉特性中敏感度特别高的平 坦部不进行滤波处理，并对存在通过减小块尺寸而能够高效进行编码的倾向的复杂区域部 等较小块尺寸的块进行上述滤波处理，由此，能够得到提高预测效率、提高解码图像质量的 效果。
[0333] 另外，对上述动作在平均值预测的情况下、垂直方向预测的情况下、水平方向预测 的情况下进行了说明，但在使用这些预测以外的预测的情况下也能得到同样的效果。
[0334] 并且，在序列级头具有表示是否进行场编码的标志且上述标志有效的情况下，水 平方向预测替代式（3)而使用式（4)。
[0335] S' （X，y) = S(_l，Y) (4)
[0336] 即，如图19所示，对预测图像生成块的上端不实施滤波处理（在平均值预测以及 垂直方向预测的情况下，仅对预测图像生成块的左端实施滤波处理，在水平方向预测的情 况下，不实施滤波处理）。
[0337] 在场编码的情况下，垂直方向上的像素间的相关性低，因此预测图像生成块的上 端的滤波处理导致块边界的连续性提高，可能会带来预测效率的恶化。因此，通过不进行上 述滤波处理，能够抑制预测效率的降低并削减运算量。
[0338] 另外，也可以在图片级头中准备序列级头的表示是否进行场编码的标志，根据各 图片的垂直方向的像素间的相关性，以开启/关闭（0N/0FF)来切换平均值（DC)预测以及 水平方向预测的预测图像生成块上端的滤波处理。
[0339] 通过这样处理，能够实现图片单位的自适应控制，提高预测效率。另外，在要实现 图片单位的自适应地切换帧编码和场编码的编码的情况下，需要针对图片级头准备上述标 VI、J、O
[0340] 另外，在该实施方式1中，对根据序列级头或图片级头的表示是否进行场编码的 标志来切换预测图像生成块上端的滤波处理的开启/关闭的情况进行了说明，但也可以 是，在序列级头或图片级头的表示是否进行场编码的标志之外，另外定义表示是否进行本 切换处理的标志，根据该表示是否进行切换处理的标志，切换预测图像生成块上端的滤波 处理的开启/关闭。
[0341] 并且，在该实施方式1中，对之前说明的编码顺序的切换和上述滤波处理的切换 分别单独进行了说明，但也可以将它们组合起来进行设定。
[0342] 在内部预测模式的索引值为0 (平面预测）、1 (平均值预测）、26 (垂直方向预测）、 1〇(水平方向预测）以外的情况下，根据索引值所示的预测方向矢量Up= (dx，dy)，生成 预测图像生成块内的像素的预测值。
[0343] 如图9所示，以预测图像生成块的左上像素为原点，将预测图像生成块内的相对 坐标设定为（X，y)，则预测中使用的参照像素的位置成为下述的L与相邻像素的交点。
[0345] 其中，k为负实数。
[0346] 在参照像素位于整数像素位置的情况下，将该整数像素作为预测对象像素的预测 值，在参照像素不位于整数像素位置的情况下，将根据与参照像素相邻的整数像素生成的 插值像素作为预测值。
[0347] 在图8的例子中，参照像素不位于整数像素位置，因此将根据与参照像素相邻的2 个像素内插而得到的值作为预测值。另外，也可以是，并非仅根据相邻的2个像素而是根据 相邻的2个像素以上的像素生成插值像素来作为预测值。
[0348] 通过增多在插值处理中使用的像素，具有提高插值像素的插值精度的效果，但插 值处理所需的运算的复杂度也增加，因此在即使运算负荷大也追求较高的编码性能的彩色 图像编码装置的情况下，优选根据更多的像素生成插值像素。
[0349] 通过以上所述的处理，以预测图像生成块为单位，生成针对预测块P1"内的亮度信 号的全部像素的预测像素，输出内部预测图像PINTRAln。
[0350] 另外，为了复用于比特流，在内部预测图像PINTRAl19生成中使用的内部预测参数 (内部预测模式）被输出给可变长度编码部13。
[0351] 另外，与之前说明的MPEG-4 AVC/H. 264下的8X8像素块的内部预测时对参照像 素实施的平滑处理同样地，即使在构成为在内部预测部4中，将生成预测图像生成块的预 测图像时的参照像素，作为对与预测图像生成块相邻的已编码像素进行平滑处理后的像素 的情况下，也能够进行与上述的示例同样的针对预测图像的滤波处理。由此，能够去除对参 照像素的滤波处理导致的参照像素的噪声，将其用于进行预测，能够提高预测的精度。
[0352] 或者，也可以是仅在进行针对预测图像的滤波处理的平均值预测、垂直方向预测、 水平方向预测以外的预测时，实施上述针对参照像素的滤波处理。由此，针对各预测模式最 多仅进行一个滤波处理即可，能够抑制运算量的增加。
[0353] 在上文中，对于亮度信号的预测图像生成处理进行了说明，针对色差成分的预测 图像如下这样生成。
[0354] 针对预测块P1"的色差信号，实施基于色差信号的内部预测参数（内部预测模式） 的内部预测处理，将在内部预测图像的生成中使用的内部预测参数输出给可变长度编码部 13。
[0355] 图23是示出色差信号的内部预测参数（索引值）与色差内部预测模式的对应示 例的说明图。
[0356] 在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预 测模式的情况下（内部预测参数示出亮度色差公共内部预测模式（DM模式）的情况下），实 施与亮度信号同样的帧内预测，生成色差信号的预测图像。
[0357] 并且，在色差信号的内部预测参数示出垂直方向预测模式或水平方向预测模式的 情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。
[0358] 并且，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式 (LM模式）的情况下，使用与预测图像的生成对象块的上侧以及左侧相邻的多个像素的亮 度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相 关性参数以及与作为预测处理对象的色差信号块对应的亮度信号，生成色差信号的预测图 像。
[0359] 另外，在输入信号格式为YUV4:4:4信号的情况下，构成为实施上述DM模式或上述 LM模式的处理而不选择其它预测模式。在YUV4:4:4信号中，在亮度信号的边缘位置与色差 信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的 预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。
[0360] 当然，在YUV4:4:4信号的情况下同样，也可以构成为对色差信号能够选择与亮度 信号不同的方向性预测模式。
[0361] 并且，在输入信号格式为YUV4:2:2信号的情况下，如图27所示，如果亮度信号为 正方形的块，则色差信号与亮度信号相比成为水平方向的像素数为亮度信号的1/2的长方 形的块。因此，如图28所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了使亮度信号 和色差信号成为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测 的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。
[0362] 具体而言，如图29所示，在设亮度信号的预测方向矢量为\= (dx μ dyj的情况 下，色差信号的预测方向矢量成为Vc= (dxy2，dyj。即，如图30所示，在设预测方向的角 度为Θ的情况下，亮度信号的预测方向的角度为Θ p色差信号的预测方向的角度为θε，则 需要在满足tan Θ2tan Θ ^的关系的预测方向上进行预测。
[0363] 因此，在输入信号格式为YUV4:2:2信号的情况下实施上述DM模式时，将亮度信号 中使用的内部预测模式的索引变换为色差信号的预测中使用的内部预测模式的索引，实施 基于与变换后的索引对应的内部预测模式的色差信号的预测处理。
[0364] 图31示出图7的内部预测模式下的内部预测模式索引的变换例。
[0365] 图31的变换表是在设预测方向的角度为Θ时（参照图30)内部预测模式的方向 性预测为图32所示的tan Θ的角度的情况下，变换成与tan Θ e= 2tan Θ -关系最接近 的角度的表的例子。
[0366] 如上所述，变换处理的实现可以构成为，准备索引的变换表并参照该变换表，由此 来变换索引，也可以构成为准备变换式，依照该变换式来变换索引。
[0367] 通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与 YUV4:2:2信号的格式对应的色差信号的适当预测。
[0368] 并且，也可以构成为不对色差信号进行上述LM模式。作为此时的色差信号的内部 预测参数（索引值）和色差内部预测模式的对应例子，可以举出图24。
[0369] 这样，通过不使用LM模式，预测对象像素的亮度信号与色差信号之间的依存性消 失，因此亮度信号和色差信号的预测处理的并行成为可能，能够实现高速的运算处理。
[0370] 并且，在色差信号中，对于色差信号的垂直方向预测以及水平方向预测，不进行块 边界的滤波处理，可以应用与MPEG-4 AVC/H.264同样的预测方法。通过这样不进行滤波处 理，能够实现预测处理的运算量的降低。
[0371] 接着，对图3的彩色图像解码装置的处理内容具体地进行说明。
[0372] 可变长度解码部31在输入由图1的彩色图像编码装置生成的编码比特流时，对该 比特流实施可变长度解码处理（图4的步骤ST21)，对由1帧以上的图片构成的序列单位的 头信息（序列级头）以及图片单位的头信息（图片级头）、环路滤波部38使用的滤波器参 数以及量化矩阵参数进行解码。
[0373] 此时，在上述头信息包含的量化矩阵的有效标志信息示出"有效"的情况下，可变 长度解码部31对量化矩阵参数进行可变长度解码，确定量化矩阵。
[0374] 具体而言，按照各正交变换尺寸的每个颜色信号和/或每个编码模式，量化矩阵 参数示出作为初始值的彩色图像编码装置以及彩色图像解码装置中预先准备的公共的量 化矩阵或者已被解码的量化矩阵（并非新的量化矩阵）的情况下，参照量化矩阵参数中包 含的指定上述矩阵中的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数示出使 用新的量化矩阵的情况下，将量化矩阵参数中包含的量化矩阵确定为要使用的量化矩阵。
[0375] 然后，由构成图片单位的数据的片数据解码出片分割信息等片单位的头信息（片 级头），对各片的编码数据进行解码。
[0376] 并且，可变长度解码部31通过与彩色图像编码装置同样的步骤，决定由图1的彩 色图像编码装置的编码控制部2决定的最大编码块尺寸以及分割层数的上限（步骤ST22)。
[0377] 例如，在根据视频信号的分辨率决定最大编码块尺寸和/或分割层数的上限的情 况下，根据解码后的帧尺寸信息，通过与彩色图像编码装置同样的步骤来决定最大编码块 尺寸。
[0378] 最大编码块尺寸以及分割层数的上限在被彩色图像编码装置侧复用于序列级头 等的情况下，使用由上述