施如下处理：在由编码控制部2选择帧间编码模式作为与从 切换开关3输出的编码块对应的编码模式的情况下，对编码块与存储在运动补偿预测帧存 储器12中的1帧以上的局域解码图像进行比较来搜索运动矢量，使用该运动矢量和由编码 控制部2决定的将要参照的帧编号等帧间预测参数，实施对该编码块的帧间预测处理（运 动补偿预测处理）而生成帧间预测图像。
[0087] 减法部6实施如下处理：从块分割部1输出的编码块中减去由内部预测部4生成 的内部预测图像或者由运动补偿预测部5生成的帧间预测图像，将表示作为其减法结果的 差分图像的预测差分信号输出给变换/量化部7。
[0088] 变换/量化部7实施如下处理：参照由编码控制部2决定的预测差分编码参数中 包含的变换块分割信息，以变换块为单位实施针对从减法部6输出的预测差分信号的正交 变换处理（例如，DCT(离散余弦变换）或DST(离散正弦变换）、预先对特定的学习序列进 行基底设计的KL变换等正交变换处理）来计算变换系数，并且参照该预测差分编码参数中 包含的量化参数，对该变换块单位的变换系数进行量化，并对逆量化/逆变换部8以及可变 长度编码部13输出作为量化后的变换系数的压缩数据。
[0089] 变换/量化部7也可以在对变换系数进行量化时，使用按照每个变换系数对根据 上述量化参数计算出的量化步阶大小进行缩放（scaling)的量化矩阵，来实施变换系数的 量化处理。
[0090] 在此，图10是示出4X4DCT量化矩阵的一例的说明图。
[0091] 图中的数字表示各变换系数的量化步阶大小的缩放值。
[0092] 例如，为了抑制编码比特率，如图10所示，通过对越高域的变换系数越将量化步 阶大小缩放为较大的值，由此能够对复杂的图像区域等中产生的高域的变换系数进行抑 制，抑制编码量，且能够在不遗漏很大程度地影响主观品质的低域系数信息的状态下进行 编码。
[0093] 如此，在想要控制每个变换系数的量化步阶大小的情况下，使用量化矩阵即可。
[0094] 另外，量化矩阵能够使用在各正交变换尺寸下按照每个颜色信号和/或每个编码 模式（内部编码或帧间编码）独立的矩阵，能够分别选择从已编码量化矩阵、和作为初始值 预先在彩色图像编码装置以及彩色图像解码装置中预先准备的公共的量化矩阵中选择，或 者使用新的量化矩阵。
[0095] 因此，变换/量化部7对各正交变换尺寸按照每个颜色信号和/或每个编码模式 对要编码的量化矩阵参数设定表示是否使用新的量化矩阵的标志信息。
[0096] 另外，在使用新的量化矩阵的情况下，对要编码的量化矩阵参数设定图10所示的 量化矩阵的各缩放值。
[0097] 另一方面，在不使用新的量化矩阵的情况下，对要编码的量化矩阵参数，设定从作 为初始值在彩色图像编码装置以及彩色图像解码装置中预先准备的公共的量化矩阵或者 已编码的量化矩阵中指定要使用的矩阵的索引。但是，当不存在可参照的已编码量化矩阵 的情况下，成为仅可选择在彩色图像编码装置以及彩色图像解码装置中预先准备的公共的 量化矩阵。
[0098] 逆量化/逆变换部8实施如下处理：参照由编码控制部2决定的预测差分编码参 数中包含的量化参数以及变换块分割信息，以变换块为单位对从变换/量化部7输出的压 缩数据进行逆量化，并且对逆量化后的压缩数据即变换系数实施逆正交变换处理，计算与 从减法部6输出的预测差分信号相当的局域解码预测差分信号。另外，在变换/量化部7 使用量化矩阵实施量化处理的情况下，在逆量化处理时同样参照该量化矩阵实施对应的逆 量化处理。
[0099] 加法部9实施如下处理：将由逆量化/逆变换部8计算出的局域解码预测差分信 号与由内部预测部4生成的内部预测图像或由运动补偿预测部5生成的帧间预测图像进行 相加，计算与从块分割部1输出的编码块相当的局域解码图像。
[0100] 内部预测用存储器1〇是存储加法部9计算出的局域解码图像的记录介质。
[0101] 环路滤波部11实施如下处理：对加法部9计算出的局域解码图像实施规定的滤波 处理，输出滤波处理后的局域解码图像。
[0102] 具体而言，进行降低产生于变换块的边界或预测块的边界的失真的滤波（去块滤 波（deblocking filter))处理、以像素为单位自适应地加上偏移（像素自适应偏移）的处 理、自适应地切换维纳滤波器（Wiener filter)等线性滤波器进行滤波处理的自适应滤波 处理等。
[0103] 但是，环路滤波部11对上述的去块滤波处理、像素自适应偏移处理以及自适应滤 波处理，分别决定是否进行处理，将各处理的有效标志作为头信息输出给可变长度编码部 13。另外，在使用多个上述的滤波处理时，依序实施各滤波处理。图11示出使用多个滤波 处理的情况下的环路滤波部11的结构例。
[0104] 一般而言，使用的滤波处理的种类越多，图像质量越高，但另一方面处理负荷也升 高。即，图像质量与处理负荷存在折衷的关系。并且，各滤波处理的图像质量改善效果因滤 波处理对象图像的特性而异。因此，依照彩色图像编码装置容许的处理负荷和/或编码处 理对象图像的特性决定要使用的滤波处理即可。例如，当想要在图11的结构的基础上削减 无法处理情形的情况下，可以考虑仅由去块滤波处理和像素自适应偏移处理构成。
[0105] 在此，在去块滤波处理中，能够将在对块边界施加的滤波强度的选择中使用的各 种参数从初始值开始进行变更。在进行变更的情况下，将该参数作为头信息输出给可变长 度编码部13。
[0106] 在像素自适应偏移处理中，最开始先将图像分割为多个块，将对该块单位不进行 偏移处理的情况也定义为类别分类方法之一，从预先准备的多个类别分类方法中选择一个 类别分类方法。
[0107] 接着，通过选择出的类别分类方法，对块内的各像素进行类别分类，按照每个类别 计算补偿编码失真的偏移值。
[0108] 最后，进行对局域解码图像的亮度值加上该偏移值的处理，由此改善局域解码图 像的图像质量。
[0109] 因此，在像素自适应偏移处理中，将块分割信息、表示各块的类别分类方法的索 弓丨、确定块单位的各类别的偏移值的偏移信息作为头信息输出给可变长度编码部13。
[0110] 另外，也可以是，在像素自适应偏移处理中，例如，始终分割为最大编码块这样的 固定尺寸的块单位，按照每个该块选择类别分类方法，进行每个类别的自适应偏移处理。在 该情况下，不需要上述的块分割信息，能够削减与块分割信息所需的编码量相应的编码量， 提高编码效率。
[0111] 在自适应滤波处理中，利用规定的方法对局域解码图像进行类别分类，按照属于 各类别的每个区域（局域解码图像），设计对叠加后的失真进行补偿的滤波器，使用该滤波 器，实施该局域解码图像的滤波处理。
[0112] 然后，将按照每个类别设计的滤波器作为头信息输出给可变长度编码部13。
[0113] 作为类别分类方法，存在在空间上将图像等间隔地进行划分的简单方法、以块为 单位根据图像的局域性特性（分散等）进行分类的方法。
[0114] 另外，在自适应滤波处理中使用的类别数可以作为公共的值预先设定在彩色图像 编码装置以及彩色图像解码装置中，也可以作为要编码的参数。
[0115] 与前者相比，后者能够自由设定要使用的类别数，因此图像质量改善效果提高，但 另一方面，为了对类别数进行编码，会增加相应的编码量。
[0116] 另外，在进行像素自适应偏移处理以及自适应滤波处理的情况下，需要如图11所 示由环路滤波部11参照视频信号，因此需要变更图1的彩色图像编码装置，使得视频信号 被输入环路滤波部11。
[0117] 运动补偿预测帧存储器12是存储环路滤波部11的滤波处理后的局域解码图像的 记录介质。
[0118] 可变长度编码部13对从变换/量化部7输出的压缩数据、编码控制部2的输出信 号（最大编码块内的块分割信息、编码模式、预测差分编码参数、内部预测参数或者帧间预 测参数）、以及从运动补偿预测部5输出的运动矢量（编码模式为帧间编码模式的情况下） 进行可变长度编码来生成编码数据。
[0119] 另外，如图13所示，可变长度编码部13对序列级头（sequence level header)、图 片级头（picture level header)进行编码作为编码比特流的头信息，与图片数据一起生成 编码比特流。
[0120] 其中，图片数据由1个以上的片数据构成，各片数据是将片级头（slice level header)和该片内的上述编码数据汇总而得到的。
[0121] 序列级头是将图像尺寸、颜色信号格式、亮度信号和/或色差信号的信号值的位 深度、序列单位下的环路滤波部11的各滤波处理（自适应滤波处理、像素自适应偏移处理、 去块滤波处理）的有效标志信息、量化矩阵的有效标志信息等序列单位普遍共用的头信息 汇总而得到的。
[0122] 图片级头是将要参照的序列级头的索引和/或运动补偿时的参照图片数、熵编码 的概率表初始化标志、量化矩阵参数等以图片为单位设定的头信息汇总而得到的。
[0123] 片级头是将表示该片位于图片的哪个位置的位置信息、表示参照哪个图片级头的 索引、片的编码类型（全内部编码、帧间编码等）、表示是否进行环路滤波部11中的各滤波 处理（自适应滤波处理、像素自适应偏移处理、去块滤波处理）的标志信息等片单位的参数 汇总而得到的。
[0124] 在图1的例子中，假定作为彩色图像编码装置的结构要素的块分割部1、编码控制 部2、切换开关3、内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆 变换部8、加法部9、内部预测用存储器10、环路滤波部11、运动补偿预测帧存储器12、可变 长度编码部13以及片分割部14分别由专用的硬件（例如，安装有CPU的半导体集成电路、 单片机等）构成，但也可以是，在由计算机构成彩色图像编码装置的情况下，在计算机的存 储器中存储记述有块分割部1、编码控制部2、切换开关3、内部预测部4、运动补偿预测部5、 减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波部11、可变长度编码部 13以及片分割部14的处理内容的程序，该计算机的CPU执行存储在该存储器中的程序。
[0125] 图2是示出本发明的实施方式1的彩色图像编码装置的处理内容（图像编码方 法）的流程图。
[0126] 图3是示出本发明的实施方式1的彩色图像解码装置的结构图。
[0127] 在图3中，可变长度解码部31在输入由图1的彩色图像编码装置生成的编码比特 流时，由该比特流解码出序列级头、图片级头、片级头等各头信息，并且，由该比特流可变长 度解码出表不被分层分割而成的各个编码块的分割状況的块分割信息。
[0128] 此时，在上述头信息中包含的量化矩阵的有效标志信息示为"有效"的情况下，可 变长度解码部31对量化矩阵参数进行可变长度解码，确定量化矩阵。具体而言，在按照各 正交变换尺寸下的每个颜色信号和/或每个编码模式，量化矩阵参数作为初始值示出在彩 色图像编码装置和彩色图像解码装置中预先准备的公共的量化矩阵或已解码的量化矩阵 (并非新的量化矩阵）的情况下，参照指定是上述矩阵中的哪个量化矩阵的索引信息来确 定量化矩阵，在量化矩阵参数示出使用新的量化矩阵的情况下，将量化矩阵参数中包含的 量化矩阵确定为要使用的量化矩阵。
[0129] 另外，可变长度解码部31实施如下处理：参照各头信息确定片分割状态，并且确 定各片的片数据中包含的最大编码块，参照块分割信息确定作为对最大编码块进行分层分 割来进行解码处理的单位的编码块，对与各个编码块相关的压缩数据、编码模式、内部预测 参数（编码模式为内部编码模式的情况下）、帧间预测参数（编码模式为帧间编码模式的情 况下）、运动矢量（编码模式为帧间编码模式的情况下）以及预测差分编码参数进行可变长 度解码。
[0130] 逆量化/逆变换部32实施如下处理：参照由可变长度解码部31进行可变长度解 码而得到的预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对 由可变长度解码部31可变长度解码出的压缩数据进行逆量化，并且对逆量化后的压缩数 据即变换系数实施逆正交变换处理，计算与图1的从逆量化/逆变换部8输出的局域解码 预测差分信号相同的解码预测差分信号。
[0131] 在此，根据上述变换块分割信息确定编码块中的变换块的分割状态。例如，在 YUV4:2:0格式的信号的情况下，如图20所示，变换块尺寸由以四叉树状对编码块进行分层 分割的情况来决定。
[0132] 关于亮度信号，例如，如图20所示，构成为编码块被分层分割为一个或多个正方 形的变换块。
[0133] 关于色差信号，如图20所示，在输入信号格式为YUV4:2:0信号的情况下，与亮度 信号同样地，构成为编码块被分层分割为一个或多个正方形的变换块。在该情况下，色差信 号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块的一半尺寸。
[0134] 如图21所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的 四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素 数的2倍的长方形，因此通过进一步将分割后的块在上下方向上一分为二，成为由2个与 YUV4:2:0信号的色差信号相同块尺寸（纵横方向上均为亮度信号的变换块的一半尺寸）的 变换块构成。
[0135] 如图22所示，在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换块始终 进行与亮度信号的变换块同样的分割，构成为相同尺寸的变换块。
[0136] 另外，在由可变长度解码部31可变长度解码出的各头信息示出在该片中使用量 化矩阵实施逆量化处理的情况下，使用量化矩阵进行逆量化处理。
[0137] 具体而言，使用根据各头信息确定的量化矩阵进行逆量化处理。
[0138] 切换开关33实施如下处理：如果由可变长度解码部31可变长度解码出的编码模 式为内部编码模式，则向内部预测部34输出由可变长度解码部31可变长度解码出的内部 预测参数，如果由可变长度解码部31可变长度解码出的编码模式为帧间编码模式，则向运 动补偿部35输出由可变长度解码部31可变长度解码出的帧间预测参数以及运动矢量。
[0139] 内部预测部34实施如下处理：在根据由可变长度解码部31可变长度解码出的块 分割信息确定的编码块的编码模式为内部编码模式的情况下，参照存储在内部预测用存储 器37中的解码图像，实施使用从切换开关33输出的内部预测参数的内部预测处理（帧内 预测处理），生成内部预测图像。另外，内部预测部34构成内部预测单元。
[0140] 即，内部预测部34对于亮度信号，实施针对亮度信号的上述使用内部预测参数的 内部预测处理（帧内预测处理），生成亮度信号的预测图像。
[0141] 另一方面，对于色差信号，在色差信号的内部预测参数示出使用与针对亮度信号 的内部预测模式相同的预测模式的情况下（内部预测参数示出亮度色差公共内部预测模 式（DM模式）的情况下），实施与亮度信号同样的帧内预测，生成色差信号的预测图像。
[0142] 另外，在色差信号的内部预测参数示出垂直方向预测模式或者水平方向预测模式 的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。
[0143] 另外，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式 (LM模式）的情况下，使用与预测图像的生成对象块的上侧及左侧相邻的多个像素的亮度 信号以及色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相 关性参数以及与作为预测处理对象的色差信号的块对应的亮度信号，生成色差信号的预测 图像。
[0144] 另外，在彩色图像编码装置构成为在输入信号格式为YUV4:4:4信号时实施上述 DM模式或者上述LM模式的处理而不选择其它预测模式的情况下，彩色图像解码装置也为 同样的结构，使得能够对由该彩色图像编码装置生成的比特流进行解码。
[0145] YUV4:4:4信号的亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相 关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信 号的内部预测模式的信息量，提高编码效率。
[0146] 另外，在输入信号格式为YUV4:2:2信号情况下，如图27所不，如果亮度信号为正 方形的块，则色差信号成为与亮度信号相比水平方向的像素数为亮度信号的1/2的长方形 的块。因此，如图28所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了亮度信号和色 差信号为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测的情况 下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。
[0147] 具体而言，如图29所示，在将亮度信号的预测方向矢量设为丨=(dxp dyj的情 况下，色差信号的预测方向矢量为Vc= (dxy2，dyj。即，如图30所示，在设预测方向的角 度为Θ的情况下，设亮度信号的预测方向的角度为Θ p色差信号的预测方向的角度为θε， 则需要在满足tan θ ε= 2tan Θ ^的关系的预测方向上进行预测。
[0148] 因此，在输入信号格式为YUV4:2:2信号的情况下，在实施上述DM模式时，将用于 亮度信号的内部预测模式的索引变换为用于预测色差信号的内部预测模式的索引，实施基 于与变换后的索引对应的内部预测模式的色差信号预测处理。具体而言，可以构成为通过 准备索引的变换表并参照该变换表来变换索引，也可以构成为预先准备变换式，依照该变 换式来变换索引。
[0149] 通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与 YUV4:2:2信号的格式对应的色差信号的适当预测。
[0150] 运动补偿部35实施如下处理：在由可变长度解码部31可变长度解码出的块分割 信息确定的编码块的编码模式为帧间编码模式的情况下，参照存储在运动补偿预测帧存储 器39中的解码图像，实施使用帧间预测参数和从切换开关33输