运动图像编码、解码装置以及运动图像编码、解码方法

专利名称：运动图像编码、解码装置以及运动图像编码、解码方法
技术领域：
本发明涉及在图像压缩编码技术或压缩图像数据传输技术等中 使用的数字图像信号编码装置、数字图像信号解码装置、数字图像信 号编码方法以及数字图像信号解码方法。
背景技术：
当前，在MPEG或者ITU - T H.26x等国际标准影像编码方式 (例如r "Information Technology Coding of Audio - Visual Objects PartlO: Advanced Video Coding", ISO / IEC 14496 - 10， 2003」 以下，称为非专利文献l)中，主要以使用称为4: 2: 0格式的标准 化了的输入信号格式为前提。所谓4: 2: 0是把RGB等彩色运动图 像信号变换成亮度分量(Y)和两个色差分量(Cb， Cr)，水平'垂直 都把色差分量的抽样数削减到亮度分量的一半的格式(图23)。色差 分量与亮度分量相比较由于降低可视性，因此在现有的国际标准影像 编码方式中，前提是通过在这样进行编码之前进行色差分量的降抽样 (downsample)，预先减少编码对象的原信息量。另外，在广播素材 影像等的面向业务的影像编码中，有时也使用仅在水平方向把Cb， Cr的分量降抽样为亮度分量一半的4: 2: 2格式。由此，垂直方向 的色分辨率与亮度相同，与4: 2: 0格式相比较，色再现性高。另一 方面，伴随着近年来的视频显示器的高分辨率、高灰度等级，正在研 究不把色差分量进行降抽样，按照与亮度分量相同的抽样数进行编码 的方式。亮度分量和色差分量完全相同的抽样数的格式称为4: 4: 4 格式。由于现有的4: 2: 0格式以色差分量的降抽样为前提，因此仅 限定于Y、 Cb、 Cr这样的色空间定义，与此不同，在4: 4: 4格式中，由于在色分量之间没有抽样比的区别，因此除了 Y、 Cb、 Cr以 外，能够直接使用R、 G、 B，或者利用其它多个色空间定义。作为以 4: 4: 4格式为对象的影像编码方式，有r Woo - Shik Kim， Dae-Sung Cho， and Hyun Mun Kim, "INTER - PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004， October 2004. J (以下， 称为非专利文献2)等。非专利文献l"Information Technology Coding of Audio— Visual Objects PartlO: Advanced Video Coding", ISO/IEC 14496 -10, 200非专利文献2Woo — ShikKim， Dae — SungCho， and Hyun Mun Kim, "INTER - PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004在非专利文献1中的以AVC的4: 2: 0格式为编码对象的高4: 2: O类(profile)中，在由亮度分量16x16像素构成的宏块区域中， 对应的色差分量成为Cb、 Cr各8x8像素块。在高4: 2: 0类(profile ) 中的运动补偿预测中，多路复用仅对于亮度分量成为运动补偿预测的 单位的块尺寸信息、在预测中使用的参考图像信息、在每个块的运动 矢量信息，色差分量使用与亮度分量相同的信息进行运动补偿预测。 在4: 2: 0格式中，具有图像的构造信息的几乎全部汇集在(紋理结 构)亮度分量，以及与亮度信号相比较色差分量畸变的可视性低，对 于影像再现性贡献小这样的色空间定义上的特征，上述高4: 2: 0类 (profile)的预测 编码是在这种4: 2: 0格式的性质的前提下组成 的。另一方面，在4: 4: 4格式中，3个色分量同等地保持紋理结构 信息，用仅依赖于1个分量的内部预测模式、参考图像信息以及运动 矢量信息进行运动补偿预测的方式不能说在图像信号的构造表现时， 在各色分量同等地贡献的4: 4: 4格式中一定是最佳的预测方法。这 样，由于以4: 2: 0格式为对象的编码方式与以4: 4: 4格式为对象 的编码方式，用于进行最佳编码的信号处理不同，在编码比特流中多 路复用的信息的定义也不同，从而为了构成能够把多个不同格式的压缩影像数据进行解码的解码装置，需要采用单独解释对于各格式信号 的比特流的结构，存在装置结构效率差的问题。发明内容因此，本发明的目的在于提供在现有的4: 2: 0格式等Y、 Cb、 Cr空间中编码了的比特流与4: 4: 4格式那样的色分量之间没有抽 样比的区别、使压缩了在色空间的定义中具有自由度的影像信号的比 特流具有互换性的比特流生成方法以及解码方法。在以数字运动图像信号为输入进行压缩编码的运动图像编码装 置中，具备对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时的亮度分量相当的信号分量进^f亍内部预测的第1内部预测模式决 定部；对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时 的色差分量相当的信号分量进行内部预测的第2内部预测模式决定 部；对由上述第1内部预测模式决定部确定的第1内部预测模式或由 上述第2内部预测模式决定部确定的第2内部预测模式进行可变长编 码的可变长编码部；根据上述第1内部预测模式生成第1内部预测图 像的第1内部预测图像生成部；根据上述第2内部预测模式生成第2 内部预测图像的第2内部预测图像生成部；对于作为上述第1内部预 测图像或上述第2内部预测图像与输入运动图像信号的相对应的色分 量信号的差分得到的预测误差信号，进行变换编码的编码部，根据给 出上述输入运动图像信号的色度格式种类的控制信号，在色度格式是 4: 2: 0或4: 2: 2的情况下，在上述输入运动图4象信号的亮度分量 中适用上述第1内部预测模式决定部和上述第1内部预测图像生成 部，在色差分量中适用上述第2内部预测模式决定部和上述第2内部 预测图像生成部，在色度格式是4: 4: 4的情况下，在上述输入运动 图像信号的全部色分量中适用上述第1内部预测模式决定部和上述第 1内部预测图像生成部而进行编码，上述可变长编码部把上述控制信 号作为在运动图像序列单位中适用的编码数据，在比特流中多路复 用。对于4: 2: 0、 4: 2: 2、 4: 4: 4等多个不同色度格式，能够用 有效的装置结构统一地进行编码.解码，能够提高影像编码数据的相互 连接性。


图l是表示序列、图片、片、宏块的关系的说明图。图2是表示共同编码处理的说明图。图3是表示独立编码处理的说明图。图4是表示实施形态1中的编码装置的结构的框图。图5是表示内部NxN预测(N-4或8)的说明图。图6是表示内部16x16预测的说明图。图7是表示4: 2: 0/4: 2: 2Cb / Cr内部预测的说明图。图8是表示宏块的单位的说明图。图9是表示4: 2: 0/4: 2: 2Y， 4: 4: 4运动补偿预测图4象生 成处理的说明图。图10是表示4: 2: 0/4: 2: 2Cb /Cr运动补偿预测图像生成 处理的说明图。图11是表示4: 2: 0， 4: 2: 2Y预测残差编码处理的说明图。 图12是表示4: 2: 0以及4: 2: 2的Cb / Cr预测残差编码处 理的说明图。图13是表示比特流30的说明图。 图14是表示片构造的说明图。图15是表示4: 4: 4的共同和独立的编码片的说明图。图16是表示实施形态1中的解码装置的结构的框图。图17是表示可变长解码部的宏块层(layer )内部处理的说明图。图18是表示在Cb / Cr分量下，与色度格式相对应的内部预测的切换的说明图。图19是表示在Cb/Cr分量下，与色度格式相对应的MC的切换的说明图。图20是表示4: 2: 0, 4: 2: 2Y， 4: 4: 4预测残差解码处理 的说明图。图21是表示4: 2: 0以及4: 2: 2的Cb / Cr预测残差解码处 理的说明图。图22是表示Cl分量以及C2分量的预测残差解码部的内部结构 的说明图。图23是表示格式的说明图。 (附图标记说明)1:色度格式识别信息2:共同编码.独立编码识别信息3:输入影像信号4:仅内部编码指示信息5:CO分量内部预测模式决定部6:Cl / C2分量内部预测模式决定部7:CO分量内部预测图像生成部8:Cl/C2分量内部预测图像生成部9:CO分量运动检测部10:Cl/C2分量运动检测部11:CO分量运动补偿部12:Cl/C2分量运动补偿部13:帧存储器14:编码模式选择部15:编码模式16:减法器17:预测残差信号18:CO分量预测残差编码部19:Cl分量预测残差编码部20:C2分量预测残差编码部21、22、 23:量化系数数据24: CO分量局部解码部，CO分量预测残差解码部25: Cl分量局部解码部，Cl分量预测残差解码部26: C2分量局部解码部，C2分量预测残差解码部27:可变长解码部28:分块滤波器部29:行存储器30:比特流31:图像尺寸信息32:量化参数33:色分量识别标志34:预测图像100: CO分量内部预测模式101: Cl/C2分量内部预测模式102: Y分量的运动信息103: Cb/Cr分量的运动信息104:变换块尺寸指示信息200:可变长解码部201:帧存储器202:行存储器具体实施方式
实施形态1在本实施形态1中，叙述以在(Y， Cb， Cr)色空间中定义的4: 2: 0、 4: 2: 2各色度格式(chroma format)的影像信号以及在(R， G， B) 、 ( Y， Cb, Cr) ， (X, Y, Z)等色空间中定义的4: 4: 4 色度格式的影像信号的任一个为输入进行影像编码并输出比特流的 编码装置，以及以由该编码装置生成的编码比特流为输入，解码图像 信号的解码装置。在以后的说明中，把3个色分量总称为(C0， Cl， C2)分量，4: 2: 0、 4: 2: 2色度格式时的C0分量视为Y分量，Cl分量视为Cb分量，C2分量视为Cr分量。本实施形态1中的编码装置如图1所示，以作为通过时间抽样利 用帧或者场的单位定义的画面信息(以后称为图片)的时序数据表现 的影像信号为输入。把以时序排列图片的数据单位称为序列 (sequence)。序列有时分割为若千个图片的组(GOP) 。 GOP在保 证从任意的GOP的开头能够不依赖于其它的GOP而执行解码，保证 对于比特流的随机访问这样的用途中利用。图片进而被分割成称为宏 块(macroblock)的正方块，以宏块的单位适用预测'变换'量化处理 进行影像压缩。另外，把汇集了多个宏块的单位称为片(slice)。片 是能够与不同的片独立地进行编码和解码的数据单位，在例如把 HDTV或者具有更高分辨率的影像信号进行实时处理时，通过进行片 分割，并行地把各片进行编码和解码来缩短运算时间,或者在用错误 率高的线路传输比特流的情况下，即使某个片受错误的影响被破坏， 解码图像紊乱，也能够从下一个片起恢复到正确的解码处理这样的用 途中利用。 一般，在片的边界，由于不能够使用利用了与邻接片的信 号的依赖性的预测等，因此片的数量越增加编码性能越降低，但是具有对于并行处理的柔性或者对于错误的耐性高这样的特征。4: 2: 0、 4: 2: 2、 4: 4: 4的各色度格式时的宏块在图23中 定义为W = H = 16的像素块。由于以宏块的单位适用预测.变换.量化 处理并进行影像压缩，因此在比特流中多路复用(multiplex)的宏块 的编码数据大致由两种信息构成。 一种是预测模式或者运动预测信 息、用于量化的参数这样的与影像信号自身不同的边信息(side information)的种类，把它们总称为宏块标题(header )。另一种是 影像信号自身的信息，在本实施形态l中，被编码的影像信号是作为 根据宏块标题的信息进行了预测.变换.量化的结果得到的预测误差信 号的压缩数据，由于用把变换系数量化了的形式表现，因此以后称为 量化系数数据。以后，把1帧或者1场的3个色分量信号用共同的宏块标题进行 编码的处理记为「共同编码处理」，把1帧或者1场的3个色分量信号用分别独立的宏块标题进行编码的处理记为r独立编码处理」。同 样，把从1帧或1场的3个色分量信号利用共同的宏块标题进行了编 码的比特流解码出图像数据的处理记为r共同解码处理」，把从l帧 或1场的3个色分量信号利用分别独立的宏块标题进行了编码的比特 流解码出图像数据的处理记为r独立解码处理」。本实施形态l的编 码装置对于4: 4: 4色度格式的信号，构成为能够选择进行根据共同同编码处理中，把l帧或l场的3个色分量汇总定义成l"个图片，; 割为汇总了 3个色分量的形式的宏块(图2)。该图以及在以后的说 明中，把3个色分量称为C0、 Cl、 C2分量。另一方面，在独立编码 处理中，把1帧或1场的输入影像信号分离成3个色分量，分别定义 为图片，把各图片分割为由单一的色分量构成的宏块(图3)。即， 成为共同编码处理的对象的宏块包括CO、 Cl、 C2的3个色分量的抽 样(像素)，而成为独立编码处理的对象的宏块仅包括CO或者Cl或者 C2分量中的某一个分量的抽样(像素)。另夕卜，本实施形态1中的编码 装置对于4: 2: 0、 4: 2: 2的色度格式，始终使用图2的宏块定义，适 用与r共同编码处理J 、 「共同解码处理J相当的编码处理。 <编码装置>图4表示本实施形态1的编码装置的结构。以下，把指定成为编 码对象的输入影像信号的色度格式的信息称为色度格式识别信息1, 把表示是进行根据共同编码处理的编码还是进行根据独立编码处理 的编码的识别信息称为共同编码.独立编码识别信息2。输入影像信号3首先根据色度格式识别信息1、共同编码，独立编 码识别信息2，分割为图2或图3的某一个宏块数据，根据仅内部编 码(intra only encoding)指示信息4，进行内部预测处理(CO分量 内部预测模式决定部5， Cl/C2分量内部预测模式决定部6, C0分 量内部预测图像生成部7， Cl/C2分量内部预测图像生成部8)，运 动补偿预测处理(C0分量运动检测部9， Cl / C2分量运动检测部10， CO分量运动补偿部ll， Cl/C2分量运动补偿部12)，选择在对该宏块进行编码时效率最好的预测模式(编码模式选择部14),对预测 残差进行变换*量化(CO分量预测残差编码部18， Cl分量预测残差 编码部19， C2分量预测残差编码部20)，把预测模式或者运动信息 等边信息和被量化了的变换系数进行可变长编码，生成比特流30 (可 变长编码部27)。另外，局部解码被量化了的变换系数(CO分量局 部解码部24, Cl分量局部解码部25， C2分量局部解码部26),通 过把边信息与根据参考图像数据得到的预测图像相加，得到局部解码 图像，在根据需要实施了抑制伴随量化的块边界畸变的分块 (deblocking)滤波(分块滤波器部28)以后，为了在以后的预测处 理中使用，保存到帧存储器13以及/或者行存储器(line memory) 29中。在仅内部编码指示信息4指示r仅实施内部编码J的情况下， 不执行运动补偿预测处理，仅执行内部预测处理。以下，对于作为本实施形态1的特征的根据色度格式识别信息1、 共同编码.独立编码识别信息2、仅内部编码指示信息4等进行处理切 换的内部预测处理、运动补偿预测处理、预测残差编码处理、可变长 编码处理(以及作为其结果得到的比特流结构)分别说明详细过程。 (1)内部预测处理内部预测处理由图4的C0分量内部预测模式决定部5、 Cl/C2 分量内部预测模式决定部6、 C0分量内部预测图像生成部7、 Cl/C2 分量内部预测图像生成部8执行。在色度格式是4: 2: 0、 4: 2: 2的情况下，Y分量的信号由C0 分量内部预测模式决定部5决定C0分量内部预测模式100。这里能 够选择的模式有内部4x4预测模式、内部8x8预测模式、内部16x16 预测模式的3种。关于内部4x4预测模式和内部8x8预测模式，把宏 块分割为由4x4像素或者8x8像素构成的块，如图5所示，对每一个 块分别进行使用了附近参考像素的空间预测。该预测方法的选择分支 有9个，对使用9个中的哪一个方法进行预测，以内部预测模式的形 式编码为边信息之一。在图5的矩形中包围的4x4像素是预测对象的 像素，涂上了斜线的像素是用于生成预测图像的参考像素。箭头表示参考像素对预测值产生影响的方向。Mode2把参考像素的平均值作为 预测值。图5表示4x4块的例子，而对于8x8像素块也能够定义相同 的模式。通过进行具有这种方向性的空间预测，对于被拍摄物体的轮 廓或者紋理结构(texture)图形等图像的构造信息能够进行有效的预 测。另外，作为不细分宏块、直接使用16x16块进行内部预测的模式， 有内部16xl6预测模式(图6)。这种情况下，能够选择图6表示的 4种空间预测方法。这一点作为对于构图平坦的图像区域用很少的边 信息提高预测效果的模式是有效的。关于Cb、 Cr分量，由Cl/C2分量内部预测模式决定部6，决 定与Y分量独立的Cl/C2分量内部预测模式101 (把与Cl、 C2分 别相对应的模式作为101a、 101b。另外，在4: 2: 0、 4: 2: 2时， 101a、 101b始终是相同的值，任一方在比特流中被多路复用。在解码 器中把解码了的值设定为101a、 101b。)。图7表示4: 2: 0、 4: 2: 2色度格式时能够选择的Cb、 Cr分量的内部预测模式。该图7是表 示4: 2: 0格式时的图，而4: 2: 2格式也使用相同的才莫式。在该4 个模式中，仅有modeO把Cb、 Cr的宏块相当区域(4: 2: 0的情况 下是8x8像素块，4: 2: 2的情况下是8x16像素块)分割为4x4块， 以4x4块的单位进行来自周围的平均值预测。例如，对于左上方的4x4 块，把区域a、区域x的全部8个像素进行平均，或者把a或x的4 个像素进行平均的某一个值用作为预测值。关于Model、 2、 3与图5、 图6相同，成为具有方向性的空间预测。在4: 2: 0、 4: 2: 2色度 格式下，图像的紋理结构等构造上的信息汇总到Y分量，关于作为色 差分量信号的Cb、 Cr分量不保存图像的构造信息。从而，用这种简 易的预测模式进行有效的预测。在色度格式是4: 4: 4的情况下，C0、 Cl、 C2的各分量没有固 定为Y、 Cb、 Cr，在R、 G、 B等色空间中，在各色分量上保持与Y 分量相当的图像构造信息，因此在上述那样的对于Cb、 Cr分量的预 测中，有时不能得到充分的预测效率。因此，在本实施形态l的编码装置中，在色度格式是4: 4: 4的情况下，C0、 Cl、 C2都进行基于 与C0分量的内部预测模式决定部5相当的处理的内部预测模式的选 择。更具体地讲，在共同编码.独立编码识别信息2表示「共同编码处 理J的情况下，用共同的唯一的内部预测模式来预测C0、 Cl、 C2分 量。另一方面，在共同编码.独立编码识别信息2表示r独立编码处理J 的情况下，对于C0、 Cl、 C2分量，用单独求出的内部预测模式进行 预测。即，在色度格式是4: 4: 4而且共同编码'独立编码识别信息2 表示r共同编码处理」的情况下，C0、 Cl、 C2分量全部以C0分量 内部预测模式100进行内部预测。在色度格式是4: 4: 4而且共同编 码.独立编码识别信息2表示r独立编码处理」的情况下，Cl、 C2分 量根据从图5或图6表示的与C0分量相对应的内部预测模式独立于 CO分量求出的Cl / C2分量内部预测模式101a、 101b进行内部预测。在图4的编码装置的结构中，在色度格式是4: 4: 4而且共同编 码.独立编码识别信息2表示r共同编码处理」的情况下，C0分量由 C0分量内部预测模式决定部5决定预测模式，Cl、 C2分量直接使用 在CO分量中使用的预测模式，或者兼用Cl/C2分量内部预测模式 决定部6，对于CO、 Cl、 C2的所有分量决定一个成为最佳的唯一的 内部预测模式。在色度格式是4: 4: 4而且共同编码*独立编码识别信 息2表示r独立编码处理J的情况下，CO分量由CO分量内部预测模 式决定部5决定预测模式，Cl、 C2分量由Cl/C2分量内部预测模 式决定部6，分别单独决定最佳的内部预测模式。在所有的内部预测处理中，成为参考像素的周围像素值必须是没 有实施分块滤波的局部解码图像。因此，把通过作为CO分量局部解 码部24、 Cl分量局部解码部25、 C2分量局部解码部26的输出的局 部解码预测残差信号17b与预测图像34相加得到的分块滤波处理前 的像素值保存在行存储器29中，在内部预测中使用。根据通过以上的处理决定的各色分量的内部预测模式，在CO分 量内部预测图像生成部7、 Cl/C2分量内部预测图像生成部8中进 行预测图像的生成。关于CO分量内部预测图像生成部7、 Cl/C2分量内部预测图像生成部8，由于在解码装置中也使用共同的部件，因 此详细的动作在解码装置一侧的说明中叙述。 (2)运动补偿预测处理 运动补偿预测处理由图4的CO分量运动检测部9、 Cl/C2分 量运动检测部10、 CO分量运动补偿部ll、 Cl/C2分量运动补偿部 12进行。在色度格式是4: 2: 0、 4: 2: 2的情况下，Y分量的信号由CO 分量运动检测部9决定运动信息。运动信息包括指示在预测中使用保 存在帧存储器13中的1张以上参考图像数据中的哪个参考图像的参 考图像索引(index)、在用参考图像索引指定的参考图像中适用的运 动矢量。在C0分量运动检测部9中，从保存在帧存储器13中的运动补 偿预测参考图像数据中选择参考图像，以宏块的单位进行对于Y分量 的运动补偿预测处理。在帧存储器13中，遍及当前或过去.未来的多 个时刻，保存多张参考图像数据，从这些数据中以宏块的单位选择最 佳的参考图像进行运动预测。准备7种成为实际进行运动补偿预测的 单位的块尺寸，首先在宏块单位中，如图8 (a)到(d)所示，选择 16x16、 16x8、 8x16、 8x8的某一种尺寸。进而，在选择了 8x8的情 况下，在各个8x8块中，如图8 (e)到(h)所示，选择8x8、 8x4、 4x8、 4x4的某一种尺寸。对于图8的所有或者一部分块尺寸、子块尺 寸、预定的搜索范围的运动矢量以及可利用的1张以上的参考图像， 在每一个宏块执行运动补偿预测处理，得到Y分量的运动信息(运动 矢量以及参考图像索引)102。关于Cb、 Cr分量与Y分量相同，使 用参考图像索引，利用Y分量的运动矢量，求Cb/Cr分量的运动信 息103(具体地讲，与Y和Cb、 Cr的抽样比相当地，进行Y分量的 运动矢量的按比例缩放(scaling)来求出)。该处理在C1/C2分量 运动检测部10中进行。另夕卜，在运动检测部中评价的运动补偿预测图像候选以及在运动 补偿部中生成的预测图^f象的生成方法在Y分量和Cb、 Cr分量中存在以下的不同。关于Y分量，不仅是实际上输入到编码装置的像素(以下，称 为整数像素)位置，而且通过内插处理还虚拟地产生作为整数像素之 间的中点的1/2像素位置或者作为1/2像素之间的中点的1/4像 素位置的像素，在预测图像的生成中使用。图9表示该状况。图9中， 为了得到1/2像素位置的像素值，使用其周围6个像素部分的数据 实施内插(interpolation)滤波，得到像素值。为了得到l/4像素位 置的像素值，使用周围2个像素部分通过基于平均处理的线性内插得 到像素值。运动矢量以1/4像素精度为单位表现。与此不同，在Cb、 Cr的预测图像生成中，如图10所示，关于作为按比例缩放相对应的 Y分量的运动矢量的结果得到的运动矢量指示的像素位置的像素值， 从其附近4个位置的整数像素的像素值通过与像素间距离相对应的加 权线性内插处理求出。在色度格式是4: 4: 4的情况下，C0、 Cl、 C2的各分量没有被 固定为Y、 Cb、 Cr,在R、 G、 B等色空间中，在各色分量上保持与 Y分量相当的图像构造信息，因此在上述那样的对于Cb、 Cr分量的 预测图像生成方法中，有时不能得到充分的预测效率。因此，在本实 施形态l的编码装置中，在色度格式是4: 4: 4的情况下，与C0、 Cl、 C2 —起，进行基于与C0分量运动检测部9以及CO分量运动补 偿部11相当的处理的预测图像候选或预测图像的生成，得到运动信 息。更具体地讲，在共同编码.独立编码识别信息2表示r共同编码处 理J的情况下，求C0、 Cl、 C2分量共同的唯一的运动信息102。如 在4: 2: 0、 4: 2: 2的情况下那样在把某个特定的色分量的运动矢 量在其它的分量中适用时不进行按比例缩放的处理。另一方面，在共 同编码.独立编码识别信息2表示r独立编码处理」的情况下，使C0、 Cl、 C2分量独立，求单独的运动信息。在图4的编码装置的结构中， 在色度格式是4: 4: 4而且共同编码.独立编码识别信息2表示r共同 编码处理J的情况下，C0分量由CO分量运动检测部9决定CO分量 运动信息102， Cl、 C2分量直接使用C0分量运动信息或者兼用Cl/C2分量运动检测部10，对于C0、 Cl、 C2的所有分量决定一个成 为最佳的唯一的运动信息102。在色度格式是4: 4: 4而且共同编码-独 立编码识别信息2表示r独立编码处理J的情况下，C0分量由C0分 量运动检测部9决定C0分量运动信息102， Cl、 C2分量由C1/C2 分量运动检测部10分别单独决定最佳的运动信息103a、 103b。根据通过以上的处理决定的各个色分量的运动信息在CO分量运 动补偿部11、 Cl/C2分量运动补偿部12中进行预测图像的生成。 关于CO分量运动补偿部11、 Cl/C2分量运动补偿部12，在解码装 置中也使用共同的部件，因此其详细的动作在解码装置一侧的说明中 叙述。(3)预测残差编码处理由编码模式选择部14评价作为以上的内部预测处理的结果得到 的最佳的内部预测模式及其预测图像，以及作为运动补偿预测处理的 结果得到的最佳的运动信息(运动矢量、参考图像索引)及其预测图 像，选择最佳的编码模式15。如果编码模式15是内部预测，则由减 法器16取输入影像信号3与根据内部预测的预测图像之间的差分， 得到预测残差信号17a。如果编码模式15是运动补偿预测，则由减法 器16取输入影像信号3与根据运动补偿.预测的预测图像之间的差分， 得到预测残差信号17a。所得到的预测残差信号17a由CO分量预测残差编码部18、 Cl 分量预测残差编码部19、 C2分量预测残差编码部20进行变换*量化 而实施信息压缩。在Cl分量预测残差编码部19、 C2分量预测残差 编码部20中，根据色度格式识别信息1、共同编码.独立编码识别信 息2，切换对于Cl/C2分量的处理。对在色度格式是4: 2: 0、 4: 2: 2时的Y分量以及色度格式是 4: 4: 4时的C0分量，在CO分量预测残差编码部18中，进行图11 表示的预测残差编码处理。本处理中，首先，在编码模式15是选择 了内部8x8预测模式，或者以8x8块单位把预测残差信号17a进行整 数变换的模式的情况下，以把宏块内进行4分割了的8x8块的单位进行整数变换，进行遵从量化参数32的量化处理，得到量化系数数据 21。在编码模式15是其以外的情况下，首先以4x4块单位进行整数 变换，接着，在编码模式15是内部16x16预测模式的情况下，仅汇 总各4x4块的变换系数的DC分量构成4x4块，实施阿达玛 (Hadamard)变换。对于DC分量，对该阿达玛变换系数进行遵从 变换参数32的量化，其余的4x4块的15个AC分量单独进行量化处 理。在编码模式15不是内部16x16预测模式的情况下，对于16个变 换系数同时进行遵从量化参数32的量化处理。对于色度格式是4: 2: 0、 4: 2: 2时的Cb分量以及色度格式 是4: 4: 4时的Cl分量，在Cl分量预测残差编码部19中进行预测 残差编码处理。这时，在色度格式是4: 2: 0、 4: 2: 2的情况下， 在图12表示的处理中，在色度格式是4: 4: 4的情况下，在图ll表 示的处理中，进行预测残差编码，因此以下仅记述色度格式是4: 2: 0、 4: 2: 2时的处理。在本处理中不依赖编码模式15,把宏块的Cb 分量信号分割到4x4块中进行整数变换，进行遵从量化参数32的量 化处理，得到量化系数数据22。首先，以4x4块单位进行整数变换， 接着，汇集各4x4块的DC分量，构成2x2块(色度格式是4: 2: 0 时)或者2x4块(色度格式是4: 2: 2时)，实施阿达玛变换。对于 DC分量，对该阿达玛变换系数进行遵从量化参数32的量化，剩余的 4x4块的15个AC分量单独进行遵从量化参数32的量化处理。对于色度格式是4: 2: 0， 4: 2: 2时的Cr分量以及色度格式 是4: 4: 4时的C2分量，在C2分量预测残差编码部20中进行预测 残差编码处理。这时，在色度格式是4: 2: 0, 4: 2: 2的情况下， 在图12表示的处理中，在色度格式是4: 4: 4的情况下，在图ll表 示的处理中，进行预测残差编码，作为输出得到量化系数数据23。另外，对于各色分量量化的结果，确定表示是否存在以8x8块单 位有效的(即，非0)系数的CBP (编码块图形)的信息，该信息作 为宏块单位的再次信息之一，在比特流中多路复用。CBP的定义也根 据色度格式识别信息l、以及共同编码.独立编码识别信息2切换，详细过程在解码装置的说明中叙述。把通过以上的处理得到的量化系数数据21、 22、 23作为输入， 由C0分量局部解码部24、 Cl分量局部解码部25、 C2分量局部解码 部26得到局部解码预测残差信号。这些局部解码部由于使用与解码 装置一侧完全相同的部件，因此详细的动作在解码装置一侧的说明中 叙述。(4)可变长编码处理在可变长编码部27中作为序列级的标题信息，输入色度格式识 别信息1、共同编码.独立编码识别信息2、仅内部编码指示信息4、 图像尺寸信息31。另外，在共同编码.独立编码识别信息2表示r独 立编码处理J的情况下，输入支持当前正在编码处理的图片属于哪个 色分量的色分量识别信息，根据该信息，在正在编码处理的片开头中 提供色分量识别标志33。由此，在解码装置一侧，能够识别所接受的 片包括哪个色分量的编码数据。作为宏块级的编码数据，输入编码模 式15、内部预测模式100*101、运动信息102.103、量化参数32、变 换块尺寸指示信息104、量化系数数据21*22*23等，通过哈夫曼编码 或者算术编码，进行熵编码，在比特流30中多路复用。比特流30以 汇总了一个或多个宏块的片数据的单位构成包(在AVC中也称为 NAL单元化)后输出。图13中表示比特流30的整体图。在作为序列级的标题信息的序 列参数组(SPS)中，多路复用色度格式识别信息1、共同编码.独立 编码识别信息2、仅内部编码指示信息4、图像尺寸信息31。共同编 码.独立编码识别信息2由于仅在色度格式是4: 4: 4的情况下是必须 的，因此仅在色度格式识别信息l是4: 4: 4的情况下多路复用。在 作为图片级的标题信息的图片参数组(PPS)中，多路复用在图片开 头使用的量化参数32的初始值等。图像编码数据在片以下中多路复 用，根据色度格式识别信息l、共同编码，独立编码识别信息2的值， 如图14、图15那样，数据形式不同。根据色度格式识别信息l，在表示色度格式是4: 2: 0、 4: 2: 2的情况下，成为图14那样的片构造。图14中SH是片标题，MB是 宏块编码数据，MBH是宏块标题，Tx是x分量的量化系数数据。这 时，片在图2的结构中，包括由遵从色度格式的抽样比的Y、 Cb、 Cr的像素构成的宏块的编码数据，在MBH中包括与编码模式15相 当的宏块种类，在宏块种类表示内部预测模式的情况下，包括C0即 Y分量的内部预测模式100、Cl/C2即Cb/Cr分量的共同的内部预 测模式101、在量化系数数据的量化'反量化中使用的量化参数32等。 在宏块种类表示运动补偿预测(间(inter))模式的情况下，包括 CO即Y分量的运动信息102 (运动矢量以及参考图像索引)、在量 化系数数据的量化-反量化中使用的量化参数32等。根据色度格式识别信息l,在表示色度格式是4: 4: 4的情况下， 根据共同编码*独立编码识别信息2的值，成为图15那样的片构造。 在共同编码.独立编码识别信息2表示r共同编码处理J的情况下(图 15A),片是在图2的结构中，包括由遵从色度格式的抽样比的CO、 Cl、 C2分量的像素构成的宏块编码数据，在MBH中包括与编码模 式15相当的宏块种类，在宏块种类表示内部预测模式的情况下，包 括C0/C1/C2的所有分量共同的内部预测模式100、在量化系数数 据的量化*反量化中使用的量化参数32等。在宏块种类表示运动补偿 预测(间(inter))模式的情况下，包括CO / Cl / C2的所有分量共 同的运动信息102 (运动矢量以及参考图像索引)、在量化系数数据 的量化.反量化中使用的量化参数32等。在共同编码.独立编码识别信息2表示「独立编码处理J的情况 下(图15B)，片是在图3的结构中，包括由C0、 Cl、 C2的某一个 色分量(Ck)的像素构成的宏块编码数据。Ck作为指示与CO、 Cl、 C2的哪一个色分量相当的信息，在片的开头提供色分量识别标志33。 在MBH中包括与编码模式15相当的宏块种类，在宏块种类表示内部 预测模式的情况下，包括Ck分量的内部预测模式100、在量化系数 数据的量化，反量化中使用的量化参数32等。在宏块种类表示运动补 偿预测(间(inter))模式的情况下，包括Ck分量的运动信息102(运动矢量以及参考图像索引)、在量化系数数据的量化'反量化中使用的量化参数32等。另外，虽然没有图示，然而根据需要，有时插入表示访问单元(在 色度格式是4: 2: 0、 4: 2: 2的情况下或者进行共同编码处理的情 况下是l个图片，在进行独立编码处理的情况下是3个图片)的中断 (break )的独特码(unique word) ( AVC的访问单元定界符，MPEG -2标准的图片起始码，MPEG-4标准的VOP起始码等)。通过以上那样构成比特流，即使在把4: 2: 0、 4: 2: 2、 4: 4: 4等多个不同色度格式一起进行编码处理的情况下，由于能够共用被 编码的预测模式、运动信息的检测*生成方法或者编码数据的语义 (semantics),因此能够使编码装置的结构更有效。另外，由于能够 以单一形式的比特流表现4: 2: 0、 4: 2: 2、 4: 4: 4等多个不同色 度格式的影像编码数据，因此本实施形态1的编码装置输出的比特流 30能够在处理多个不同色度格式的传输.记录系统中满足高的相互连 接性。另外，在图4的编码装置中，构成为根据仅内部编码指示信息4 控制编码处理。仅内部编码指示信息4是指示编码装置是否进行基于 运动补偿预测的时间方向的预测处理的信号，在该信号表示是r仅内 部编码」的情况下，对于输入影像信号3的所有的图片，不进行基于 运动补偿预测的时间方向的预测，而进行封闭在画面内的编码(仅是 内部预测的编码)。另外，这时在图片编码部内部同时使分块滤波无 效。在仅内部编码指示信息4表示r不是仅内部编码J的情况下，对 于输入影像信号3的图片，也使用基于运动补偿预测的时间方向的预 测，进行利用了画面内.画面之间的所有相关性的编码。仅内部编码指 示信息4在可变长编码部27中，提供到序列参数组上，在比特流30 中多路复用。由此，在以比特流30为输入的解码装置中，通过把序 列参数组中的仅内部编码指示信息4解码，确认其值，能够识别是否 对比特流30进行了仅内部编码，因此在进行了仅内部编码的情况下， 不执行分块滤波处理，能够减少解码装置的运算量。另外，在仅内部编码指示信息4表示r是仅内部编码J的情况下，由于不执行运动补 偿预测，因此也不进行作为参考图像向帧存储器13的写入。通过这 样构成还减少存储器访问。进而，构成为根据输入影像信号3的画面尺寸信息31控制编码 处理。画面尺寸信息31是表示输入影l象信号3的图片内宏块数的信 息，在该值大于预定的阈值的情况下，确定包含在片中的宏块的个数 的上限值，进行控制使得片不包括比该上限值多的宏块。具体地讲， 图像尺寸信息31输入到可变长编码部27中，可变长编码部27根据 图像尺寸信息31,决定包含在片内的宏块的个数的上限值。可变长编 码部27预先计数编码了的宏块的个数，当包含在片内的宏块的个数 达到了上述上限值时，闭合片数据的包，以后的宏块作为新的片数据 构成包。图像尺寸信息31在可变长编码部27中提供到序列参数组中， 在比特流30中多路复用。由此，在输入影^象信号3的画面尺寸大(即， 空间分辨率高)的情况下，编码装置.解码装置都能够确定可并行处理 的单位，能够进行顺利的任务分配。<解码装置>图16表示本实施形态1的解码装置的结构。图16的解码装置釆 用以比特流30为输入，根据包含在比特流中的色度格式识别信息1 切换内部解码处理的结构，与多个不同色度格式的编码数据的解码处 理相对应。输入比特流30首先被进行可变长解码处理(可变长解码部200 ), 色度格式识别信息1、共同编码.独立编码识别信息2、仅内部编码指 示信息4、图像尺寸信息31等作为上位标题信息被解码，在序列解码 过程中被保持。接着，根据按照色度格式识别信息1、共同编码*独立 编码识别信息2确定的图14、图15的片构造、图2或图3的某一个 宏块构造，在每一个宏块数据中进行解码处理。在宏块单位的解码中， 首先遵从被解码了的编码模式15，进行内部预测图像生成处理(C0 分量内部预测图像生成部7， Cl/C2分量内部预测图像生成部8)、 运动补偿处理(C0分量运动补偿部11，Cl/C2分量运动补偿部12)，进行对于该宏块的预测图像的生成。另一方面，通过对于作为宏块编 码数据的一部分被解码了的量化系数数据实施反量化'反整数变换处理，把预测残差信号17b解码(CO分量预测残差解码部24， CI分量 预测残差解码部25， C2分量预测残差解码部26)。接着，通过把预 测图像34与预测残差信号17b相加得到暂定解码图像。在根据需要 实施了抑制伴随量化的块边界畸变的分块滤波(分块滤波器部28)以 后，为了在以后的预测图像生成处理中使用，保存在帧存储器201以 及/或者行存储器202中。在仅内部编码指示信息4指示r仅实施内 部编码j的情况下，不执行运动补偿处理，仅执行内部预测图像生成 处理。以下，对于作为本实施形态1的特征的、根据色度格式识别信息1、 共同编码.独立编码识别信息2、仅内部编码指示信息4等进行处 理切换的可变长解码处理、内部预测图像生成处理、运动补偿处理、 预测残差解码处理，分别说明详细过程。(1)可变长解码处理比特流30首先输入到可变长解码部200，进行图13的序列参数 组或者图片参数组等的上位标题的分析处理。在该过程中，解码色度 格式识别信息1、共同编码.独立编码识别信息2、仅内部编码指示信 息4、图像尺寸信息31。只有在色度格式识别信息1表示是4: 4: 4 色度格式的情况下，从比特流30中抽取共同编码.独立编码识别信息2。 这些参数在序列的解码期间中，保持在可变长解码部200的内部 存储器中。接着，进行片NAL单元的解码。首先，仅在色度格式识别信息 l表示是4: 4: 4色度格式而且共同编码'独立编码识别信息2表示是 r独立编码处理」的情况下，把色分量识别标志33解码，识别当前 片包含哪种色分量的编码数据。接着进行片标题的解码，进入到属于 片的宏块编码数据的解码。使用图17说明宏块编码数据的排列及其分析.解码处理的流程。 在宏块的解码中，(a)首先如图14、图15那样，把与编码模式15相当的宏块种 类(图17的mb_type)解码。(b )在SW1中，评价mb一type，在mb一type表示PCM模式(非 压缩，把像素值直接在比特流中多路复用的模式)的情况下，直接从 比特流抽取宏块中的像素数部分的非压缩数据，结束该宏块的解码处 理。(c) 在SW1中mb—type不是PCM模式，在SW2中评价 mb一type，在是以8x8块以下的尺寸进行运动补偿预测的模式的情况 下，把8x8块以下的子宏块种类(sub—mb一type )解码，把每一个子 块的运动信息(运动矢量.参考图像索引)解码。然后进入到SW4。(d) 在SW2中mb_type与(e)的条件不一致，在SW3中评 价mbjype，在间(inter)编码模式下，作为预测残差信号17b的变 换块尺寸能选择8x8块的情况下，把变换块尺寸指示信息104解码， 进而把运动信息解码。在运动信息的解码时，根据色度格式识别信息 1、共同编码.独立编码识别信息2，如以下那样进行解码。然后进入 到SW4。(1) 当色度格式是4: 2: 0或者4: 2: 2时， 解码的运动信息解码为C0分量运动信息102。(2) 当色度格式是4: 4: 4、共同编码处理时， 解码的运动信息解码为在C0、 Cl、 C2分量中共同使用的运动信息102、 103。(3) 在色度格式是4: 4: 4、独立编码处理时， 解码的运动信息解码为在色分量识别标志33表示的Ck分量中使用的运动信息。(e) 在SW2中mb—type与(c)的条件不一致，在SW3中评 价mbjype，在是内部4x4预测或者内部8x8预测模式的情况下，把 内部预测模式信息解码。在内部预测模式信息的解码时，根据色度格 式识别信息1、共同编码.独立编码识别信息2如以下那样进行解码。 然后进入到SW4。(1) 当色度格式是4: 2: 0或者4: 2: 2时，对于Y分量，把以4x4或8x8块的单位确定的C0分量内部预测 模式100解码，对于Cb/Cr分量，把与其独立进行编码的Cl/C2 分量内部预测模式101解码。(2) 在色度格式是4: 4: 4、共同编码处理时， 解码的内部预测模式信息解码为在C0、 Cl、 C2分量中共同使用的内部预测模式信息100、 101。(3) 在色度格式是4: 4: 4、独立编码处理时， 解码的内部预测模式信息解码为在色分量识别标志33表示的Ck分量中使用的内部预测模式信息。(f) 在SW3中mb—type与(d)或(e)的条件不一致，SW4 中评价mbjype，在是内部16x16预测模式的情况下，把组装到 mb_type中的内部16x16预测模式解码，然后，在色度格式识别信息 1表示4: 2: 0或者4: 2: 2色度格式的情况下，按照上述(e )的(1),把与Y分量独立的Cl/C2分量内部预测模式101解码。接着， 把量化参数解码。(g) 在SW4中mb」ype与(f)的条件不一致的情况下，把CBP (编码块图形)解码，根据CBP的值，对于表示全部系数为0的8x8块，把量化系数数据的解码结果设置为全O。如果CBP表示在宏块内 的某一个8x8块中存在有效系数(SW5)，则把量化参数解码。解码 了的CBP在色度格式识别信息1表示4: 2: 0或者4: 2: 2色度格 式的情况下，解码为判别是否有对于亮度分量的4个8x8块以及色差 分量的N个(对于4: 2: 0, N = 2，对于4: 2: 2， N = 4， ) 8x8块 的有效系数数据的信息。另一方面，在色度格式识别信息l表示4: 4: 4色度格式以及在共同编码.独立编码识别信息2表示「共同编码J的 情况下，解码为对于4个8x8块的区域规定在C0、 Cl、 C2的同一个 空间上的8x8块的某一个中是否存在有效系数的信息。在共同编码-独 立编码识别信息2表示r独立编码J的情况下，在CO， Cl， C2的每 一个分量中单独解码CBP，解码为与色度格式是4: 2: 0或者4: 2:2时的亮度分量同样定义的信息。(h)关于解码了量化参数的宏块，进行量化系数数据的解码。 这里，进行遵从根据色度格式识别信息1、共同编码.独立编码识别信 息2确定的图14、图15的片、宏块数据构造的量化系数数据Tx的 解码。(2)内部预测图像生成处理内部预测图像生成处理由图16的C0分量内部预测图像生成部 7、 Cl/C2分量内部预测图像生成部8进行。它们与在图4的编码装 置中说明过的部件相同。在色度格式是4: 2: 0、 4: 2: 2的情况下，Y分量的信号根据 从可变长解码部200供给的C0分量内部预测模式100，在C0分量内 部预测图像生成部7中生成预测图像。作为CO分量内部预测模式100， 有上述的内部4x4预测模式、内部8x8预测模式、内部16x16预测模 式的3种。关于内部4x4预测模式和内部8x8预测模式，把宏块分割 为由4x4像素或者8x8像素构成的块，如图5所示，在每一个宏块中， 通过使用了附近参考像素的空间预测分别生成预测图像。该预测图像 生成方法的选择分支有9个，使用9个中的哪一种方法生成预测图像 这一点作为C0分量内部预测模式100供给到CO分量内部预测图像 生成部7。图5表示4x4块的例子，而关于8x8像素块也定义同样的 模式。具有这种方向性的空间预测模式的效果与上述相同。另外，作为不细分宏块，直接以16x16块进行内部预测的模式， 有内部16xl6预测模式(图6)。这种情况下，从图6表示的4种空 间预测选择预测图像生成方法。这种空间预测模式的效果与上述相 同。关于Cb、 Cr分量，由Cl/C2分量内部预测图像生成部8,与 Y分量独立地进行内部预测图像的生成。图18表示本实施形态1中 的Cl/C2分量内部预测图像生成部8的内部结构。在色度格式识別 信息1表示4: 2: 0色度格式或者4: 2: 2色度格式的情况下，Cl /C2分量内部预测模式101表示图7表示的4种模式的某一个。根据预测图像生成处理对象的块数，与色度格式相对应，把处理分支到4: 2: 0Cb / Cr分量内部预测图像生成部8a或者4: 2: 2Cb/Cr分 量内部预测图像生成部8b中。另外，在色度格式是4: 4: 4的情况 下，Cl/C2分量内部预测模式101与处理Y分量的C0分量内部预 测模式是完全相同的定义，因此把处理分支到Y分量内部预测图像生 成部8c。Y分量内部预测图像生成部8c能够用与C0分量内部预测图 像生成部7大致相同的部件构成，但根据共同编码.独立编码识别信息 2,在r共同编码处理」的情况下，进行Cl/C2两个分量的预测图 像的生成，在r独立编码处理J的情况下，仅对于与由色分量识别标 志33确定的Ck分量相对应的内部预测模式(101a或者101b的一方) 进行相对应的预测图像生成这一点不同。在全部的内部预测图像生成处理中，成为参考像素的周围像素值 必须是没有实施分块滤波的解码图像。从而，把作为CO分量预测残 差解码部24、 Cl分量预测残差解码部25、 C2分量预测残差解码部 26的输出的解码预测残差信号17b与预测图像34相加得到的分块滤 波处理前的像素值保存在行存储器202中，在内部预测预测图像生成 中使用。(3)运动补偿处理运动补偿处理由图16的CO分量运动补偿部11、 Cl/C2分量 运动补偿部12进行。它们与在图4的编码装置中说明过的部件相同。在色度格式是4: 2: 0、 4: 2: 2的情况下，Y分量的预测信号 在CO分量运动补偿部11中，根据作为宏块编码数据的一部分解码的 Y分量运动信息102生成。运动信息包括指示在预测中使用保存在帧 存储器201中的1张以上的参考图像数据中的哪一张参考图像这一点 的参考图像索引、在由参考图像索引指定的参考图像中适用的运动矢 量。Y分量运动信息102与图8表示的成为运动补偿预测单位的7种 块尺寸相对应地解码。按照该图8的哪一种块尺寸进行运动补偿，根 据编码模式15以及在上述可变长解码处理动作的说明中叙述过的子宏块种类(sub_mb_type)确定。对于成为进行运动补偿的单位的块， 分配Y分量运动信息102，对于由帧存储器201中的参考图像索引指 示的参考图像适用运动矢量得到预测图像。关于Cb、 Cr分量，如图 17所示，在可变长解码部200内，分配与Y分量相同的参考图像索 引，利用Y分量的运动矢量求Cb/Cr分量运动信息103(具体地讲， 通过与Y和Cb、 Cr的抽样比相当地，进行Y分量的运动矢量的按比 例缩放求出)。另外，如使用图9、图IO叙述的那样，在运动补偿部中生成的 预测图像的生成方法在Y分量和Cb、 Cr分量中不同。Cb/Cr分量 的运动补偿处理由Cl/C2分量运动补偿部12进行。图19表示本实施形态1中的Cl / C2分量运动补偿部12的内部 结构。在色度格式识别信息l表示4: 2: 0色度格式或者4: 2: 2色 度格式的情况下，Cb/Cr分量运动信息103如上所述，根据CO分量 即Y分量的运动信息102，在可变长解码部200中生成，输入到Cl /C2分量运动补偿部12。根据预测图像生成处理对象的块数，与色 度格式相对应，把处理分支到4: 2: OCb/Cr分量运动补偿部12a 或者4: 2: 2Cb / Cr分量运动补偿部12b。另外，在色度格式是4: 4: 4的情况下，Cb/Cr分量运动信息103由于与处理Y分量的Y分 量运动信息102是完全相同的定义，因此把处理分支到Y分量运动补 偿部12c。 Y分量运动补偿部12c能够用与CO分量运动补偿部11大 致相同的部件构成，但在根据共同编码.独立编码识别信息2，在r共 同编码处理」的情况下进行C1/C2两分量的预测图像生成，在r独 立编码处理」的情况下，仅对于与由色分量识别标志33确定的Ck分 量相对应的运动信息(103a或者103b的一方)进行相对应的预测图 ^像生成这一点不同。(4)预测残差解码处理预测残差解码处理由图16的CO分量预测残差解码部24、 Cl分 量预测残差解码部25、 C2分量预测残差解码部26进行。它们与在图 4的编码装置中说明过的CO分量局部解码部24、 Cl分量局部解码部25、 C2分量局部解码部26相同。预测残差解码处理是对于从可变长解码部200输出的每一个宏 块的C0、 Cl、 C2分量量化系数数据21、 22、 23进行反量化*反变换， 复原预测残差信号17b的处理。在Cl分量预测残差解码部25、 C2 分量预测残差解码部26中，根据色度格式识别信息1、共同编码.独 立编码识别信息2，切换对于Cl/C2分量的处理。对于色度格式是4: 2: 0、 4: 2: 2时的Y分量以及色度格式是 4: 4: 4时的C0分量，在CO分量预测残差解码部24中，进行图20 表示的预测残差解码处理。在本处理中，首先，在编码模式15表示 是内部8x8预测模式或者变换块尺寸指示信息104表示是8x8块单位 的整数变换的情况下，把量化系数数据21按照把宏块内4分割了的 8x8块的单位处理。在以8x8块单位进行了遵从量化参数32的反量化 以后，以8x8块的单位进行反整数变换，得到预测残差信号17a的复 原值17b。在编码模式15是除此以外的情况下，按照编码模式15是否是内 部16x16预测模式来切换处理。当内部16x16预测模式时，从量化系 数数据21首先对于各4x4块的DC分量大小的变换系数进行遵从量 化参数32的反量化处理，接着进行4x4的反阿达玛变换。由此，得 到宏块中的各4x4块的DC分量的复原值。关于剩余的15个AC系 数也进行遵从量化参数32的反量化处理，与上述得到的DC分量结 合，得到4x4块单位的反量化完毕的变换系数。最后通过4x4反整数 变换把它们复原为预测残差信号17b。在编码模式15也不是内部16x16预测模式的情况下，在各4x4 块中进行反量化*反整数变换，复原预测残差信号17b。对于色度格式是4: 2: 0、 4: 2: 2时的Cb、 Cr分量以及色度 格式是4: 4: 4时的Cl、 C2分量，在Cl分量预测残差解码部25、 C2分量预测残差解码部26中，分别进行预测残差解码处理。关于色度格式是4: 2: 0、 4: 2: 2时的Cb、 Cr分量，按照图 21的流程进行预测残差的解码处理。4: 2: 0与4: 2: 2的差别在于执行阿达玛变换的单位是2x2块还是2x4块。首先，仅汇总4x4块的 变换系数的DC分量构成成为阿达玛反变换处理的对象的块，在进行 了反量化以后执行阿达玛反变换。对于剩下的15个AC分量单独进 行反量化，与DC分量结合来执行4x4反整数变换。由此，复原预测 残差信号17b。图22表示Cl分量预测残差解码部25、 C2分量预测残差解码部 26的内部结构。关于上述色度格式是4: 2: 0、 4: 2: 2时的Cb、 Cr分量的处理，在图22中，分开记栽为4: 2: 0Cb或Cr分量预测 残差解码部25a、 4: 2: 2Cb或Cr分量预测残差解码部25b，而处理 内容的差别与上述相同。另一方面，在色度格式是4: 4: 4的情况下， Cl/C2量化系数数据22、 23由于按照与4: 2: 0、 4: 2: 2的Y分 量的量化系数数据21完全相同的方法编码，因此把处理分支到Y分 量预测残差解码部25c。 Y分量预测残差解码部25c能够用与C0分量 预测残差解码部24相同的部件构成。在仅内部编码指示信息4表示是r仅内部编码J的情况下，表示 比特流30中的所有图片不进行基于运动补偿预测的时间方向的预测， 进行封闭在画面内的编码(仅是内部预测的编码)而被编码的情况， 因此使分块滤波器部28的处理无效。由此，在以比特流30为输入的 解码装置中，在仅内部编码的情况下不执行分块滤波处理，能够减少 解码装置的运算量。另外，在仅内部编码指示信息4表示r是仅内部 编码」的情况下，由于不执行运动补偿预测，因此还不进行参考图像 的向帧存储器201的写入。通过这样构成还减少存储器访问。另外，本实施形态1的解码装置按照以上述说明的编码装置所输 出的比特流30为输入进行解码的结构进行了说明，而编码装置只要 输出遵从比特流30的形式的比特流，则仅输入4: 2: 0色度格式进 行编码的编码装置，或者仅是4: 2: 2、或4: 2: 0和4: 2: 2两种 格式的各种规格的编码装置所输出的比特流也能够正确解码。依据以上叙述的本实施形态1的编码装置和解码装置，对于4: 2: 0、 4: 2: 2、 4: 4: 4等多个不同的色度格式，能够以有效的装置结构统一地进行编码.解码，能够提高影像编码数据的相互连接性。另外，在本实施形态l中，把4: 2: 0、 4: 2: 2色度格式的3 个色空间作为Y、 Cb、 Cr进行了说明，而使用除此以外的例如Y、 Pb、 Pr等色空间也能够得到同样的效果。
权利要求
1.一种运动图像编码装置，以数字运动图像信号为输入进行压缩编码，该运动图像编码装置的特征在于，具备对于与输入运动图像信号的色度格式是4:2:0或4:2:2时的亮度分量相当的信号分量进行内部预测的第1内部预测模式决定部；对于与输入运动图像信号的色度格式是4:2:0或4:2:2时的色差分量相当的信号分量进行内部预测的第2内部预测模式决定部；对由上述第1内部预测模式决定部确定的第1内部预测模式或由上述第2内部预测模式决定部确定的第2内部预测模式进行可变长编码的可变长编码部；根据上述第1内部预测模式生成第1内部预测图像的第1内部预测图像生成部；根据上述第2内部预测模式生成第2内部预测图像的第2内部预测图像生成部；对于作为上述第1内部预测图像或上述第2内部预测图像与输入运动图像信号的相对应的色分量信号的差分得到的预测误差信号，进行变换编码的编码部，根据给出上述输入运动图像信号的色度格式种类的控制信号，在色度格式是4:2:0或4:2:2的情况下，在上述输入运动图像信号的亮度分量中适用上述第1内部预测模式决定部和上述第1内部预测图像生成部，在色差分量中适用上述第2内部预测模式决定部和上述第2内部预测图像生成部，在色度格式是4:4:4的情况下，在上述输入运动图像信号的全部色分量中适用上述第1内部预测模式决定部和上述第1内部预测图像生成部而进行编码，上述可变长编码部把上述控制信号作为在运动图像序列单位中适用的编码数据，在比特流中多路复用。
2. 根据权利要求1所述的运动图像编码装置，其特征在于， 在色度格式是4: 4: 4的情况下，进而根据识别共同编码.独立编码的种类的控制信号，在该控制信号表示是共同编码的情况下，在 上述第1内部预测模式决定部中评价上述输入运动图像信号的一部分 或全部色分量的信号，把所得到的第1内部预测模式决定为对上述输 入运动图像信号的全部色分量共同的预测模式，在上述控制信号表示是独立编码的情况下，在上述第1内部预测 模式决定部中单独评价上述输入运动图像信号的各色分量的信号，对 每一种色分量，独立决定上述第1内部预测模式而进行编码。
3. —种运动图像编码装置，以数字运动图像信号为输入进行压缩 编码，该运动图像编码装置的特征在于，具备对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时的 亮度分量相当的信号分量决定第l运动信息的第l运动检测部；对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时的 色差分量相当的信号分量决定第2运动信息的第2运动检测部；对由上述第l运动检测部确定的第l运动信息进行可变长编码的 可变长编码部；根据上述第1运动信息生成第1间预测图像的第1运动补偿部； 根据上述第2运动信息生成第2间预测图像的第2运动补偿部； 对于作为上述第1间预测图像或上述第2间预测图像与输入运动 图像信号的相对应的色分量信号的差分得到的预测误差信号，进行变 换编码的编码部，根据给出上述输入运动图像信号的色度格式种类的控制信号，在 色度格式为4: 2: 0或4: 2: 2的情况下，在上述输入运动图像信号 的亮度分量中适用上述第l运动检测部和上述第l运动补偿部，在色 差分量中适用上述第2运动检测部和上述第2运动补偿部，在色度格 式是4: 4: 4的情况下，在上述输入运动图像信号的全部色分量中适 用上述第1运动检测部和上述第1运动补偿部而进行编码，上述可变长编码部把上述控制信号作为在运动图像序列单位中 适用的编码数据，在比特流中多路复用。
4. 根据权利要求3所述的运动图像编码装置，其特征在于，在色度格式是4: 4: 4的情况下，进而根据识别共同编码'独立 编码的种类的控制信号，在该控制信号表示是共同编码的情况下，在 上述第1运动检测部中评价上述输入运动图像信号的一部分或全部色 分量的信号，把第l运动信息决定为对上述输入运动图像信号的全部 色分量共同的运动信息，在上述控制信号表示是独立编码的情况下，在上述第1运动检测 部中单独评价上述输入运动图像信号的各色分量的信号，对每一种色 分量决定上述第l运动信息而进行编码。
5.—种运动图像解码装置，以对数字运动图像信号进行了压缩编 码的比特流为输入，进行运动图像信号的解码，该运动图像解码装置的特征在于，具备对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的亮度 分量相当的信号分量生成第1内部预测图像的第1内部预测图像生成 部；对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的色差 分量相当的信号分量生成第2内部预测图像的第2内部预测图像生成 部；从上述输入比特流，把表示被压缩编码了的运动图像信号的色度 格式种类的色度格式识别信息解码为运动图像序列单位的信息，并且 根据该色度格式识别信息，以宏块单位分析输入比特流，从比特流中 解码对在上述第1内部预测图像的生成中使用的第1内部预测模式或 在上述第2内部预测图像的生成中使用的第2内部预测模式与上述第 1内部预测图像或上述第2内部预测图像之间的预测误差信号进行了 变换编码的量化系数数据的可变长解码部；对上述量化系数数据进行反量化*反变换，解码为预测误差信号 的预测误差信号解码部，根据上述色度格式识别信息，在色度格式是4: 2: 0或4: 2: 2 的情况下，根据上述第1内部预测图像生成部和上述第1内部预测模 式生成亮度分量的内部预测图像，根据上述第2内部预测图像生成部和上述第2内部预测模式生成色差分量的内部预测图像，在色度格式 是4: 4: 4的情况下，根据上述第1内部预测图像生成部和上述第1 内部预测模式，生成全部色分量的内部预测图像，通过把所得到的内 部预测图像和上述预测误差信号解码部的输出相加，对运动图像信号 进行解码。
6.根据权利要求5所述的运动图像解码装置，其特征在于， 上述可变长解码部在色度格式是4: 4: 4的情况下，进而把识别图像序列单位的信息，在该识别信息表示是共同编码的情况下，作为 上述第1内部预测模式，对被解码的运动图像信号的全部色分量的信 号解码共同的预测模式，在上述识别信号表示是独立编码的情况下，作为上述第1内部预 测模式，对于被解码的运动图像信号的各色分量的信号，分别解码单 独的预测模式。
7.—种运动图像解码装置，以对数字运动图像信号进行了压缩编 码的比特流为输入，进行运动图像信号的解码，该运动图像解码装置 的特征在于，具备对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的亮度 分量相当的信号分量生成第1间预测图像的第l运动补偿部；对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的色差 分量相当的信号分量生成第2间预测图像的第2运动补偿部；从上述输入比特流，把表示被压缩编码了的运动图像信号的色度 格式种类的色度格式识别信息解码为运动图像序列单位的信息，并且 根据该色度格式识别信息，以宏块单位分析输入比特流，从比特流中 解码对在上述第1间预测图像的生成中使用的第l运动信息或在上述 第2间预测图像的生成中使用的第2运动信息与上述第1间预测图像 或上述第2间预测图像之间的预测误差信号进行了变换编码的量化系 数数据的可变长解码部；对上述量化系数数据进行反量化.反变换，解码为预测误差信号的预测误差信号解码部，根据上述色度格式识别信息，在色度格式是4: 2: 0或4: 2: 2 的情况下，根据上述第l运动信息生成上述第2运动信息的解码值， 根据上述第l运动补偿部和上述第l运动信息生成亮度分量的间预测 图像，根据上述第2运动补偿部和上述第2运动信息生成色差分量的 间预测图像，在色度格式是4: 4: 4的情况下，根据上述第1运动补 偿部和上述第l运动信息，生成全部色分量的间预测图像，通过把所 得到的间预测图像和上述预测误差信号解码部的输出相加，对运动图 像信号进行解码。
8.根据权利要求7所述的运动图像解码装置，其特征在于， 上述可变长解码部在色度格式是4: 4: 4的情况下，进而把识别图像序列单位的信息，在该识别信息表示是共同编码的情况下，作为 上述第l运动信息，对被解码的运动图像信号的全部色分量的信号解 码共同的运动信息，在上述识别信号表示是独立编码的情况下，作为上述第l运动信 息，对于被解码的运动图像信号的各色分量的信号，分别解码单独的 运动信息。
9.一种运动图像编码方法，以数字运动图像信号为输入进行压缩 编码，该运动图像编码方法的特征在于，具备对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时的 亮度分量相当的信号分量进行内部预测的第1内部预测模式决定步对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时的 色差分量相当的信号分量进行内部预测的第2内部预测模式决定步 激.对由上述第1内部预测模式决定步骤确定的第1内部预测模式或 由上述第2内部预测模式决定步骤确定的第2内部预测模式进行可变 长编码的可变长编码步骤；根据上述第1内部预测模式生成第1内部预测图像的第1内部预测图像生成步骤；根据上述第2内部预测模式生成第2内部预测图像的第2内部预 测图像生成步骤；对于作为上述第1内部预测图像或上述第2内部预测图像与输入 运动图像信号的相对应的色分量信号的差分得到的预测误差信号，进 行变换编码的编码步骤，才艮据给出上述输入运动图像信号的色度格式种类的控制信号，在 色度格式是4: 2: 0或4: 2: 2的情况下，在上述输入运动图像信号 的亮度分量中适用上述第1内部预测模式决定步骤和上述第1内部预 测图像生成步骤，在色差分量中适用上述第2内部预测模式决定步骤 和上述第2内部预测图像生成步骤，在色度格式是4: 4: 4的情况下， 在上述输入运动图像信号的全部色分量中适用上述第1内部预测模式 决定步骤和上述第1内部预测图像生成步骤而进行编码，上述可变长编码步骤把上述控制信号作为在运动图像序列单位 中适用的编码数据，在比特流中多路复用。
10.—种运动图像编码方法，以数字运动图像信号为输入进行压 缩编码，该运动图像编码方法的特征在于，具备对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时的 亮度分量相当的信号分量决定第l运动信息的第l运动检测步骤；对于与输入运动图像信号的色度格式是4: 2: 0或4: 2: 2时的 色差分量相当的信号分量决定第2运动信息的第2运动检测步骤；对由上述第l运动检测步骤确定的第l运动信息进行可变长编码 的可变长编码步骤；根据上述第1运动信息生成第1间预测图像的第1运动补偿步根据上述第2运动信息生成第2间预测图像的第2运动补偿步 对于作为上述第1间预测图像或上述第2间预测图像与输入运动图像信号的相对应的色分量信号的差分得到的预测误差信号，进行变 换编码的编码步骤，根据给出上述输入运动图像信号的色度格式种类的控制信号，在色度格式是4: 2: 0或4: 2: 2的情况下，在上述输入运动图像信号 的亮度分量中适用上述第l运动检测步骤和上述第l运动补偿步骤， 在色差分量中适用上述第2运动检测步骤和上述第2运动补偿步骤， 在色度格式是4: 4: 4的情况下，在上述输入运动图像信号的全部色 分量中适用上述第l运动检测步骤和上述第l运动补偿步骤而进行编 码，上述可变长編码步骤把上述控制信号作为在运动图像序列单位 中适用的编码数据，在比特流中多路复用。
11.一种运动图像解码方法，以对数字运动图像信号进行了压缩 编码的比特流为输入，进行运动图像信号的解码，该运动图像解码方 法的特征在于，具备对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的亮度 分量相当的信号分量生成第1内部预测图像的第1内部预测图像生成 步骤；对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的色差 分量相当的信号分量生成第2内部预测图像的第2内部预测图像生成 步骤；从上述输入比特流，把表示被压缩编码了的运动图像信号的色度 格式种类的色度格式识别信息解码为运动图像序列单位的信息，并且 根据该色度格式识别信息，以宏块单位分析输入比特流，从比特流中 解码对在上述第1内部预测图像的生成中使用的第1内部预测模式或 在上述第2内部预测图像的生成中使用的第2内部预测模式与上述第 1内部预测图像或上述第2内部预测图像之间的预测误差信号进行了 变换编码的量化系数数据的可变长解码步骤；对上述量化系数数据进行反量化*反变换，解码为预测误差信号 的预测误差信号解码步骤，根据上述色度格式识别信息，在色度格式是4: 2: 0或4: 2: 2 的情况下，根据上述第1内部预测图像生成步骤和上述第1内部预测 模式生成亮度分量的内部预测图像，根据上述第2内部预测图像生成 步骤和上述第2内部预测模式生成色差分量的内部预测图像，在色度 格式是4: 4: 4的情况下，根据上述第1内部预测图像生成步骤和上 述第l内部预测模式，生成全部色分量的内部预测图像，通过把所得 到的内部预测图像和上述预测误差信号解码步骤的输出相加，对运动 图像信号进行解码。
12.—种运动图像解码方法，以对数字运动图像信号进行了压缩 编码的比特流为输入，进行运动图像信号的解码，该运动图像解码方 法的特征在于，具备对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的亮度 分量相当的信号分量生成第1间预测图像的第l运动补偿步骤；对于与运动图像信号的色度格式是4: 2: 0或4: 2: 2时的色差 分量相当的信号分量生成第2间预测图像的第2运动补偿步骤；从上述输入比特流，把表示被压缩编码了的运动图像信号的色度 格式种类的色度格式识别信息解码为运动图像序列单位的信息，并且 根据该色度格式识别信息，以宏块单位分析输入比特流，从比特流中 解码对在上述第1间预测图像的生成中使用的第l运动信息或在上述 第2间预测图像的生成中使用的第2运动信息与上述第1间预测图像 或上述第2间预测图像之间的预测误差信号进行了变换编码的量化系 数数据的可变长解码步骤；对上述量化系数数据进行反量化.反变换，解码为预测误差信号 的预测误差信号解码步骤，根据上述色度格式识别信息，在色度格式是4: 2: 0或4: 2: 2 的情况下，根据上述第l运动信息生成上述第2运动信息的解码值， 根据上述第l运动补偿步骤和上述第l运动信息生成亮度分量的间预 测图像，根据上述第2运动补偿步骤和上述第2运动信息生成色差分 量的间预测图像，在色度格式是4: 4: 4的情况下，根据上述第1运动补偿步骤和上述第l运动信息，生成全部色分量的间预测图像，通过把所得到的间预测图像和上述预测误差信号解码步骤的输出相加，对运动图像信号进行解码。
全文摘要
本发明的运动图像编码、解码装置以及方法中，对于4:2:0、4:2:2、4:4:4等多个不同的色度格式，用有效的装置结构统一进行编码和解码。根据给出输入运动图像信号的色度格式种类的控制信号，在色度格式是4:2:0或4:2:2的情况下，在输入运动图像信号的亮度分量中适用第1内部预测模式决定部和第1内部预测图像生成部，在色差分量中适用第2内部预测模式决定部和第2内部预测图像生成部，在色度格式是4:4:4的情况下，在输入运动图像信号的全部色分量中适用第1内部预测模式决定部和第1内部预测图像生成部，进行编码，可变长编码部把控制信号作为在运动图像序列单位中适用的编码数据，在比特流中多路复用。
文档编号H04N11/04GK101222644SQ200810002959
公开日2008年7月16日 申请日期2008年1月11日 优先权日2007年1月12日
发明者关口俊一, 出原优一, 守屋芳美, 山田悦久, 杉本和夫, 村上笃道, 浅井光太郎 申请人:三菱电机株式会社