图像编码装置、图像解码装置和图像编码方法、图像解码方法

专利名称：图像编码装置、图像解码装置和图像编码方法、图像解码方法
技术领域：
本发明涉及在图像压縮编码技术或压縮图像数据传送技术等中使用的数字图像 信号编码装置、数字图像信号解码装置、数字图像信号编码方法和数字图像信号解码方法。
背景技术：
以往，在MPEG或ITU-T H. 26x等国际标准影像编码方式(例如非专利文献1)中， 主要以被称为4:2:0格式的标准化了的输入信号格式的使用作为前提。所谓4:2:0是将RGB 等彩色运动图像信号变换为亮度分量(Y)和2个色差分量(Cb、 Cr)且对于水平、垂直来说 都将色差分量的取样数削减为亮度分量的一半的格式。因为色差分量与亮度分量相比其辨 认性降低，故在以前的国际标准影像编码方式中，以在这样地进行编码前通过进行色差分 量的减少取样预先来削减编码对象的原信息量为前提。另一方面，伴随近年来的视频显示 的高分辨率化、高灰度化，对不减少色差分量的取样而在与亮度分量为相同取样数的状态 下进行编码的方式进行研究。将亮度分量与色差分量完全为相同取样数的格式称为4:4:4 格式。由于以前的4:2:0格式以色差分量的减少取样为前提，故相对于只限定于Y、Cb、Cr 这样的色空间定义，由于在4:4:4格式中在色分量间没有取样比的区别，故除了 Y、Cb、Cr外 可直接使用R、G、B或利用其它的多个色空间定义。作为以4:4:4格式为对象的影像编码方 式有非专利文献2等。在该文献中提出了通过利用在色分量间残存的相关在不同的色分量 间进行预测来削减应编码的信息量的途径。但是，色分量间的相关的程度根据影像内容的 种类或色空间是各种各样的，也可能有预测在编码效率上起反作用的情况。此外，由于必须 进行横跨多个色分量的信号处理，故存在在进行数字电影影像(4000X 2000像素)等的分 辨率非常高的影像信号的实时处理的那样的例子中并列处理效率差那样的课题。
非专利文献1"Information Technology Coding ofAudio-Visual Objects Paryl0 :Advanced Video Coding", IS0/IEC14496_10，200非专利文献2Woo-Shik Kim， Dae-Sung Cho， and Hyun MunKim， " INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004， October 2004. 在非专利文献1中的MPEG-4 Advanced Video Coding(以下称为AVC)的以4:2:0 格式为编码对象的高4:2:0类(profile)中，在由亮度分量16X 16像素构成的宏块区域 中，对应的色差分量Cb、 Cr都成为8X8像素块。在高4:2:0类中的运动补偿预测中，对于 成为只对亮度分量的运动补偿预测的单位的块尺寸信息、预测中使用的参照图像信息、以 及各块中的每一个的运动矢量信息进行多路复用，色差分量使用与亮度分量相同的信息进 行运动补偿预测。4:2:0格式具有图像的构造信息(结构信息)的大部分集约于亮度分 量；以及与亮度信号相比色差分量信号失真的辨认性低、关于影像再现性的贡献小这样的色空间定义方面的特征，上述高4:2:0类的预测、编码是根据这样的4:2:0格式的性质为前 提而成立的。但是，在4:4:4格式中，3个色分量同等地保持了结构信息，通过只依赖于1个 分量的帧间(inter)预测模式、参照图像信息以及运动矢量信息进行运动补偿预测的方式 在图像信号的构造表现之际，在各色分量同等地起作用的4:4:4格式中可以说不一定是最 佳的预测方法。

发明内容
因此，本发明的目的在于提供如上述现有技术所述那样在对4:4:4格式那样的在 色分量间取样比没有区别的运动图像信号进行编码时提高了最优性的编码装置、解码装 置、编码方法和解码方法。 本发明在输入4:4:4格式的数字运动图像信号进行压縮编码的情况下，准备用共 同的编码模式对所输入的运动图像信号的3个色分量信号进行编码的处理和用各自独立 的编码模式对所输入的运动图像信号的3个色分量信号进行编码处理的处理，选择上述第 1编码处理和第2编码处理中的某一方进行编码处理，并且使压縮数据中包含表示选择了 哪一方的识别信号。 此外，在对4:4:4格式的数字运动图像信号的压縮数据进行解码的情况下，准备 用共同的编码模式对3个色分量信号进行解码处理的第1解码处理和用各自独立的编码模 式对3个色分量信号进行解码处理的第2解码处理，根据压縮数据对表示用共同的编码模 式对3个色分量信号进行了编码还是用独立的编码模式对3个色分量信号进行了编码的识 别信号进行解码，根据该识别信号使用上述第1解码处理和上述第2解码处理中的某一方 进行解码处理。 根据本发明，能够构成为在进行使用不仅限定于Y、 Cb、 Cr等的被固定的色空间， 而且还使用各种各样的色空间的编码的情况下，能够灵活地选择在各色分量中使用的帧间 (inter)预测模式信息，还能够在涉及各种色空间的定义的情况下也进行最佳的编码处理。


图1是表示由序列、GOP、图片、像条、宏块构成的影像信号的层次构造的说明图。 图2是表示宏块编码数据的结构的说明图。 图3是表示在"共同编码处理"时构成宏块的3个色信号分量的说明图。 图4是表示在"独立编码处理"时构成宏块的3个色信号分量的说明图。 图5是表示"共同编码"、"独立编码"中的图片间的时间方向的运动预测参照关系 的说明图。 图6是表示实施方式1中的位流的结构例的说明图。 图7是表示实施方式1中的像条数据的位流的结构例的说明图。 图8是表示实施方式1中的编码装置的概略结构图。 图9是第1图片编码部5的内部结构图。 图10是表示进行运动补偿预测的7种块尺寸的说明图。 图11是第2图片编码部7的内部结构图。 图12是表示实施方式1中的解码装置的概略结构图。
6
图13是第1图片解码部302的内部结构图。
图14是第2图片解码部304的内部结构图。
图15是表示3个色分量的图片数据的配置例子的说明图。
具体实施方式

实施方式1. 在本实施方式1中，叙述高效地对不限定于特定的色空间的4:4:4格式的影像信 号进行编码的编码装置和将利用该编码装置生成的编码位流作为输入对图像信号进行解 码的解码装置。 本实施方式1中的编码装置输入由RGB、XYZ、YCbCr那样的3个色分量构成的影像 信号进行压縮编码并输出位流。如图1中所示，输入影像信号通过时间取样表现为以帧或 场为单位来定义的画面信息(以下称为图片)的时间系列数据。将按时间系列排列了图片 的数据单位称为序列。序列被分割为几个图片组(G0P)。 G0P用于保证从任意的G0P的开 头起可不依赖于其它的G0P地执行解码并保证针对位流随机存取那样的用途。图片进而被 分割成被称为宏块的正方块，以宏块为单位应用预测、变换、量化处理来进行影像压縮。
此外，将集合了多个宏块的单位称为像条。像条是用各自的像条可独立地进行编 码、解码的数据单位，用于例如在对HDTV或具有大于等于HDTV的高分辨率的影像信号进行 实时处理时，通过将1个图片分割为多个像条、且并列地对各像条进行编码、解码以縮短运 算时间；或在用错误率高的线路传送位流的情况下即使某个像条因错误的影响被破坏而解 码图像发生紊乱，也可从下一个像条起返回到正确的解码处理那样的用途中。 一般来说，由 于在像条的边界上不能使用利用了与邻接像条之间的信号依存性的预测等，故像条的数目 越增加，编码性能越下降，但却具有并列处理的灵活性或对抗错误的性能提高那样的特征。
由于以宏块为单位应用预测、变换、量化来进行影像压縮，所以在位流中被多路复 用的宏块的编码数据大致由二种信息构成。 一种信息是预测模式或运动预测信息、用于量 化的参数那样的与影像信号本身不同的被称为边信息的一类，将这些信息归纳起来称为宏 块标题。另一种信息是影像信号本身的信息，在本实施方式中，是作为被编码的影像信号根 据宏块标题进行了预测、变换、量化的结果得到的预测误差信号的压縮数据，因为用对变换 系数进行了量化的形式来表现，故以下称为系数编码数据。在图2中表示本实施方式1中的 宏块编码数据的排列的状况。在该图中，宏块标题包含宏块类型、子宏块类型、帧内(intra) 预测模式等的编码、预测模式信息；参照图像识别编号、运动矢量等的运动预测信息；针对 变换系数的量化参数；以8X8块为单位的有效变换系数有无判定标志等的在系数编码数 据之前为止的全部的边信息。 在本实施方式1中说明， 一边选择是根据共同的宏块标题对3个色分量进行编码 还是根据独立的宏块标题对色分量分别进行编码， 一边进行编码的编码装置；和输入作为 该编码装置的输出而得到的位流，一边根据从位流解码取出了的识别信息选择根据共同的 宏块标题对3个色分量进行了编码还是根据独立的宏块标题对于每个色分量进行编码，一 边进行影像的解码处理的解码装置。在本实施方式l中，特别根据具体的

以序列 为单位转换用共同的宏块标题对3个色分量信号进行编码、解码还是用独立的宏块标题对 于色分量每个进行编码、解码地来进行编码、解码的装置结构、动作。通过以这种方式构成编码装置、解码装置，由于可与输入影像信号被定义的色空间或影像信号的统计的性质相 一致地选择用共同的预测参数对各色分量进行编码的情况和用独立的预测参数对各色分 量进行编码的情况来进行编码，故对于4:4:4格式的影像信号可进行最佳的编码。
以下，将用共同的宏块标题对1帧或1场的3个色分量信号进行编码的处理记述 为"共同编码处理"、将用个别的独立的宏块标题对1帧或1场的3个色分量信号进行编码 的处理记述为"独立编码处理"。同样，将根据用共同的宏块标题对1帧或1场的3个色分 量信号进行了编码的位流来解码图像数据的处理记述为"共同解码处理"、将根据用个别的 独立的宏块标题对1帧或1场的3个色分量信号进行了编码的位流解码图像数据的处理记 述为"独立解码处理"。在共同编码处理中，将1帧或1场的3个色分量归纳起来作为1个 图片来定义，分割为汇集了 3个色分量的形态的宏块(图3)。在该图以及以下的说明中，将 3个色分量称为C0、 Cl、 C2分量。另一方面，在独立编码处理中，将1帧或1场的输入影像 信号分离为3个色分量，将各个色分量作为图片来定义，将各图片分割为由单一的色分量 构成的宏块(图4) 。 S卩，成为共同编码处理的对象的宏块包含C0、 Cl、 C2这3个色分量的 样品(像素)，而成为独立编码处理的对象的宏块只包含C0或Cl或C2分量中的某一个分 量的样品(像素)。 在图5中表示本实施方式1的编码装置、解码装置中的图片间的时间方向的运动 预测参照关系。在该例子中，将用粗竖棒线表示的数据单位设为图片，用包围点线表示图片 与存取单元之间的关系。在共同编码、解码处理的情况下，如上所述，1个图片是表示3个色 分量混合后的影像信号的数据，在独立编码、解码处理的情况下，1个图片定为由某1个色 分量构成的影像信号。存取单元是对于影像信号赋予以与音频、声音信息等的同步等为目 的的时间戳的最小数据单位，在共同编码、解码处理的情况下，在1个存取单元中包含1个 图片量的数据。另一方面，在独立编码、解码处理的情况下，在l个存取单元中包含3个图 片。这是由于，在独立编码、解码处理的情况下，3个色分量全部的同一显示时刻的图片齐全 了才能得到1帧量的重放影像信号。再有，在各图片的上部赋予的编号表示图片的时间方 向的编码、解码处理顺序(相当于AVC的frame—皿m)。在图5中，图片间的箭头表示运动预 测的参照方向。即，在独立编码、解码处理的情况下，假定不进行同一存取单元中所包含的 图片之间的运动预测参照以及不同的色分量间的运动预测参照，将C0、 Cl、 C2的各色分量 的图片限定为同一色分量的信号，一边进行预测参照一边进行编码、解码。通过作成这样的 结构，在本实施方式1中的独立编码、解码处理的情况下，可完全不依赖于其它的色分量的 编码、解码地执行各色分量的编码、解码，并列处理变得容易。 以下，将表示进行基于共同编码处理的编码还是进行基于独立编码处理的编码的 识别信息称为共同编码、独立编码识别信号1。 在图6中表示用本实施方式1的编码装置生成的、作为本实施方式1的解码装置 输入、解码处理的对象的位流的结构的一个例子。该图表示了从序列到像条层次的位流结 构，首先，在序列层次的高位标题(在AVC的情况下，是序列参数集)中多路复用共同编码、 独立编码识别信号1。 AUD表示在AVC中作为用于识别存取单元的断开处的唯一的NAL单 元的Access Unit Delimiter (存取单元定界)NAL单元。AUD是表示存取单元的开头的信 息，不管AVC的AUD的数据形式如何，只要与其目的相一致，可应用于任意的数据形式。例 如，在MPEG-2规格中，图片开始代码与其相对应，在MPEG-4规格中，V0P开始代码等与其相对应。 在共同编码、独立编码识别信号1表示"共同编码处理"的情况下，在存取单元中 包含1个图片量的编码数据。此时的图片如上所述是表示3个色分量混合的1帧或1场量 的影像信号的数据。实际的影像编码数据以图l的像条为单位在位流中被多路复用。另一 方面，在共同编码、独立编码识别信号1表示"独立编码处理"的情况下，1个图片是1帧或 1场中的某1个色分量的影像信号，在1个存取单元中包含3个图片。此时，对于各色分量 的图片来定义像条。 图7表示共同编码处理、独立编码处理各个情况下的像条数据的位流结构。在由 独立编码处理进行了编码的位流中，为了达到后述的效果，在像条数据的开头的标题区域 中赋予色分量识别标志2(color—cha皿eljdc)，以使得可识别用解码装置接收到的像条数 据是属于存取单元内的哪个色分量的图片的像条。色分量识别标志2将其值相同的像条进 行分组。即，假定在色分量识别标志2的值不同的像条间也不使其具有任何的编码、解码的 依赖性(例如，运动预测参照、CABAC的前后关系模型化、产生概率学习等)。通过这样来规 定，可确保独立编码处理情况下的存取单元内的各个图片的独立性。此外，关于在各像条标 题中被多路复用的frame—皿m(像条所属的图片的编码、解码处理顺序)，假定在1个存取单 元内的全色分量图片中为相同的值。 在图8中表示本实施方式1的编码装置概略结构。在该图中，在第1图片编码部 5中执行共同编码处理，在第2图片编码部7a 7c(准备3个色分量大小)中执行独立编 码处理。 将输入影像信号3利用开关(SW) 4供给第1图片编码部5或色分量分离部6和第 2图片编码部7a 7c中的某一个。利用共同编码、独立编码识别信号1驱动开关4，将输 入影像信号3供给所指定的通路。 共同编码、独立编码识别信号1在输入影像信号为4:4:4格式的情况下在序列参 数集中被多路复用，成为以序列为单位选择共同编码处理和独立编码处理的信号。共同编 码、独立编码识别信号1作为指定使用哪个处理生成了位流11的信息，在位流11中的序列 参数集中进行多路复用。由此，在将位流11作为输入的解码装置中，通过对序列参数集中 的共同编码、独立编码识别信号1进行解码以确认该值，在使用共同编码处理生成了位流 11的情况下可执行共同解码处理，在使用独立编码处理生成了位流11的情况下可执行独 立解码处理。 在共同编码、独立编码识别信号1指示"共同编码处理"的情况下，在第1图片编 码部5中将输入影像信号3分割为如图3中所示汇集了 3个色分量的样品的形式的宏块， 以该单位进行编码处理，将编码数据作为位流8输出。后面叙述第1图片编码部5中的编 码处理。 在共同编码、独立编码识别信号1指示"独立编码处理"的情况下，用色分量分离 部6将输入影像信号3分离为C0、C1、C2各色分量的信号，供给各自对应的第2图片编码部 7a 7c。在第2图片编码部7a 7c中，将针对色分量每个分离出的信号分割为图4中表 示的形式的宏块，用该单位进行编码处理，并作为位流9a 9c输出。后面叙述第2图片编 码部7a 7c中的编码处理。 在多路复用部10中，将共同编码、独立编码识别信号1赋予序列参数集，在位流11中进行多路复用，并且根据共同编码、独立编码识别信号1的值，选择位流8或9a 9c中的某一个，在位流11中进行多路复用。 进一步，在后面叙述其细节，其构成为对3个色分量分别准备对于在图片编码过程、特别是量化、反量化处理的过程中使用的量化参数的量化加权系数信息(12a 12c)，对各图片编码部输入这些信息，进行与每个色分量的特性相一致的量化处理。由于在解码装置一侧，量化加权系数12a 12c也使用与在编码处理过程中使用的值相同的值，故为了
在序列参数集中进行多路复用，也发送给多路复用部10。 进一步，构成为将只帧内(intra only)编码指示信号13输入给图片编码部5、7a 7c，控制编码处理。只帧内编码指示信号13是指示图片编码部是否进行基于运动补偿预测的时间方向的预测处理的信号，在该信号表示是"只帧内编码"的情况下，对于输入影像信号3的全部的图片不进行基于运动补偿预测的时间方向的预测，而是进行封闭于画面内的编码。此外，此时同时在图片编码部内部使环内解块过滤器成为无效(后面叙述详细的情况)。在只帧内编码指示信号13表示是"不是只帧内编码"的情况下，对于输入影像信号3的图片也使用基于运动补偿预测的时间方向的预测，进行利用了画面内、画面间的相关的帧间编码。只帧内编码指示信号13在多路复用部10中赋给序列参数集，在位流11中进行多路复用。由此，在将位流11设为输入的解码装置中，通过对序列参数集中的只帧内编码指示信号13进行解码以确认其值，由此能够识别是否对位流11进行了只帧内编码，因此在进行了只帧内编码的情况下，可不需要环内解块过滤器处理，可削减解码装置的运算量。 在AVC的帧内编码处理中，由于与帧间编码处理相比代码量需要约2 10倍，故用"只帧内编码"进行了编码的数据与"不是只帧内编码"的情况相比，数据量变得相当大。
在以前的解码装置中，对可进行解码处理的数据量设置上限，通过尽可能减小装置内部的动作速度或所必须的存储器量等，谋求动作的稳定性。因此，在"只帧内编码"的情况下，有可能输入超过了所设置的上限值的数据，从而不能判别是否能进行稳定的工作那样的问题。 因此，在序列参数集中设置用于表示编码数据是比规定量少或是超过了规定量的
哪一种情况的标志。利用标志进行判定处理，在编码数据比规定量少的情况下，假定即使用
以前的解码装置也能处理，来进行解码处理，在编码数据超过了规定量的情况下，假定有可
能用以前的解码装置进行稳定的处理变得困难，可采取例如发出警告那样的处理。 再者，对图片编码部5、7a 7c输入输入影像信号3的图像尺寸信息14，构成为控
制编码处理。图像尺寸信息14是表示输入影像信号3的图片内宏块数目的信息，在该值比
规定的阈值大的情况下，确定在像条中包含的宏块的数目的上限值，控制成像条不包含比
其多的宏块。将图像尺寸信息14赋予给序列参数集，在位流11中进行多路复用。由此，在
输入影像信号3的画面尺寸大(即，空间分辨率高)的情况下，可指定编码装置、解码装置
都能进行并列处理的单位，可进行顺利的任务分配。 以下，详细地说明第1和第2图片编码部的动作。 第l图片编码部的动作概要 在图9中表示第1图片编码部5的内部结构。在该图中，假定输入影像信号3是4:4:4格式，而且按汇集了图3的形式的3个色分量的宏块为单位被编码。内部处理根据只帧内编码指示信号13的值而不同。
(1)只帧内编码指示信号13表示"不是只帧内编码"的情况 在预测部15中，从在存储器16中存储的运动补偿预测参照图像数据中选择参照图像，以该宏块为单位进行运动补偿预测处理。在存储器16中存储有在紧接之前或过去、未来的多个时刻用3个色分量构成的多幅参照图像数据，在预测部15中从这些图像中以宏块为单位选择最佳的参照图像，进行运动预测。关于存储器16内的参照图像数据的配置既可以对每个色分量按面顺序分开地存储，也可按点顺序存储各色分量的样品。准备了 7种进行运动补偿预测的块尺寸，首先，按宏块单位，如图10(a)至(d)中所示，选择16X16、16X8、8X16、8X8中的某个尺寸。进而，在选择了 8X8的情况下，对于各自的每个8 X 8块，如图10(e)至(h)中所示，选择8X8、8X4、4X8、4X4中的某个尺寸。在用第1图片编码部5执行的共同编码处理中，对于3个色分量选择、应用共同的运动补偿预测块尺寸。
在预测部15中，对于图10的全部或一部分的块尺寸、子块尺寸和规定的探索范围的运动矢量以及可利用的大于等于1幅的参照图像按照每个宏块执行运动补偿预测处理，输出包含运动矢量和预测中使用的参照图像索引的预测开销(overhead)信息17和预测图像33。减法器18利用预测图像33和输入影像信号3得到成为运动补偿预测单位的每个块的预测差分信号19。在编码模式判定部20中，从用预测部15执行了的预测处理中进行选定处理，输出所选定的预测差分信号19和宏块类型/子宏块类型21。宏块类型、子宏块类型、参照图像索引、运动矢量等的宏块标题信息全部对于3个色分量被确定为共同的标题信息，在3个色分量的编码中共同地被使用，在位流8中被多路复用。在预测效率最优性的评价时，在以抑制运算量为目的下，可只评价对于某个规定色分量(例如RGB中的G分量、YCbCr中的Y分量等)的预测误差量，也可综合评价关于运算量虽然变大但为了得到最佳的预测性能而关于全部的色分量的预测误差量。 同样，在预测部15中也进行帧内预测。在帧内预测执行时，对信号17输出帧内预测模式信息。 以下，特别是在不区别帧内预测、运动补偿预测的情况下，将信号17称为预测开销信息。再有，作为进行帧内预测时的参照图像数据，使用实施解块过滤器22之前的局部解码图像23(虽然未图示，但由于局部解码图像23作为帧内预测的参照图像数据来使用，故暂时地存储在预测部15等中)。在用第1图片编码部5执行的共同编码处理中，对于3个色分量选择、应用共同的帧内预测模式。对于帧内预测既可只评价规定的色分量大小的预测误差量，也可综合评价关于全部的色分量的预测误差量。最后，在编码模式判定部20中用预测效率或编码效率评价来选定将宏块类型设为帧内预测还是帧间预测。
变换部24变换预测差分信号19，作为变换系数输出给量化部25。此时，可从4X4或8X8等多个候补中选择成为进行变换的单位的块的尺寸。在可选择变换块尺寸的情况下，在变换块尺寸指定标志26的值中反映在编码时所选择的块尺寸，在位流8中多路复用该标志。量化部25根据量化参数27和量化加权系数12a 12c对所输入的变换系数进行量化，将结果作为量化结束变换系数28输出给可变长度编码部29和反量化部30。
以下记述量化部25的处理。将在变换部24中从空间区域变换为频域的信号的变换系数分离为在人的视觉特性方面容易在眼中发觉失真的低频域和难以检测失真的高频域。因此，通过对每个频域加权，对低频域进行细的量化，对高频域进行粗的量化，可实现与人的视觉特性一致的量化处理。量化加权系数12a 12c是对该每个频域赋予的加权的参数，在4X4块尺寸的变换使用中使用16个参数，在8X8块尺寸的变换使用中使用64个参数。如上所述，量化加权系数12a 12c在序列参数集中被多路复用，但在进行"共同编码处理"的情况下，由于在3个色分量中使用相同的量化加权系数，故没有必要对12a、12b、12c这3个系数进行多路复用，只对1个系数进行多路复用就足够了 。量化部25对3个色分量的变换系数使用各自的量化加权系数12a 12c进行加权重的量化处理，得到量化结束变换系数28。 在可变长度编码部29中利用Huffman编码或算术编码等的方法对这3个色分量大小的量化结束变换系数28进行平均信息量(墒)编码。 此外，量化结束变换系数28经过反量化部30、反变换部31复原为局部解码预测差分信号32，通过用加法器34与根据所选定的宏块类型/子宏块类型21和预测开销信息17生成的预测图像33进行相加，生成局部解码图像23。局部解码图像23在用解块过滤器22实施了块失真除去处理后，为了用于以后的运动补偿预测处理而存储在存储器16中。
按照规定的宏块编码数据的句法(syntax)对输入到可变长度编码部29中的量化结束变换系数28、宏块类型/子宏块类型21、预测开销信息17、量化参数27进行排列、整形，以汇集了 1个或多个图3的形式的宏块的像条数据为单位进行分组(在AVC中也称为NAL单元化)，作为位流8被输出。 (2)只帧内编码指示信号13表示"是只帧内编码"的情况预测部15只执行(1)中所述的帧内预测处理。在帧内预测执行时，对预测开销信息17输出帧内预测模式信息。再有，作为进行帧内预测时的参照图像数据，使用实施解块过滤器22前的局部解码图像23(虽然未图示，但由于局部解码图像23作为帧内预测的参照图像数据来使用，故暂时地存储在预测部15等中)。在用第1图片编码部5执行的共同编码处理中，对于3个色分量选择、应用共同的帧内预测模式。关于帧内预测模式的选定，在编码模式判定部20中用预测效率或编码效率进行评价来选定。 编码模式判定部20将所选定出的预测差分信号19输出给变换部24。变换部24变换所输入的预测差分信号19，作为变换系数输出给量化部25。此时，可从4X4或8X8等多个候补中选择成为进行变换的单位的块的尺寸。在AVC中，构成为使帧内预测模式的被预测块与变换块尺寸相一致。在可选择变换块尺寸的情况下，在变换块尺寸指定标志26的值中反映在编码时所选择的块尺寸，在位流8中多路复用该标志。量化部25根据量化参数27和量化加权系数12a 12c对所输入的变换系数进行量化，将结果作为量化结束变换系数28输出给可变长度编码部29。处理的例子如以上所述。 在可变长度编码部29中利用Huffman编码或算术编码等的方法对3个色分量大小的量化结束变换系数28进行平均信息量(墒)编码。 此外，量化结束变换系数28经过反量化部30、反变换部31复原为局部解码预测差
分信号32，通过用加法器34与根据预测开销信息17生成的预测图像33进行相加，生成局
部解码图像23。在只帧内编码指示信息13表示"是只帧内编码"的情况下，由于不执行运
动补偿预测，解块过滤器22不执行处理，也不进行作为参照图像的对存储器16的写出。通
过这样来构成，可削减在存储器存取或解块过滤器的处理中需要的运算。 按照规定的宏块编码数据的句法对输入到可变长度编码部29中的量化结束变换系数28、宏块类型/子宏块类型21 (固定为帧内模式)、预测开销信息17、量化参数27进行排列、整形，以汇集了 1个或多个图3形式的宏块的像条数据为单位进行分组(在AVC中也称为NAL单元化)，作为位流8被输出。 再有，不管只帧内编码指示信息13的值如何，利用图像尺寸信息14对像条中包含
的宏块的个数给予制约。将图像尺寸信息14输入到可变长度编码部29中，可变长度编码部
29根据图像尺寸信息14确定在像条中所包含的宏块的个数的上限值。可变长度编码部29
对所编码的宏块的个数进行了计数，在像条内所包含的宏块的个数到达了上述上限值时，
在该处封闭像条数据的组，将以后的宏块作为新的像条数据进行分组。 此外，在本实施方式1中的第1图片编码部5中，由于利用共同编码、独立编码识
别信号1可识别序列中的全部的像条数据是C0、C1、C2混合像条(即，3个色分量混合的像
条)，故对像条数据不赋予色分量识别标志2。 第2图片编码部的动作概要 在图ll中表示第2图片编码部7a的内部结构。在该图中，假定以由图4形式的C0分量的样品构成的宏块为单位输入输入影像信号3a。关于第2图片编码部7b、7c，由于只是输入影像信号3a变成处理3b (Cl分量)、3c (C2分量)，内部结构完全相同，所以以下将第2图片编码部7a作为代表例子进行第2图片编码部的动作说明。
(3)只帧内编码指示信号13表示"不是只帧内编码"的情况 在预测部115中，从在存储器116中存储的运动补偿预测参照图像数据中选择参照图像，以该宏块为单位进行运动补偿预测处理。在存储器116中可存储在紧接之前或过去、未来的多个时刻用单一色分量构成的多幅参照图像数据，在预测部115中从这些图像中以宏块为单位选择最佳的参照图像，进行运动预测。再有，由于第2图片编码部7a 7c也可采取各自只使用定为对象的色分量大小的参照图像数据而不对其它的色分量的参照图像数据进行存取的结构，故作为存储器116可设定为不对3个色分量各自具有存储器的结构，而是汇集为一个存储器的结构。再者，在利用第2图片编码部7a 7c进行编码处理的序列中，由于第1图片编码部5不动作，故存储器116可构成为与存储器16共用。准备了 7种进行运动补偿预测的块尺寸，首先，按宏块单位，如图10(a)至(d)中所示，可选择16X16、16X8、8X16、8X8中的某个尺寸。进而，在选择了 8X8的情况下，针对各自8X8块的每个，如图10(e)至(h)中所示，可选择8X8、8X4、4X8、4X4中的某个尺寸。在用第2图片编码部7执行的独立编码处理中，对于C0 C2各分量单独地选择、应用运动补偿预测块尺寸。 在预测部115中，对于图IO的全部或一部分的块尺寸*子块尺寸、规定的探索范围
的运动矢量和可利用的大于等于1幅的参照图像，按照每个宏块执行运动补偿预测处理，输出包含运动矢量和预测中使用的参照图像索引的预测开销信息117和预测图像133。减法器118利用预测图像133和输入影像信号3a得到成为运动补偿预测单位的每个块的预测差分信号119。在编码模式判定部120中，从用预测部115执行了的预测处理中进行选定处理，输出所选定的预测差分信号119和宏块类型/子宏块类型121。宏块类型、子宏块类型、参照图像索引、运动矢量等的宏块标题信息全部作为针对输入影像信号3a的标题信息来决定，使用于编码，在位流9a中被多路复用。在预测效率的最优性的评价时，评价针对成为编码处理对象的输入影像信号3a的预测误差量。
同样，在预测部115中也进行帧内预测。在帧内预测执行时，对预测开销信息117 输出帧内预测模式信息。 按各色分量个别地进行输入影像信号3的各色分量中的帧内预测模式的选择、应 用。而且，作为进行帧内预测时的参照图像数据，使用实施解块过滤器122之前的局部解码 图像123(虽然未图示，但由于局部解码图像123作为帧内预测的参照图像数据来使用，故 暂时地存储在预测部115等中)。即使对于帧内预测，也评价对于成为编码处理对象的输入 影像信号3a的预测误差量。最后，在编码模式判定部120中用预测效率或编码效率评价并 选定将宏块类型定为帧内预测还是帧间预测。 变换部124变换预测差分信号119，作为变换系数输出给量化部125。此时，可从 4X4或8X8等中选择成为进行变换的单位的块的尺寸。在AVC中，构成为使帧内预测模 式的被预测块与变换块尺寸相一致。在可选择的情况下，在变换块尺寸指定标志126的值 中反映在编码时所选择的块尺寸，在位流9a中多路复用该标志。量化部125根据量化参数 127和量化加权系数12a或12b或12c对所输入的变换系数进行量化，将结果作为量化结束 变换系数128输出给可变长度编码部129。 接着记述量化部125的处理。将在变换部124中从空间区域变换为频域的信号的 变换系数分离为在人的视觉特性方面容易在眼中发觉失真的低频域和难以检测失真的高 频域。因此，通过针对每个频域加权，对低频域进行细的量化，对高频域进行粗的量化，可实 现与人的视觉特性一致的量化处理。量化加权系数12a、12b、12c是对该每个频域给予的 加权的参数，在4X4块尺寸的变换使用中使用16个参数，在8X8块尺寸的变换使用中使 用64个参数。如上所述，量化加权系数12a、12b、12c在序列参数集中被多路复用，但在进 行"独立编码处理"的情况下，由于在3个色分量中可使用各自不同的量化加权系数，故可 对12a、 12b、 12c这3个系数全部进行多路复用，也可以在使用相同的值的情况下，与表示该 情况的信息一起只对1个系数进行多路复用。量化部125对3个色分量的变换系数使用各 自的量化加权系数12a或12b或12c进行加上了权重的量化处理，得到量化结束变换系数 128。 在可变长度编码部129中利用Huffman编码或算术编码等的方法对量化结束变换 系数128进行平均信息量(墒)编码。 此外，量化结束变换系数128经过反量化部130、反变换部131复原为局部解码预 测差分信号132，通过用加法器134与根据所选定的宏块类型/子宏块类型121和预测开销 信息117生成的预测图像133进行相加，生成局部解码图像123。局部解码图像123在用解 块过滤器122实施了块失真除去处理后，为了用于以后的运动补偿预测处理而存储在存储 器116中。 按照规定的宏块编码数据的句法对输入到可变长度编码部129中的量化结束变 换系数128、宏块类型/子宏块类型121、预测开销信息117、量化参数127进行排列、整形， 以汇集了 l个或多个图4形式的宏块的像条数据为单位进行分组(在AVC中也称为NAL单 元化)，作为位流9a被输出。 (4)只帧内编码指示信号13表示"是只帧内编码"的情况 预测部115只执行(3)中叙述了的帧内预测处理。在帧内预测执行时，对预测开 销信息117输出帧内预测模式信息。再有，作为进行帧内预测时的参照图像数据，使用实施解块过滤器122前的局部解码图像123(虽然未图示，但由于局部解码图像123作为帧内预 测的参照图像数据来使用，故暂时地存储在预测部115等中)。在AVC中的帧内预测如上所 述，由于对输入影像信号3a来执行，故按照各色分量个别地进行输入影像信号3的各色分 量中的帧内预测模式的选择、应用。关于帧内预测模式的选定是在编码模式判定部120中 用预测效率或编码效率评价并选定。 编码模式判定部120将所选定的预测差分信号119输出给变换部124。变换部124 变换所输入的预测差分信号119，作为变换系数输出给量化部125。此时，可从4X4或8X8 等多个候补中选择成为进行变换的单位的块的尺寸。在AVC中，构成为使帧内预测模式的 被预测块与变换块尺寸相一致。在可选择变换块尺寸的情况下，在变换块尺寸指定标志126 的值中反映在编码时所选择的块尺寸，在位流9a中多路复用该标志。量化部125根据量化 参数127和量化加权系数12a对所输入的变换系数进行量化，将结果作为量化结束变换系 数128输出给可变长度编码部129。处理的例子如以上所述。 此外，在可变长度编码部129中利用Huffman编码或算术编码等的方法对量化结 束变换系数128进行平均信息量(墒)编码。 量化结束变换系数128经过反量化部130、反变换部131复原为局部解码预测差分 信号132，通过用加法器134与根据预测开销信息117生成的预测图像133进行加法运算， 生成局部解码图像123。在只帧内编码指示信息113表示"是只帧内编码"的情况下，由于 不执行运动补偿预测，故解块过滤器122不执行处理，也不进行作为参照图像的对存储器 116的写出。通过这样来构成，可削减在存储器存取或解块过滤器的处理中需要的运算。
按照规定的宏块编码数据的句法对输入到可变长度编码部129中的量化结束变 换系数128、宏块类型/子宏块类型121 (固定于帧内模式)、预测开销信息117、量化参数 127进行排列、整形，以汇集了 1个或多个图4形式的宏块的像条数据为单位进行分组(在 AVC中也称为NAL单元化)，作为位流9a被输出。 在本实施方式1中的第2图片编码部7a 7c中，由于根据共同编码、独立编码识 别信号1用单一色分量像条(即，CO像条或Cl像条或C2像条)对序列中的全部的像条数 据进行了编码，故在像条数据开头总是使色分量识别标志2多路复用，在解码装置一侧可 识别哪个像条相当于存取单元内的哪个图片数据。例如，在第2图片编码部7a中将色分量 识别标志2的值设定为0、在第2图片编码部7b中将色分量识别标志2的值设定为1、在第 2图片编码部7c中将色分量识别标志2的值设定为2，赋予给像条数据的开头。由此，即使 串行地使位流9a 9c对于位流11进行多路复用，也可容易地识别其中的哪个像条是CO、 C1、C2分量的哪个编码数据。S卩，第2图片编码部7a 7c可在不积存1个画面大小，而是 积存了1个像条大小的数据的时刻随时送出各自的位流输出。 再有，不管只帧内编码指示信息13的值如何，利用图像尺寸信息14对像条中所包 含的宏块的个数给予制约。将图像尺寸信息14输入到可变长度编码部129中，可变长度编 码部129根据图像尺寸信息14确定在像条内所包含的宏块的个数的上限值。可变长度编 码部129对所编码的宏块的个数进行了计数，在像条内所包含的宏块的个数到达了上述上 限值时，在该处封闭像条数据的组，将以后的宏块作为新的像条数据进行分组。再有，由于 图像尺寸信息14在4:4:4格式的情况下在CO、 Cl、 C2分量中是相同的值，故在序列参数集 中只对1个分量进行多路复用即可。
此外，第1图片编码部5与第2图片编码部7a 7c只是存在将宏块标题信息作 为3个分量共同的信息来处理还是作为单一的色分量的信息来处理的差别；以及像条数据 的位流结构不同。因而，由于图9的变换部24、反变换部31、量化部25、反量化部30、解块 过滤器22可分别用3个分量大小重复的运算来实现图11的变换部124、反变换部131、量 化部125、反量化部130、解块过滤器122，故也可用共同的功能块来实现第1图片编码部5 和第2图片编码部7a 7c的内部结构的一部分。因而，不仅作为图8那样的完全独立的 编码处理部，而且如适当地组合图9、图11的构成要素、例如使相同的电路多次重复地动作 那样，可实现多种多样的编码装置的安装。此外，如上所述，如果以面顺序具有第1图片编 码部5中的存储器16的配置，则可在第1图片编码部5和第2图片编码部7a 7c中共有 存储参照图像存储器。 在图12中表示实施方式1的解码装置的概略结构。在该图中，在第1图片解码部 302中执行共同解码处理，在色分量判定部303和第2图片解码部304 (准备3个色分量大 小)中执行独立解码处理。 用高位标题分析部300按照NAL单元单位来分割位流11，对序列参数集或图片参 数集等的高位标题信息进行解码，存储在第1图片解码部302、色分量判定部303、第2图片 解码部304可参照的高位标题存储器305中。按照序列单位被多路复用的共同编码、独立 编码识别信号1、量化加权系数12a 12c、只帧内编码指示信息13、图像尺寸信息14作为 序列参数集的一部分被保持在高位标题存储器305中。 对开关(SW) 301供给被解码的共同编码、独立编码识别信号1，对于开关301来说， 如果共同编码、独立编码识别信号1表示"进行了共同编码处理"，则将该序列中的像条NAL 单元全部作为位流8供给第1图片解码部302，如果共同编码、独立编码识别信号l表示"进 行了独立编码处理"，则将该序列中的像条NAL单元全部供给色分量判定部303。后面叙述 第1和第2图片解码部的详细动作。 色分量判定部303从所输入的像条NAL单元中分析图7中所示的色分量识别标志 2的值，识别像条NAL单元相当于现在的存取单元内哪个色分量图片，作为位流9a 9c分 配供给第2图片解码部304a 304c中相应的解码部。利用这样的解码装置的结构，具有 下述的效果即使在存取单元内接收对于每个色分量片交替地编码了的位流，也可容易地 判别哪个像条属于哪个色分量图片并正确地解码。
第1图片解码部的动作概要 在图13中表示第1图片解码部302的内部结构。第1图片解码部302以用CO、 C1、C2这3个色分量混合像条来构成的位流8的形式接收例如从图8的编码装置输出的位 流11，以由图3中表示的3个色分量的样品构成的宏块作为单位进行解码处理，复原输出影 像帧。 可变长度解码部310输入位流8，按照规定的规则(句法)解读位流8，从位流8 抽取3分量大小的量化结束变换系数28和在3分量中共同地使用的宏块标题信息(宏块 类型/子宏块类型21、预测开销信息17、变换块尺寸指定标志26、量化参数27)。
再者，将量化结束变换系数28与量化参数27 —起输入到进行与第1图片编码部5 相同的处理的反量化部30中，进行反量化处理。此时，从高位标题存储器305参照并使用 在各色分量中使用的量化加权系数12a 12c。再有，在3个量化加权系数12a 12c中使用相同的值的情况下，在解码器内部不一定需要作为3个量的数据来具有，也可共同地 使用一个数据。接着，将该输出输入到进行与第1图片编码部5相同的处理的反变换部31 中，复原为局部解码预测差分信号32 (如果在位流8中存在变换块尺寸指定标志26，则在反 量化、反变换处理过程中参照该标志)。另一方面，预测部311参照第1图片编码部5中的 预测部15中的预测开销信息17，只包含生成预测图像33的处理，对预测部311输入宏块类 型/子宏块类型21、预测开销信息17，得到3个分量大小的预测图像33。
在宏块类型表示是帧内预测的情况下，按照帧内预测模式信息从预测开销信息17 得到3个分量大小的预测图像33，在宏块类型表示是帧间预测的情况下，按照运动矢量、参 照图像索引从预测开销信息17得到3个分量大小的预测图像33。利用加法器34将预测图 像33与局部解码预测差分信号32相加，得到3个分量大小的暂定解码图像323。为了将暂 定解码图像323用于以后的宏块的运动补偿预测，用进行与第1图片编码部5相同的处理 的解块过滤器22对3个分量大小的暂定解码图像样品实施了块失真除去处理后，作为解码 图像313输出，同时存储在存储器312中。在存储器312中存储了多个时刻的用3个色分 量构成的多幅参照图像数据，在预测部311中，从这些数据中选择以宏块为单位从位流8抽 取的参照图像索引所表示的参照图像进行预测图像生成。关于存储器312内的参照图像数 据的配置，可对各个色分量按面顺序分开地存储，也可按点顺序存储各色分量的样品。解码 图像313是包含了 3个色分量的彩色影像帧。 此外，第1图片解码部302在高位标题存储器305中存储的只帧内编码指示信信 13表示"是只帧内编码"的情况下，由于不需要运动补偿预测处理，不需要参照图像，故也 可采取跳过解块过滤器22中的处理而不进行作为参照图像的对存储器312的写出的结构。 通过这样来构成，可削减在存储器存取或解块过滤器的处理中需要的运算。但是，例如即使 是"只帧内编码"，也可进行解块过滤器或类似的后处理过滤器作为用于显示解码图像的后 处理。 第2图片解码部的动作概要 在图14中表示第2图片解码部304的内部结构。第2图片解码部304接收由用 色分量判定部303将例如从图8的编码装置输出的位流11分开所得的CO或Cl或C2像条 NAL单元构成的位流9a 9c中的某个，以图4中表示的单一色分量的样品构成的宏块作为 单位进行解码处理，复原输出影像帧。 可变长度解码部410输入位流9，按照规定的规则(句法)解读位流9，抽取单一 色分量的量化结束变换系数128和在单一色分量中应用的宏块标题信息(宏块类型/子宏 块类型121、预测开销信息117、变换块尺寸指定标志126、量化参数127)。将量化结束变换 系数128与量化参数127 —起输入到进行与第2图片编码部7相同的处理的反量化部130 中，进行反量化处理。关于此时使用的量化加权系数，根据用可变长度解码部410解码出的 色分量识别标志2，从高位标题存储器305中的量化加权系数12a 12c中选择并参照与该 色分量对应的一个系数。接着，将该输出被输入到进行与第2图片编码部7相同的处理的 反变换部131中，复原为局部解码预测差分信号132(如果在位流9中存在变换块尺寸指定 标志126，则在反量化、反变换处理过程中参照它)。 另一方面，预测部411参照第2图片编码部7中的预测部115中的预测开销信息 117，只包含生成预测图像133的处理，对预测部411输入宏块类型/子宏块类型121、预测开销信息117，得到单一色分量的预测图像133。在宏块类型表示是帧内预测的情况下，按 照帧内预测模式信息从预测开销信息117得到单一色分量的预测图像133，在宏块类型表 示是帧间预测的情况下，按照运动矢量、参照图像索引从预测开销信息117得到单一色分 量的预测图像133。利用加法器134将预测图像133与局部解码预测差分信号132相加， 得到单一色分量宏块的暂定解码图像423。为了将暂定解码图像423用于以后的宏块的运 动补偿预测，用进行与第2图片编码部7相同的处理的解块过滤器122对单一色分量的暂 定解码图像样品实施了块失真除去处理后，作为解码图像413输出，同时存储在存储器412 中。解码图像413只包含单一色分量的样品，如图5中所示，通过将其它色分量用的第2图 片解码部304的各自的输出合起来，作为彩色影像帧来构成。 此外，第2图片解码部304在高位标题存储器305中存储的只帧内编码指示信息 113表示"是只帧内编码"的情况下，由于不需要运动补偿预测处理，所以不需要参照图像， 因此也可采取跳过解块过滤器122中的处理，不进行作为参照图像的对存储器412的写出 的结构。通过这样来构成，可削减在存储器存取或解块过滤器的处理中需要的运算。其中， 例如即使是"只帧内编码"，也可执行解块过滤器或类似的后处理过滤器作为用于显示解码 图像的后处理。 根据以上所述可知，由于第1图片解码部302与第2图片解码部304只是存在将 宏块标题信息作为3个分量共同的信息来处理还是作为单一的色分量的信息来处理的差 别和像条数据的位流结构不同，故在第1图片解码部302和第2图片解码部304中可用共 同的功能块来实现图13或图14中的预测部、反变换部、反量化部等的基本的解码处理块。 因而，不仅作为图12那样的完全独立的解码处理部，而且如适当地组合图13或图14的构 成要素可实现多种多样的解码装置的安装。此外，如果以面顺序使之具有第l图片解码部 302中的存储器312的配置，则可在第1图片解码部302和第2图片解码部304中可使存储 器312、存储器412的结构成为共同的结构。 上述实施例的第1图片解码部和第2图片解码部将编码装置输出的位流11作为 输入来说明，但不限定于编码装置输出的位流，可将从硬盘或DVD那样的存储介质读出的 位流作为输入，也可将从服务器读出并经由网络发送来的位流作为输入。
再有，在上述实施例的编码装置、解码装置中，在独立编码处理的情况下，如图15 中所示，顺序地配置3个色分量的图片数据，即使当作一个图片数据来处理，也能得到同样 的效果。此时，对于水平方向H像素、垂直方向V行的彩色影像信号来说，在垂直方向上连 结3个数据、将图像尺寸信息14设成水平方向H像素、垂直方向VX3行，假定相当于单一 色分量像素排列。再有，在上述实施方式1的编码装置、解码装置中，为了能够将各色分量 的信号作为各自独立的图片来处理，在各色分量的边界(图15的粗点线部分)中的编码、 解码处理中除去色分量间的依存性。作为除去依存性的例子，可举出以下那样的条件。
在编码时，在位于各色分量的边界的宏块中，在其运动矢量搜索中，不使用邻接 的其它的色分量的像素，与画面边界的情况的处理同样，扩展自身色分量的端点像素，进行 画面外的搜索。在解码时，在位于各色分量的边界的宏块中，在运动矢量脱离自身色分量的 图像区域的情况下(进行了画面外的搜索的情况下)，不是使用其它色的像素信号，而是看 作画面边界，扩展自身色分量的端点像素，进行预测图像生成。
对于位于各色分量的边界的宏块间不进行解块过滤器处理。
在各色分量的宏块的编码、解码处理中，在可变长度编码、可变长度解码的处理 中使用学习型的算术编码的情况下，对于每个色分量个别地准备概率模型，对于每个色分 量独立地实施学习处理。 通过加上这些条件，可得到各自的色分量的信号的独立性，第1、2、3图片编码部、 图片解码部可分别独立地执行处理。 此外，禁止横跨各色分量的边界来定义像条，不使l像条内包含多个不同的色分 量的编码数据，并且对各色分量的开头宏块数据施加制约，使其必定成为像条数据的开头 宏块。 此外，为了规定像条数据属于哪个色分量，可如上述实施例那样构成为通过定义 color—cha皿eljdc并将其赋予给像条数据的开头区域来明确地指定像条所属的色分量， 也可构成为不使用color—cha皿eljdc而是使用各像条数据的开头宏块地址和图像尺寸 信息14来识别该像条数据属于哪个色分量。例如，在水平像素数W二 1920、垂直像素数V =1080的情况下，将C0分量、C1分量、C2分量各自的开头宏块地址定为0、8160、16320，将 宏块地址为0-8159的宏块分配给CO分量，将宏块地址为8160-16319的宏块分配给Cl分 量，将宏块地址为16320-24479的宏块分配给C2分量。 通过这样来构成，可谋求共同编码处理、独立编码处理的图片、存取单元结构成为 共同的结构，可提高随机存取或编辑作业等的效率。
权利要求
一种图像编码装置，对4∶4∶4格式的彩色图像进行压缩编码以生成位流，该图像编码装置的特征在于具有图片编码部，该图片编码部在位流中对表示是否对各色分量的信号独立地进行编码的识别信息和在各色分量的反量化中使用的量化矩阵信息进行多路复用，并且在该识别信息表示对各色分量的信号独立地进行编码的情况下，在像条标题中对用于识别该像条中所包含的编码数据是哪个色分量的编码数据的色分量识别信息进行多路复用，并且确定在该像条中的每个色分量的编码处理中使用的量化矩阵。
2. —种图像编码装置，输入4 : 4 : 4格式的数字运动图像信号进行压縮编码，该图像 编码装置的特征在于具备图片编码部，该图片编码部选择如下处理中的一方来进行编码处理第1编码处理，用共同的编码模式对所输入的运动图像信号的3个色分量信号进行编 码处理，使用共同的量化矩阵进行量化处理；以及第2编码处理，用各自独立的编码模式对所输入的运动图像信号的3个色分量信号进 行编码处理，使用各自独立的量化矩阵进行量化处理，上述图片编码部在压縮数据中包含表示选择了哪一方的识别信号，并且在选择了第2 编码处理的情况下，在压縮数据中包含表示是3个色分量信号中的哪个色分量的色分量识另U标志。
3. —种图像编码装置，输入4 : 4 : 4格式的数字运动图像信号进行压縮编码，该图像 编码装置的特征在于具备图片编码部，该图片编码部选择如下处理中的一方来进行编码处理第1编码处理，用共同的编码模式对所输入的运动图像信号的3个色分量信号进行编 码处理，使用共同的量化矩阵进行量化处理；以及第2编码处理，用各自独立的编码模式对所输入的运动图像信号的3个色分量信号进 行编码处理，使用各自独立的量化矩阵进行量化处理，上述图片编码部在压縮数据中包含表示选择了哪一方的识别信号，并且在选择了第2 编码处理的情况下，在压縮数据中包含表示是3个色分量信号中的哪个色分量的色分量识 别标志，并且在3个色分量信号中使用各自独立的参照图像进行运动补偿预测。
4. 一种图像编码方法，对4 : 4 : 4格式的彩色图像进行压縮编码以生成位流，该图像 编码方法的特征在于包括图片编码步骤，在该图片编码步骤中，在位流中对表示是否对各色分量的信号独立地进行编码的识别 信息和在各色分量的反量化中使用的量化矩阵信息进行多路复用，并且在上述识别信息表 示对各色分量的信号独立地进行编码的情况下，在像条标题中对用于识别该像条中所包含 的编码数据是哪个色分量的编码数据的色分量识别信息进行多路复用，并且确定在该像条 中的每个色分量的编码处理中使用的量化矩阵。
5. —种图像解码装置，将位流作为输入对彩色图像信号进行解码，其中位流是通过按照块单位变换、量化4 : 4 : 4格式的彩色图像来压縮编码而生成，该图像解码装置的特征在于具备解码部，该解码部对表示是否对各色分量的信号独立地进行了编码的第1识别信 息进行解码，并在该第1识别信息表示对各色分量的信号独立地进行了编码的情况下，对表示是否对全部的色分量进行了帧内编码的第2识别信息进行解码，并且在上述第1识别 信息表示对各色分量的信号独立地进行了编码，且上述第2识别信息表示对各色分量的图 片都进行了帧内编码的情况下，生成使在成为变换、量化的单位的块的边界上实施的解块 过滤器变得无效的解码图像。
6. —种图像解码装置，对4 : 4 : 4格式的数字运动图像信号的压縮数据进行解码以得到图像信号，该图像解码装置的特征在于 具备高位标题分析部，根据压縮数据，对表示是用共同的编码模式对3个色分量信号进行了编码还是用独立的编码模式对3个色分量信号进行了编码的识别信号进行解码；以及图片解码部，根据上述识别信号，在用各自独立的编码模式对3个色分量信号进行解 码处理的情况下，带有使用了各自独立的量化矩阵的反量化处理。
7. —种图像解码装置，对4 : 4 : 4格式的数字运动图像信号的压縮数据进行解码以 得到图像信号，该图像解码装置的特征在于具备高位标题分析部，根据压縮数据，对表示是用共同的编码模式对3个色分量信号进行 了编码还是用独立的编码模式对3个色分量信号进行了编码的识别信号进行解码、以及对表示只用帧内编码模式进行全部的编码处理或者也使用帧间编码模式的只帧内编码指示 信号进行解码，图片解码部，根据上述识别信号，在用各自独立的编码模式对3个色分量信号进行解 码处理的情况下，进行带有使用了各自独立的量化矩阵的反量化处理的解码处理，并且在 根据上述只帧内编码指示信号只用帧内编码模式进行了全部的编码处理的情况下不进行 解块过滤器的处理。
8. —种图像解码方法，对4 : 4 : 4格式的数字运动图像信号的压縮数据进行解码以得到图像信号，该图像解码方法的特征在于，具备根据压縮数据，对表示是用共同的编码模式对3个色分量信号进行了编码还是用独立的编码模式对3个色分量信号进行了编码的识别信号进行解码的高位标题分析步骤；以及根据在该高位标题分析步骤中解码出的识别信号，在用各自独立的编码模式对3个色分量信号进行解码处理的情况下，进行带有使用了各自独立的量化矩阵的反量化处理的解 码处理的步骤。
9. 一种图像解码方法，将位流作为输入对彩色图像信号进行解码，其中位流是通过按 照块单位变换、量化4 : 4 : 4格式的彩色图像来压縮编码而生成，该图像解码方法的特征在于具备解码步骤，在该解码步骤中，对表示是否对各色分量的信号独立地进行了编码的 第1识别信息进行解码，并且在该第1识别信息表示对各色分量的信号独立地进行了编码的情况下，对表示是否对全部的色分量进行了帧内编码的第2识别信息进行解码，并且在 上述第1识别信息表示对各色分量的信号独立地进行了编码，且上述第2识别信息表示对 各色分量的图片都进行了帧内编码的情况下，生成使在成为变换、量化的单位的块的边界 上实施的解块过滤器变得无效的解码图像。
10. —种图像编码装置，通过按照块单位变换、量化4 : 4 : 4格式的彩色图像进行压縮编码来生成位流，该图像编码装置的特征在于具备图片编码部，该图片编码部在位流中对表示是否对各色分量的信号独立地进行编码的第1识别信 息进行多路复用，并且在该第1识别信息表示对各色分量的信号独立地进行编码的情况 下，在位流中对表示是否对全部的色分量进行帧内编码并对在成为变换、量化的单位的块 的边界上实施的解块过滤器的动作进行控制的第2识别信息进行多路复用。
11. 一种图像编码装置，以4 : 4 : 4格式的数字运动图像信号为输入进行压縮编码，该图像编码装置的特征在于具备图片编码部，该图片编码部选择如下处理中的一方来进行编码处理第1编码处理，用共同的编码模式对所输入的运动图像信号的3个色分量信号进行编 码处理，使用共同的量化矩阵进行量化处理；以及第2编码处理，用各自独立的编码模式对所输入的运动图像信号的3个色分量信号进 行编码处理，使用各自独立的量化矩阵进行量化处理，上述图片编码部在压縮数据中包含表示选择了哪一方的识别信号。
12. —种图像编码装置，以4 : 4 : 4格式的数字运动图像信号作为输入进行压縮编 码，该图像编码装置的特征在于具备图片编码部，该图片编码部选择如下处理中的一方来进行编码处理第1编码处理，用共同的编码模式对所输入的运动图像信号的3个色分量信号进行编 码处理，使用共同的量化矩阵进行量化处理；以及第2编码处理，用各自独立的编码模式对所输入的运动图像信号的3个色分量信号进 行编码处理，使用各自独立的量化矩阵进行量化处理，上述图片编码部在压縮数据中包含表示选择了哪一方的识别信号，并且在压縮数据中 包含表示只用帧内编码模式进行全部的编码处理或者也使用帧间编码模式的只帧内编码 指示信号，在只用帧内编码模式进行了编码处理的情况下不进行解块过滤器的处理。
13. —种图像编码方法，以4 : 4 : 4格式的数字运动图像信号为输入进行压縮编码，该图像编码方法的特征在于，具备选择第1编码步骤和第2编码步骤中的某一方进行编码处理的步骤，其中上述第1编 码步骤用共同的编码模式对所输入的运动图像信号的3个色分量信号进行编码处理并使 用共同的量化矩阵进行量化处理，上述第2编码步骤用各自独立的编码模式对所输入的运 动图像信号的3个色分量信号进行编码处理并使用各自独立的量化矩阵进行量化处理；以 及在压縮数据中包含表示选择了第1、第2编码步骤中的哪一方的识别信号的步骤。
14. 一种图像编码方法，通过按照块单位变换、量化4 : 4 : 4格式的彩色图像进行压 縮编码来生成位流，该图像编码方法的特征在于包括图片编码步骤，在该图片编码步骤中，在位流中对表示是否对各色分量的信号独立地进行编码的第1 识别信息进行多路复用，并且在该第1识别信息表示对各色分量的信号独立地进行编码的 情况下，在位流中对表示是否对全部的色分量进行帧内编码并对在成为变换、量化的单位 的块的边界上实施的解块过滤器的动作进行控制的第2识别信息进行多路复用。
全文摘要
本发明提供一种在对4∶4∶4格式那样的在色分量间取样比没有区别的运动图像信号进行编码时提高了最优性的编码装置、解码装置、编码方法和解码方法。在输入4∶4∶4格式的数字运动图像信号进行压缩编码的情况下，准备用共同的编码模式对所输入的运动图像信号的3个色分量信号进行编码的处理和用各自独立的编码模式对所输入的运动图像信号的3个色分量信号进行编码处理的处理，选择上述第1编码处理和第2编码处理中的某一方进行编码处理，并且使压缩数据中包含表示选择了哪一方的识别信号。
文档编号H04N7/26GK101783965SQ20101014230
公开日2010年7月21日 申请日期2008年1月11日 优先权日2007年1月12日
发明者关口俊一, 出原优一, 守屋芳美, 山田悦久, 杉本和夫, 村上笃道, 浅井光太郎 申请人:三菱电机株式会社