图像编码方法和装置、图像解码方法及装置、和其程序的制作方法

专利名称：图像编码方法和装置、图像解码方法及装置、和其程序的制作方法
技术领域：
本发明涉及一种图像的编码和解码技术，尤其涉及一种适于距离图像等图像的编码的图像编码方法、图像解码方法、图像编码装置、图像解码装置和其程序。本申请基于2010年9月29日申请的日本特愿2010 — 218037号，主张优先权，并在这里援引其内容。
背景技术：
所谓距离图像，是将从摄像机至被摄体的距离表现为像素值的图像。因为从摄像机至被摄体的距离也称为场景进深，所以距离图像也称为进深图像。另外，也因进深(D印th)而称为深度映像(D^th Map)。在计算机图形领域，由于深度是积存在Z缓冲器(汇总画面整体的深度后保存的存储器区域)中的信息，所以也称为Z图像或Z映像。另外，除从摄像机至被摄体的距离外，还使用相对在作为表现对象的空间上延伸的三维坐标系的Z轴的坐标值作为距离(深度)。通常，因为对被撮影的图像将水平方向设为X轴、将垂直方向设为Y轴，所以Z轴与摄像机方向一致，但在对多个摄像机使用共同的坐标系等情况下，有时Z轴与摄像机方向不一致。下面，不加区别地将距离、进深、Z值(进深信息)称为距离信息，将把距离信息表示为像素值的图像称为距 离图像。当把距离信息表示为像素值时，有将对应于物理量的值原样设为像素值的方法、使用以某个数量化最小值与最大值之间得到的值的方法、和使用以某个步宽量化距最小值的差得到的值的方法。在想表现的范围有限的情况下，使用最小值等附加信息的一方能高精度表现距离信息。另外，当等间隔量化时，有原样量化物理量的方法与量化物理量的倒数的方法。因为通常距离信息的倒数为与视差成正比的值，所以多在必需高精度表现距离信息的情况下，使用前者，在必需高精度表现视差信息的情况下，使用后者。下面，与距离信息的像素值化方法或量化方法无关，将把距离信息表现为图像全部称为距离图像。作为距离图像的利用用途之一，有立体图像。作为一般的立体图像的表现，有由观测者的右眼用图像与左眼用图像构成的立体图像，使用某个摄像机中的图像与其距离图像能表现立体图像(详细技术参照非专利文献I)。在编码使用这种I视点中的影像与距离图像表现的立体影像的方式中，可使用MPEG - C Part.3 (IS0/IEC 23002-3)(详细内容参照非专利文献2)。另外，通过对多个视点持有影像与距离图像，能表现比单视点的情况下可表现的立体影像持有更大视差的立体影像(细节参照非专利文献3)。另外，除这种表现立体影像的用途以外，距离图像还用作生成鉴赏者不在意摄影摄像机的配置而能自由移动视点的自由视点影像的数据之一。将这种从撮影摄像机以外的摄像机看场景时的合成图像称为虚拟视点图像，在基于图形的映像(Image-basedRendering)领域盛行研究其生成法。作为由多视点影像与距离图像来生成虚拟视点影像的代表手法，有非专利文献4中记载的手法。距离图像由一个分量一木 > 卜)构成，所以能视为灰色标度图像。另外，因为被摄体在实空间上连续地存在，且不能瞬间向远离的位置移动，所以认为与图像信号同样持有空间的相关和时间的相关。因此，能利用通常编码图像信号或影像信号所使用的图像编码方式或动态图像编码方式，边去除空间的冗余性或时间的冗余性边高效地编码距尚图像或距尚动态图像。实际上，MPEG — C Part.3中使用现有的动态图像编码方式来进行编码。这里，说明现有的一般影像信号的编码方式。通常，被摄体在实空间上持有空间的和时间的连续性，所以其外观持有空间的和时间的高相关。影像信号的编码中利用这种相关性来实现高的编码效率。具体地，通过从已编码完的影像信号预测编码对象块的影像信号，仅编码其预测残差，减少编码所需的息量，实现闻的编码效率。作为代表的影像信号的预想手法，有从邻接的块在空间上生成预测信号的画面内预测、或由在不同时刻撮影的编码完帧推定被摄体的运动后在时间上生成预测信号的运动补偿预测。另外，称为预测残差信号的预测误差为了利用空间的相关与人的视觉特性，也使用DCT等将预测残差信号转换为频率空间中的数据，并使残差信号的能量集中于低频区域，从而高效地进行编码。各手法的细节请参照动态图像国际标`准规格的MPEG — 2或H.264/MPEG 一 4AVC (非专利文献5)。非专利文献1: C.Fehn, P.Kauff, M.0p de Beeck, F.Ernst, W.1Jsselsteijn, M.Pollefeys, L.Van Gool, E.0fek and 1.Sexton, 〃AnEvolutionary and Optimised Approach on 3D_TV〃， Proceedings of InternationalBroadcast Conference, pp.357—365，Amsterdam, The Netherlands, September 2002 ；
非专利文献 2: ff.H.A.Bruls, C.Varekamp, R.Klein Gunnewiek, B.Barenbrugand A.Bourge, "Enabling Introduction of Stereoscopic (3D) Video: Formats andCompression Standards' Proceedings of IEEE International Conference on ImageProcessing, pp.1-89-1-92, San Antonio, USA, September 2007 ；
非专利文献 3: A.Smolic, K.Mueller, P.Merkle, N.Atzpadin, C.Fehn, M.Mueller, 0.Schreer, R.Tanger, P.Kauff and T.ffiegand, ^Mult1-view video plusdepth (MVD) format for advanced 3D video systems' Joint Video Team of IS0/IECJTC1/SC29/WG11 and ITU-T SG16 Q.6, Doc.JVT-fflOO, San Jose, USA, April 2007 ；非专利文献 4: C.L.Zitnick, S.B.Kang, M.Uyttendaele, S.A.J.Winder,and R.Szeliski, ^High-quality Video View Interpolation Using a LayeredRepresentation", ACM Transactions on Graphics, vol.23, n0.3, pp.600-608，August2004 ；
非专利文献 5: Recommendation ITU-T H.264, "Advanced video coding forgeneric audiovisual services' March 2009。被摄体因为在实空间上连续，所以在持有高的空间相关的同时，因为不能瞬间向远离的位置移动，所以持有高的时间相关。因此，通过使用利用空间相关与时间相关的现有动态图像编码方式，能高效编码表示为灰色标度图像的距离图像。但是，距离信息在被摄体内部变化少，被摄体间存在非常大的差异，所以空间或时间的预测结果，有可能实现正确的预测，预测残差非常小，或完全不能有效预测，预测残差非常大。即，预测残差信号中生成强的边缘。这种强的边缘当使用DCT等转换为频率空间中的数据时，不能使残差信号的能量集中于低频区域，产生多个高频成分。结果，不能高效编码残差信号。图30中示出某个距离图像的9X9像素块的一例。该块中存在2个被摄体，一个被摄体的像素值为50前后,另一个被摄体的像素值为200前后。在空间的预测中，使用该块的第I行与第I列信息来预测其余的8X8像素。预测方法多种多样，这里示例H.264中采用的典型的2个预测方法、水平预测与垂直预测这2个实例。如图右侧所示，预测残差大致区分仅存在一 150前后、O前后、150前后这3种值，产生相当大的边缘。图31A、31B示出对图30所示的预测残差实施8 X 8的二维DCT的结果。直流(DC)成分为图的第一进深，越远离进深，表示越高频。从图可知，在任何情况下，在多个高频区域中都产生大的信号，残差信号的紧凑化失败。也可不进行预测而仅使用DCT等转换来编码，但这无法去除与其他块的空间的相关，编码效率会进一步恶化。另外，也可不进行DCT等转换而编码，但此时无法利用块内的局部相关，无法实现高效的编码。通常高频区域的成分不对主观品质造成大的影响，所以即使上述信号也能对高频区域的成分实施大的量化等，削减代码量。但是，若如本例所示量化有强的边缘的部分的高频成分，则边缘周边会发生称为蚊式噪声的失真，会使图像品质显著下降。

发明内容
本发明鉴于上述情况做出，其目的在于提供一种高效编码距离图像等像素值极大依赖于对象的图像的图像编码技术、和解码已编码的位流的图像解码技术。本发明为了解决上述课题，在图像编码中，在传送或积存图像时，将图像帧分割成预定大小的处理区域(以下也称为块)，对每个块边预测各像素的像素值边进行编码，其中，假定为块内存在固定数的被摄体或每个块存在可变数的被摄体，以“代表各被摄体的像素值(以下称为被摄体像素值)”、“各像素的被摄体识别信息”等信息来表现各块的图像。即，对块内的一个像素分配表示是哪个被摄体的一个被摄体识别信息，向一个被摄体识别信息对应一个被摄体像素值。因为根据该信息来分配每个像素最类似的值，所以能生成保持复杂边缘形状的预测图像。另外，因为块内包含的被摄体数最高限为数个，所以限制该信息的量。
特别是，本发明中，使用对编码对象块周边已编码完像素的图像信号来预测编码对象块的被摄体数或被摄体像素值、或这双方。这样，通过使用对已编码完像素的图像信号来预测，解码侧能与编码侧共享相同的信息，能削减预测图像生成中使用的附加信息的代码量。这里所谓的被摄体不意味着被撮影的各个物体或人物本身，而是赋予信息的对象，例如是持有类似图像信号(亮度、色彩、深度等)的区域。即，即使是单一物体，在因场所不同而持有不同颜色的情况下，也视为多个被摄体。另外，不必编码图像信号的物体或物体的一部分不视为被摄体。即，被摄体与帧内的实对象(被摄体)无关，未赋予信息的实对象不是本发明中所说的“被摄体”。另外，在对一个实对象赋予两个信息的情况下，分别处理为不同的被摄体。说明本发明及其实施方式的说明中使用的术语。下面将处理区域代表性地说明为块。“被摄体数”:被摄体数是块内存在的“被摄体”的数，是赋予信息的对象的个数。被摄体数能通过解析块内的像素值来生成。例如，能使用像素值或位置等信息来分组块内的像素，将各组的评价值(例如像素值的离散)为一定值以下的组数的最大值设为被摄体数。另外，也可根据经验等从外部提供，或使用预定的值。该被摄体数用于表现作为附加信息之一的被摄体像素值的个数。另外，也用于表现出现于被摄体映像的被摄体识别符的最大值。“被摄体像素值”:被摄体像素值是对各个“被摄体”定义一个的值，是代表该“被摄体”的像素值。作为像素值，可使用亮度值或色差值、R值等。另外，有时也使用RGB值等多个色分量值的集合。被摄体像素值通过解析块内的像素值来生成。具体地，使用像素值或位置等信息将块内的像素分组为“被摄体数”的组，通过对每个组计算对包含的像素的像素值的平均值或中央值来得到。用于通过对块内的各像素分配对应于该像素的“被摄体”的被摄体像素值来生成该块的预测图像。“被摄体映像”:被摄体映像表示块内的各像素中存在哪个“被摄体”。具体地，以对应于“被摄体”(被摄体像素值)的被摄体识别符来表现各像素。在最单纯的表现中，能表现为2维信息，但也可使用树构造来表现。被摄体映像通过对块内的各像素分配对应于最接近其像素值的被摄体像素值之被摄体识别符来生成。另外，不仅像素值与被摄体像素值的类似度等，也鉴于被摄体映像自身表现所需的位数来生成。被摄体映像用于表示当生成预测像素时、对块内各像素分配哪个被摄体像素值。“附加信息”:本发明中将预测处理对象帧的图像(影像)信号中使用的信息称为附加信息。附加信息由进行处理的块单位生成。附加信息基本上由被摄体数、被摄体像素值、被摄体映像等3个信息构成。“预测附加信息”:预测附加信息是附加信息的预测值。具体地，由被摄体数的预测值与被摄体像素值的预测值构成。
被摄体数的预测值能通过解析对处理块周边已处理完像素群的像素值来生成。例如，能使用像素值或位置等信息分组处理块周边已处理完的像素群的像素，将各组的评价值(例如像素值的离散)为一定值以下的组数的最小值设为被摄体数的预测值。被摄体像素值的预测值通过解析对处理块周边已处理完的像素群的像素值来生成。具体地，可使用通过使用像素值或位置等信息将处理块周边已处理完的像素群的像素分组为“被摄体数”的组、对每个组计算对包含的像素的像素值之平均值或中央值所得到的值。另外，还有如下方法，即，使用通过分组为与“被摄体数的预测值”相同数量的组、并对每个组计算对包含的像素的像素值的平均值或中央值所得到的值。并且，还有如下方法，即顺序排列上述方法中出现的值、使用采用分配该顺序较小序号的被摄体识别符的被摄体像素值的值与上述方法得到的值所生成的值。预测附加信息用作编码/解码附加信息时的预测值。即，当编码被摄体映像以外的附加信息时，计算附加信息内的值与预测附加信息内的值的差分，编码该差分值。当解码被摄体映像以外的附加信息时，通过向从代码数据解码得到的值加上预测附加信息内的值，生成附加信息的值。另外，还有如下方法，即不编码部分或全部差分值，将预测附加信息的值原样用作附加信息的值。在本发明的图像编码中，典型地进行以下处理。(I)设定处理对象块内存在的被摄体数，作为被摄体数。在该被摄体数的设定中，有设定预定的被摄体数的情况、解析块内像素值来设定的情况、和设定由块周边编码完的图像信息来预测的被摄体数的情况。(2)假定为块内存在被摄体数的被摄体，对应于识别被摄体的被摄体识别符，对每个被摄体设定一个像素值，作为被摄体像素值。在该被摄体像素值的设定中，有解析块内像素值来设定的情况、和由块周边编码完的图像信息预测被摄体像素值来设定的情况。(3)由块内的各像素像素值与被摄体像素值来生成以被摄体识别符表示摄影块内各像素中哪个被摄体的被摄体映像。(4)根据被摄体映像，通过向各像素分配被摄体像素值的值，生成对块的预测图像。(5)编码被摄体映像。(6)使用预测图像，预测编码对块的图像信号。(7)对于被摄体数，有编码的情况与不编码的情况。在上述(I)设定被摄体数的步骤中，在设定预定的被摄体数的情况、与设定由块周边编码完的图像信息来预测的被摄体数的情况下，因为解码侧由解码完的图像信息得到相同信息，所以不进行编码。作为被摄体数，在解析块内像素值来设定的情况下，为了减少被摄体数的代码量，所以预测编码被摄体数。即，编码实际的被摄体数、与从块周边编码完的图像信息预测的被摄体数之差分值。(8)即使对于被摄体像素值也有编码的情况与不编码的情况。在上述(2)设定被摄体像素值的步骤中，在设定从块周边编码完的图像信息预测的被摄体数的情况下，由于解码侧由解码完的图像信息得到相同信息，所以不进行编码。作为被摄体像素值，在解析块内的像素值来设定的情况下，为了减少被摄体像素值的代码量，预测编码被摄体像素值。即，编码预测图像生成中使用的被摄体像素值、与由块周边编码完的图像信息预测的被摄体像素值之差分值。另外，例如在被摄体像素值按升序排列的情况下，也可编码距之前被摄体像素值的增量信息。(9)在编码以上被摄体映像的代码数据、图像信号的代码数据、以及被摄体数的情况下，多路复用其代码数据后输出，另外，在编码被摄体像素值的情况下，多路复用其代码数据后输出。如上所述，在本发明中，为了生成预测图像，使用作为被摄体的代表像素值的被摄体像素值、和按每个像素表示使用哪个被摄体像素值来生成预测图像的被摄体映像这2个附加信息。这2个附加信息对应于被摄体数来确定。在预测图像的生成中，与使用“预测方向”的信息的现有技术相比，本发明中附加信息的代码量增加，但通过生成正确的预测图像，能大幅度减少预测残差编码所需的代码量，作为整体削减每个块所需的代码量。另外，即使对于附加信息，也能通过预测来削减代码量。即，即使对于因块不同而拍摄的被摄体的数不同的图像，也能通过使用预测被摄体数来削减表现被摄体数所需的代码量。因块不同而拍摄的被摄体的数不同的情况，可考虑如下2个情况。是某个被摄体存在于邻接区域而不存在于当前块的情况、与某个被摄体不存在于邻接区域而存在于当前块的情况。即，可认为当前块的被摄体数以邻接区域的被摄体的数为基准增加或减少。因此，在编码当前块的被摄体数的情况下，不是原样编码被摄体数，而是编码“被摄体数的增减”的信息，由此能削减代码量。另外，即使对于因块不同而拍摄的被摄体的种类(色彩等)变化的图像，也能通过使用预测被摄体像素值来削减表现代表各被摄体的被摄体像素值所需的代码量。因块不同而拍摄的被摄体的色彩不同的情况，可考虑如下2个情况。是(a)是与邻接区域相同的被摄体但照明效果不同的情况、(b)邻接区域中不存在被摄体的情况。在(a)的照明效果的情况下，因为是相同被摄体的色彩，所以认为该色彩的差异以邻接区域的被摄体色彩为基准而变化。因此，在编码当前块的被摄体像素值的情况下，通过不原样编码被摄体像素值而编码“被摄体像素值的变化”的信息，能削减所需的代码量。在(b)的新的被摄体的情况下，因为邻接区域中不存在该被摄体，所以不认为“预测被摄体像素值”是有效的预测，但在被摄体像素值按其值从小到大的顺序编码的情况下，通过不原样编码被摄体像素值而编码距之前编码的被摄体像素值的增量的信息，能削减所需的代码量。在本发明的图像解码中，典型地进行以下处理。(I)设定处理对象块内存在的被摄体数，作为被摄体数。在该被摄体数的设定中，有设定预定的被摄体数的情况、设定从块周边解码完的图像信息预测的被摄体数的情况、和设定解码代码数据得到的被摄体数的情况。在从代码数据解码被摄体数的情况下，使用从块周边解码完的图像信息预测的被摄体数来解码。(2)设定对应于各被摄体识别符的被摄体像素值。在该被摄体像素值的设定中，有设定从块周边解码完的图像信息预测的被摄体像素值的情况、与设定解码代码数据得到的被摄体像素值的情况。在从代码数据解码被摄体像素值的情况下，使用从块周边解码完的图像信息预测的被摄体像素值或之前解码的被摄体像素值等来解码。(3)从代码数据解码被摄体映像。(4)根据被摄体映像，通过向各像素分配被摄体像素值的值，生成对块的预测图像。(5)使用预测图像，从代码数据解码对块的图像信号。由此，能解码通过上述图像编码所编码的图像。(发明效果)
根据本发明，对于距离图像等像素值极大地依赖于被摄体、仅局部存在有限数量的被摄体的图像，在分割图像整体后对每个区域以不同方法边预测图像信号边预测编码图像的情况下，利用被摄体存在的空间的连续性，预测被摄体数或各被摄体的代表像素值。由此，能削减使用每个被摄体的代表像素值与被摄体识别信息的图像信号预测所需的附加信息之表现所需的代码量，实现高效的图像编码。


图1是表示本发明第I实施方式的图像编码装置的构成例的框图。图2是第I实施方式的图像编码装置的处理流程图。图3A是被摄体数设定处理的流程图。图3B同样是被摄体数设定处理的流程图。图4A是被摄体像素值设定处理的流程图。图4B同样是被摄体像素值设定处理的流程图。图5是表示被摄体映像的实例的图。图6A是说明向编码对象像素分配被摄体识别符的实例的图。图6B同样是说明向编码对象像素分配被摄体识别符的实例的图。图7是表示树构造被摄体映像的实例的图。图8是表示树构造被摄体映像的另一例的图。图9是表示第I实施方式的图像编码装置的另一构成例的框图。图10是表示本发明第2实施方式的图像编码装置的构成例的框图。图11是基于第2实施方式的图像编码装置的处理流程图。图12是表示第3实施方式的图像解码装置的构成例的框图。图13是基于第3实施方式的图像解码装置的处理流程图。图14是表示解码的树构造被摄体映像的实例的图。图15是表示解码的被摄体映像的实例的图。图16是表示第3实施方式的图像解码装置的另一构成例的框图。图17是表示第4实施方式的图像解码装置的构成例的框图。图18是基于第4实施方式的图像解码装置的处理流程图。图19是表示代码数据每块的语法(syntax) —例的图。图20是表示代码数据每块的语法另一例的图。图21A是表示预测图像生成中使用的附加信息的数据构造实例的图。
图21B是表示上述数据构造的具体例的图。图22A是表示预测附加信息的数据构造实例的图。图22B是表示上述数据构造的具体例的图。图23A是表示以各块编码的数据构造例I的图。图23B是表示上述数据构造例I的具体例的图。图24A是表示以各块编码的数据构造例2的图。图24B是表示上述数据构造例2的具体例的图。图25A是表示以各块编码的数据构造例3的图。图25B是表示上述数据构造例3的具体例的图。图26A是表示以各块编码的数据构造例4的图。图26B是表示上述数据构造例4的具体例的图。图27是表示由计算机与软件程序构成图像编码装置时的硬件构成例的图。图28是表示由计算机与软件程序构成图像解码装置时的硬件构成例的图。图29是表示使用本手法与现有手法编码时的发生代码量与图像品质的比较的图。图30是说明本发明课题的图，是对某个距离图像的水平预测与垂直预测的实例。图31A是表示对图30所示的水平预测残差实施8X8的二维DCT的结果的图。图31B是表示对图30所示的垂直预测残差实施8X8的二维DCT的结果的图。
具体实施例方式本发明中，在分割图像整体后以对每个区域不同的方法边预测图像信号边预测编码图像的情况下，利用被摄体(对象)存在的空间的连续性，使用处理区域周边已终止处理的区域的解码像素值来预测被摄体数或各被摄体的代表像素值。由此，减少了“处理区域内的被摄体数”或“代表处理区域内的各被摄体的像素值”的编码所需的代码量，该“处理区域内的被摄体数”或“代表处理区域内的各被摄体的像素值”是使用代表处理区域内各被摄体的像素值与用于识别处理区域内各像素被摄体的信息的、对应于任意被摄体形状的高精度图像信号预测时必需的，能实现高效的图像编码。另外，通过使用编码侧与解码侧为相同信息的已处理完周边区域中像素的解码像素值，即使在如H.264那样对每个区域从多个图像信号预测模式中选择一个进行编码的情况下，也能适当地进行预测。下面，参照附图来说明本发明的一实施方式。〔第I实施方式:图像编码装置〕
首先说明第I实施方式。图1是表示本发明第I实施方式的图像编码装置的构成例的框图。图像编码装置100如图1所示，具备编码对象帧输入部101、编码对象帧存储器102、被摄体数设定部103、被摄体像素值设定部104、被摄体映像生成部105、被摄体映像编码部106、预测图像生成部107、图像信号编码部108、图像信号解码部109、解码图像存储器110和多路复用部111。编码对象帧输入部101输入构成编码对象的图像帧。
编码对象帧存储器102积存输入的编码对象帧。被摄体数设定部103设定预定大小的处理区域中包含的被摄体数。被摄体像素值设定部104假定为处理区域中存在提供的数量的被摄体，使用处理区域周边的解码图像，对每个被摄体设定代表被摄体的像素值。将对处理区域的每个被摄体生成的代表被摄体的像素值称为被摄体像素值。被摄体映像生成部105生成被摄体映像，该被摄体映像表示识别处理区域内各像素中被撮影的被摄体的信息。被摄体映像编码部106编码被摄体映像。预测图像生成部107从对处理区域生成的被摄体像素值与被摄体映像，生成对处理区域的预测图像。图像信号编码部108对每个处理区域，使用预测图像，对编码对象帧的图像信号进行编码。图像信号解码部109对每个处理区域，使用预测图像，对编码对象帧的图像信号的代码数据进行解码。解码图像存储器110积存解码的图像信号。多路复用部111多路复用被摄体映像的代码数据与编码对象帧的图像信号的代码数据后输出。图2是用于说明基于第I实施方式的图像编码装置100的动作的流程图。根据该流程图来详细说明图像编码装置100执行的处理。首先，由编码对象帧输入部101输入编码对象帧，并存储在编码对象帧存储器102中(步骤S101)。一旦编码对象帧的存储终止，则分割编码对象帧，按分割后的每个区域，对编码对象帧的图像信号进行编码(步骤S102 SI 12)。S卩，若以blk表示编码对象块索引，以numBlks表示总编码对象块数，则以O初始Kblk (步骤S102)之后，边向blk加I (步骤S111)，边重复以下处理(步骤S103 S110)，直到blk变为numBlks (步骤S112)。在对每个编码对象块重复的处理中，首先，被摄体数设定部103使用解码图像存储器110中积存的对块blk的周边像素群的图像信号，设定块blk中包含的被摄体数numObjs (步骤 S103)。这里，将解码图像存储器110中积存的块blk的周边像素的集合称为第I参考像素。该第I参考像素的选择方式或从对第I参考像素的像素值设定被摄体数numObjs的方法中，若是与解码侧相同的处理，则可以使用任意方法。作为第I参考像素的选择方式，例如既可以作为存在预定位置关系的像素群，也可以对帧或块群等每个单位编码表示选择方式的信息后传递到解码侧。作为被摄体数numObjs的决定方法,例如对参考像素适用k 一 means法或共鸣传播(Affinity Propagation)等分组手法,有如下方法，即各组内的像素值离散在全部组中为预定值以下的分组结果中，将最小的组数设定为numObjs。另外，作为分组中使用的尺度，既可以仅使用像素值，也可以使用像素值与像素位置构成的值。图3A、3B中表示设定被摄体数的处理(图2的步骤S103)的详细流程图。
在设定被摄体数的处理中，如图3A所示，首先，设定作为解码图像存储器110中积存的块blk的周边像素集合的内容的第I参考像素(步骤S1031)。接着，解析第I参考像素中包含的像素信息(位置或像素值)，决定被摄体数(步骤S1032)。该步骤S1032的详细流程实例如图3B所示。首先，在以I初始化被摄体数numObjs之后(步骤S10321)，将第I参考像素中包含的像素群分割为numObjs个组(步骤S10322)，对各组计算组内像素的像素值的离散值var，设其最大值为maxVar (步骤S10323 S10328)。若maxVar比预定的阈值th小(步骤S10329),则采用当前的numObjs作为被摄体
数，终止处理。否则，向numObjs加I (步骤S10330)，再次返回分组的处理(步骤S10322)，同样重
复处理。不使用第I参考像素而始终设定相同值作为被摄体数也无妨。另外，在被摄体数多的情况下，因为后述被摄体映像的代码量变大，不能实现高效的编码，所以对被摄体数另外设定最大值，在不超过该最大值的范围内设定即可。一旦被摄体数的设定终止，则接着，被摄体像素值设定部104使用解码图像存储器110中积存的对块blk的周边像素群的图像信号，对块blk内的每个被摄体设定代表被摄体的像素值(步骤S104)。下面，将代表该被摄体的像素值称为被摄体像素值，表示为Value (i)。这里、i设为用于识别被摄体的被摄体识别符，是O以上不足numObjs的整数。被摄体识别符根据预定的规则分配。这里，设被摄体像素值按从小到大的顺序分配。另外，将这里使用的解码图像存储器110中积存的块blk的周边像素集合称为第2参考像素。第2参考像素的选择方式或使用对第2参考像素的像素值来决定被摄体像素值的方法中，若为与解码侧相同的处理，则也可以使用任意方法。作为第2参考像素的选择方式，既可以作为例如存在预定位置关系的像素群，也可以对帧或块群等每个单位编码表示选择方式的信息后传递到解码侧。另外，也可与第I参考像素相同，或不同。作为设定代表各被摄体的被摄体像素值的方法，例如有如下方法，即使用上述分组手法，将第2参考像素分割成numObjs个组，将各组中包含的像素的像素值的平均值或中央值设定为被摄体像素值。在第I参考像素与第2参考像素相同、设定被摄体数时使用分组的情况下，无妨在设定被摄体数的同时设定被摄体像素值。图4A、4B中示出设定被摄体像素值的处理(图2的步骤S104)的详细流程图。在设定被摄体像素值的处理中，如图4A所示，首先，设定作为解码图像存储器110中积存的块blk的周边像素集合的内容的第2参考像素(步骤S1041)。接着,解析第2参考像素中包含的像素信息(位置或像素值)，决定numObjs个被摄体像素值Value (i)(步骤S1042)。该步骤S1042的详细流程实例如图4B所示。首先，将第2参考像素中包含的像素群分割成numObjs个组(步骤S10421)。作为分组中使用的信息，可使用像素位置或像素值。若分组终止，则对每个组，对该组中包含的像素群求出像素值的平均值或中央值(步骤 S10422 S10425)。之后，按预定顺序(这里为升序)分类得到的值，并设为Value (i)(步骤S10426)。作为其他方法，有如下方法，即numObjs个以下的组数，按组内的像素值离散值的最大值比另外设定的阈值小的最小组数来分割，将每个组的平均值或中央值设定为被摄体像素值，不足numObjs个的部分适当设定被摄体像素值。例如，在第I参考像素与第2参考像素不同的情况下，使用第I参考像素求出的numObjs有可能不是最适于分割第2参考像素的组数。因此，这样，对于第2参考像素，可通过再次求出最佳组来设定更适当的被摄体像素值。另外，作为例如numObjs为2时的计算量轻的被摄体像素值的决定方法，也可求出第2参考像素的全部像素像素值的平均值，设持有比该平均值小的像素值的第2参考像素的平均值或中央值、与持有该平均值以上的像素值的第2参考像素的平均值或中央值作为被摄体像素值。若得到被摄体像素值，则接着被摄体映像生成部105对块blk生成被摄体映像(步骤 S105)。这里、所谓被摄体映像是对块blk的各像素分配被摄体识别符的映像，例如是图5的2维信息。作为对各像素分配被摄体识别符的方法，有对各像素分配持有最接近其像素值的被摄体像素值的被摄体识别符的方法。作为其他方法，有如下方法，即对块blk内的像素进行上述分组，决定代表各组的像素值，并对属于该组的全部像素设定持有最接近其值的被摄体像素值的被摄体识别符。此时，组数可以是numOb j s，也可以是numOb j s以下，也可由任意数求出最佳的组。作为另一方法，有如下方法，即生成多个被摄体映像候补，对每个被摄体映像候补，计算由使用该被摄体映像候补进行编码时的代码量与失真量的加权和提供的比率失真成本，设定其值最小的映像作为被摄体映像。可将有可能的全部被摄体映像设为被摄体映像候补，也可仅将限定的几个特征的被摄体映像设为被摄体映像候补。作为特征的被摄体映像，有对各像素分配持有最接近其像素值的被摄体像素值的被摄体识别符后生成的被摄体映像、或全部像素为相同被摄体识别符的被摄体映像、水平或垂直2分割的被摄体映像等。接着，被摄体映像编码部106编码生成的被摄体映像(步骤S106)。编码中可使用任何方法。例如，也可对应于被摄体数，向各被摄体识别符分配固定长或可变长的代码，使用光栅扫描(— W' >)或曲折扫描(夕夕'' 吁夕'' 7 \
等，将2维映像信息转换为I维二进制数据来编码。作为其他方法，有如下方法，当边按预定的顺序扫描边编码对块blk内的各像素的被摄体识别符时，对各像素，将周围已编码完的像素群设定为第3参考像素，对应于对该第3参考像素的被摄体识别符，边使概率表格变化，边算术编码。在以与编码对象像素的位置关系来决定构成第3参考像素的像素群的情况下，对应的位置的像素在画面外，或由未使用被摄体映像的H.264的帧内预测等预测编码。也可对这种像素分配预定的被摄体识别符，或分配不明的标记后单独定义概率表格。例如，在被摄体数为2时，如图6A所示，对编码对象像素X定义3个像素a、b、c,作为第3参考像素，在还使用不明标记(图6B中的N)的情况下，如图6B所示，使用全部27种概率表格来编码。只要该概率表格在解码侧得到相同表格，则可以是固定的表格，也可是对应于之前的编码履历进行更新的可变概率表格。因为通常相同的被摄体连续出现，所以通过如此使用(基于周边像素的)周边状况，能更高精度表现编码对象符号的发生概率，能使算术编码中的编码效率提高。另外，上述实例中将邻接的3个像素设定为第3参考像素，但能通过使用更多的周边像素的信息来更高精度预测发生概率。作为另一方法，有将被摄体映像转换为树构造信息后编码的方法。具体地，使用以块blk为根、使分割了母节点(根)的块的多个子块对应于各节点的子节点的树构造。通过使用这种树构造，能闻效表现统一存在的单一被摄体的像素集合，能使编码效率提闻。作为树构造,能使用任意的定义的构造。例如，对各节点附加表示对应于该节点的块内的全部像素的被摄体识别符是否相同的二进制信息，作为子节点，在被摄体识别符全部相同的情况下，生成持有该被摄体识别符的序号的叶(leaf)，在被摄体识别符不全部相同的情况下，定义对应于将自身块4分割后生成的子块的4个节点后，生成树构造的信息。另外，在对应的块构成I像素的情况下，能省略表示全部像素的被摄体识别符是否相同的二进制信息的节点。对图5的被摄体映像，在图7中示出以上方法生成的树构造。图7中，对于各节点，在对应于该节点的块内全部像素的被摄体识别符相同的情况下，附加二进制信息“1”，否则，附加二进制信息“O”。作为其他定义，还有如下方法，即对于各节点，在对应于该节点的块内全部像素的被摄体识别符相同的情况下，赋予向该被摄体识别符的序号加I的数作为信息，否则，赋予O作为信息，仅对赋予信息O的节点定义对4分割该块的子块的子节点。对图5的被摄体映像，在图8中示出由该方法生成的树构造。当编码生成的树时，对树进行深度优先探索、或宽度优先探索后扫描，按扫描顺序编码各节点持有的信息。深度优先探索是从构成探索对象的树的最初节点深度延伸至看到目的节点或不是子的节点，之后返回到最近的探索未终止的节点的探索。另一方面，宽度优先探索是持有从深度浅的点(从顶点追寻的节点数少的点)开始顺序、或从位于左侧的顶点开始顺序的规则的探索。也能分叶与叶以外来编码。图1通过树的深度优先探索扫描的结果数列为01001000222110221201011000011111。若以叶与叶以外来对其划分，则叶为0002221221201000111，叶以外为0101010011011。图8通过树的深度优先探索扫描的结果数列为0101013332033230120111222。数列既可原样二进制化后作为代码数据，也可对应于邻接像素中的被摄体识别符的状况，边切换概率表格边算术编码。例如，在编码图7的叶以外的情况下，有如下方法，即调查邻接于对应于各节点的块的像素的被摄体识别符，对应于对像素数最多的被摄体识别符的像素数，切换概率表格。另外，在编码图7的叶的情况下，有如下方法，即对应于邻接于与各节点对应的块的像素的被摄体识别符的状况来切换概率表格。另外，只要概率表格在解码侧得到相同表格，则既可是固定的，也可是对应于之前的编码履历进行更新的可变概率表格。若被摄体映像的编码终止，则接着预测图像生成部107使用被摄体映像与被摄体像素值，生成对块blk的预测图像(步骤S107)。具体地，通过对各像素分配对应于由被摄体映像得到的被摄体识别符的被摄体像素值，生成预测图像。对于上述制作的预测图像，也可进一步施加抖动(7 ^吁)。因为使用被摄体映像与被摄体像素值的预测图像中仅存在与被摄体数相同数量的像素值，所以是具有与自然像不同性质的图像。因此，通过施加抖动(使存在的像素值组合后，表现整体图像中中间的像素值)，能提供更接近自然像的变化。

虽然抖动生成中能使用任意方法，但必需解码侧能发生相同的信息。因此，在必需附加息的情况下，必需编码该附加息。若得到预测图像，则图像信号编码部108预测编码对块blk的图像信号(步骤S108)。编码中也可使用任意方法。在MPEG — 2或H.264/AVC等的一般编码中，通过对块blk的图像信号与预测图像的差分信号顺序实施DCT等频率转换、量化、2进制化、熵编码来进行编码。接着，图像信号解码部109使用作为编码结果得到的代码数据与预测图像，解码对块blk的图像信号，并将解码结果积存在解码图像存储器110中(步骤S109)。这里，使用对应于编码时使用的手法之手法来解码代码数据。例如，若是MPEG -2或H.264/AVC等的一般编码，则对代码数据顺序实施熵解码、逆2进制化、逆量化、IDCT等频率逆转换，对得到的2维信号施加预测信号，最后在像素值的值域进行削波，解码图像信号。解码得到的图像信号用于编码其他块时、生成或预测被摄体数或被摄体像素值。最后，多路复用部111多路复用被摄体映像的代码数据与图像信号的代码数据后输出(步骤S110)。这里对每个块进行多路复用，但也可以帧单位来多路复用。此时，解码侧必需在缓冲I帧大小的代码数据后解码。另外，第I实施方式中分析块blk的周边像素的像素值后设定被摄体数与被摄体像素值双方，但也可分析块blk的周边像素的像素值双方后仅设定任一方。此时，未设定一方的信息在分析块blk的像素值后设定，编码设定的信息，将该代码数据与被摄体映像的代码数据与图像信号的代码数据一起多路复用后输出。图9中示出分析块blk的周边像素的像素值后仅设定被摄体数、编码被摄体像素值时的图像编码装置的框图。图9所示的图像编码装置10(V与图1所示的图像编码装置100的不同之处在于具有编码被摄体像素值设定部104设定的各被摄体的被摄体像素值的被摄体像素值编码部112，将被摄体像素值编码部112编码的被摄体像素值的代码数据作为附加信息，由多路复用部111多路复用。其他构成与图1所示的图像编码装置100 —样。〔第2实施方式:图像编码装置〕
下面，说明本发明的第2实施方式。图10是表示本发明第2实施方式的图像编码装置的构成例的框图。图像编码装置200如图10所示，具备编码对象帧输入部201、编码对象帧存储器202、被摄体数设定部203、被摄体像素值设定部204、被摄体映像生成部205、被摄体数预测部206、被摄体数编码部207、被摄体映像编码部208、被摄体像素值预测部209、被摄体像素值编码部210、预测图像生成部211、图像信号编码部212、图像信号解码部213、解码图像存储器214、和多路复用部215。编码对象帧输入部201输入构成编码对象的图像帧。编码对象帧存储器202积存输入的编码对象帧。被摄体数设定部203设定预定大小的处理区域中包含的被摄体数。被摄体像素值设定部204假定为处理区域中存在提供的数量的被摄体，使用对处理区域的输入帧的像素值，对每个被摄体设定代表被摄体的像素值。将代表对该处理区域的每个被摄体生成的被摄体的像素值称为被摄体像素值。被摄体映像生成部205生成被摄体映像，该被摄体映像表示识别处理区域内各像素中被撮影的被摄体的信息。被摄体数预测部206设定处理区域中包含的被摄体数的预测值。将该被摄体数的预测值称为预测被摄体数。被摄体数编码部207使用预测被摄体数来编码被摄体数。被摄体映像编码部208编码被摄体映像。被摄体像素值预测部209假定为处理区域中存在提供的数量的被摄体，使用处理区域周边的解码图像，设定被摄体像素值的预测值。将该被摄体像素值的预测值称为预测被摄体像素值。被摄体像素值编码部210使用预测被摄体像素值来编码被摄体像素值。预测图像生成部211由对处理区域生成的被摄体像素值与被摄体映像，生成对处理区域的预测图像。图像信号编码部212对每个处理区域，使用预测图像，对编码对象帧的图像信号进行编码。图像信号解码部213对每个处理区域使用预测图像，解码编码对象帧的图像信号的代码数据。解码图像存储器214积存解码的图像信号。多路复用部215多路复用被摄体数的代码数据、被摄体映像的代码数据、被摄体像素值的代码数据、与编码对象帧的图像信号的代码数据后输出。图11是用于说明基于第2实施方式的图像编码装置200的动作的流程图。根据该流程图来详细说明图像编码装置200执行的处理。首先，由编码对象帧输入部201输入编码对象帧，并存储在编码对象帧存储器202中(步骤S201)。一旦编码对象帧的存储终止，则分割编码对象帧，按每个该区域，对编码对象帧的图像信号进行编码(步骤S202 S216)。即，若以blk表示编码对象块索弓丨、以numBlks表示总编码对象块数，则以O来初始化blk (步骤S202)，之后，边向blk加I (步骤S215)，边重复以下处理(步骤S203 S214)，直到 blk 变为 numBlks (步骤 S216)。在对每个编码对象块重复的处理中，首先，被摄体数设定部203设定块blk中包含的被摄体的数numObjs (步骤S203)。若是与解码侧相同的处理，则被摄体数也可使用任意处理来决定。例如有根据编码对象块的像素值来设定被摄体数的方法。具体地，有如下方法，即对编码对象块的像素，使用k 一 means法或共鸣传播(Affinity Propagation)等分组手法,将各组内的像素值离散为预定值以下的分组结果中最小的组数设为被摄体数。作为分组中使用的尺度，既可仅使用像素值，也可使用由像素值与像素位置构成的值。作为其他方法，有如下方法，即对每个被摄体数候补计算设定该被摄体数后编码时的代码量与失真量的加权和提供的比率失真成本，设定该成本最小的被摄体数。另外，因为有时若被摄体数变大，则编码效率下降，所以也可预定被摄体数的最大值，防止被摄体数为一定值以上。若被摄体数的设定终止，则接着，被摄体数预测部206使用解码图像存储器214中积存的对块blk的周边像素群的图像信号，生成块blk的预测被摄体数(步骤S204)。将这里使用的解码图像存储器214中积存的块blk的周边像素的集合称为第I参
考像素。这里的处理除求出的值为预测被摄体数以外，与第I实施方式的步骤S103中设定被摄体数的处理相同，在第I参考像素的选择方式或由对第I参考像素的像素值设定预测被摄体数的方法中，若是与解码侧相同的处理，则无妨使用任意方法。若求出预测被摄体数，则被摄体数预测部206使用预测被摄体数，预测编码被摄体数(步骤S205)。即，编码被摄体数与预测被摄体数的差分值。编码中无妨使用任意手法。例如，也可准备代码表格，以输出对应于差分值的码字的形式进行编码。通常，认为被摄体持有某种程度的大小，在空间上连续存在，所以认为某个区域中的被摄体数与周边区域中的被摄体数具有高的相关。因此，通过将周边区域中的被摄体数作为预测值，编码某个区域中的被摄体数，能以少的代码量编码被摄体数。另外，在准备上述代码表格的情况下，通过将O附近的码长设定得短，能实现利用相关的闻效编码。接着,被摄体像素值设定部204对块blk内的每个被摄体设定代表被摄体的像素值(步骤S206)。下面，将该代表被摄体的像素值称为被摄体像素值，表示为Value (i)。这里，i为用于识别被摄体的被摄体识别符，为O以上不足numObjs的整数。另外，被摄体识别符根据预定的规则来分配。这里，设被摄体像素值按从小到大的顺序分配。在对每个被摄体设定I个像素值的方法中，无妨使用任意方法。例如，有如下方法，即使用上述分组手法，将块blk的像素分割成numObjs个组，将各组中包含的像素的像素值的平均值或中央值设为被摄体像素值。当设定被摄体数时，在分组块blk的像素的情况下，无妨与被摄体数的设定同时设定被摄体像素值。若得到被摄体像素值，则接着被摄体像素值预测部209使用解码图像存储器214中积存的对块blk的周边像素群的图像信号，生成numObjs个预测被摄体像素值(步骤S207)。下面，将预测被摄体像素值表示为PredValUe( j)。设索引值j按照与将被摄体识别符分配给被摄体像素值的规则相同的规则分配给预测被摄体像素值。即，在按被摄体像素值从小到大的顺序分配被摄体识别符的情况下，按预测被摄体像素值从小到大的顺序分配索引值。另外，将这里使用的解码图像存储器214中积存的块blk的周边像素的集合称为第2参考像素。这里的处理除求出的值为预测被摄体像素值以外，与第I实施方式中的步骤S103中决定被摄体像素值的处理相同，在第2参考像素的选择方式或由对第2参考像素的像素值设定预测被摄体像素值的方法中，若是与解码侧相同的处理，则无妨使用任意方法。若求出预测被摄体像素值，则被摄体像素值编码部210使用预测被摄体像素值，预测编码被摄体像素值(步骤S208)。编码中无妨使用任意手法。例如，在编码对应于某个被摄体识别符的被摄体像素值的情况下，无妨参照代码表格来编码与索引值中持有相同值的预测被摄体像素值的差分值。另外，不仅原样编码差分值，也可编码根据单独提供的量化参数量化差分值的结果值。此时，虽然必需单独编码量化参数，但在通用其他场所使用的量化参数的情况下，不必在这里改变后编码。作为其他方法，还有不仅使用预测被摄体像素值、还使用以块blk事先编码的被摄体像素值来预测编码的方法。下面，以按被摄体像素值从小到大的顺序编码的情况为例进行说明。另外，被摄体识别符i或索引值j按被摄体像素值或预测被摄体像素值从小到大的顺序赋予。首先，预测编码被摄体识别符为O的被摄体像素值，作为预测值为索引值O的预测被摄体像素值。即，编码Value (O) 一 PredValue (O)的值。接着，解码后得到解码被摄体像素值DecValUe(0)。另外，在量化所述预测差分后编码等存在失真编码的情况下，DecValue与Value不一致，但在无失真编码预测差分的情况下，DecValue与Value完全一致，所以不必进行解码处理。接着，被摄体识别符为k的被摄体像素值按k从小到大的顺序编码。另外，k是I以上不足numObjs的整数。
在被摄体识别符k的被摄体像素值的编码中，求出最初与DecValue (k — I)的差为预定阈值以上的最小预测被摄体像素值的索引值，设为j (k)。这里，若设j (0)=0，则在求j (k)的情况下，j (k)为j (k 一 I)以上不足numObjs的整数(其中，k为I以上不足numObjs的整数)。若求出j (k),则将PredValue (j (k))作为预测值,预测编码Value (k)。另外，在未求出j (k)的情况下,将 DecValue (k 一 I)与 PredValue (numObjs —I)中大的一方作为预测值，预测编码Value (k)。此时，也有将最接近Value (k — I)与PredValueCnumObjs 一 I)中大的一方同像素值的最大值(在由8比特表现的情况下为255)的中间值之整数设为预测值的方法。代码数据在解码下一被摄体像素值之前解码，计算DecValue (k)。通常，被摄体持有某种程度的大小，在空间中连续存在，因为像素值极大地依赖于被摄体，所以认为某个区域中的被摄体像素值与周边区域中的被摄体像素值存在高的相关。因此，通过将周边区域中的被摄体像素值作为预测值，编码某个区域中的被摄体像素值，能以少的代码量编码被摄体像素值。若被摄体像素值的编码终止，则接着，被摄体映像生成部205对块blk生成被摄体映像(步骤S209)。这里的处理与第I实施方式的步骤S105相同。另外，在被摄体像素值的编码中进行使用量化等有失真编码时，代替被摄体像素值，使用解码编码后的被摄体像素值所得到的解码被摄体像素值。即，在使用进行了有失真编码的被摄体像素值的情况下，将被摄体像素值编码部的输出输入单独设置的被摄体像素值解码部等，将其输出输入被摄体映像生成部或后述的预测图像生成部。接着，由被摄体映像编码部208编码生成的被摄体映像(步骤S210)。这里的处理与第I实施方式的步骤S106相同，编码中无妨使用任意方法。接着，预测图像生成部211使用被摄体映像与被摄体像素值，生成对块blk的预测图像(步骤S211)。这里的处理与第I实施方式的步骤S107相同。另外，在被摄体像素值的编码中进行使用量化等有失真编码时，代替被摄体像素值，使用解码编码后的被摄体像素值所得到的解码被摄体像素值。若得到预测图像，则图像信号编码部212预测编码对块blk的图像信号(步骤S212)。这里的处理与第I实施方式的步骤S108相同，编码中无妨使用任意方法。接着，图像信号解码部213使用作为编码结果得到的代码数据与预测图像，解码对块blk的图像信号，并将解码结果积存在解码图像存储器214中(步骤S213)。将解码所得到的图像信号用于编码其他块时生成或预测被摄体数或被摄体像素值。这里的处理与第I实施方式的步骤S109相同，使用对应于编码时使用的手法的手法来解码代码数据。最后，多路复用部215多路复用被摄体数的代码数据、被摄体像素值的代码数据、被摄体映像的代码数据与图像信号的代码数据后输出(步骤S214)。这里对每个块进行多路复用，但无妨以帧单位来多路复用。但是，此时，解码侧必需在缓冲I帧大小的代码数据后解码。第2实施方式中，在被摄体映像生成前编码被摄体像素值，但在被摄体映像中未出现全部被摄体识别符的情况下，通过在被摄体映像生成后编码被摄体像素值、或在每次生成被摄体映像时再编码被摄体像素值，能进一步削减代码量。即，通过仅将对被摄体映像中出现的被摄体识别符的被摄体像素值包含在输出的代码数据中，能削减不必解码的被摄体像素值的代码量。在被摄体像素值的编码中进行有失真编码的情况下，无妨控制成再编码前后解码得到的被摄体像素值的值相同，或使用再编码结果再次生成被摄体映像。在该第2实施方式中，对被摄体数与被摄体像素值双方分析块blk的周边像素的像素值，设定预测被摄体数与预测被摄体像素值后进行预测编码，但无妨仅预测编码任一方。此时，未预测编码的信息也可如第I实施方式那样生成为不必编码的信息，或不生成预测值而原样编码。〔第3实施方式:图像解码装置)
下面，说明本发明的第3实施方式。图12是表示第3实施方式的图像解码装置的构成例的框图。图像解码装置300如图12所示，具备代码数据输入部301、代码数据存储器302、分离部303、被摄体数设定部304、被摄体像素值设定部305、被摄体映像解码部306、预测图像生成部307、图像信号解码部308、和解码图像存储器309。代码数据输入部301输入构成解码对象的图像帧的代码数据。代码数据存储器302积存输入的代码数据。分离部303将多路复用的代码数据分离成多个编码不同信息的代码数据。被摄体数设定部304设定预测大小的处理区域中包含的被摄体数。被摄体像素值设定部305假定为处理区域中存在提供的数量的被摄体，使用处理区域周边的解码图像，对每个被摄体设定代表被摄体的像素值。将对处理区域的每个被摄体生成的代表被摄体的像素值称为被摄体像素值。被摄体映像解码部306从代码数据解码被摄体映像。所谓被摄体映像是用于识别处理区域的各像素中的被摄体的信息。预测图像生成部307对处理区域，由被摄体像素值与被摄体映像生成对处理区域的预测图像。图像信号解码部308对每个处理区域，使用预测图像，从代码数据对解码对象帧的图像信号进行解码。解码图像存储器309积存解码的图像/[目号。图13是用于说明基于第3实施方式的图像解码装置300的动作的流程图。根据该流程图，详细说明图像解码装置300执行的处理。首先，由代码数据输入部301输入对解码对象帧的代码数据，并存储在代码数据存储器302中(步骤S301)。若代码数据的存储终止，则分割解码对象帧，按每个该区域对解码对象帧的图像信号进行解码(步骤S302 S310)。即，若以blk表示解码对象块索引、以numBlks表示总解码对象块数,则由O来初始化blk (步骤S302)，之后，边向blk加I (步骤S309)，边重复以下的处理(步骤S303 S308)，直到 blk 为 numBlks (步骤 S310)。
在对每个解码对象块重复的处理中，首先由分离部303将输入的代码数据分离为多个信息的代码数据(步骤S303)。在第3实施方式中，以按块单位交织多个信息的代码数据的(对每个块顺序存储各信息的代码数据的)实例来进行说明，但在按帧等不同单位交织的情况下，不必按块单位重复该代码数据的分离。接着，被摄体数设定部304使用解码图像存储器309中积存的对块blk的周边像素群的图像信号，设定块blk中包含的被摄体数numObjs (步骤S304)。将这里使用的解码图像存储器309中积存的块blk的周边像素的集合称为第I参考像素。这里的处理与第I实施方式的步骤S103相同，在该第I参考像素的选择方式或由对第I参考像素的像素值设定numObjs的方法中，若是与编码侧相同的处理，则无妨使用任意方法。作为第I参考像素的选择方式，例如既可作为存在预定位置关系的像素群，也可对帧或块群等每个单位编码表示选择方式的信息，与其他代码数据一起输入图像解码装置300。此时，必需在适当的定时由分离部303分离的代码数据的一部分对帧或块群等每个单位解码表示选择方式的信息，将解码结果通知给被摄体数设定部304。若被摄体数的设定终止，则接着，被摄体像素值设定部305使用解码图像存储器309中积存的对块blk的周边像素群的图像信号，对块blk内的每个被摄体设定代表被摄体的像素值(步骤S305)。下面，将代表该被摄体的像素值称为被摄体像素值，表示为Value (i)。这里，i是用于识别被摄体的被摄体识别符，是O以上不足numObjs的整数。被摄体识别符按照预定的规则来分配。这里，设被摄体像素值按从小到大的顺序分配。另外，将这里使用的解码图像存储器309中积存的块blk的周边像素的集合称为第2参考像素。这里的处理与第I实施方式的步骤S104的处理相同，在第2参考像素的选择方式或使用对第2参考像素的像素值来决定被摄体像素值的方法中，若是与编码侧相同的处理，则无妨使用任意方法。接着，被摄体映像解码部306由分离的代码数据来解码被摄体映像(步骤S306)。被摄体映像的解码对应于编码时使用的方法而不同。例如，有时对应于被摄体数，向各被摄体识别符分配固定长或可变长的代码，使用光栅扫描或曲折扫描等，将2维映像信息转换为I维二进制数据来编码。此时，顺序扫描作为代码数据提供的I维二进制数据，每当发现对应的被摄体识别符，则通过光栅扫描或曲折扫描等，按与编码时相同的顺序，对每个像素分配被摄体识别符来进行解码。作为其他方法，当边按预定顺序扫描边编码对块blk内各像素的被摄体识别符时，有时对各像素将周围已编码完的像素设定为参考像素，对应于该参考像素的被摄体识别符，边使概率表格变化边进行算术编码。在这种情况下，按与使用的扫描顺序同样的顺序，对每个像素，将周围已解码完的像素设定为参考像素，对应于该像素的被摄体识别符，边使概率表格变化边进行算术解码。概率表格的数或初始值、更新方法、设定方法能通过使用与编码时相同的手法来正确进行解码。
作为另一方法，有时使用树构造的数据来编码被摄体映像。此时，也能通过使用对应于编码时的方法的方法，从代码数据解码被摄体映像。在由提供的代码数据经树构造数据解码被摄体映像的处理中，首先由代码数据的二进制串来解码表示树构造数据的数列。由二进制串解码树构造数据数列中必需使用对应于编码时使用的方法的方法。例如，在进行使用可变概率表格的算术编码的情况下，边以与编码时相同的方法更新概率表格，边从代码数据解码非压缩的二进制串。非压缩的二进制串参照与编码时使用的相同的固定长或可变长表格，进行逆转换，解码编码前的数列。若能解码表示树构造数据的数列，则解读该数列后构筑树构造的数据。这里，必需进行与编码时由树构造生成数列相反的转换。树构造的定义也必需与编码侧共享。例如，定义树构造，以块blk为根，各节点持有O numObjs的数字，分配O的节点持有4个子节点，在以深度优先探索扫描树并生成数列的情况下、提供数列0100133332033231020232222的情况下，复原图14的树。若得到树构造数据，则由此复原被摄体映像。该复原中必需与编码侧共享树构造的定义，使用该定义来进行复原。例如，树的根呈现块blk整体，子节点对应于能纵横2等分母节点的4个子块(光栅扫描顺序)，从向各节点分配的O以外的数字减去I的数表示对应块中包含的全部像素的被摄体识别符的情况下，能从图14的树解码图15的被摄体映像。这里所示的树构造或数列的定义等是一例，若能与编码侧共享定义，则无妨使用任意方法。若被摄体映像的解码终止，则接着，预测图像生成部307生成对块blk的预测图像(步骤S307)。这里的处理与第I实施方式的步骤S107相同。也可对上述制作的预测图像进一步施加抖动。在使用被摄体映像与被摄体像素值的预测图像中，因为仅存在与被摄体数相同数量的像素值，所以为具有与自然像不同性质的图像。因此，能通过施加抖动来提供接近自然像的变化。抖动生成中能使用任意方法，但包含是否施加抖动，必需使用与编码侧相同的手法。另外，在代码数据中包含抖动生成装置的初始化等所需的附加信息的情况下，对其进行解码后使用。若得到预测图像，则图像信号解码部308解码对块blk的图像信号，在输出解码结果的图像信号的同时，积存在解码图像存储器309中(步骤S308)。图像信号的解码对应于编码时使用的方法而不同。例如在使用MPEG — 2或H.264/AVC等一般的编码的情况下，通过对代码数据进行熵解码、逆2进制化、逆量化、IDCT等频率逆转换，解码预测残差，并向该结果施加预测图像，复原块blk的图像信号。解码得到的图像信号用于当解码其他块时生成或预测被摄体数或被摄体像素值。另外，在第3实施方式中，被摄体数与被摄体像素值双方在分析块blk的周边像素的像素值后设定，但也可仅任一方在分析块blk的周边像素的像素值后设定。此时，设未设定一方的信息作为代码数据的一部分编码后输入。即，通过由分离部303分离对未设定一方数据的代码数据并解码，设定必要的信息。
图16中示出分析块blk的周边像素的像素值后仅设定被摄体数、从代码数据解码被摄体像素值后设定时的图像解码装置的框图。图16所示的图像解码装置30(V与图12所示的图像解码装置300的不同之处在于具有被摄体像素值解码部310来代替被摄体像素值设定部305，被摄体像素值解码部310由分离部303分离的被摄体像素值的代码数据来解码各被摄体的被摄体像素值。其他构成与图12所示的图像解码装置300 —样。〔第4实施方式:图像解码装置〕
下面，说明本发明的第4实施方式。图17是表示第4实施方式的图像解码装置的构成例的框图。图像解码装置400如图17所示，具备代码数据输入部401、代码数据存储器402、分离部403、被摄体数预测部404、被摄体数解码部405、被摄体映像解码部406、被摄体像素值预测部407、被摄体像素值解码部408、预测图像生成部409、图像信号解码部410、和解码图像存储器411。代码数据输入部401输入构成解码对象的图像帧的代码数据。代码数据存储器402积存输入的代码数据。分离部403将多路复用的代码数据分离为多个编码不同信息的代码数据。被摄体数预测部404设定预定大小的处理区域中包含的被摄体数的预测值。将该被摄体数的预测值称为预测被摄体数。被摄体数解码部405对每个处理区域使用预测被摄体数，从代码数据解码处理区域中包含的被摄体数。被摄体映像解码部406从代码数据解码被摄体映像。所谓被摄体映像是用于识别处理区域的各像素的被摄体的信息。被摄体像素值预测部407假定为处理区域中存在提供的数量的被摄体，使用处理区域周边的解码图像，设定被摄体像素值的预测值。将该被摄体像素值的预测值称为预测被摄体像素值。被摄体像素值解码部408对每个处理区域使用预测被摄体像素值，从代码数据解码被摄体像素值。预测图像生成部409对处理区域，由被摄体像素值与被摄体映像，生成对处理区域的预测图像。图像信号解码部410对每个处理区域，使用预测图像，从代码数据对解码对象帧的图像信号进行解码。解码图像存储器411积存解码的图像信号。图18是用于说明基于第4实施方式的图像解码装置400的动作的流程图。根据该流程图来详细说明图像解码装置400执行的处理。首先，代码数据输入部401输入对解码对象帧的代码数据，存储在代码数据存储器402中(步骤S401)。若代码数据的存储终止，则分割解码对象帧，按每个该区域对解码对象帧的图像信号进行解码(步骤S402 S412)。即,若由blk表示解码对象块索引、由numBlks表示总解码对象块数，则由O来初始化blk (步骤S402)，之后，边向blk加I (步骤S411)，边重复以下的处理(步骤S403 S410)，直到 blk 为 numBlks (步骤 S412)。在对每个解码对象块重复的处理中，首先分离部403将输入的代码数据分离为多个信息代码数据(步骤S403)。在第4实施方式中，说明以块单位交织多个信息代码数据的实例，但在以帧等不同单位交织的情况下，不必以块单位来重复该代码数据的分离。接着，被摄体数预测部404使用解码图像存储器411中积存的对块blk的周边像素群的图像信号，生成对块blk的预测被摄体数(步骤S404)。将这里使用的解码图像存储器411中积存的块blk的周边像素的集合称为第I参考像素。这里的处理与第2实施方式的步骤S204相同，在该第I参考像素的选择方式或由对第I参考像素的像素值来设定预测被摄体数的方法中，若是与编码侧相同的处理，则无妨使用任意方法。若预测被摄体数的生成终止，则接着，被摄体数解码部405由代码数据使用预测被摄体数解码被摄体数(步骤S405)。这里使用的解码方法对应于编码时使用的方法而不同。例如，在代码数据是对应于被摄体数与预测被摄体数的差分值的值之某个代码表格上的码字的情况下，使用同一代码表格，找到持有对应于代码数据的码字的差分值，向该值加上预测被摄体数，从而解码被摄体数。接着，被摄体映像解码部406由分离的代码数据来解码被摄体映像(步骤S406)。被摄体映像的解码对应于编码时使用的方法而不同。另外，这里的处理与第3实施方式的步骤S306的处理相同。接着，被摄体像素值预测部407使用解码图像存储器411中积存的对块blk的周边像素群的图像信号，生成与被摄体数相同数量的预测被摄体像素值(步骤S407)。另外，将这里使用的解码图像存储器411中积存的块blk的周边像素的集合称为第2参考像素。这里的处理与第2实施方式中的步骤S207的处理相同，在第2参考像素的选择方式或由对第2参考像素的像素值来设定预测被摄体像素值的方法中，若是与编码侧相同的处理，则无妨使用任意方法。若预测被摄体像素值的生成终止，则接着，被摄体像素值解码部408由代码数据使用预测被摄体像素值解码被摄体像素值(步骤S408 )。这里使用的解码方法对应于编码时使用的方法而不同。下面例举几个实例，但使用何手法来编码在解码侧已知，或使用任何附加信息来通知。例如，分别按从小到大的顺序排列被摄体像素值与预测被摄体像素值，制作对，对各个对计算从被摄体像素值减去预测被摄体像素值的差分值，使用对应于该差分值的某个代码表格上的码字制作代码数据的情况下，通过使用相同的代码表格，发现持有对应于代码数据的码字的差分值，向该差分值加上预测被摄体像素值，顺序解码被摄体像素值。另外，在不原样编码差分值、量化差分值后编码的情况下，在逆量化后加上预测被摄体像素值后进行解码处理。在编码量化参数的情况下，必需先解码量化参数。在通用其他场所使用的量化参数的情况下，必需先将该参数值通知被摄体像素值解码部408。
另外，作为其他方法，使用不仅使用预测被摄体像素值、还使用以块blk在先编码的被摄体像素值来预测编码的方法。此时，必需通过以与编码侧进行的步骤同样的方法来生成预测编码时的预测值，加上由代码数据得到的差分值，解码被摄体像素值。作为另一实例，有时不编码对被摄体映像中I次都未出现的被摄体识别符的被摄体像素值。此时，当依次解码被摄体像素值时，在变为解码对被摄体映像中I次都未出现的被摄体识别符的被摄体像素值的顺序时，必需分配适当的值，跳过解码。若被摄体像素值的解码终止，则接着预测图像生成部409生成对块blk的预测图像(步骤S409)。这里的处理与第2实施方式的步骤S211相同。对于上述制作的预测图像，也可进一步施加抖动。在使用被摄体映像与被摄体像素值的预测图像中，因为仅存在与被摄体数相同数量的的像素值，所以为具有与自然像不同性质的图像。因此，通过施加抖动，能提供更接近自然像的变化。抖动生成中能使用任意方法，但必需包含是否施加抖动，使用与编码侧相同的手法。另外，在代码数据中包含抖动生成装置的初始化等所需的附加信息的情况下，对其进行解码后使用。若得到预测图像，则图像信号解码部410解码对块blk的图像信号，在输出解码结果的图像信号的同时，积存在解码图像存储器411中(步骤S410)。解码得到的图像信号用于在解码其他块时、生成或预测被摄体数或被摄体像素值。图像信号的解码对应于编码时使用的方法而不同。例如在使用MPEG — 2、H.264/AVC等一般编码的情况下，通过对代码数据进行熵解码、逆2进制化、逆量化、IDCT等频率逆转换，解码预测残差，对该结果加上预测图像，由此复原块blk的图像信号。第4实施方式中，对被摄体数与被摄体像素值双方分析块blk的周边像素的像素值，设定预测被摄体数与预测被摄体像素值后解码，但也可仅其中一方使用分析块blk的周边像素的像素值后设定的预测值来解码，未设定预测值的一方的信息与第3实施方式一样，不使用预测值而由代码数据直接解码该信息。图19中示出上述第I实施方式生成的代码数据和第3实施方式输入的代码数据的每个块的语法一例。这里，mb — type是表示预测模式的信息,是用于在H.264/AVC等巾贞内预测等混合存在的情况下、判别是否由本发明编码的块的信息。本例中，在mb —type与MAP —BASED — PRED相等的情况下，表示是由本发明编码的块。另外，在全部块适用本发明的情况下，也不必语法mb —type与之后的条件分支。另外，map —object表示被摄体映像，residuals表示图像信号的预测残差。本例中,将residuals放入if块中,但在无论预测模式如何均编码残差信号的情况下，也可在if块之外。图20中示出上述第2实施方式生成的代码数据和第4实施方式输入的代码数据的每个块的语法一例。这里,diff — num —objects表示被摄体数的预测残差,num —objects表示被摄体数，exist (i, j)表示在被摄体映像j内存在被摄体识别符i的情况下返回TRUE、否则返回FALSE的函数，residual — value —object [i]表示被摄体识别符为i的被摄体像素值的预测残差。
本例中，residuals在if块之外，但在未由预测模式编码残差信号的情况下，必需放入if块内。接着，说明本实施方式中用于管理被摄体数、被摄体映像、被摄体像素值的数据构造实例。图21A、21B是表示预测图像生成中使用的附加信息的数据构造实例的图。在使用被摄体像素值的预测编码中，存储器内管理例如图21A所示的附加信息。作为该附加信息，设定被摄体数、被摄体映像、与各被摄体识别符的被摄体像素值。被摄体数N是整数。被摄体映像是与块内像素数相同长度的I N的整数列。被摄体像素值在无预测的情况下是无代码整数，在有预测的情况下是附带代码整数(考虑负数)。图21B表示附加信息的具体例。虽然被摄体数为4，但被摄体映像一个都不存在被摄体识别符为2的像素。因此，省略对应于被摄体识别符2的被摄体像素值的数据。另外，也可保持被摄体映像作为由树构造表现的树构造被摄体映像。树构造被摄体映像是可变长整数列，例如在图8的树构造被摄体映像的情况下，为0101013332033230120111222 的整数列。另外，也可将被摄体映像分为块分割信息与块内被摄体识别符信息来管理。块分割信息表示使用树构造被摄体映像时扫描叶以外的节点的结果，块内被摄体识别符信息表示使用树构造被摄体映像时扫描叶的结果。例如在图7的树构造被摄体映像的情况下，块分割信息为0101010011011，块内被摄体识别符信息为0002221221201000111。图22A、22B是表示预测附加信息的数据构造实例的图。在本实施方式中，因为使用预测值来编码被摄体数或被摄体像素值，所以生成图22A所示的预测附加信息。被摄体数预测值是整数，被摄体像素值预测值是与输入图像相同位深度的无代码整数。图22B表示其具体例，被摄体数预测值为2，被摄体识别符0、1、2的被摄体像素值预测值分别为25、123、191。根据以上信息对各编码对象块进行编码。下面，说明由各块编码的数据构造实例。[编码的数据构造的例I]
图23A、23B是表示由各块编码的数据构造例I的图。本例是第I实施方式、第3实施方式中使用的实例。作为向代码数据的附加信息，如图23A所示，设定表示预测模式的信息mb —type、被摄体映像与预测残差信号。图23B中示出其具体例。在使用本发明进行图像预测的情况下，表示预测模式的信息 mb — type 为 MAP — BASED — PRED。[编码的数据构造的例2]
图24A、24B表示由各块编码的数据构造例2的图。本例是仅编码被摄体数的数据时的实例。作为向代码数据的附加信息，如图24A所示，设定表示预测模式的信息mb —type、被摄体映像、各被摄体的被摄体像素值预测差分值与预测残差信号。被摄体像素值预测差分值是附带代码整数，为向输入图像的位深度加I位后的位深度。图24B中示出其具体例。对各被摄体识别符O、1、2设定一 2、+ 3、+ 10的被摄体像素值预测差分值。[编码的数据构造的例3]
图25A、25B是表示由各块编码的数据构造例3的图。本例是第2实施方式、第4实施方式中使用的实例。作为向代码数据的附加信息，如图25A所示，设定表示预测模式的信息mb —type、被摄体数预测差分值、树构造被摄体映像、各被摄体的被摄体像素值预测差分值与预测残
差 目号。图25Β中示出其具体例。本例中，被摄体映像以树构造表现。[编码的数据构造的例4]
图26Α、26Β是表示由各块编码的数据构造例4的图。本例是不编码被摄体数的数据、还存在未使用的被摄体识别符时的实例。作为向代码数据的附加信息，如图26Α所示，设定表示预测模式的信息mb —type、由块分割信息和块内被摄体识别符信息表现的被摄体映像、各被摄体的被摄体像素值预测差分值与预测残差信号。图26B中示出其具体例。本例中，因为不使用被摄体识别符2，所以从编码该被摄体像素值预测值的数据中省略。在上述第I 4实施方式中，说明由本发明编码和解码I帧中全部块的处理，但也可仅适用于部分块，其他块中使用H.264/AVC等使用的画面内预测编码或运动补偿预测编码等来进行编码。此时必需编码和解码表示对每个块使用何方法来编码的信息。上述第I 第4实施方式中，说明编码和解码I帧的处理，但通过重复多个帧，也能适用于动态图像编码。另外，也能仅适用于动态图像的部分帧或部分块。此时，因为被摄体的存在不仅有空间还有时间的连续性，所以能容易地类推不仅在空间方向而且还在时间方向扩展使用周边像素。以上说明的图像编码和图像解码的处理也可由计算机与软件程序来实现，也能将该程序记录在计算机可读取的记录介质中提供，也能通过网络来提供。图27中示出由计算机与软件程序构成图像编码装置时的硬件构成例。本系统构成为由总路线来连接
执行程序的CPU50 ；
存储CPU50访问的程序或数据的RAM等存储器51 ；
输入来自摄像机等的编码对象图像信号的编码对象帧输入部52 (也可是盘装置等存储图像信号的存储部);
存储让CPU50执行图1和图2等说明的处理的软件程序、 即图像编码程序531的程序存储装置53 ;和
经例如网络输出通过CPU50执行加载到存储器51的图像编码程序531所生成的多路复用代码数据的多路复用代码数据输出部54(也可是盘装置等存储多路复用代码数据的存储部)。虽然省略图示，但也可还设置被摄体数存储部、被摄体映像存储部、被摄体像素值存储部、预测图像存储部、被摄体映像代码数据存储部、图像信息代码数据存储部、解码图像存储部等硬件，用于本手法的实施。另外，还使用被摄体像素值代码数据存储部，并且还使用被摄体数代码数据存储部、被摄体数预测值存储部、被摄体像素值预测值存储部。图28中示出由计算机与软件程序构成图像解码装置时的硬件构成例。本系统构成为由总路线来连接
执行程序的CPU60 ；
存储CPU60访问的程序或数据的RAM等存储器61 ；
输入图像编码装置通过上述手法编码的多路复用代码数据的多路复用代码数据输入部62 (也可是盘装置等存储多路复用代码数据的存储部)；
存储让CPU60执行图10和图11等说明的处理的软件程序、即图像解码程序631的程序存储装置63 ;和
通过CPU60执行加载到存储器61的图像解码程序631、将解码多路复用代码数据得到的解码图像数据输出到再生装置等的解码图像数据输出部64。虽然省略图示，但也可还设置被摄体数存储部、被摄体映像存储部、被摄体像素值存储部、预测图像存储部、被摄体映像代码数据存储部、图像信息代码数据存储部等硬件，用于本手法的实施。另外，也使用被摄体像素值代码数据存储部，还使用被摄体数代码数据存储部、被摄体数预测值存储部、被摄体像素值预测值存储部。〔效果的验证〕
进行现有手法(例如H.264/AVC)与使用本发明的手法(称为本手法)的代码量比较。1.概念的代码量的比较
1.1附加信息的代码量
附加信息在现有手法中是表示边缘方向的信息，是2维适量。相反，基于本手法的附加信息是被摄体映像(二维信息)，虽然还基于条件，但在设处理块为16 X 16、被摄体数为4的情况下，位量约为64倍(其中，通过熵编码能变为约4倍左右)。1.2预测残差的代码量
边缘强的图像中，若预测图像与输入图像中物体形状大不相同，则即使将其预测残差转换为频率区域，也不能使信息高效集中到低频，预测残差的代码量非常多。S卩，与仅能直线表现的现有手法相比，能表现任意形状的本手法能减少预测残差的代码量。虽然基于对象图像或编码条件，但预测残差的代码量为约3分之I。1.3全部代码量
在一般的编码比率中，现有手法的预测残差的代码量占代码量整体的约9成。S卩，若设整体代码量为100,则附加信息为10,预测残差为90。通过本手法，若设附加信息为4倍、预测残差为1/3，则通过本手法，整体代码量能为70。2.实验例 图29中示出对某个采样图像使用本手法与现有手法编码时的发生代码量和图像品质的比较。在图29所示曲线中，纵轴的Y - PSNR表示图像的品质(单位为dB)，横轴的bitrate表示代码量(单位为bps/view)。Y 一 PSNR的值越大表示越是绮丽的图像。图29中，A曲线表示基于本手法的代码量与图像的品质的关系，B曲线表示基于现有手法的代码量与图像品质的关系。2.1作为代码量削减效果的解释(粗箭头)
从图29的曲线可知，当Y — PSNR为43dB时，现有手法(H.264/AVC)必需约650kbps的代码量，本手法必需约325kbps的代码量。由此可知在以相同品质编码的情况下，本手法能减半代码量。2.2作为品质改善效果的解释(细箭头)
从图29的曲线可知，当bitrate为400kbps时，现有手法(H.264/AVC)为约39dB的品质，本手法为约44.5dB的品质。由此可知在以相同代码量编码的情况下，本手法能改善
5.5dB画质(削减约72%的失真量)。以上参照

了本发明的实施方式，但上述实施方式不过本发明的示例，显而易见，本发明不限于上述实施方式。因此，在不脱离本发明的精神和技术范围的范围下，也可进行构成要素的追加、省略、置换等变更。产业上的可利用性
根据本发明，对于距离图像等像素值极大地依赖于被摄体、仅局部存在有限数量的被摄体的图像，在分割图像整体后对每个区域以不同方法边预测图像信号边预测编码图像的情况下，利用被摄体存在的空间的连续性，预测被摄体数或各被摄体的代表像素值。由此，能削减使用每个被摄体的代表像素值与被摄体识别信息的图像信号预测所需的附加信息之表现所需的代码量，实现高效的图像编码。标号说明:
100,200图像编码装置；101、201编码对象帧输入部；102、202编码对象帧存储器；103、203、304被摄体数设定部；104、204、305被摄体像素值设定部；105、205被摄体映像生成部；106、208被摄体映像编码部；107、211预测图像生成部；108、212图像信号编码部；109、213图像信号解码部；110、214解码图像存储器；111、215多路复用部；112、210被摄体像素值编码部；206、404被摄体数预测部；207被摄体数编码部；209,407被摄体像素值预测部；300、400图像解码装置；301、401代码数据输入部；302,402代码数据存储器；303、403分离部；306、406被摄体映像解码部；307、409预测图像生成部；308、410图像信号解码部；309、411解码图像存储器；310、408被摄体像素值解码部；405被摄体数解码部。
权利要求
1.一种图像编码方法，当传送或积存图像时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行编码，其特征在于，具有: 被摄体数预测步骤，使用对处理区域周边已编码完像素的图像信号，预测作为处理区域内存在的被摄体的数的内容的被摄体数； 被摄体像素值设定步骤，根据所述预测的被摄体数，对处理区域内存在的每个被摄体，与识别该被摄体的被摄体识别符相对应，设定代表各被摄体的一个像素值，作为被摄体像素值； 被摄体映像生成步骤，根 据处理区域内各像素的像素值与被摄体像素值，生成以被摄体识别符来表示摄影处理区域内各像素中哪个被摄体的被摄体映像； 预测图像生成步骤，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像； 被摄体映像编码步骤，编码所述被摄体映像； 被摄体像素值编码步骤，编码所述被摄体像素值；和 图像信号编码步骤，使用所述预测图像，预测编码对处理区域的图像信号。
2.一种图像编码方法，当传送或积存图像时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行编码，其特征在于，具有: 被摄体数设定步骤，设定处理区域内存在的被摄体的数，作为被摄体数； 被摄体像素值预测步骤，假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，使用对处理区域周边已编码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 被摄体映像生成步骤，根据所述预测的被摄体像素值，由处理区域内的各像素像素值生成以被摄体识别符表示摄影处理区域内各像素中哪个被摄体的被摄体映像； 预测图像生成步骤，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像； 被摄体映像编码步骤，编码所述被摄体映像；和 图像信号编码步骤，使用所述预测图像，预测编码对处理区域的图像信号。
3.一种图像编码方法，当传送或积存图像时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行编码，其特征在于，具有: 被摄体数预测步骤，使用对处理区域周边已编码完像素的图像信号，预测作为处理区域内存在的被摄体的数的内容的被摄体数； 被摄体像素值预测步骤，根据所述预测的被摄体数，使用对处理区域周边已编码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 被摄体映像生成步骤，根据所述预测的被摄体像素值，由处理区域内的各像素像素值生成以被摄体识别符表示摄影处理区域内各像素中哪个被摄体的被摄体映像； 预测图像生成步骤，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像； 被摄体映像编码步骤，编码所述被摄体映像；和 图像信号编码步骤，使用所述预测图像，预测编码对处理区域的图像信号。
4.如权利要求1所述的图像编码方法，其特征在于，还具有:被摄体数设定步骤，设定所述预测的被摄体数、与使用对处理区域内像素的图像信号设定的被摄体数之一，作为被摄体数；和 被摄体数编码步骤，在所述被摄体数设定步骤中设定使用对所述处理区域内像素的图像信号设定的被摄体数的情况下，使用所述预测的被摄体数或编码完的被摄体数来预测编码该被摄体数， 在所述被摄体像素值设定步骤中，假定存在与所述被摄体数设定步骤中设定的被摄体数相同数量的被摄体，设定所述被摄体像素值。
5.如权利要求3所述的图像编码方法，其特征在于，还具有: 被摄体数设定步骤，设定所述预测的被摄体数、与使用对处理区域内像素的图像信号设定的被摄体数之一，作为被摄体数；和 被摄体数编码步骤，在所述被摄体数设定步骤中设定使用对所述处理区域内像素的图像信号设定的被摄体数的情况下，使用所述预测的被摄体数或编码完的被摄体数来预测编码该被摄体数， 在所述被摄体像素值预测步骤中，假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，预测所述被摄体像素值。
6.如权利要求2或3所述的图像编码方法，其特征在于，还具有: 被摄体像素值设定步骤，对应于识别被摄体的被摄体识别符来设定所述预测的被摄体像素值与使用对处理区域内像素的图像信号设定的被摄体像素值之一；和 被摄体像素值编码步骤，在所述被摄体像素值设定步骤中设定使用对所述处理区域内像素的图像信号设定的被摄体像素值的情况下，使用所述预测的被摄体像素值或编码完的被摄体像素值来预测编码该被摄体像素值， 在所述被摄体映像生成步骤中，由处理区域内各像素的像素值与所述被摄体像素值设定步骤中设定的被摄体像素值，生成所述被摄体映像。
7.一种图像解码方法，当解码图像的代码数据时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行解码，其特征在于，具有: 被摄体数预测步骤，使用对处理区域周边已解码完像素的图像信号，预测作为处理区域内存在的被摄体的数的内容的被摄体数； 被摄体映像解码步骤，从所述代码数据解码以被摄体识别符表示处理区域内各像素中被撮影的被摄体的被摄体映像； 被摄体像素值解码步骤，从所述代码数据解码对每个所述被摄体识别符设定一个的被摄体像素值； 预测图像生成步骤，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像；和 图像信号解码步骤，使用所述预测图像，从所述代码数据解码对处理区域的图像信号。
8.一种图像解码方法，当解码图像的代码数据时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行解码，其特征在于，具有: 被摄体数设定步骤，设定处理区域内存在的被摄体的数，作为被摄体数； 被摄体映像解码步骤，从所述代码数据解码以被摄体识别符表示处理区域内各像素中被撮影的被摄体的被摄体映像；被摄体像素值预测步骤，假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，使用对处理区域周边已解码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 预测图像生成步骤，根据所述预测的被摄体像素值，通过根据所述被摄体映像向各像素分配被摄体像素值的值，生成对处理区域的预测图像；和 图像信号解码步骤，使用所述预测图像，从所述代码数据解码对处理区域的图像信号。
9.一种图像解码方法，当解码图像的代码数据时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行解码，其特征在于，具有: 被摄体数预测步骤，使用对处理区域周边已解码完像素的图像信号，预测作为处理区域内存在的被摄体的数的内容的被摄体数； 被摄体映像解码步骤，从所述代码数据解码以被摄体识别符表示处理区域内各像素中被撮影的被摄体的被摄体映像； 被摄体像素值预测步骤，根据所述预测的被摄体数，使用对处理区域周边已解码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 预测图像生成步骤，根据所述预测的被摄体像素值，通过根据所述被摄体映像向各像素分配被摄体像素值的值，生成对处理区域的预测图像；和 图像信号解码步骤，使用所述预测图像，从所述代码数据解码对处理区域的图像信号。
10.如权利要求7所述的图像解码方法，其特征在于，还具有: 被摄体数设定步骤，设定所述预测的被摄体数、与使用该预测的被摄体数或解码完的被摄体数从所述代码数据解码出的被摄体数之一，作为被摄体数。
11.如权利要求9所述的图像解码方法，其特征在于，还具有: 被摄体数设定步骤，设定所述预测的被摄体数、与使用该预测的被摄体数或解码完的被摄体数从所述代码数据解码出的被摄体数之一，作为被摄体数， 在所述被摄体像素值预测步骤中，假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，预测所述被摄体像素值。
12.如权利要求8或9所述的图像解码方法，其特征在于，还具有: 被摄体像素值设定步骤，设定所述预测的被摄体像素值、与使用该预测的被摄体像素值或解码完的被摄体像素值从所述代码数据解码出的被摄体像素值之一，作为被摄体像素值， 在所述预测图像生成步骤中，向各像素分配所述被摄体像素值设定步骤中设定的被摄体像素值的值。
13.一种图像编码装置，当传送或积存图像时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行编码，其特征在于，具备: 被摄体数预测单元，使用对处理区域周边已编码完像素的图像信号，预测作为处理区域内存在的被摄体的数的内容的被摄体数； 被摄体像素值设定单元，根据所述预测的被摄体数，对处理区域内存在的每个被摄体，与识别该被摄体的被摄体识别符相对应，设定代表各被摄体的一个像素值，作为被摄体像素值； 被摄体映像生成单元，根据处理区域内各像素的像素值与被摄体像素值，生成以被摄体识别符来表示摄影处理区域内各像素中哪个被摄体的被摄体映像； 预测图像生成单元，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像； 被摄体映像编码单元，编码所述被摄体映像； 被摄体像素值编码单元，编码所述被摄体像素值；和 图像信号编码单元，使用所述预测图像，预测编码对处理区域的图像信号。
14.一种图像编码装置，当传送或积存图像时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行编码，其特征在于，具备: 被摄体数设定单元，设定处理区域内存在的被摄体的数，作为被摄体数； 被摄体像素值预测单元，假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，使用对处理区域周边已编码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 被摄体映像生成单元，根据所述预测的被摄体像素值，由处理区域内的各像素像素值生成以被摄体识别符表示摄影处理区域内各像素中哪个被摄体的被摄体映像； 预测图像生成单元，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像； 被摄体映像编码单元，编码所述被摄体映像；和 图像信号编码单元，使用所述预测图像，预测编码对处理区域的图像信号。
15.一种图像编码装置，当传送或积存图像时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行编码，其特征在于，具备: 被摄体像素值预测单元，根据所述预测的被摄体数，使用对处理区域周边已编码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 被摄体映像生成单元，根据所述预测的被摄体像素值，由处理区域内的各像素像素值生成以被摄体识别符表示摄影处理区域内各像素中哪个被摄体的被摄体映像； 预测图像生成单元，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像； 被摄体映像编码单元，编码所述被摄体映像；和 图像信号编码单元，使用所述预测图像，预测编码对处理区域的图像信号。
16.如权利要求13所述的图像编码装置，其特征在于，还具有: 被摄体数设定单元，设定所述预测的被摄体数、与使用对处理区域内像素的图像信号设定的被摄体数之一，作为被摄体数；和 被摄体数编码单元，在由所述被摄体数设定单元设定使用对所述处理区域内像素的图像信号设定的被摄体数的情况下，使用所述预测的被摄体数或编码完的被摄体数来预测编码该被摄体数， 所述被摄体像素值设定单元假定存在与所述被摄体数设定单元设定的被摄体数相同数量的被摄体，设定所述被摄体像素值。
17.如权利要求15所述的图像编码装置，其特征在于，还具有: 被摄体数设定单元，设定所述预测的被摄体数、与使用对处理区域内像素的图像信号设定的被摄体数之一，作为被摄体数；和被摄体数编码单元，在所述被摄体数设定单元设定使用对所述处理区域内像素的图像信号设定的被摄体数的情况下，使用所述预测的被摄体数或编码完的被摄体数来预测编码该被摄体数， 所述被摄体像素值预测单元假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，预测所述被摄体像素值。
18.如权利要求14或15所述的图像编码装置，其特征在于，还具有: 被摄体像素值设定单元，对应于识别被摄体的被摄体识别符来设定所述预测的被摄体像素值与使用对处理区域内像素的图像信号设定的被摄体像素值之一；和 被摄体像素值编码单元，在所述被摄体像素值设定单元设定使用对所述处理区域内像素的图像信号设定的被摄体像素值的情况下，使用所述预测的被摄体像素值或编码完的被摄体像素值来预测编码该被摄体像素值， 所述被摄体映像生成单元由处理区域内各像素的像素值与所述被摄体像素值设定单元设定的被摄体像素值，生成所述被摄体映像。
19.一种图像解码装置，当解码图像的代码数据时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行解码，其特征在于，具备: 被摄体数预测单元，使用对处理区域周边已解码完像素的图像信号，预测作为处理区域内存在的被摄体的数的内容的被摄体数； 被摄体映像解码单元，从所述代码数据解码以被摄体识别符表示处理区域内各像素中被撮影的被摄体的被摄体映像； 被摄体像素值解码单元，从所述代码数据解码对每个所述被摄体识别符设定一个的被摄体像素值； 预测图像生成单元，根据所述被摄体映像，通过向各像素分配所述被摄体像素值的值，生成对处理区域的预测图像；和 图像信号解码单元，使用所述预测图像，从所述代码数据解码对处理区域的图像信号。
20.一种图像解码装置，当解码图像的代码数据时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行解码，其特征在于，具备: 被摄体数设定单元，设定处理区域内存在的被摄体的数，作为被摄体数； 被摄体映像解码单元，从所述代码数据解码以被摄体识别符表示处理区域内各像素中被撮影的被摄体的被摄体映像； 被摄体像素值预测单元，假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，使用对处理区域周边已解码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 预测图像生成单元，根据所述预测的被摄体像素值，通过根据所述被摄体映像向各像素分配被摄体像素值的值，生成对处理区域的预测图像；和 图像信号解码单元，使用所述预 测图像，从所述代码数据解码对处理区域的图像信号。
21.—种图像解码装置，当解码图像的代码数据时，将图像帧分割成预定大小的处理区域，对每个处理区域边预测各像素的像素值边进行解码，其特征在于，具备: 被摄体数预测单元，使用对处理区域周边已解码完像素的图像信号，预测作为处理区域内存在的被摄体的数的内容的被摄体数；被摄体映像解码单元，从所述代码数据解码以被摄体识别符表示处理区域内各像素中被撮影的被摄体的被摄体映像； 被摄体像素值预测单元，根据所述预测的被摄体数，使用对处理区域周边已解码完像素的图像信号，预测作为每个被摄体的代表像素值的内容的被摄体像素值； 预测图像生成单元，根据所述预测的被摄体像素值，通过根据所述被摄体映像向各像素分配被摄体像素值的值，生成对处理区域的预测图像；和 图像信号解码单元，使用所述预测图像，从所述代码数据解码对处理区域的图像信号。
22.如权利要求19所述的图像解码装置，其特征在于，还具有: 被摄体数设定单元，设定所述预测的被摄体数、与使用该预测的被摄体数或解码完的被摄体数从所述代码数据解码出的被摄体数之一，作为被摄体数。
23.如权利要求21所述的图像解码装置，其特征在于，还具有: 被摄体数设定单元，设定所述预测的被摄体数、与使用该预测的被摄体数或解码完的被摄体数从所述代码数据解码出的被摄体数之一，作为被摄体数， 所述被摄体像素值预测单元假定处理区域内存在与所述设定的被摄体数相同数量的被摄体，预测所述被摄体像素值。
24.如权利要求20或21所述的图像解码装置，其特征在于，还具有: 被摄体像素值设定单元，设定所述预测的被摄体像素值、与使用该预测的被摄体像素值或解码完的被摄体像素值从所述代码数据解码出的被摄体像素值之一，作为被摄体像素值， 所述预测图像生成单元向各像素分配由所述被摄体像素值设定单元设定的被摄体像素值的值。
25.一种图像编码程序，用于让计算机执行权利要求1 一 3之一所述的图像编码方法。
26.一种图像解码程序，用于让计算机执行权利要求7 - 9之一所述的图像解码方法。
27.一种计算机可读记录介质，记录有用于让计算机执行权利要求1 一 3之一所述的图像编码方法的图像编码程序。
28.一种计算机可读记录介质，记录有用于让计算机执行权利要求7 - 9之一所述的图像解码方法的图像解码程序。
全文摘要
在分割图像整体后以对每个区域不同的方法边预测图像信号边预测编码图像的情况下，利用被摄体存在的空间的连续性，使用处理区域周边已终止处理的区域的解码像素值来预测被摄体数或各被摄体的代表像素值。由此，减少了“处理区域内的被摄体数”或“代表处理区域内的各被摄体的像素值”的编码所需的代码量，该“处理区域内的被摄体数”或“代表处理区域内的各被摄体的像素值”是使用代表处理区域内各被摄体的像素值与用于识别处理区域内各像素被摄体的信息的、对应于任意被摄体形状的高精度图像信号预测时必需的，能实现高效的图像编码。另外，通过使用编码侧与解码侧为相同信息的已处理完周边区域中像素的解码像素值，即使在如H．264那样对每个区域从多个图像信号预测模式中选择一个进行编码的情况下，也能适当地进行预测。
文档编号H04N7/32GK103119941SQ20118004545
公开日2013年5月22日 申请日期2011年9月20日 优先权日2010年9月29日
发明者志水信哉, 松浦宣彦 申请人:日本电信电话株式会社