专利名称：运动图像解码方法以及装置、运动图像编码方法以及装置的制作方法
技术领域：
本发明涉及对运动图像进行编码的运动图像编码技术以及对运动图像进行解码的运动图像解码技术。
背景技术：
作为对大容量的运动图像信息进行数字数据化，然后进行记录、传输的方法，规定了 MPEG(Moving Picture Experts Group)方式等编码方法，已知有MPEG-1 标准、MPEG-2标准、MPEG-4 标准、H. 264/AVC(Advanced Video Coding)标准等。在H. 264/AVC中，通过使用画面内预测编码或画面间预测编码等预测编码来提高压缩效率。此时，在预测编码中存在各种方向，以块为单位灵活地对这些方向进行编码。此时，因为需要对在对象块中使用的表示预测方向的代码另外进行编码，所以存在代码量增大的问题。另外，在各预测编码中，针对每个宏块，切换多个像素值预测方法和块尺寸进行预测，因此，需要针对每个宏块对像素值预测方法和块尺寸信息进行编码。针对该问题，例如在非专利文献1中公开了如下技术在画面内预测编码时的预测方向的编码中，关于可利用的预测方向数少的画面端的块，缩短用于表示预测方向的代码来减少代码量。现有技术文献非专利文献非专利文献 1 Jamil-ur-Rehman and Zhang Ye, "Efficient Techniques for Signalling Intra Prediction Modes of H. 264/Mpeg_4 Part 10”，Proc.ICICIC2006， August,200
发明内容
发明要解决的课题但是，在非专利文献1中记载的技术仅适用于画面端的块，因此存在提高压缩率的效果不高的问题。本发明是鉴于上述问题而提出的，其目的在于在运动图像的编码/解码处理中进一步降低代码量。用于解决课题的手段为了解决上述课题，例如只要像在权利要求中记载那样构成本发明的一个实施方式艮口可。发明效果在运动图像的编码/解码处理中能够进一步降低代码量。
图1是实施例1的图像编码装置的框图的一例。图2是实施例1的画面内预测编码装置的框图的一例。图3是实施例1的图像解码装置的框图的一例。图4是实施例1的画面内预测解码装置的框图的一例。图5是H. 264/AVC的画面内预测编码处理的概念的说明图。图6是H. 264/AVC的预测方向的编码处理的概念的说明图。图7是H. 264/AVC的画面内预测解码处理的概念的说明图。图8是实施例1的预测方向的编码的一例的说明图。图9是实施例1的图像编码装置的流程图。图10是实施例1的画面内编码装置的流程图。图11是实施例1的图像编码装置的流程图。图12是实施例1的画面内解码装置的流程图。图13是在H. 264/AVC中使用的预测编码处理的概念的说明图。图14是与实施例2的块类型的编码有关的实施例的说明图。图15是实施例2的可变长编码装置的框图。图16是实施例2的可变长解码装置的框图。图17是实施例2的可变长编码装置的流程图。图18是实施例2的可变长解码装置的流程图。
具体实施例方式以下参照
本发明的实施例。图5概念性地表示基于H. 264/AVC的画面内预测编码处理的动作。在H. 264/AVC中，根据光栅扫描的顺序对编码对象图像进行编码处理(501)，使用关于与编码对象块的左、左上、上、右上相邻的已编码的块的解码图像进行预测处理。该预测处理利用已编码的块中包含的13个像素的像素值(502)，全部根据同一个像素来预测使预测方向矢量倾斜的同一直线上的像素。例如如(50 所示那样，编码对象块的像素B、C、 D、E全部参照同一像素进行预测编码处理。首先，计算编码对象块的像素B、C、D、E与对像素B的正上方的像素进行解码后的值A’的差分(预测差分)b、c、d、e。然后，以块为单位， 从纵、横、斜方向等八种预测方向候补中选择一个预测方向，对所述预测差分和表示所选择的一个预测方向的预测方向值进行编码。但是，在H. ^4/AVC中，除了沿上述特定的预测方向的预测处理外，可以利用根据参照像素的平均值，预测在编码对象块中包含的所有的像素的“DC预测”(504)。图7概念性地表示基于H. 264/AVC的画面内预测解码处理的动作。解码处理也与编码处理一样，根据光栅扫描的顺序进行解码处理(701)。然后，使用已经解码的参照像素和预测差分进行编码处理的逆步骤。即，通过沿着预测方向将预测差分值和参照像素值进行相加来取得解码图像。例如(702)，表示了针对解码对象块的预测差分b’、c’、d’、e，(分别包含将上述图5的b、c、d、e解码后的量化误差)相加已解码的参照像素々’，由此取得解码像素8’、(’、0’丄，(分别是针对上述图5的B、C、D、E的解码图像)的过程。
5
如上所述，在基于H. 264/AVC的画面内预测编码处理中，采用根据参照像素来预测位于从该参照像素沿着预测方向的位置上的像素的单向的方法。此时，需要对编码流附加有关对于成为预测处理的单位的每个块，沿着哪个预测方向进行预测处理的信息。图6表示基于H. 264/AVC的画面内预测方式的预测方向的编码方法。H. 264/AVC着眼于对象块的预测方向与相邻的块的预测方向相关性高的情形，根据已编码的相邻块中的预测方向来推定编码对象块的预测方向。即，如(601)所示那样，参照与编码对象块的左侧相邻的块A的预测方向和与相同的对象块的上侧相邻的块B的预测方向，将这两个预测方向中的预测方向值小的预测方向作为对象块的预测方向的预测值 (相邻方向)(602)。(603)表示了表示预测方法的位结构的细节。在H. ^4/AVC中，当对象块中的预测方向和相邻块中的预测方向相同时，对表示对象块中的预测方向和相邻块中的预测方向为相同的预测方向的信息(1位)进行编码。另一方面，当两者不同时，在对表示对象块中的预测方向和相邻块中的预测方向不同的信息进行编码后，以3位对实际的预测方向(除去8方向+DC预测的9个预测方向中的、相邻块中的预测方向的8个)进行编码。此时，为了表示预测方向需要多个代码，例如在以4X4像素尺寸的块为单位进行画面内预测时，每个宏块最大产生64位的代码。实施例1实施例1是在画面内预测中，将本发明用于对象块的预测方向的编码处理以及解码处理的例子。在本实施例中，使用与对象块相邻的块的预测方向数据来判定是否容易推定对象块的预测方向。在判定为能够容易地推定对象块的预测方向时以及在判定为难以推定对象块的预测方向时，切换对象块的预测方向数据的编码处理以及解码处理方法。以下进一步详细地说明本实施例。图8是表示是否能够容易地推定编码对象块的预测方向的判定方法的一例，以及预测方向编码方法A和预测方向编码方法B的图。使用图8说明是否能够容易地推定编码对象块的预测方向的判定方法。关于是否能够容易地推定编码对象块的预测方向的判定，如图像块说明图(801) 所示那样，使用与编码对象块的左侧、上侧、左上侧、右上侧相邻的已编码的相邻块A、B、C、 D的预测方向MA、MB、MC、MD。即，当在预测方向MA、MB、MC、MD中，存在N (其中N为2以上 4以下的整数)个以上相同的预测方向M时，判定为容易推定编码对象块的预测方向，使用预测方向编码方法A对编码对象块的预测方向数据进行编码。此外，例如当在片断(slice)端或画面端等存在编码对象块等，无法利用相邻块的预测方向信息作为编码对象块的预测方向时，判定为容易推定编码对象块的预测方向， 使用预测方向编码方法A对编码对象块的预测方向数据进行编码。另外，对于与上述哪种情形都不相符的块，判定为难以推定预测方向，选择预测方向编码方法B进行可变长编码。当通过上述的判定方法选择了预测方向编码方法A时，移动到预测方向选择处理。即，使用预定的方法选择与编码对象块的左侧、上侧、左上侧、右上侧相邻的已编码的相邻块A、B、C、D的预测方向MA、MB、MC、MD中的某一个预测方向，把所选择的相邻块的预测方向作为编码对象块的推定预测方向。在此，关于该预定的选择方法，只要是能够在编码侧和解码侧两方实现相同的处理的方法，任何选择方法都可以，例如可以使用选择MA、MB、MC、MD中的预测方向值最小的预测方向的方法、也可以使用选择MA、MB、MC、MD中的最多的预测方向的方法等。此外，在选择了预测方向编码方法A时的编码处理中，可以将与编码对象块的左侧、上侧、左上侧、右上侧相邻的已编码的相邻块A、B、C、D用作相邻块进行编码处理，也可以如现有技术那样仅把与编码对象块的左侧以及上侧相邻的已编码的相邻块A、B用作相邻块进行编码处理。然后，进一步详细说明预测方向编码方法A。预测方向编码方法A是使用相邻块的预测方向信息来决定推定预测信息，使用该推定预测信息对编码对象块的预测方向数据进行编码的方法。图8的位构成图(802)表示用于预测方向编码方法A中的编码对象块的预测方向数据的编码的位结构的细节。当编码对象块中的预测方向与相邻块中的预测方向(推定预测方向)为相同方向时，对表示编码对象块中的预测方向与相邻块中的预测方向(推定预测方向)为相同预测方向的信息(1位)进行编码。另一方面，当编码对象块中的预测方向与相邻块中的预测方向(推定预测方向) 不同时，在对表示编码对象块中的预测方向与相邻块中的预测方向(推定预测方向)不同的信息进行编码之后，用3位对实际的预测方向(除去8方向+DC预测的9个预测方向中的、相邻块中的预测方向(推定预测方向)的8个)进行编码。然后，进一步详细说明预测方向编码方法B。预测方向编码方法B不是根据相邻块的预测方向数据推定编码对象块的预测方向数据，而是单独地对编码对象块的预测方向数据进行编码的方法。图8的表(80 是在预测方向编码方法B中使用的可变长编码表的一例。预测方向编码方法B按照表(80 那样的可变长代码表，对编码对象块的预测方向数据进行可变长编码。在使用表(80 那样的可变长代码表时，虽然不存在像预测方向编码方法A那样仅通过1位便能够表示的模式，但即使是与相邻模式不同的预测方向，其部分模式也可以用比4位少的2位或3位来表示。由此，可以用比4位少的位表示的模式的数量比预测方向编码方法A多。在此，在本实施例中使用预测方向编码方法B的情形原本如上述那样是判定为难以推定对象块的预测方向的情形，因此是对象块的预测方向与相邻块的预测方向一致的确立低的情形。即，此时如果假设使用预测方向编码方法A，则相比于预测方向的代码量为1位的概率，4位的概率高。由此，此时，通过使用预测方向编码方法B，提高使用2 位或3位的代码量对预测方向进行编码的概率，对降低代码量有效。此外，表(80 的可变长编码表是一个例子，只要能够获得相同的效果，也可以使用其它模式。以上对本实施例中的编码处理进行了说明，但是在解码处理时，可以通过进行与对应的编码方法相反的处理进行解码处理。即，本实施例中的解码处理使用相邻的已经解码的块的预测方向信息来判定是否容易推定解码对象块的预测方向，在判定为容易进行解码对象块的预测方向的推定时，按照位结构(802)表示的位结构进行解码对象块的预测方向数据的解码。另一方面，当判定为难以进行解码对象块的预测方向的推定时，根据表(803)表示的可变长代码表进行解码对象块的预测方向数据的解码。接着，使用图1说明本实施例的运动图像编码装置。本实施例的运动图像编码装置具有保存输入的原图像(101)的输入图像存储器(10 ；将输入图像分割为小区域的块分割部(10 ；以块为单位检测运动的运动探索部 (104)；以相同的块为单位进行画面内预测处理(记载在图7中)的画面内预测部(106)；根据运动探索部(104)检测出的运动量，以块为单位进行画面间预测的画面间预测部(107)； 选择与图像的性质相符合的预测编码手段的模式选择部(108)；生成预测差分数据的减法部(109)；对预测差分数据进行编码处理的频率变换部(110)以及量子化处理部(111)；进行与记号的发生概率相应的编码处理的可变长编码部(112)；对编码后的预测差分数据进行解码的逆量化处理部(113)以及逆频率变换部(114)；使用解码后的预测差分数据生成解码图像的加法部(11 ；以及存储解码图像的参照图像存储器(116)。输入图像存储器(102)把来自原图像(101)中的一枚图像作为编码对象图像进行保存，通过块分隔部(10 将其分割为小块，输出到运动探索部(104)以及画面内预测部(106)。运动探索部(104)使用存储在参照图像存储器(116)中的已经解码的图像来计算该块的运动量，作为运动矢量数据输出到画面间预测部(107)。画面内预测部(106)以及画面间预测部(107)以块为单位进行画面内预测处理以及画面间预测处理。模式选择部 (108)从上述的画面内预测处理以及画面间预测处理中选择最佳的预测处理。模式选择部 (108)向减法部(109)输出关于所选择的预测处理的预测图像。在此，在选择了画面内预测处理时，模式选择部(108)将后述的编码后的预测方向数据输出到可变长解码部(11 。减法部(109)生成输入图像和基于上述的最佳的预测编码处理的预测图像的预测差分数据， 输出到频率变换部(110)。频率变换部(110)以及量化处理部(111)以针对发送来的预测差分数据指定的大小的块为单位分别进行DCT(Discrete Cosine Transformation 离散余弦变换)等频率变换处理以及量化处理，输出到可变长编码处理部(112)以及逆量化处理部(11 。可变长编码处理部(11 根据记号的发生概率，对频率变换系数表示的预测差分信息以及例如画面内预测编码中的预测方向、画面间预测编码中的运动矢量等进行预测解码所需的信息进行可变长编码，生成编码流。此外，逆量化处理部(113)以及逆频率变换部 (114)对量化后的频率变换系数分别进行逆量化以及IDCT (Inverse DCT 逆DCT)等逆频率变换，取得预测差分输出到加法部(11 。加法部(11 生成解码图像并输出到参照图像存储器(116)。参照图像存储器(116)存储解码图像。图2是详细表示本实施例的运动图像编码装置的画面内预测部(106)的图。在此，例如将通过图1表示的块分割部(103)分割后的图像输入到画面内预测部 (106)。将该输入图像输入到方向分类预测部(201)。方向分类预测部(201)使用存储在参照图像存储器中的已编码的相邻块的解码图像的像素值，针对从块分割部(10 输入的输入图像的块，生成关于各预测方向的预测图像，进行预测处理。在该编码处理中使用通过图 5说明的HJ64/AVC的编码方法。将该预测结果输入到预测方向决定部002)。作为预测结果，考虑输入图像的块和预测图像的差分、预测图像本身等。预测方向决定部(20 选择编码率成为最好的预测方向，决定该方向为编码对象块的预测方向。在此，把关于预测方向决定部(202)所决定的预测方向的预测图像输出到模式选择部(108)。另外，将所决定的预测方向的信息输出到预测方向推定难易度判定部003)。此外，预测方向存储存储器(206)存储所决定的预测方向。预测方向推定难易度判定部(20 从预测方向存储存储器(206) 中读出周围的已经编码的块的预测方向信息，根据读出的预测方向信息来推定是否容易推定编码对象块的预测方向。在该判定方法中，使用例如图8所说明的方法即可。根据该判定结果切换预测方向的编码方式。例如，当判定为容易进行编码对象块的预测方向的推定时，通过预测方向预测编码部(20 进行预测方向数据的编码处理。预测方向预测编码部005)，例如使用图8 (802) 的方法(预测方向编码方法A)进行预测方向数据的编码。另一方面，当判定为难以进行编码对象块的预测方向的推定时，通过预测方向可变长编码部(204)进行预测方向数据的编码处理。预测方向可变长编码部(204)例如使用图8(80 的方法(预测方向编码方法B)进行预测方向的编码。预测方向可变长编码部(204)或预测方向预测编码部005)，将上述那样编码后的预测方向数据输出到模式选择部(108)。另外，在图2的例子中，通过画面内预测部(106) 进行预测方向数据的编码处理，但是，该编码处理可以通过可变长编码部(11 进行，还可以通过其它结构部进行。然后，使用图3来说明本实施例的运动图像解码装置的一个例子。本实施例的运动图像解码装置具有对例如通过图1所示的运动图像编码装置生成的编码流(301)进行可变长编码的相反的步骤的可变长解码部(302)；对预测差分数据进行解码的逆量化处理部(303)以及逆频率变换部(304)；进行画面内预测处理的画面内预测部(306)；进行画面间预测的画面间预测部(307)；生成解码图像的加法部(308)；以及存储解码图像的参照图像存储器(309)。可变长解码部(30 对编码流(301)进行可变长解码，取得预测差分的频率变换系数成分和预测方向、运动矢量等预测处理所需的信息。将预测差分的频率变换系数成分输出到逆量化处理部(303)。与预测手段相对应，将预测方向、运动矢量等输出到画面内预测部(306)或画面间预测部(307)。接着，逆量化处理部(303)以及逆频率变换部(304) 对预测差分信息分别进行逆量化和逆频率变换，对预测差分数据进行解码。画面内预测部 (306)或画面间预测部(307)根据从可变长解码部(30 输入的数据，参照存储在参照图像存储器(309)中的解码图像进行预测处理。加法部(308)生成解码图像。参照图像存储器 (309)存储解码图像。图4是表示本实施例中的运动图像解码装置的画面内预测部(306)的细节的图。在此，预测方向推定难易度判定部001)从预测方向存储存储器005)中读出周围的已解码的块的预测方向的信息，根据读出的信息来判定是否容易进行解码对象块的预测方向的推定。在该判定方法中例如使用通过图8说明的方法即可。根据该判定结果，切换从可变长解码部(30 输入的解码对象块的预测方向的数据的输出目的地。即切换解码方式。例如，当判定为容易进行解码对象块的预测方向的推定时，通过预测方向预测解码部(40 进行预测方向数据的解码。预测方向预测解码部(40 例如使用与图8(802) 的方法(预测方向编码方法A)对应的解码方式进行预测方向数据的解码处理。另一方面，当判定为难以进行解码对象块的预测方向的推定时，通过预测方向可变长解码部(40 进行预测方向数据的解码处理。预测方向可变长解码部(40 例如使用
9与图8(80 的方法(预测方向编码方法B)对应的解码方式，进行预测方向数据的解码处理。将上述那样进行解码处理后的预测方向数据输入到画面内预测图像生成部 (404) 0另外，在预测方向存储存储器005)中存储解码处理后的预测方向数据。画面内预测图像生成部(404)根据从参照图像存储器(309)输入的相邻块的解码图像的像素值和进行了解码处理后的预测方向数据，向加法部(308)输出画面内预测图像。此外，在图4的例子中，在画面内预测部(306)中进行预测方向数据的解码处理， 但是，该解码处理也可通过可变长解码部(302)进行，还可以通过其它结构部进行。然后，使用图9说明本实施例的运动图像编码装置的一帧的编码处理步骤。首先，针对在成为编码对象的帧内存在的所有的块(901)进行以下处理。S卩，针对该块，一次对所有的编码方向(预测方法和块尺寸的组合)进行预测编码处理，计算预测差分，选择编码效率最高的编码方向。在上述预测编码处理中，通过进行画面内预测编码处理(904)或画面间预测编码处理(907)，选择最佳的预测编码处理，根据图像的性质高效地进行编码。在从上述多个编码方向中选择编码效率最高的编码方向时(908)，例如通过使用根据画质畸变和代码量的关系来决定最佳的编码方向的RD-Optimization方式，可以高效地进行编码。在参考文献1中详细记载了 RD-Optimization方式。(参考文献 1)G. Sullivan and Τ· Wiegand :“Rate_Distortion Optimization for Video Compression，，，IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90,1998接着，对根据选择的编码方向生成的预测差分数据进行频率变换(909)和量化处理(910)，并且进行可变长编码，由此生成编码流(911)。另一方面，对已经量化的频率变换系数进行逆量化处理(91 和逆频率变换处理 (913)，对预测差分数据进行解码，生成解码图像，存储到参照图像存储器(914)。如果对所有块完成了上述处理，则图像一帧的编码结束(915)。然后，使用图10详细说明图9的画面内预测编码处理(904)的处理步骤。首先，在成为编码对象的块中，针对所有的预测方向(1001)进行画面内预测处理 (1002)。从中选择最佳的预测方向(1003)。另外，根据已编码的周围的块的信息来判定是否容易进行预测方向的推定(1004)，如果容易进行，则使用预测方向编码方法A进行编码 (1005)，如果难以进行，则使用预测方向编码方法B进行编码(1006)，一帧的预测方向的编码结束(1007)。另外，在图10的例子中，在画面内预测编码处理(904)中进行预测方向数据的编码处理，但是，该编码也可以通过可变长编码处理(911)进行，还可以在其它处理内进行。接着，使用图11说明图3所示的运动图像解码装置中的一帧的解码处理步骤。首先，对一帧内的所有的块进行以下处理(1101)。即，对输入流进行可变长解码处理(110 ，进行逆量化处理(110 以及逆频率变换处理(1104)，对预测差分数据进行解码。接着，根据在编码流中包含的信息来判定对对象块进行了预测编码的预测模式，根据该判定结果进行画面内预测解码处理(1108)或画面间预测解码处理(1109)，生成预测图像， 与上述的解码后的预测差分数据相加，生成解码图像。将所生成的解码图像存储在参照图像存储器中。如果针对帧中的所有的块完成了以上的处理，则图像一帧的解码结束(1110)。
然后，使用图12详细说明图11的画面内预测解码处理(1106)的处理步骤。首先，根据位于对象块的周边的已经解码的块的预测方向，来判定是否容易进行对象块的预测方向的推定(1201)。此时，如果容易进行对象块的预测方向的推定，则执行与预测方向编码方法A对应的解码(120 ，如果难以进行则执行与预测方向编码方法B对应的解码(120 。最后，根据解码后的预测方向数据进行预测解码处理(1204)，一帧的画面内预测解码处理结束(1205)。此外，在图12的例子中，在画面内预测解码处理(1106)中进行了预测方向数据的解码，但是该解码也可以通过可变长解码处理(110 来进行，还可以在其它的处理内部进行。在本实施例中，作为频率变换的一个例子例举了 DCT，但是，也可以使用 DST (Discrete Sine Transformation 离散IE弓玄$换)、ffT (ffavelet Transformation 变换)、DFT (Discrete Fourier Transformation 离散傅里叶变换)、KLT (Karhunen-Loeve Transformation 卡亨南-赖佛变换)等在去除像素间相关中使用的正交变换等。也可以不特别实施频率变换地对预测差分本身进行编码。并且，也可以不特别进行可变长编码。另外，在实施例中记载了特别以4X4像素大小的块为单位进行预测的情形，但是，例如对于8X8像素大小或16X 16像素大小等、无论多大尺寸的块也都适用本发明。此外，在本实施例中，沿着在H. 264/AVC中规定的8方向进行了预测，但是可以增加减少方向数。根据以上说明的实施例1的运动图像编码装置、运动图像编码方法、运动图像解码装置、运动图像解码方法，可以在运动图像的编码/解码处理中进一步减少代码量。实施例2在实施例2中阐述针对在预测编码中使用的宏块的尺寸以及预测方法(画面内预测、画面间预测)等预测模式信息的编码处理，使用实施例1那样的选择性的编码处理的例子。图13表示H. ^4/AVC中的可以在Baseline profile中使用的编码模式的种类。 在H. ^4/AVC中，针对每个16X16像素大小的宏块，决定编码模式。在此，决定采用利用画面内块的像素相关进行压缩的画面内预测(Intra预测)以及利用画面间块的像素相关的画面间预测(Inter预测)中的哪个预测方法，以及在预测中使用的块的尺寸。在H.沈4/ AVC中，作为画面间的像素值预测方法，规定了指定一个参照图像的正向预测O^redictive 预测)和能够指定两个参照图像的双方向预测(Bi-directional predictive预测)，但是在利用Baseline profile时，仅能使用Predictive预测。在各帧中，从画面左上方的宏块朝向右下方的宏块，按照光栅扫描的顺序进行顺序编码。可以将宏块再分割成小的尺寸的块，从预先对预测方法的每个种类规定的几个尺寸中选择最佳的尺寸，进行编码。在为画面内预测时，可以利用16X16像素(116X16模式)和4X4像素(14X4模式)两种块尺寸，使用其中合适的模式。另一方面，在画面间预测中，准备了 16X 16像素(？16\16模式)、16父8像素(P16X8模式)、8X 16像素(P8X16 模式)、8X8像素(P8X8模式)尺寸，当为8X8像素尺寸时，可以分割为8X8像素、8X4 像素、4X8像素、4X4像素尺寸的子宏块。另外，针对16X16像素的块尺寸准备了不对运
11动矢量信息进行编码的PSkip模式，针对8 X 8像素尺寸准备了不对参照帧号码进行编码的 P8X8refO 模式。针对各宏块决定上述的预测方法以及块尺寸，并对该信息进行编码。将上述例举的预测方法(画面内预测、画面间预测)和块尺寸的组合(例如116X16模式、14X4模式等)称为块类型。在此，使用图14来说明本实施例的块类型的编码方法。图14的图像块说明图 (1401)、位构成图(1402)、可变长编码表(1403)分别对应实施例1的图8的图像块说明图 (801)、位构成图(802)、可变长代码表(803)。比较图14 (实施例2)和图8 (实施例1)可知，两者的不同在于如果将图8的“预测方向”变更为“块类型”，则可以实现图14所示的块类型的编码方法。具体来讲，如图像块说明图(1401)所示那样，对于对象块分别使用在左侧、上测、 左上侧、右上侧相邻的已编码的相邻块A、B、C、D的解码图像，来推定对象块的块类型。此时根据是否容易进行推定来切换块类型的编码方式。当容易进行块类型的推定时，使用块类型编码方法A，根据使用了相邻块的块类型的预测结果对对象块的块类型进行编码。另一方面，当难以推定块类型时，使用块类型编码方法B，不根据相邻块进行推定地单独对块类型编码。关于推定难易度的判定，例如可以根据周围的已经编码的相邻块A、B、C、D的块类型MSA、MSB、MSC、MSD进行多数表决，当存在N(N为2以上的整数)个以上的相同的块类型时，块类推定容易型，在除此以外的情形为不容易推定块类型等方法来进行。位构成图(140 表示了表现块类型编码方法A时的预测方法的位构成的细节。在块类型编码方法A中，需要决定相邻模式(推定块类型)，但是，这也可以例如通过将周围块的块类型中的出现最多的块类型作为相邻模式(推定块类型等方法来进行决定。表(140 表示在块类型编码方法B时使用的可变长编码表的一个例子。在块类型编码方法B中，按照(140 那样的可变长编码表对块类型进行可变长编码。表(1403) 的可变长编码表是一个例子，可以使用其它模式。此外，上述对编码进行了阐述，但是在解码时，可以通过进行与对应的编码方法相反的处理来进行解码。S卩，利用相邻的已经解码的块的块类型信息，来判定对象块的块类型的推定难易度，在容易推定块类型时，按照位构成图(140 的位构成来进行块类型的解码。另一方面， 在难以推定块类型时，可以根据表(140 的代码表来进行块类型的解码，由此进行块类型的解码。关于本实施例中的图像编码装置，只要在实施例1的图1的图像编码装置中，将可变长编码部(112)做成图15所示的结构，就可以实现。其它的结构与实施例1的结构相同， 因此省略说明。在图15中，在可变长编码部(112)中输入例如通过图1所示的量化处理部(103) 进行量化后的数据。将输入的数据中的块类型信息存储到块类型存储存储器(150 。通过块类型推定难易度判定部(1501)从块类型存储存储器(150 读出周围的已经解码的块类型的信息，根据读出的信息来判定对象块的块类型的推定难易度。关于推定难易度的判定， 例如可以使用图14说明的方法。根据该判定来切换块类型的编码方式。例如，当判定为容易进行块类型的推定时，通过块类型预测编码部(150 进行块类型的编码。在块类型预测编码部(150 中，使用图14的位构成图(140 表示的方法 (块类型编码方法A)进行块类型的编码。另外，例如，当判断为难以进行块类型的推定时，通过块类型可变长编码部(1502) 进行块类型的编码。在块类型可变长编码部(150 中，例如采用使用图14的表(1403)的可变长编码方法(块类型编码方法B)进行块类型的编码。如上所述，针对每个块选择块类型的编码方法进行编码。此外，同时在块类型以外的可变长编码部(1504)中，进行块类型以外的数据的可变长编码，将该结果和对块类型进行编码后的结果作为输出值。在图15的例子中，通过可变长编码部(11 进行块类型的编码，但是可以通过模式选择部(108)进行编码，还可以通过其它结构部进行。接下来，只要在实施例1的图3的图像解码装置中，将可变长编码部(30 做成图 16所示的结构，则可以实现本实施例中的图像解码装置。其它的结构与实施例1的图3的结构相同，因此省略说明。在图16中，在块类型推定难易度判定部(1601)中，从块类型存储存储器(1605) 中读出周围的已经解码的块的块类型的信息，根据读出的信息来判定对象块的块类型的推定难易度。关于该方法例如可以使用通过图14说明的方法。根据该判定来切换块类型的解码方式。例如，在判定为容易进行块类型的推定时，通过块类型预测解码部(160 进行块类型的解码。在块类型预测解码部(160 中，例如使用与图14的位构成图(140 表示的方法(块类型编码方法A)对应的解码方式进行解码。此外，当判断为难以进行块类型的推定时，通过块类型可变长解码部(160 进行块类型的解码。在块类型可变长解码部(160 中，例如使用与使用图14的表(140 的可变长解码方法(块类型编码方法B)对应的解码方式进行块类型的解码。将如上述那样解码后的块类型存储到块类型存储存储器(160 中。另外，在块类型以外的可变长解码部(1604)中，进行块类型以外的数据的可变长解码，输出块类型以外的数据的解码结果和块类型的解码结果。在图16的例子中，通过可变长解码部(30 进行块类型的解码，但是可以通过画面内预测部(306)以及画面间预测部(307)进行解码，还可以通过其它结构部进行。关于本实施例的运动图像编码装置的一帧的编码处理步骤，只要将实施例1中的图9中的可变长编码处理(911)的详细内容做成图17所示的内容即可。其它处理与实施例相同，因此省略说明。在图17中，首先，在成为编码对象的块中，根据已经编码的周围的块的信息，来判定是否容易进行块类型的推定(1701)。如果容易，则使用块类型编码方法A执行编码 (170 。如果不容易，则使用块类型编码方法B执行编码(170 。最后，执行块类型以外的可变长编码处理(1704)，一个块的可变长编码结束(1705)。在图17的例子中，在可变长编码处理(911)中进行块类型的编码，但是，也可以通过编码模式选择处理(908)进行该编码，还可以在其它处理内进行。关于本实施例中的运动图像解码装置的一帧的解码处理步骤，只要将实施例1中的图11中的可变长解码处理(1102)的详细内容做成图18所示的内容即可。其它处理与实施例相同，因此省略说明。在图18中，首先，关于成为解码对象的块，根据已经解码的周围的块的信息来判定是否容易进行块类型的推定(1801)。如果容易则使用与块类型编码方法A对应的解码方式执行解码(1802)。如果不容易，则使用与块类型编码方法B对应的解码方式执行解码(180；3)。最后，执行块类型以外的可变长解码处理(1804)，一个块的可变长解码结束 (1805)。在图18的例子中，在可变长解码处理(110 中进行块类型的解码，但是，关于该解码也可以通过画面内预测解码处理(1106)以及画面内预测解码处理(1109)来进行，还可以在其它处理内进行。在本实施例中，作为频率变换的一个例子例举了 DCT，也可以使用DST(DisCrete Sine Transformation ^ 1 iE ^ ^ ^ ) > WT (Wavelet Transformation /]、^ ^ ^ ) > DFT(Discrete Fourier Transformation 离散傅里叶变换)、KLT(Karhunen-Loeve Transformation 卡亨南-赖佛变换)等在去除像素间相关中使用的正交变换等。另外，也可以不特别实施可变长编码。此外，在实施例中，沿着在H. ^4/AVC中规定的8个方向进行了预测，但是也可增加、减少方向数。另外，在实施例中，例举了一部分块类型的例子，但是也可以使用其它的块类型。在以上两个实施例中，表示了将本发明应用到画面内预测时的预测方向的编码以及解码和、预测编码时的块类型的编码以及解码的例子，但是，例如如果是表示有无频率系数的CBP(Coded Block Pattern)或运动矢量等需要以块为单位进行编码的信息的编码处理以及解码处理，即使是其它信息，也可以应用本发明。产业上的利用可能性本发明作为对运动图像进行编码的运动图像编码技术以及对运动图像进行解码的运动图像解码技术非常有用。符号的说明101原图像；102原图像存储器；103块分割部；104运动探索部；106画面内预测部；107画面间预测部；108方向选择部；109减法部；110频率变换部；111量化处理部；112 可变长编码部；113逆量化处理部；114逆频率变换部；115加法部；116参照图像存储器； 201方向分类预测部；202预测方向决定部；203预测方向推定难易度决定部；204预测方向可变长编码部；205预测方向预测编码部；206预测方向存储存储器；207画面内预测图像生成部；301编码流；302可变长解码部；303逆量化处理部；304逆频率变换部；306画面内预测部；307画面间预测部；308加法部；309参照图像存储器；401预测方向推定难易度判定部；402预测方向可变长解码部；403预测方向预测解码部；404画面内预测图像生成部；405预测方向存储存储器；1501块类型推定难易度判定部；1502块类型可变长编码部； 1503块类型预测编码部；1504块类型以外的可变长编码部；1505块类型存储存储器；1601 块类型推定难易度判定部；1602块类型可变长解码部；1603块类型预测解码部；1604块类型以外的可变长解码部；1605块类型存储存储器。
1权利要求
1.一种运动图像解码方法，其进行画面内预测处理，该运动图像解码方法的特征在于， 具备判定步骤，判定与解码对象块相邻的已经被解码的多个相邻块中的、具有相同预测方向或相同块尺寸的块的个数；解码步骤，根据所述判定步骤的判定结果，对所述解码对象块的预测方向数据或块尺寸数据进行解码；以及生成步骤，根据在所述解码步骤中被解码的预测方向数据或块尺寸数据进行画面内预测，生成解码图像数据。
2.根据权利要求1所述的运动图像解码方法，其特征在于，在所述判定步骤中，当在所述多个相邻块中的具有相同预测方向或相同块尺寸的块为两个以上时，将该预测方向或该块尺寸作为所述解码对象块的推定预测方向或推定块尺寸，在所述解码步骤中，根据基于所述推定预测方向数据或所述推定块尺寸生成的、包含在编码流中的位构成信息，对所述解码对象块的预测方向数据或所述块尺寸数据进行解码。
3.根据权利要求1所述的运动图像解码方法，其特征在于，在所述判定步骤中，当在所述多个相邻块中不存在具有相同的预测方向数据或相同的块尺寸的两个以上的块时，在所述解码步骤中，通过可变长解码处理对所述解码对象块的预测方向数据或块尺寸数据进行解码。
4.一种运动图像编码方法，其进行画面内预测处理，该运动图像编码方法的特征在于， 具备判定步骤，判定与编码对象块相邻的已经被编码的多个相邻块中的、具有相同的预测方向或相同的块尺寸的块的个数；以及编码步骤，根据所述判定步骤的判定结果对所述编码对象块的预测方向数据或块尺寸数据进行编码。
5.根据权利要求4所述的运动图像编码方法，其特征在于，在所述判定步骤中，当在所述多个相邻块中的具有相同预测方向或相同块尺寸的块为两个以上时，将该预测方向或该块尺寸作为所述编码对象块的推定预测方向或推定块尺寸，在所述编码步骤中，作为基于所述推定预测方向数据或所述推定块尺寸的位构成信息，对所述编码对象块的预测方向数据或所述块尺寸数据进行编码。
6.根据权利要求4所述的运动图像编码方法，其特征在于，在所述判定步骤中，当在所述多个相邻块中不存在具有相同预测方向数据或相同块尺寸的两个以上的块时，在所述编码步骤中，通过可变长编码处理对所述编码对象块的预测方向数据或块尺寸数据进行编码。
7.—种运动图像解码装置，其进行画面内预测处理，该运动图像解码装置的特征在于，判定部，其判定与解码对象块相邻的已经被解码的多个相邻块中的、具有相同预测方向或相同块尺寸的块的个数；解码部，其根据所述判定部的判定结果，对所述解码对象块的预测方向数据或块尺寸数据进行解码；以及解码图像生成部，其根据在所述解码部中被解码的预测方向数据或块尺寸数据进行画面内预测，生成解码图像。
8.根据权利要求7所述的运动图像解码装置，其特征在于，所述判定部在判定出在所述多个相邻块中的具有相同预测方向或相同块尺寸的块为两个以上时，将该预测方向或该块尺寸作为所述解码对象块的推定预测方向或推定块尺寸，所述解码部根据基于所述推定预测方向数据或所述推定块尺寸生成的、包含在编码流中的位构成信息，对所述解码对象块的预测方向数据或所述块尺寸数据进行解码。
9.根据权利要求7所示的运动图像解码装置，其特征在于，所述判定部在判定出在所述多个相邻块中不存在具有相同预测方向数据或相同块尺寸的两个以上的块时，所述解码部通过可变长解码处理对所述解码对象块的预测方向数据或块尺寸数据进行解码。
10.一种运动图像编码装置，其进行画面内预测处理，该运动图像编码装置的特征在于，具备判定部，其判定与编码对象块相邻的已经被编码的多个相邻块中的、具有相同预测方向或相同块尺寸的块的个数；以及编码部，其根据所述判定部的判定结果对所述编码对象块的预测方向数据或块尺寸数据进行编码。
11.根据权利要求10所述的运动图像编码装置，其特征在于，所述判定部在判定出在所述多个相邻块中的具有相同预测方向或相同块尺寸的块为两个以上时，将该预测方向或该块尺寸作为所述编码对象块的推定预测方向或推定块尺寸，所述编码部，作为基于所述推定预测方向数据或所述推定块尺寸的位构成信息，对所述编码对象块的预测方向数据或所述块尺寸数据进行编码。
12.根据权利要求10所述的运动图像编码装置，其特征在于，所述判定部在判定出在所述多个相邻块中不存在具有相同预测方向数据或相同块尺寸的两个以上的块时，所述编码部通过可变长编码处理对所述编码对象块的预测方向数据或块尺寸数据进行编码。
全文摘要
降低在运动图像的编码、解码处理中的代码量。在画面内预测处理中，根据与解码对象块相邻的已经解码的多个相邻块的预测方向数据或块模式，来判定解码对象块的预测方向或块模式的推定的容易性，根据判定结果对所述解码对象块的预测方向数据或块模式进行解码，根据解码后的预测方向数据或块模式进行画面内预测，生成解码图像数据。
文档编号H04N7/32GK102246526SQ20098014959
公开日2011年11月16日 申请日期2009年11月30日 优先权日2008年12月10日
发明者米司健一, 高桥昌史 申请人:株式会社日立制作所