图像解码装置的制作方法

文档序号:15925179发布日期:2018-11-14 01:03阅读:126来源:国知局

本发明涉及对图像进行编码来生成编码数据的图像编码装置。另外,涉及对使用这样的图像编码装置而生成的编码数据进行解码的图像解码装置。

背景技术

为了高效地传输或记录运动图像,使用了运动图像编码装置。作为具体的运动图像编码方式,例如可列举h.264/mpeg-4avc(非专利文献1)、以及vceg(视频编码专家组)中的共同开发用编解码器即kta软件中所采用的方式等。

在这样的编码方式中,构成运动图像的图像(图片)通过由对图像进行分割而得到的切片、对切片进行分割而得到的宏块、以及对宏块进行分割而得到的子块形成的分层结构来管理,通常是按每子块进行编码。

另外,在这样的编码方式中,通常,基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像,并对该预测图像与输入图像之间的差分数据进行编码。另外,作为预测图像的生成方法,称为帧间预测(interprediction)、以及帧内预测(intraprediction)的方法是公知的。

在帧间预测中,通过对将帧全体进行解码而得到的参考帧内的参考图像应用利用了运动矢量的运动补偿,来生成预测对象帧内的预测图像。另外,在帧间预测中,还能参考多个参考图像来生成预测图像,此时,使用对各参考图像的像素值乘以权重系数而得到的值来生成预测图像。

另一方面,在帧内预测中,基于同一帧内的局部解码图像,来依次生成该帧中的预测图像。具体而言,在帧内预测中,通常,按构成单位区域(例如,宏块)的每个预测单位(例如,子块),来从预先规定的预测方向(预测模式)群中所含的预测方向之中选择任一预测方向,并沿所选择的预测方向对局部解码图像中的参考像素的像素值进行外插,由此来生成该预测对象区域上的预测像素值。

如此,预测图像一般能基于运动矢量、权重系数、或预测模式等的预测参数而生成。

先行技术文献

非专利文献

非专利文献1:itu-trecommendationh.264(11/07)(2007年11月公开)

发明要解决的课题

然而,为了在运动图像解码装置中适当地生成预测图像,需要对在运动图像编码装置中所使用的预测参数进行编码,并传送至运动图像解码装置,因此存在编码数据的码量因预测参数而增大的问题。

例如,在上述的现有的帧内预测中,需要对于各预测对象区域,不仅编码上述差分数据,还编码表示选择了哪一种预测模式的信息即预测模式信息,因此存在编码数据的码量因预测模式信息而增大这样的问题。



技术实现要素:

本发明鉴于上述的问题而提出,其目的在于,实现在不牺牲编码效率的前提下能削减用于指定预测参数的码量的图像编码装置、以及能对由这样的图像编码装置生成的编码数据进行解码的图像解码装置。

用于解决课题的手段

为了解决上述的课题,本发明所涉及的图像编码装置是一种对输入图像与预测图像之差进行编码的图像编码装置,所述图像编码装置的特征在于,包括:分类单元,其将预测图像分割为多个单位区域,并将各单位区域中所含的多个预测单位分类为第1组或第2组;第1选择单元,其从由预先规定的预测参数组成的基本集之中,选择用于对属于上述第1组的各预测单位上的预测图像的生成方法进行指定的预测参数;第2选择单元,其从包含由上述第1选择单元选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于上述第2组的各预测单位上的预测图像的生成方法进行指定的预测参数;和预测参数编码单元,其对上述第1选择单元针对属于上述第1组的各预测单位选择了哪些预测参数、以及上述第2选择单元针对属于上述第2组的各预测单位选择了哪些预测参数进行编码。

根据上述那样构成的图像编码装置,从包含由上述第1选择单元针对属于与该第2组为同一单位区域中的第1组的各预测单位而选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于上述第2组的各预测单位上的预测图像的生成方法进行指定的预测参数,并对上述第2选择单元选择了哪些预测参数进行编码。

在此,由于针对各预测单位的预测参数一般与针对位于该预测单位的附近的预测单位的预测参数之间存在相关,因此针对属于上述第1组的各预测单位而选出的预测参数对属于上述第2组的各预测单位而言也是适当的预测参数的可能性高。即,对属于上述第2组的各预测单位而言,从上述缩减集之中选出的预测参数是适当的预测参数的可能性高。因此,根据上述的构成,能不使编码效率降低地进行预测参数的编码。

另外,在上述的构成中,上述缩减集是包含由上述第1选择单元选出的预测参数中的至少一部分在内的缩减集,且是由上述基本集中所含的预测参数的个数以下的预测参数组成的集合,因此能削减用于表示针对属于上述第2组的各预测单位而选择了哪些预测参数的信息的码量。

因此,根据上述的构成,能在不牺牲编码效率的前提下削减用于指定预测参数的码量。

另外,本发明所涉及的图像编码装置是一种对输入图像与预测图像之差进行编码的图像编码装置,其特征在于,包括:选择单元,其从包含用于对位于该预测单位的附近的编码完成的预测单位上的预测图像的生成方法进行指定的预测参数中的至少一部分在内的缩减集之中,选择用于对各预测单位上的预测图像的生成方法进行指定的预测参数;和预测参数编码单元,其对上述选择单元针对各预测单位选择了哪些预测参数进行编码。

一般而言,针对各预测单位的预测参数与针对位于该预测单位的附近的预测单位的预测参数之间存在相关。因此,在该预测单位上的预测图像的生成中,上述缩减集包含预测参数的可能性最高。另外,由于上述缩减集由针对位于该预测单位的附近的预测单位的预测参数中的至少一部分构成,因此上述缩减集中所含的预测参数的个数少于由针对该预测单位以外的预测单位的预测参数构成的参数集之中所含的预测参数的个数。

因此,本发明所涉及的图像编码装置通过采取上述的构成,能在不牺牲编码效率的前提下生成码量少的编码数据。

另外,本发明所涉及的图像解码装置是一种对通过将原图像与预测图像之差、与表示针对各预测单位选择了用于指定预测图像的生成方法的多个预测参数中的哪些预测参数的选择信息一起编码而得到的编码数据进行解码的解码装置,其特征在于,包括:分类单元,其将构成预测图像的多个单位区域的每一个中所含的多个预测单位分类为第1组或第2组;第1选择单元,其参考针对属于上述第1组的各预测单位的选择信息,从由预先规定的预测参数组成的基本集之中,选择用于对属于第1组的各预测单位上的预测图像的生成方法进行指定的预测参数;和第2选择单元,其参考针对属于上述第2组的各预测单位的选择信息,从包含由上述第1选择单元选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于第2组的各预测单位上的预测图像的生成方法进行指定的预测参数。

根据上述那样构成的图像解码装置,能够从包含由上述第1选择单元针对属于与该第2组为同一单位区域中的第1组的各预测单位而选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于上述第2组的各预测单位上的预测图像的生成方法进行指定的预测参数。

在此,由于针对各预测单位的预测参数一般与针对位于该预测单位的附近的预测单位的预测参数之间存在相关,因此针对属于上述第1组的各预测单位而选出的预测参数对属于上述第2组的各预测单位而言也是适当的预测参数的可能性高。因此,根据上述的构成,能不使编码效率降低地根据码量更少的选择信息来进行预测参数的解码。

另外,本发明所涉及的图像解码装置是一种对通过将输入图像与预测图像之差、与表示针对各预测单位选择了用于指定预测图像的生成方法的多个预测参数中的哪些预测参数的选择信息一起编码而得到的编码数据进行解码的图像解码装置,其特征在于,包括:选择单元,其参考上述选择信息,从包含用于对位于该预测单位的附近的解码完成的预测单位上的预测图像的生成方法进行指定的预测参数中的至少一部分在内的缩减集之中,选择用于对各预测单位上的预测图像的生成方法进行指定的预测参数。

一般而言,针对各预测单位的预测参数与针对位于该预测单位的附近的预测单位的预测参数之间存在相关。因此,上述缩减集包含对该预测单位上的预测图像的生成而言最适合的预测参数的可能性高。另外,由于上述缩减集由针对位于该预测单位的附近的预测单位的预测参数中的至少一部分构成,因此上述缩减集中所含的预测参数的个数少于由针对该预测单位以外的预测单位的预测参数构成的参数集之中所含的预测参数的个数。

因此,具有与上述的构成对应的构成的图像编码装置能在不牺牲编码效率的前提下生成码量少的编码数据。

具有上述的构成的图像解码装置能对像这样码量少的编码数据进行解码。

另外,本发明所涉及的编码数据的数据结构是一种对通过将输入图像与预测图像之差、与表示针对各预测单位选择了用于指定预测图像的生成方法的多个预测参数中的哪些预测参数的选择信息一起编码而得到的编码数据的数据结构,其特征在于,包含选择信息,即,在对上述编码数据进行解码的图像解码装置中,为了从包含用于对位于该预测单位的附近的解码完成的预测单位上的预测图像的生成方法进行指定的预测参数中的至少一部分在内的缩减集之中选择用于对各预测单位上的预测图像的生成方法进行指定的预测参数而参考的选择信息。

一般而言,针对各预测单位的预测参数与针对位于该预测单位的附近的预测单位的预测参数之间存在相关。因此,上述缩减集包含对该预测单位上的预测图像的生成而言最适合的预测参数的可能性高。另外,由于上述缩减集由针对位于该预测单位的附近的预测单位的预测参数中的至少一部分构成,因此上述缩减集中所含的预测参数的个数少于由针对该预测单位以外的预测单位的预测参数构成的参数集之中所含的预测参数的个数。

因此,具有上述的构成的编码数据是在不牺牲编码效率的前提下削减了码量的编码数据。

发明效果

如上所述,本发明所涉及的图像编码装置是一种对输入图像与预测图像之差进行编码的图像编码装置,包括:分类单元,其将预测图像分割为多个单位区域,并将各单位区域中所含的多个预测单位分类为第1组或第2组;第1选择单元,其从由预先规定的预测参数组成的基本集之中,选择用于对属于上述第1组的各预测单位上的预测图像的生成方法进行指定的预测参数;第2选择单元,其从包含由上述第1选择单元选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于上述第2组的各预测单位上的预测图像的生成方法进行指定的预测参数;和预测参数编码单元,其对上述第1选择单元针对属于上述第1组的各预测单位选择了哪些预测参数、以及上述第2选择单元针对属于上述第2组的各预测单位选择了哪些预测参数进行编码。

根据上述那样构成的图像编码装置,能在不牺牲编码效率的前提下削减用于指定预测参数的码量。

附图说明

图1是实施方式所涉及的运动图像解码装置的构成的框图。

图2是表示实施方式所涉及的运动图像解码装置所具备的mb解码部的构成的框图。

图3是表示实施方式所涉及的运动图像解码装置所具备的预测参数解码部的构成的框图。

图4是用于说明预测参数解码部所具备的组判定部的动作的图。(a)~(b)示出了宏块中所含的16个子块各自基于分类方法a而被分类为第1组和第2组中的任一者的情况,(c)~(d)示出了各子块基于分类方法b而被分类的情况,(e)~(f)示出了各子块基于分类方法c而被分类的情况。

图5是将在h.264/mpeg-4avc规格中的帧内预测中所使用的帧内预测模式、与对各预测模式所赋予的索引号一起表示的图。

图6是用于说明预测参数解码部所具备的缩减集导出部的动作的图。(a)是表示缩减集导出部中的缩减集的生成动作的第1例的流程图,(b)是表示缩减集导出部中的缩减集的生成动作的第2例的流程图,(c)是表示缩减集导出部中的缩减集的生成动作的第3例的流程图。

图7是表示预测参数解码部所具备的第2预测参数解码部中的解码处理的流程的一例的流程图。

图8是用于说明预测参数解码部的其他的构成例的图。(a)是表示由缩减集导出部执行的缩减集的生成动作的流程图,(b)示出了附近子块区域的一例。

图9是用于说明由mb解码部所具备的预测图像生成部执行的预测图像的生成处理的图,示出了作为4×4像素的预测对象子块的各像素、以及该预测对象子块的周边的像素。

图10是表示实施方式所涉及的运动图像编码装置的构成的框图。

图11是表示实施方式所涉及的运动图像编码装置所具备的mb编码部的构成的框图。

图12是表示mb编码部所具备的预测参数决定部的构成的框图。

图13是用于说明mb编码部所具备的预测参数决定部的动作的图。(a)示出了第1预测参数决定部针对构成宏块mb的各子块中属于第1组的各子块而选出的预测模式的例子,(b)示出了在将(a)所示的各预测模式作为预测参数进行了提供的情况下由缩减集导出部生成的缩减集的一例,(c)示出了第2预测参数决定部针对属于第2组的各子块而从(b)所示的缩减集之中选出的预测模式的例子。

图14是表示mb编码部所具备的预测参数编码部的构成的框图。

图15是表示由实施方式所涉及的运动图像编码装置生成的在实施方式所涉及的运动图像解码装置中所参考的编码数据的每个宏块的比特流结构的图。

图16是表示基本参数集的其他的例子的图。(a)示出了重视水平方向的参数集的一例,(b)示出了重视垂直方向的参数集的一例。

具体实施方式

(运动图像解码装置)

参照图1~图9来说明实施方式所涉及的运动图像解码装置(图像解码装置)1的构成。运动图像解码装置1是其中一部分使用了h.264/mpeg-4avc规格中所采用的技术的运动图像编码装置。

运动图像解码装置1,简言之,是通过对所输入的编码数据#1进行解码来生成并输出解码图像#2的装置。

另外,运动图像解码装置1将编码数据#1所示的图像上的单位区域分割为多个预测对象区域(预测单位),使用按该预测对象区域的每一个而生成的预测图像,来生成解码图像#2。

尽管下面以将上述单位区域作为h.264/mpeg-4avc规格中的宏块、且将上述预测对象区域作为宏块内的子块的情况为例来进行说明,但本发明并不局限于此。例如,上述单位区域可以设为比宏块大的区域,还可以设为多个宏块重复那样的区域。

图1是表示运动图像解码装置1的构成的框图。如图1所示,运动图像解码装置1具备:可变长码解复用部11、报头信息解码部12、mb设定部13、mb解码部14、以及帧存储器15。

将输入至运动图像解码装置1的编码数据#1向可变长码解复用部11进行输入。可变长码解复用部11通过对所输入的编码数据#1进行解复用,来将编码数据#1分离成与报头信息相关的编码数据即报头编码数据#11a、以及与宏块(单位区域)相关的编码数据即mb编码数据#11b,并分别将报头编码数据#11a输出至报头信息解码部12,将mb编码数据#11b输出至mb设定部13。

在报头信息解码部12中,根据报头编码数据#11a来对报头信息#12进行解码。在此,报头信息#12是包含输入图像的尺寸在内的信息。

在mb设定部13中,基于所输入的报头信息#12,将mb编码数据#11b分离成与各个宏块对应的编码数据#13,并对mb解码部14依次输出。

mb解码部14通过对所输入的与各个宏块对应的编码数据#13依次解码,来生成并输出与各个宏块对应的解码图像#2。另外,还将解码图像#2对帧存储器15进行输出。mb解码部14的构成将后述,故在此省略说明。

在帧存储器15中记录解码图像#2。在帧存储器15中,在对特定的宏块进行解码的时间点上,记录与光栅扫描顺序下位于该宏块之前的全部宏块对应的解码图像。

在mb解码部14针对图像内的全部宏块执行的宏块单位的解码图像生成处理结束的时间点上,在运动图像解码装置1中完成与所输入的编码数据对应的解码图像#2的生成处理。

(mb解码部14)

以下,替换参照的附图来具体说明mb解码部14。

图2是表示mb解码部14的构成的框图。如图2所示,mb解码部14具备:子块分割部141、预测残差解码部142、子块解码图像生成部143、预测参数解码部144、预测图像生成部145、以及mb解码图像生成部146。

子块分割部141在宏块单位的编码数据#13被输入的时间点上启动,并以给定的顺序来依次输出用于表示构成宏块(单位区域)的各子块(各预测对象区域)在该宏块内的位置的子块位置信息#141a、以及与子块位置信息#141a所示的子块相关的编码数据即子块编码数据#141b。此外,至宏块的子块的分割方法能应用在生成编码数据#1的运动图像编码装置中所使用的方法。

另外,优选将子块分割部141设为如下构成:在输出了与属于后述的第1组的子块相关的子块位置信息#141a以及子块编码数据#141b之后,输出与属于后述的第2组的子块相关的子块位置信息#141a以及子块编码数据#141b。例如,优选设为如下构成:以光栅扫描顺序来扫描属于第1组的子块,接下来,以光栅扫描顺序来扫描属于第2组的子块。另外,子块分割部141可以按照与在生成编码数据#1的运动图像编码装置中所使用的顺序相同的顺序,来对子块位置信息#141a、以及子块编码数据#141b进行输出。

预测残差解码部142通过对所输入的子块编码数据#141b应用可变长码解码,来生成表示所输入的子块位置信息#141a的针对子块的变换系数。另外,预测残差解码部142通过对生成的变换系数应用与子块位置信息#141a所示的子块的尺寸为同一尺寸的dct(离散余弦变换)的逆变换,来生成并输出解码残差#142。

预测参数解码部144基于子块位置信息#141a、以及子块编码数据#141b,来解码并输出针对各子块的预测参数#144。

在此,预测参数是指在预测图像的生成中所使用的参数。作为预测参数的例子,例如可列举帧内预测中的预测模式、运动补偿预测中的运动矢量、亮度补偿预测中的权重系数等。

另外,预测参数#144包括:从后述的第1预测参数解码部43输出的预测参数#43、以及从后述的第2预测参数解码部45输出的预测参数#45。关于预测参数解码部144的具体的构成以及动作将后述,故在此省略说明。

预测图像生成部145基于预测参数#144、解码图像#2、以及帧存储器15中所记录的解码图像#15,来生成并输出与预测对象子块对应的预测图像#145。关于预测图像生成部145中的预测图像#145的具体的生成方法将后述,故在此省略说明。

子块解码图像生成部143通过对解码残差#142加上预测图像#145,来生成并输出子块单位的解码图像即子块解码图像#143。

mb解码图像生成部146通过按每个宏块来蓄积子块单位的子块解码图像#143,并对构成宏块的全部子块解码图像#143进行合并,来生成并输出宏块单位的解码图像#2。所生成的解码图像#2还被提供给预测图像生成部145。

(预测参数解码部144)

接下来,参照图3来说明预测参数解码部144的构成。

图3是表示预测参数解码部144的构成的框图。如图3所示,预测参数解码部144具备:组判定部41、切换部42、第1预测参数解码部43、缩减集导出部44、以及第2预测参数解码部45。

(组判定部41)

组判定部41判定子块位置信息#141a所示的子块属于预先规定的多个组中的哪一个组,并将表示判定结果的组信息#41对切换部42进行输出。

在此,上述预先规定的多个组是指,例如在生成编码数据#1的运动图像编码装置中对各子块进行分类而得到的多个组。即,在生成编码数据#1的运动图像编码装置中,属于某宏块mb的子块sb1~sbns(ns是属于宏块mb的子块的总数)的每一个基于给定的分类方法而被分类为组gp1~gpm(m是将属于宏块mb的子块进行分类后的组的总数)中的任一者、且子块sbn被分类为组gpm的情况下,上述组判定部例如基于上述给定的分类方法,判定为子块位置信息#141a所示的子块sbn属于组gpm。

以下,以将各子块分类成2个组的情况为例,参照图4(a)~(f)来进行说明。

图4(a)~(b)是表示宏块mb中所含的16个子块各自基于分类方法a而被分类为第1组和第2组中的任一者的图,图4(c)~(d)是表示各子块基于分类方法b而被分类的情况的图,图4(e)~(f)是表示各子块基于分类方法c而被分类的情况的图。

宏块mb中所含的各子块,可以如图4(a)~(b)所示,按照各组中所含的子块的配置呈格子旗状的方式被分类为第1组或第2组,也可以如图4(c)~(d)所示,按照各组中所含的子块仅横向相邻的方式被分类,还可以如图4(e)~(f)所示,按照各组中所含的子块仅纵向相邻的方式被分类。

一般而言,根据宏块内的预测参数在空间上的相关不同,最佳的分类方法不同。上述的分类方法a即使在纵向以及横向中的任一者的空间相关存在的情况下也是有效的分类方法。另一方面,在该宏块内存在斜向的边缘那样的情况下,上述的分类方法b以及分类方法c有效。

无论使用哪一种分类方法,从图4(a)~(f)均可以明确,各子块根据在宏块mb内的位置而被分类为第1组和第2组中任一者。

组判定部41参考子块位置信息#141a,基于在生成编码数据#1的运动图像编码装置中所使用的分类方法,判定子块位置信息#141a所示的子块属于第1组和第2组中的哪一组。

例如,在生成编码数据#1的运动图像编码装置中,如图4(a)~(b)所示,基于分类方法a,属于宏块mb的子块sb1被分类为第2组、且子块sb2被分类为第1组的情况下,组判定部41基于该分类方法a,通过参考子块位置信息#141a,来判定为子块sb2属于第1组,判定子块sb1属于第2组。针对宏块mb中所含的其他的子块也相同。

另外,在生成编码数据#1的运动图像编码装置中按每个宏块使用不同的分类方法的情况下,优选使编码数据#1包含表示每个宏块使用了哪一种分类方法的标志。通过参考这样的标志,即使在分类方法按每个宏块而不同的情况下,组判定部41也能进行基于了在上述运动图像编码装置中所使用的分类方法的判定。

此外,尽管在上述的说明中将宏块中所含的子块的个数设为了16个,但本发明并不局限于此(下同)。另外,宏块mb中的子块的分类方法不局限于上述的例子,还可以是其他的分类方法。例如,可以是属于第1组的子块的个数与属于第2组的子块的个数彼此不同那样的分类方法(下同)。

(切换部42)

切换部42基于组信息#41,将与子块位置信息#141a所示的子块相关的编码数据即子块编码数据#141b传送给第1预测参数解码部43或第2预测参数解码部45的任一个参数解码部。

具体而言,在组判定部41中判定为子块位置信息#141a所示的子块属于第1组的情况下,切换部42将上述子块编码数据#141b传送给第1预测参数解码部43,而在组判定部41中判定为子块位置信息#141a所示的子块属于第2组的情况下,切换部42将上述子块编码数据#141b传送给第2预测参数解码部45。

(第1预测参数解码部43)

第1预测参数解码部43通过进行上述子块编码数据#141b的解码,来在生成编码数据#1的运动图像编码装置中解码并输出在子块位置信息#141a所示的子块(预测对象子块)的预测中所使用的预测参数#43。

更具体而言,第1预测参数解码部43首先将在预测对象子块的上方或左方的子块的预测中所使用的、解码完成的预测参数,设定为针对该预测对象子块的估计值。

接下来,第1预测参数解码部43对子块编码数据#141b中所含的标志进行解码。

在该标志表示使用了估计值的情况下,将上述估计值设定为针对预测对象子块的预测参数,而在该标志表示未使用估计值的情况下,将从上述标志以外的部分解码出的预测参数设定为针对预测对象子块的预测参数。

此外,在预测对象子块的上方或左方的子块未被解码的情况下,将在预测对象子块的上方或左方的解码完成的、离预测对象子块最近的子块的预测中所使用的预测参数,作为上述估计值进行参考即可。

此外,解码得到的预测参数#43还被提供给缩减集导出部44。

通过以上的动作,对缩减集导出部44提供从属于第1组的各子块解码而得到的预测参数#43。

(缩减集导出部44)

缩减集导出部44蓄积预测参数#43,来生成经缩减的预测参数集rs(以下,称为“缩减集rs”)。在此,缩减集rs是指,包含从属于第1组的各子块解码的预测参数#43的集合。另外,在缩减集rs中还可以包含预测参数#43以外的预测参数。

另外,在从属于第1组的多个子块中解码出相同的预测参数那样的情况下,缩减集导出部44按照对该相同的预测参数只包含1个的方式,来生成缩减集rs即可。换言之,缩减集导出部44按照预测参数不重复的方式来生成缩减集rs即可。例如,在从属于第1组的子块sb1~sb16中的子块sb1~sb8分别解码出预测参数pp1、且从子块sb9~sb16分别解码出预测参数pp2的情况下,缩减集导出部44按照将预测参数pp1以及预测参数pp2各含1个的方式来生成缩减集rs。

以下,以预测参数是h.264/mpeg-4avc规格中的帧内预测模式的情况为例,参照图5以及图6(a)~(c)来说明由缩减集导出部44执行的缩减集rs的生成动作。

图5是表示在h.264/mpeg-4avc规格中的帧内预测中所使用的帧内预测模式(以下,称为“预测模式”)、以及对各预测模式所赋予的索引号的图。各帧内预测模式表征在帧内预测中是使用的预测方向,如图5所示,在h.264/mpeg-4avc规格中,使用8个方向的预测模式(与索引号0、1、3~8对应)、以及dc预测模式(与索引号2对应)。以下,将由索引号i指定的预测模式表征为预测模式i。另外,将由预测模式0~预测模式8构成的参数集称为基本参数集。

(缩减集rs的生成例1)

图6(a)是表示缩减集导出部44中的缩减集rs的生成动作的第1例的流程图。

如图6(a)所示,首先,缩减集导出部44通过将缩减集rs设定为空,来进行缩减集rs的初始化(步骤s101)。

接下来,缩减集导出部44将从属于第1组的各子块解码出的预测参数#43追加至缩减集rs中(步骤s102)。例如,在从属于第1组的各子块解码出预测模式1、预测模式6、以及预测模式8的情况下,缩减集导出部44将预测模式1、预测模式6、以及预测模式8追加至缩减集rs中。

通过进行以上的动作,在第1例中,缩减集导出部44能生成由从属于第1组的各子块解码出的预测参数#43构成的缩减集rs。

一般而言,对于构成宏块的各子块而言为最佳的预测参数彼此存在相关。因此,针对属于第1组的各子块而选择的预测参数对属于第2组的各子块而言也是最佳的预测参数的可能性高。另外,上述缩减集rs中所含的预测模式的个数少于基本参数集中所含的预测参数的个数。

因此,生成编码数据#1的运动图像编码装置通过采取与本例的构成对应的构成,能在不牺牲编码效率的前提下生成码量少的编码数据#1。另外,运动图像解码装置1通过采取本例的构成,能对如此生成的码量少的编码数据#1进行解码。

(缩减集rs的生成例2)

图6(b)是表示缩减集导出部44中的缩减集rs的生成动作的第2例的流程图。

如图6(b)所示,首先,缩减集导出部44通过将缩减集rs设定为空,来进行缩减集rs的初始化(步骤s201)。

接下来,缩减集导出部44将追加参数集as追加至缩减集rs中(步骤s202)。在此,优选在追加参数集as中含有带被频繁使用的倾向的预测参数。一般而言,在h.264/mpeg-4avc规格的预测模式中,由更小的索引号指定的预测模式在帧内预测中更具有被频繁使用的倾向,因此优选含有由索引号0~8中小的索引号指定的预测模式。例如,优选将追加参数集as构成为包含预测模式0(垂直方向预测模式)、预测模式1(水平方向预测模式)、以及预测模式2(dc预测模式)。

另外,可以优选将追加参数集as构成为包含预测模式0、预测模式1、以及预测模式2中的至少1种预测模式。

接下来,缩减集导出部44将从属于第1组的各子块解码出的预测参数#43追加至缩减集rs中(步骤s203)。其中,缩减集导出部44针对预测参数#43中的已包含在缩减集rs中的预测参数,为避免重复而不追加至缩减集rs中。例如,在预测参数#43是预测模式1以及预测模式4、且在缩减集rs中已含有预测模式1以及预测模式2那样的情况下,缩减集导出部44仅在缩减集rs中追加预测模式4即可。

通过进行以上的动作,在第2例中,缩减集导出部44能生成由从属于第1组的各子块解码出的预测参数#43、以及追加参数集中所含的预测模式构成的缩减集rs。

通过像上述那样构筑缩减集rs,能生成由从属于第1组的各子块解码出的预测参数#43、以及存在被频繁使用的倾向的预测模式构成的缩减集rs。

因此,生成编码数据#1的、具备像本例那样动作的缩减集导出部的运动图像编码装置能生成预测残差的码量更少的编码数据#1。另外,具备像本例那样动作的缩减集导出部44的运动图像解码装置1能对这样的预测残差的码量更少的编码数据#1进行解码。

(缩减集rs的生成例3)

图6(c)是表示缩减集导出部44中的缩减集rs的生成动作的第3例的流程图。

如图6(c)所示,首先,缩减集导出部44通过将缩减集rs设定为空,来进行缩减集rs的初始化(步骤s301)。

接下来,缩减集导出部44将从属于第1组的各子块解码出的预测参数#43追加至缩减集rs中(步骤s302)。

接下来,缩减集导出部44判定log2(np-1)是否为整数(步骤s303)。在此,np是缩减集rs中所含的预测参数的个数。

在log2(np-1)是整数的情况下(步骤s303的“是”),缩减集导出部44输出缩减集rs。

在log2(np-1)不是整数的情况下(步骤s303的“否”),缩减集导出部44将给定的预测参数追加至缩减集中(步骤s304),并再次进行步骤s303的处理。在此,作为上述给定的预测参数,例如,取基本参数集中所含的预测模式0~预测模式8中的、未包含在缩减集rs中且索引号最小的预测模式即可。

如上所述,由更小的索引号指定的预测模式在帧内预测中有被更频繁使用的倾向。因此,缩减集导出部44在本步骤中将帧内预测中有被更频繁使用的倾向的预测模式追加至缩减集中。

通过进行以上的动作,在第3例中,缩减集导出部44能生成包含从属于第1组的各子块解码出的预测参数#43在内的、包含2n+1个(n是整数)预测参数的缩减集rs。

一般而言,在将预测参数与表示是否与估计值相同的标志一起进行可变长编码的情况下,预测参数的个数为2n+1个(n是整数)的情况较之于预测参数的个数不为2n+1个的情况,存在对预测参数进行可变长编码时的压缩效率得以提高的倾向。

因此,缩减集导出部44通过进行上述的动作,能生成可变长编码时的压缩效率高的缩减集rs。故生成编码数据#1的、具备像本例那样动作的缩减集导出部的运动图像解码装置能生成压缩效率高的编码数据#1。另外,具备像本例那样动作的缩减集导出部44的运动图像解码装置1能对这样的压缩效率高的编码数据#1进行解码。

另外,在预测参数#43的个数不是2n+1个(n是整数)的情况下,缩减集导出部44能按照包含上述给定的预测参数的方式来生成缩减集rs,因此能生成包含带被更频繁使用的倾向的预测模式在内的缩减集rs。

(缩减集rs的生成例4)

在图6(a)~(c)所示的3种缩减集rs的生成例中,缩减集导出部44均是将从属于第1组的各子块解码出的预测参数#43中去除了重复的预测参数后的全部种类的预测参数追加至缩减集rs中。但还可以构成为:关于从属于第1组的子块解码出的预测参数,不是追加全部种类而是仅追加一部分种类。

具体而言,可以构成为:在从属于第1组的子块解码出的预测参数的集合中,仅将出现比例高于给定值的预测参数追加至缩减集rs中。在此,预测参数的出现比例例如能通过将属于第1组的子块中的分配有该预测参数的子块的个数除以属于第1组的全部子块的个数来定义。例如,若属于第1组的全部子块的个数为nf,且属于第1组的子块中的、解码出且分配有预测参数pa子块的个数为npa,则预测参数p的出现比例能通过npa/nf来定义。另外,上述出现比例还能通过百分率来表现。

另外,若以8个子块(子块sb1~sb8)属于第1组的情况来更具体地说明本生成例,则如下所示。

例如,在对子块sb1、sb2、sb3、sb4解码出预测模式0、对子块sb5、sb6解码出预测模式1、对子块sb7解码出预测模式2、对子块sb8解码出预测模式3、且将上述给定值设定为40%的情况下,仅将上述出现比例为50%的预测模式0追加至缩减集rs中。另一方面,在将上述给定值设定为20%的情况下,将上述出现比例为50%的预测模式0、以及上述出现比例为25%的预测模式1追加至缩减集rs中。

一般而言,在宏块中所含的子块的个数多的情况下,还会产生因在缩减集rs中含有多个预测参数而难以高效地削减码量的状况。

根据本生成例,缩减集导出部44在从属于第1组的子块解码出的预测参数的集合中仅将出现比例高于给定值的预测参数追加至缩减集rs中,因此能解决在子块的个数多的情况下会产生难以高效地削减码量的状况的上述的课题。

以上,如在缩减集rs的生成例1~4中说明的那样,缩减集rs能基于属于第1组的预测参数而生成。更严格地讲,缩减集rs至少能基于属于第1组的预测参数的种类、和属于第1组的各预测参数的出现比例中的至少一者而生成。

(第2预测参数解码部45)

接下来,参照图7来说明第2预测参数解码部45的动作。第2预测参数解码部45对子块编码数据#141b中所含的针对各子块的编码数据之中的、在组判定部41中判定为属于第2组的各子块的预测中所使用的预测参数p进行解码。

换言之,第2预测参数解码部45将子块编码数据#141b中所含的与预测参数相关的信息即与针对属于第2组的各子块的预测参数相关的信息作为参考,来对在属于第2组的各子块的预测中所使用的预测参数p进行解码。

另外,将解码出的预测参数p作为预测参数#45进行输出。

图7是表示第2预测参数解码部45中的解码处理的流程的一例的流程图。

如图7所示,首先,第2预测参数解码部45对缩减集rs中所含的预测参数的个数n进行计数(步骤s501)。

接下来,第2预测参数解码部45判定缩减集rs中所含的预测参数的个数n是否为1(步骤s502)。

在n=1的情况下(步骤s502的“是”),第2预测参数解码部45将缩减集中所含的唯一的预测参数设定为预测参数p(步骤s503)。

在并非n=1的情况下(步骤s502的“否”),第2预测参数解码部45导出预测参数估计值q(步骤s504)。在此,预测参数估计值q是指,在与预测对象子块的上侧或左侧相邻的子块的预测中所使用的预测参数。另外,在与预测对象子块的上侧或左侧相邻的子块未被解码的情况下,将在预测对象子块的上方或左方的解码完成且离预测对象子块最近的子块的预测中所使用的预测参数设为上述估计值q即可。

接下来,第2预测参数解码部45对表示解码对象的预测参数与预测参数估计值q是否相同的标志进行解码,并将解码出的值代入变量a中(步骤s505)。

以下,以预测参数估计值q与缩减集rs中所含的任一个预测参数相同的情况为例来进行说明。另外,以下,变量a的值为1的情况对应于解码对象的预测参数与预测参数估计值q相同的情况,变量a的值不为1的情况对应于解码对象的预测参数与预测参数估计值q不相同的情况,以此为前提来进行说明。

接下来,第2预测参数解码部45判定变量a的值是否为1(步骤s506)。

在变量a的值为1的情况下(步骤s506的“是”),将预测参数估计值q设定为预测参数p(步骤s507)。

在变量a的值不为1的情况下(步骤s506的“否”),第2预测参数解码部45进行缩减集rs中所含的预测参数的个数n是否为2的判定(步骤s508)。

在n=2的情况下(步骤s508的“是”),第2预测参数解码部45将缩减集rs中所含的与预测参数估计值q不一致的预测参数设定为预测参数p(步骤s509)。

在并非n=2的情况下(步骤s508的“否”),第2预测参数解码部45对ceil(log2(n-1))比特的长度的比特串进行解码,并将解码出的值代入变量b中(步骤s510)。在此,ceil(…)是将括弧内的值以上的整数中最小的整数取为值的上取整函数(下同)。因此,ceil(…)在括弧内的值为正的情况下,还能表现为对括弧内的值进行向上取整数的函数。

例如,在n=5的情况下,第2预测参数解码部45对ceil(log2(5-1))=2比特的长度的比特串进行解码,并将解码出的值代入变量b中。在此,变量b的值与比特串的长度为2比特相对应,取b=0、1、2、3中的任一值。

接下来,第2预测参数解码部45将缩减集rs中所含的与预测参数估计值q不一致的预测参数中具有第(b+1)小的索引号的预测参数设定为预测参数p(步骤s511)。

例如,在变量b的值为0的情况下,第2预测参数解码部45将缩减集rs中所含的与预测参数估计值q不一致的预测参数中具有第1小的索引号的预测参数设定为预测参数p。

此外,在通过步骤s504中说明的处理而导出的预测参数估计值q与缩减集rs中所含的任一预测参数均不同的情况下,使用缩减集rs中所含的预测参数中的被赋予了最小索引号的预测参数来作为上述预测参数估计值q即可。

以上是由第2预测参数解码部45执行的解码处理的一例。第2预测参数解码部将通过上述那样的处理而解码出的预测参数p作为预测参数#45进行输出。

如上所述,运动图像解码装置1是一种对通过将原图像与预测图像之差、与表示针对各预测单位选择了用于指定预测图像的生成方法的多个预测参数中的哪些预测参数的选择信息一起编码而得到的编码数据进行解码的运动图像解码装置,其特征在于具备:分类单元(组判定部41),其将构成预测图像的多个单位区域的每一个中所含的多个预测单位分类为第1组或第2组;第1选择单元(第1预测参数解码部43),其参考上述选择信息中的、针对属于第1组的各预测单位的选择信息即第1选择信息(子块编码数据#141b中所含的与预测参数相关的信息,是与针对属于第1组的各子块的预测参数相关的信息),从由预先规定的预测参数组成的基本集之中,选择用于对属于第1组的各预测单位上的预测图像的生成方法进行指定的预测参数;和第2选择单元(第2预测参数解码部45),其参考上述选择信息中的、针对属于第2组的各预测单位的选择信息,即第2选择信息(子块编码数据#141b中所含的与预测参数相关的信息,是与针对属于第2组的各子块的预测参数相关的信息),从包含由上述第1选择单元(第1预测参数解码部43)选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集rs之中,选择用于对属于第2组的各预测单位上的预测图像的生成方法进行指定的预测参数。

(预测参数解码部144的其他的构成例)

尽管在与预测参数解码部144相关的上述的说明中描述了缩减集导出部44按每个宏块来生成缩减集rs的构成,但本发明并不局限于此。

在预测参数解码部144中,例如可以构成为:缩减集导出部44按每个子块来生成缩减集rs,第2预测参数解码部45基于按每个子块而生成的缩减集rs,来解码针对预测对象子块的预测参数。

在这样的构成中,缩减集导出部44如图8(a)所示,能通过进行以下的处理来生成缩减集rs。

(步骤s701)

首先,缩减集导出部44通过将缩减集rs设定为空,来进行缩减集rs的初始化。

(步骤s702)

接下来,缩减集导出部44将由预测对象子块的周边的子块构成的区域设定为附近子块区域nsr。

图8(b)是表示附近子块区域nsr的一例的图。如图8(b)所示,附近子块区域nsr例如能由预测对象子块周边的、离预测对象子块的距离在以子块为单位时是1~3市区距离以内的子块构成。在此,市区距离是通过2点间座标的各座标之差的绝对值之和来定义的距离。

另外,如图8(b)所示,附近子块区域nsr一般可以包含属于预测对象子块所属宏块以外的宏块的子块。

(步骤s703)

接下来,缩减集导出部44将针对附近子块区域nsr中所含的各子块的预测参数之中的解码完成的预测参数追加至缩减集rs中。

此外,在相同的预测参数对应了附近子块区域nsr中所含的多个子块的情况下,缩减集导出部44仅将该相同的参数追加1个至缩减集rs中即可。

通过进行以上的动作,缩减集导出部44能按每个宏块来生成缩减集rs。另外,第2预测参数解码部45能基于按每个子块而生成的缩减集rs,来解码针对预测对象子块的预测参数。

一般而言,针对预测对象子块的预测参数与针对该预测对象子块的周边的子块的预测参数之存在相关。因此,通过上述的处理而生成的缩减集rs中所含的预测参数包括对属于第2组的子块的预测而言最适合的预测参数的可能性高。另外,通过上述的处理而生成的缩减集rs中所含的预测参数的个数一般少于对第1组而言可选的预测参数的个数。

因此,生成编码数据#1的运动图像编码装置通过采取与上述的构成对应的构成,能在不牺牲编码效率的前提下生成码量少的编码数据#1。另外,运动图像解码装置1通过采取上述的构成,能对如此生成的码量少的编码数据#1进行解码。

此外,在针对附近子块区域nsr中所含的多个子块,不存在解码完成的预测参数的情况下,第2预测参数解码部45例如构成为从基本参数集之中选择预测参数即可。

另外,本构成例中的缩减集导出部44可以构成为:通过与在(缩减集rs的生成例1)~(缩减集rs的生成例4)中说明的处理几乎同样的处理,来导出缩减集rs。在此情况下,将(缩减集rs的生成例1)~(缩减集rs的生成例4)中的“第1组”改称为本构成例中的“附近子块区域nsr”。

另外,尽管在上述的说明中将缩减集rs设为了对第2组使用,但本发明并不局限于此。上述的处理能对宏块内的全部子块进行应用。即,可以构成为:针对宏块内的全部子块,基于按每个子块而生成的缩减集rs,来对预测参数进行解码。

生成编码数据#1的运动图像编码装置通过采取与上述的构成对应的构成,能进一步削减针对宏块内的全部子块的预测参数的码量。因此,上述运动图像编码装置能生成码量更少的编码数据#1。另外,运动图像解码装置1通过采取上述的构成,能对如此生成的编码数据#1进行解码。

(预测图像生成部145)

以下,说明预测图像生成部145中的预测图像#145的生成处理。

预测图像生成部145根据预测参数#144所示的预测方向(预测模式),例如按如下方式来生成预测图像#145(预测对象子块)中的各像素(预测对象像素)的预测像素值。此外,以下,以预测参数#144是图5所示的预测模式0~预测模式8中的任一种的情况为例来进行说明。

预测图像生成部145在对预测对象像素分配了预测参数#144所示的预测模式后,进行以下的动作。

·在所分配的预测模式是预测模式2(dc预测)以外的情况下,预测图像生成部145将预测对象像素的像素位置设为起点,并将位于朝着预测方向的反方向的虚拟线段上的解码完成像素中的、离该像素最近的像素(以下,称为最接近像素)的像素值设为该预测对象像素的像素值。另外,可以将使用最接近像素的像素值以及最接近像素的周边的像素的像素值而计算的值设为该预测对象像素的像素值。

·在所分配的预测模式是预测模式2、且与预测对象子块的上侧相邻的子块(以下,称为上子块)以及与左侧相邻的子块(以下,称为左子块)处于解码完成的情况下,将上子块的最下侧一行的像素的像素值与左子块的最右侧一列的像素的像素值的平均值设为预测对象像素的像素值。

·在所分配的预测模式是预测模式2、且上子块处于解码完成而左子块处于解码未完成的情况下,将上子块的最下侧一行的像素的像素值与预测对象子块的左方的且离预测对象子块最近的子块(以下,称为左最接近子块)内的最右侧一列的像素的像素值的平均值设为预测对象像素的像素值。

·在所分配的预测模式是预测模式2、且上子块处于解码未完成而左子块处于解码完成的情况下,将预测对象子块的上方的且离预测对象子块最近的子块(以下,称为上最接近子块)内的最下侧一行的像素的像素值与左子块的最右侧一列的像素的像素值的平均值设为预测对象像素的像素值。

·在所分配的预测模式是预测模式2、且上子块以及左子块均处于解码未完成的情况下,将上最接近子块的最下侧一行的像素的像素值与左最接近子块的最右侧一列的像素的像素值的平均值设为预测对象像素的像素值。

以下,参照图9来具体说明在预测对象子块为4×4像素的情况下由预测图像生成部145执行的预测图像#145的生成处理的例子。

图9是表示4×4像素的预测对象子块的各像素(预测对象像素)、以及该预测对象子块的周边的像素(参考像素)的图。如图9所示,对预测对象像素赋予标号a~p,对参考像素赋予标号a~m,并将像素x(x是a~p、a~m中的任一个)的像素值表征为x。另外,设参考像素a~m均处于解码完成。

(预测模式0)

在所分配的预测模式是预测模式0的情况下,预测图像生成部145通过以下的式子来生成像素值a~p

a,e,i,m=a,

b,f,i,n=b,

c,g,k,o=c,

d,h,l,p=d。

(预测模式2)

在所分配的预测模式是预测模式2(dc预测)的情况下,预测图像生成部145通过以下的式子来生成像素值a~p

a~p=ave(a,b,c,d,i,j,k,l)。

在此,ave(…)表示对括弧内中所含的元素取平均。

(预测模式4)

在所分配的预测模式是预测模式4的情况下,预测图像生成部145通过以下的式子来生成像素值a~p

d=(b+(c×2)+d+2)>>2,

c,h=(a-+(b×2)+c+2)>>2,

b,g,l=(m+(a×2)+b+2)>>2,

a,f,k,p=(i+(m×2)+a+2)>>2,

e,j,o=(j+(i×2)+m+2)>>2,

i,n=(k+(j×2)+i+2)>>2,

m=(l+(k×2)+j+2)>>2。

在此,“>>”表示右移位运算,对于任意的正整数x、s,x>>s的值等于对x÷(2^s)的小数部分去掉后的值。

另外,预测图像生成部145针对上述的预测模式以外的预测模式,也能通过同样的方法来计算像素值a~p。

<与运动图像解码装置相关的附记事项>

尽管以上针对本发明所涉及的运动图像解码装置进行了说明,但本发明并不局限于以上的构成。

(附记事项1)

例如,第2预测参数解码部45可以构成为:根据编码数据#1中所含的标志,来切换在对预测参数#45进行解码时是否利用缩减集rs。

更具体而言,第2预测参数解码部45例如可以构成为:在编码数据#1中所含的标志的值是1的情况下,使用缩减集rs来对预测参数#45进行解码,而在编码数据#1中所含的标志的值是0的情况下,取代缩减集rs而使用基本参数集来对预测参数#45进行解码。

通过设为这样的构成,能减少在对预测参数#45进行解码时的处理量。

(附记事项2)

另外,第2预测参数解码部45可以构成为:根据宏块中所含的子块的个数,来切换在对预测参数#45进行解码时是否利用缩减集rs。

更具体而言,可以构成为:在宏块中所含的子块的个数为16个以上的情况下,使用缩减集rs来对预测参数#45进行解码,而在宏块中所含的子块的个数小于16个的情况下,取代缩减集rs而使用基本参数集来对预测参数#45进行解码。

通过设为这样的构成,能减少对预测参数#45进行解码时的处理量。

(附记事项3)

另外,尽管在以上的说明中使用了图5所示那样的预测参数的集合来作为基本参数集,但本发明并不局限于此。

例如,预测参数解码部144可以构成为:使用图16(a)所示那样的重视水平方向的参数集、或图16(b)所示那样的重视垂直方向的参数集来作为基本参数集。

更具体而言,预测参数解码部144例如可以构成为:在宏块内存在水平方向的边缘那样的情况下,使用图16(a)所示那样的重视水平方向的参数集来作为基本参数集,而在宏块内存在垂直方向的边缘那样的情况下,使用图16(b)所示那样的重视垂直方向的参数集来作为基本参数集。

另外,可以构成为:在选择性地使用这样多个基本参数集、且图16(a)或(b)所示的参数集被选为基本参数集的情况下,第2预测参数解码部45使用缩减集rs来对预测参数#45进行解码,而在将图5所示的参数集被选为基本参数集的情况下,第2预测参数解码部45取代缩减集rs而使用该基本参数集来对预测参数#45进行解码。

通过设为这样的构成,能根据宏块内的图像的特性来利用缩减集rs。

(运动图像编码装置)

以下,参照图10~图14来说明本实施方式所涉及的运动图像编码装置(图像编码装置)2。图10是表示运动图像编码装置2的构成的框图。如图10所示,运动图像编码装置2具备:报头信息决定部21、报头信息编码部22、mb决定部23、mb编码部24、可变长码复用部25、mb解码部26、以及帧存储器27。

运动图像编码装置2,简言之,是通过对输入图像#100进行编码来生成并输出编码数据#1的装置。

报头信息决定部21基于输入图像#100来决定报头信息。所决定的报头信息作为报头信息#21被输出。在报头信息#21中含有输入图像#100的图像尺寸。报头信息#21不仅被输入至mb决定部23,还被提供给报头信息编码部22。

报头信息编码部22对报头信息#21进行编码,并对编码完成报头信息#22进行输出。编码完成报头信息#22被提供给可变长码复用部25。

mb决定部23基于报头信息#21,来将输入图像#100分割成多个宏块,并输出与各宏块相关的宏块图像#23。宏块图像#23被依次提供给mb编码部24。

mb编码部24对被依次输入的宏块图像#23进行编码,来生成mb编码数据#24。所生成的mb编码数据#24被提供给可变长码复用部25。关于mb编码部24的构成将后述,故在此省略说明。

可变长码复用部25通过对编码完成报头信息#22与mb编码数据#24进行复用,来生成并输出编码数据#1。

mb解码部26通过对所输入的与各个宏块对应的mb编码数据#24依次进行解码,来生成并输出与各个宏块对应的解码图像#26。解码图像#26被提供给帧存储器27。

在帧存储器27中记录所输入的解码图像#26。在对特定的宏块进行编码的时间点上,记录有与光栅扫描顺序下位于该宏块之前的全部宏块对应的解码图像。

(mb编码部24)

以下,替换参照的附图来更具体说明mb编码部24。

图11是表示mb编码部24的构成的框图。如图11所示,mb编码部24具备:子块分割部241、预测参数决定部242、预测参数编码部243、预测残差生成部244、变换系数编码部245、预测残差解码部246、子块解码图像生成部247、预测图像生成部248、以及mb编码数据生成部249。

子块分割部241将宏块图像#23分割成多个子块,并以给定的顺序来依次输出用于表示构成宏块的各子块在该宏块内的位置的子块位置信息#241a、以及与子块位置信息#241a所示的子块相关的图像数据即子块图像#241b。

此外,优选将子块分割部241设为如下构成:在输出了与属于后述的第1组的子块相关的子块位置信息#241a以及子块图像#241b之后,输出与属于后述的第2组的子块相关的子块位置信息#241a以及子块图像#241b。例如,优选设为如下构成:以光栅扫描顺序来扫描属于第1组的子块,接下来,以光栅扫描顺序来扫描属于第2组的子块。

预测参数决定部242决定并输出在与子块位置信息#241a所示的子块相关的预测图像的生成中所使用的预测参数#242。另外,预测参数编码部243对预测参数#242进行编码,并输出编码预测参数#243。关于预测参数决定部242以及预测参数编码部243的构成将后述,故在此省略说明。

预测残差生成部244基于子块位置信息#241a来确定作为预测对象的子块,并生成该子块中的、子块图像#241b与由预测图像生成部248生成的预测图像#248之间的差分图像即预测残差#244。

变换系数编码部245对预测残差#244应用与子块的尺寸为相同尺寸的频率变换,来生成预测残差#244的变换系数。

另外,变换系数编码部245在对上述变换系数进行量化来生成量化变换系数#245a后,对该量化变换系数#245a应用cabac或cavlc等可变长编码方法来生成可变长码,并将该可变长码作为编码数据#245b进行输出。

预测残差解码部246对量化变换系数#245a进行逆量化,其后,通过应用频率变换的逆变换(频率逆变换),来生成并输出解码残差#246。

此外,由预测残差生成部244、变换系数编码部245、以及预测残差解码部246执行的上述的处理并不限定本发明。例如,变换系数编码部245可以省略上述频率变换而对预测残差直接进行量化。

子块解码图像生成部247能过对预测图像#248与解码残差#246进行相加,来生成并输出子块解码图像#247。

预测图像生成部248基于预测参数#242、解码图像#27、以及子块解码图像#247,来生成并输出与预测对象子块对应的预测图像#248。预测图像生成部248中的预测图像#248的具体的生成方法例如能应用与在上述的预测图像生成部145中的预测图像#145的生成方法同样的方法。

mb编码数据生成部249通过蓄积与各子块相关的编码数据#245b、以及与各子块相关的编码预测参数#243,并合并成宏块单位,来生成并输出宏块单位的编码数据即mb编码数据#24。

以下,替换参照的附图,来说明预测参数决定部242、以及预测参数编码部243。

(预测参数决定部242)

图12是表示预测参数决定部242的构成的框图。如图12所示,预测参数决定部242具备:组判定部51、切换部52、第1预测参数决定部53、缩减集导出部54、以及第2预测参数决定部55。

组判定部51将子块位置信息#241a所示的子块分类为多个组中的任一组,并对切换部52输出表示分类结果的组信息#51。

组判定部51,例如能如已说明的图4(a)~(f)那样,将各子块分类为第1组或第2组的任一者。

另外,组判定部51可以按每个宏块来使用不同的分类方法,将各子块分类为多个组中的任一组。例如可以构成为:将构成宏块mb1的各子块如图4(a)~(b)所示分类为2个组,且将构成与宏块mb1不同的宏块mb2的各子块如图4(c)~(d)所示分类为2个组。如此,在对各宏块使用多种分类方法中的任一种分类方法的情况下,优选使组判定部51输出用于表示使用了哪一种分类方法的标志。通过将该标志传输至对编码数据#1进行解码的运动图像解码装置,该运动图像解码装置能识别在组判定部51中使用了哪一种分类方法。

切换部52基于组信息#51,将与子块位置信息#241a所示的子块相关的编码数据即子块编码数据#241b传输至第1预测参数决定部53或第2预测参数决定部55的任一参数决定部。

具体而言,在子块位置信息#241a所示的子块在组判定部51中被分类为第1组的情况下,切换部52将上述子块编码数据#241b传送给第1预测参数决定部53,而在组判定部51中判定为将子块位置信息#241a所示的子块分类为第2组的情况下,切换部52将上述子块编码数据#241b传送给第2预测参数决定部55。

第1预测参数决定部53基于解码图像#27、子块解码图像#247、以及子块编码数据#241b,来决定(选择)并输出在与属于第1组的各子块相关的预测图像的生成中所使用的预测参数#53。另外,预测参数#53还被提供给缩减集导出部54。

例如,在预测参数是h.264/mpeg-4avc规格中的帧内预测模式的情况下,第1预测参数决定部53针对属于第1组的各子块,选择并输出与已说明的图5所示的基本参数集之中的任一预测模式。

此外,尽管第1预测参数决定部53中的具体的预测参数#53的决定方法并不限定本发明,但第1预测参数决定部53例如针对属于第1组的各子块按照该子块中的预测图像与输入图像#100之间的差分最小的方式来决定预测参数#53即可。例如,第1预测参数决定部53设为如下构成即可:针对属于第1组的子块sb1,在使用基本参数集之中的预测模式1而生成的预测图像与输入图像#100之间的差分最小那样的情况下,对该子块sbi选择预测模式1,且针对属于第1组的子块sb2,在使用基本参数集之中的预测模式2而生成的预测图像与输入图像#100之间的差分最小那样的情况下,对该子块sb2选择预测模式2。

图13(a)是表示第1预测参数决定部53针对构成宏块mb的各子块中属于第1组的各子块而选择的预测模式的例子的图。在图13(a)所示的例子中,由第1预测参数决定部53针对属于第1组的各子块选择了预测模式1、预测模式6、或预测模式8中的任一种预测模式。在本例中,预测模式1、预测模式6、以及预测模式8作为预测参数#53被提供给缩减集导出部54。

通过以上的动作,对缩减集导出部54提供与属于第1组的各子块相关的预测参数#53。

缩减集导出部54的构成与已说明的缩减集导出部44相同。即,缩减集导出部54使用预测参数#53来生成缩减集rs。缩减集导出部54中的缩减集rs的生成方法与已说明的缩减集导出部44中的缩减集rs的生成方法相同。

此外,在缩减集导出部54中选择性地使用多种生成方法那样的情况下,优选使缩减集导出部54输出用于表示选择了哪一种生成方法的标志。通过将该标志传输至对编码数据#1进行解码的运动图像解码装置,该运动图像解码装置能识别在缩减集导出部54中使用了哪一种生成方法。

图13(b)是表示在将图13(a)所示的各预测模式作为预测参数#53进行了提供的情况下由缩减集导出部54生成的缩减集rs的一例的图。如图13(b)所示,在本例中,缩减集rs由预测模式1、预测模式8、以及预测模式6构成。

第2预测参数决定部55从缩减集rs中所含的预测参数中选择并输出在与属于第2组的各子块相关的预测图像的生成中所使用的预测参数#55。

尽管第2预测参数决定部55中的具体的预测参数#55的决定方法并不限定本发明,但第2预测参数决定部55例如针对属于第2组的各子块从缩减集rs中所含的预测参数中选择能最适当地生成该子块中的预测图像的预测参数#55即可。

图13(c)是表示第2预测参数决定部55针对构成宏块mb的各子块中属于第2组的各子块来从图13(b)所示的缩减集rs中选择的预测模式的例子的图。如图13(c)所示,针对属于第2块的各子块,选择了图13(b)所示的缩减集rs中所含的预测模式1、预测模式6、或预测模式8中的任一种预测模式。

一般而言,对于构成宏块的各子块而言为最佳的预测参数彼此存在相关。因此,针对属于第1组的各子块所选择的预测参数对属于第2组的各子块而言也是最佳的预测参数的可能性高。

另外,如上所述,第2预测参数决定部55从缩减集rs中所含的预测参数中选择针对属于第2组的各子块的预测参数#55,因此较之于不使用缩减集rs的情况,能削减预测参数#55的码量。

例如,如后所述,在将预测模式与表示是否与估计值相同的标志一起编码的情况下,图13(b)所示的缩减集rs中所含的3种预测模式能使用ceil(log2(3-1))=1比特的码量来编码。另一方面,在第2预测参数决定部55不使用缩减集rs而从由9种预测模式构成的基本参数集之中选择预测参数的情况下,将需要ceil(log2(9-1))=3比特的码量。另外,上述的例中,由于第2组由8个子块构成,因此通过使用缩减集rs,较之于不使用缩减集rs的情况,针对每个宏块能削减3×8-1×8=16比特的码量。

一般而言,在将预测参数与表示是否与估计值相同的标志一起编码的情况下,若将对于属于第1组的各子块而言可选的预测参数的个数表征为nfs、将缩减集rs中所含的预测参数的个数表征为nrs、且将第2组中所含的子块的个数表征为ngs,则通过使用缩减集rs,较之于不使用缩减集rs的情况,针对每个宏块能削减ngs×(ceil(log2(nfs-1))-ceil(log2(nrs-1)))比特的码量。

如此,通过使用缩减集rs,能在不牺牲编码效率的前提下削减预测参数的编码所需的码量。

(预测参数决定部242的其他的构成例)

尽管在与预测参数决定部242相关的上述的说明中描述了缩减集导出部54按每个宏块来生成缩减集rs的构成,但本发明并不局限于此。

即,可以在预测参数决定部242中设为如下构成:缩减集导出部54按每个子块来生成缩减集rs,第2预测参数决定部55基于按每个子块而生成的缩减集rs,来决定针对预测对象子块的预测参数。

在这样的构成中,缩减集导出部54构成为进行与在(预测参数解码部144的其他的构成例)的(步骤s701)~(步骤s703)中说明的缩减集导出部44的动作同样的动作即可。其中,在(预测参数解码部144的其他的构成例)的(步骤s701)~(步骤s703)中的解码完成的预测参数,在本例中与编码完成的预测参数对应。

由此,缩减集导出部54能按每个子块来生成缩减集rs。另外,第2预测参数决定部55能基于按每个子块而生成的缩减集rs,来决定针对预测对象子块的预测参数。

一般而言,针对预测对象子块的预测参数与针对该预测对象子块的周边的子块的预测参数之间存在相关。因此,通过上述的处理而生成的缩减集rs中所含的预测参数包括对属于第2组的子块的预测而言最适合的预测参数的可能性高。另外,通过上述的处理而生成的缩减集rs中所含的预测参数的个数一般少于对第1组而言可选的预测参数的个数。

因此,运动图像编码装置1通过采取上述的构成,能在不牺牲编码效率的前提下生成码量少的编码数据#1。

此外,在针对附近子块区域nsr中所含的多个子块不存在编码完成的预测参数的情况下,第2预测参数决定部55例如构成为从基本参数集之中选择预测参数即可。

另外,本构成例中的缩减集导出部54可以构成为:通过与在(缩减集rs的生成例1)~(缩减集rs的生成例4)中说明的处理几乎同样的处理,来导出缩减集rs。在此情况下,将(缩减集rs的生成例1)~(缩减集rs的生成例4)中的“第1组”改称为本构成例中的“附近子块区域nsr”。

另外,尽管在上述的说明中将缩减集rs设为了对第2组使用,但本发明并不局限于此。上述的处理能对宏块内的全部子块进行应用。即,可以构成为:针对宏块内的全部子块,基于按每个子块而生成的缩减集rs,来决定预测参数。

通过采取上述的构成,能削减针对宏块内的全部子块的预测参数的码量。因此,运动图像编码装置1通过采取上述的构成,能生成码量更少的编码数据#1。

(预测参数编码部243)

接下来,参照图14来说明预测参数编码部243。图14是表示预测参数编码部243的构成的框图。如图14所示,预测参数编码部243具备:组判定部61、切换部62、第1预测参数编码部63、缩减集导出部64、以及第2预测参数编码部65。

组判定部61是与已说明的组判定部51几乎同样的构成。即,组判定部61将子块位置信息#241a所示的子块分类为预先规定的多个组中的任一组,并将表示分类结果的组信息#61对切换部62进行输出。此外,组判定部61使用与在组判定部51中所使用的分类方法为相同的分类方法,来将各子块分类为预先规定的多个组中的任一组即可。

切换部62基于组信息#61,来将与子块位置信息#241a所示的子块相关的预测参数#242传送至第1预测参数编码部63或第2预测参数编码部65的任一参数编码部。

具体而言,在子块位置信息#241a所示的子块在组判定部61中被分类为第1组的情况下,切换部62将上述预测参数#242传送至第1预测参数编码部63以及缩减集导出部64,而在子块位置信息#241a所示的子块在组判定部61中被分类为第2组的情况下,切换部62将上述预测参数#242传送至第2预测参数编码部65。

第1预测参数编码部63通过对与属于第1组的各子块相关的预测参数#242进行编码,来生成并输出编码预测参数#63。

具体而言,第1预测参数编码部63首先将针对属于第1组的各子块的周边的子块而选出的预测参数设定为针对该子块的估计值。

接下来,第1预测参数编码部63对表示针对该子块而选出的预测参数是否与估计值不同的标志进行编码,进而在针对该子块而选出的预测参数与估计值不同的情况下对该预测参数进行编码。

在此,在从基本参数集之中选择了各子块的预测参数的情况下,预测参数包含标志在内,能通过1比特或4比特的码来表现。

如上所述,通过进行使用了估计值的编码,能提高在对与属于第1组的各子块相关的预测参数#242进行编码时的压缩率。

此外,第1预测参数编码部63可以构成为将与属于第1组的各子块相关的预测参数#242直接进行编码。

缩减集导出部64使用与属于第1组的子块相关的预测参数#242来生成缩减集rs。缩减集导出部64中的缩减集rs的生成方法与在已说明的缩减集导出部44中的缩减集rs的生成方法相同,故在此省略说明。

第2预测参数编码部65通过对缩减集rs中所含的预测参数,即针对属于第2组的各子块而选出的预测参数进行编码,来生成并输出编码预测参数#65。

具体而言,第2预测参数编码部65首先将针对属于第2组的各子块的周边的子块而选出的预测参数设定为针对该子块的估计值。

在缩减集rs中所含的预测参数数nrs为1的情况下,不进行任何编码而结束第2预测参数的编码处理。

接下来,第2预测参数编码部65对表示针对该子块而选出的预测参数是否与估计值不同的标志进行编码,进而在针对该子块而选出的预测参数与估计值不同的情况下对该预测参数进行编码。

在此,在nrs为2的情况下,结束第2预测参数的编码处理。

在除此之外的情况下,缩减集中所含的预测参数能通过ceil(log2(nrs-1))比特的码来表现。

另外,缩减集rs中所含的预测参数的个数nrs一般少于对第1组而言可选的预测参数的个数。

因此,通过使用缩减集rs,能以更少的码量来编码针对属于第2组的各子块而选出的预测参数。

另外,如上所述,通过进行使用了估计值的编码,能提高在对与属于第2组的各子块相关的预测参数#242进行编码时的压缩率。

此外,第2预测参数编码部65可以构成为:将针对属于第2组的各子块而选出的预测参数直接进行编码。

<与运动图像编码装置相关的附记事项>

尽管以上针对本发明所涉及的运动图像编码装置2进行了说明,但本发明不局限于以上的构成。

(附记事项1’)

例如,第2预测参数决定部55可以构成为:根据预测参数在宏块内的空间相关的大小,来判定是否利用缩减集rs,在空间相关小的情况下,不利用缩减集rs而决定预测参数#55。另外,运动图像编码装置2优选构成为:在第2预测参数决定部55不利用缩减集rs而决定预测参数#55的情况下,对表示不利用缩减集rs的标志进行编码,并传送至运动图像解码装置。

通过设为这样的构成,能在预测参数的空间相关小的情况下不使用缩减集rs而决定预测参数#55,因此能抑制用于决定预测参数的处理量。

(附记事项2’)

另外,第2预测参数决定部55可以构成为:根据宏块中所含的子块的个数,来切换在决定预测参数#55时是否利用缩减集rs。

更具体而言,可以构成为:在宏块中所含的子块的个数为16个以上的情况下,使用缩减集rs来决定预测参数#55,而在宏块中所含的子块的个数小于16个的情况下,取代缩减集rs而使用基本参数集来决定预测参数#45。

通过设为这样的构成,能在预测参数的空间相关小的情况下不使用缩减集rs而决定预测参数#55,因此能抑制用于决定预测参数的处理量。

(附记事项3’)

另外,预测参数决定部242可以构成为:使用图16(a)所示那样的重视水平方向的参数集、或图16(b)所示那样的重视垂直方向的参数集来作为基本参数集。

例如,预测参数决定部242能构成为:在宏块内存在水平方向的边缘那样的情况下,使用图16(a)所示那样的重视水平方向的参数集来作为基本参数集,而在宏块内存在垂直方向的边缘那样的情况下,使用图16(b)所示那样的重视垂直方向的参数集来作为基本参数集。

可以构成为:在选择性地使用这样多个基本参数集、且图16(a)或(b)所示的参数集被选为基本参数集的情况下,第2预测参数决定部55使用缩减集rs来决定预测参数#55,而在将图5所示的参数集被选为基本参数集的情况下,第2预测参数决定部55取代缩减集rs而使用该基本参数集来对预测参数#55进行解码。

通过设为这样的构成,能根据宏块内的图像的特性来利用缩减集rs,因此能高效地削减预测参数的码量。

(编码数据#1的数据结构)

以下,参照图15来说明由运动图像编码装置2生成的编码数据#1的数据结构。

图15是表示编码数据#1的每个宏块的比特流#mbs的比特流结构的图。如图15所示,比特流#mbs包含与宏块中所含的子块sb1~sbn(在此,n为宏块中的子块的个数)相关的信息即子块信息#sb1~#sbn(在此,n为宏块中的子块的个数)。

另外,如图15所示,各子块信息#sbn(1≤n≤n)包含:表示宏块中的子块sbn的位置的信息即子块位置信息#ln、以及表示与子块sbn建立了对应的预测参数的预测参数信息#pn。

子块位置信息#ln是在对编码数据#1进行解码的运动图像解码装置中为了确定宏块中的子块sbn的位置而参考的信息。特别在上述的运动图像解码装置1中,子块位置信息#ln是为了将子块sbn分类为组而参考的信息。

预测参数信息#pn是在对编码数据#1进行解码的运动图像解码装置中用于确定与子块sbn建立了对应的预测参数的信息。特别在上述的运动图像解码装置1中,预测参数信息#pn是表示对子块sbn所属的组而言可选的预测参数中的任一个预测参数的信息。

例如,在子块sbn属于第1组、且由对第1组而言可选的预测参数构成的预测参数集是基本参数集的情况下,预测参数信息#pn是表示基本参数集中所含的预测模式0~8中的任一个预测模式的信息。

另外,在子块sbn属于第2组的埸合的情况下,预测参数信息#pn是表示缩减集rs中所含的预测参数中的任一个预测参数的信息。

另外,在编码数据#1是通过将预测模式与表示是否与估计值相同的标志一起编码而生成的数据的情况下,预测参数信息#pn通过ceil(log2(n-1))比特的码来表现。在此,n是针对子块sbn所属的组而言可选的预测参数的个数。

一般而言,缩减集rs中所含的预测参数的个数少于对第1组而言可选的预测参数的个数。因此,编码数据#1中所含的预测参数的码量比在不使用缩减集rs的情况下少。

具体而言,在编码数据#1是通过将预测模式与表示是否与估计值相同的标志一起编码而生成的数据的情况下,预测参数信息#pn的码量较之于不使用缩减集rs的情况,少ceil(log2(nfs-1))-ceil(log2(nrs-1))比特。在此,nfs是对属于第1组的各子块而言可选的预测参数的个数,nrs是缩减集rs中所含的预测参数的个数。

如此,通过使用缩减集rs,能削减编码数据#1的码量。

此外,在编码数据#1中可以不含子块位置信息#ln。例如,若在编码时和解码时预先设定公共的子块扫描顺序,则能基于是编码数据#1中的第几个子块这样的信息来决定子块位置。

<对其他的预测参数的应用例>

尽管在以上的说明中主要以将帧内预测中的预测模式作为预测参数为例来进行了说明,但本发明并不局限于此,一般而言,对于在运动图像的编码处理/解码处理中生成预测图像时所使用的其他的参数也能适用。

以下,说明对预测参数是运动补偿预测中的运动矢量的情况的应用例、以及对预测参数是亮度补偿预测中的权重系数的情况的应用例。

(对运动矢量的应用例)

在运动补偿预测中,使用称为运动矢量的预测参数来表现在预测对象子块的预测中使用的解码完成图像上的区域的位置。

从元素的个数依赖于图像尺寸以及精度(插值精度)的预测参数集之中选择运动矢量。例如,在图像的宽度(横向的像素数)为w、高度(纵向的像素数)为h、且插值精度为0.25像素的情况下,从通过下式而定义的预测参数集s中选择运动矢量v。

s≡{v|v=((n/4),(m/4))

在此,n、m是满足0≤n<4w,0≤m<4h的整数。

在预测参数是这样的运动矢量的情况下,第1预测参数决定部53例如按属于第1组的每个子块来决定并分配运动矢量即可。另外,第1预测参数解码部43能按属于第1组的每个子块来对运动矢量进行解码。

缩减集导出部44、54能从针对属于第1组的各子块而分配的运动矢量来生成缩减集rs。另外,缩减集导出部44、54可以像已描述的那样,从针对预测对象子块的周边的子块而分配的运动矢量来生成缩减集rs。

针对运动图像解码装置1、以及运动图像编码装置2所具备的其他的各部,通过进行与在预测参数是预测模式的情况下同样的动作,能削减编码数据#1中所含的预测参数的码量。

此外,在预测参数是运动矢量的情况下,缩减集导出部44、54例如可以构成为:将使与针对预测对象子块的周边的子块而分配的运动矢量之间的差分矢量的范数为恒定值以下那样的运动矢量追加至缩减集rs中。

一般而言,在预测参数是运动矢量的情况下,预测参数集包含许多预测矢量。例如,若设w=2000、h=1000,则上述预测参数集s中所含的运动矢量的个数是8000×4000。

另一方面,关于缩减集rs中所蓄积的运动矢量的个数,属于第1组的子块的个数、或预测对象子块的周边的子块的个数成为上限。例如,即使使用了图8(b)所示的附近子块区域nsr中所含的子块,缩减集rs中所蓄积的运动矢量的个数最多是24。

因此,根据编码/解码对象的图像的特性,存在如下可能性:即使仅从针对预测对象子块的周边的子块而分配的运动矢量来生成缩减集rs,在缩减集rs中也无法蓄积足够数量的运动矢量,因此预测精度下降,残差数据的码量增大。通过将使与针对预测对象子块的周边的子块而分配的运动矢量之间的差分矢量的范数为恒定值以下那样的运动矢量追加至缩减集rs中,能在不使残差数据的码量增大的前提下削减预测参数的码量。

(对亮度补偿预测中的权重系数的应用例)

在亮度补偿预测中,使用对预测对象子块为了运动补偿预测而参考的多个参考图片的亮度的每一个乘以权重系数而得到的值,来预测该预测对象子块的亮度。

本发明还能对将预测参数设为上述权重系数的情况进行应用。例如,缩减集导出部44、54构成为从针对预测对象子块的周边的子块而分配的权重系数来生成缩减集rs即可。

此外,在对权重系数应用本发明的情况下,可以构成为:将权重系数所取的各值与预先被规定了总数的多个代表值建立对应,并将该代表值用作预测参数。

例如,在权重系数的值w能取满足0≤w≤1的全部实数值(或既定的位数的值)那样的情况下,可以构成为:将满足(n/x)≤wn≤((n+1)/x)的全部权重系数的值wn与代表值w建立对应,并将代表值w用作预测参数。在此,x是自然数,n是满足0≤n≤x-1的整数。通过进行这样的建立对应,能将满足0≤w≤1的全部实数值映射至总数为x的代表值wn的集合。另外,x的具体的值例如设定为使编码数据的码量更小即可。

如此,通过将被用作预测参数的元素的个数限制为预先规定的个数,较之于直接将权重系数用作预测参数的情况,能削减编码数据的码量。

(附记事项)

本发明所涉及的图像编码装置是一种对输入图像与预测图像之差进行编码的图像编码装置,其特征在于包括:分类单元,其将预测图像分割为多个单位区域,并将各单位区域中所含的多个预测单位分类为第1组或第2组;第1选择单元,其从由预先规定的预测参数组成的基本集之中,选择用于对属于上述第1组的各预测单位上的预测图像的生成方法进行指定的预测参数;第2选择单元,其从包含由上述第1选择单元选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于上述第2组的各预测单位上的预测图像的生成方法进行指定的预测参数;和预测参数编码单元,其对上述第1选择单元针对属于上述第1组的各预测单位选择了哪些预测参数、以及上述第2选择单元针对属于上述第2组的各预测单位选择了哪些预测参数进行编码。

根据上述那样构成的图像编码装置,从包含由上述第1选择单元针对属于与该第2组为同一单位区域中所包含的第1组的各预测单位而选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于上述第2组的各预测单位上的预测图像的生成方法进行指定的预测参数,并对上述第2选择单元选择了哪些预测参数进行编码。

在此,由于针对各预测单位的预测参数一般与针对位于该预测单位的附近的预测单位的预测参数之间存在相关,因此针对属于上述第1组的各预测单位而选出的预测参数对属于上述第2组的各预测单位而言也是适当的预测参数的可能性高。即,对属于上述第2组的各预测单位而言,从上述缩减集之中选出的预测参数是适当的预测参数的可能性高。因此,根据上述的构成,能不使编码效率降低地进行预测参数的编码。

另外,在上述的构成中,上述缩减集是包含由上述第1选择单元选出的预测参数中的至少一部分在内的缩减集,且是由上述基本集中所含的预测参数的个数以下的预测参数组成的集合,因此能削减用于表示针对属于上述第2组的各预测单位而选择了哪些预测参数的信息的码量。

因此,根据上述的构成,能在不牺牲编码效率的前提下削减用于指定预测参数的码量。

另外,优选地,上述缩减集仅包含由上述第1选择单元选出的、彼此不同的全部预测参数。

根据上述构成,由于能使缩减集中所含的预测参数的个数更少,因此能进一步削减码量。更具体而言,由于预测参数一般存在空间上的相关,因此对特定的区域内的各预测单位而言在最佳的预测参数的分布上产生了不均衡。故而,在特定的区域内,仅对基本集中所含的多样的预测参数的一部分进行利用的概率高。因此,在特定的区域内由第1选择单元选出的预测参数的集合较之于基本集中所含的预测参数的集合,其元素数更少的情况较多。由此,通过将由第1选择单元选出的不重复的全部预测参数的集合设为缩减集,能减少缩减集的元素数。

另外,优选地,上述多个单位区域的每一个是该图像编码装置中的编码单位。

根据上述构成,由于按每个编码单位(例如,h.264/mpeg-4avc规格中的宏块)执行上述缩减集的生成处理一次即可,因此能削减用于缩减集生成的处理量。

另外,优选地,在本发明所涉及的图像编码装置中,属于上述第1组的预测单位与属于上述第2组的预测单位被配置成格子棋盘状(格子旗状)。

一般而言,各预测单位中的预测参数与附近的预测单位中的预测参数之间存在相关。

根据上述的构成,由于属于上述第1组的预测单位与属于上述第2组的预测单位被配置成格子棋盘状(格子旗状),因此针对属于上述第1组的各预测单位而选出的预测参数对属于上述第2组的各预测单位而言也是适当的预测参数的可能性高。

因此,根据上述的构成,能在不牺牲编码效率的前提下削减预测参数的编码所需的码量。

另外,上述预测参数可以用于指定帧内预测中的预测模式。

根据上述的构成,能在不牺牲编码效率的前提下削减帧内预测中的预测模式的编码所需的码量。

另外,优选地,上述第2选择单元从包含由上述第1选择单元选出的预测参数在内、且包含帧内预测中的垂直方向预测模式、水平方向预测模式、以及dc预测模式中的至少任意一种的缩减集之中,选择用于对属于上述第2组的预测单位上的预测图像的生成方法进行规定的预测参数。

一般而言,垂直方向预测模式、水平方法预测模式、以及dc预测模式是在帧内预测中被选择的频度高的预测模式。

根据上述的构成,由于上述第2选择单元从包含由上述第1选择单元选出的预测参数在内、且包含帧内预测中的垂直方向预测模式、水平方向预测模式、以及dc预测模式中的至少任意一种的缩减集之中,选择用于对属于上述第2组的预测单位上的预测图像的生成方法进行规定的预测参数,因此能不使在生成属于上述第2组的预测单位上的预测图像时的预测精度降低地削减码量。

另外,可以构成为:在包含上述第1组和上述第2组在内的单位区域内的预测单位数为预先规定的阈值以上的情况下,上述第2选择单元从上述缩减集之中选择预测参数,否则,上述第2选择单元从上述基本集之中选择预测参数。

根据上述的构成,由于在单位区域内的预测单位数小于给定值的情况下能从上述基本集之中选择预测参数,因此能削减用于选择预测参数的处理量。

在本发明所涉及的图像编码装置中,可以构成为:上述基本集能按每个单位区域来进行设定,在对包含上述第1组和上述第2组在内的单位区域所设定的基本集满足特定的条件的情况下,上述第2选择单元从上述缩减集之中选择预测参数,否则,上述第2选择单元从上述基本集之中选择预测参数。

根据上述的构成,由于上述基本集能按每个单位区域来进行设定,上述第2选择单元在对包含上述第1组和上述第2组在内的单位区域所设定的基本集满足特定的条件的情况下,从上述缩减集之中选择预测参数,否则从上述基本集之中选择预测参数,因此能在削减用于选择预测参数的处理量的同时,削减码量。

另外,本发明所涉及的图像编码装置还能表现为:一种对输入图像与预测图像之差进行编码的图像编码装置,其特征在于,包括:选择单元,其从包含用于对位于该预测单位的附近的编码完成的预测单位上的预测图像的生成方法进行指定的预测参数中的至少一部分在内的缩减集之中,选择用于对各预测单位上的预测图像的生成方法进行指定的预测参数;和预测参数编码单元,其对上述选择单元针对各预测单位选择了哪些预测参数进行编码。

一般而言,针对各预测单位的预测参数与针对位于该预测单位的附近的预测单位的预测参数之间存在相关。因此,在该预测单位上的预测图像的生成中,上述缩减集包含预测参数的可能性最高。另外,由于上述缩减集由针对位于该预测单位的附近的预测单位的预测参数中的至少一部分构成,因此上述缩减集中所含的预测参数的个数少于由针对该预测单位以外的预测单位的预测参数构成的参数集之中所含的预测参数的个数。

因此,本发明所涉及的图像编码装置通过采取上述的构成,能在不牺牲编码效率的前提下生成码量少的编码数据。

另外,优选地,上述预测参数编码单元使用比表示上述第1选择单元选择了哪些预测参数的码的码长要短的码,来作为表示上述第2选择单元选择了哪些预测参数的码。

根据上述的构成,由于上述预测参数编码单元能使用比表示上述第1选择单元选择了哪些预测参数的码的码长要短的码,来作为表示上述第2选择单元选择了哪些预测参数的码,因此针对属于上述第2组的各预测单位,能使用更短码长的码来对表示选出了哪些预测参数的信息进行编码。

另外,优选地,上述第2选择单元从包含由上述第1选择单元选出的预测参数在内、且由2n+1个(n是任意的自然数)预测参数组成的缩减集之中,选择用于对属于上述第2组的预测单位上的预测图像的生成方法进行规定的预测参数。

一般而言,在对由2n+1个(n是任意的自然数)元素组成的元素群进行编码的情况下,较之于由2n+1个以外的元素组成的元素群进行编码的情况,压缩效率得以提高。

根据上述的构成,由于能从包含由上述第1选择单元选出的预测参数在内、且由2n+1个(n是任意的自然数)预测参数组成的缩减集之中,选择用于对属于上述第2组的预测单位上的预测图像的生成方法进行规定的预测参数并对选择了哪些预测参数进行编码,因此起到能提高在对预测参数进行编码时的压缩效率的进一步的效果。

另外,本发明所涉及的图像解码装置是一种对通过将原图像与预测图像之差、与表示针对各预测单位选择了用于指定预测图像的生成方法的多个预测参数中的哪些预测参数的选择信息一起编码而得到的编码数据进行解码的解码装置,其特征在于,包括:分类单元,其将构成预测图像的多个单位区域的每一个中所含的多个预测单位分类为第1组或第2组;第1选择单元,其参考针对属于上述第1组的各预测单位的选择信息,从由预先规定的预测参数组成的基本集之中,选择用于对属于第1组的各预测单位上的预测图像的生成方法进行指定的预测参数;和第2选择单元,其参考针对属于上述第2组的各预测单位的选择信息,从包含由上述第1选择单元选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于第2组的各预测单位上的预测图像的生成方法进行指定的预测参数。

根据上述那样构成的图像解码装置,能够从包含由上述第1选择单元针对属于与该第2组为同一单位区域中所包含的第1组的各预测单位而选出的预测参数中的至少一部分在内、且由上述基本集中所含的预测参数的个数以下的预测参数组成的缩减集之中,选择用于对属于上述第2组的各预测单位上的预测图像的生成方法进行指定的预测参数。

在此,由于针对各预测单位的预测参数一般与针对位于该预测单位的附近的预测单位的预测参数之间存在相关,因此针对属于上述第1组的各预测单位而选出的预测参数对属于上述第2组的各预测单位而言也是适当的预测参数的可能性高。因此,根据上述的构成,能不使编码效率降低地根据码量更少的选择信息来进行预测参数的解码。

另外,优选地,上述缩减集仅包含由上述第1选择单元选出的、彼此不同的全部预测参数。

根据上述的构成,由于能进一步削减缩减集中所含的预测参数的个数,因此能进一步削减码量。

另外,优选地,上述多个单位区域的每一个是该图像解码装置中的解码单位。

根据上述构成,由于按每个解码单位(例如,h.264/mpeg-4avc规格中的宏块)执行上述缩减集的生成处理一次即可,因此能削减用于缩减集生成的处理量。

另外,优选地,在本发明所涉及的图像解码装置中,属于上述第1组的预测单位与属于上述第2组的预测单位被配置成格子棋盘状(格子旗状)。

一般而言,各预测单位中的预测参数与附近的预测单位中的预测参数之间存在相关。

根据具有与上述的构成对应的构成的图像编码装置,由于属于上述第1组的预测单位与属于上述第2组的预测单位被配置成格子棋盘状(格子旗状),因此针对属于上述第2组的各预测单位,能选择适当的预测参数。因此,根据具有与上述的构成对应的构成的图像编码装置,能在不牺牲编码效率的前提下削减预测参数的编码所需的码量。

根据具有上述的构成的图像解码装置,能对像这样进一步削减了码量后的编码数据进行解码。

另外,在本发明所涉及的图像解码装置中,上述预测参数可以用于指定帧内预测中的预测模式。

根据上述的构成,能在不牺牲编码效率的前提下对削减了帧内预测中的预测模式的码量的编码数据进行解码。

另外,优选地,上述第2选择单元从包含由上述第1选择单元选出的预测参数在内、且包含帧内预测中的垂直方向预测模式、水平方向预测模式、以及dc预测模式中的至少任意一种的缩减集之中,选择用于对属于上述第2组的预测单位上的预测图像的生成方法进行规定的预测参数。

一般而言,垂直方向预测模式、水平方法预测模式、以及dc预测模式是在帧内预测中被选择的频度高的预测模式。

根据具有与上述的构成对应的构成的图像编码装置,由于上述第2选择单元从包含由上述第1选择单元选出的预测参数在内、且包含帧内预测中的垂直方向预测模式、水平方向预测模式、以及dc预测模式中的至少任意一种的缩减集之中,选择用于对属于上述第2组的预测单位上的预测图像的生成方法进行规定的预测参数,因此能不使在生成属于上述第2组的预测单位上的预测图像时的预测精度降低地削减码量。

根据具有上述的构成的图像解码装置,能对这样的码量少的编码数据进行解码。

另外,可以构成为:在包含上述第1组和上述第2组在内的单位区域内的预测单位数为预先规定的阈值以上的情况下,上述第2选择单元从上述缩减集之中选择预测参数,否则,上述第2选择单元从上述基本集之中选择预测参数。

根据上述的构成,由于在单位区域内的预测单位数小于给定值的情况下能从上述基本集之中选择预测参数,因此能削减用于选择预测参数的处理量。

在本发明所涉及的图像解码装置中,可以构成为:上述基本集能按每个单位区域来进行设定,在对包含上述第1组和上述第2组在内的单位区域所设定的基本集满足特定的条件的情况下,上述第2选择单元从上述缩减集之中选择预测参数,否则,上述第2选择单元从上述基本集之中选择预测参数。

根据上述的构成,由于上述基本集能按每个单位区域来进行设定,上述第2选择单元在对包含上述第1组和上述第2组在内的单位区域所设定的基本集满足特定的条件的情况下,从上述缩减集之中选择预测参数,否则从上述基本集之中选择预测参数,因此能在削减用于选择预测参数的处理量的同时,对削减了码量后的编码数据进行解码。

另外,本发明所涉及的图像解码装置还能表现为:是一种对通过将输入图像与预测图像之差、与表示针对各预测单位选择了用于指定预测图像的生成方法的多个预测参数中的哪些预测参数的选择信息一起编码而得到的编码数据进行解码的图像解码装置,其特征在于,包括:选择单元,其参考上述选择信息,从包含用于对位于该预测单位的附近的解码完成的预测单位上的预测图像的生成方法进行指定的预测参数中的至少一部分在内的缩减集之中,选择用于对各预测单位上的预测图像的生成方法进行指定的预测参数。

一般而言,针对各预测单位的预测参数与针对位于该预测单位的附近的预测单位的预测参数之间存在相关。因此,上述缩减集包含对该预测单位上的预测图像的生成而言最适合的预测参数的可能性高。另外,由于上述缩减集由针对位于该预测单位的附近的预测单位的预测参数中的至少一部分构成,因此上述缩减集中所含的预测参数的个数少于由针对该预测单位以外的预测单位的预测参数构成的参数集之中所含的预测参数的个数。

因此,具有与上述的构成对应的构成的图像编码装置能在不牺牲编码效率的前提下生成码量少的编码数据。

具有上述的构成的图像解码装置能对这样的码量少的编码数据进行解码。

另外,优选地,上述第2选择单元从包含由上述第1选择单元选出的预测参数在内、且由2n+1个(n是任意的自然数)预测参数组成的缩减集之中,选择用于对属于上述第2组的预测单位上的预测图像的生成方法进行规定的预测参数。

一般而言,在对由2n+1个(n是任意的自然数)元素组成的元素群进行编码的情况下,较之于由2n+1个以外的元素组成的元素群进行编码的情况,压缩效率得以提高。

根据上述的构成,能对像这样压缩效率高的编码数据进行解码。

另外,本发明所涉及的编码数据的数据结构是一种对通过将输入图像与预测图像之差、与表示针对各预测单位选择了用于指定预测图像的生成方法的多个预测参数中的哪些预测参数的选择信息一起编码而得到的编码数据的数据结构,其特征在于,包含选择信息,即,在对上述编码数据进行解码的图像解码装置中,为了从包含用于对位于该预测单位的附近的解码完成的预测单位上的预测图像的生成方法进行指定的预测参数中的至少一部分在内的缩减集之中选择用于对各预测单位上的预测图像的生成方法进行指定的预测参数而参考的选择信息。

一般而言,针对各预测单位的预测参数与针对位于该预测单位的附近的预测单位的预测参数之间存在相关。因此,上述缩减集包含对该预测单位上的预测图像的生成而言最适合的预测参数的可能性高。另外,由于上述缩减集由针对位于该预测单位的附近的预测单位的预测参数中的至少一部分构成,因此上述缩减集中所含的预测参数的个数少于由针对该预测单位以外的预测单位的预测参数构成的参数集之中所含的预测参数的个数。

因此,具有上述的构成的编码数据是在不牺牲编码效率的前提下削减了码量的编码数据。

本发明不局限于上述的各实施方式,能在权利要求表示的范围内进行各种变更,对不同实施方式所公开的技术手段进行适当组合而得到的实施方式也包含在本发明的技术的范围内。

工业实用性

本发明能优选地应用于对图像进行编码来生成编码数据的图像编码装置、以及对使用这样的图像编码装置而生成的编码数据进行解码的图像解码装置。

标号说明

1运动图像解码装置

14mb解码部

144预测参数解码部

41组判定部(分类单元)

42切换部

43第1预测参数解码部(第1选择单元)

44缩减集导出部

45第2预测参数解码部(第2选择单元)

2运动图像编码装置

24mb编码部

242预测参数决定部

51组判定部(分类单元)

52切换部

53第1预测参数决定部(第1选择单元)

54缩减集导出部

55第2预测参数决定部(第2选择单元)

243预测参数编码部(预测参数编码单元)

248预测图像生成部

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1