图像编码装置和图像编码方法与流程

技术领域

本发明涉及一种图像解码装置、一种图像编码装置以及一种用于图像解码和编码的方法和程序。更具体地，本发明提供了能够执行高效的解码和编码的图像解码装置和图像编码装置以及用于这样的解码和编码的方法和程序。

背景技术：

近年来，为了处置作为数字信息的图像信息并且实现高效的信息传送和积累，符合诸如用于通过使用图像信息固有的冗余经由正交变换和运动补偿来压缩图像信息的MPEG的标准的装置已在用于分送信息的广播电台以及用于接收信息的一般住宅中普及。

特别地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码技术。MPEG2压缩技术适用于隔行扫描图像和非隔行扫描图像，并且适用于标准分辨率图像和高清晰度图像。目前，MPEG2用于针对专业人员和一般消费者的范围广泛的应用。通过使用MPEG2压缩技术，例如，对具有1920×1088个像素的高分辨率的隔行扫描图像分配18至22Mbps的位率，以实现高的压缩率和出色的图像质量。

MPEG2主要设计用于广播的高质量图像编码，但是不兼容比MPEG1低的位率或者具有较高压缩率的编码技术。随着移动终端正在变得普遍，预期对这些编码技术的需求在未来会增加，并且为了满足该需求，已将MPEG4编码技术设定为标准。对于图像编码技术，ISO/IEC 14496-2标准在1998年12月被批准为国际标准。

此外，近年来，能够实现比诸如MPEG2和MPEG4的编码技术更高 的编码效率的H.264和MPEG-4Part 10(高级视频编码，以下称为H.264/AVC)已变为国际标准，尽管其需要更大的计算量用于解码。H.264/AVC基于H.26L，但是也具有H.26L不支持的功能。

专利文献1等公开了使用H.264/AVC的更高效的图像数据编码。

引用文献列表

专利文献

专利文献1：日本专利申请公开第2008-4984号

技术实现要素：

待由本发明解决的问题

在帧内预测中，已建议了一种称为MDDT(依赖模式的定向变换)的技术，其根据帧内预测的方向切换变换方法。在使用MDDT技术的情况下，难于提高编码效率，除非对根据帧内预测的方向执行的变换进行最优化。

因此，本发明的目的在于提供能够提高编码效率的图像解码装置和图像编码装置，以及用于图像解码和编码的方法和程序。

对问题的解决方案

根据本公开的一个实施例，提供了一种对图像数据进行编码的图像编码装置，其包括：预测单元，被配置成生成图像数据的预测图像数据；减法单元，被配置成生成预测误差数据，预测误差数据是图像数据和预测图像数据之间的差；以及正交变换单元，被配置成通过使用基底对每个变换块的预测误差数据执行正交变换，基底是根据预测单元生成预测图像数据时使用的预测模式预先设定的。

根据本公开的一个实施例，提供了一种用于对图像数据进行编码的图像编码方法，其包括如下步骤：生成图像数据的预测图像数据；生成预测误差数据，预测误差数据是图像数据和预测图像数据之间的差；以及通过使用基底对每个变换块的预测误差数据执行正交变换，基底是根据生成预测图像数据时使用的预测模式预先设定的。

本发明的第一方面是一种图像解码装置，其对每个变换块的预测误差数据执行正交变换，并且根据通过处理经历正交变换的系数数据而生成的编码位流对图像数据进行解码，预测误差数据是图像数据和预测图像数据之间的差。该图像解码装置包括：数据处理单元，其处理编码位流以获得经历正交变换的系数数据以及编码参数信息；逆正交变换单元，其通过使用基底对系数数据执行逆正交变换以获得预测误差数据，基底是根据编码参数信息指示的宏块中的变换块的位置预先设定的；预测图像数据生成单元，其生成预测图像数据；以及加法单元，其使预测图像数据生成单元生成的预测图像数据与逆正交变换单元获得的预测误差数据相加以对图像数据解码。

在本发明的图像解码装置中，当对通过处理编码位流而获得的经正交变换的系数数据执行逆正交变换时，通过使用根据编码位流中包含的并且被设计用于对图像数据解码的编码参数信息指示的宏块中的变换块的块位置，或者通过块位置和编码参数信息指示的预测模式预先设定的基底，来执行诸如Karhunen-Loeve逆变换的逆正交变换。当宏块包含不止一个变换块时，通过使用基底来对使用在各个变换块的正交变换之后的最低频率分量系数的块的经正交变换的系数数据执行Karhunen-Loeve逆变换，基底是根据预测模式预先设定的。逆正交变换单元使用的基底是每个变换块的预测误差数据的正交变换中使用的基底的逆矩阵。在预先提供这些基底的情况下，通过使用根据块位置等选择的基底来执行逆正交变换以生成仍未经历正交变换的预测误差数据。

本发明的第二方面是一种图像解码方法，用于对每个变换块的预测误差数据执行正交变换，并且根据通过处理经历正交变换的系数数据而生成的编码位流对图像数据进行解码，预测误差数据是图像数据和预测图像数据之间的差。该图像解码方法包括步骤：处理编码位流以获得经历正交变换的系数数据以及编码参数信息；通过使用基底对系数数据执行逆正交变换以获得预测误差数据，基底是根据编码参数信息指示的宏块中的变换块的位置预先设定的；生成预测图像数据；以及使所生成的预测图像数据与所获得的预测误差数据相加以对图像数据解码。

本发明的第三方面涉及一种程序，用于使计算机对每个变换块的预测误差数据执行正交变换，并且根据通过处理经历正交变换的系数数据而生成的编码位流对图像数据进行解码，预测误差数据是图像数据和预测图像数据之间的差。该程序使计算机：处理编码位流以获得的经历正交变换的 系数数据以及编码参数信息；通过使用基底对系数数据执行逆正交变换以获得预测误差数据，基底是根据编码参数信息指示的宏块中的变换块的位置预先设定的；生成预测图像数据；以及使所生成的预测图像数据与所获得的预测误差数据相加以对图像数据解码。

本发明的第四方面涉及一种对图像数据进行编码的图像编码装置。该图像编码装置包括：预测单元，其生成图像数据的预测图像数据；减法单元，其生成预测误差数据，预测误差数据是图像数据和预测图像数据之间的差；正交变换单元，其通过使用根据宏块中的变换块的位置预先设定的基底对每个变换块的预测误差数据执行正交变换；以及数据处理单元，其处理从正交变换单元输出的数据以生成编码位流。

在本发明的图像编码装置中，当针对每个变换块对指示图像数据和预测图像数据之间的差的预测误差数据进行正交变换时，通过使用根据宏块中的变换块的块位置或者通过块位置和当生成预测图像数据时使用的预测模式预先设定的基底来执行诸如Karhunen-Loeve变换的正交变换。当宏块包含不止一个变换块时，对在各个变换块的正交变换之后被形成为具有最低频率分量系数的块执行Karhunen-Loeve变换。在该Karhunen-Loeve变换中，使用根据预测模式预先设定的基底。该基底是与使用预先准备的多个图像来根据每个宏块尺寸、每个变换块尺寸、宏块中的每个变换块的位置、以及每个预测模式中的每个变换块中的预测误差数据计算的矩阵的特征值对应的特征向量。根据基底之间的距离或者距参考像素的距离来对基底进行编组。在预先提供这些基底的情况下，通过使用根据块位置等选择的基底来执行正交变换。此外，对经正交变换的系数数据执行诸如量化和无损编码的处理以生成编码位流。

本发明的第五方面是一种用于对图像数据进行编码的图像编码方法。该图像编码方法包括如下步骤：生成图像数据的预测图像数据；生成预测误差数据，该预测误差数据是图像数据和预测图像数据之间的差；以及通过使用根据宏块中的变换块的位置预先设定的基底对每个变换块的预测误差数据执行正交变换。

本发明的第六方面是一种用于使计算机对图像数据进行编码的程序。该程序使计算机：生成图像数据的预测图像数据；生成预测误差数据，该预测误差数据是图像数据和预测图像数据之间的差；以及通过使用根据宏块中的变换块的位置预先设定的基底对每个变换块的预测误差数据执行正交变换。

本发明的程序是一种可以经由诸如光盘、磁盘、半导体存储器或者网络的、以计算机可读形式提供的存储介质或通信介质提供给能够执行各种程序代码的通用计算机系统的程序。通过以计算机可读形式提供这种程序，在计算机系统中实现根据程序的处理。

本发明的效果

根据本发明，在图像数据编码时，通过使用根据宏块中的变换块的块位置预先设定的基底来执行正交变换。再者，在使用根据块位置预先设定的基底对通过处理经由正交变换获得的系数数据而生成的编码位流进行解码时，通过使用根据编码位流中包含的编码参数信息指示的宏块中的块位置预先设定的基底来执行逆正交变换。因此，可以使经正交变换的系数数据返回仍未经历正交变换的预测误差数据。由于如上文所述通过使用与宏块中的块位置兼容的基底来执行正交变换和逆正交变换，因此可以执行根据块位置进行最优化的变换，并且可以提高编码效率。

附图说明

图1是图示图像编码装置的结构的示图。

图2是示出4×4像素块的帧内预测模式的示图。

图3是示出预测模式和预测误差之间的关系的示图。

图4是图示在正交变换单元的KL变换的示图。

图5是图示正交变换单元的结构的示图。

图6是示出图像编码操作的流程图。

图7是示出预测操作的流程图。

图8是示出帧内预测操作的流程图。

图9是示出帧间预测操作的流程图。

图10是示出编码参数生成操作的流程图。

图11是示出正交变换操作的流程图。

图12是用于解释正交变换操作的示图。

图13是图示图像解码装置的结构的示图。

图14是图示逆正交变换单元的结构的示图。

图15是示出图像解码操作的流程图。

图16是示出逆正交变换操作的流程图。

图17是用于解释逆正交变换操作的示图。

图18是示出预测操作的流程图。

图19是示出基底学习操作的流程图。

图20是用于解释基底编组的示图。

图21是示意性示出电视机装置的示例结构的示图。

图22是示意性示出便携式电话设备的示例结构的示图。

图23是示意性示出记录/再现装置的示例结构的示图。

图24是示意性示出成像装置的示例结构的示图。

具体实施方式

下文是用于实施本发明的实施例的描述。将按如下顺序进行描述。

1.图像编码装置的结构

2.正交变换单元的结构

3.图像编码装置的操作

4.图像解码装置的结构

5.逆正交变换单元的结构

6.图像解码装置的操作

7.基底学习操作

8.软件处理的情况

9.针对电子设备的应用的情况

<1.图像编码装置的结构>

图1图示了图像编码装置的结构。图像编码装置10包括模拟/数字转换单元(A/D转换单元)11、图片重排缓冲器12、减法单元13、正交变 换单元14、量化单元15、无损编码单元16、积累缓冲器17和速率控制单元18。图像编码装置10进一步包括逆量化单元21、逆正交变换单元22、加法单元23、解块滤波器24、帧存储器27、帧内预测单元31、运动预测/补偿单元32和预测图像/最优模式选择单元33。

A/D转换单元11将模拟图像信号转换成数字图像数据，并且将图像数据输出到图片重排缓冲器12。

图片重排缓冲器12重新排列从A/D转换单元11输出的图像数据的帧。图片重排缓冲器12根据与编码操作相关的GOP(图片组)结构重新排列帧，并且将重新排列的图像数据输出到减法单元13、帧内预测单元31和运动预测/补偿单元32。

减法单元13接收从图片重排缓冲器12输出的图像数据以及由后面描述的预测图像/最优模式选择单元33选择的预测图像数据。减法单元13计算作为从图片重排缓冲器12输出的图像数据和从预测图像/最优模式选择单元33提供的预测图像数据之间的差的预测误差数据，并且将预测误差数据输出到正交变换单元14。

正交变换单元14对从减法单元13输出的预测误差数据执行正交变换操作。当进行帧内预测时，正交变换单元14根据预测模式执行正交变换操作。正交变换单元14向量化单元15输出通过执行正交变换操作获得的系数数据。

量化单元15接收从正交变换单元14输出的系数数据和从后面描述的速率控制单元18提供的速率控制信号。量化单元15对系数数据进行量化，并且将量化数据输出到无损编码单元16和逆量化单元21。基于从速率控制单元18提供的速率控制信号，量化单元15切换量化参数(量化位阶)以改变量化数据的位率。

无损编码单元16接收从量化单元15输出的量化数据，以及从后面描述的帧内预测单元31、运动预测/补偿单元32和预测图像/最优模式选择单元33提供的编码参数信息。编码参数信息包含指示预测是帧内预测还是帧间预测的信息、指示宏块尺寸的宏块信息、关于帧内预测的信息、关于帧间预测的信息等。无损编码单元16通过可变长度编码或算术编码等对量化数据执行无损编码操作以生成编码位流并且将其输出到积累缓冲器17。无损编码单元16还对编码参数信息执行无损编码，并且将得到的信息添加到例如编码位流中的报头信息。量化单元15和无损编码单元16 等同于处理从正交变换单元14输出的数据以生成编码位流的数据处理单元。

积累缓冲器17存储从无损编码单元16提供的编码位流。积累缓冲器17还根据传输路径的传输率输出所存储的编码位流。

速率控制单元18监控积累缓冲器17中的自由空间。速率控制单元18根据自由空间生成速率控制信号，并且将速率控制信号输出到量化单元15。速率控制单元18例如从积累缓冲器17获得关于自由空间的信息。当剩余的自由空间小时，速率控制单元18通过速率控制信号降低量化数据的位率。当积累缓冲器17中的剩余的自由空间充分大时，速率控制单元18通过速率控制信号增加量化数据的位率。

逆量化单元21对从量化单元15提供的量化数据进行逆量化。逆量化单元21将通过执行逆量化操作获得的系数数据输出到逆正交变换单元22。

逆正交变换单元22对从逆量化单元21提供的系数数据执行逆正交变换操作，并且将得到的数据输出到加法单元23。

加法单元23使从逆正交变换单元22提供的数据与从预测图像/最优模式选择单元33提供的预测图像数据相加以生成参考图像数据。加法单元23将参考图像数据输出到解块滤波器24和帧内预测单元31。

解块滤波器24执行滤波操作以减少在图像编码时出现的块失真。解块滤波器24执行滤波操作以从加法单元23提供的参考图像数据去除块失真，并且将经历滤波操作的参考图像数据输出到帧存储器27。

帧存储器27保存已经历滤波操作并且从解块滤波器24提供的参考图像数据。

帧内预测单元31通过使用从图片重排缓冲器12输出的并且关于待编码图像的图像数据以及从加法单元23提供的参考图像数据来执行帧内预测操作。帧内预测单元31针对正交变换中的每个变换块尺寸并且针对帧内预测中的每个预测模式执行帧内预测操作。帧内预测单元31将所生成的预测图像数据输出到预测图像/最优模式选择单元33。帧内预测单元31还生成关于帧内预测操作的编码参数信息，并且将编码参数信息输出到无损编码单元16和预测图像/最优模式选择单元33。帧内预测单元31将宏块尺寸、变换块尺寸、宏块中的变换块的位置、预测模式等并入到编码参数信息中。

帧内预测单元31还计算每个帧内预测操作中的成本函数值，并且选择具有最小成本函数值的帧内预测操作作为计算结果，或者具有最高编码效率的最优帧内预测操作。帧内预测单元31将最优帧内预测操作中的成本值和编码参数信息以及通过最优帧内预测操作生成的预测图像数据输出到预测图像/最优模式选择单元33。

运动预测/补偿单元32按与宏块对应的所有经运动补偿的块尺寸执行帧间预测操作，以生成预测图像数据并且将其输出到预测图像/最优模式选择单元33。使用已经历滤波操作并且从帧存储器27读取的参考图像数据，运动预测/补偿单元32从读取自图片重排缓冲器12并且关于待编码图像的图像中的每个经运动补偿的块尺寸的图像检测运动向量。基于检测到的运动向量，运动预测/补偿单元32进一步对参考图像执行运动补偿操作以生成预测图像数据。运动预测/补偿单元32还生成关于帧间预测操作的编码参数信息，诸如指示宏块尺寸、经运动补偿的块尺寸、运动向量等的编码参数信息。运动预测/补偿单元32将编码参数信息输出到无损编码单元16和预测图像/最优模式选择单元33。

运动预测/补偿单元32还计算每个经运动补偿的块尺寸的成本函数值，并且选择具有最小成本函数值的帧间预测操作作为计算结果，或者具有最高编码效率的帧间预测操作。运动预测/补偿单元32将最优帧间预测操作中的成本值和编码参数信息以及通过最优帧间预测操作生成的预测图像数据输出到预测图像/最优模式选择单元33。

当帧内预测单元31针对每个变换块尺寸和每个预测模式执行帧内预测操作以选择最优帧内预测操作时，预测图像/最优模式选择单元33将编码参数信息输出到正交变换单元14、无损编码单元16，并且将预测图像数据输出到减法单元13。当运动预测/补偿单元32针对每个预测块执行帧间预测操作以选择最优帧间预测操作时，预测图像/最优模式选择单元33将编码参数信息输出到正交变换单元14和无损编码单元16，并且将预测图像数据输出到减法单元13。此外，当选择最优帧内预测操作或最优帧间预测操作作为最优模式时，预测图像/最优模式选择单元33将最优帧内预测操作的成本函数值与最优帧间预测操作的成本函数值比较。基于比较结果，预测图像/最优模式选择单元33选择具有较小成本函数值的预测操作，或者具有较高编码效率的预测操作，作为最优模式，并且将在所选择的最优模式中生成的预测图像数据输出到减法单元13。再者，预测图像/最优模式选择单元33将指示最优模式中的预测操作的编码参数信息输出 到正交变换单元14和无损编码单元16。

<2.正交变换单元的结构>

在帧内预测操作中，使用相邻编码块中的像素进行预测，并且从两个或更多个预测方向中选择最优预测方向。例如，在H.264/AVC中，对于16×16个像素的块，预测模式0至预测模式3的四个模式被设定为预测模式。再者，对于8×8个像素的块，预测模式0至预测模式8的九个模式被设定为预测模式。此外，对于4×4个像素的块，预测模式0至预测模式8的九个模式被设定为预测模式。

图2示出了例如4×4个像素的块的预测模式。在下文中，简要描述了图2中所示的每个预测模式。在图2中，箭头指示预测方向。

图2(A)图示了预测模式0(竖直)。预测模式0是用于从在竖直方向上相邻的参考像素A至D生成预测值的模式。图2(B)图示了预测模式1(水平)。预测模式1是用于从如箭头指示的水平方向上相邻的参考像素I至L生成预测值的模式。图2(C)图示了预测模式2(DC)。预测模式2是用于从十三个参考像素A至M中的、在竖直方向上和在水平方向上相邻的参考像素A至D和参考像素I至L生成预测值的模式。

图2(D)图示了预测模式3(左下对角线)。预测模式3是用于从十三个参考像素A至M中的、在水平方向上连续的参考像素A至H生成预测值的模式。图2(E)图示了预测模式4(右下对角线)。预测模式4是用于从十三个参考像素A至M中的、与块相邻的参考像素A至D和I至M生成预测值的模式。图2(F)图示了预测模式5(右竖直)。预测模式5是用于从十三个参考像素A至M中的、与块相邻的参考像素A至D和I至M生成预测值的模式。

图2(G)图示了预测模式6(下水平)。如同预测模式4和预测模式5，预测模式6是用于从十三个参考像素A至M中的、与块相邻的参考像素A至D和I至M生成预测值的模式。图2(H)图示了预测模式7(左竖直)。预测模式7是用于从十三个参考像素A至M中的、位于块上方并且与块相邻的四个参考像素A至D，以及跟随四个参考像素A至D的四个参考像素E至G生成预测值的模式。图2(I)图示了预测模式8(下水平)。预测模式8是用于从十三个参考像素A至M中的、位于块左侧并且与块相邻的四个参考像素I至L生成预测值的模式。

当以该方式生成预测值时，存在许多如下情况，其中在块中的像素中，较接近预测中使用的像素的像素具有相对预测值的较小的差(预测误差)。因此，在如图3(A)中所示的其中选择预测模式0(竖直)作为最优模式的情况下，例如，像素P0至P3较之像素P12至P15具有较小的预测误差。在如图3(B)中所示的其中选择预测模式1(水平)的情况下，像素P0、P4、P8和P12较之像素P3、P7、P11和P15具有较小的预测误差。在如图3(C)中所示的其中选择预测模式4(右下对角线)的情况下，像素P0较之像素P15具有较小的预测误差。如上文所述，预测误差取决于预测模式。对于每个宏块中的块位置，存在许多如下情况，其中较接近已被编码的相邻宏块的块具有较小的预测误差，并且预测误差还取决于宏块中的块位置。因此，正交变换单元14针对每个预测模式和宏块中的将经历正交变换的每个块的位置设定最优基底。通过该方式，正交变换单元14针对预测误差对正交变换进行最优化。

在正交变换中，Karhunen-Loeve变换技术(以下称为KL变换技术)被称为最优变换技术，用于以变换系数不相关，或者实现最高编码效率的方式执行变换。然而，为了确定KL变换的基底，有必要基于预测误差生成矩阵并且计算与所生成的矩阵的特征值对应的特征向量。如果图像编码装置每次都计算基底，则图像编码装置中的计算量将变得较大。如果将计算的基底添加到编码位流，则编码效率将变得较低。因此，通过预先学习来计算关于每个宏块中的将被正交变换的每个块的位置并且关于每个预测模式的最优模式。在图像编码装置和图像解码装置中使用计算的基底的情况下，不需要图像编码装置和图像解码装置计算基底，并且可以使图像编码装置和图像解码装置的结构比用于计算基底的图像编码装置和图像解码装置的结构简单。此外，由于不需要传送基底，因此通过使用KL变换可以提高编码效率。后面将描述基底的学习。

在帧内预测中，在宏块由16×16个像素形成的情况下，作为待编码图像的块尺寸的变换块尺寸是例如16×16个像素、8×8个像素或者4×4个像素。在宏块由8×8个像素形成的情况下，变换块尺寸是例如8×8个像素或者4×4个像素。因此，在如图4中所示的宏块由16×16个像素形成的情况下，正交变换单元14被设计为能够执行与按16×16个像素、8×8个像素或者4×4个像素的块尺寸的预测模式兼容的KL变换。再者，在宏块由8×8个像素形成的情况下，正交变换单元14被设计为能够执行与按8×8个像素或者4×4个像素的块尺寸的预测模式兼容的KL变换。此外，在其中存在按宏块的变换块的情况下，正交变换单元14根据宏块 中的每个块的位置loc执行KL变换。

图5图示了使用KL变换的正交变换单元14的示例结构。正交变换单元14包括16×16KL变换单元141、8×8KL变换单元142、2×2KL变换单元143和146、4×4KL变换单元144和145、DCT单元147和系数选择单元148。

16×16KL变换单元141使用针对每个预测模式预先学习的最优基底，并且针对关于每个16×16块的预测误差数据执行KL变换。得到的系数被输出到系数选择单元148。

8×8KL变换单元142使用针对每个预测模式并且针对宏块中的每个块位置预先学习的最优基底，并且对关于每个8×8块的预测误差数据执行KL变换。在预测误差数据是与16×16个像素的块尺寸兼容的数据的情况下，每个16×16个像素的块包括四个8×8个像素的块。因此，8×8KL变换单元142将每个8×8个像素的块中的最低频率分量的系数(以下称为“最低频率分量系数”)输出到2×2KL变换单元143，并且将其他系数输出到系数选择单元148。再者，在预测误差数据是与8×8个像素的块尺寸兼容的数据的情况下，8×8KL变换单元142通过使用针对每个预测模式预先学习的最优基底，对关于每个8×8个像素的块的预测误差数据执行KL变换。8×8KL变换单元142将通过KL变换获得的系数输出到系数选择单元148。

使用与关于各个预测模式的预先学习的最优基底中的与预测模式兼容的基底，2×2KL变换单元143对从8×8KL变换单元142提供的每个2×2块的系数执行KL变换，并且将得到的系数输出到系数选择单元148。

4×4KL变换单元144使用针对每个预测模式并且针对宏块中的每个块位置预先学习的最优基底，并且对关于每个4×4个像素的块的预测误差数据执行KL变换。在预测误差数据是与16×16个像素的块尺寸兼容的数据的情况下，每个16×16个像素的块包括十六个8×8个像素的块。因此，4×4KL变换单元144将每个4×4个像素的块中的最低频率分量系数输出到4×4KL变换单元145，并且将其他系数输出到系数选择单元148。在预测误差数据是与8×8个像素的块尺寸兼容的数据的情况下，每个8×8个像素的块包括四个4×4个像素的块。因此，4×4KL变换单元144将每个4×4个像素的块中的最低频率分量系数输出到2×2KL变换单元146，并且将其他系数输出到系数选择单元148。

使用与关于各个预测模式的预先学习的最优基底中的与4×4KL变换单元144指定的预测模式兼容的基底，4×4KL变换单元145对从4×4KL变换单元144提供的4×4块的最低频率分量系数执行KL变换。4×4KL变换单元145将通过KL变换获得的系数输出到系数选择单元148。

使用与关于各个预测模式的预先学习的最优基底中的与预测模式兼容的基底，2×2KL变换单元143对从4×4KL变换单元144提供的2×2块的最低频率分量系数执行KL变换。2×2KL变换单元146将通过KL变换获得的系数输出到系数选择单元148。

DCT单元147对预测误差数据执行离散余弦变换，并且将得到的系数输出到系数选择单元148。

系数选择单元148根据宏块尺寸和变换块尺寸选择系数，变换块尺寸是与预测误差数据对应的块尺寸。在宏块尺寸是16×16个像素的情况下，系数选择单元148基于变换块尺寸选择从16×16KL变换单元141输出的系数、从8×8KL变换单元142和2×2KL变换单元143输出的系数、或者从4×4KL变换单元144和4×4KL变换单元145输出的系数。系数选择单元148将所选择的系数输出到量化单元15。

在宏块尺寸是8×8个像素的情况下，系数选择单元148基于变换块尺寸选择从8×8KL变换单元142输出的系数或者从4×4KL变换单元144和2×2KL变换单元146输出的系数。系数选择单元148将所选择的系数输出到量化单元15。当从预测图像/最优模式选择单元33提供的编码参数信息指示帧间预测模式时，系数选择单元148将从DCT单元147输出的系数输出到量化单元15。

<3.图像编码装置的操作>

接下来，描述图像编码操作。图6是示出图像编码操作的流程图。在步骤ST11中，A/D转换单元11对输入图像信号执行A/D转换。

在步骤ST12中，图片重排缓冲器12执行图像重排。图片重排缓冲器12存储从A/D转换单元11提供的图像数据，并且按编码顺序而非显示顺序重排各个图片。

在步骤ST13中，减法单元13生成预测误差数据。减法单元13通过计算在步骤ST12中重排的图像的图像数据和由预测图像/最优模式选择 单元33选择的预测图像数据之间的差来生成预测误差数据。预测误差数据具有比原始图像数据小的数据量。因此，较之其中直接对图像编码的情况，可以使数据量较小。

在步骤ST14中，正交变换单元14执行正交变换操作。正交变换单元14对从减法单元13提供的预测误差数据进行正交变换。正交变换单元14对预测误差数据执行诸如Karhunen-Loeve变换或离散余弦变换的正交变换，并且输出系数数据。后面将详细描述正交变换单元14的操作。

在步骤ST15中，量化单元15执行量化操作。量化单元15对系数数据进行量化。在量化中，如后面在步骤ST26的描述中所描述的，执行速率控制。

在步骤ST16中，逆量化单元21执行逆量化操作。逆量化单元21对具有与量化单元15的特性兼容的特性的、由量化单元15量化的系数数据进行逆量化。

在步骤ST17中，逆正交变换单元22执行逆正交变换操作。逆正交变换单元22对具有与正交变换单元14的特性兼容的特性的、由逆量化单元21逆量化的系数数据执行逆正交变换。

在步骤ST18中，加法单元23生成参考图像数据。加法单元23通过使从预测图像/最优模式选择单元33提供的预测图像数据与对应于预测图像数据并且已经历逆正交变换的块位置的数据相加，来生成参考图像数据。

在步骤ST19中，解块滤波器24执行滤波操作。解块滤波器24通过对从加法单元23输出的参考图像数据滤波来去除块失真。

在步骤ST20中，帧存储器27存储参考图像数据。帧存储器27存储经滤波的参考图像数据。

在步骤ST21中，帧内预测单元31和运动预测/补偿单元32均执行预测操作。具体地，帧内预测单元31在帧内预测模式中执行帧内预测操作，而运动预测/补偿单元32在帧间预测模式中执行运动预测/补偿操作。后面将参照图7描述预测操作。在该步骤中，在所有候选预测模式中执行预测操作，并且在所有候选预测模式中计算成本函数值。基于计算的成本函数值，选择最优帧内预测操作和最优帧间预测操作，并且通过所选择的预测操作生成的预测图像数据、成本函数和编码参数信息被提供给预测图像/最优模式选择单元33。

在步骤ST22中，预测图像/最优模式选择单元33选择图像数据，基于从帧内预测单元31和运动预测/补偿单元32输出的各个成本函数值，预测图像/最优模式选择单元33确定使编码效率最优化的最优模式。预测图像/最优模式选择单元33还选择所确定的最优模式中的预测图像数据，并且将所选择的预测图像数据提供给减法单元13和加法单元23。如上文所述，在步骤ST13和ST18中的操作中使用该预测图像数据。

在步骤ST23中，预测图像/最优模式选择单元33执行编码参数信息生成操作。预测图像/最优模式选择单元33将关于所选择的预测图像数据的编码参数信息作为关于最优模式的编码参数信息输出到正交变换单元14和无损编码单元16。

在步骤ST24中，无损编码单元16执行无损编码操作。无损编码单元16对从量化单元15输出的量化数据执行无损编码。就是说，对量化数据执行诸如可变长度编码或算术编码的无损编码以压缩数据。此时，还对如上文所述在步骤ST23中提供给无损编码单元16的编码参数信息执行无损编码。此外，将诸如编码参数信息的无损编码数据添加到通过对量化数据执行无损编码生成的编码位流中的报头信息。

在步骤ST25中，积累缓冲器17执行积累操作。积累缓冲器17存储从无损编码单元16输出的编码位流。在必要的情况下，读取积累缓冲器17中存储的编码位流并且经由传输路径将其传送到解码侧。

在步骤ST26中，速率控制单元18执行速率控制。速率控制单元18控制量化单元15的量化操作速率，使得当积累缓冲器17存储编码位流时不会在积累缓冲器17中发生过流或欠流。

现在参照图7的流程图，描述图6的步骤ST21中的预测操作。

在步骤ST31中，帧内预测单元31执行帧内预测操作。帧内预测单元31在所有候选预测模式中对当前块的图像执行帧内预测操作。在帧内预测操作中，使用从加法单元23提供的参考图像数据。在帧内预测中，如后面将描述的，在各个预测模式中执行帧内预测操作，并且计算各个预测模式中的成本函数值。基于所计算的成本函数值，选择具有最高编码效率的帧内预测操作。

在步骤ST32中，运动预测/补偿单元32进行帧间预测。使用帧存储器27中存储的经滤波的参考图像数据，运动预测/补偿单元32按各个经运动补偿的块尺寸执行帧间预测操作。在帧间预测中，按各个经运动补偿 的块尺寸以及各个预测块中的成本函数值，执行帧间预测操作。基于计算的成本函数值，选择具有最高编码效率的帧间预测操作。

现在参照图8的流程图，描述图7的步骤ST31中的帧内预测操作。

在步骤ST41中，帧内预测单元31按各个预测模式和变换块尺寸临时执行帧内预测操作。帧内预测单元31使用从加法单元23提供的参考图像数据，临时执行如下操作，其开始于生成预测图像数据和生成预测误差数据并且结束于按每个预测模式和每个变换块尺寸的无损编码。在每个帧内预测操作中，帧内预测单元31将关于帧内预测操作的编码参数信息输出到正交变换单元14和无损编码单元16。

在步骤ST42中，帧内预测单元31按每个预测模式和每个变换块尺寸计算成本函数值。如作为H.264/AVC中的参考软件的JM(联合模型)中规范的，通过高复杂度模式和低复杂度模式的技术来计算成本函数值。

具体地，在高复杂度模式中，作为步骤ST41的操作，按每个预测模式和每个变换块尺寸临时执行结束于无损编码操作的操作，以计算按每个预测模式和每个变换块尺寸的、由下式(1)表述的成本函数值：

成本(模式∈Ω)＝D+λ·R...(1)

这里，Ω表示用于对块或宏块编码的候选预测模式和变换块尺寸的全体集合。D表示在其中按预测模式和变换块尺寸执行编码的情况下，参考图像和输入图像之间的能量差(失真)。R表示所生成的编码量，其包括正交变换系数和编码参数信息，并且λ表示作为量化参数Qp的函数给出的拉格朗日乘数。

就是说，为了在高复杂度模式中执行编码，需要按所有候选预测模式和变换块尺寸执行临时编码操作以计算以上参数D和R，并且因此，需要较大的计算量。

另一方面，在低复杂度模式中，作为步骤ST41的操作，按所有预测模式和变换块尺寸执行预测图像的生成以及诸如编码参数信息的报头位的计算，并且在每个预测模式中计算由下式(2)表示的成本函数值：

成本(模式∈Ω)＝D+QPtoQuant(QP)·Header_Bit...(2)

这里，Ω表示用于对块或宏块编码的候选预测模式和变换块尺寸的全体集合。D表示在其中按预测模式和变换块尺寸执行编码的情况下，参考图像和输入图像之间的能量差(失真)。Header_Bit表示与预测模式和变 换块尺寸对应的报头位，并且QPtoQuant是作为量化参数Qp的函数给出的函数。

就是说，在低复杂度模式中，需要按每个预测模式和每个变换块尺寸的执行预测操作，但是不需要任何解码图像。因此，较之高复杂度模式中需要的计算量，计算量可以较小。

在步骤ST43中，帧内预测单元31确定最优帧内预测操作。基于在步骤ST42中计算的成本函数值，帧内预测单元31选择具有计算的成本函数值中的最小成本函数值的一个帧内预测操作，并且确定所选择的帧内预测操作是最优帧内预测操作。

现在参照图9的流程图，描述图7的步骤ST32中的帧间预测操作。

在步骤ST51中，运动预测/补偿单元32按每个经运动补偿的块尺寸临时执行帧间预测操作。使用待编码的当前块的图像数据和参考图像数据，运动预测/补偿单元32按每个经运动补偿的块尺寸临时进行运动预测。基于检测到的运动向量，运动预测/补偿单元32对参考图像数据执行运动补偿以生成预测图像数据等。在每个帧间预测操作中，运动预测/补偿单元32将关于帧间预测操作的编码参数信息输出到正交变换单元14和无损编码单元16。

在步骤ST52中，运动预测/补偿单元32计算关于每个经运动补偿的块尺寸的成本函数值。使用上述式(1)或(2)，运动预测/补偿单元32计算成本函数值。在成本函数值的计算中，使用包括编码参数信息等的所生成的编码量。帧间预测模式中的成本函数值计算牵涉H.264/AVC中规范的跳跃模式和直接模式中的成本函数值的估值。

在步骤ST53中，运动预测/补偿单元32确定最优帧间预测操作。基于在步骤ST52中计算的成本函数值，运动预测/补偿单元32选择具有计算的成本函数值中的最小成本函数值的一个帧间预测操作，并且确定所选择的帧间预测操作是最优帧间预测操作。

现在参照图10中的流程图，描述在帧内预测操作的情况下的图6的步骤ST23中的编码参数信息生成操作。如上文所述，由帧内预测单元31生成编码参数信息。在预测图像/最优模式选择单元33选择最优模式的情况下，可以由预测图像/最优模式选择单元33生成与所选择的预测操作对应的编码参数信息。

在步骤ST61中，帧内预测单元31确定宏块尺寸是否是16×16个像 素。如果宏块尺寸是16×16个像素，则帧内预测单元31移至步骤ST62，并且如果不是16×16个像素，则帧内预测单元31移至步骤ST63。

在步骤ST62中，帧内预测单元31按16×16个像素设定变换块尺寸信息，并且移至步骤ST65。在用于执行KL变换的正交变换单元14的变换块尺寸是4×4个像素的情况下，帧内预测单元31将指示变换块尺寸的变换块尺寸信息设定为“0”。在用于执行KL变换的正交变换单元14的变换块尺寸是8×8个像素的情况下，帧内预测单元31将变换块尺寸信息设定为“1”。在变换块尺寸是16×16个像素的情况下，帧内预测单元31将变换块尺寸信息设定为“2”。

在步骤ST63中，帧内预测单元31确定宏块尺寸是否是8×8个像素。如果宏块尺寸是8×8个像素，则帧内预测单元31移至步骤ST64，并且如果不是8×8个像素，则帧内预测单元31移至步骤ST65。

在步骤ST64中，帧内预测单元31按8×8个像素设定变换块尺寸信息，并且移至步骤ST65。在用于执行KL变换的正交变换单元14的变换块尺寸是4×4个像素的情况下，帧内预测单元31将变换块尺寸信息设定为“0”。在用于执行KL变换的正交变换单元14的变换块尺寸是8×8个像素的情况下，帧内预测单元31将变换块尺寸信息设定为“1”。

在步骤ST65中，帧内预测单元31生成编码参数信息。帧内预测单元31使用指示预测是帧内预测的信息、宏块尺寸、变换块尺寸信息、预测模式、宏块中的块位置等，形成编码参数信息。

现在参照图11中的流程图，描述正交变换操作。在步骤ST71中，正交变换单元14确定是否存在帧内预测。如果编码参数信息指示帧内预测，则正交变换单元14移至步骤ST72，并且如果未指示帧内预测，则正交变换单元14移至步骤ST81。

在步骤ST72中，正交变换单元14确定宏块尺寸是否是16×16个像素。如果编码参数信息指示宏块尺寸是16×16个像素，则正交变换单元14移至步骤ST73，并且如果不是16×16个像素，则正交变换单元14移至步骤ST78。

在步骤ST73中，正交变换单元14确定变换块尺寸是否是4×4个像素。如果编码参数信息指示变换块尺寸是4×4个像素，则正交变换单元14移至步骤ST74，并且如果不是4×4个像素，则正交变换单元14移至步骤ST75。

在步骤ST74中，正交变换单元14执行4×4正交变换操作。使用根据预测模式和块位置预先学习的基底，正交变换单元14对每个4×4个像素的块执行KL变换。由于16×16个像素的块包括十六个4×4个像素的块，因此这里执行十六次KL变换。此外，正交变换单元14从通过对4×4个像素的块执行KL变换获得的系数中选择最低频率分量系数，并且通过使用与预测模式兼容的基底对所选择的4×4个系数执行KL变换。正交变换单元14将通过对最低频率分量系数执行KL变换获得的系数以及最低频率分量系数以外的系数输出到量化单元15。就是说，图5中所示的正交变换单元14的系数选择单元148选择从4×4KL变换单元144和146输出的系数，并且将所选择的系数输出到量化单元15。

在步骤ST75中，正交变换单元14确定变换块尺寸是否是8×8个像素。如果编码参数信息指示变换块尺寸是8×8个像素，则正交变换单元14移至步骤ST76，并且如果不是8×8个像素，则正交变换单元14移至步骤ST77。

在步骤ST76中，正交变换单元14执行8×8正交变换操作。使用根据预测模式和块位置预先学习的基底，正交变换单元14对每个8×8个像素的块执行KL变换。由于16×16个像素的块包括四个8×8个像素的块，因此这里执行四次KL变换。此外，正交变换单元14从通过对8×8个像素的块执行KL变换获得的系数中选择最低频率分量系数，并且通过使用与预测模式兼容的基底对所选择的8×8个系数执行KL变换。正交变换单元14将通过对最低频率分量系数执行KL变换获得的系数以及最低频率分量系数以外的系数输出到量化单元15。就是说，图5中所示的正交变换单元14的系数选择单元148选择从8×8KL变换单元142和2×2KL变换单元143输出的系数，并且将所选择的系数输出到量化单元15。

在步骤ST77中，正交变换单元14执行16×16正交变换操作。使用根据预测模式预先学习的基底，正交变换单元14对16×16个像素的块执行KL变换，并且将得到的系数输出到量化单元15。就是说，图5中所示的正交变换单元14的系数选择单元148选择从16×16KL变换单元141输出的系数，并且将所选择的系数输出到量化单元15。

当从步骤ST72移至步骤ST78时，正交变换单元14确定变换块尺寸是否是4×4个像素。如果编码参数信息指示变换块尺寸是4×4个像素，则正交变换单元14移至步骤ST79，并且如果不是4×4个像素，则正交变换单元14移至步骤ST80。

在步骤ST79中，正交变换单元14执行4×4正交变换操作。使用根据预测模式和块位置预先学习的基底，正交变换单元14对每个4×4个像素的块执行KL变换。由于8×8个像素的块包括四个4×4个像素的块，因此这里执行四次KL变换。此外，从通过对4×4个像素的块执行KL变换获得的系数中选择最低频率分量系数，并且通过使用与预测模式兼容的基底对所选择的2×2个系数执行KL变换。正交变换单元14将通过对最低频率分量系数执行KL变换获得的系数以及最低频率分量系数以外的系数输出到量化单元15。就是说，图5中所示的正交变换单元14的系数选择单元148选择从4×4KL变换单元144和2×2KL变换单元146输出的系数，并且将所选择的系数输出到量化单元15。

在步骤ST80中，正交变换单元14对每个8×8个像素的块执行正交变换。使用根据预测模式预先学习的基底，正交变换单元14对8×8个像素的块执行KL变换，并且将得到的系数输出到量化单元15。就是说，图5中所示的正交变换单元14的系数选择单元148选择从8×8KL变换单元142输出的系数，并且将所选择的系数输出到量化单元15。

在步骤ST81中，正交变换单元41执行离散余弦变换(DCT)。正交变换单元14将通过离散余弦变换获得的系数输出到量化单元15。就是说，图5中所示的正交变换单元14的系数选择单元148选择从DCT单元147输出的系数，并且将所选择的系数输出到量化单元15。

图12是用于说明正交变换操作的示图。在如图12(A)中所示宏块尺寸是16×16个像素并且变换块尺寸是4×4个像素的情况下，如图12(B)中所示在宏块中包含十六个变换块。应注意，块中的数字表示块位置loc。使用针对预测模式和每个块的块位置最优化的基底，正交变换单元14的4×4KL变换单元144对每个变换块执行KL变换，以生成如图12(C)中所示的各个块的系数。此外，使用各个块中的(由阴影部分指示的)最低频率分量系数，4×4KL变换单元145形成如图12(D)中所示的4×4块。使用根据预测模式最优化的基底，4×4KL变换单元145对该块执行KL变换，并且生成如图12(E)中所示的每个块的系数。正交变换单元14将图12(E)中所示的系数以及图12(C)中的除了最低频率分量系数以外的系数输出到量化单元15。

在如图12(F)中所示宏块尺寸是8×8个像素并且变换块尺寸是4×4个像素的情况下，如图12(G)中所示在宏块中包含四个变换块。应注意，块中的数字表示块位置loc。使用针对预测模式和每个块的块位置 最优化的基底，正交变换单元14的4×4KL变换单元144对每个变换块执行KL变换，以生成如图12(H)中所示的各个块的系数。此外，使用各个块中的(由阴影部分指示的)最低频率分量系数，2×2KL变换单元146形成如图12(I)中所示的2×2块。使用根据预测模式最优化的基底，2×2KL变换单元146对该块执行KL变换，并且生成如图12(J)中所示的每个块的系数。正交变换单元14将图12(J)中所示的系数以及图12(H)中的除了最低频率分量系数以外的系数输出到量化单元15。

如上文所述，通过本发明的图像编码装置和方法，使用根据宏块中的的变换块的块位置预先设定的基底来执行图像数据编码时的正交变换。因此，可以执行根据块位置最优化的变换，并且可以提高编码效率。再者，使用不仅根据块位置而且根据预测模式预先设定的基底来执行更大程度上最优化的正交变换。因此，可以进一步提高编码效率。随着编码效率的提高，例如可以在不增加编码位流数据流的情况下提高图像质量。

<4.图像解码装置的结构>

通过对输入图像编码而生成的编码位流经由预定传输路径或记录介质等被提供给图像解码装置，并且在其中被解码。

图13图示了图像解码装置的结构。图像解码装置50包括积累缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、加法单元55、解块滤波器56、图片重排缓冲器57和数字/模拟转换单元(D/A转换单元)58。图像解码装置50进一步包括帧存储器61、帧内预测单元62、运动补偿单元63和选择器64。

积累缓冲器51存储所传送的编码位流。无损解码单元52通过与图1的无损编码单元16使用的编码技术兼容的技术对从积累缓冲器51提供的编码位流解码。

无损解码单元52对编码位流中的报头信息解码，并且将得到的编码参数信息输出到帧内预测单元62、运动补偿单元63和解块滤波器56。使用待解码的块和解码相邻块的运动向量，无损解码单元52设定预测运动向量候选者。基于通过对编码位流执行无损解码获得的预测运动向量选择信息，无损解码单元52从预测运动向量候选者中选择运动向量，并且将所选择的运动向量设定为预测运动向量。无损解码单元52使预测运动向量与对编码位流执行无损解码获得的运动向量差相加，并且计算待解码的 块的运动向量并将其输出到运动补偿单元63。

逆量化单元53使用与图1的量化单元15使用的量化技术兼容的技术，对无损解码单元52解码的量化数据进行逆量化。逆正交变换单元54通过与图1的正交变换单元14使用的正交变换技术兼容的技术对来自逆量化单元53的输出执行逆正交变换，并且将结果输出到加法单元55。

加法单元55通过使经历逆正交变换的数据与从选择器64提供的预测图像数据相加来生成解码图像数据，并且将解码图像数据输出到解块滤波器56和帧内预测单元62。

解块滤波器56对从加法单元55提供的解码图像数据执行滤波，并且去除块失真。将得到的数据提供给帧存储器61并且存储到其中，并且得到的数据还被输出到图片重排缓冲器57。

图片重排缓冲器57执行图像重排。具体地，由图1的图片重排缓冲器12执行的按编码顺序重排的帧顺序被重新排列成原始显示顺序，并且被输出到D/A转换单元58。

D/A转换单元58对从图片重排缓冲器57提供的图像数据执行D/A转换，并且将经转换的图像数据输出到显示器(未示出)以显示图像。

帧存储器61保存已经历滤波操作并且从解块滤波器24提供的解码图像数据。

基于从无损解码单元52提供的编码参数信息，帧内预测单元62生成预测图像，并且将所生成的预测图像输出到选择器64。

基于从无损解码单元52提供的编码参数信息和运动向量，运动补偿单元63执行运动补偿，以生成预测图像数据并且将其输出到选择器64。具体地，基于从无损解码单元52提供的运动向量和参考帧信息，运动补偿单元63使用运动向量对参考帧信息指示的参考图像执行运动补偿，并且生成经运动补偿的块尺寸的预测图像数据。

选择器64将帧内预测单元62生成的预测图像数据提供给加法单元55。选择器64还将运动补偿单元63生成的预测图像数据提供给加法单元55。

<5.逆正交变换单元的结构>

图14图示了逆正交变换单元54的结构。逆正交变换单元54包括16 ×16KL逆变换单元541、2×2KL逆变换单元542和545、8×8KL逆变换单元543、4×4KL逆变换单元544和546、IDCT单元547和数据选择单元548。

16×16KL逆变换单元541执行与图5中所示的16×16KL变换单元141执行的KL变换对应的KL逆变换。使用与从无损解码单元52提供的关于最优模式的编码参数信息指示的预测模式(最优预测模式)兼容的基底，16×16KL逆变换单元541对从逆量化单元53输出的逆量化数据执行KL逆变换。16×16KL逆变换单元541将通过执行KL逆变换获得的图像数据输出到数据选择单元548。

2×2KL逆变换单元542执行与图5中所示的2×2KL变换单元143执行的KL变换对应的KL逆变换。使用与最优模式编码参数信息指示的预测模式兼容的基底，2×2KL逆变换单元542对从逆量化单元53输出的逆量化数据执行KL逆变换。2×2KL逆变换单元542将通过执行KL逆变换获得的最低频率分量系数输出到8×8KL逆变换单元543。

8×8KL逆变换单元543执行与图5中所示的8×8KL变换单元143执行的KL变换对应的KL逆变换。基于从无损解码单元52提供的最优模式编码参数信息，8×8KL逆变换单元543执行KL逆变换。在宏块尺寸是例如16×16个像素的情况下，8×8KL逆变换单元543使用与最优模式编码参数信息指示的预测模式和块位置兼容的基底，对从2×2KL逆变换单元542输出的最低频率分量系数和从逆量化单元53输出的逆量化数据执行KL逆变换。8×8KL逆变换单元543将通过执行KL逆变换获得的图像数据输出到数据选择单元548。在宏块尺寸是8×8个像素的情况下，8×8KL逆变换单元543使用与预测模式和块位置兼容的基底，对从逆量化单元53输出的逆量化数据执行KL逆变换。得到的图像数据被输出到数据选择单元548。

4×4KL逆变换单元544执行与图5中所示的4×4KL变换单元145执行的KL变换对应的KL逆变换。使用与最优模式编码参数信息指示的预测模式兼容的基底，4×4KL逆变换单元544对从逆量化单元53输出的逆量化数据执行KL逆变换。4×4KL逆变换单元544将通过执行KL逆变换获得的最低频率分量系数输出到4×4KL逆变换单元546。

2×2KL逆变换单元545执行与图5中所示的2×2KL变换单元146执行的KL变换对应的KL逆变换。使用与最优模式编码参数信息指示的预测模式兼容的基底，2×2KL逆变换单元545对从逆量化单元53输出 的逆量化数据执行KL逆变换。2×2KL逆变换单元545将通过执行KL逆变换获得的最低频率分量系数输出到4×4KL逆变换单元546。

4×4KL逆变换单元546执行与图5中所示的4×4KL变换单元144执行的KL变换对应的KL逆变换。基于从无损解码单元52提供的最优模式编码参数信息，4×4KL逆变换单元546执行KL逆变换。在宏块尺寸是例如16×16个像素的情况下，4×4KL逆变换单元546使用与最优模式编码参数信息指示的预测模式和块位置兼容的基底，对从4×4KL逆变换单元544输出的最低频率分量系数和从逆量化单元53输出的逆量化数据执行KL逆变换。4×4KL逆变换单元546将通过执行KL逆变换获得的图像数据输出到数据选择单元548。在宏块尺寸是8×8个像素的情况下，4×4KL逆变换单元546使用与预测模式和块位置兼容的基底，对从2×2KL逆变换单元545输出的最低频率分量系数和从逆量化单元53输出的逆量化数据执行KL逆变换。4×4KL逆变换单元546将通过执行KL逆变换获得的图像数据输出到数据选择单元548。

使用从逆量化单元53输出的逆量化数据，IDCT单元547执行逆离散余弦变换，并且将得到的图像数据输出到数据选择单元548。

基于编码参数信息，数据选择单元548从16×16KL逆变换单元541、8×8KL逆变换单元543、4×4KL逆变换单元546和IDCT单元547输出的图像数据中选择图像数据。数据选择单元548将所选择的图像数据作为预测误差数据输出到加法单元55。

<6.图像解码装置的操作>

现在参照图15的流程图，描述将由图像解码装置50执行的图像解码操作。

在步骤ST91中，积累缓冲器51存储所传送的编码位流。在步骤ST92中，无损解码单元52执行无损解码操作。无损解码单元52对从积累缓冲器51提供的编码位流解码。具体地，获得图1的无损编码单元16编码的每个图片的量化数据。无损解码单元52对编码位流中的报头信息中包含的编码参数信息执行无损解码，并且将得到的编码参数信息提供给解块滤波器56和选择器64。此外，在其中编码参数信息是关于帧内预测模式的信息的情况下，无损解码单元52将编码参数信息输出到帧内预测单元62。在其中编码参数信息是关于帧间预测模式的信息的情况下，无损解码单元 52将编码参数信息输出到运动补偿单元63。

在步骤ST93中，逆量化单元53执行逆量化操作。逆量化单元53对无损解码单元52解码的量化数据进行逆量化，具有与图1的量化单元15的特性兼容的特性。

在步骤ST94中，逆正交变换单元54执行逆正交变换操作。逆正交变换单元54对从逆量化单元53提供的逆量化数据执行与图1的正交变换单元14执行的正交变换兼容的逆正交变换。

在步骤ST95中，加法单元55生成解码图像数据。加法单元55使通过逆正交变换操作获得的预测误差数据与在后面描述的步骤ST99中选择的预测图像数据相加，并且生成解码图像数据。通过该方式，原始图像被解码。

在步骤ST96中，解块滤波器56执行滤波操作。解块滤波器56对从加法单元55输出的解码图像数据执行滤波，并且去除解码图像中包含的块失真。

在步骤ST97中，帧存储器61执行解码图像数据存储操作。

在步骤ST98中，帧内预测单元62和运动补偿单元63执行预测操作。帧内预测单元62和运动补偿单元63均根据从无损解码单元52提供的编码参数信息执行预测操作。

具体地，在其中从无损解码单元52提供的编码参数信息指示帧内预测的情况下，帧内预测单元62基于编码参数信息执行帧内预测操作以生成预测图像数据。在其中从无损解码单元52提供的编码参数信息指示帧间预测的情况下，运动补偿单元63基于编码参数信息执行运动补偿以生成预测图像数据。

在步骤ST99中，选择器64选择预测图像数据。具体地，选择器64选择从帧内预测单元62提供的预测图像数据和由运动补偿单元63生成的预测图像数据，并且将所选择的预测图像数据提供给加法单元55，如上文所述，加法单元55使所选择的预测图像数据与来自步骤ST95中的逆正交变换单元54的输出相加。

在步骤ST100中，图片重排缓冲器57执行图像重排。具体地，由图1的图像编码装置10的图片重排缓冲器12重排的用于编码的帧顺序被图片重排缓冲器57重新排列成原始显示顺序。

在步骤ST101中，D/A转换单元58对从图片重排缓冲器57提供的图像数据执行D/A转换。图像被输出到显示器(未示出)，并且被显示。

现在参照图16中所示的流程图，描述逆正交变换操作。在步骤ST111中，逆正交变换单元54确定是否存在帧内预测。逆正交变换单元54基于例如无损解码单元52从编码位流提取的编码参数信息，确定待解码的块是否是帧内预测。如果编码参数信息指示帧内预测，则逆正交变换单元54移至步骤ST112，并且如果不指示帧内预测或者指示帧间预测，则逆正交变换单元54移至步骤ST121。

在步骤ST112中，逆正交变换单元54确定宏块尺寸是否是16×16个像素。如果编码参数信息指示的宏块尺寸是16×16个像素，则逆正交变换单元54移至步骤ST113，并且如果不是16×16个像素，则逆正交变换单元54移至步骤ST118。

在步骤ST113中，逆正交变换单元54确定变换块尺寸是否是4×4个像素。如果编码参数信息中的变换块尺寸信息是“0”并且变换块尺寸是4×4个像素，则逆正交变换单元54移至步骤ST114，并且如果不是“0”，则逆正交变换单元54移至步骤ST115。

在步骤ST114中，逆正交变换单元54执行4×4逆正交变换操作。使用根据预测模式和块位置预先学习的基底，逆正交变换单元54执行4×4KL逆变换。在宏块尺寸是16×16个像素的情况下，在编码中，执行十六次KL变换，并且在从通过执行KL变换获得的系数中选择最低频率分量系数之后进一步执行KL变换。因此，逆正交变换单元54使用与预测模式兼容的基底，对最低频率分量系数的逆量化数据执行KL逆变换。逆正交变换单元54还使用与预测模式和块位置兼容的基底，对通过经由KL逆变换获得的最低频率分量系数和其他分量的系数形成的十六个块执行KL逆变换。逆正交变换单元54将通过执行KL逆变换获得的预测误差数据输出到加法单元55。就是说，图14中所示的逆正交变换单元54的数据选择单元548选择4×4KL逆变换单元546使用来自4×4KL逆变换单元544的输出执行KL逆变换获得的数据，并且将所选择的数据输出到加法单元55。

在步骤ST115中，逆正交变换单元54确定变换块尺寸是否是8×8个像素。如果编码参数信息中的变换块尺寸信息是“1”并且变换块尺寸是8×8个像素，则逆正交变换单元54移至步骤ST116，并且如果不是“0”，则逆正交变换单元54移至步骤ST117。

在步骤ST116中，逆正交变换单元54执行8×8逆正交变换操作。使用根据预测模式和块位置预先学习的基底，逆正交变换单元54执行8×8KL逆变换。在宏块尺寸是16×16个像素的情况下，在编码中，执行四次KL变换，并且在从通过执行KL变换获得的系数中选择最低频率分量系数之后进一步执行KL变换。因此，逆正交变换单元54使用与预测模式兼容的基底，对最低频率分量系数的逆量化数据执行KL逆变换。逆正交变换单元54还使用与预测模式和块位置兼容的基底，对通过经由KL逆变换获得的最低频率分量系数和其他分量的系数形成的四个块执行KL逆变换。逆正交变换单元54将通过执行KL逆变换获得的预测误差数据输出到加法单元55。就是说，图14中所示的逆正交变换单元54的数据选择单元548选择8×8KL逆变换单元543使用来自2×2KL逆变换单元542的输出执行KL逆变换获得的数据，并且将所选择的数据输出到加法单元55。

在步骤ST117中，逆正交变换单元54执行16×16逆正交变换操作。使用根据预测模式和块位置预先学习的基底，逆正交变换单元54执行16×16KL逆变换。逆正交变换单元54将通过执行KL逆变换获得的预测误差数据输出到加法单元55。就是说，图14中所示的逆正交变换单元54的数据选择单元548选择16×16KL逆变换单元541执行KL逆变换获得的数据，并且将所选择的数据输出到加法单元55。

当从步骤ST112移至步骤ST118时，逆正交变换单元54确定变换块尺寸是否是4×4个像素。如果编码参数信息中的变换块尺寸信息是“0”并且变换块尺寸是4×4个像素，则逆正交变换单元54移至步骤ST119，并且如果不是“0”，则逆正交变换单元54移至步骤ST120。

在步骤ST119中，逆正交变换单元54执行4×4逆正交变换操作。使用根据预测模式和块位置预先学习的基底，逆正交变换单元54执行4×4KL逆变换。在宏块尺寸是8×8个像素的情况下，在编码中，执行四次KL变换，并且在从通过执行KL变换获得的系数中选择最低频率分量系数之后进一步执行KL变换。因此，逆正交变换单元54使用与预测模式兼容的基底，对最低频率分量系数的逆量化数据执行KL逆变换。逆正交变换单元54还使用与预测模式和块位置兼容的基底，对通过经由KL逆变换获得的最低频率分量系数和其他分量的系数形成的四个块执行KL逆变换。逆正交变换单元54将通过执行KL逆变换获得的预测误差数据输出到加法单元55。就是说，图14中所示的逆正交变换单元54的数据 选择单元548选择4×4KL逆变换单元546使用来自2×2KL逆变换单元545的输出执行KL逆变换获得的数据，并且将所选择的数据输出到加法单元55。

在步骤ST120中，逆正交变换单元54执行8×8逆正交变换操作。使用根据预测模式和块位置预先学习的基底，逆正交变换单元54执行8×8KL逆变换。逆正交变换单元54将通过执行KL逆变换获得的预测误差数据输出到加法单元55。就是说，图14中所示的逆正交变换单元54的数据选择单元548选择8×8KL逆变换单元543执行KL逆变换获得的数据，并且将所选择的数据输出到加法单元55。

在步骤ST121中，逆正交变换单元54执行逆离散余弦变换(IDCT)。逆正交变换单元54将通过执行逆离散余弦变换获得的系数输出到加法单元55。就是说，图14中所示的逆正交变换单元54的数据选择单元548选择从IDCT单元547输出的数据，并且将所选择的数据输出到加法单元55。

图17是用于说明逆正交变换操作的示图，并且示出了由图12的正交变换操作生成的变换系数的示例逆正交变换。

存在例如其中宏块尺寸是16×16个像素，并且变换块尺寸是4×4个像素的情况。在该情况下，4×4KL逆变换单元544使用与最优模式编码参数信息指示的预测模式兼容的基底，对图17(A)中所示的最低频率分量系数的KL变换数据(逆量化数据)执行KL逆变换。通过KL逆变换，4×4KL逆变换单元544生成图17(B)中所示的最低频率分量的系数。如图17(C)中所示，4×4KL逆变换单元546使最低频率分量系数和其他KL变换数据(逆量化数据)返回到各个块的系数。此外，如图17(D)中所示，4×4KL逆变换单元546使用与编码参数信息指示的预测模式和块位置兼容的基底，对十六个4×4块中的每个执行KL逆变换。结果，生成图17(E)中所示的预测误差数据。数据选择单元548选择所生成的预测误差数据，并且将所选择的数据输出到加法单元55。

还存在例如其中宏块尺寸是8×8个像素，并且变换块尺寸是4×4个像素的情况。在该情况下，2×2KL逆变换单元545使用与最优模式编码参数信息指示的预测模式兼容的基底，对图17(F)中所示的最低频率分量系数的KL变换数据(逆量化数据)执行KL逆变换。通过KL逆变换，2×2KL逆变换单元545生成图17(G)中所示的最低频率分量的系数。如图17(H)中所示，4×4KL逆变换单元546使最低频率分量系数 和其他KL变换数据(逆量化数据)返回到各个块的系数。此外，如图17(I)中所示，4×4KL逆变换单元546使用与编码参数信息指示的预测模式和块位置兼容的基底，对四个4×4块中的每个执行KL逆变换。结果，生成图17(J)中所示的预测误差数据。数据选择单元548选择所生成的预测误差数据，并且将所选择的数据输出到加法单元55。

现在参照图18中的流程图，描述图15的步骤ST98的预测操作。

在步骤ST131中，无损解码单元52确定当前块是否被帧内编码。如果通过执行无损解码获得的编码参数信息是帧内预测信息，则无损解码单元52将编码参数信息提供给帧内预测单元62，并且移至步骤ST132。如果编码参数信息不是帧内预测信息，则无损解码单元52将编码参数信息提供给运动补偿单元63，并且移至步骤ST133。

在步骤ST132中，帧内预测单元62执行帧内预测操作。使用从加法单元55提供的解码图像数据和编码参数信息，帧内预测单元62执行帧内预测以生成预测图像数据。

在步骤ST133中，运动补偿单元63执行帧间预测操作。基于从无损解码单元52提供的运动向量和编码参数信息，运动补偿单元63对从帧存储器61提供的解码图像数据执行运动补偿。此外，运动补偿单元63将通过运动补偿生成的预测图像数据输出到选择器64。

如上文所述，通过本发明的图像解码装置和方法，使用根据块位置预先设定的基底，对通过处理经由正交变换获得的系数数据而生成的编码位流执行解码。在该解码中，通过使用根据编码位流中包含的编码参数信息指示的宏块中的块位置而预先设定的基底来执行逆正交变换。经历正交变换的系数数据可以返回到未经历正交变换的预测误差数据。因此，即使在使用与宏块中的块位置兼容的基底执行正交变换之后，得到的数据仍可以返回未经历正交变换的预测误差数据。再者，即使在通过使用根据预测模式的基底执行编码之后，通过使用根据编码参数信息指示的预测模式预先设定的基底，经历正交变换的系数数据仍可以返回到未经历正交变换的预测误差数据。

<7.基底学习操作>

接下来，描述基底生成单元，其通过学习操作生成将在正交变换单元14和逆正交变换单元54中使用的基底。图19是示出基底学习操作的流 程图，并且基底生成单元通过使用为学习准备的图像执行图19中所示的操作来生成基底。作为用于学习的图像，使用尽可能多的不同的图像，使得不会在学习中出现依赖于图像内容的偏差。

在步骤ST141中，基底生成单元确定是否存在仍未被用于学习的图像。如果存在仍未被用于学习的图像，则基底生成单元移至步骤ST142。如果所有图像已被用于学习，则基底生成单元移至步骤ST152。

在步骤ST142中，基底生成单元确定是否存在仍未被用于学习的宏块。如果存在仍未被用于学习的宏块，则基底生成单元移至步骤ST143。如果所有宏块已被用于学习，则基底生成单元返回步骤ST141。

在步骤ST143中，基底生成单元确定宏块尺寸是否是16×16个像素。如果宏块尺寸是16×16个像素，则基底生成单元移至步骤ST144，并且如果不是16×16个像素，则基底生成单元移至步骤ST148。

在步骤ST144中，基底生成单元生成16×16预测误差数据。基底生成单元执行帧内预测以生成16×16个像素的预测误差数据。

在步骤ST145中，基底生成单元计算4×4正交变换的对称矩阵。基底生成单元将16×16预测误差数据分成十六个4×4个像素的变换块，并且针对每个预测模式以及宏块中的每个变换块的块位置计算对称矩阵M。基底生成单元将4×4个像素的变换块的预测误差数据排列成16阶向量，并且计算16阶向量的平均值和每个向量之间的差。在差是“q”的情况下，基底生成单元执行由下式(3)表述的计算，以确定对称矩阵M。

[数学式1]

在式(3)中，“mdt”表示能够根据其确定宏块尺寸和变换块尺寸的变换模式信息。在上式中，“mid”表示帧内预测的预测模式。在上式中，“loc”表示宏块中的变换块的块位置。在上式中，“num”表示学习次数。再者，在上式中，“T”指示矩阵是转置矩阵。

在步骤ST146中，基底生成单元计算8×8正交变换的对称矩阵。基底生成单元将16×16预测误差数据分成四个8×8个像素的变换块，并且 针对每个预测模式以及宏块中的每个变换块的块位置计算对称矩阵M。基底生成单元将8×8个像素的变换块的预测误差数据排列成64阶向量，并且计算64阶向量的平均值和每个向量之间的差。在差是“q”的情况下，基底生成单元执行由式(3)表述的计算，以确定对称矩阵M。

在步骤ST147中，基底生成单元计算16×16正交变换的对称矩阵。基底生成单元针对每个预测模式将16×16个像素的变换块的预测误差数据排列成256阶向量，并且计算256阶向量的平均值和每个向量之间的差。在差是“q”的情况下，基底生成单元执行由式(3)表述的计算，以确定每个预测模式的对称矩阵M。

从步骤ST143移至步骤ST148，基底生成单元确定宏块尺寸是否是8×8个像素。如果宏块尺寸是8×8个像素，则基底生成单元移至步骤ST149，并且如果不是8×8个像素，则基底生成单元移至步骤ST142。

在步骤ST149中，基底生成单元生成8×8预测误差数据。基底生成单元执行帧内预测以生成8×8个像素的预测误差数据。

在步骤ST150中，基底生成单元计算4×4正交变换的对称矩阵。基底生成单元将8×8预测误差数据分成四个4×4个像素的变换块，并且针对每个预测模式以及宏块中的每个变换块的块位置计算对称矩阵M。基底生成单元将4×4个像素的变换块的预测误差数据排列成16阶向量，并且计算16阶向量的平均值和每个向量之间的差。在差是“q”的情况下，基底生成单元执行由式(3)表述的计算，以确定对称矩阵M。

在步骤ST151中，基底生成单元计算8×8正交变换的对称矩阵。基底生成单元针对每个预测模式将8×8个像素的变换块的预测误差数据排列成64阶向量，并且计算64阶向量的平均值和每个向量之间的差。在差是“q”的情况下，基底生成单元执行由式(3)表述的计算，以确定每个预测模式的对称矩阵M。

在步骤ST152中，基底生成单元计算KL变换的基底。基底生成单元确定与各个对称矩阵M的特征值对应的特征向量，并且按照特征值尺寸的顺序排列特征向量，以生成KL变换的基底。

通过执行以上操作，可以生成16×16KL变换单元141、8×8KL变换单元142、2×2KL变换单元143和146以及4×4KL变换单元144和145的KL变换中使用的基底。再者，通过计算各个基底的逆矩阵，可以生成16×16KL逆变换单元541、2×2KL逆变换单元542和545、8×8KL 逆变换单元543以及4×4KL逆变换单元544和546的KL逆变换中使用的基底。

此外，如果针对每个宏块尺寸的各个块位置以及每个预测模式的、用于对各个块执行KL变换和KL逆变换的基底被存储在图像编码装置和图像解码装置中，则要存储的基底数目变大。就是说，需要大容量的存储器。考虑到这一点，基底被分成组，以减少要存储的基底。

接下来，描述两个示例分组方法。通过第一方法，计算通过学习而学习到的基底之间的欧几里德距离，并且其间距离短的基底被编组在一起。组中的基底由表示该组的一个基底替换。通过以该方式执行编组可以减少基底的数目。

通过第二方法，根据距参考像素的距离来执行编组。如图20中所示，在预测模式0(竖直)中，组1的块＝{P4,P5,P6,P7}距参考像素的距离相同。在该情况下，像素P4、P5、P6和P7的预测误差常常具有相似的特性。因此，一个基底用于组1。同样地，一个基底用于组0，一个基底用于组2，并且一个基底用于组3。因此，基底的数目可以从16减少到4。

同样地，在预测模式1(水平)中，组1的块＝{P1,P5,P9,P13}具有相对参考像素的相同的位置关系(或者距参考像素的距离相同)。在该情况下，像素P1、P5、P9和P13的预测误差常常具有相似的特性。因此，一个基底用于组1。同样地，一个基底用于组0，一个基底用于组2，并且一个基底用于组3。因此，基底的数目可以从16减少到4。

在预测模式4(右下对角线)中，参考像素和各个块之间的关系不相同。然而，当旋转90度时，P12具有与P3相同的相对参考像素的位置关系。考虑到这一点，像素被编组成{P1,P4}、{P2,P8}、{P6,P9}、{P7,P13}和{P11,P14}，在每个组中，当旋转90度时，块具有相同的相对参考像素的位置关系，并且对于一个组使用一个基底。

此外，当在预测模式0(竖直)中旋转90度时，各个块具有与预测模式1(水平)中的各个块相同的相对参考像素的位置关系。因此，预测模式0(竖直)和预测模式1(水平)被编组在一起，使得可以进一步减少基底的数目。

<8.软件处理的情况>

本文所描述的系列处理可以通过硬件、软件或者硬件和软件的组合来 执行。在由软件执行操作的情况下，其中记录操作序列的程序被安装在并入计算机中的专用硬件中的存储器中。替选地，通过将程序安装到能够执行各种操作的通用计算机中，可以执行操作。

例如，程序可以预先记录在作为记录介质的硬盘或只读存储器(ROM)中。替选地，程序可以暂时或永久地存储(被记录)在可移动记录介质上，诸如柔性盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘或半导体存储器。这种可移动记录介质可以被设置作为所谓的套装软件。

程序不仅可以如上所述从可移动记录介质安装到计算机中，也可以从下载站点无线地传输至计算机或者经由局域网(LAN)或因特网有线地传输至计算机，使得以该方式传输的程序可以在计算机中接收并且被安装到诸如内置硬盘的记录介质中。

描述程序的步骤包括不一定以时间顺序彼此并行地或单独地执行的处理，以及按照根据指定顺序的时间序列执行的处理。

<9.针对电子设备的应用的情况>

在上述示例中，H.264/AVC方案被用作编码/解码技术，然而，本发明可以应用于使用其他编码/解码技术的图像编码装置和图像解码装置。

此外，本发明可以应用于如下图像编码装置和图像解码装置：当经由诸如卫星广播、有线电视(TV)、互联网或便携式电话设备接收，或者在例如诸如光盘或磁盘或者闪速存储器的存储介质中处理如MPEG或H.26x中的那样通过诸如离散余弦变换的正交变换和运动补偿压缩的图像信息(编码位流)时，使用这些图像编码装置和图像解码装置。

上述图像编码装置10和图像解码装置50可以应用于任何电子装置。下文是这些示例的描述。

图21示意性地示出了被应用本发明的电视机装置的示例结构。电视机装置90包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。电视机装置90还包括控制单元910、用户接口单元911等。

调谐器902从在天线901处接收到的广播波信号中选择期望的信道， 并且执行解调。得到的编码位流被输出至解复用器903。

解复用器903从编码位流中提取要观看的节目的视频和音频分组，并且将所提取的分组的数据输出至解码器904。解复用器903还将诸如电子节目指南(EPG)的数据分组提供给控制单元910。在执行加扰的情况下，解复用器等取消加扰。

解码器904执行分组解码操作，并且将通过解码操作生成的视频数据输出至视频信号处理单元905，并且将音频数据输出至音频信号处理单元907。

视频信号处理单元905根据用户的设置使视频数据经历噪声去除和视频处理等。视频信号处理单元905基于经由网络提供的应用通过操作来生成要在显示单元906上显示的节目的视频数据，或者生成图像数据等。视频信号处理单元905还生成用于显示菜单画面等的用于选择项目的视频数据，并且将该视频数据叠加在节目的视频数据上。视频信号处理单元905基于以这种方式生成的视频数据来生成驱动信号以驱动显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号来驱动显示设备(例如，液晶显示元件)以显示节目的视频。

音频信号处理单元907使音频数据经历诸如噪声去除的预定处理，并且对处理后的音频数据执行D/A转换操作和放大操作。得到的音频数据数据作为音频输出被提供给扬声器908。

外部接口单元909是用于与外部设备或网络连接的接口，并且传送和接收诸如视频数据和音频数据的数据。

用户接口单元911连接至控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等形成，并且将根据用户操作的操作信号提供给控制单元910。

控制单元910由中央处理单元(CPU)、存储器等形成。存储器存储要由CPU执行的程序、CPU执行操作所需的各种数据、EPG数据、经由网络获得的数据等。在预定的时间，诸如在电视机装置90启动时，存储在存储器中的程序被CPU读取并且执行。CPU执行程序以控制各个部件，使得电视机装置90根据用户操作进行工作。

在电视机装置90中，设置了总线912，用于将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909 等连接至控制单元910。

在具有这样的结构的电视机装置中，解码器904具有本发明的图像解码装置(图像解码方法)的功能。由于在广播电台侧使用本发明的图像编码装置的功能，因此可以在电视机装置中正确地对编码位流解码，即使编码位流是以较高的编码效率生成的并且具有较高的图像质量。

图22示意性地示出了被应用本发明的便携式电话设备的示例结构。便携式电话设备92包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930和控制单元931。这些部件经由总线933彼此连接。

天线921连接至通信单元922，并且扬声器924和麦克风925连接至音频编解码器923。此外，操作单元932连接至控制单元931。

便携式电话设备92在诸如音频通信模式和数据通信模式的各种模式中执行各种操作，诸如音频信号的传送和接收、电子邮件和图像数据的传送和接收、图像拍摄和数据记录。

在音频通信模式中，在麦克风925处生成的音频信号被转换成音频数据，并且该数据在音频编解码器923处被压缩。压缩数据被提供给通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以生成传送信号。通信单元922还将传送信号提供给天线921，并且该传送信号被传送至基站(未示出)。通信单元922还对在天线921处接收的信号进行放大，并且执行频率转换操作、解调操作等。所得到的音频数据被提供给音频编解码器923。音频编解码器923对音频数据进行解压缩，并且将音频数据转换成输出到扬声器924的模拟音频信号。

在数据通信模式中执行邮件传送的情况下，控制单元931接收通过操作单元932的操作输入的文本数据，并且在显示单元930上显示输入的文本。控制单元931根据经由操作单元932的用户指令等生成邮件数据并且将其提供给通信单元922。通信单元922对邮件数据执行调制操作、频率转换操作等，并且从天线921传送所得到的传送信号。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等，以恢复邮件数据。邮件数据被提供给显示单元930，并且邮件内容被显示。

便携式电话设备92可以使记录/再现单元929将接收到的邮件数据存储到存储介质中。存储介质是可重写存储介质。例如，存储介质可以是 诸如RAM或内置闪速存储器的半导体存储器，硬盘，或者诸如磁盘、磁光盘、光盘、USB存储器或存储器卡的可移动介质。

在数据通信模式中传送图像数据的情况下，在相机单元926处生成的图像数据被提供给图像处理单元927。图像处理单元927对该图像数据执行编码以生成编码数据。

解复用单元928通过预定技术对在图像处理单元927处生成的编码数据和从音频编解码器923提供的音频数据进行复用，以将复用的数据提供给通信单元922。通信单元922对复用的数据执行调制操作、频率转换操作等，并且从天线921传送所得到的传送信号。通信单元922还对在天线921处接收到的信号进行放大，并且执行频率转换操作、解调操作等以恢复复用的数据。该复用的数据被提供给解复用单元928。解复用单元928将复用的数据分离，并且将编码数据提供给图像处理单元927，并且将音频数据提供给音频编解码器923。图像处理单元927对编码数据执行解码操作以生成图像数据。该图像数据被提供给显示单元930以显示接收到的图像。音频编解码器923将音频数据转换成输出到扬声器924的模拟音频信号，并且接收到的声音被输出。

在具有以上结构的便携式电话设备中，图像处理单元927具有本发明的图像编码装置(图像编码方法)的功能和图像解码装置(图像解码方法)的功能。因此，当进行图像数据通信时，可以提高编码效率和图像质量。

图23示意性地示出了被应用本发明的记录/再现装置的结构的示例。例如，记录/再现装置94将接收的广播节目的音频数据和视频数据记录在记录介质上，并且在根据来自用户的指令的时间将所记录的数据提供给用户。例如，记录/再现装置94也可以从另外的装置获得音频数据和视频数据，并且将该数据记录在记录介质上。此外，记录/再现装置94对记录在记录介质上的音频数据和视频数据进行解码和输出，使得监控设备等可以显示图像或输出声音。

记录/再现装置94包括调谐器941、外部接口单元942、编码器943、硬盘驱动(HDD)单元944、盘驱动器945、选择器946、解码器947、画面显示(OSD)单元948、控制单元949和用户接口单元950。

调谐器941从在天线(未示出)处接收到的广播信号中选择期望的信道。调谐器941对期望的信道的接收信号进行解调，并且将所得到的编码位流输出至选择器946。

外部接口单元942由IEEE 1394接口、网络接口单元、USB接口、闪速存储器接口等中的至少之一形成。外部接口单元942是用于与外部设备、网络、存储器卡等连接的接口，并且接收要被记录的诸如视频数据或音频数据的数据等。

编码器943对从外部接口单元942提供的并且未被编码的视频数据和音频数据执行预定编码，并且编码位流输出至选择器946。

HDD单元944将诸如视频和声音的内容数据、各种程序、其他数据等记录在内置硬盘上，并且在再现时从硬盘读取该数据。

盘驱动器945在安装的光盘上执行信号记录和再现。光盘可以是例如DVD盘(诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或者Blu-ray盘。

在记录视频或音频时选择器946选择来自调谐器941或编码器943的编码位流，并且将该编码位流提供给HDD单元944或盘驱动器945。在再现视频或音频时选择器946还将从HDD单元944或盘驱动器945输出的编码位流提供给解码器947。

解码器947对编码位流执行解码操作。解码器947将通过执行解码操作生成的视频数据提供给OSD单元948。解码器947也输出通过执行解码生成的音频数据。

OSD单元948也生成用于显示菜单画面等的用于选择项目的视频数据，并且将视频数据叠加在从解码器947输出的视频数据上。

用户接口单元950连接到控制单元949。用户接口单元950由操作开关、远程控制信号接收单元等形成，并且将根据用户操作的操作信号提供给控制单元949。

控制单元949通过CPU、存储器等形成。存储器存储要由CPU执行的程序和CPU执行操作所需的各种数据。在预定的时间，诸如在记录/再现装置94启动时，存储在存储器中的程序被CPU读取并且执行。CPU执行该程序以控制各个部件，使得记录/再现装置94根据用户操作进行操作。

在具有以上结构的记录/再现装置中，编码器943具有本发明的图像编码装置(图像编码方法)的功能，并且解码器947具有本发明的图像解码装置(图像解码方法)的功能，使得可以提高编码效率和图像质量，并且可以高效地执行视频记录和再现。

图24示意性地示出了被应用本发明的成像装置的示例结构。成像装置96拍摄对象的图像，并且使显示单元显示对象的图像并且将该图像作为图像数据录该在记录介质上。

成像装置96包括光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972连接。

光学块961由聚焦透镜、光圈等形成。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962由CCD或CMOS图像传感器形成，通过光电转换根据光学图像来生成电信号，并且将电信号提供给相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号执行各种相机信号处理，诸如拐点校正、伽马校正和色彩校正。相机信号处理单元963将经历相机信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从相机信号处理单元963提供的图像数据执行编码操作。图像数据处理单元964将通过执行编码操作生成的编码数据提供给外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968提供的编码数据执行解码操作。图像数据处理单元964将通过执行解码操作生成的图像数据提供给显示单元965。图像数据处理单元964还执行将从相机信号处理单元963提供的图像数据提供给显示单元965的操作，或者将从OSD单元969获得的显示数据叠加在图像数据上并且将图像数据提供给显示单元965。

OSD单元969生成由符号、字符或图形形成的菜单画面或者诸如图标的显示数据，并且该数据输出至图像数据处理单元964。

外部接口单元966由例如USB输入/输出端子等形成，并且当执行图像打印时连接至打印机。当需要时，驱动器也连接至外部接口单元966，并且诸如磁盘或光盘的可移动介质被适当地安装在驱动器上。当需要时，安装从这种可移动盘读取的计算机程序。此外，外部接口单元966包括连接至诸如LAN或互联网的预定网络的网络接口。控制单元970根据例如来自用户接口单元971的指令从存储器单元967读取编码数据，并且可以 将来自外部接口单元966的编码数据提供给经由网络连接的另一装置。控制单元970也可以经由外部接口单元966获得经由网络从另一装置提供的编码数据或图像数据，并且将编码数据或图像数据提供给图像数据处理单元964。

由介质驱动器968驱动的记录介质可以是可读/可重写的可移动盘，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质可以是任何类型的可移动介质，并且可以是磁带设备，盘或存储器卡。当然，记录介质可以是非接触式IC卡等。

替选地，介质驱动器968和记录介质可以集成，并且可以由诸如内置硬盘驱动器或固态驱动器(SSD)的固定存储介质形成。

控制单元970由CPU、存储器等形成。存储器存储要由CPU执行的程序、CPU执行操作所需的各种数据等。在预定的时间，诸如在成像装置96启动时，存储在存储器中的程序被CPU读取并且执行。CPU执行该程序以控制各个部件，使得成像装置96根据用户操作进行操作。

在具有以上结构的成像装置中，图像数据处理单元964具有本发明的图像编码装置(图像编码方法)和图像解码装置(图像解码方法)的功能。因此，当所拍摄的图像被记录到存储器单元967或记录介质等时，可以提高编码效率和图像质量，并且所拍摄的图像可以被高效地记录和再现。

此外，本发明不应被解释为限于本发明的上述实施例。例如，本发明不应限于上述宏块尺寸、变换块尺寸和预测模式。本发明的实施例通过示例公开了本发明，并且应显见的是，在不偏离本发明的范围的情况下，本领域技术人员可以修改这些实施例或者将这些实施例替换为其他实施例。就是说，在理解本发明的主题内容时应考虑权利要求。

工业适用性

通过本发明的图像解码装置，图像编码装置以及方法和程序，在图像数据编码时使用根据宏块中的变换块的块位置预先设定的基底来执行正交变换。再者，在使用根据块位置预先设定的基底对通过处理经由正交变换获得的系数数据生成的编码位流解码时，使用根据由编码位流中包含的编码参数信息指示的宏块中的块位置预先设定的基底来执行逆正交变换，并且经历正交变换的像素数据返回到仍未经历正交变换的预测误差数据。由于如上文所述通过使用与宏块中的块位置兼容的基底来执行正交变换 和逆正交变换，因此可以执行根据块位置进行最优化的变换，并且可以提高编码效率。因此，本发明适用于在经由诸如卫星广播、有线电视、互联网或便携式电话设备的网络介质传送或接收如MPEG、H.26x等中的那样通过基于块的编码获得的图像信息(编码位流)时使用的图像解码装置、图像编码装置等。

根据上述描述可知，本发明的技术方案包括但不限于下列：

方案1.一种图像解码装置，其对每个变换块的预测误差数据执行正交变换，并且根据通过处理经历正交变换的系数数据而生成的编码位流对图像数据进行解码，所述预测误差数据是所述图像数据和预测图像数据之间的差，

所述图像解码装置包括：

数据处理单元，被配置成处理所述编码位流以获得所述的经历正交变换的系数数据以及编码参数信息；

逆正交变换单元，被配置成通过使用基底对所述系数数据执行逆正交变换以获得所述预测误差数据，所述基底是根据所述编码参数信息指示的宏块中的所述变换块的位置预先设定的；

预测图像数据生成单元，被配置成生成所述预测图像数据；以及

加法单元，被配置成使所述预测图像数据生成单元生成的所述预测图像数据与所述逆正交变换单元获得的所述预测误差数据相加以对所述图像数据解码。

方案2.根据方案1所述的图像解码装置，其中所述逆正交变换单元通过使用根据所述变换块的位置预先设定的基底以及由所述编码参数信息指示的预测模式来执行逆正交变换。

方案3.根据方案2所述的图像解码装置，其中当所述编码参数信息指示宏块包含多个变换块时，所述逆正交变换单元通过使用基底来对在所述宏块中包含的各个变换块的正交变换之后的，最低频率分量系数数据的经正交变换的系数数据执行逆正交变换，所述基底是根据所述预测模式预先设定的。

方案4.根据方案2所述的图像解码装置，其中所述逆正交变换单元使用的基底是每个变换块的所述预测误差数据的正交变换中使用的基底 的逆矩阵。

方案5.根据方案1所述的图像解码装置，其中所述逆正交变换单元使用所述基底执行Karhunen-Loeve逆变换。

方案6.一种图像解码方法，用于对每个变换块的预测误差数据执行正交变换，并且根据通过处理经历正交变换的系数数据而生成的编码位流对图像数据进行解码，所述预测误差数据是所述图像数据和预测图像数据之间的差，

所述图像解码方法包括步骤：

处理所述编码位流以获得所述的经历正交变换的系数数据以及编码参数信息；

通过使用基底对所述系数数据执行逆正交变换以获得所述预测误差数据，所述基底是根据所述编码参数信息指示的宏块中的所述变换块的位置预先设定的；

生成所述预测图像数据；以及

使所生成的预测图像数据与所获得的所述预测误差数据相加以对所述图像数据解码。

方案7.一种程序，用于使计算机对每个变换块的预测误差数据执行正交变换，并且根据通过处理经历正交变换的系数数据而生成的编码位流对图像数据进行解码，所述预测误差数据是所述图像数据和预测图像数据之间的差，

所述程序使所述计算机：

处理所述编码位流以获得所述的经历正交变换的系数数据以及编码参数信息；

通过使用基底对所述系数数据执行逆正交变换以获得所述预测误差数据，所述基底是根据所述编码参数信息指示的宏块中的所述变换块的位置预先设定的；

生成所述预测图像数据；以及

使所生成的预测图像数据与所获得的所述预测误差数据相加以对所述图像数据解码。

方案8.一种对图像数据进行编码的图像编码装置，

所述图像编码装置包括：

预测单元，被配置成生成所述图像数据的预测图像数据；

减法单元，被配置成生成预测误差数据，所述预测误差数据是所述图像数据和所述预测图像数据之间的差；

正交变换单元，被配置成通过使用根据宏块中的变换块的位置预先设定的基底对每个变换块的所述预测误差数据执行正交变换；以及

数据处理单元，被配置成处理从所述正交变换单元输出的数据，以生成编码位流。

方案9.根据方案8所述的图像编码装置，其中所述正交变换单元通过使用基底来执行正交变换，所述基底是根据所述变换块的位置以及当所述预测单元生成所述预测图像数据时使用的预测模式预先设定的。

方案10.根据方案9所述的图像编码装置，其中当所述宏块包含多个变换块时，所述正交变换单元通过使用基底执行正交变换，所述正交变换是对所述宏块中的经历正交变换的各个变换块中的使用最低频率分量系数的块执行的，所述基底是根据所述预测模式预先设定的。

方案11.根据方案9所述的图像编码装置，其中所述正交变换单元使用的基底是与使用预先准备的多个图像来根据所述宏块的尺寸、所述变换块的尺寸、所述宏块中的变换块的位置、以及每个预测模式中的每个变换块中的预测误差数据而计算的矩阵的特征值对应的特征向量。

方案12.根据方案11所述的图像编码装置，其中所述正交变换单元使用的基底根据基底之间的距离进行编组。

方案13.根据方案11所述的图像编码装置，其中所述正交变换单元使用的基底根据距参考像素的距离进行编组。

方案14.根据方案8所述的图像编码装置，其中所述正交变换单元通过使用所述基底来执行Karhunen-Loeve变换。

方案15.一种用于对图像数据进行编码的图像编码方法，

所述图像编码方法包括如下步骤：

生成所述图像数据的预测图像数据；

生成预测误差数据，所述预测误差数据是所述图像数据和所述预测图像数据之间的差；以及

通过使用根据宏块中的变换块的位置预先设定的基底对每个变换块的所述预测误差数据执行正交变换。

方案16.一种用于使计算机对图像数据进行编码的程序，

所述程序使所述计算机：

生成所述图像数据的预测图像数据；

生成预测误差数据，所述预测误差数据是所述图像数据和所述预测图像数据之间的差；以及

通过使用根据宏块中的变换块的位置预先设定的基底对每个变换块的所述预测误差数据执行正交变换。

附图标记列表

10…图像编码装置 11…A/D转换单元 12、57...图片重排缓冲器 13...减法单元 14...正交变换单元 15...量化单元 16...无损编码单元 17、51...积累缓冲器 18...速率控制单元 21、53...逆量化单元 22、54...逆正交变换单元23、55...加法单元 24、56...解块滤波器 27、61...帧存储器 31、62...帧内预测单元 32、63...运动预测/补偿单元 33...预测图像/最优模式选择单元50...图像解码装置 52...无损解码单元 58...D/A转换单元 64、946...选择器90...电视机装置 92...便携式电话设备 94...记录/再现装置 96...成像装置141...16×16KL 变换单元 142...8×8KL 变换单元 143、146...2×2KL 变换单元 144、145...4×4KL 变换单元 147...DCT 单元 148...系数选择单元541...16×16KL 逆变换单元 542、545...2×2KL 逆变换单元 543...8×8KL逆变换单元 544、546...KL 逆变换单元 547...IDCT 单元 548...数据选择单元 901、921...天线 902、941...调谐器 903...解复用器 904、947...解码器 905...视频信号处理单元 906...显示单元 907...音频信号处理单元908...扬声器 909、942、966...外部接口单元 910、931、949、970...控制单元 911、932、971...用户接口单元 912、933、972...总线 922...通信单元 923...音频编解码器 924...扬声器 925...麦克风 926...相机单元 927...图像处理单元 928...解复用单元 929...记录/再现单元 930...显示单元943...编码器 944...HDD单元 945...盘驱动器 948、969...OSD单元 961...光学块 962...成像单元 963...相机信号处理单元 964...图像数据处理单元965...显示单元 967...存储器单元 968…介质驱动器。