图像处理装置和方法与流程

技术领域

本发明涉及图像处理装置和方法，具体地涉及能够抑制由于对图像进行编码和解码而导致的图像质量的劣化并从而进一步提高解码图像的图像质量的图像处理装置和方法。

背景技术：

近年来，作为诸如广播的信息分发和普通家庭中的信息接收二者，已经广泛地使用符合诸如MPEG(运动图片专家组)等格式的装置，这些装置将图像信息作为数字信号处理，并且，为了在此时执行高效的信息传送和存储，利用图像信息特有的冗余性来通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像。

特别地，MPEG2(ISO(国际标准组织))/IEC(国际电工委员会)13818-2)被定义为通用图像编码格式，并且，是包括隔行扫描图像和顺序扫描图像二者以及标准分辨率图像和高清晰度图像的标准。例如，MPEG2现在已经被用于专业用途和消费者用途的宽范围的应用广泛地使用。例如，在具有720×480个像素的标准分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩格式，分配4至8Mbps的代码量(比特率)。此外，例如，在具有1920×1088个像素的高分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩格式，分配18至22Mbps的代码量(比特率)，从而可以实现高压缩率和优异的图像质量。

对于MPEG2，主要地以适合于广播用途的高图像质量编码为目标，但是，不处理比MPEG1(即，具有更高压缩率的编码格式)的代码量低的代码量(比特率)。随着个人数字助理的普及，已经预见到，对于这种编码格式的需求从今开始将会增加，并且，响应于此，已经执行了MPEG4编码格式的标准化。关于图像编码格式，其规范在1998年12月被确认为国际标准ISO/IEC 14496-2。

此外，近年来，已经进行了称为H.26L(ITU-T(ITU电信标准部)Q6/16 VCEG(视频编码专家组))的标准的标准化，其原本计划用于视频会议用途的图像编码。对于H.26L，已知与诸如MPEG2或MPEG4的传统编码格式相比，尽管对于其编码和解码需要更大的计算量，但是实现了更高的编码效率。此外，当前，作为MPEG4的活动的部分，已经执行了也利用不由H.26L支持的功能(以该H.26L作为基础)来实现更高的编码效率的标准化，作为增强压缩视频编码的联合模型。作为标准化的时间表，H.264和MPEG-4 Part10(AVC(高级视频编码))在2003年3月成为了国际标准。

此外，作为其扩展名，包括诸如RGB、4:2：2或4:4:4、8x 8DCT(离散余弦变换)的业务使用所需的编码工具和由MPEG-2规定的量化矩阵的FRExt(保真度范围扩展名)已经被标准化，从而AVC可以用作能够合适地表达甚至电影中包含的影片噪声的编码格式，并且已经用于宽范围的应用，例如，蓝光盘(Blu-ray Disc，注册商标)等。

然而，当今，对于进一步的高压缩编码的需求已经增加，例如，期望压缩具有作为高视觉图像的四倍的约4000×2000个像素的图像，或者，可替换地，对于进一步的高压缩编码的需求已经增加，例如，期望在诸如互联网的具有受限的传送容量的环境中分发高视觉图像。因此，对于在ITU-T的控制下的上述VCEG，已经连续地执行了关于提高编码效率的研究。

此外，存在作为下一代视频编码技术的自适应环路滤波器(ALF(自适应环路滤波器))，近来正在考虑该编码技术(例如，参见非专利文献1和非专利文献2)。根据该自适应环路滤波器，针对每一帧执行最佳的滤波处理，并且，可以减少在去块滤波器处没有被完全去除的块噪声和由于量化而导致的噪声。

现在，对于将通过下一代编码方法处理的诸如UHD(超高清晰度；4000×2000个像素)的大图像帧，16×16个像素的宏块尺寸不是最佳的。例如，已经提出了将宏块尺寸放大到诸如32×32个像素或64×64个像素的尺寸(例如，非专利文献3)。

引文列表

非专利文献

非专利文献1：Yi-Jen Chiu and L.Xu,"Adaptive(Wiener)Filter for Video Compression,"ITU-T SG16 Contribution,C437,Geneva,April 2008

非专利文献2：Takeshi.Chujoh,et al.,"Block-based Adaptive Loop Filter"ITU-T SG16 Q6 VCEG Contribution,AI18,Germany,July,2008

非专利文献3：Qualcomm Inc,"Video Coding Using Extended Block Sizes"ITU-T SG16 Contribution,C123,English,January 2009

技术实现要素：

技术问题

通常，图像局部地具有各种的特征，所以最佳的滤波系数局部地不同。例如，对于AVC编码格式，观察到正交变换尺寸是4×4的情况和8×8的情况之间的不同图像质量劣化。例如，对于8×8正交变换块，观察到对于4×4正交变换块不能观察到的蚊式噪声(mosquito noise)。此外，存在这样的趋势：即，对于平坦的区域，容易选择8×8正交变换块，而对于具有细纹理的区域，容易选择4×4正交变换块。

然而，对于传统上提出的方法，相同的滤波系数只是均匀地应用于整个图像，所以未必执行适合于该图像所具有的局部性质的噪声去除，并且，存在解码图像的图像质量局部地劣化的担心。

鉴于这种情形而作出了本发明，本发明的目的在于抑制由于对图像进行编码和解码而导致的图像质量的劣化，从而进一步提高解码图像的图像质量。

解决问题的方案

本发明的一个方面是一种图像处理装置，该图像处理装置包括：分类部件，被配置为针对每一个预定的图像尺寸按照在对图像执行的正交变换处理中应用的正交变换尺寸对所述图像进行分类；以及滤波部件，被配置为：使用根据与部分图像的所述正交变换尺寸相对应的所述图像的局部性质设置的滤波系数，对由所述分类部件分类的每一个所述图像尺寸的每一个所述部分图像执行滤波处理以便去除噪声。

所述滤波部件可以是维纳滤波器。

图像尺寸可以是宏块，其中，所述分类部件按照其正交变换尺寸对宏块进行分类，并且，所述滤波部件使用根据与其正交变换尺寸相对应的所述图像的局部性质设置的滤波系数来对由分类部件分类的每一个宏块执行滤波处理。

图像处理装置还可以包括：编码部件，被配置为：对所述图像进行编码，并且产生编码数据。

所述编码部件可以以AVC(高级视频编码)格式对所述图像执行编码，

其中，所述分类部件按照所述图像尺寸对经过所述编码部件的正交变换、量化、逆量化和逆正交变换的解码图像进行分类，并且，所述滤波部件对于所述解码图像的所述部分图像执行所述滤波处理，并且将滤波处理结果作为参考图像存储在帧存储器中。

图像处理装置还可以包括滤波系数计算部件，该滤波系数计算部件被配置为使用到所述编码部件的输入图像和所述解码图像来计算所述滤波系数，其中，所述滤波部件使用由所述滤波系数计算部件计算出的所述滤波系数来执行所述滤波处理。所述滤波系数计算部件还可以针对每一个所述图像尺寸按照在由所述编码部件执行的正交变换处理中应用的正交变换尺寸对所述输入图像和所述解码图像均进行分类；并且，所述滤波系数计算部件针对每一种正交变换尺寸计算所述滤波系数，使得所述输入图像和所述解码图像之间的残差最小。

所述滤波系数计算部件可以根据与在由所述编码部件执行的正交变换处理中应用的正交变换尺寸相对应的所述图像的局部性质来设置所述滤波系数的值。

所述滤波系数计算部件还可以根据与在由所述编码部件执行的正交变换处理中应用的正交变换尺寸相对应的所述图像的局部性质来设置所述滤波系数的抽头数。

所述正交变换尺寸越大，所述滤波系数计算部件可以为所述滤波系数设置越长的抽头数，并且，所述正交变换尺寸越小，所述滤波系数计算部件可以为所述滤波系数设置越短的抽头数。

图像处理装置还可以包括添加部件，该添加部件被配置为将所述滤波系数添加到由所述编码部件产生的所述编码数据。所述添加部件还可以将用于控制是否执行所述滤波处理的标志信息添加到所述编码数据。

图像处理装置还可以包括：提取部件，被配置为从已经被编码的图像的编码数据中提取所述滤波系数；以及解码部件，被配置为对所述编码数据进行解码并产生解码图像；其中，所述分类部件针对每一个所述图像尺寸按照所述正交变换尺寸对由所述解码部件产生的所述解码图像进行分类；并且，所述滤波部件使用由所述提取部件提取的所述滤波系数来对由所述分类部件分类的每一个所述图像尺寸的每一个部分图像执行滤波处理以便去除噪声。

解码部件可以以AVC(高级视频编码)格式对所述编码数据执行解码，其中，所述分类部件按照所述图像尺寸对经过所述解码部件的解码、逆量化和逆正交变换的所述解码图像进行分类；并且，所述滤波部件对于所述解码图像的所述部分图像执行所述滤波处理。

本发明的一个方面也是一种图像处理方法，

其中，图像处理装置的分类部件针对每一个预定的图像尺寸按照在对图像执行的正交变换处理中应用的正交变换尺寸对所述图像进行分类；以及所述图像处理装置的滤波部件使用根据与部分图像的所述正交变换尺寸相对应的所述图像的局部性质设置的滤波系数来对已经被分类的每一个所述图像尺寸的每一个所述部分图像执行滤波处理以便去除噪声。

采用本发明的一个方面，针对每一个预定的图像尺寸按照在对图像执行的正交变换处理中应用的正交变换尺寸对所述图像进行分类，并且，使用根据与部分图像的所述正交变换尺寸相对应的所述图像的局部性质设置的滤波系数来对已经被分类的每一个所述图像尺寸的每一个所述部分图像执行滤波处理以便去除噪声。

本发明的有益效果

根据本发明，可以对图像进行编码或解码。特别地，可以抑制由于对图像进行编码和解码而导致的图像质量的劣化，并且可以提高解码图像的图像质量。

附图说明

图1是图示应用了本发明的图像编码装置的实施例的配置的框图。

图2是用于描述正交变换的增量的例子的示图。

图3是用于描述在执行4×4正交变换的宏块中的处理的示图。

图4是图示用于通过蝶式计算实现整数变换和逆整数变换的方法的示图。

图5是用于描述去块滤波器(deblocking filter)的操作原理的示图。

图6是用于描述定义Bs的方法的示图。

图7是用于描述去块滤波器的操作原理的示图。

图8是图示indexA和indexB与α和β的值之间的对应关系的例子的示图。

图9是图示Bs、indexA和t_co之间的对应关系的例子的示图。

图10是图示宏块的例子的示图。

图11是图示环路滤波器和滤波系数计算单元的主要配置例子的框图。

图12是描述编码处理的流程的例子的流程图。

图13是描述预测处理的流程的例子的流程图。

图14是描述环路滤波处理的流程的例子的流程图。

图15是图示应用了本发明的图像解码装置的主配置例子的框图。

图16是图示环路滤波器的主要配置例子的示图。

图17是描述解码处理的流程的例子的流程图。

图18是描述预测图像产生处理的流程的例子的流程图。

图19是描述环路滤波处理的流程的例子的流程图。

图20是描述ALF块和滤波块标志的示图。

图21是描述ALF块和滤波块标志的另一例子的示图。

图22是图示应用了本发明的个人计算机的主配置例子的框图。

图23是图示应用了本发明的电视接收器的主要配置例子的框图。

图24是图示应用了本发明的蜂窝电话的主要配置例子的框图。

图25是图示应用了本发明的硬盘记录器的主要配置例子的框图。

图26是图示应用了本发明的照相机的主要配置例子的框图。

具体实施方式

在下文中，将描述本发明的实施例。请注意，将按照以下顺序进行描述。

1.第一实施例(图像编码装置)

2.第二实施例(图像解码装置)

3.第三实施例(ALF块控制)

4.第四实施例(QALF)

5.第五实施例(个人计算机)

6.第六实施例(电视接收器)

7.第七实施例(蜂窝电话)

8.第八实施例(硬盘记录器)

9.第九实施例(照相机)

<1.第一实施例>

[装置的配置]

图1表示用作应用了本发明的图像处理装置的图像编码装置的实施例的配置。

图1中所示的图像编码装置100是这样的图像编码装置，该图像编码装置使用例如H.264和MPEG(运动图片专家组)4Part10(AVC(高级视频编码))(在下文中中被写为H.264/AVC)格式来对图像进行压缩编码，并且进一步利用自适应环路滤波器。

对于图1中的例子，图像编码装置100具有A/D(模拟/数字)转换单元101、画面重新排列缓冲器102、计算单元103、正交变换单元104、量化单元105、无损耗编码单元106和存储缓冲器107。图像编码装置100还具有逆量化单元108、逆正交变换单元109、计算单元110和去块滤波器111。此外，图像编码装置100具有滤波系数计算单元112、环路滤波器113和帧存储器114。此外，图像编码装置100具有选择单元115、帧内预测单元116、运动预测/补偿单元117和选择单元118。此外，图像编码装置100具有速率控制单元119。

A/D转换单元101对输入的图像数据执行A/D转换，并且将其输出到画面重新排列缓冲器102和存储。画面重新排列缓冲器102根据GOP(图片组)结构将用于显示的按照存储的顺序的帧的图像重新排列为用于编码的帧的顺序。画面重新排列缓冲器102将其帧顺序已经被重新排列的图像供应给计算单元103、帧内预测单元116、运动预测/补偿单元117和滤波系数计算单元112。

计算单元103从由画面重新排列缓冲器102读出的图像中减去由选择单元118供应的预测图像，并且将其差分信息输出到正交变换单元104。例如，在对其已经执行帧内编码的图像的情况中，计算单元103将从帧内预测单元116供应的预测图像与从画面重新排列缓冲器102读出的图像相加。此外，例如，在已经执行帧间编码的情况中，计算单元103将从运动预测/补偿单元117供应的预测图像与从画面重新排列缓冲器102读出的图像相加。

正交变换单元104对来自计算单元103的差分信息进行诸如离散余弦变换、Karhunen-Loéve变换等之类的正交变换，并且将其变换系数提供给量化单元105。正交变换单元104还将与已经对每一个宏块(正交变换尺寸)应用了4×4正交变换和8×8正交变换中的哪一种有关的信息供应给滤波系数计算单元112和环路滤波器113。

量化单元105对正交变换单元104输出的变换系数进行量化。量化单元105将量化的变换系数供应给无损耗编码单元106。

无损耗编码单元106对量化的变换系数进行诸如可变长度编码、算术编码等之类的无损耗编码。

无损耗编码单元106从帧内预测单元116获得指示帧内预测等的信息，并且从运动预测/补偿单元117获取指示帧间预测模式等的信息。请注意，在下文中，指示帧内预测的信息将被称为帧内预测模式信息。同样地，在下文中，指示帧间预测的信息将被称为帧间预测模式信息。

无损耗编码单元106还从滤波系数计算单元112获得在环路滤波器113处使用的滤波系数。

无损耗编码单元106对量化的变换系数进行编码，并且还取滤波系数、帧内预测模式信息、帧间预测模式信息、量化参数等作为编码数据中的头部信息的部分(多路复用)。无损耗编码单元106将通过编码获得的编码数据供应给存储缓冲器107以便存储。

例如，对于无损耗编码单元106，执行诸如可变长度编码、算术编码等之类的无损耗编码处理。可变长度编码的例子包括由H.264/AVC格式规定的CAVLC(上下文自适应可变长度编码)。算术编码的例子包括CABAC(上下文自适应二进制算术编码)。

存储缓冲器107临时地保持从无损耗编码单元106供应的编码数据，并且在预定的定时将其作为通过H.264/AVC格式编码的压缩图像输出到在该图中未示出的下游的记录装置或传输路径等。

此外，从量化单元105输出的量化的变换系数也被供应给逆量化单元108。逆量化单元108通过对应于在量化单元105处的量化的方法来对量化的变换系数执行逆量化，并且将获得的变换系数供应给逆正交变换单元109。

逆正交变换单元109通过对应于正交变换单元104的正交变换处理的方法来对供应的变换系数执行逆正交变换。将经过了逆正交变换的输出供应给计算单元110。

计算单元110将从逆正交变换单元109供应的逆正交变换结果(即，恢复的差分信息)与从选择单元118供应的预测图像相加，并且，获得局部地解码的图像(解码图像)。例如，在差分信息对应于要对其执行帧内编码的图像的情况中，计算单元110将从帧内预测单元116供应的预测图像与该差分信息相加。同样地，例如，在差分信息对应于要对其执行帧间编码的图像的情况中，计算单元110将从运动预测/补偿单元117供应的预测图像与该差分信息相加。

将其相加结果供应给去块滤波器111。

去块滤波器111从解码图像中去除块噪声。然后，去块滤波器111将噪声去除结果供应给环路滤波器113和帧存储器114。

经由帧存储器114向滤波系数计算单元112供应从去块滤波器111供应的解码图像。还向滤波系数计算单元112供应从画面重新排列缓冲器102读出的输入图像。此外，从正交变换单元104向滤波系数计算单元112供应正交变换尺寸(4×4正交变换和8×8正交变换中的哪一种已经被应用于每一个宏块)。

基于从正交变换单元104供应的正交变换尺寸，滤波系数计算单元112按照正交变换尺寸对解码图像和输入图像的宏块进行分组(执行类别分类)，并且，针对每一组(类别)产生用于在环路滤波器113处执行的滤波处理的合适的滤波系数。滤波系数计算单元112计算滤波系数，使得在每一组(正交变换尺寸)中残差(解码图像和输入图像之间的差)最小。

滤波系数计算单元112将产生的每一组的滤波系数供应给环路滤波器113。此外，滤波系数计算单元112将产生的每一组的滤波系数供应给无损耗编码单元106。如上所述，滤波系数通过无损耗编码单元106被包含(多路复用)在编码数据中。也就是说，每一组的滤波系数与编码数据一起被发送给图像解码装置。

经由帧存储器114从去块滤波器111供应的解码图像被供应给环路滤波器113。此外，从正交变换单元104向滤波系数计算单元112供应正交变换尺寸(关于4×4正交变换和8×8正交变换中的哪一种已经被应用于每一个宏块的信息)。

环路滤波器113基于从正交变换单元104供应的正交变换尺寸来按照正交变换尺寸对解码图像的宏块进行分组(执行类别分类)，并且，针对每一组(类别)，使用从滤波系数计算单元112供应的滤波系数来对解码图像执行滤波处理。例如，维纳滤波器(Wiener Filter)用作该滤波器。当然，可以使用除维纳滤波器以外的滤波器。环路滤波器113将滤波处理结果供应给帧存储器114，并且存储作为参考图像。

帧存储器114在预定的定时将存储的参考图像经由选择单元115输出到帧内编码单元116或运动预测/补偿单元117。例如，在要对其进行帧内编码的图像的情况中，帧存储器114将参考图像经由选择单元115供应给帧内预测单元116。同样地，例如，在要对其进行帧间编码的图像的情况中，帧存储器114将参考图像经由选择单元115供应给运动预测/补偿单元117。

例如，对于该图像编码装置100，来自画面重新排列缓冲器102的I图片、B图片和P图片作为要进行帧内预测(也被称为帧内处理)的图像被供应给帧内预测单元116。此外，从画面重新排列缓冲器102读出的B图片和P图片作为要进行帧间预测(也被称为帧间处理)的图像被供应给运动预测/补偿单元117。

在要对其进行帧内编码的图像的情况中，选择单元115将从帧存储器114供应的参考图像供应给帧内预测单元116，并且，在要对其进行帧间编码的图像的情况中，选择单元115将从帧存储器114供应的参考图像供应给运动预测/补偿单元117。

帧内预测单元116基于从画面重新排列缓冲器102读出的要进行帧内预测的图像和从帧存储器114供应的参考图像执行所有的候选帧内预测模式的帧内预测处理，以产生预测图像。

通过帧内预测单元116，关于应用于当前块/宏块的帧内预测模式的信息被传送给无损耗编码单元106，并且被取为头部信息的一部分。对于亮度信号，定义帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式，此外，关于色差信号，可以与亮度信号独立地为每一个宏块定义预测模式。对于帧内4×4预测模式，为每一个4×4亮度块定义一个帧内预测模式。对于帧内8×8预测模式，为每一个8×8亮度块定义一个帧内预测模式。对于帧内16×16预测模式和色差信号，为每一个宏块定义一个预测模式。

帧内预测单元116计算关于产生了预测图像的帧内预测模式的成本函数值(cost function value)，并且，选择其中计算出的成本函数值给出了最小值的帧内预测模式作为最佳的帧内预测模式。帧内预测单元116将在最佳帧内预测模式中产生的预测图像经由选择单元118供应给计算单元103。

关于要经过帧间编码的图像，运动预测/补偿单元117使用从画面重新排列缓冲器102供应的输入图像和从帧存储器114供应的充当参考帧的解码图像，并且计算运动向量。运动预测/补偿单元117根据计算出的运动向量来执行运动补偿处理，并且产生预测图像(帧间预测图像信息)。

运动预测/补偿单元117针对所有的候选帧间预测模式执行帧间预测处理，并且产生预测图像。帧间预测模式与帧内预测模式的情况一样。

运动预测/补偿单元117针对已经对其产生了预测图像的帧间预测模式计算成本函数值，并且选择其计算出的成本函数值产生最小值的帧间预测模式作为最佳帧间预测模式。运动预测/补偿单元117将在最佳帧间预测模式中产生的预测图像经由选择单元118供应给计算单元103。

运动预测/补偿单元117将指示计算出的运动向量的运动向量信息供应给无损耗编码单元106。该运动向量信息通过无损耗编码单元106被包含(多路复用)在编码数据中。也就是说，运动向量信息与编码数据一起被发送给图像解码装置。

在执行帧内编码的图像的情况中，选择单元118将帧内预测单元116的输出供应给计算单元103，并且，在执行帧间编码的情况中，选择单元118将运动预测/补偿单元117的输出供应给计算单元103。

速率控制单元119基于在存储缓冲器107中存储的压缩图像来控制量化单元105的量化操作的速率，使得不会发生上溢或下溢。

[正交变换的描述]

接下来，将详细地描述上述的每一个处理。首先，将描述正交变换。

对于MPEG2编码格式，已经以8×8像素作为增量执行了正交变换的处理。另一方面，对于与AVC编码格式相同的执行正交变换的图像编码装置100，通过基线类(Baseline Profile)、主类(Main Profile)和扩展类(Extended Profle)执行以4×4像素作为增量的正交变换。此外，在高类(High Profile)或更高的类中，图像编码装置100能够按照宏块的增量在以图2的A中所示的4×4像素的增量的正交变换和以图2的B中所示的8×8像素的增量的正交变换之间切换。

[4×4正交变换]

首先，将描述4×4正交变换。以4×4像素增量的正交变换具有以下特征。

第一特征在于，对于MPEG2编码格式，可以在一定范围内针对每一个编码格式自由地设置变换的计算精度，从而需要实施用于逆变换中的失配的措施，但是，对于本方法，在标准中规定了变换和逆变换两种，从而不需要实施这样的用于失配的措施。

第二特征在于，能够实现采用16-比特寄存器的实施方案，从而可以用低功耗类型数字信号处理器(DSP(数字信号处理器))(例如，与便携式终端等一起使用)来实现计算。

第三特征在于，虽然通过诸如MPEG2等之类的使用8×8像素的增量中的正交变换的编码方法观察到了由于高频系数处的量化误差而导致的蚊式噪声，但是，通过本发明不能可读取地观察到这种蚊式噪声。

图3图示正交变换和量化处理的概要。也就是说，一个宏块中包含的8×8像素的色差信号和16×16像素的亮度信号均被分割成4×4像素块，如图3所示，并且，对每一块进行整数变换处理和量化处理。此外，对于色差信号，如图3所示，产生仅仅聚集了DC分量的2×2矩阵，并且，对这些矩阵进行2次Hadamard变换和量化。

此外，在当前宏块是帧内16×16模式的情况中，如图3所示，产生仅仅聚集了DC分量的4×4矩阵，并且，对这些矩阵进行4次Hadamard变换和量化。

4次正交变换可以被描述为如下面的表达式(1)中一样。

[数学表达式1]

其中

表达式(2)是可以由该表达式(1)得到的变式。

[数学表达式2]

其中

表达式(3)是可以由该表达式(2)得到的另一变式。

[数学表达式3]

因此，矩阵[C_f]可以被表达为下面的表达式(4)。

[数学表达式4]

也就是说，图像编码装置100使用在表达式(4)中的右手侧示出的矩阵作为整数变换矩阵。

因此，整数变换可以通过相加(加减法)和移位(比特移位)来实现。

此外，根据表达式(3)，矩阵[E_f]可以被表达为下面的表达式(5)。

[数学表达式5]

该表达式(5)的右手侧项是通过图像编码装置100针对每一个4×4分量执不同的量化处理而实现的。换句话说，图像编码装置100通过整数变换和量化处理的组合来实现正交变换。

此外，逆变换可以被表达为下面的表达式(6)。

[数学表达式6]

因此，表达式(6)的右手侧可以被表达为如下面的表达式(7)和表达式(8)中一样。

[数学表达式7]

[数学表达式8]

在表达式(7)中的右手侧示出的矩阵是作为逆量化的结果而获得的4×4矩阵，而关于解码图像的4×4矩阵是通过应用在表达式(8)中的右手侧示出的逆量化矩阵而计算出的。

逆整数变换也可以单独地通过相加(加减法)和移位(比特移位)来实现。

图4中的A和图4中的B图示用于通过蝶式计算实现整数变换和逆整数变换的技术。

[8×8正交变换]

接下来，将针对8×8正交变换进行描述，该8×8正交变换可以与AVC高类和更高的类一起使用。

通过图像编码装置100，8×8正交变换被定义为仅仅用加减法和移位计算实现的整数变换，与4×4正交变换的情况一样。

首先，图像编码装置100针对水平方向上的八个点执行正交变换的计算，接下来，针对垂直方向上的八个点执行变换。

为了简化描述，将描述8次的一维整数变换。

首先，利用{d0,d1,d2,d3,d4,d5,d6,d7}的输入信号，执行下面的表达式(9)至表达式(16)的计算。

e0＝d0+d7...(9)

e1＝d1+d6...(10)

e2＝d2+d5...(11)

e3＝d3+d6...(12)

e4＝d0-d7...(13)

e5＝d1-d6...(14)

e6＝d2-d5...(15)

e7＝d3-d4...(16)

接下来，针对{e0,e1,e2,e3,e4,e5,e6,e7}执行下面的表达式(17)至表达式(24)的计算。

e'0＝e0+e3...(17)

e'1＝e1+e2...(18)

e'2＝e0-e3...(19)

e'3＝e1-e2...(20)

e'4＝e5+e6+(e4>>1+e4)...(21)

e'5＝e4-e7-(e6>>1+e6)...(22)

e'6＝e4+e7-(e5>>1+e5)...(23)

e'7＝e5-e6+(e7>>1+e7)...(24)

此外，针对{e'0,e'1,e'2,e'3,e'4,e'5,e'6,e'7}执行下面的表达式(25)至表达式(32)的计算，从而获得正交变换的系数{D0,D1,D2,D3,D4,D5,D6,D7}。

D0＝e'0+e'1...(25)

D2＝e'2+e'3>>1...(26)

D4＝e'0-e'1...(27)

D6＝e'2>>1-e'3...(28)

D1＝e'4+e'7>>2...(29)

D3＝e'5+e'6>>2...(30)

D5＝e'6-e'5>>2...(31)

D7＝-e'7+e'4>>2...(32)

从{D0,D1,D2,D3,D4,D5,D6,D7}到{d0,d1,d2,d3,d4,d5,d6,d7}的逆正交变换被如下执行。

也就是说，首先，与下面的表达式(34)至表达式(40)一样，计算从{D0,D1,D2,D3,D4,D5,D6,D7}到{f0,f1,f2,f3,f4,f5,f6,f7}。

f0＝D0+D4...(33)

f1＝-D3+D5-(D7+D7>>1)...(34)

f2＝D0-D4...(35)

f3＝D1+D7-(D3+D3>>1)...(36)

f4＝D2>>1-D6...(37)

f5＝-D1+D7+(D5+D5>>1)...(38)

f6＝D2+D6>>1...(39)

f7＝D3+D5+(D1+D1>>1)...(40)

接下来，与下面的表达式(41)至表达式(48)一样，计算从{f0,f1,f2,f3,f4,f5,f6,f7}到{f'0,f'1,f'2,f'3,f'4,f'5,f'6,f'7}。

f'0＝f0+f6...(41)

f'1＝f1+f7>>2...(42)

f'2＝f2+f4...(43)

f'3＝f3+f5>>2...(44)

f'4＝f2-f4...(45)

f'5＝f3>>2-f5...(46)

f'6＝f0-f6...(47)

f'7＝f7-f1>>2...(48)

最后，与下面的表达式(49)至表达式(56)一样，计算从{f'0,f'1,f'2,f'3,f'4,f'5,f'6,f'7}到{d0,d1,d2,d3,d4,d5,d6,d7}。

d0＝f'0+f'7...(49)

d1＝f'2+f'5...(50)

d2＝f'4+f'3...(51)

d3＝f'6+f'1...(52)

d4＝f'6-f'1...(53)

d5＝f'4-f'3...(54)

d6＝f'2-f'5...(55)

d7＝f'0-f'7...(56)

[去块滤波器]

接下来，将描述去块滤波器。去块滤波器111去除解码图像中的块噪声。因此，抑制块噪声传播到由运动补偿处理参考的图像。

下面的用于去块滤波处理的三种方法(a)至(c)可以通过编码数据中的包含的两个参数来被选择，所述两个参数是在图片参数组RBSP(原始比特序列有效载荷(Raw Byte Sequence Payload))中包含的deblocking_filter_control_present_flag和在片头部(Slice Header)中包含的disable_deblocking_filter_idc。

(a)施加于块边界和宏块边界

(b)仅仅施加于宏块边界

(c)不施加

对于量化参数QP，QPY用于对亮度信号施加下述处理的情况中，并且，QPC用于对色差信号施加的情况中。此外，虽然属于不同片的像素值在运动向量编码、帧内预测和熵编码(CAVLC/CABAC)中被处理为“不可用的”，但是，对于去块滤波处理，甚至属于不同片的像素值被处理为“可用的”，只要它们属于相同图片即可。

在下面，我们将假定，在去块滤波处理之前的像素值是p0至p3和q0至q3，并且，在去块滤波处理之后的像素值是p0’至p3’和q0’至q3’，如图5所示。

首先，在去块滤波处理之前，如图6中所示的表一样，针对图5中的p和q定义Bs(边界强度)。

只有在满足下面的表达式(57)和表达式(58)中所示的条件的情况中，对图5中的(p2,p1,p0,q0,q1,q2)进行去块滤波处理。

Bs>0...(57)

|p0-q0|<α；|p1-p0|<β；|q1-10|<β...(58)

在默认状态中，表达式(58)中的α和β具有如下所述的根据QP确定的其值，但是，用户可以通过编码数据的片头部中包含的所谓的slice_alpha_c0_offset_div2和slice_beta_offset_div2的两个参数来调整其强度，如图7中的曲线图中的箭头所示。

如图8中的表中所示，α是从indexA获得的。以相同的方式，β是从indexB获得的。这些indexA和indexB如下面的表达式(59)至表达式(61)一样被定义。

qP_aν＝(qP_p+qP_q+1)>>1...(59)

indexA＝Clip3(0,51,qP_aν+FilterOffsetA)...(60)

indexB＝Clip3(0,51,qP_aν+FilterOffsetB)...(61)

在表达式(60)和表达式(61)中，FilterOffsetA和FilterOffsetB对应于用户的调整量。

对于去块滤波处理，如下所述，针对Bs<4的情况和Bs＝4的情况定义相互不同的方法。在Bs<4的情况中，如下面的表达式(62)至表达式(64)一样，获得在去块滤波处理之后的像素值p'0和q'0。

Δ＝Clip3(-t_c,t_c((((q0-p0)<<2)+(p1-q1)+4)>>3))...(62)

p'0＝Clip1(p0+Δ)...(63)

q'0＝Clip1(q0+Δ)...(64)

现在，如下面的表达式(65)或表达式(66)一样计算t_c。也就是说，在chromaEdgeFlag的值是“0”时，如下面的表达式(65)一样计算t_c。

t_c＝t_c0+((a_p<β)？1:0)+((a_p<β)？1:0)...(65)

此外，在chromaEdgeFlag的值不是“0”时，如下面的表达式(66)一样计算t_c。

t_c＝t_c0+1...(66)

根据Bs和indexA的值，如图9中的A和图9中的B中的表所示，定义t_c0的值。

此外，如下面的表达式(67)和(68)一样，计算表达式(65)中的a_p和a_q的值。

a_p＝|p2-p0|...(67)

a_q＝|q2-q0|...(68)

在去块滤波处理之后的像素值p'1被如下获得。也就是说，在chromaEdgeFlag的值是“0”并且a_p的值也不是β的情况中，如下面的表达式(69)一样获得p'1。

p'1＝p1+Clip3(-t_c0,t_c0,(p2+((p0+q0+1)>>1)-(p1<<1))>>1)...(69)

此外，在没有满足表达式(69)的情况中，如下面的表达式(70)一样获得p'1。

p'1＝p1...(70)

在去块滤波处理之后的像素值q'1被如下获得。也就是说，在chromaEdgeFlag的值是“0”并且a_q的值也不是β的情况中，如下面的表达式(71)一样获得q'1。

q'1＝q1+Clip3(-t_c0,t_c0,(q2+((p0+q0+1)>>1)-(q1<<1))>>1)...(71)

此外，在没有满足表达式(71)的情况中，如下面的表达式(72)一样获得q'1。

q'1＝q1...(72)

根据在滤波之前的p2和q2的值，p’2和q’2的值不变。也就是说，如下面的表达式(73)一样获得p’2，如下面的表达式(74)一样获得q’2。

p'2＝p2...(73)

q'2＝q2...(74)

在Bs＝4的情况中，在去块滤波之后的像素值p'I(i＝0..2)被如下获得。在chromaEdgeFlag的值是“0”且满足下面的表达式(75)中所示的条件的情况中，如下面的表达式(76)至表达式(78)一样获得p’0、p’1和p’2。

a_p<β&&|p0-q0|<((α>>2)+2)...(75)

p'0＝(p2+2×p1+2×p0+2×q0+q1+4)&gt;&gt;3...(76)

p'1＝(p2+p1+p0+q0+2)&gt;&gt;2...(77)

p'2＝(2×p3+3×p2+p1+p0+q0+4)&gt;&gt;3...(78)

此外，在没有满足表达式(75)中所示的条件的情况中，如下面的表达式(79)至表达式(81)一样获得p’0、p’1和p’2。

p'0＝(2×p1+p0+q1+2)&gt;&gt;2...(79)

p'1＝p1...(80)

p'2＝p2...(81)

在去块滤波处理之后的像素值q'i(I＝0..2)被如下获得。即，在chromaEdgeFlag的值是“0”且满足下面的表达式(82)中所示的条件的情况中，如下面的表达式(83)至表达式(85)一样获得q’0、q’1和q’2。

aq<β&&|p0-q0|<((α>>2)+2)...(82)

q'0＝(p1+2×p0+2×q0+2×q1+q2+4)&gt;&gt;3...(83)

q'1＝(p0+q0+q1+q2+2)&gt;&gt;2...(84)

q'2＝(2×q3+3×q2+q1+q0+p4+4)&gt;&gt;3...(85)

此外，在没有满足表达式(82)中所示的条件的情况中，如下面的表达式(86)至表达式(88)一样获得q’0、q’1和q’2。

q'0＝(2×q1+q0+p1+2)&gt;&gt;2...(86)

q'1＝q1...(87)

q'2＝q2...(88)

[环路滤波器]

现在，在传送具有诸如4000×2000个像素的甚至更高分辨率的图像或者通过具有受限的带宽的线路(如互联网)传送现有的Hi视觉图像的情况中，通过AVC实现的压缩率仍然是不够的。

现在，作为提高编码效率的一种技术，与图像编码装置100一起使用环路滤波器113。例如，对于环路滤波器113，使用维纳滤波器。当然，对于环路滤波器113，可以使用除维纳滤波器以外的滤波器。通过对于经过去块滤波处理的解码图像执行滤波处理，环路滤波器113使关于原始图像的残差最小化。滤波系数计算单元112计算环路滤波系数，使得解码图像和原始图像之间的残差通过滤波处理被最小化。环路滤波器113使用该滤波系数来执行滤波处理。请注意，该滤波系数在被添加到编码数据之后被传送给图像解码装置，并且在解码时也用于滤波处理。

通过执行这种滤波处理，图像编码装置100可以提高解码图像的图像质量，并且还可以提高参考图像的图像质量。

[预测模式的选择]

现在，对于作为下一代编码格式的目标的诸如UHD(超高清晰度；4000个像素×2000个像素)的大图像帧，使宏块尺寸成为16个像素×16个像素不是最佳的。例如，已经提出了使宏块尺寸成为32个像素×32个像素、64个像素×64个像素等。

为了实现甚至更高的编码效率，选择合适的预测模式是重要的。例如，可以想到这样的方法，即，其中，选择高复杂度模式和低复杂度模式的两种模式中的一种技术。在该方法的情况中，对于任意一种，计算关于每一种预测模式Mode的成本函数值，并且，选择使该成本函数值最小的预测模式作为用于当前块或宏块的最佳模式。

可以如下面的表达式(89)一样获得具有高复杂度模式的成本函数。

Cost(Mode∈Ω)＝D+λ×R...(89)

在表达式(89)中，Ω是用于编码当前块或宏块的候选模式的整个组。此外，在用当前预测模式Mode进行编码的情况中，D是解码图像和输入图像之间的差分能量。此外，λ是作为量化参数的函数给出的拉格朗日乘子。此外，R是包含正交变换系数的在用当前模式Mode进行编码的情况中的总代码量。

也就是说，为了用高复杂度模式进行编码，需要通过所有的候选模式Mode执行一次试探性编码处理，以便计算上述参数D和R，需要更大的计算量。

另一方面，如下面的表达式(90)所示，可以获得低复杂度模式的成本函数。

Cost(Mode∈Ω)＝D+QP2Quant(QP)×HeaderBit...(90)

在表达式(90)中，与高复杂度模式的情况不一样，D是预测图像和输入图像之间的差分能量。此外，QP2Quant(QP)作为量化参数QP的函数给出。此外，HeaderBit是关于诸如运动向量和模式的属于不包含正交变换系数的头部的信息的代码量。

也就是说，在低复杂度模式中，需要针对每一种候选模式Mode执行预测处理，但是，不需要一路执行到解码图像，从而，不需要一直执行到解码处理。因此，能够以与高复杂度模式相比较小的计算量来实现。

对于高类(High Profile)，基于上述的高复杂度模式和低复杂度模式之一执行如图2中所示的4×4正交变换和8×8正交变换之间的选择。

现在，对于作为下一代编码格式的目标的诸如UHD的大图像帧，使宏块尺寸成为16个像素×16个像素不是最佳的。例如，如图10所示，已经提出了使宏块尺寸成为32个像素×32个像素。

通过利用如图10所示的层状结构，为16×16像素块或更小的块定义较大的块作为其超集(superset)，同时与当前AVC中的宏块保持兼容性。

[详细的配置例子]

如上所述，图像编码装置100对图像编码处理施加环路滤波处理。图像编码装置100针对每一种正交变换尺寸获得用于环路滤波处理的最佳滤波系数，并且，用适合于该正交变换尺寸的滤波系数执行每一个宏块的滤波处理。

下面是作为关于这种环路滤波器的配置的滤波系数计算单元112和环路滤波器113的配置的详细描述。

图11是图示滤波系数计算单元112和环路滤波器113的主要配置例子的框图。

如图11所示，滤波系数计算单元112具有正交变换尺寸缓冲器151、解码像素分类单元152、输入像素分类单元153、4×4块系数计算单元154和8×8块系数计算单元155。

此外，环路滤波器113具有像素分类单元161、滤波单元(4×4)162和滤波单元(8×8)163。

首先，解码图像从去块滤波器111被供应给帧存储器114。此外，关于每一个宏块的正交变换尺寸的信息(是(4×4)还是(8×8))从正交变换单元104被供应给滤波系数计算单元112的正交变换尺寸缓冲器151。

解码图像进一步从帧存储器114被供应给滤波系数计算单元112的解码像素分类单元152。此外，输入图像从画面重新排列缓冲器102被供应给输入像素分类单元153。

解码像素分类单元152从正交变换尺寸缓冲器151读出关于正交变换尺寸的信息并获得该信息。解码像素分类单元152基于获得的正交变换尺寸来执行将解码图像的宏块分类为对其施加了4×4正交变换的宏块(4×4正交变换块)和对其施加了8×8正交变换的宏块(8×8正交变换块)的类别分类(分组)。然后，解码像素分类单元152将解码图像的关于4×4正交变换块的信息供应给4×4块系数计算单元154，并且，将关于8×8正交变换块的信息供应给8×8块系数计算单元155。

以相同的方式，输入像素分类单元153从正交变换尺寸缓冲器151读出关于正交变换尺寸的信息并获得该信息。输入像素分类单元153基于获得的正交变换尺寸来执行将输入图像的宏块分类(分组)为对其施加了4×4正交变换的宏块(4×4正交变换块)和对其施加了8×8正交变换的宏块(8×8正交变换块)的类别分类。然后，输入像素分类单元153将输入图像的关于4×4正交变换块的信息供应给4×4块系数计算单元154，并且，将关于8×8正交变换块的信息供应给8×8块系数计算单元155。

4×4块系数计算单元154使用向其供应的4×4正交变换块的解码图像和输入图像来计算滤波系数(例如，维纳滤波系数)，使得该残差最小。4×4块系数计算单元154将计算出的滤波系数供应给无损耗编码单元106，并且还供应给环路滤波器113的滤波单元(4×4)162。

以相同的方式，8×8块系数计算单元155使用向其供应的8×8正交变换块的解码图像和输入图像来计算滤波系数(例如，维纳滤波系数)，使得该残差最小。8×8块系数计算单元155将计算出的滤波系数供应给无损耗编码单元106，并且还供应给环路滤波器113的滤波单元(8×8)163。

无损耗编码单元106将供应的滤波系数添加到编码数据。

现在，从正交变换单元104向环路滤波器113的像素分类单元161供应关于与每一个宏块有关的正交变换尺寸(是(4×4)还是(8×8))的信息。从去块滤波器111向其像素分类单元161供应解码图像。

像素分类单元161基于从正交变换单元104供应的关于正交变换尺寸的信息来执行将解码图像的宏块分类(分组)为对其施加了4×4正交变换的宏块(4×4正交变换块)和对其施加了8×8正交变换的宏块(8×8正交变换块)的类别分类。然后，像素分类单元161将解码图像的关于4×4正交变换块的信息供应给滤波单元(4×4)162，并且，将关于8×8正交变换块的信息供应给滤波单元(8×8)163。

滤波单元(4×4)162对于从4×4块系数计算单元154供应的4×4正交变换块施加合适的滤波系数，并且对解码图像的4×4正交变换块执行滤波处理。

滤波单元(8×8)163对于从8×8块系数计算单元155供应的8×8正交变换块施加合适的滤波系数，并且对解码图像的8×8正交变换块执行滤波处理。

滤波单元(4×4)162和滤波单元(8×8)163将经过滤波处理的解码图像存储在帧存储器114中，以便在预定的定时输出到运动预测/补偿单元117。

滤波系数计算单元112和环路滤波器113如上所述地执行处理，以针对每一种正交变换尺寸产生滤波系数，并执行滤波处理。

可以说，图像内的局部性质被反映在正交变换尺寸中。例如，针对平坦的区域(频率稀疏的部分)，很可能选择8×8正交变换，对于包含细纹理的区域(频率密集的部分)，很可能选择4×4正交变换。

此外，在8×8正交变换和4×4正交变换之间观察到不同的图像质量劣化趋势。例如，对于8×8正交变换，容易观察到蚊式噪声，而对于4×4正交变换，不容易观察到蚊式噪声。

因此，滤波系数计算单元112通过如上所述针对每一种正交变换尺寸产生滤波系数来在滤波系数中反映图像内的局部性质。例如，滤波系数计算单元112可以进行控制，以便调整滤波系数的值，使得环路滤波器113对于频率稀疏的部分施加更弱的滤波，并且对于频率密集的部分施加更强的滤波。

请注意，除了简单地改变滤波系数的值以外，滤波系数计算单元112还可以增加/减小滤波器的抽头数。例如，滤波系数计算单元112对于频率稀疏的部分减小抽头数，并且，对于频率密集的部分增加抽头数。当然，滤波系数计算单元112可以既执行滤波系数的值的调整，又执行抽头数的增加/减小。

这样，使用反映了图像内的局部性质的滤波系数来执行滤波处理，从而，环路滤波器113可以执行适合于该图像所具有的局部性质的噪声去除，并且可以进一步提高解码图像的图像质量。

请注意，这样，图像编码装置100基于所谓的正交变换尺寸的作为语法要素已经存在的值来执行切换，从而，不需要把映射信息(map information)新添加到要向其发送滤波系数的编码数据，因此，可以在没有增加编码数据中的开销的情况下(在没有减小编码效率的情况下)实现高图像质量处理。

[处理的流程]

接下来，将描述使用如上所述地配置的部分的处理的流程。首先，将参照图12中的流程图来描述由图像编码装置100执行的编码处理的流程的例子。

在步骤S101中，A/D转换单元101把输入图像从模拟的转换到数字的。在步骤S102中，画面重新排列缓冲器102存储A/D转换的图像，并且执行从用于显示图片的序列到用于编码的序列的重新排列。

在步骤S103中，帧内预测单元116和运动预测/补偿单元117等确定预测模式，并且执行预测处理，以产生预测图像。稍后将描述该预测处理的细节。

在步骤S104中，计算单元103计算由步骤S102中的处理重新排列的图像和由步骤S103中的预测处理产生的预测图像之间的差。经由选择单元118，在执行帧间预测的情况中，将预测图像从运动预测/补偿单元117供应到计算单元103，并且，在执行帧内预测的情况中，将预测图像从帧内预测单元116供应到计算单元103。

与原始图像数据相比，差分数据的数据量较小。因此，与在没有变化的情况下对原始图像进行编码的情况相比，可以压缩数据量。

在步骤S105中，正交变换单元104对由步骤S104中的处理产生的差分信息进行正交变换。具体地说，执行诸如离散余弦变换、Karhunen-Loéve变换等的正交变换，并且，输出变换系数。在步骤S106中，量化单元105对变换系数进行量化。在该量化时，控制速率，从而将描述稍后描述的步骤S115中的处理。

在步骤S107中，无损耗编码单元106对从量化单元105输出的量化变换系数进行编码。

此外，对这样量化的差分信息进行如下的局部解码。具体地说，在步骤S108中，逆量化单元108使用与量化单元105的特性对应的特性来对由量化单元105量化的变换系数进行逆量化。在步骤S109中，逆正交变换单元109使用与正交变换单元104的特性对应的特性来对经过逆量化单元108的逆量化的变换系数进行逆正交变换。

在步骤S110中，计算单元110将经由选择单元118供应的预测图像与局部解码的差分信息相加，并且产生局部解码的图像(该图像对应于到计算单元103的输入)。在步骤S111中，去块滤波器111对从计算单元110供应的解码图像进行去块滤波。因此，去除了块噪声。

在对一个图片执行上述处理时，在步骤S112中，滤波系数计算单元112和环路滤波器113执行环路滤波处理。稍后将描述该环路滤波处理的细节。

在步骤S113中，无损耗编码单元106在片头部中嵌入(写入)用于每一个正交变换块的滤波系数、帧间预测模式信息、帧内预测模式信息等的元数据。在图像解码时，读出和使用该元数据。

在步骤S114中，存储缓冲器107存储编码数据。存储于存储缓冲器107中的编码数据在适当的时候被读出，并且经由传送路径被传送到解码侧。

在步骤S115中，速率控制单元119基于存储于存储缓冲器107中的编码数据来执行量化单元105的量化操作的速率，使得不会发生上溢或下溢。

接下来，将参照图13中的流程图描述图12中的步骤S103中执行的预测处理的流程的例子。

在开始预测处理时，在步骤S131中，帧内预测单元116使用经由选择单元115从帧存储器114获得的参考图像和从画面重新排列缓冲器102供应的输入图像来计算用于帧内4×4、帧内8×8和帧内16×16的每一个模式(预先准备的每一个帧内模式)的成本函数值。

在步骤S132中，帧内预测单元116基于在步骤S131中计算出的每一种模式的成本函数值来针对帧内4×4、帧内8×8和帧内16×16中的每一个决定最佳模式。

在步骤S133中，帧内预测单元116从帧内4×4、帧内8×8和帧内16×16中选择最佳帧内模式。

与步骤S131至步骤S133中的每一个处理并行地，运动预测/补偿单元117执行步骤S134至步骤S137中的每一个处理。

在步骤S134中，运动预测/补偿单元117执行运动搜索。在步骤S135中，运动预测/补偿单元117针对帧间16×16至4×4中的每一个模式决定运动向量/参考帧。

在步骤S136中，运动预测/补偿单元117针对帧间16×16至4×4中的每一个模式计算成本函数值。

在步骤S137中，运动预测/补偿单元117基于成本函数值来决定最佳帧间模式。

在步骤S138中，选择单元118决定在步骤S133中选择的最佳帧内模式和在步骤S137中决定的最佳帧间模式之一作为最佳模式。

在步骤S139中，对应于被决定作为最佳模式的模式的帧内预测单元116或运动预测/补偿单元117产生预测图像。经由选择单元118，将该预测图像供应给计算单元103和计算单元110。此外，此时的最佳模式的该预测模式信息(帧内预测模式信息或帧间预测模式信息)被供应给无损耗编码单元106。

在产生预测图像时，预测处理结束，本流程返回到图12中的步骤S103，并且，执行步骤S104和后续步骤的处理。

接下来，将参照图14中的流程图描述图12中的步骤S112中执行的环路滤波处理的流程的例子。

在开始环路滤波处理时，在步骤S151中，解码像素分类单元152、输入像素分类单元153和像素分类单元161均按照在图12中的步骤S105中执行的正交变换处理中应用的每一种正交变换尺寸对向其供应的输入图像或解码图像的宏块进行分组(执行类别分类)。

在步骤S152中，4×4块系数计算单元154和8×8块系数计算单元155针对每一组计算滤波系数。

在步骤S153中，滤波单元(4×4)162和滤波单元(8×8)163使用在步骤S152中计算出的滤波系数来对每一组执行滤波处理。

在步骤S154中，帧存储器114存储在步骤S153中执行的滤波处理的结果(经过滤波处理的解码图像)。该图像在预定的定时作为参考图像被供应给运动预测/补偿单元117。

在步骤S154的处理结束时，环路滤波处理结束，本流程返回到图12中的步骤S112，并且，执行步骤S113和后续步骤的处理。

通过执行上述的每一个处理，滤波系数计算单元112可以针对每一种正交变换尺寸产生合适的滤波系数。此外，环路滤波器113可以使用与其正交变换尺寸相对应的滤波系数来对每一个宏块执行滤波处理。

结果，图像编码装置100可以执行适合于图像内的局部性质的噪声去除，并且，可以获得具有更高图像质量的参考图像。

此外，无损耗编码单元106将这些滤波系数添加到编码数据，从而，可以使用这些滤波系数来对解码图像执行合适的滤波处理，该解码图像是通过图像解码装置对编码数据进行解码而获得的。也就是说，图像编码装置100可以提高通过对图像编码装置100已经产生的编码数据进行解码而获得的解码图像的图像质量。

请注意，在上文中，“添加”是指以可任选的形式使控制信息与编码数据相关联。例如，这可以被描述为编码数据的语法，或者，可以被描述为用户数据。此外，滤波系数等的信息可以作为元数据被置于与编码数据链接的状态中。也就是说，“添加”包含“嵌入”、“描述”、“复用”、“链接”等。这同样地适用于下文。

此外，虽然上文中针对4×4和8×8的正交变换尺寸进行了描述，但是正交变换尺寸是可任选的。同样地，应用的正交变换尺寸的数目也是可任选的。

可以在应用的正交变换尺寸是3种或更多的情况中进行分组(类别分类)，使得针对所有的正交变换尺寸中的两种执行分类，并且，其它的正交变换尺寸被忽视(不被选择)。在这种情况下，对忽视的组不进行滤波处理。在这种情况下，例如，是否执行滤波处理可以通过标志信息等来被控制。

此外，例如，可以对正交变换尺寸进行排列，以可以被分割为两组。也就是说，在这种情况下，可以在一组中共存多种正交变换尺寸。此外，例如，正交变换尺寸可以被分割为相互不同的组。在这种情况下，组数是3或更多。在这种情况下，准备的滤波单元和系数计算单元的数目(图11)与组数相同。

此外，用滤波器的处理的增量可以是按帧，或者可以按片，或者可以按照其它的方式。此外，用于执行类别分类的增量(作为处理的增量的部分图像的图像尺寸)可以不同于宏块。

&lt;2.第二实施例&gt;

[装置的配置]

接下来，将描述与通过第一实施例描述的图像编码装置100相对应的图像解码装置。图15是图示充当应用了本发明的图像处理装置的图像解码装置的实施例的配置例子的框图。

图像解码装置200对从图像编码装置100输出的编码数据进行解码，并且产生解码图像。

图像解码装置200由存储缓冲器201、无损耗解码单元202、逆量化单元203、逆正交变换单元204、计算单元205和去块滤波器206构成。图像解码装置200还具有环路滤波器207。图像解码装置200还具有画面重新排列缓冲器208和D/A(数字/模拟I)转换单元209。图像解码装置200具有帧存储器210、选择单元211、帧内预测单元212、运动预测/补偿单元213和选择单元214。

存储缓冲器201存储向其传送的编码数据。无损耗解码单元202使用与图1中的无损耗编码单元106的编码格式对应的格式来对从存储缓冲器201供应且由该无损耗编码单元106编码的信息进行解码。

在对当前宏块已经进行帧内编码的情况中，无损耗解码单元202提取在编码数据的头部分中存储的帧内预测模式信息，并且将其传送到帧内预测单元212。此外，在对当前宏块已经进行帧间编码的情况中，无损耗解码单元202提取在编码数据的头部分中存储的运动向量信息、帧间预测模式信息等，并且将其传送到运动预测/补偿单元213。

此外，无损耗解码单元202从编码数据中提取用于每一种正交变换尺寸的滤波系数，并且将这些滤波系数供应给环路滤波器207。

逆量化单元203使用与图1中的量化单元105的量化格式对应的格式对由无损耗解码单元202解码的图像进行逆量化。

逆正交变换单元204使用与图1中的正交变换单元104的正交变换格式对应的格式来对逆量化单元203的输出进行逆正交变换。逆正交变换单元204将经过逆正交变换的差分信息供应给计算单元205。此外，逆正交变换单元204将在其逆正交变换处理中应用于每一个宏块的正交变换尺寸供应给环路滤波器207。

计算单元205将从选择单元214供应的预测图像与经过逆正交变换的差分信息相加，并且产生解码图像。去块滤波器206去除已经通过相加处理产生的解码图像的块噪声。

对于由逆正交变换单元204在逆正交变换处理中应用的每一种逆正交变换尺寸，环路滤波器207基于从逆正交变换单元204供应的信息来对从去块滤波器206供应的每一个宏块进行分组(类别分类)，并且，环路滤波器207使用从无损耗解码单元202供应的滤波系数来对每一组(类别)执行滤波处理。

如第一实施例中描述的，这些滤波系数是已经在图像编码装置100的滤波系数计算单元112处产生并且这样被计算出使得残差对于每一种正交变换尺寸都是最小的系数。也就是说，用于每一种正交变换尺寸的滤波系数均被设置为适合于其相应的正交变换尺寸的值。

因此，环路滤波器207可以减少由于量化而导致的、不能通过去块滤波器206完全去除的块噪声和噪声。此时，环路滤波器207执行适合于图像内的局部性质的噪声去除，因此可以输出更高图像质量的解码图像。

环路滤波器207将滤波处理之后的图像供应给帧存储器210以被存储作为参考图像，并且还输出给画面重新排列缓冲器208。

画面重新排列缓冲器208对图像执行重新排列。也就是说，将由图1中的画面重新排列缓冲器102为编码重新排列的帧的顺序被重新排列为原始的显示顺序。D/A转换单元209对从画面重新排列缓冲器208供应的图像执行D/A转换，并且将其输出。例如，D/A转换单元209将通过执行D/A转换而获得的输出信号输出给未示出的显示器，并且显示图像。

在对当前帧已经进行了帧内编码的情况中，帧内预测单元212经由选择单元211从帧存储器210获得参考图像并基于从无损耗解码单元202供应的信息来产生预测图像，并且帧内预测单元212将产生的预测图像经由选择单元214供应给计算单元205。

在对当前帧已经进行了帧间编码的情况中，运动预测/补偿单元213经由选择单元211从帧存储器210获得参考图像并基于从无损耗解码单元202供应的运动向量信息来对该参考图像执行运动补偿处理，并且，运动预测/补偿单元213产生预测图像。运动预测/补偿单元213将产生的预测图像经由选择单元214供应给计算单元205。

在对当前宏块已经进行了帧内编码的情况中，选择单元214连接到帧内预测单元212，并且将从帧内预测单元212供应的图像供应给计算单元205作为预测图像。此外，在对当前宏块已经进行了帧间编码的情况中，选择单元214连接到运动预测/补偿单元213，并且将从运动预测/补偿单元213供应的图像供应给计算单元205作为预测图像。

图16是图示图15中的环路滤波器207的详细的配置例子的框图。

环路滤波器207基本上以与图像编码装置100相同的配置构成，并且执行相同的处理。如图16所示，环路滤波器207具有像素分类单元251、滤波单元(4×4)252和滤波单元(8×8)253。

像素分类单元251基于从逆正交变换单元204供应的正交变换尺寸来执行将从去块滤波器206供应的解码图像的宏块分类(分组)为对其施加了4×4正交变换的宏块(4×4正交变换块)和对其施加了8×8正交变换的宏块(8×8正交变换块)的类别。然后，像素分类单元251将解码图像的关于4×4正交变换块的信息供应给滤波单元(4×4)252，并且，将关于8×8正交变换块的信息供应给滤波单元(8×8)253。

滤波单元(4×4)252对于从无损耗解码单元202供应的4×4正交变换块施加合适的滤波系数，并且对解码图像的4×4正交变换块执行滤波处理。

滤波单元(8×8)253对于从无损耗解码单元202供应的8×8正交变换块施加合适的滤波系数，并且对解码图像的8×8正交变换块执行滤波处理。

滤波单元(4×4)252和滤波单元(8×8)253将经过了滤波处理的解码图像供应给画面重新排列缓冲器208和帧存储器210。

由此，环路滤波器207按照宏块的正交变换尺寸对解码图像中的每一个宏块进行分类，并且使用用于其正交变换尺寸的滤波系数来执行滤波处理。这些滤波系数已经由无损耗解码单元202从编码数据中被提取，并且，如通过第一实施例描述的，为了适合于每一个正交变换尺寸块的图像，已经产生了这些滤波系数。因此，以与通过第一实施例描述的环路滤波器113的情况相同的方式，环路滤波器207可以执行适合于图像所具有的局部性质的噪声去除，因此，获得具有更高图像质量的解码图像。

[处理的流程]

将参照图17的流程图描述该图像解码装置200执行的解码处理的流程的例子。

在步骤S201中，存储缓冲器201存储传送的图像(编码数据)。在步骤S202中，无损耗解码单元202从编码数据中提取滤波系数。无损耗解码单元202还提取运动向量信息、参考帧信息、预测模式信息(帧内预测模式信息和帧间预测模式信息)等。

在步骤S203中，无损耗解码单元202对编码数据执行无损耗解码处理。在步骤S204中，逆量化单元203使用与图1中的量化单元105的特性对应的特性来对在步骤S203中解码的变换系数进行逆量化。在步骤S205中，逆正交变换单元204使用与图1中的正交变换单元104的特性对应的特性来对在步骤S204中逆量化的变换系数进行逆正交变换。这意味着，已经对与图1中的正交变换单元104的输入(计算单元103的输出)对应的差分信息进行解码。

在步骤S206中，帧内预测单元212和运动预测/补偿单元213等根据预测模式执行预测图像产生处理，以产生预测图像。稍后将描述该预测图像产生处理的细节。在步骤S207中，计算单元205将在步骤S206中产生的预测图像与通过直到步骤S205的处理解码的差分信息相加。因此，对原始图像进行解码。

在步骤S208中，去块滤波器206对从计算单元205输出的图像进行滤波。因此，去除了块噪声。

在步骤S209中，环路滤波器207等执行环路滤波处理，并且还对经过了去块滤波处理的图像执行自适应滤波处理。虽然稍后将描述细节，但是该环路滤波处理基本上与图1中的环路滤波器113执行的处理相同。

由于该自适应滤波处理，可以减少通过去块滤波处理不能完全去除的块噪声和由于量化而导致的噪声。

在步骤S210中，画面重新排列缓冲器208执行重新排列。具体地说，将由图1中的图像编码装置100的画面重新排列缓冲器102为编码而重新排列的帧的序列重新排列为原始的显示序列。

在步骤S211中，D/A转换单元209对在步骤S210中重新排列的图像执行D/A转换。将该图像输出给未示出的显示器，并且，显示该图像。在步骤S211的处理结束时，解码处理结束。

接下来，将参照图18中的流程图描述图17中的步骤S206中执行的预测图像产生处理的流程的例子。

在开始预测图像产生处理时，在步骤S231中，无损耗解码单元202基于在步骤S202中提取的诸如预测模式等的信息来确定是否对当前块已经进行了帧内编码。在当前块是已经进行了帧内编码的块的情况中，无损耗解码单元202将从编码数据提取的帧内预测模式信息供应给帧内预测单元212，并且该流程前进到步骤S232。

在步骤S232中，帧内预测单元212获得从无损耗解码单元202供应的帧内预测模式信息。在获得帧间预测模式信息时，在步骤S233中，帧内预测单元212基于帧内预测模式信息经由选择单元211从帧存储器210获得参考图像，并且产生帧内预测图像。在产生帧内预测图像时，帧内预测单元212将该帧内预测图像经由选择单元214供应给计算单元205作为预测图像。

此外，当在步骤S231中确定已经对当前块进行了帧间编码的情况中，无损耗解码单元202将从编码数据中提取的运动预测模式、参考帧、运动向量信息等供应给运动预测/补偿单元213，并且，本流程前进到步骤S234。

在步骤S234中，运动预测/补偿单元213获得从无损耗解码单元202供应的运动预测模式、参考帧和运动向量信息等。在获得该信息时，在步骤S235中，运动预测/补偿单元213根据运动向量信息选择内插滤波器，并且，在步骤S236中，运动预测/补偿单元213经由选择单元211从帧存储器210获得参考图像，并且产生帧间预测图像。在产生帧间预测图像时，运动预测/补偿单元213将该帧间预测图像经由选择单元214供应给计算单元205作为预测图像。

在步骤S233或步骤S236的处理结束时，预测图像产生处理结束了，本流程返回到图17中的步骤S206，并且，执行步骤S207和后续步骤的处理。

接下来，将参照图19中的流程图描述图17中的步骤S209中执行的环路滤波处理的流程的例子。

在开始环路滤波处理时，在步骤S251中，环路滤波器207的滤波单元(4×4)252和滤波单元(8×8)253从无损耗解码单元202获得每一组的滤波系数。

在步骤S252中，像素分类单元251从逆正交变换单元204获得当前宏块的正交变换尺寸。基于获得的正交变换尺寸，像素分类单元251对当前宏块执行类别分类。

在步骤S253中，与当前宏块的正交变换尺寸对应的滤波单元(滤波单元(4×4)252或滤波单元(8×8)253)使用在步骤S251中获得的滤波系数来对与该正交变换尺寸对应的当前宏块执行滤波处理。

在步骤S254中，帧存储器210存储步骤S253的滤波处理结果。

在步骤S254的处理结束时，环路滤波处理结束，本流程返回到图17中的步骤S209，并且，执行步骤S210和后续步骤的处理。

通过以这样的方式执行每一个处理，环路滤波器207执行滤波处理，并且，可以减少通过去块滤波处理不能被完全去除的块噪声和由于量化而导致的噪声。

此外，此时，环路滤波器207使用从编码数据提取的滤波系数来执行滤波处理。这些滤波系数是已经产生使得残差对于宏块的每一种正交变换尺寸都是最小的系数。环路滤波器207使用用于该正交变换尺寸的滤波系数来对作为处理目标的当前宏块执行滤波处理。因此，环路滤波器207可以执行适用于图像内的局部性质的噪声去除。结果，图像解码装置200可以获得具有甚至更高的图像质量的解码图像。

此外，以与第一实施例的情况相同的方式，正交变换尺寸是可任选的。同样地，应用的正交变换尺寸的数目也是可任选的。

对宏块进行分组(类别分类)的方法可以是任何方法，只要其对应于产生了编码数据的图像编码装置100的方法即可。此外，用滤波器的处理的增量可以是按帧，或者可以按片，或者可以按照其它的方式。

&lt;3.第三实施例&gt;

[ALF块控制的描述]

请注意，除了如上所述的滤波系数的控制以外，可以使用BALF(基于块的自适应环路滤波)，其中，在图像质量由于环路滤波而局部地劣化的区域中不执行环路滤波处理。下面将描述BALF。

在图20中的A的帧301中示出在去块滤波处理之后的解码图像。如图20中的B所示，作为充当用于局部地执行的自适应滤波处理的控制增量的控制块的多个ALF(自适应环路滤波)块302无间隙地布置，好像它们用于铺设帧301的整个区域。放置ALF块302的区域不必与帧301的区域相同，但是至少包含帧301的整个区域。作为结果，帧301的区域被ALF块302的区域(多个控制区域)分割。

例如，ALF块302的水平方向尺寸(双向箭头303)和垂直方向尺寸(双向箭头304)可以是8×8、16×16、24×24、32×32、48×48、64×64、96×96或128×128中之一。请注意，指定ALF块的尺寸的信息将被称为块尺寸索引。

一旦块尺寸被决定了，每一帧的ALF块的数目也就被决定了，因为帧尺寸是固定的。

如图20中的C中所示，在每一个ALF块302中设置控制是否执行滤波处理的滤波块标志305。例如，对于通过自适应滤波提高了图像质量的区域，产生具有“1”的值的滤波块标志305，并且，对于通过自适应滤波劣化了图像质量的区域，设置具有“0”的值的滤波块标志305。对于滤波块标志305，“1”的值是指示要执行滤波处理的值，“0”的值是指示将不执行滤波处理的值。

对于每一个ALF块302，基于滤波块标志305的值来控制是否执行环路滤波处理。例如，环路滤波器113仅仅在这样的区域处执行滤波处理：在所述区域中，对于滤波块标志305，ALF块302具有“1”的值，并且，环路滤波器113在这样的区域处不执行滤波处理：在所述区域中，对于滤波块标志305，ALF块302具有“0”的值。

例如，在滤波系数计算单元112处设置这样的ALF块302和滤波块标志305，并且，环路滤波器113基于该信息来执行上述的滤波处理。

因此，环路滤波器113可以阻止在滤波处理将局部地劣化图像质量的区域处执行滤波处理，从而进一步提高参考图像的图像质量。

请注意，将关于ALF块302和滤波块标志305的信息添加到编码数据，并且被供应给图像解码装置200。因此，图像解码装置200的环路滤波器207也可以按照与环路滤波器113相同的方式来执行滤波处理，并且，可以阻止在滤波处理将局部地劣化图像质量的区域处执行滤波处理。结果，可以进一步提高解码图像的图像质量。

&lt;4.第四实施例&gt;

[QALF的描述]

通过第三实施例描述的ALF块可以具有四分树结构。该技术被称为QALF(基于四分树的自适应环路滤波器)。四分树结构是这样的层状结构，其中，在下一层级处，上一层级的一个AKF块的区域被分成4个。

图21图示由四分树结构表达ALF块分割的例子，在四分树结构中，最大的层数是3，其中，为每一个ALF块指定滤波块标志。

图21中的A指示层0，层0是充当四分树结构的根的ALF块。在四分树结构中，每一个ALF块具有指示在下一层级处其是否被分成4个的块分割标志。图21中的A中所示的ALF块的块分割标志的值是“1”。也就是说，该ALF块在下一层级(层1)处被分成4个。图21中的B示出层1。也就是说，在层1中形成四个ALF块。

在块分割标志是“0”的情况中，更下一层级没有被分成4个。也就是说，没有进一步的分割，并且，对于该ALF块，产生滤波块标志。也就是说，块分割标志是“0”的ALF块也具有滤波块标志。图21中的B中所示的“0-1”的左边的“0”指示该ALF块的块分割标志，并且，右边的“1”示出该ALF块的滤波块标志。

层1中的块分割标志是“1”的两个ALF块在下一层级(层2)被分成4个。图21中的C示出层2。也就是说，在层2中形成十个ALF块。

以相同的方式，给层2中的具有“0”的块分割标志的ALF块分配滤波块标志。在图21中的C中，一个ALF块的块分割标志是“1”。也就是说，该ALF块在更下一层级(层3)处被分成4个。图21中的D示出层3。也就是说，在层3中形成13个ALF块。

因此，在四分树结构的情况下，对于每一层级，ALF块的尺寸不同。也就是说，通过使用四分树结构，可以使ALF块的尺寸在该帧内相互不同。

每一个ALF块中的滤波块标志的控制与第三实施例相同。也就是说，在波块标志的值是“0”的区域中不执行滤波处理。

因此，以与第三实施例的情况相同的方式，环路滤波器113可以阻止在滤波处理将局部地劣化图像质量的区域处执行滤波处理，从而进一步提高参考图像的图像质量。

请注意，将关于控制块和滤波块标志的信息添加到编码数据，并且被供应给图像解码装置200。因此，图像解码装置200的环路滤波器207也可以按照与环路滤波器113相同的方式来执行滤波处理，并且，可以阻止在滤波处理将局部地劣化图像质量的区域处执行滤波处理。结果，可以进一步提高解码图像的图像质量。

&lt;5.第五实施例&gt;

[个人计算机]

上述的一系列处理可以通过硬件来执行，也可以通过软件来执行。在这种情况下，例如，如图22中所示，可以作为个人计算机来进行配置。

在图22中，个人计算机500的CPU 501根据在ROM(只读存储器)502中存储的程序或者从存储单元513加载到RAM(随机存取存储器)503的程序来执行各种处理。在适合的时候，RAM 503还存储CPU 501执行各种处理所需的数据等。

CPU 501、ROM 502和RAM 503通过总线504相互连接。该总线504也连接到输入/输出接口510。

连接到输入/输出接口510的是由键盘、鼠标等构成的输入单元511，由诸如CRT(阴极射线管)或LCD(液晶显示器)等的显示器、扬声器等构成的输出单元512，由硬盘等构成的存储单元513，以及由调制解调器等构成的通信单元514。通信单元514经由包括互联网的网络执行通信处理。

在必要的时候，驱动器515也连接到输入/输出接口510，在适当的时候，诸如磁盘、光盘、磁光盘、半导体存储器等之类的可移动介质521被安装在驱动器515上，并且，在必要的时候，从该可移动介质521读出的计算机程序被安装在存储单元513中。

在通过软件执行上述的一系列处理的情况中，从网络或记录介质安装构成软件的程序。

如图22中所示，例如，该记录介质不仅由可移动介质521构成，还由ROM 502、在存储单元513中的硬盘等构成，可移动介质521由磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘-只读存储器)、DVD(数字多功能盘)、磁光盘(MD(迷你盘)))、半导体存储器等构成，在可移动介质521中记录和分发程序，以便与装置主单元分开地向用户分发程序，在ROM 502、在存储单元513中的硬盘等中，在预先被置于装置主单元中的状态中记录程序和向用户分发程序。

请注意，计算机执行的程序可以是其中按照本说明书中描述的顺序按照时间序列执行处理的程序，或者可以是其中并行地或在诸如执行调用的必要定时执行处理的程序。

此外，对于本说明书，描述在记录介质中记录的程序的步骤当然包括按照描述的顺序以时间序列执行的处理，并且还包括并行地或独立地执行而不必一定以时间序列进行处理的处理。

此外，对于本说明书，术语“系统”表示由多个装置(器件)构成的整个装置。

此外，上面已经被描述为一个装置(或处理单元)的配置可以被分割和配置为多个装置(或多个处理单元)。相反地，上面已经被描述为多个装置(或多个处理单元)的配置可以被集成和配置为单个装置(或处理单元)。此外，除上述的配置以外的配置可以当然被添加到装置(或处理单元)。此外，某一装置(或处理单元)的配置的一部分可以被包含在另一个装置(或另一个处理单元)的配置中，只要整个系统的配置和操作基本上相同。也就是说，本发明的实施例并不限于上述的实施例，并且，在不脱离本发明的实质的情况中可以进行各种修改。

例如，上述图像编码装置100和图像解码装置200可以被应用于各种电子装置。下面是其例子的描述。

&lt;6.第六实施例&gt;

[电视接收器]

图23是图示使用应用了本发明的图像解码装置200的电视接收器的主要配置例子的框图。

图23中所示的电视接收器1000包括地面调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。

地面调谐器1013经由天线接收地面模拟广播的广播波信号，对该广播波信号进行解调，获得视频信号，并且将这些视频信号供应给视频解码器1015。视频解码器1015对从地面调谐器1013供应的视频信号进行解码处理，并且将获得的数字成分信号供应给视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015供应的视频数据进行诸如噪声去除等的预定处理，并且，将获得的视频数据供应给图形产生电路1019。

图形产生电路1019产生要显示在显示面板1021上的节目的视频数据，或者由于基于要经由网络供应的应用的处理而导致的图像数据，并且，将产生的视频数据或图像数据供应给面板驱动电路1020。此外，图形产生电路1019也执行诸如将通过为用户产生视频数据(图形)而获得的视频数据在适当的时候供应给面板驱动电路1020的处理，所述视频数据显示用于项目等的选择的画面，并将其重叠在节目的视频数据上。

面板驱动电路1020基于从图形产生电路1019供应的数据来驱动显示面板1021，以在显示面板1021上显示节目的视频或者上述的各种画面。

显示面板1021由LCD(液晶显示器)等构成，并且根据面板驱动电路1020的控制显示节目的视频等。

此外，电视接收器1000还包括音频A/D(模拟/数字)转换电路1014、音频信号处理电路1022、回声消除/音频合成电路1023和音频放大器电路1024和扬声器1025。

地面调谐器1013对接收到的广播波信号进行解调，从而不仅获得视频信号还获得音频信号。地面调谐器1013将获得的音频信号供应给音频A/D转换电路1014。

该音频A/D转换电路1014对从地面调谐器1013供应的音频信号进行A/D转换处理，并且，将获得的数字音频信号供应给音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014供应的音频数据进行诸如噪声去除等的预定处理，并且，将获得的音频数据供应给回声消除/音频合成电路1023。

回声消除/音频合成电路1023将从音频信号处理电路1022供应的音频数据供应给音频放大器电路1024。

音频放大器电路1024对从回声消除/音频合成电路1023供应的音频数据进行D/A转换处理，进行放大器处理以调节到预定的音量，然后，将从扬声器1025输出音频。

此外，电视接收器1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016经由天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，对其进行解调以获得MPEG-TS(运动图片专家组-传输流)，并且将其供应给MPEG解码器1017。

MPEG解码器1017对给予从数字调谐器1016供应的MPEG-TS的加扰进行解扰，并且提取包含用作播放目标(观看目标)的节目的数据的流。MPEG解码器1017对构成提取的流的音频分组进行解码，将获得的音频数据供应给视频信号处理电路1022，并且，还对构成流的视频分组进行解码，并将获得的视频数据供应给视频信号处理电路1018。此外，MPEG解码器1017将从MPEG-TS提取的EPG(电子节目指南)数据经由未示出的路径供应给CPU 1032。

电视接收器1000使用上述的图像解码装置200作为用于以这样的方式对视频分组进行解码的MPEG解码器1017。请注意，从广播站等传送的MPEG-TS已经由图像编码装置100编码。

以与图像解码装置200相同的方式，MPEG解码器1017使用从由图像编码装置100供应的编码数据提取的滤波系数来对应于其正交变换尺寸对解码图像的宏块执行滤波处理。因此，MPEG解码器1017可以执行适用于图像内的局部性质的噪声去除。

以与从视频解码器1015供应的视频数据的情况相同的方式，从MPEG解码器1017供应的视频数据在视频信号处理电路1018处经过预定处理，在适当的时候在图形产生电路1019处被重叠在产生的视频数据等上，经由面板驱动电路1020被供应给显示面板1021，并且，在显示面板1021上显示其图像。

以与从音频A/D转换电路1014供应的音频数据的情况相同的方式，从MPEG解码器1017供应的音频数据在音频信号处理电路1022处经过预定处理，经由回声消除/音频合成电路1023被供应给音频放大器电路1024，并且经过D/A转换处理和放大处理。作为其结果，将以预定音量调节的音频从扬声器1025输出。

此外，电视接收器1000还包含麦克风1026和A/D转换电路1027。

A/D转换电路1027接收由提供给电视接收器1000的麦克风1026采集的用户的音频信号用于音频会话，对接收到的音频信号进行A/D转换处理，并且，将获得的数字音频数据供应给回声消除/音频合成电路1023。

在已经从A/D转换电路1027供应电视接收器1000的用户(用户A)的音频数据的情况中，回声消除/音频合成电路1023以用户(用户A)的音频数据作为目标执行回声消除，并且经由音频放大器电路1024从扬声器1025输出通过合成用户A的音频数据和其它音频数据等而获得的音频数据。

此外，电视接收器1000还包括音频编解码器1028、内部总线1029、SDRAM(同步动态随机存取存储器)1030、闪速存储器1031、CPU 1032、USB(通用串行总线)I/F 1033和网络I/F 1034。

A/D转换电路1027接收由提供给电视接收器1000的麦克风1026采集的用户的音频信号用于音频会话，对接收到的音频信号进行A/D转换处理，并且，将获得的数字音频数据供应给音频编解码器1028。

音频编解码器1028将从A/D转换电路1027供应的音频数据转换为预定格式的数据以便经由网络传送，并且，将其经由内部总线1029供应给网络I/F 1034。

网络I/F 1034经由安装在网络端子1035上的线缆与网络连接。例如，网络I/F 1034将从音频编解码器1028供应的音频数据传送到与其网络连接的另一装置。此外，例如，网络I/F 1034经由网络端子1035接收从经由网络与其连接的另一装置传送的音频数据，并且将其经由内部总线1029供应给音频编解码器1028。

音频编解码器1028将从网络I/F 1034供应的音频数据转换为预定格式的数据，并且将其供应给回声消除/音频合成电路1023。

回声消除/音频合成电路1023在以从音频编解码器1028供应的音频数据取为目标的情况中执行回声消除，并且，经由音频放大器电路1024从扬声器1025输出通过合成该音频数据和其它音频数据等获得的音频的数据。

SDRAM 1030存储CPU 1032执行处理所需的各种数据。

闪速存储器1031存储要由CPU 1032执行的程序。通过在诸如激活电视接收器1000等的预定定时由CPU 1032读出在闪速存储器1031中存储的程序。经由数字广播获得的EPG数据、经由网络从预定服务器获得的数据等也被存储在闪速存储器1031中。

例如，包含通过CPU 1032的控制经由网络从预定服务器获得的内容数据的MPEG-TS被存储在闪速存储器1031中。例如，通过CPU 1032的控制，经由内部总线1029，闪速存储器1031将其MPEG-TS供应给MPEG解码器1017。

MPEG解码器1017以与从数字调谐器1016供应的MPEG-TS的情况相同的方式来处理其MPEG-TS。以这样的方式，电视接收器1000经由网络接收由视频、音频等构成的内容数据，使用MPEG解码器1017进行解码，从而可以显示其视频，并且，可以输出其音频。

此外，电视接收器1000还包含用于接收从遥控器1051发射的红外信号的光接收单元1037。

光接收单元1037从遥控器1051接收红外线，并且，将通过解调获得的表示用户的操作的内容的控制代码输出给CPU 1032。

CPU 1032根据从光接收单元1037供应的控制代码等执行在闪速存储器1031中存储的程序，以控制电视接收器1000的整个操作。CPU 1032和电视接收器1000的各个单元经由未示出的路径连接。

USB I/F 1033对经由安装在USB端子1036上的USB线缆连接的电视接收器1000的外部装置执行数据的发送/接收。网络I/F 1034经由安装在网络端子1035上的线缆与网络连接，还对与网络连接的各种装置执行除音频数据以外的数据的发送/接收。

电视接收器1000可以通过使用图像解码装置作为MPEG解码器1017来执行适合于图像内的局部性质的噪声去除。结果，电视接收器1000可以从经由天线接收的广播信号或者经由网络获得的内容数据获得更高图像质量解码图像。

&lt;7.第七实施例&gt;

[蜂窝电话]

图24是图示使用应用了本发明的图像编码装置和图像解码装置的蜂窝电话的主要配置例子的框图。

图24中所示的蜂窝电话1100包括被配置为整体地控制各个单元的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、照相机I/F单元1154、LCD控制单元1155、图像解码器1156、多路复用/分离单元1157、记录/播放单元1162、调制/解调电路单元1158和音频编解码器1159。这些单元经由总线1160相互连接。

此外，蜂窝电话1100包括操作键1119、CCD(电荷耦合器件)照相机1116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风(MIC)1121和扬声器1117。

在呼叫结束并通过用户的操作接通电源键时，电源电路单元1151通过从电池组向各个单元供电来激活处于操作状态中的蜂窝电话1100。

基于由CPU、ROM、RAM等构成的主控制单元1150的控制，在诸如语音呼叫模式、数据通信模式等的各种模式中，蜂窝电话1100执行各种操作，例如，音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像拍摄、数据记录等。

例如，在语音呼叫模式中，蜂窝电话1100通过音频编解码器1159将由麦克风(话筒)1121收集的音频信号转换为数字音频数据，在调制/解调电路单元1158处对其进行谱扩展处理，并且，在发送/接收电路单元1163处对其进行数字/模拟转换处理和频率转换处理。蜂窝电话1100将通过其转换处理获得的用于发送的信号经由天线1114发送到未示出的基站。将发送到基站的用于发送的信号(音频信号)经由公用电话网络供应给另一方的蜂窝电话。

此外，例如，在语音呼叫模式中，蜂窝电话1100在发送/接收电路单元1163处对在天线1114处接收的接收信号进行放大，进一步对其进行频率转换处理和模拟/数字转换处理，在调制/解调电路单元1158处对其进行谱逆扩展处理，并且通过音频编解码器1159将其转换为模拟音频信号。蜂窝电话1100从扬声器1117输出其转换的和获得的模拟音频信号。

此外，例如，当在数据通信模式中发送电子邮件的情况中，蜂窝电话1100在操作输入控制单元1152处接受通过操作键1119的操作而输入的电子邮件的文本数据。蜂窝电话1100在主控制单元1150处处理其文本数据，并且经由LCD控制单元1155将其作为图像显示在液晶显示器1118上。

此外，蜂窝电话1100基于由操作输入控制单元1152接受的文本数据、用户的指示等在主控制单元1150处产生电子邮件数据。蜂窝电话1100在调制/解调电路单元1158处对其电子邮件数据进行谱扩展处理，并且在发送/接收电路单元1163处对其进行数字/模拟转换处理和频率转换处理。蜂窝电话1100将通过其转换处理获得的用于发送的信号经由天线1114发送到未示出的基站。将发送到基站的用于发送的信号(电子邮件)经由网络、邮件服务器等供应给预定的目的地。

此外，例如，当在数据通信模式中接收电子邮件的情况中，蜂窝电话1100用发送/接收电路单元1163接收经由天线1114从基站发送的信号，对该信号进行放大，并且，对其进一步进行频率转换处理和模拟/数字转换处理。蜂窝电话1100在调制/解调电路单元1158处对其接收信号进行谱逆扩展处理，以恢复原始电子邮件数据。蜂窝电话1100经由LCD控制单元1155在液晶显示器1118上显示恢复的电子邮件数据。

请注意，蜂窝电话1100可以经由记录/播放单元1162在存储单元1123中记录(存储)接收到的电子邮件数据。

该存储单元1123是可任选的可重写的记录介质。存储单元1123可以是诸如RAM、内置闪速存储器等的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器、存储器卡等的可移动介质。不用说，存储单元1123可以是除了这些以外的存储装置。

此外，例如，当在数据通信模式中传送图像数据的情况中，蜂窝电话1100通过在CCD照相机1116处成像来产生图像数据。CCD照相机1116包括用作诸如镜头、光圈等的光学装置且用作光电转换装置的对被摄体进行成像的CCD，将接收到的光的强度转换为电信号，并且产生被摄体的图像的图像数据。CCD照相机1116经由照相机I/F单元1154在图像编码器1153处对图像数据执行压缩编码，并且转换为编码的图像数据。

蜂窝电话1100利用上述的图像编码装置100作为用于执行这种处理的图像编码器1153。因此，以与图像编码装置100相同的方式，图像编码器1153可以执行适合于图像内的局部性质的噪声去除。

请注意，此时，同时，在用CCD照相机1116拍摄的同时，蜂窝电话1100在音频编解码器1159处对在麦克风(话筒)1121处收集的音频进行模拟到数字转换，并且进一步对其进行编码。

蜂窝电话1100使用预定的方法在多路复用/分离单元1157处对从图像编码器1153供应的编码图像数据和从音频编解码器1159供应的数字音频数据进行多路复用。蜂窝电话1100在调制/解调电路单元1158处对作为其结果获得的多路复用数据进行谱扩展处理，并且在发送/接收电路单元1163处对其进行数字/模拟转换处理和频率转换处理。蜂窝电话1100将通过其转换处理获得的用于发送的信号经由天线1114发送到未示出的基站。将发送到基站的用于发送的信号(图像信号)经由网络等供应给其它方。

请注意，在不传送图像数据的情况中，蜂窝电话1100也可以经由LCD控制单元1155而不是图像编码器1153在液晶显示器1118上显示在CCD照相机1116处产生的图像数据。

此外，例如，当在数据通信模式中接收与简单网站等链接的运动图像文件的数据的情况中，蜂窝电话1100经由天线1114在发送/接收电路单元1163处接收从基站发送的信号，对该信号进行放大，并且，对其进一步进行频率转换处理和模拟/数字转换处理。蜂窝电话1100在调制/解调电路单元1158处对接收到的信号进行谱逆扩展处理，以恢复原始的多路复用数据。蜂窝电话1100在多路复用/分离单元1157处将其多路复用数据分离为编码的图像数据和音频数据。

蜂窝电话1100在图像解码器1156处对编码的图像数据进行解码，从而产生播放运动图像数据，并且经由LCD控制单元1155在液晶显示器1188上显示该播放运动图像数据。因此，例如，在液晶显示器1118上显示与简单网站链接的运动图像文件中包含的运动图像数据。

蜂窝电话1100利用上述的图像解码装置200作为用于执行这种处理的图像解码器1156。因此，以与图像解码装置200相同的方式，图像解码器1156可以执行适合于图像内的局部性质的噪声去除。

此时，同时，蜂窝电话1100在音频编解码器1159处将数字音频数据转换为模拟音频信号，并且从扬声器1117处输出它。因此，例如，播放与简单网站链接的运动图像文件中包含的音频数据。

请注意，以与电子邮件的情况相同的方式，蜂窝电话1100可以经由记录/播放单元1162将与简单网站等链接的接收到的数据记录(存储)在存储单元1123中。

此外，蜂窝电话1100在主控制单元1150处对由CCD照相机1116获得的成像的二维代码进行分析，从而可以获得在二维代码中记录的信息。

此外，蜂窝电话1100可以使用红外线在红外通信单元1181处与外部装置通信。

蜂窝电话1100利用图像编码装置100作为图像编码器1153，并且，这样可以执行适合于图像内的局部性质的噪声去除。结果，蜂窝电话1100可以获得具有更高图像质量的参考图像。因此，例如，对于通过对编码数据进行解码而获得的解码图像，可以使图像质量变高，该编码数据是通过对在CCD照相机1116处产生的图像数据进行编码而产生的。

此外，蜂窝电话1100利用图像解码装置200作为图像解码器1156，并且，这样可以执行适合于图像内的局部性质的噪声去除。例如，作为其结果，蜂窝电话1100可以从链接到简单网站等的运动图像文件的数据(编码数据)获得更高质量的解码图像。

请注意，迄今为止已经进行了这样的描述：其中，蜂窝电话1100利用CCD照相机1116，但是，蜂窝电话1100可以利用使用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)代替该CCD照相机1116。在这种情况下，以与利用CCD照相机1116的情况相同的方式，蜂窝电话1100也可以对被摄体进行成像并产生被摄体的图像的图像数据。

此外，迄今为止已经针对蜂窝电话1100进行了描述，但是，以与蜂窝电话1100的情况相同的方式，图像编码装置100以及图像解码装置200可以适用于任何类型的装置，只要它是具有与蜂窝电话1100的成像功能和通信功能相同的成像功能和通信功能的装置，例如，PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、网络本(net book)、笔记本型个人计算机等。

&lt;8.第八实施例&gt;

[硬盘记录器]

图25是图示使用应用了本发明的图像编码装置和图像解码装置的硬盘记录器的主要配置例子的框图。

图25中所示的硬盘记录器(HDD记录器)1200是这样的装置，该装置在内置的硬盘中存储由调谐器接收且从卫星或地面天线等发送的广播波信号(电视信号)中包含的广播节目的音频数据和视频数据，并且，在根据用户指示的定时向用户提供存储的数据。

例如，硬盘记录器1200可以从广播波信号提取音频数据和视频数据，在适当的时候对这些音频数据和视频数据进行解码，并且将其存储在内置的硬盘中。此外，例如，硬盘记录器1200也可以经由网络从另一装置获得音频数据和视频数据，在适当的时候对这些音频数据和视频数据进行解码，并且将其存储在内置的硬盘中。

此外，例如，硬盘记录器1200可以对在内置的硬盘中记录的音频数据和视频数据进行解码，将其供应给监视器1260，在监视器1260的屏幕上显示其图像，并且从监视器1260的扬声器输出其音频。此外，例如，硬盘记录器1200可以对从经由调谐器获得的广播波信号提取的音频数据和视频数据或者经由网络从另一装置获得的音频数据和视频数据进行解码，将其供应给监视器1260，在监视器1260的屏幕上显示其图像，并且从监视器1260的扬声器输出其音频。

当然，可以执行除这些操作以外的操作。

如图25所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD(屏幕上显示)控制单元1231、显示控制单元1232、记录/播放单元1233、D/A转换器1234和通信单元1235。

此外，显示转换器1230包括视频编码器1241。记录/播放单元1233包括编码器1251和解码器1252。

接收单元1221从遥控器(未示出)接收红外信号，将其转换为电信号，并且输出给记录器控制单元1226。记录器控制单元1226由例如微处理器等构成，并且，根据存储在程序存储器1228中的程序执行各种处理。此时，记录器控制单元1226根据需要使用工作存储器1229。

与网络连接的通信单元1235经由网络与另一装置执行通信处理。例如，通信单元1235由记录器控制单元1226控制，以与调谐器(未示出)通信并且，主要向调谐器输出信道选择控制信号。

解调单元1222对从调谐器供应的信号进行解调，并且输出给解复用器1223。解复用器1223将从解调单元1222供应的数据分离为音频数据、视频数据和EPG数据，并且分别输出给音频解码器1224、视频解码器1225和记录器控制单元1226。

音频解码器1224对输入的音频数据进行解码，并且输出给记录/播放单元1233。视频解码器1225对输入的视频数据进行解码，并且输出给显示转换器1230。记录器控制单元1226将输入的EPG数据供应给EPG数据存储器1227以便存储。

显示转换器1230使用视频编码器1241将从视频解码器1225或记录器控制单元1226供应的视频数据编码为例如符合NTSC(国家电视标准委员会)格式的视频数据，并且输出给记录/播放单元1233。此外，显示转换器1230将从视频解码器1225或记录器控制单元1226供应的视频数据的画面的尺寸转换为对应于监视器1260的尺寸的尺寸，并且，使用视频编码器1241将其画面尺寸已经被转换的视频数据转换为符合NTSC格式的视频数据，转换为模拟信号，并且输出到显示控制单元1232。

在记录器控制单元1226的控制下，显示控制单元1232将从OSD(屏幕上显示)控制单元1231输出的OSD信号重叠在从显示转换器1230输入的视频信号上，并且输出给监视器1260的显示器以便显示。

此外，使用D/A转换器1234将从音频解码器1224输出的音频数据转换为模拟信号，并且将其供应给监视器1260。监视器1260从内置的扬声器输出该音频信号。

记录/播放单元1233包括硬盘，作为记录有视频数据、音频数据等的记录介质。

记录/播放单元1233通过编码器1251对从音频解码器1224供应的音频数据进行编码。此外，记录/播放单元1233通过编码器1251对从显示转换器1230的视频编码器1241供应的视频数据进行编码。记录/播放单元1233使用多路复用器合成其音频数据的编码数据和其视频数据的编码数据。记录/播放单元1233通过信道编码放大合成的数据，并且经由记录头将其数据写入在硬盘中。

记录/播放单元1233经由播放头播放在硬盘中记录的数据，放大该数据，并且，使用解复用器将其分离为音频数据和视频数据。记录/播放单元1233使用MPEG格式通过解码器1252对音频数据和视频数据进行解码。记录/播放单元1233对解码的音频数据进行数字到模拟的转换，并且输出给监视器1260的扬声器。此外，记录/播放单元1233对解码的视频数据进行数字到模拟的转换，并且输出给监视器1260的显示器。

记录器控制单元1226基于由经由接收单元1221接收的来自遥控器的红外信号指示的用户的指示从EPG数据存储器1227读出最新的EPG数据，并且供应给OSD控制单元1231。OSD控制单元1231产生对应于输入的EPG数据的图像数据，并且输出给显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出给监视器1260的显示器以便显示。因此，在监视器1260的显示器上显示EPG(电子节目指南)。

此外，硬盘记录器1200可以经由诸如互联网等的网络获得从另一装置供应的各种数据，例如，视频数据、音频数据、EPG数据等。

通信单元1235由记录器控制单元1226控制，以获得经由网络从另一装置传送的诸如视频数据、音频数据、EPG数据等的编码数据，并且将其供应给记录器控制单元1226。例如，记录器控制单元1226将获得的视频数据和音频数据的编码数据供应给记录/播放单元1233，并且将其存储在硬盘中。此时，记录器控制单元1226和记录/播放单元1233可以根据需要执行诸如重新编码等的处理。

此外，记录器控制单元1226对获得的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据供应给显示转换器1230。以与从视频解码器1225供应的视频数据相同的方式，显示转换器1230对从记录器控制单元1226供应的视频数据进行处理，经由显示控制单元1232供应给监视器1260，以便显示其图像。

或者，可以进行这样的布置：其中，根据该图像显示，记录器控制单元1226将解码的音频数据经由D/A转换器1234供应给监视器1260，并且从扬声器输出其音频。

此外，记录器控制单元1226对获得的EPG数据的编码数据进行解码，并且，将解码的EPG数据供应给EPG数据存储器1227。

这样配置的硬盘记录器1200利用图像解码装置200作为视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器。因此，以与图像解码装置200相同的方式，视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器可以执行适合于图像内的局部性质的噪声去除。

因此，硬盘记录器1200可以执行适用于图像内的局部性质的噪声去除。结果，例如，硬盘记录器1200可以从经由调谐器或通信单元1235接收到的视频数据(编码数据)和记录在记录/播放单元1233的硬盘中记录的视频数据(编码数据)获得更高质量的解码图像。

此外，硬盘记录器1200利用图像编码装置100作为编码器1251。因此，以与图像编码装置100相同的方式，编码器1251可以执行适合于图像内的局部性质的噪声去除。

因此，硬盘记录器1200可以执行适用于图像内的局部性质的噪声去除。结果，例如，硬盘记录器1200可以使在硬盘中记录的编码数据的解码图像的图像质量更高。

请注意，迄今为止已经对用于在硬盘中记录视频数据和音频数据的硬盘记录器1200进行了描述，但是，不用说，可以利用任何类型的记录介质。例如，甚至对于应用了诸如闪速存储器、光盘、视频带等的除硬盘以外的记录介质的记录器，以与上述的硬盘记录器1200的情况相同的方式，图像编码装置100以及图像解码装置200也可以应用于此。

&lt;9.第九实施例&gt;

[照相机]

图26是图示使用应用了本发明的图像编码装置和图像解码装置的照相机的主要配置例子的框图。

图26中所示的照相机1300对被摄体进行成像，在LCD 1316上显示被摄体的图像，并且将其作为图像数据记录在记录介质1333中。

透镜块1311将光(即，被摄体的图片)输入到CCD/CMOS 1312。CCD/CMOS 1312是利用CCD或CMOS的图像传感器，其将接收到的光的强度转换为电信号，并且供应给照相机信号处理单元1313。

照相机信号处理单元1313将从CCD/CMOS 1312供应的电信号转换为Y、Cr和Cb的色差信号，并且供应给图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314对从照相机信号处理单元1313供应的图像信号进行预定的图像处理，或者，使用例如MPEG格式通过编码器1341对其图像信号进行编码。图像信号处理单元1314将通过对图像信号进行编码而产生的编码数据供应给解码器1315。此外，图像信号处理单元1314获得在屏幕上显示(OSD)1320处产生的用于显示的数据，并且将其供应给解码器1315。

对于上述的处理，照相机信号处理单元1313根据需要适当地利用经由总线1317连接的DRAM(动态随机存取存储器)1318来将图像数据、从其图像数据编码的编码数据等保持在其DRAM 1318中。

解码器1315对从图像信号处理单元1314供应的编码数据进行解码，并且，将获得的图像数据(解码图像数据)供应给LCD 1316。此外，解码器1315将从图像信号处理单元1314供应的用于显示的数据供应给LCD 1316。LCD 1316在适当的时候合成从解码器1315供应的用于显示的数据的图像和解码图像数据的图像，并且显示其合成图像。

在控制器1321的控制下，屏幕上显示1320将由符号、字符或图形构成的诸如菜单画面或图标等的用于显示的数据经由总线1317输出到图像信号处理单元1314。

基于指示由用户使用操作单元1322命令的内容的信号，控制单元1321执行各种处理，并且，经由总线1314还控制图像信号处理单元1314、DRAM 1318、外部接口1319、屏幕上显示1320、介质驱动器1323等。用于控制器1321执行各种处理所需的程序、数据等存储在闪速ROM 1324中。

例如，控制器1321可以代替图像信号处理单元1314和解码器1315对存储于DRAM 1318中的图像数据进行编码，或者对存储于DRAM 1318中的编码数据进行解码。此时，控制器1321可以使用与图像信号处理单元1314和解码器1315的编码和解码格式相同的格式执行编码和解码处理，或者，可以使用图像信号处理单元1314和解码器1315都不能处理的格式来执行编码/解码处理。

此外，例如，在从操作单元1322指示了开始图像打印的情况中，控制器1321从DRAM 1318读出图像数据，并且经由总线1317将其供应给与外部接口1319连接的打印机1334以便打印。

此外，例如，在从操作单元1322指示了图像记录的情况中，控制器1321从DRAM 1318读出编码数据，并且经由总线1317将其供应给安装在介质驱动器1323上的记录介质1333以便存储。

记录介质1333是可任选的可读/可写可移动介质，例如，磁盘、磁光盘、光盘、半导体存储器等。不用说，关于可移动介质的类型，记录介质1333也是可任选的，因此，可以是带装置，或者可以是盘，或者可以是存储器卡。不用说，记录介质1333可以是非接触式IC卡等。

或者，介质驱动器1323和记录介质1333可以被配置为集成在非可搬性记录介质中，所述非可搬性记录介质例如是内置的硬盘驱动器、SSD(固态驱动器)等。

外部接口1319由例如USB输入/输出端子等构成，并且在执行图像打印的情况中与打印机1334连接。此外，驱动器1331根据需要与外部接口1319连接，诸如磁盘、光盘或磁光盘的可移动介质1332在适当的时候被安装在其上，并且，从其读出的计算机程序根据需要被安装在闪速ROM 1324中。

此外，外部接口1319包括要与诸如LAN、互联网等的预定网络连接的网络接口。例如，根据来自操作单元1322的指示，控制器1321可以从DRAM 1318读出编码数据，并且将其从外部接口1319供应给经由网络连接的另一装置。此外，控制器1321可以经由外部接口1319获得经由网络从另一装置供应的编码数据或图像数据，并且将其保持在DRAM 1318中，或者，将其供应给图像信号处理单元1314。

这样配置的照相机1300利用图像解码装置200作为解码器1315。因此，以与图像解码装置200相同的方式，解码器1315可以执行适合于图像内的局部性质的噪声去除。

因此，照相机1300可以执行适用于图像内的局部性质的噪声去除。结果，照相机1300可以从例如在CCD/CMOS 1312处产生的图像数据、从DRAM 1318或记录介质1333读出的视频数据的编码数据和经由网络获得的视频数据的编码数据获得具有更高图像质量的解码图像。

此外，照相机1300利用图像编码装置100作为编码器1341。因此，以与图像编码装置100相同的方式，编码器1341可以执行适合于图像内的局部性质的噪声去除。

因此，照相机1300可以执行适用于图像内的局部性质的噪声去除。结果，照相机1300可以使在DRAM 1318或记录介质1333中记录的编码数据和提供给其它装置的编码数据的解码图像的图像质量更高。

请注意，图像解码装置200的解码方法可以被应用于控制器1321执行的解码处理。以相同的方式，图像编码装置100的编码方法可以被应用于控制器1321执行的编码处理。

此外，照相机1300拍摄的图像数据可以是运动图像，或者可以是静止图像。

当然，图像编码装置100和图像解码装置200可以被应用于除上述装置以外的装置或系统。

此外，宏块的尺寸不限于16×16个像素。例如，可以应用于各种尺寸的宏块，例如，图10中所示的32×32个像素的宏块。

虽然上面在以比特流对滤波系数等进行多路复用(描述)的情况中进行了描述，但是，例如，除了被多路复用以外，滤波系数和图像数据(或比特流)还可以被传送(记录)。滤波系数和图像数据(或比特流)被链接(被添加)的形式也可以进行。

链接(添加)指示图像数据(或比特流)和滤波系数相互链接的状态(相关联的状态)，并且，物理位置关系是可任选的。例如，图像数据(或比特流)和滤波系数可以通过分离的传送路径被传送。此外，图像数据(或比特流)和滤波系数可以均被记录在分离的记录介质中(或者在相同的记录介质内的分离的记录区域中)。请注意，例如，图像数据(或比特流)和滤波系数链接的增量是可任选的，并且，可以按照编码处理的增量(一帧、多帧等)被设置。

附图标记列表

100 图像编码装置

112 滤波系数计算单元

113 环路滤波器

151 正交变换尺寸缓冲器

152 解码图像分类单元

153 输入图像分类单元

154 4×4块系数计算单元

155 8×8块系数计算单元

161 像素分类单元

162 滤波单元(4×4)

163 滤波单元(8×8)

200 图像解码装置

202 无损耗解码单元

204 逆正交变换单元

207 环路滤波器

212 帧内预测单元

213 运动预测/补偿单元

251 像素分类单元

252 滤波单元(4×4)

253 滤波单元(8×8)