专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法和程序，具体地，涉及即使在进行具有整数像素精度的运动补偿处理的时候也能够提高通过帧间预测产生的预测图像的质量的图像处理装置、图像处理方法和程序。
背景技术：
近年来，以数字格式操作图像信息的设备以及在那时，为了高效地传送和累积信息，压缩编码图像已经得到广泛应用。该设备使用对图像信息特定的冗余度并采用基于比如离散余弦变换之类的正交变换和运动补偿(例如，MPEG(运动图像专家组阶段)标准)压缩图像的方法。具体地说，MPEG 2(IS0/IEC 13818-2)被定义为通用的图像编码方法。MPEG 2是对于隔行扫描图像和逐行扫描图像和对于标准清晰度图像和高清晰度图像定义的标准。 MPEG 2现今广泛地用于专业应用和消费者应用。通过使用MPEG 2压缩标准并向720X480 像素的标准分辨率隔行图像分配4到8Mbps的编码量(位速率)和向1920X 1088像素的高清晰度隔行图像分配18到22Mbps的编码量，可以实现高压缩比和优秀的图像质量。MPEG 2意在提供主要与广播适应的高分辨率编码，因此，MPEG 2不支持具有低于 MPEG 1的编码量的编码量，也就是，压缩比高于MPEG 1的压缩比的编码方法。但是，因为移动电话变得更广泛地使用，这种编码方法的需求正在增加。因此，已经标准化了 MPEG 4编码方法。例如，在1998年12月MPEG 4图像编码方法被批准为国际标准IS0/IEC 14496-2。另外，近年来，为了编码电视会议的图像，已经进行了被称为H. ^L(ITU-T Q6/16 VCEG)的标准的标准化。在H. ^L中，与比如MPEG 2和MPEG 4之类的现有的编码标准比较，编码和解码操作需要大量计算。但是，已知H. 26L可以实现更高的编码效率。此外，作为MPEG 4的活动的一部分，已经进行了被称为增强-压缩视频编码的联合模型的标准化。 该增强-压缩视频编码的联合模型基于H. 26L并包括H. 26L不支持的功能，因此可以实现更高的编码效率。在2003年3月，增强-压缩视频编码的联合模型被批准为国际标准，作为H. 264和MPEG-4部分10 (高级视频编码；在下文中，称为“AVC”)。另外，例如在H. ^4/AVC中，使用在各帧或各场之间的相关性执行帧间预测。在帧间预测中执行的运动补偿处理中，通过使用预存储的可作为基准的图像的局部区域，使用帧间预测来生成预测图像(下文称为“帧间预测图像”)。例如，如图1所示，如果将预存储的可作为基准的图像的五个帧选择为基准帧，则通过参考五个基准帧之一的一部分来生成要进行帧间预测的帧(原始帧)的帧间预测图像的一部分(下文称为“基准图像”)。注意，用作帧间预测图像的一部分的基准图像的一部分的位置由基于原始帧和基准帧的图像所检测到的运动矢量来确定。更确切地，如图2所示，当基准帧中的面部11沿着右下方向在原始图像中移动并且如果其下部的大约1/3被隐藏时，指示左上方向(其与右下方向相反)的运动矢量被检测。由此，在通过运动矢量指示的运动移动部分11所获得的位置处，参考基准帧中面部11的部分13来生成原始帧中未隐藏的面部11的部分12。另外，在H. 264/AVC的运动补偿处理中，运动矢量的分辨率可以增加到分数像素的精度，比如1/2像素精度或1/4像素精度。在这种具有分数像素精度的补偿处理中，假定在两个相邻像素之间存在被称为子像素的虚拟像素，且另外执行用于产生子像素的处理(以下称为“内插”)。即，在具有分数像素精度的运动补偿处理中，由于运动矢量的最小分辨率是处于分数位置的像素，因此进行内插以便生成处于分数位置的像素。图3图示其中垂直方向和水平方向上的像素的数量通过内插增大到原始数量的四倍的图像的像素。注意，在图3中，白色正方形表示处于整数位置的像素，而阴影正方形表示处于分数位置的像素。另外，写入在正方形中的字母表示正方形所指示的像素的像素值。通过内插生成的并且位于分数位置的像素的像素值b、h、j、a、d、f和r通过使用下列等式(1)来表示。b = (E-5F+20G+20H_5I+J)/32h = (A-5C+20G+20M-5R+T)/32j = (aa-5bb+20b+20s-5gg+hh)/32a = (G+b) /2d = (G+h) /2f = (b+j)/2r = (m+s) /2 …(1)注意，如同像素值b，可以计算出像素值aa、bb、S、gg和hh。如同像素值h，可以计算出像素值cc、dd、m、ee和ff。如同像素值a，可以计算出像素值c。如同像素值d，可以计算出像素值f、η、和q。如同像素值r，可以计算出像素值e、ρ和g。上述等式(1)用于例如H. ^4/AVC标准的内插。这种等式根据标准而不同。然而， 等式的目的是相同的。此等式可以通过使用具有偶数数量的抽头的FIR(Finit-dUrati0n Impulse Response)滤波器而加以实现。另外，在NPL 1和2中，描述了自适应内插滤波器(AIF)作为近来的研究报告。在使用这种AIF的运动补偿处理中，可以通过自适应地改变具有偶数数量的抽头并在内插中使用的FIR滤波器的滤波系数来降低混叠(alias)和编码失真的效果。由此，可降低运动补偿的误差。注意，除了 AIF之外，近来已经开发了自适应环路滤波器(ALF)作为下一代视频编码技术(例如参见NPL3)。通过使用这种自适应滤波器，针对每个帧进行最佳的滤波处理。 由此，去块滤波器不能完全去除的块失真和量化引起的失真可以得到降低。引用列表非专利文献NPL 1 Thomas Wedi and Hans Georg Musmann, Motion-and Aliasing-Compensated Prediction for Hybrid Video Coding, IEEE Transactions on circuits and systems for video technology, July 2003, Vol.13, No. 7NPL 2 :Yuri Vatis, Joern Ostermann, Prediction of P-and B-Frames Using aTwo-dimensional Non-separable Adaptive Wiener Interpolation Filter for H. 264/ AVC, ITU-T SG16 VCEG 30th Meeting, Hangzhou China, October 2006NPL 3 =Yi-Jen Chiu and L. Xu, “ Adaptive(Wiener)Filter for Video Compression, " ITU-T SG16 Contribution, C437, Geneva, April 2008
发明内容
技术问题然而，在使用HR滤波器的具有整数像素精度的运动补偿处理和具有分数像素精度的运动补偿处理中，基准帧的像素值仅直接复制到帧间预测图像中运动矢量所对应的位置。据此，在许多情况下，帧间预测图像不完全与要进行帧间预测的图像相同。另外，由于需要将帧间预测图像和要进行帧间预测的图像之间的差异发送至解码方，因此编码效率在差异很大的情况下减小。注意，帧间预测图像不完全与要进行帧间预测的图像相同的原因之一在于存在当基准图像被编码时出现的量化误差或者运动矢量的误差。使用AIF的具有分数像素精度的运动补偿处理可以减小编码失真。然而，由于AIF 是用于进行内插的滤波器，因此AIF不能应用于未进行内插的具有整数像素精度的运动补偿处理。据此，本发明旨在即使在进行具有整数像素精度的运动补偿处理的时候也增大帧间预测图像的质量。问题的解决方案根据本发明的第一方面，一种图像处理装置包括解码部件，其用于对编码图像进行解码；滤波处理部件，其通过使用从对图像进行编码的不同的图像处理装置发送的并且对应于编码图像的滤波系数，对解码部件解码的图像和运动补偿图像之一进行滤波处理， 其中所述滤波系数是在图像被编码时获得的以使得图像的基准图像和运动补偿基准图像之一与编码处理前的图像相类似；运动补偿部件，其用于对滤波处理部件所滤波的图像与解码部件所解码的图像之一进行运动补偿；以及计算部件，其用于通过将运动补偿部件运动补偿的滤波图像和滤波处理部件所滤波的运动补偿图像之一与解码部件所解码的图像进行相加，以生成解码图像。所述滤波处理部件可以对解码部件所解码的图像进行滤波处理，并且所述运动补偿部件可以对滤波处理部件所滤波的图像进行运动补偿。所述计算部件可以通过将所述解码部件解码的图像与所述运动补偿部件运动补偿的滤波图像进行相加以生成解码图像。所述运动补偿部件可以对解码部件解码的图像进行运动补偿，并且所述滤波处理部件可以对所述运动补偿部件运动补偿图像进行滤波处理。所述计算部件可以通过将所述解码部件解码的图像和所述滤波处理部件滤波的运动补偿图像进行相加以生成解码图像。所述滤波系数可以是在图像被编码时通过使用最小二乘法而获得的，以使得图像的基准图像和运动补偿的基准图像之一与编码前的图像之间的差异的平方最小化。所述滤波系数和编码图像可以被无损编码，并且以压缩信息的形式从所述不同的图像处理装置予以发送。所述解码部件可以对所述压缩信息进行无损解码，从作为结果的信息中提取滤波系数和编码图像，并且对编码图像进行解码，并且所述滤波处理部件可以通过使用解码部件提取出的滤波系数对解码部件解码的图像和运动补偿图像之一进行滤波处理。根据本发明的第一方面，一种用于在图像处理装置中使用的图像处理方法包含 解码步骤，其用于对编码图像进行解码；滤波处理步骤，其通过使用从对图像进行编码的不同的图像处理装置发送的并且对应于编码图像的滤波系数，对解码步骤中解码的图像和运动补偿图像之一进行滤波处理，其中所述滤波系数是在图像被编码时获得的，以使得图像的基准图像和运动补偿基准图像之一与编码处理前的图像相类似；运动补偿步骤，其用于对滤波处理步骤中滤波的图像与解码步骤中解码的图像之一进行运动补偿；以及计算步骤，其用于通过将解码步骤中解码的图像与运动补偿步骤中运动补偿的滤波图像和滤波处理步骤中滤波的运动补偿图像之一进行相加，以生成解码图像。根据本发明的第一方面，提供了一种用于使得计算机用作图像处理装置的程序。 所述图像处理装置包含解码部件，其用于对编码图像进行解码；滤波处理部件，其通过使用从对图像进行编码的不同的图像处理装置发送的并且对应于编码图像的滤波系数，对解码部件解码的图像和运动补偿图像之一进行滤波处理，其中所述滤波系数是在图像被编码时获得的，以使得图像的基准图像和运动补偿基准图像之一与编码处理前的图像相类似； 运动补偿部件，其用于对滤波处理部件所滤波的图像与解码部件所解码的图像之一进行运动补偿；以及计算部件，其用于通过将解码部件所解码的图像与运动补偿部件运动补偿的滤波图像和滤波处理部件所滤波的运动补偿图像之一进行相加，以生成解码图像。根据本发明的第二方面，一种图像处理装置包含滤波系数计算部件，其用于通过使用基准图像与运动补偿基准图像之一和要编码的图像，计算使得基准图像和运动补偿基准图像之一与要编码的图像相类似的滤波器的滤波系数；滤波处理部件，其用于通过使用所述滤波系数计算部件计算出的滤波系数，对基准图像和运动补偿基准图像之一进行滤波处理；运动补偿部件，其用于通过使用滤波基准图像和基准图像之一，检测滤波基准图像和基准图像之一与要编码的图像之间的运动矢量，并且基于运动矢量对滤波基准图像和基准图像之一进行运动补偿；编码部件，其通过使用运动补偿的滤波基准图像和滤波的运动补偿基准图像之一和要编码的图像之间的差异，生成所述编码图像；以及发送部件，其用于发送所述编码图像和所述滤波系数。所述滤波系数计算部件可以基于要编码的图像和基准图像，计算使得基准图像与要编码的图像相类似的滤波器的滤波系数。所述滤波处理部件可以使用所述滤波系数对基准图像进行滤波处理，并且所述运动补偿部件可以检测要编码的图像与滤波的基准图像之间的运动矢量，并且基于运动矢量对滤波的基准图像进行运动补偿。所述编码部件可以通过使用运动补偿的滤波图像和要编码的图像之间的差异来生成所述编码图像。所述运动补偿部件可以通过使用要编码的图像与基准图像来检测要编码的图像与基准图像之间的运动矢量，并且基于运动矢量对基准图像进行运动补偿。所述滤波系数计算部件可以基于要编码的图像和运动补偿的基准图像，计算使得运动补偿的基准图像与要编码的图像相类似的滤波器的滤波系数，并且所述滤波处理部件通过使用滤波系数对运动补偿的基准图像进行滤波处理。所述编码部件可以通过使用运动补偿的基准图像和要编码的图像之间的差异来生成所述编码图像。所述滤波系数计算部件可以通过使用最小二乘法计算滤波系数，以使得基准图像和运动补偿的基准图像之一与要编码的图像之间的差异的平方最小化。所述滤波系数计算部件可以通过使用具有整数像素精度的运动补偿的基准图像和基准图像之一的像素值以及具有分数像素精度的运动补偿的基准图像和基准图像之一的像素值来计算滤波系数。所述发送部件可以对编码图像和滤波系数进行无损编码，并且以压缩信息的形式发送编码图像和滤波系数。根据本发明的第二方面，提供了一种用于图像处理装置的图像处理方法。所述方法包含滤波系数计算步骤，其通过使用基准图像与运动补偿图像之一和要编码的图像，计算使得基准图像和运动补偿图像之一与要编码的图像相类似的滤波器的滤波系数；滤波处理步骤，其通过使用所述滤波系数计算步骤中计算出的滤波系数，对基准图像和运动补偿图像之一进行滤波处理；运动补偿步骤，其通过使用滤波基准图像和基准图像之一，检测滤波基准图像和基准图像之一与要编码的图像之间的运动矢量，并且基于运动矢量对滤波基准图像和基准图像之一进行运动补偿；编码步骤，其通过使用运动补偿的滤波基准图像和滤波的运动补偿基准图像之一和要编码的图像之间的差异，生成所述编码图像；以及发送步骤，其发送所述编码图像和所述滤波系数。根据本发明的第二方面，提供了一种用于使得计算机用作图像处理装置的程序。 所述图像处理装置包括滤波系数计算部件，其用于通过使用基准图像与运动补偿基准图像之一和要编码的图像，计算使得基准图像和运动补偿基准图像之一与要编码的图像相类似的滤波器的滤波系数；滤波处理部件，其用于通过使用所述滤波系数计算部件计算出的滤波系数，对基准图像和运动补偿基准图像之一进行滤波处理；运动补偿部件，其用于通过使用滤波基准图像和基准图像之一与要编码的图像，检测滤波基准图像和基准图像之一与要编码的图像之间的运动矢量，并且基于运动矢量对滤波基准图像和基准图像之一进行运动补偿；编码部件，其通过使用运动补偿的滤波基准图像和滤波的运动补偿基准图像之一和要编码的图像之间的差异，生成所述编码图像；以及发送部件，其用于发送所述编码图像和所述滤波系数。根据本发明的第一方面，对编码图像进行解码，并且通过使用从对图像进行编码的不同的图像处理装置发送的并且对应于编码图像的滤波系数，对解码部件解码的图像和运动补偿图像之一进行滤波处理，其中所述滤波系数是在图像被编码时获得的以使得图像的基准图像和运动补偿基准图像之一与编码处理前的图像相类似。另外，对滤波处理部件所滤波的图像与解码部件所解码的图像之一进行运动补偿。此后，通过将解码的图像与运动补偿的滤波图像和滤波的运动补偿图像之一进行相加，以生成解码图像。根据本发明的第二方面，通过使用基准图像与运动补偿基准图像之一和要编码的图像，计算使得基准图像和运动补偿基准图像之一与要编码的图像相类似的滤波器的滤波系数；并且通过使用计算出的滤波系数，对基准图像和运动补偿基准图像之一进行滤波处理。另外，通过使用滤波基准图像和基准图像之一和要编码的图像，检测滤波基准图像和基准图像之一与要编码的图像之间的运动矢量，并且基于运动矢量对滤波基准图像和基准图像之一进行运动补偿。此后，使用运动补偿的滤波基准图像和滤波的运动补偿基准图像之一和要编码的图像之间的差异，生成所述编码图像；并且发送所述编码图像和所述滤波系数。
本发明的有益效果根据本发明，即使在进行具有整数像素精度的运动补偿处理的时候，通过帧间预测所生成的预测图像的质量也可以得到提升。
图1图示现有帧间预测技术。
图2详细图示现有帧间预测技术。
图3图示内插。
图4是根据本发明的图像编码装置的配置的框图。
图5图示可变块大小。
图6是根据本发明的图像解码装置的配置的框图。
图7是根据本发明实施例的图像编码装置的配置的示例的框图。
图8是图7所示的图像编码装置进行的编码处理的流程图。
图9是有关滤波系数计算单元和FIR滤波器的详细配置的示例的框图。
图10是有关滤波系数计算单元和FIR滤波器的详细配置的另一示例的框图。
图11是根据本发明实施例的图像解码装置的配置的示例的框图。
图12是图11所示的图像解码装置进行的解码处理的流程图。
图13是与根据本发明的图10所示的图像解码装置对应的配置的示例的框图。
图14图示扩展块大小的示例。
图15是根据本发明的电视接收器的主要配置的示例的框图。
图16是根据本发明的蜂窝电话的主要配置的示例的框图。
图17是根据本发明的硬盘记录器的主要配置的示例的框图。
图18是根据本发明的相机的主要配置的示例的框图。
具体实施例方式<1.发明的基础〉首先参考图4到图6描述作为本发明的基础装置的图像编码装置和图像解码装置。图4图示作为本发明的基础装置的图像编码装置的配置。图像编码装置51包括 A/D转换单元61、重排序屏幕缓冲器62、计算单元63、正交变换单元64、量化器单元65、无损编码单元66、累积缓冲器67、逆量化器单元68、逆正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、已预测图像选择单元76和速率控制单元77。图像编码装置51例如使用H. 264/AVC标准压缩编码图像。A/D转换单元61A/D转换输入图像并将已转换图像输出到存储已转换图像的重排序屏幕缓冲器62中。此后，重排序屏幕缓冲器62根据GOP(画面组)重排序用于显示的以存储的次序布置的帧的图像，以便以要编码帧的次序布置图像。计算单元63从重排序屏幕缓冲器62读取的图像中减去由预测图像选择单元 76选择的以下两个预测图像之一帧内预测的图像和通过帧间预测产生的预测图像(以下称为“帧间预测的图像”)。此后，计算单元63将产生的差值输出到正交变换单元64。正交变换单元64关于从计算单元63接收到的差值执行正交变换，比如离散余弦变换或 Karhunen-Loeve变换，并输出变换系数。量化器单元65量化从正交变换单元64输出的变换系数。从量化器单元65输出的量化的变换系数被输入到无损编码单元66。在无损编码单元66中，关于量化的变换系数执行无损编码处理，比如可变长度编码(例如，CAVLC(基于上下文的自适应可变长度编码))或算术编码(例如，CABAC(基于上下文的自适应二进制算术编码)。因此，压缩变换系数。在累积缓冲器67中积累产生的压缩图像，并随后输出。另外，从量化器单元65输出的量化的变换系数还输入到逆量化器单元68并进行逆量化。此后，变换系数进一步在逆正交变换单元69中经历逆正交变换。由计算单元70 将逆正交变换的输出加到从预测图像选择单元76提供的帧间预测的图像或帧内预测的图像。以这种方式，产生本地解码的图像。去块滤波器71去除本地解码的图像的块失真并将本地解码的图像提供到帧存储器72。因此，累积本地解码的图像。另外，由去块滤波器71 执行去块滤波器处理之前的图像还被提供给帧存储器72并累积。开关73将在帧存储器72中累积的图像输出到运动预测/补偿单元75或帧内预测单元74。在图像编码装置51中，例如，将从重排序屏幕缓冲器62接收到的I画面、B画面和P画面提供给帧内预测单元74作为要经历帧内预测的图像。另外，将从重排序屏幕缓冲器62读取的B画面和P画面提供给运动预测/补偿单元75作为要经历帧间预测的图像。帧内预测单元74使用要经历帧内预测并从重排序屏幕缓冲器62读取的图像和经由开关73从帧存储器72提供的图像来在所有候选帧内预测模式中执行帧内预测处理。因此，帧内预测单元74产生帧内预测的图像。注意，在H. ^4/AVC编码标准中，作为用于亮度信号的帧内预测模式，定义基于 4X4像素块的预测模式、基于8X8像素块的预测模式和基于16X 16像素块的预测模式。 也就是说，定义基于宏块的预测模式。另外，与用于亮度信号的帧内预测模式独立地定义用于色差信号的帧内预测模式。基于宏块定义用于色差信号的帧内预测模式。另外，帧内预测单元74对于所有候选帧内预测模式中的每一个计算成本函数值。使用如在作为H. 264/AVC参考软件的JM(联合模型)中定义的高复杂度模式和低复杂度模式的技术之一计算成本函数值。更具体地说，当采用高复杂度模式作为计算成本函数值的技术时，对于所有候选帧内预测模式临时执行直到编码处理的处理。因此，对于每一帧内预测模式计算由以下等式( 定义的成本函数值。Cost (Mode) = D+ λ · R ... (2)D表示在初始图像和解码图像之间的差异(失真)，R表示包括直到正交变换系数的产生的代码量，且λ表示以量化参数QP的函数的形式的拉格朗日乘子。相反，当采用低复杂度模式作为用于计算成本函数值的技术时，对所有的候选帧内预测模式执行帧内预测的图像的产生和报头位(例如，指示帧内预测模式的信息)的计算。因此，对于每一帧内预测模式计算以下面等式C3)表示的成本函数。Cost (Mode) = D+QPtoQuant (QP) · Header_Bit …(3)D表示在初始图像和解码图像之间的差异(失真)，Header_Bit表示用于帧内预测模式的报头位，且QPtoQimnt表示以量化参数QP的函数的形式提供的函数。在低复杂度模式中，可以仅对于所有帧内预测模式中的每一个产生帧内预测的图像。不必执行编码处理。因此，可以减小计算量。帧内预测单元74选择在以这样的方式计算的成本函数值之中提供最小值的帧内预测模式作为最优帧内预测模式。帧内预测单元74将以最优帧内预测模式产生的帧内预测的图像和其成本函数值提供到预测图像选择单元76。如果由预测图像选择单元76选择了以最优帧内预测模式产生的帧内预测的图像，则帧内预测单元74提供指示最优帧内预测模式的信息给无损编码单元66。无损编码单元66无损编码该信息并使用该信息作为报头信息的一部分。运动预测/补偿单元75对于所有候选的帧间预测模式中的每一个执行运动预测/ 补偿处理。更具体地说，运动预测/补偿单元75基于从重排序屏幕缓冲器62读取的待帧间预测的图像和经由开关73从帧存储器72提供的用作参考图像的图像，检测每一候选的帧间预测模式中的运动矢量。此后，运动预测/补偿单元75基于运动矢量关于参考图像执行运动补偿处理并产生运动补偿图像。注意，在MPEG2标准中，块大小固定(对于帧间运动预测/补偿处理的基于16 X 16 像素和在场间预测/补偿处理中每个场的基于16X8像素)，并执行运动预测/补偿处理。 相比之下，在H. ^4/AVC标准中，块大小可变，并执行运动预测/补偿处理。更具体地说，如图5所示，在H. 264/AVC标准中，包括16X 16像素的宏块被分为 16X16像素分区、16X8像素分区、8X16像素分区和8X8像素分区之一。每一分区可以具有独立的运动矢量信息。另外，如图5所示，8X8像素分区可以分离为8X8像素子分区、 8X4像素子分区、4X8像素子分区和4X4像素子分区之一。每一子分区可以具有独立的运动矢量信息。因此，帧间预测模式包括用于基于16X 16像素、基于16X8像素、基于8X 16像素、基于8X8像素、基于8X4像素、基于4X8像素和基于4X4像素之一检测运动矢量的八个类型的模式。注意，运动预测/补偿单元75可以对要帧间预测的图像和基准图像进行内插，并且检测具有分数像素精度的运动矢量。可替换地，运动预测/补偿单元75可以在不进行内插的情况下检测具有整数像素精度的运动矢量。另外，运动预测/补偿单元75使用与由帧内预测单元74采用的技术相同的技术对于所有候选的帧间预测模式中的每一个计算成本函数值。运动预测/补偿单元75选择在计算的成本函数值之中最小化成本函数值的预测模式作为最优帧间预测模式。此后，运动预测/补偿单元75将以最优帧间预测模式产生的运动补偿图像提供到预测图像选择单元76作为帧间预测的图像。另外，运动预测/补偿单元75将最优帧间预测模式的成本函数值提供到预测图像选择单元76。当预测图像选择单元76选择了以最优帧间预测模式产生的帧间预测的图像时，运动预测/补偿单元75将指示最优帧间预测模式的信息和与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)输出到无损编码单元66。无损编码单元66关于从运动预测/补偿单元75接收到的信息执行无损编码处理，并将该信息插入到压缩图像的报头部分中。预测图像选择单元76基于从帧内预测单元74或运动预测/补偿单元75输出的
12成本函数值，从最优帧内预测模式和最优帧间预测模式选择最优预测模式。此后，预测图像选择单元76选择用作所选的最优预测模式中的预测图像的帧内预测的图像和帧间预测的图像之一，并将所选的预测图像提供到计算单元63和70。在那时，预测图像选择单元76提供指示已经选择了帧内预测的图像的信息到帧内预测单元74或提供指示已经选择了帧间预测的图像的信息到运动预测/补偿单元75。速率控制单元77基于具有报头部分并且作为压缩信息在累积缓冲器67中累积的压缩图像，控制由量化器单元65执行的量化操作的速率，以便不发生累积缓冲器67的上溢和下溢。由具有上述配置的图像编码装置51编码的压缩信息被经由预定传输路径发送并由图像解码装置解码。图6图示这种图像解码装置的配置。图像解码装置101包括累积缓冲器111、无损解码单元112、逆量化器单元113、逆正交变换单元114、计算单元115、去块滤波器116、重排序屏幕缓冲器117、D/A转换单元 118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122和开关123。累积缓冲器111累积发送的压缩信息。无损解码单元112使用与由无损编码单元 66采用的无损编码方法对应的方法，无损解码(变长度解码或算术解码)由图4所示的无损编码单元66无损编码并从累积缓冲器111提供的压缩信息。此后，无损解码单元112从通过无损解码获得的信息提取图像、指示最优帧间预测模式或最优帧内预测模式的信息、 运动矢量信息和参考帧信息。逆量化器单元113使用与由图4所示的量化器单元65采用的量化方法对应的方法逆量化由无损解码单元112无损解码的图像。此后，逆量化器单元113将产生的变换系数提供到逆正交变换单元114。逆正交变换单元114使用与由图4所示的正交变换单元64 采用的正交变换方法对应的方法，关于从逆量化器单元113接收到的变换系数执行第四级 (fourth-order)逆正交变换。逆正交变换输出被加到从开关123提供的帧内预测的图像或帧间预测的图像，并由计算单元115解码。去块滤波器116去除解码图像的块失真并将产生的图像提供到帧存储器119。因此，累积图像。同时，将图像输出到重排序屏幕缓冲器117。重排序屏幕缓冲器117重排序图像。也就是说，为了编码已经由图4所示的重排序屏幕缓冲器62改变的帧的次序改变回初始的显示次序。D/A转换单元118将从重排序屏幕缓冲器117提供的图像D/A转换，并将图像输出到显示图像的显示器(没有示出)。开关120从帧存储器119读取当编码图像时在帧内预测中用作参考图像的图像。 开关120输出图像到运动预测/补偿单元122。另外，开关120从帧存储器119读取用于帧内预测的图像，并提供读出的图像到帧内预测单元121。帧内预测单元121从无损解码单元112接收指示通过解码报头信息获得的最优帧内预测模式的信息。当提供指示最优帧内预测模式的信息时，帧内预测单元121使用从帧存储器119接收到的图像以在由信息指示的帧内预测模式下执行帧内预测处理。因此，帧内预测单元121产生帧内预测图像。帧内预测单元121输出所产生的帧内预测图像到开关 123。运动预测/补偿单元122从无损解码单元112接收通过无损解码报头信息(例如， 指示最优帧间预测模式的信息、运动矢量信息和参考图像信息)获得的信息。在接收指示最优帧间预测模式的信息时，运动预测/补偿单元122使用与指示最优帧间预测模式的信息一起提供的运动矢量信息和参考帧信息，以由该信息指示的最优帧间预测模式关于从帧存储器119接收到的参考图像执行运动补偿处理。因此，运动预测/补偿单元122产生运动补偿图像。此后，运动预测/补偿单元122输出运动补偿图像到开关123作为帧间预测的图像。开关123将从运动预测/补偿单元122提供的帧间预测的图像或从帧内预测单元 121提供的帧内预测的图像提供到计算单元115。<2.实施例〉[图像编码装置的配置的示例]接下来，图7图示根据本发明实施例的图像编码装置的配置的示例。在参照图7中的配置时将使用与在以上描述图4的配置时使用的编号相同的编号。不重复相同的描述。图7所示的图像编码装置151的配置与图4所示的配置的主要不同在于，图像编码装置151包括运动预测/补偿单元161、预测图像选择单元164和无损编码单元165代替运动预测/补偿单元75、预测图像选择单元76和无损编码单元66，并进一步包括滤波系数计算单元162和FIR滤波器163。更具体地说，类似于图4所示的运动预测/补偿单元75，图7所示的图像编码装置 151的运动预测/补偿单元161以所有候选的帧间预测模式执行运动预测/补偿处理。另外，类似于运动预测/补偿单元75，运动预测/补偿单元161对于所有候选的帧间预测模式计算成本函数值，并且选择在计算的成本函数值之中提供最小值的帧间预测模式作为最优帧间预测模式。然后，运动预测/补偿单元161将以最优帧间预测模式产生的运动补偿图像提供到滤波系数计算单元162和HR滤波器163。另外，类似于运动预测/补偿单元75，如果由预测图像选择单元164选择了以最优帧间预测模式产生的帧间预测的图像，则运动预测 /补偿单元161将指示最优帧间预测模式的信息和与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)输出到无损编码单元165。滤波系数计算单元162通过使用从运动预测/补偿单元161提供的运动补偿图像和从重排序屏幕缓冲器62输出的并用于运动补偿图像的运动预测/补偿处理的要帧间预测的图像，计算用于使得FIR滤波器163所滤波的图像与要帧间预测的图像相类似的滤波系数。然后，滤波系数计算单元162将计算出的滤波系数提供给FIR滤波器163。另外，滤波系数计算单元162通过使用与运动预测/补偿单元161采用的方法相同的方法，计算^R滤波器163提供的滤波图像的成本函数值。然后，滤波系数计算单元 162将滤波图像提供至预测图像选择单元164作为帧间预测图像。另外，滤波系数计算单元 162将帧间预测图像的成本函数值提供至预测图像选择单元164。此外，如果预测图像选择单元164选择以最佳帧间预测模式生成的帧间预测图像，则滤波系数计算单元162将滤波系数输出至无损编码单元165。FIR滤波器163通过使用滤波系数计算单元162提供的滤波系数，对运动预测/补偿单元161提供的运动补偿图像进行由下列等式(4)表达的所谓的卷积运算。以此方式， FIR滤波器163进行滤波处理。
[算式1]
权利要求
1.一种图像处理装置，包含解码部件，其用于对编码图像进行解码；滤波处理部件，其通过使用从对图像进行编码的不同的图像处理装置发送的并且对应于编码图像的滤波系数，对解码部件解码的图像和运动补偿图像之一进行滤波处理，其中所述滤波系数是在图像被编码时获得的，以使得图像的基准图像和运动补偿基准图像之一与编码处理前的图像相类似；运动补偿部件，其用于对滤波处理部件所滤波的图像与解码部件所解码的图像之一进行运动补偿；以及计算部件，其用于通过将运动补偿部件运动补偿的滤波图像和滤波处理部件所滤波的运动补偿图像之一与解码部件所解码的图像进行相加，以生成解码图像。
2.如权利要求1所述的图像处理装置，其中，所述滤波处理部件对解码部件所解码的图像进行滤波处理，并且其中所述运动补偿部件对滤波处理部件所滤波的图像进行运动补偿，并且其中所述计算部件通过将所述解码部件解码的图像与所述运动补偿部件运动补偿的滤波图像进行相加以生成解码图像。
3.如权利要求1所述的图像处理装置，其中，所述运动补偿部件对解码部件解码的图像进行运动补偿，并且其中所述滤波处理部件对所述运动补偿部件运动补偿的图像进行滤波处理，并且其中所述计算部件通过将所述解码部件解码的图像和所述滤波处理部件滤波的运动补偿图像进行相加以生成解码图像。
4.如权利要求1所述的图像处理装置，其中，所述滤波系数是在图像被编码时通过使用最小二乘法而获得的，以使得图像的基准图像和运动补偿的基准图像之一与编码前的图像之间的差异的平方最小化。
5.如权利要求1所述的图像处理装置，其中，所述滤波系数和编码图像被无损编码，并且以压缩信息的形式从所述不同的图像处理装置予以发送，并且其中所述解码部件对所述压缩信息进行无损解码，从作为结果的信息中提取滤波系数和编码图像，并且对编码图像进行解码，并且其中所述滤波处理部件使用解码部件提取出的滤波系数对解码部件解码的图像和运动补偿图像之一进行滤波处理。
6.一种用于在图像处理装置中使用的图像处理方法，包含解码步骤，其用于对编码图像进行解码；滤波处理步骤，其通过使用从对图像进行编码的不同的图像处理装置发送的并且对应于编码图像的滤波系数，对解码部件中解码的图像和运动补偿图像之一进行滤波处理，其中所述滤波系数是在图像被编码时获得的，以使得图像的基准图像和运动补偿图像之一与编码处理前的图像相类似；运动补偿步骤，其用于对滤波处理步骤中滤波的图像与解码步骤中解码的图像之一进行运动补偿；以及计算步骤，其用于通过将解码步骤中解码的图像与运动补偿步骤中运动补偿的滤波图像和滤波处理步骤中滤波的运动补偿图像之一进行相加，以生成解码图像。
7.一种程序，其包含程序代码，其用于使得计算机用作图像处理装置，所述图像处理装置包含解码部件， 其用于对编码图像进行解码；滤波处理部件，其通过使用从对图像进行编码的不同的图像处理装置发送的并且对应于编码图像的滤波系数，对解码部件解码的图像和运动补偿图像之一进行滤波处理，其中所述滤波系数是在图像被编码时获得的，以使得图像的基准图像和运动补偿图像之一与编码处理前的图像相类似；运动补偿部件，其用于对滤波处理部件所滤波的图像与解码部件所解码的图像之一进行运动补偿；以及计算部件，其用于通过将解码部件所解码的图像与运动补偿部件运动补偿的滤波图像和滤波处理部件所滤波的运动补偿图像之一进行相加，以生成解码图像。
8.一种图像处理装置，其包含滤波系数计算部件，其用于通过使用基准图像与运动补偿基准图像之一和要编码的图像，计算使得基准图像和运动补偿基准图像之一与要编码的图像相类似的滤波器的滤波系数；滤波处理部件，其用于通过使用所述滤波系数计算部件计算出的滤波系数，对基准图像和运动补偿基准图像之一进行滤波处理；运动补偿部件，其用于通过使用滤波基准图像和基准图像之一与要编码的图像，检测滤波基准图像和基准图像之一与要编码的图像之间的运动矢量，并且基于运动矢量对滤波基准图像和基准图像之一进行运动补偿；编码部件，其通过使用运动补偿的滤波基准图像和滤波的运动补偿基准图像之一和要编码的图像之间的差异，生成所述编码图像；以及发送部件，其用于发送所述编码图像和所述滤波系数。
9.如权利要求8所述的图像处理装置，其中，所述滤波系数计算部件基于要编码的图像和基准图像，计算使得基准图像与要编码的图像相类似的滤波器的滤波系数，并且其中所述滤波处理部件使用所述滤波系数对于所述基准图像进行滤波处理，并且其中所述运动补偿部件通过使用要编码的图像与滤波的基准图像来检测要编码的图像与滤波的基准图像之间的运动矢量，并且基于运动矢量对滤波的基准图像进行运动补偿，并且其中所述编码部件通过使用运动补偿的滤波图像和要编码的图像之间的差异来生成所述编码图像。
10.如权利要求8所述的图像处理装置，其中，所述运动补偿部件通过使用要编码的图像与基准图像来检测要编码的图像与基准图像之间的运动矢量，并且基于运动矢量对基准图像进行运动补偿，并且其中所述滤波系数计算部件基于要编码的图像和运动补偿的基准图像，计算使得运动补偿的基准图像与要编码的图像相类似的滤波器的滤波系数，并且其中所述滤波处理部件通过使用滤波系数对运动补偿的基准图像进行滤波处理，并且其中所述编码部件通过使用滤波的运动补偿的基准图像和要编码的图像之间的差异来生成所述编码图像。
11.如权利要求8所述的图像处理装置，其中，所述滤波系数计算部件使用最小二乘法计算滤波系数，以使得基准图像和运动补偿的基准图像之一与要编码的图像之间的差异的平方最小化。
12.如权利要求8所述的图像处理装置，其中，所述滤波系数计算部件通过使用具有整数像素精度的运动补偿的基准图像和基准图像之一的像素值以及具有分数像素精度的运动补偿的基准图像和基准图像之一的像素值来计算滤波系数。
13.如权利要求8所述的图像处理装置，其中，所述发送部件对编码图像和滤波系数进行无损编码，并且以压缩信息的形式发送编码图像和滤波系数。
14.一种用于图像处理装置的图像处理方法，包含滤波系数计算步骤，其通过使用基准图像与运动补偿图像之一和要编码的图像，计算使得基准图像和运动补偿图像之一与要编码的图像相类似的滤波器的滤波系数；滤波处理步骤，其通过使用所述滤波系数计算步骤中计算出的滤波系数，对基准图像和运动补偿图像之一进行滤波处理；运动补偿步骤，其通过使用滤波的基准图像和基准图像之一，检测滤波的基准图像和基准图像之一与要编码的图像之间的运动矢量，并且基于运动矢量对滤波的基准图像和基准图像之一进行运动补偿；编码步骤，其通过使用运动补偿的滤波的基准图像和滤波的运动补偿的基准图像之一与要编码的图像之间的差异，生成所述编码图像；以及发送步骤，其发送所述编码图像和所述滤波系数。
15.一种程序，包含程序码，其用于使得计算机用作图像处理装置，所述图像处理装置包括滤波系数计算部件，其用于通过使用基准图像与运动补偿基准图像之一和要编码的图像，计算使得基准图像和运动补偿基准图像之一与要编码的图像相类似的滤波器的滤波系数；滤波处理部件，其用于通过使用所述滤波系数计算部件计算出的滤波系数，对基准图像和运动补偿基准图像之一进行滤波处理；运动补偿部件，其用于通过使用滤波的基准图像和基准图像之一与要编码的图像，检测滤波的基准图像和基准图像之一与要编码的图像之间的运动矢量，并且基于运动矢量对滤波的基准图像和基准图像之一进行运动补偿；编码部件，其通过使用运动补偿的滤波基准图像和滤波的运动补偿基准图像之一和要编码的图像之间的差异，生成所述编码图像；以及发送部件，其用于发送所述编码图像和所述滤波系数。
全文摘要
图像处理装置、图像处理方法和程序，其中即使在进行整数精度的运动补偿的时候也能够改善帧间预测图像的质量。运算单元(115)将逆正交变换单元(114)进行逆正交变换并提供的变换系数添加至开关(214)提供的帧间图像用于解码。运动预测/补偿单元(212)对解码图像进行运动补偿。FIR滤波器(213)通过使用图像编码装置与压缩图像对应地发送的并且在生成压缩图像时通过使用最小二乘法已经获得的滤波系数，对运动补偿的图像进行滤波。FIR滤波器(213)然后将滤波的图像作为帧间预测图像提供至开关(214)。此发明例如可应用于通过使用H.264/AVC系统进行解码的图像解码装置。
文档编号H04N7/32GK102301719SQ20098015553
公开日2011年12月28日 申请日期2009年12月3日 优先权日2008年12月3日
发明者田中润一, 近藤健治 申请人:索尼公司