专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序，且具体地说，涉及能够提高通过帧间预测产生的预测图像的质量的图像处理设备、图像处理方法和程序。
背景技术：
近年来，以数字格式操作图像信息的设备以及在那时，为了高效地传送和累积信息，压缩编码图像已经得到广泛应用。该设备使用对图像信息特定的冗余度并采用基于比如离散余弦变换之类的正交变换和运动补偿(例如，MPEG(运动图像专家组阶段)标准)压缩图像的方法。具体地说，MPEG 2(IS0/IEC 13818-2)被定义为通用的图像编码方法。MPEG 2是对于隔行扫描图像和逐行扫描图像和对于标准清晰度图像和高清晰度图像定义的标准。 MPEG 2现今广泛地用于专业应用和消费者应用。通过使用MPEG 2压缩标准并向720X480 像素的标准分辨率隔行图像分配4到8Mbps的编码量(位速率)和向1920X 1088像素的高清晰度隔行图像分配18到22Mbps的编码量，可以实现高压缩比和优秀的图像质量。MPEG 2意在提供主要与广播适应的高分辨率编码，因此，MPEG 2不支持具有低于 MPEG 1的编码量的编码量，也就是，压缩比高于MPEG 1的压缩比的编码方法。但是，因为移动电话变得更广泛地使用，这种编码方法的需求正在增加。因此，已经标准化了 MPEG 4编码方法。例如，在1998年12月MPEG 4图像编码方法被批准为国际标准IS0/IEC 14496-2。另外，近年来，为了编码电视会议的图像，已经进行了被称为H. 26L (ITU-T Q6/16VCEG)的标准的标准化。在H. 26L中，与比如MPEG 2和MPEG 4之类的现有的编码标准比较，编码和解码操作需要大量计算。但是，已知H. 26L可以实现更高的编码效率。此外，作为MPEG 4的活动的一部分，已经进行了被称为增强-压缩视频编码的联合模型的标准化。该增强-压缩视频编码的联合模型基于H. 26L并包括H. 26L不支持的功能，因此可以实现更高的编码效率。在2003年3月，增强-压缩视频编码的联合模型被批准为国际标准，作为H. 264和MPEG-4部分10 (高级视频编码；在下文中，称为“AVC”)。另外，例如，在H. 264/AVC中，使用在各帧或各场之间的相关性执行帧间预测。在这种帧间预测中执行的运动补偿处理中，通过平移表示参考图像的部分区域的运动补偿块，来通过帧间预测产生预测的图像(以下称为“帧间预测的图像”)。更具体地说，通过根据表示在各帧或各场之间的运动的运动矢量平移运动补偿块中的像素值来产生帧间预测的图像。例如，如图1的“A”所示，如果在第(t-Ι)帧的图像中的面部11被平移到第t帧的图像中的右边，则在运动补偿处理中第(t-Ι)帧的图像被定义为参考图像，如图1的“B” 所示。因此，获得指示右向的运动矢量。此后，如图1的“B”所示，根据该运动矢量将参考图像中包括面部11的运动补偿块12平移到右边。产生这种图像作为第t帧中的帧间预测的图像。注意到，为了简单起见，在图1中，使用两个帧第(t-Ι)帧和第t帧执行帧间预测。但是，实际上，使用的帧的数目不限于2。另外，在H. 264/AVC的运动补偿处理中，运动矢量的分辨率可以增加到分数像素的精度，比如1/2像素精度或1/4像素精度。在这种具有分数像素精度的补偿处理中，假定在两个相邻像素之间存在被称为子像素的虚拟像素，且另外执行用于产生子像素的处理(以下称为“内插”)。例如，HR(有限持续时间脉冲响应)滤波器用于内插。该HR滤波器在两个相邻像素之间内插数据。因此，FIR滤波器的抽头数是偶数。例如，在HJ64/AVC中，用于具有 1/2像素精度的运动补偿处理的FIR滤波器的抽头数是6。用于具有1/4像素精度的运动补偿处理的HR滤波器的抽头数是2。但是，在使用HR滤波器的具有分数像素精度的运动补偿处理中，仅另外执行内插。像具有整数像素精度的运动补偿处理那样，通过平移运动补偿块产生帧间预测的图像。另外，NPL 1和2描述在近来的研究论文中报告的自适应内插滤波器(AIF)。在这种使用AIF的运动补偿处理中，通过自适应地改变具有用于内插的偶数抽头的HR滤波器的滤波器系数，可以减小混迭效应且因此，可以减小运动补偿中的误差。但是，在使用AIF的具有分数像素精度的运动补偿中，仅通过自适应地改变HR滤波器的滤波器系数执行内插。像具有整数像素精度的运动补偿那样，平移运动补偿块，并产生帧间预测的图像。如上所述，当图像中的改变被表示为图像的平移时，可以执行使用HR滤波器或 AIF的具有整数像素精度的运动补偿处理和具有分数像素精度的运动补偿处理。引用列表非专利文献NPL 1 Thomas Wedi禾口Hans Georg Musmann,Motion-and Aliasing-Compensated Prediction for Hybrid Video Coding, IEEE Transactions on circuits and systems for video technology, 2003 年 7 月，Vol. 13，No. 7NPL 2 :Yuri Vatis,Joern Ostermann,Prediction of P-and B-Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H. 264/ AVC, ITU-T SG16 VCEG 30th Meeting, Hangzhou China，2006 年 10 月
发明内容
技术问题但是实际上，图像中的改变不能仅表示为平移。例如，图像的模糊量可能由于各种原因(例如，从焦点对准状态偏离焦点，从焦点未对准状态进入对焦，或物体以加速速率移动)而改变。如在这里使用的，术语“模糊”是指图像中物体位置的不清楚。如果物体模糊， 则当物体不模糊时在图像中以聚光点形式出现的物体以散射光的形式出现。如果出现这种模糊，则图像的高频分量丢失。但是，不能使用平移表示频率特性的变化。因此，当在图像之间出现模糊的改变时，且如果使用上述运动补偿处理执行帧间预测，则产生在帧间预测的图像和要编码的图像之间像素值的差。注意，该差关于要编码的图像减小帧间预测的图像的峰值信噪比(PSNR)。例如，如图2所示，如果第(t-Ι)帧的输入的焦点对准图像改变为第t帧的输入焦点未对准图像，则第(t-Ι)帧的输入图像中的非模糊面部21改变为第t帧的输入图像中的模糊面部22。注意，在图2中，模糊由粗体框表示。另外，在图2的示例中，为简单起见，面部21是静止的。在这种情况下，面部21的运动矢量是0。因此，如图2所示，当第(t-Ι)帧的输入图像被定义为参考图像时且如果对于要编码的第t帧执行帧间预测，则第t帧的帧间预测的图像与参考图像相同。也就是说，第t帧的帧间预测的图像中的面部与第(t-Ι)帧的输入图像中的非模糊面部21相同。因此，就像素值而言，在第t帧的帧间预测的图像和输入图像之间仅出现面部22 和面部21之间的差异。因此，帧间预测的图像关于第t帧的输入图像的PSNR减小。也就是说，如图2所示，在帧间预测的图像和第t帧的输入图像之间的差异图像是其中面部21 的轮廓部分23保留为面部22和面部21之间的差异的图像。注意到在图2所示的示例中，面部21是静止的。但是，即使对于正在移动的面部 21，就像素值而言，在第t帧的帧间预测的图像和输入图像之间仅类似地出现面部22和面部21之间的差异。因此，帧间预测的图像关于第t帧的输入图像的PSNR减小。在编码设备中，总的来说，差异图像经历某些正交变换、量化和编码。此后，将产生的图像作为已编码图像传送到解码器。因此，PSNR的下降增加编码量并降低编码效率。因此，本发明可以提高帧间预测的图像的质量。技术方案根据本发明的第一方面，图像处理设备包括解码装置，用于解码已编码图像；补偿装置，用于基于指示图像之间的模糊变化的模糊信息，来关于由解码装置解码的图像执行运动补偿和模糊补偿，其中模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算装置，用于通过将由解码装置解码的图像与经历了由补偿装置执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。可以使用PSF(点扩散函数)来表示模糊信息。可以使用二维正态分布表达式来表示模糊信息。从不同图像处理设备发送的模糊信息可以指示二维正态分布表达式的扩展宽度 I可以由作为脉冲响应输出的半径L表示模糊信息.可以由从作为脉冲响应的中心开始水平方向上的长度Lx和垂直方向上的长度Ly 表示模糊信息。补偿装置可以关于由解码装置解码的图像执行运动补偿并使用模糊信息关于产生的图像执行模糊补偿。补偿装置可以使用模糊信息关于由解码装置解码的图像执行模糊补偿并关于产生的图像执行运动补偿。根据本发明的第一方面，提供了图像处理设备中使用的图像处理方法。该方法包括解码步骤，解码已编码图像；补偿步骤，基于指示图像之间的模糊变化的模糊信息，关于在解码步骤中解码的图像执行运动补偿和模糊补偿，其中模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算步骤，通过将在解码步骤中解码的图像与经历了在补偿步骤中执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。
根据本发明的第一方面，程序包括用于使得计算机用作图像处理设备的程序代码。该图像处理设备包括解码装置，用于解码已编码图像；补偿装置，用于基于指示图像之间的模糊变化的模糊信息，来关于由解码装置解码的图像执行运动补偿和模糊补偿，其中模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算装置， 用于通过将由解码装置解码的图像与经历了由补偿装置执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。根据本发明的第二方面，图像处理设备包括补偿装置，用于使用要编码的图像和参考图像预测运动和要编码的图像和参考图像之间的模糊变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息来关于参考图像执行运动补偿和模糊补偿；编码装置，用于使用在经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异来产生已编码图像；和发送装置，用于发送已编码图像和模糊信息。可以由PSF(点扩散函数)来表示模糊信息。可以使用二维正态分布表达式来表示模糊信息。发送装置可以发送二维正态分布表达式的扩展宽度W作为模糊信息。可以由作为脉冲响应输出的半径L表示模糊信息.可以由从作为脉冲响应的中心开始水平方向上的长度Lx和垂直方向上的长度Ly 表示模糊信息。可以使用要编码的图像和参考图像预测运动，且可以基于表示运动的运动矢量执行运动补偿。可以使用通过运动补偿获得的图像和要编码的图像来预测模糊的变化，且可以基于表示模糊变化的模糊信息执行模糊补偿。补偿装置可以使用要编码的图像和参考图像预测模糊的变化并基于表示模糊变化的模糊信息执行模糊补偿，且补偿装置可以使用通过模糊补偿获得的图像和要编码的图像预测运动与基于表示运动的运动矢量执行运动补偿。根据本发明的第二方面，提供了图像处理设备中使用的图像处理方法。该方法包括补偿步骤，使用要编码的图像和参考图像预测运动和要编码的图像和参考图像之间的模糊的变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息执行运动补偿和模糊补偿；编码步骤，使用经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异产生已编码图像；和发送步骤，发送已编码图像和模糊信息。根据本发明的第二方面，程序包括用于使得计算机用作图像处理设备的程序代码。该图像处理设备包括补偿装置，用于使用要编码的图像和参考图像预测运动和要编码的图像和参考图像之间的模糊的变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息执行运动补偿和模糊补偿；编码装置，用于使用经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异产生已编码图像；和发送装置，用于发送已编码图像和模糊信息。根据本发明的第一方面，解码已编码图像。基于与已编码图像对应并从编码图像的不同图像处理设备发送的模糊信息关于已解码图像执行运动补偿和模糊补偿，其中模糊信息指示图像之间的模糊变化。此后，通过将已解码图像和经历了由补偿装置执行的运动补偿和模糊补偿的已补偿图像加和来产生已解码图像。根据本发明的第二方面，使用要编码的图像和参考图像，预测运动要编码的图像和参考图像之间的模糊变化，并基于表示运动的运动矢量和指示模糊变化的模糊信息来关于参考图像执行运动补偿和模糊补偿。此后，使用经历了运动补偿和模糊补偿的已补偿图像和要编码的图像之间的差异产生已编码图像。随后，发送已编码图像和模糊信息。技术效果根据本发明，可以提高帧间预测的图像的质量。
图1图示现有的帧间预测技术；图2图示当在图像之间出现模糊时获得的帧内预测的图像；图3是根据本发明的图像编码设备的配置的框图；图4图示可变块大小；图5是根据本发明的图像解码设备的配置的框图；图6是根据本发明第一实施例的图像编码设备的配置的示例的框图；图7是图6所示的模糊预测/补偿单元的详细配置示例的框图；图8图示通过其出现对焦模糊的机构；图9图示通过其出现运动模糊的机构；图10图示关于对焦模糊的模糊信息；图11图示关于运动模糊的模糊信息；图12图示点扩散函数；图13图示点扩散函数；图14图示使用正态分布等式计算的滤波器系数的示例；图15是由图6所示的图像编码设备执行的编码处理的流程图；图16是在图15所示的步骤S25执行的模糊预测/补偿处理的流程图；图17是根据本发明第一实施例的图像解码设备的示例配置的框图；图18图示图17所示的模糊预测/补偿单元的详细配置的示例；图19是由图17所示的图像解码设备执行的解码处理的流程图；图20是在图19所示的步骤S140执行的模糊补偿处理的流程图；图21是根据本发明第二实施例的图像编码设备的配置的示例的框图；图22是图21所示的模糊运动预测/补偿单元的详细配置的示例的框图；图23是由图21所示的图像编码设备执行的编码处理的流程图；图M是在图23所示的步骤S223执行的模糊运动预测/补偿处理的流程图；图25是根据本发明第二实施例的图像解码设备的示例配置的框图；图沈是图25所示的模糊运动预测/补偿单元的详细示例配置的框图；图27是由图25所示的图像解码设备执行的解码处理的流程图；图观是在图27所示的步骤S339执行的模糊运动补偿处理的流程图；图四图示扩展的宏块大小的示例；图30是根据本发明的电视接收机的基本配置的示例的框图；图31是根据本发明的移动电话的基本配置的示例的框图；图32是根据本发明的硬盘记录器的基本配置的示例的框图33是根据本发明的相机的基本配置的示例的框具体实施例方式<1.发明的假定〉首先参考图3到图5描述根据本发明的图像编码设备和图像解码设备。图3图示根据本发明的图像编码设备的配置。图像编码设备51包括A/D转换单元61、重排序屏幕缓冲器62、计算单元63、正交变换单元64、量化器单元65、无损编码单元 66、累积缓冲器67、逆量化器单元68、逆正交变换单元69、计算单元70、去区块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、已预测图像选择单元76和速率控制单元77。图像编码设备51例如使用H. 264/AVC标准压缩编码图像。A/D转换单元61A/D转换输入图像并将已转换图像输出到存储已转换图像的重排序屏幕缓冲器62中。此后，重排序屏幕缓冲器62根据GOP(画面组)重排序以存储的次序布置的帧的图像，以便以要编码帧的次序布置图像。计算单元63从重排序屏幕缓冲器62读取的图像中减去由预测图像选择单元 76选择的以下两个预测图像之一帧内预测的图像和通过帧间预测产生的预测图像(以下称为“帧间预测的图像”)。此后，计算单元63将产生的差值输出到正交变换单元64。 正交变换单元64关于从计算单元63接收到的差值执行正交变换，比如离散余弦变换或 Karhunen-Loeve变换，并输出变换系数。量化器单元65量化从正交变换单元64输出的变换系数。从量化器单元65输出的量化的变换系数被输入到无损编码单元66。此后，关于量化的变换系数执行无损编码处理，比如可变长度编码(例如，CAVLC(上下文自适应可变长度编码))或算术编码(例如，CABAC(上下文自适应二进制算术编码)。因此，压缩变换系数。在累积缓冲器67中积累产生的压缩图像，并随后输出。另外，从量化器单元65输出的量化的变换系数还输入到逆量化器单元68并进行逆量化。此后，变换系数进一步在逆正交变换单元69中经历逆正交变换。由计算单元70 将逆正交变换的结果加到从预测图像选择单元76提供的帧间预测的图像或帧内预测的图像。以这种方式，产生本地解码的图像。去区块滤波器71去除本地解码的图像的块失真并将本地解码的图像提供到帧存储器72。因此，累积本地解码的图像。另外，由去区块滤波器 71执行去区块滤波器处理之前的图像还被提供给帧存储器72并累积。开关73将在帧存储器72中累积的图像输出到运动预测/补偿单元75或帧内预测单元74。在图像编码设备51中，例如，将从重排序屏幕缓冲器62接收到的I画面、B画面和P画面提供给帧内预测单元74作为要经历帧内预测的图像。另外，将从重排序屏幕缓冲器62读取的B画面和P画面提供给运动预测/补偿单元75作为要经历帧间预测的图像。帧内预测单元74使用要经历帧内预测并从重排序屏幕缓冲器62读取的图像和经由开关73从帧存储器72提供的图像来在所有候选帧内预测模式中执行帧内预测处理。因此，帧内预测单元74产生帧内预测的图像。注意，在H. ^4/AVC编码标准中，作为用于亮度信号的帧内预测模式，定义基于 4X4像素块的预测模式、基于8X8像素块的预测模式和基于16X 16像素块的预测模式。也就是说，定义基于宏块的预测模式。另外，与用于亮度信号的帧内预测模式独立地定义用于色差信号的帧内预测模式。基于宏块定义用于色差信号的帧内预测模式。另外，帧内预测单元74对于所有候选帧内预测模式中的每一个计算成本函数值。使用如在作为H. 264/AVC参考软件的JM(联合模型)中定义的高复杂度模式和低复杂度模式的技术之一计算成本函数值。更具体地说，当采用高复杂度模式作为计算成本函数值的技术时，对于所有候选预测模式临时执行直到编码处理的处理。因此，对于每一帧内预测模式计算由以下等式(1) 定义的成本函数值。Cost (Mode) = D+λ · R . . . (1)D表示在初始图像和解码图像之间的差异(失真)，R表示包括直到正交变换系数的产生的代码量，且λ表示以量化参数QP的函数的形式的拉格朗日乘子。相反，当采用低复杂度模式作为用于计算成本函数值的技术时，执行帧内预测的图像的产生和报头位(例如，指示帧内预测模式的信息)的计算。因此，对于每一帧内预测模式计算以下面等式( 表示的成本函数。Cost (Mode) = D+QPtoQuant (QP) · Header_Bit …(2)D表示在初始图像和解码图像之间的差异(失真)，Header_Bit表示用于预测模式的报头位，且QPtoQuant表示以量化参数QP的函数的形式提供的函数。在低复杂度模式中，可以仅对于每一帧内预测模式产生帧内预测的图像。不必执行编码处理。因此，可以减小计算量。帧内预测单元74选择在以这样的方式计算的成本函数值之中提供最小值的帧内预测模式作为最优帧内预测模式。帧内预测单元74将以最优帧内预测模式产生的帧内预测的图像和其成本函数值提供到预测图像选择单元76。如果由预测图像选择单元76选择了以最优帧内预测模式产生的帧内预测的图像，则帧内预测单元74提供指示最优帧内预测模式的信息给无损编码单元66。无损编码单元66无损编码该信息并使用该信息作为报头信息的一部分。运动预测/补偿单元75对于每一候选的帧间预测模式执行运动预测/补偿处理。 更具体地说，运动预测/补偿单元75基于从重排序屏幕缓冲器62读取的待帧间预测的图像和经由开关73从帧存储器72提供的用作参考图像的图像，检测每一候选的帧间预测模式中的运动矢量。此后，运动预测/补偿单元75基于运动矢量关于参考图像执行运动补偿处理并产生运动补偿图像。注意，在MPEG2标准中，块大小固定(对于帧间运动预测/补偿处理的基于16X16 像素和在场间预测/补偿处理中每个场的基于16X8像素)，并执行运动预测/补偿处理。 但是，在H. ^4/AVC标准中，块大小可变，并执行运动预测/补偿处理。更具体地说，如图4所示，在H. 264/AVC标准中，包括16X 16像素的宏块被分为 16X16像素分区、16X8像素分区、8X16像素分区和8X8像素分区之一。每一分区可以具有独立的运动矢量信息。另外，如图4所示，8X8像素分区可以分离为8X8像素子分区、 8X4像素子分区、4X8像素子分区和4X4像素子分区之一。每一子分区可以具有独立的运动矢量信息。因此，帧间预测模式包括用于基于16X 16像素、基于16X8像素、基于8X 16像素、基于8X8像素、基于8X4像素、基于4X8像素和基于4X4像素之一检测运动矢量的八个类型的模式。另外，运动预测/补偿单元75使用与由帧内预测单元74采用的技术相同的技术对于所有候选的帧间预测模式中的每一个计算成本函数值。运动预测/补偿单元75选择在计算的成本函数值之中最小化成本函数值的预测模式作为最优帧间预测模式。此后，运动预测/补偿单元75将以最优帧间预测模式产生的运动补偿图像提供到预测图像选择单元76作为帧间预测的图像。另外，运动预测/补偿单元75将最优帧间预测模式的成本函数值提供到预测图像选择单元76。当选择了以最优帧间预测模式由预测图像选择单元76产生的帧间预测的图像时，运动预测/补偿单元75将关于最优帧间预测模式的信息和与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)输出到无损编码单元66。无损编码单元66关于从运动预测/补偿单元75接收到的信息执行无损编码处理，并将该信息插入到压缩图像的报头部分中。预测图像选择单元76基于从帧内预测单元74和运动预测/补偿单元75输出的成本函数值，从最优帧内预测模式和最优帧间预测模式选择最优预测模式。此后，预测图像选择单元76选择用作所选的最优预测模式中的预测图像的帧内预测的图像和帧间预测的图像之一，并将所选的预测图像提供到计算单元63和70。在那时，预测图像选择单元76提供指示已经选择了帧内预测的图像的信息到帧内预测单元74或提供指示已经选择了帧间预测的图像的信息到运动预测/补偿单元75。速率控制单元77基于作为包括报头部分的压缩信息在累积缓冲器67中累积的压缩图像，控制由量化器单元65执行的量化操作的速率，以便不发生累积缓冲器67的上溢和下溢。由具有上述配置的图像编码设备51编码的压缩信息被经由预定传输路径发送并由图像解码设备解码。图5图示这种图像解码设备的配置。图像解码设备101包括累积缓冲器111、无损解码单元112、逆量化器单元113、逆正交变换单元114、计算单元115、去区块滤波器116、重排序屏幕缓冲器117、D/A转换单元 118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122和开关123。累积缓冲器111累积发送的压缩图像。无损解码单元112使用与由无损编码单元 66采用的无损编码方法对应的方法，无损解码(变长度解码或算术解码)由图3所示的无损编码单元66编码并从累积缓冲器111提供的压缩信息。此后，无损解码单元112从通过无损解码获得的信息提取图像、指示最优帧间预测模式或最优帧内预测模式的信息、运动矢量信息和参考帧信息。逆量化器单元113使用与由图3所示的量化器单元65采用的量化方法对应的方法逆量化由无损解码单元112解码的图像。此后，逆量化器单元113将产生的变换系数提供到逆正交变换单元114。逆正交变换单元114使用与由图3所示的正交变换单元64采用的正交变换方法对应的方法，关于从逆量化器单元113接收到的变换系数执行第四级 (fourth-order)逆正交变换。逆正交变换输出被加到从开关123提供的帧内预测的图像或帧间预测的图像，并由计算单元115解码。去区块滤波器116去除解码图像的块失真并将产生的图像提供到帧存储器119。因此，累积图像。同时，将图像输出到重排序屏幕缓冲器117。
重排序屏幕缓冲器117重排序图像。也就是说，为了编码已经由图3所示的重排序屏幕缓冲器62改变的帧的次序改变回初始的显示次序。D/A转换单元118将从重排序屏幕缓冲器117提供的图像D/A转换，并将图像输出到显示图像的显示器(没有示出)。开关120从帧存储器119读取当编码图像时在帧内预测中用作参考图像的图像。 开关120输出图像到运动预测/补偿单元122。另外，开关120从帧存储器119读取用于帧内预测的图像，并提供读出的图像到帧内预测单元121。帧内预测单元121从无损解码单元112接收指示通过解码报头信息获得的最优帧内预测模式的信息。当提供指示最优帧内预测模式的信息时，帧内预测单元121使用从帧存储器119接收到的图像以在由信息指示的帧内预测模式下执行帧内预测处理。因此，帧内预测单元121产生预测图像。帧内预测单元121输出所产生的预测图像到开关123。运动预测/补偿单元122从无损解码单元112接收通过无损解码报头信息(例如， 指示最优帧间预测模式的信息、运动矢量信息和参考图像信息)获得的信息。在接收指示最优帧间预测模式的信息时，运动预测/补偿单元122用与指示最优帧间预测模式的信息一起提供的运动矢量信息和参考帧信息，以由该信息指示的最优帧间预测模式关于从帧存储器119接收到的参考图像执行运动补偿处理。因此，运动预测/补偿单元122产生运动补偿图像。此后，运动预测/补偿单元122输出运动补偿图像到开关123作为帧间预测的图像。开关123将从运动预测/补偿单元122提供的帧间预测的图像或从帧内预测单元 121提供的帧内预测的图像提供到计算单元115。<2.第一实施例〉[图像编码设备的配置的示例]接下来，图6图示根据本发明第一实施例的图像编码设备的配置的示例。在参照图6中的配置时将使用与在以上描述图3的配置时使用的编号相同的编号。不重复相同的描述。图6所示的图像编码设备151的配置与图3所示的配置的主要不同在于，图像编码设备151包括运动预测/补偿单元161、预测图像选择单元163和无损编码单元164代替运动预测/补偿单元75、预测图像选择单元76和无损编码单元66，并进一步包括模糊预测 /补偿单元162。更具体地说，类似于图3所示的运动预测/补偿单元75，图6所示的图像编码设备 151的运动预测/补偿单元161以所有候选的帧间预测模式执行运动预测/补偿处理。另外，类似于运动预测/补偿单元75，运动预测/补偿单元161对于所有候选的帧间预测模式计算成本函数值。此外，类似于运动预测/补偿单元75，运动预测/补偿单元161选择在计算的成本函数值之中提供最小值的帧间预测模式作为最优帧间预测模式。运动预测/补偿单元161将以最优帧间预测模式产生的运动补偿图像提供到模糊预测/补偿单元162。另外，类似于运动预测/补偿单元75，如果由预测图像选择单元163 选择了以最优帧间预测模式产生的帧间预测的图像，则运动预测/补偿单元161将指示最优帧间预测模式的信息和与最优帧间预测模式相关联的信息(例如，运动矢量信息和参考帧信息)输出到无损编码单元164。模糊预测/补偿单元162基于从运动预测/补偿单元161提供的运动补偿图像和用于运动补偿之后的运动预测/补偿处理并要帧间预测并从重排序屏幕缓冲器62输出的图像来检测模糊的变化。此后，模糊预测/补偿单元162执行模糊补偿处理以便基于指示检测到的模糊变化的模糊信息，来在运动补偿图像中产生或除去模糊。因此，模糊预测/补偿单元162产生运动补偿和模糊补偿图像。另外，模糊预测/补偿单元162使用与由运动预测/补偿单元161采用的技术相同的技术计算运动补偿和模糊补偿图像的成本函数值。此后，模糊预测/补偿单元162将产生的运动补偿和模糊补偿图像提供到预测图像选择单元163作为帧间预测的图像。另外， 模糊预测/补偿单元162将成本函数值提供到预测图像选择单元163。此外，如果由预测图像选择单元163选择了以最优帧间预测模式产生的帧间预测的图像，则模糊预测/补偿单元162将模糊信息输出到无损编码单元164。注意，在下面更详细地描述模糊预测/补偿单元162。预测图像选择单元163使用从帧内预测单元74或模糊预测/补偿单元162输出的成本函数值，从最优帧内预测模式和最优帧间预测模式确定最优预测模式。此后，预测图像选择单元163选择帧内预测的图像或帧间预测的图像作为所确定的最优预测模式的预测图像。随后，预测图像选择单元163将所选的预测图像提供到计算单元63和70。在那时，预测图像选择单元163将指示选择帧内预测的图像的选择信息提供到帧内预测单元74或将指示选择帧间预测的图像的选择信息提供到运动预测/补偿单元161 和模糊预测/补偿单元162。类似于无损编码单元66，无损编码单元164关于从量化器单元65提供的量化的变换系数执行无损编码，并压缩变换系数。因此，无损编码单元164产生压缩图像。另外，无损编码单元164关于从帧内预测单元74、运动预测/补偿单元161或模糊预测/补偿单元 162接收到的信息执行无损编码，并将信息插入到压缩图像的报头部分中。此后，包括由无损编码单元164产生的报头部分的压缩图像在累积缓冲器67中作为压缩信息累积并随后输出。如上所述，图像编码设备151在帧间预测中不仅执行运动补偿而且执行模糊补偿。因此，即使当在要帧间预测的图像和参考图像之间模糊出现或消失时，也可以更精确地执行帧间预测。结果，可以提供帧间预测的图像的质量(例如，已帧间预测的图像关于要帧间预测的图像的PSNIO。[模糊预测/补偿单元162的详细配置示例]图7图示图6所示的模糊预测/补偿单元162的详细配置示例。如图7所示，模糊预测/补偿单元162包括模糊补偿单元171和模糊预测单元172。模糊补偿单元171基于从模糊预测单元172提供的模糊信息，关于从运动预测/ 补偿单元161提供的运动补偿图像执行模糊补偿处理。另外，模糊补偿单元171使用类似于由运动预测/补偿单元161采用的技术的技术，计算通过模糊补偿处理获得的运动补偿和模糊补偿图像的成本函数值。此后，模糊补偿单元171提供运动补偿和模糊补偿图像到预测图像选择单元163作为帧间预测的图像。另外，模糊补偿单元171将成本函数值提供到预测图像选择单元163。模糊预测单元172基于从运动预测/补偿单元161提供的运动补偿图像和从重排序屏幕缓冲器62提供的要帧间预测的图像来预测模糊的变化，并产生指示模糊变化的模糊信息。此后，模糊预测单元172将所产生的模糊信息提供到模糊补偿单元171。另外， 在接收指示从预测图像选择单元163选择了帧间预测的图像的选择信息时，模糊预测单元 172将模糊信息提供到无损编码单元164。[模糊信息的描述]接下来参考图8到图11描述模糊信息。首先参考图8描述当在图像捕捉时间期间出现焦点未对准状态(以下称为“对焦模糊，，或“散焦”)时的机构，通过所述机构出现模糊。如图8所示，当在点A产生光点形状的光束时，光束临时扩散，且此后由图像捕捉单元的镜头181对焦。因此，在成像平面182中的点B形成图像。以这种方式，光束再次具有光点形状的形式。但是，光束在与成像平面182隔开的平面183中的点C具有扩散区域。 也就是说，具有点A的光束在平面183中的点C具有宽度，因此，其位置变得不清楚。也就是说，在平面183中出现模糊。当光束处于焦点对准时，从点A输出的光束由单个光传感器接收，因为包括多个光传感器的图像捕捉单元的成像器件位于成像平面182中。因此，可以获得其中产生与点 A对应的光束的位置清楚的图像。相反，如果出现焦点未对准状态，则从点A输出的光束是多个光传感器，因为成像器件位于与成像平面182隔开的平面(例如，平面183)中。因此， 从点A输出的光束由多个光传感器接收，且获得其中与点A对应的位置不清楚的图像，也就是，具有模糊的图像。接下来参考图9描述通过这样的机构由于在图像捕捉时间被摄体或图像捕捉单元的运动而通过所述机构出现模糊(以下称为“运动模糊”)。如图9所示，当在点Al产生光点形状的光束时，光束在成像平面182中的点Bl变为光点形状的光束，如图8所示。此后，如果由于被摄体或图像捕捉单元的移动，光点形状的光束从点Al相对移动到点A2，则成像平面182中的光束从点Bl移动到点B2。因此，当光束处于焦点对准且包括多个光传感器的图像捕捉单元的成像器件位于成像平面182上时，且如果由于被摄体或图像捕捉单元的运动，光点形状的光束从点Al相对移动到点A2，则光束由多个光检测器接收。结果，可以获得其中产生光束的位置不清楚的图像，也就是，具有模糊的图像。以上述方式出现的对焦模糊或运动模糊可以被定义为当输入光点形状的光束，也就是，脉冲响应时获得的输出。在图8中，例如，输入是在点A产生的光点形状的光束。脉冲响应是输出到成像器件(例如，点B和C)上的光束。另外，在图9中，例如，输入是在点 Al产生的光点形状的光束。脉冲响应是输出到成像器件(例如，从点Bl到点B2的范围) 上的光束。因此，例如，如由图10所示的“A”指示的那样，指示用作脉冲响应的输出到成像器件190上的光束191的半径L的信息用作关于对焦模糊的模糊信息。注意，在图10的“A” 中以点阵在成像设备190上布置的正方形表示每个与像素对应的光传感器。这也适用于如下所述的图11的“A”。另外，在图10的“A”中图示的情况下，出现对焦模糊。因此，光束191具有有2L 直径的圆形扩散的形状。但是，如果不出现对焦模糊，则光束191具有光点形状。如上所述，如果指示半径L的信息用作关于对焦模糊的模糊信息，则模糊预测单
14元172将具有与预定半径L的可能的值对应的滤波器系数的HR滤波器应用于从运动预测 /补偿单元161提供的运动补偿图像。例如，作为与图10的“A”中的半径L对应的HR滤波器，模糊预测单元172将具有与图10的“B”中的值对应的滤波器系数的HR滤波器应用于运动补偿图像。注意，在图 10的“B”中所示的以点阵布置的每一正方形对应于一像素。在正方形中写入的数字对应于滤波器系数。更具体地说，在正方形中写入的数字表示与像素对应的光传感器的光接收面积相对与像素对应的光传感器的光可接收面积的比率。由于图像的DC分量的放大度被设置为1，因此设置滤波器系数以使得比率之和是1。也就是说，在图10的“B”中，因为比率之和是6. 4( = 0. 4X4+0. 95X4+1. 0)，所以与具有比率0. 4,0. 95和1. 0的像素对应的滤波器系数分别被设置为0. 4/6. 4,0. 95/6. 4和1. 0/6. 4。模糊预测单元172对于将滤波器应用于从重排序屏幕缓冲器62提供的运动补偿图像和要帧间预测的图像之后获得的HR滤波器，计算每一图像之间的差异。此后，模糊预测单元172选择指示与具有最小化的差异的HR滤波器对应的半径L的信息作为模糊信肩、ο另外，例如，如图11的“A”所示，以下信息被选为运动模糊信息指示距离作为脉冲响应的输出到成像器件190上的光束192的中心在水平方向上的长度Lx和在垂直方向上的长度Ly的信息。注意，在图11的“A”所示的示例中，出现运动模糊。因此，光束192在水平方向上的长度是2Lx且在垂直方向上的长度是2Ly，且光束192的大小以对角线形状增加。但是， 如果不出现运动模糊，则光束192具有光点形状。如上所述，当用于运动模糊的模糊信息是指示长度Lx和Ly的信息时，在模糊预测单元172中应用的滤波器是具有与长度Lx的可能值和长度Ly的可能值的组合对应的滤波器系数的HR滤波器。例如，与图11的“A”所示的长度Lx和Ly对应的HR滤波器具有与图11的“B”所示的值对应的滤波器系数。注意，在图11的“B”中，以点阵布置的每一正方形对应于一像素。在正方形中写入的数字指示与滤波器系数对应的值。更具体地说，在图11的“B”中， 在与像素对应的每个正方形中写入的数字指示像素中的光束192的长度。在图11的“B” 所示的示例中，像素的侧边是1。因此，像素的对角线的长度是_^ 1.4)。因此，在与像素对应的正方形中写入的数字是1. 4或0. 7。类似于对焦模糊，在运动模糊的情况下，图像的DC分量的放大度被设置为1。因此，在具有和为1的正方形中的数字用作滤波器系数。也就是说，在图11的“B”中，数字之和是5. 6 ( = 0. 7 X 2+1. 4X3)。因此，与具有数字0. 7和1. 4的正方形对应的滤波器系数分别被设置为0. 7/5. 6和1.4/5.6。应当注意，用于设置滤波器系数的技术不限于图10和图11中图示的那些。可以采用根据模糊信息唯一地设置滤波器系数的任意技术。另外，如果图像编码设备151和与图像编码设备151对应的图像解码设备预存储相同组的滤波器系数，则图像编码设备151可以发送该组滤波器系数的标识符到图像解码设备代替模糊信息。标识符的数据量小于模糊信息的数据量。因此，如果图像编码设备151 发送滤波器系数代替模糊信息，则可以最小化代码量的增加。
15
注意，虽然已经与关于运动模糊的模糊信息分开地描述了关于对焦模糊的模糊信息，但是对于两个类型的模糊信息都可以采用点扩散函数(如下参考图12和图13描述)。 在下文中，术语“点扩散函数”也被称为“PSF”。如图12所示，当点光源193通过图像捕捉194时，出现由相机的摇晃或被摄体的运动引起的对焦模糊195A或运动模糊195B。如图13所示，如果使用对焦模糊的PSF 198关于非模糊图像196执行与HR滤波器对应的卷积运算197，则可以获得具有对焦模糊的图像199。也就是说，如图8和图9所示，图12所示的对焦模糊195A和运动模糊195B以通过相机观察点光源193获得并与图像捕捉194的系统的脉冲响应对应的图像的形式。相反， 图13所示的PSF 198用作用于表示对焦模糊或运动模糊的模型。也就是说，通过使用PSF 198计算HR滤波器的滤波器系数并关于非模糊图像196执行与具有所计算出的滤波器系数的^R滤波器对应的卷积运算197，可以获得具有对焦模糊的图像199。注意，虽然已经参考对焦模糊描述了图13所示的示例，但是可以以类似的方式获得具有运动模糊的图像。接下来描述PSF。PSF表示通过观察点光源通过某些系统怎样改变而获得的图像。 如果系统造成模糊，则PSF用作具有以下三个特性的函数。也就是说，首先，如由等式(3) 指示的，当PSF积分时PSF是1。其次，由镜头(对焦模糊)引起的模糊可以近似为二维正态分布。第三，在运动模糊的情况下，PSF用作与运动的轨迹对应的函数。[数学式1]
权利要求
1.一种图像处理设备，包括解码装置，用于解码已编码图像；补偿装置，用于基于指示图像之间的模糊变化的模糊信息，关于由所述解码装置解码的图像执行运动补偿和模糊补偿，所述模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算装置，用于通过将由所述解码装置解码的图像与经历了由所述补偿装置执行的运动补偿和模糊补偿的已补偿图像求和来产生已解码图像。
2.如权利要求1所述的图像处理设备，其中，所述模糊信息由点扩散函数PSF表示。
3.如权利要求1所述的图像处理设备，其中，所述模糊信息使用二维正态分布表达式表不。
4.如权利要求3所述的图像处理设备，其中，从不同图像处理设备发送的所述模糊信息指示二维正态分布表达式的扩散宽度W。
5.如权利要求1所述的图像处理设备，其中，所述模糊信息由作为脉冲响应输出的半径L表示。
6.如权利要求10所述的图像处理设备，其中，所述模糊信息由作为脉冲响应的、距离中心在水平方向上的长度Lx和在垂直方向上的长度Ly表示。
7.如权利要求1所述的图像处理设备，其中，所述补偿装置关于由所述解码装置解码的图像执行运动补偿，并使用所述模糊信息关于产生的图像执行模糊补偿。
8.如权利要求1所述的图像处理设备，其中，所述补偿装置使用所述模糊信息关于由所述解码装置解码的图像执行模糊补偿，并关于产生的图像执行运动补偿。
9.一种用于图像处理设备的图像处理方法，包括解码步骤，解码已编码图像；补偿步骤，基于指示图像之间的模糊变化的模糊信息，关于在所述解码步骤中解码的图像执行运动补偿和模糊补偿，所述模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算步骤，通过将在所述解码步骤中解码的图像和经历了在所述补偿步骤中执行的运动补偿和模糊补偿的已补偿图像求和来产生已解码图像。
10.一种程序包括用于使得计算机用作图像处理设备的程序代码，所述图像处理设备包括解码装置，用于解码已编码图像；补偿装置，用于基于指示图像之间的模糊变化的模糊信息，关于由所述解码装置解码的图像执行运动补偿和模糊补偿，其中所述模糊信息对应于已编码图像并从已经编码图像的不同图像处理设备发送；和计算装置，用于通过将由所述解码装置解码的图像与经历了由所述补偿装置执行的运动补偿和模糊补偿的已补偿图像求和来产生已解码图像。
11.一种图像处理设备，包括补偿装置，用于使用待编码的图像和参考图像，预测待编码的图像和参考图像之间的运动和模糊变化，并基于表示运动的运动矢量和指示模糊的变化的模糊信息，关于参考图像执行运动补偿和模糊补偿；编码装置，用于使用在经历了运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异来产生已编码图像；和发送装置，用于发送已编码图像和模糊信息。
12.如权利要求11所述的图像处理设备，其中，所述模糊信息由点扩散函数PSF表示。
13.如权利要求11所述的图像处理设备，其中，所述模糊信息使用二维正态分布表达式表不。
14.如权利要求13所述的图像处理设备，其中，所述发送装置发送所述二维正态分布表达式的扩散宽度W作为所述模糊信息。
15.如权利要求11所述的图像处理设备，其中，所述模糊信息由作为脉冲响应输出的半径L表示。
16.如权利要求11所述的图像处理设备，其中，所述模糊信息由作为脉冲响应的、距离中心在水平方向上的长度Lx和在垂直方向上的长度Ly表示。
17.如权利要求11所述的图像编码设备，其中，所述补偿装置使用待编码的图像和参考图像预测运动并基于表示运动的运动矢量执行运动补偿，且其中所述补偿装置使用通过运动补偿获得的图像和待编码的图像来预测模糊的变化并基于指示模糊的变化的模糊信息执行模糊补偿。
18.如权利要求11所述的图像编码设备，其中，所述补偿装置使用待编码的图像和参考图像预测模糊的变化并基于指示模糊的变化的模糊信息执行模糊补偿，且其中所述补偿装置使用通过模糊补偿获得的图像和待编码的图像预测运动并基于表示运动的运动矢量执行运动补偿。
19.一种用于图像处理设备的图像处理方法，包括补偿步骤，使用待编码的图像和参考图像，预测待编码的图像和参考图像之间的运动和模糊变化，并基于表示运动的运动矢量和指示模糊的变化的模糊信息执行运动补偿和模糊补偿；编码步骤，使用在经历了运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异来产生已编码图像；和发送步骤，发送已编码图像和模糊信息。
20.一种程序包括用于使得计算机用作图像处理设备的程序代码，所述图像处理设备包括补偿装置，用于使用待编码的图像和参考图像预测待编码的图像和参考图像之间的运动和模糊的变化， 并基于表示运动的运动矢量和指示模糊的变化的模糊信息执行运动补偿和模糊补偿；编码装置，用于使用经历了运动补偿和模糊补偿的已补偿图像和待编码的图像之间的差异产生已编码图像；和发送装置，用于发送已编码图像和模糊信息。
全文摘要
一种图像处理设备、图像处理方法和程序，其中可以提高帧间预测图像的质量。算术单元(115)将由逆正交变换单元(114)逆正交变换并提供的变换系数与由开关214提供的帧间预测图像相加以进行解码。运动预测/补偿单元(212)基于与压缩图像对应的由图像编码设备发送的并表示图像之间的模糊变化的模糊信息，运动补偿解码图像。模糊预测/补偿单元(213)对于运动补偿的图像进行模糊补偿，并提供产生的运动补偿和模糊补偿的图像到开关(214)作为帧间预测图像。本发明可应用于例如通过使用H.264/AVC系统执行解码的图像解码设备。
文档编号H04N7/32GK102301718SQ20098015553
公开日2011年12月28日 申请日期2009年12月3日 优先权日2008年12月3日
发明者近藤健治 申请人:索尼公司