专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序，尤其涉及用于执行提高图像分辨率的超分辨率处理的图像处理设备、图像处理方法和程序。
背景技术：
已知超分辨率(SR)为一种用于根据低分辨率的图像生成高分辨率的图像的技术。超分辨率(SR)根据低分辨率的图像产生高分辨率的图像。作为超分辨率处理的技术，例如存在一种重建型超分辨率技术，其基于所拍摄的低分辨率的图像来得到指示拍摄条件的参数，诸如“由于透镜和大气散射导致的模糊”、“对象和照相机总体上的运动”和“通过图像拾取元件进行的采样”，并使用这些参数估计理想的高分辨率图像。例如，日本专利特开2008-140012号公开了与超分辨率处理技术相关的相关领域的技术。重建型超分辨率技术流程的概要如下。(1)通过数学公式来表示考虑了模糊、运动、采样等的图像拍摄模型。( 从通过以上数学公式模型表示的图像拍摄模型获得成本计算等式。这时，可以使用贝叶斯定理来加入先验概率等正则化项。(3)获得使成本最小化的图像。重建型超分辨率计算通过这些过程来获得超分辨率图像。由于通过重建型超分辨率技术获得的高分辨率图像依赖于输入图像，所以获得高度的超分辨率效果(分辨率恢复效果)。图1示出了用于进行超分辨率处理的电路配置的示例。图1示出了超分辨率处理设备10的电路配置的示例。在图像处理设备10中，作为用于提高分辨率的处理的对象的低分辨率图像gn31 被输入到上采样部分11。上采样部分11进行像素数量的转换(图像放大处理)。具体来说，上采样部分11进行将输入图像的像素数量调整为要输出的图像(经SR处理的图像 fn32)的像素数量的图像放大处理，例如，将一个像素划分成多个像素并对该多个像素进行设置的处理。运动估计/运动补偿图像生成部分12检测在先前帧的处理中生成的高分辨率图像fy与经上采样的低分辨率图像之间的运动的幅度。具体来说，运动估计/运动补偿图像生成部分12计算运动向量。此外，使用所检测的运动向量，运动估计/运动补偿图像生成部分12对高分辨率图像fn_i执行运动补偿处理(MC)。由此生成运动补偿图像，该运动补偿图像是通过对高分辨率图像fn-i进行运动补偿处理而得到的，并且其中对象的位置被设置成与上采样的低分辨率图像&中相同。然而，当图像中存在运动对象等时，经运动补偿的图像中可能产生对象的位置从上采样的低分辨率图像&转移的图像区域，即运动补偿失败区域。
运动确定部分13将通过运动补偿(MC)处理生成的经运动补偿的高分辨率图像与上采样的低分辨率图像相互比较，并检测不能很好地应用运动补偿的区域，即上述运动补偿失败区域。运动补偿失败区域例如发生在如上所述的对象本身移动的图像部分。运动确定部分13生成运动区域信息(α图(α-map) W 1])，该信息将高分辨率图像fy的运动补偿图像中对象的位置被设置成与上采样的低分辨率图像&中相同的区域区分为运动补偿成功区域，而将高分辨率图像f^的运动补偿图像中对象的位置未被设置成与上采样的低分辨率图像&中相同的区域区分为运动补偿失败区域。然后，运动确定部分 13输出运动区域信息(α图w:l])。该运动区域信息(α图是根据成功区域和失败区域的可靠性来设置1到0范围中的值的图。运动区域信息(α图例如还可以被简单地设置为这样的图，其中1被设置成运动补偿成功区域，0被设置成运动补偿失败区域。混合处理部分14被提供有由对高分辨率图像fn_i进行运动补偿处理而得到的运动补偿结果图像，由运动估计/运动补偿图像生成部分12生成该运动补偿结果图像；通过在上采样部分11中对低分辨率图像(gn)31进行上采样而获得的上采样图像；以及运动区域信息(α图
)。使用这些输入信息，混合处理部分14基于以下等式输出混合图像作为混合结果。混合图像=(l-α)(上采样图像)+ α (运动补偿结果图像)该混合处理生成混合图像，在该混合图像中，运动补偿结果图像的混合比对于运动补偿成功区域来说上升，而运动补偿结果图像的混合比对于运动补偿失败区域来说降低。向模糊添加部分15提供由混合处理部分14生成的混合图像，并且模糊添加部分 15执行对空间分辨率劣化的模拟。例如，模糊添加部分15使用作为滤波器预先测量的点扩散函数对图像执行卷积。下采样部分16执行将高分辨率图像下采样为与输入图像相同分辨率的处理。此后，差单元17计算下采样部分16的输出图像与低分辨率图像&之间每个像素的差值。在上采样部分18中对该差值进行上采样处理。此外，逆模糊添加部分19执行与模糊添加处理相逆的处理。作为操作执行这样的处理，该处理对应于与模糊添加部分15中使用的PSF (点扩散函数)的相关的计算。将逆模糊添加部分19的输出乘以在乘法器20中预先设置的反馈系数Y，之后输出到加法器21以与混合处理部分14输出的混合图像相加，然后被输出。加法器21的输出是通过将输入图像&转换成高分辨率而获得的图像(SR处理图像 32)。图1中所示的由超分辨率处理设备10进行的处理可以由以下等式表示。 /f = iWJ^ J + 7mHTD7Xgn — DH(W11Z^Y)(等式 1)顺便提及，以上等式(等式1)中的每个参数是以下参数。η 巾贞数(第(η-1)帧和第η帧例如是活动图像的相邻帧)。gn 输入图像(第η帧的低分辨率图像)
fnSE 第η帧的超分辨率处理结果图像(=高分辨率图像)第(η-1)帧的超分辨率处理结果图像(=高分辨率图像)Wn 第η帧相对于第(η-1)帧的运动信息(运动向量、矩阵等)H 模糊添加处理(模糊滤波器矩阵)D 下采样处理(下采样处理矩阵)，由混合处理部分输出的混合图像Ysk 反馈系数Ht :H的转置矩阵Dt =D的转置矩阵构建用于实现图1中所示的超分辨率处理电路10的硬件的情况中的问题包括电路尺度的增大和处理效率的降低。例如，滤波处理被应用于图1中所示的上采样部分、下采样部分、模糊添加部分和逆模糊添加部分的处理，并且需要用于存储像素值的RAM来执行这些许多滤波处理。当滤波抽头的数量增加时，需要的存储容量也增加，并且需要高性能的 CPU来进行高速存储器存取。因此担心硬件尺寸的增大以及成本的增加。
发明内容
例如考虑到上述问题而做出本发明。希望提供一种图像处理设备、图像处理方法和程序，用于实现超分辨率处理，通过该超分辨率处理实现电路尺度的减小以及处理效率的提高。根据本发明的第一实施例，提供一种图像处理设备，包括上采样部分，其被配置为执行将第一分辨率的输入图像调整为高于第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成部分，其被配置为通过校正处理来生成运动补偿图像，校正处理使用通过上采样处理获得的上采样图像和具有第二分辨率的参考图像之间的差信息将参考图像调整到上采样图像的对象位置；混合处理部分，其被配置为按照图像区域单元将上采样图像和运动补偿图像相互比较，在区域单元像素值一致程度更高的区域中将参考图像的混合比设置得更高，并通过将上采样图像和参考图像相互混合来生成混合图像； 以及输出图像生成部分，其被配置为生成混合图像和输入图像之间的差信息，并通过合成混合图像和差信息来生成具有第二分辨率的高分辨率图像；其中输出图像生成部分具有一个构造，在该构造中，生成差信息所需要的滤波处理被执行两次或更少次。此外，在根据本发明的图像处理设备的一个实施例中，输出图像生成部分包括模糊添加部分，其被配置为对混合图像执行模糊添加处理；二次采样部分，其配置为执行将模糊添加部分的输出图像减少到第一分辨率的组成像素的数量的像素离散减少处理；差单元，其被配置为输出输入图像和二次采样部分的输出图像的相应像素值之间的差信息；补零处理部分，其被配置为执行零像素值补充处理，以将差单元输出的差图像调整到第二分辨率的像素数量；逆模糊添加部分，其被配置为对补零处理部分的处理结果执行逆模糊添加处理，逆模糊添加处理与模糊添加处理相逆；乘法器，其被配置为将逆模糊添加部分的输出图像乘以预先设置的反馈系数；以及加法器，其被配置为将混合图像和乘法器的输出之间的相应像素值加到一起。此外，在根据本发明的图像处理设备的一个实施例中，输出图像生成部分包括下采样部分，其被配置为执行将混合图像减少到第一分辨率的组成像素的数量的下采样处理；差单元，其被配置为输出输入图像和下采样部分的输出图像的相应像素值之间的差信息；上采样部分，其被配置为执行上采样处理，以将差单元输出的差图像调整为第二分辨率的像素数量；乘法器，其被配置为将上采样部分的输出图像乘以预先设置的反馈系数；以及加法器，其被配置为将混合图像和乘法器的输出之间的相应像素值加到一起。此外，在根据本发明的图像处理设备的一个实施例中，输出图像生成部分包括集成滤波器，其被配置为执行将混合图像减少到第一分辨率的组成像素的数量的下采样处理，以及执行将混合图像调整为第二分辨率的像素数量的上采样处理；第一乘法器，其被配置为将集成滤波器的输出乘以预先设置的反馈系数；差单元，其被配置为计算混合图像和第一乘法器的输出的相应像素值之间的差；第二乘法器，其被配置为将配置成对输入图像进行上采样处理的上采样部分的输出乘以预先设置的反馈系数；以及加法器，其被配置为将差单元的输出和第二乘法器的输出加到一起。此外，在根据本发明的图像处理设备的一个实施例中，集成滤波器由多相滤波器形成，多相滤波器被配置为针对每个相位卷积不同的值。此外，根据本发明的第二实施例，提供一种图像处理方法，用于在图像处理设备中执行分辨率转换处理，该图像处理方法包括上采样部分的上采样处理步骤，上采样部分执行将第一分辨率的输入图像调整为高于第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成部分的运动补偿图像生成步骤，运动补偿图像生成部分通过校正处理来生成运动补偿图像，校正处理使用通过上采样处理获得的上采样图像和具有第二分辨率的参考图像之间的差信息将参考图像调整到上采样图像的对象位置；混合处理部分的混合处理步骤，混合处理部分按照图像区域单元比较上采样图像和运动补偿图像，在区域单元像素值一致程度更高的区域中将参考图像的混合比设置得更高，并通过将上采样图像与参考图像相互混合来生成混合图像；以及输出图像生成部分的输出图像生成步骤， 输出图像生成部分生成混合图像和输入图像之间的差信息，并通过合成混合图像和差信息来生成具有第二分辨率的高分辨率图像；其中输出图像生成步骤通过这样的处理来生成高分辨率图像，在该处理中，产生差信息所需要的滤波处理被执行两次或更少次。此外，根据本发明的第三实施例，提供一种程序，用于进行在图像处理设备中执行的分辨率转换处理，该程序包括上采样处理步骤，使得上采样部分执行将第一分辨率的输入图像调整为高于第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成步骤，使得运动补偿图像生成部分通过校正处理来生成运动补偿图像，校正处理使用通过上采样处理获得的上采样图像和具有第二分辨率的参考图像之间的差信息将参考图像调整到上采样图像的对象位置；混合处理步骤，使得混合处理部分按照图像区域单元将上采样图像和运动补偿图像相互比较，在区域单元像素值的一致程度更高的区域中将参考图像的混合比设置得更高，并通过将上采样图像和参考图像相互混合来生成混合图像； 以及输出图像生成步骤，使得输出图像生成部分生成混合图像和输入图像之间的差信息， 并通过合成混合图像和差信息来生成具有第二分辨率的高分辨率图像；其中输出图像生成步骤形成通过这样的处理来生成的高分辨率图像，在该处理中，产生差信息所需要的滤波处理被执行两次或更少次。顺便提及，根据本发明的实施例的程序例如是能够通过以计算机可读形式提供的
8存储介质或通信介质提供给能够执行各种程序代码的信息处理设备或计算机系统的程序。 通过以计算机可读形式提供这种程序，在信息处理设备或计算机系统上实现与该程序对应的处理。根据基于稍后将描述的本发明的实施例以及附图所进行的更加详细的描述，本发明的以上和其它目的、特征和优点将变得明显。顺便提及，本说明书中的系统是多个设备的逻辑设置的配置，并且不限于同一外壳中的各配置的设备。根据本发明的一个实施例的配置，提供一种设备和方法，用于实现滤波处理被简化的超分辨率处理。例如，通过以下处理来生成高分辨率图像。生成通过将低分辨率的输入图像调整为高分辨率图像所具有的像素数量而获得的上采样图像，并且生成通过将高分辨率的参考图像调整到上采样图像的对象位置而获得的运动补偿图像。此外，以图像区域单元将上采样图像和运动补偿图像相互比较，参考图像的混合比被设置成在区域单元像素值的一致程度更高的区域中更高，并且通过混合上采样图像和参考图像来生成混合图像。此外，产生混合图像和输入图像之间的差，并且通过合成混合图像和差信息来生成高分辨率图像。在本发明的一个实施例的配置中，生成差信息所需要的滤波处理被执行两次或更少次，使得实现设备的小型化以及处理效率的提高。
图1是帮助说明用于执行超分辨率处理的相关技术的电路配置的示例的图；图2是帮助说明根据本发明的第一实施例的执行超分辨率处理的图像处理设备的配置示例的图；图3是帮助说明根据本发明的第二实施例的执行超分辨率处理的图像处理设备的配置示例的图；图4是帮助说明根据本发明的第三实施例的执行超分辨率处理的图像处理设备的配置示例的图；以及图5是帮助说明根据本发明的实施例的图像处理设备的硬件配置的示例的图。
具体实施例方式下面将参考附图对根据本发明的实施例的图像处理设备、图像处理方法和程序的细节进行描述。顺便提及，将根据以下项目进行描述。1.用于通过其中集成有滤波处理部分的配置来执行超分辨率处理的图像处理设备1-1.第一实施例1-2.第二实施例1-3.第三实施例2.图像处理设备的硬件配置的示例[1.用于通过其中集成有滤波处理部分的配置来执行超分辨率处理的图像处理设将对用于通过其中集成有滤波处理部分的配置来执行超分辨率处理的图像处理设备进行描述。如先前参考图1所描述的，用于执行超分辨率处理的电路包括处理部分，诸如上采样部分、下采样部分、模糊添加部分以及逆模糊添加部分。滤波处理被应用于这些处理部分的处理。需要用于存储像素值的RAM来执行这些许多滤波处理，当滤波抽头的数量增加时，需要的存储容量也增加。此外，需要高性能的CPU等来进行高速存储器存取。因此担心硬件尺寸的增大以及成本的增加。下面描述的图像处理设备实现超分辨率处理中的滤波处理的简化。(1-1.第一实施例)将参考图2对根据本发明的第一实施例的图像处理设备100的配置的示例进行描述。如参考图1所描述的电路，图2中所示的图像处理设备100被提供以低分辨率图像仏131，执行超分辨率处理，并输出高分辨率图像fn( = SR处理图像132)。与参考图1描述的配置不同的是图2中所示的输出图像生成部分130的配置。具体来说，配置的变化如下。图1中的下采样部分16被改变为二次采样部分116，用于执行图2的配置中的简单像素离散减少处理。图1中的上采样部分18被改变成补零处理部分，用于随着图2的配置中的像素数量的增加而将零像素值添加到增加的像素部分。其它配置与图1中所示的那些相似。在图像处理设备100中，作为用于提高分辨率的处理的对象的低分辨率图像被输入到上采样部分111。上采样部分111进行像素数量的转换(图像放大处理)。具体来说，上采样部分111进行将输入图像的像素数量调整为要输出的图像的像素数量的图像放大处理，例如，将一个像素划分成多个像素并对该多个像素进行设置的处理。即，上采样部分111执行将第一分辨率(低分辨率)的输入图像调整为高于第一分辨率(低分辨率)的第二分辨率(高分辨率)的图像的像素数量的上采样处理。运动估计/运动补偿图像生成部分112检测在先前帧的处理中生成的用作参考图像的高分辨率图像fy与上采样的低分辨率图像&之间的运动幅度。具体来说，运动估计 /运动补偿图像生成部分112计算运动向量。此外，使用所检测的运动向量，运动估计/运动补偿图像生成部分112对用作参考图像的高分辨率图像fn_i执行运动补偿处理。由此生成运动补偿图像，该运动补偿图像是由对高分辨率图像。进行运动补偿处理而得到的，并且其中对象的位置被设置成与上采样的低分辨率图像&中相同。运动确定部分113将通过运动补偿(MC)处理生成的经运动补偿的高分辨率图像和上采样的低分辨率图像相互比较，并检测不能很好地应用运动补偿的区域。例如当对象本身移动时，产生运动补偿失败区域。运动确定部分113生成运动区域信息(α图
)，该运动区域信息将作为参考图像的高分辨率图像fy的运动补偿图像中的区域(在该区域中，对象的位置被设置成与上采样的低分辨率图像&中相同)区分为运动补偿成功区域，而将作为参考图像的高分辨率图像fn_i的运动补偿图像中的区域(在该区域中，对象的位置未被设置成与上采样的低分辨率图像中相同)区分为运动补偿失败区域。然后，运动确定部分113输出运动区域信息(α图
)。混合处理部分114被提供有
由对高分辨率图像fn_i进行运动补偿处理而得到的运动补偿结果图像，由运动估计/运动补偿图像生成部分112生成该运动补偿结果图像；通过在上采样部分111中对低分辨率图像&进行上采样而获得的上采样图像；以及运动区域信息(α图W 1])。使用这些输入信息，混合处理部分114基于以下等式输出混合图像作为混合结^ ο混合图像=(l-α)(上采样图像)+ α (运动补偿结果图像)混合处理部分114以图像区域单元将上采样图像和运动补偿图像相互比较，将参考图像的混合比设置成在区域单元像素值一致程度更高的区域中更高，并通过将上采样图像和参考图像相互混合来生成混合图像。输出图像生成部分130生成混合图像与输入图像之间的差信息，并通过合成混合图像与差信息来生成具有第二分辨率的高分辨率图像。将对输出图像生成部分130中的处理进行描述。向模糊添加部分115提供由混合处理部分114生成的混合图像，并且模糊添加部分115对混合图像执行模糊添加处理。具体来说，模糊添加部分115通过对空间分辨率劣化的模拟来执行对混合图像的模糊添加处理。例如，模糊添加部分115使用作为滤波器预先测量的点扩散函数对图像进行卷积。二次采样部分116执行将高分辨率图像下采样为与输入图像相同分辨率的处理。 根据本实施例的配置中的二次采样部分116执行像素的简单离散减少处理。具体来说，二次采样部分116执行像素离散减少处理，该处理将模糊添加部分115输出的混合图像减少到与输入图像的分辨率相同的第一分辨率(低分辨率)的组成像素的数量。之后，差单元117计算二次采样部分116的输出图像与低分辨率图像&之间每个像素的差值。差单元117输出关于输入图像与二次采样部分的输出图像的相应像素值之间的差的差信息。补零处理部分118执行零像素值补充处理，用于将差单元117输出的差图像调整到第二分辨率(高分辨率)的图像的像素数量。即，补零处理部分118执行在增加的像素位置处设置零像素值的补零处理，作为将差单元117输出的差图像转换为与要生成的高分辨率图像相对应的像素数量的处理。此外，逆模糊添加部分119执行与模糊添加处理相逆的处理。作为操作执行这样的处理，该处理对应于与模糊添加部分115中使用的PSF(点扩散函数)的相关的计算。逆模糊添加部分119的输出被乘以在乘法器120中预先设置的反馈系数Y，之后输出到加法器121以与混合处理部分114输出的混合图像相加，然后被输出。加法器121的输出是通过将输入图像&转换成高分辨率而获得的图像(SR处理图像)。可以由以下等式表示图2中所示的配置中执行的处理。
_ Jf =+ 扩炉(&—DH(W^y)(等式
2)
顺便提及，以上等式(等式幻中的每个参数是以下参数。η 巾贞数(第(η-1)帧和第η帧例如是活动图像的相邻帧)。gn 输入图像(第η帧的低分辨率图像)fnSE 超分辨率处理结果图像(=第η帧的高分辨率图像)超分辨率处理结果图像(=第(η-1)帧的高分辨率图像)Wn 第η帧相对于第(η-1)帧的运动信息(运动向量、矩阵等)H 模糊添加处理(模糊滤波器矩阵)D 下采样处理(下采样处理矩阵)，混合处理部分输出的混合图像Ysk 反馈系数Ht :H的转置矩阵Dt =D的转置矩阵以上等式与参考图1描述的等式相似。通过二次采样部分116进行的离散减少处理对应于[D =下采样处理]。由补零处理部分118进行的处理对应于[DT =上采样处理]。在图2所示的图像处理设备100中，图1中的下采样部分16被改变成二次采样部分116，用于执行简单像素离散减少处理，而图1中的上采样部分18被改变为补零处理部分，用于随着像素数量的增加而将零像素值添加到增加的像素部分。该处理不需要在这些处理部分中进行滤波处理，并且不需要用于存储像素值的存储器以及存储器存取处理，使得实现了设备的小型化和处理效率的提高。即，在生成混合图像和输入图像(低分辨率图像& 131)之间的差信息的处理(该处理在输出图像生成部分130中执行)中，滤波处理仅在模糊添加部分115和逆模糊添加部分119中执行，因此，在输出图像生成部分130中仅执行两次滤波处理。这样，本实施例的构造减少了滤波处理，并且不需要用于存储像素值的存储器以及存储器访问处理，使得实现了设备的小型化和处理效率的提高。(1-2.第二实施例)接下来将参考图3对根据本发明的第二实施例的图像处理设备150进行描述。如参考图1和图2描述的电路，图3中所示的图像处理设备150被提供以低分辨率图像&131，执行超分辨率处理，并输出高分辨率图像fn( = SR处理图像132)。图3中所示的图像处理设备150具有甚至比图2中所示的配置更简单的配置。将以与图2中所示的图像处理设备100的不同为中心进行描述。在图3中所示的图像处理设备150中，图3中所示的输出图像生成部分140具有与图2中所示的配置不同的配置。具体来说，进行如下改变。图2中所示的模糊添加部分115和二次采样部分116被集成到图3中所示的下采样部分151中。图2中所示的补零处理部分118和逆模糊添加部分119被集成到图3中所示的上采样部分152中。其它处理部分具有与图2所示的配置类似的配置。图3中所示的下采样部分151执行由图2中所示的模糊添加部分115和二次采样部分116执行的两个处理作为一次滤波处理。下采样部分151执行下采样处理，该处理将混合处理部分114输出的混合图像减少到第一分辨率(低分辨率)的图像的组成像素的数量。类似地，图3中所示的上采样部分152执行由图2中所示的补零处理部分118和逆模糊添加部分119执行的两个处理作为一次滤波处理。上采样部分152执行上采样处理， 该处理将差单元117输出的差图像调整为第二分辨率(高分辨率)图像的像素数量。可以通过以下等式来表示图3的配置中执行的处理。/f = (W f^r +Tsr^t(gn —皿(,J二y)(等式幻该等式(等式3)与表示图ι和图2的配置中执行的处理的等式类似。在图3的配置中，如上所述，下采样部分151执行由图2中所示的模糊添加部分 115和二次采样部分116执行的两个处理作为一次滤波处理，并且如图3所示，下采样部分 151的输出表示如下。DH (WnO，另外，如图3所示，差单元117的输出表示如下。En-OHiWJn^)‘ 此外，如图3所示，上采样部分152的输出表示如下。ΗτΟτ(βη-ΟΗθνη ·η_/κ)，)顺便提及，每个参数与第一实施例中描述的参数类似。因此，在图3所示的图像处理设备150中，下采样部分151执行由图2中所示的模糊添加部分115和二次采样部分116执行的两个处理作为一次滤波处理，上采样部分152 执行由图2中所示的补零处理部分118和逆模糊添加部分119执行的两个处理作为一次滤波处理。与图2中所示的配置比较，该配置被简化了，并且减少了滤波处理的次数。结果， 实现了硬件配置的小型化、成本的降低以及处理效率的提高。(1-3.第三实施例)接下来将参考图4对根据本发明的第三实施例的图像处理设备180的配置示例进行描述。如参考图1到图3描述的电路，图4中所示的图像处理设备180被提供以低分辨率图像& 131，执行超分辨率处理，并输出高分辨率图像fn( = SR处理图像132)。图4中所示的图像处理设备180具有甚至比图3中所示的配置更简单的配置。将以与图3中所示的图像处理设备150的不同为中心进行描述。在图4中所示的图像处理设备180中，图4中所示的输出图像生成部分170具有与图3中所示的配置不同的配置。具体来说，进行如下改变。图3中所示的两个上采样部分，即上采样部分111和上采样部分152被集成到图 4中所示的配置中的一个上采样部分181中。此外，图3中所示的下采样部分151和差单元117被替换为图4中所示的配置中的集成滤波器(多相滤波器)182。集成滤波器(多相滤波器)182执行下采样处理，其将混合处理部分114生成的混合图像减少为第一分辨率(低分辨率)图像的组成像素的数量；以及上采样处理，将混合图像调整为第二分辨率(高分辨率)图像的像素数量。集成滤波器(多相滤波器)182例如是多相滤波器，其执行针对每个相位卷积不同值的滤波处理。顺便提及，就输出图像生成部分170的配置中的变化来说，图像处理设备180设置有乘法器183，用于将集成滤波器(多相滤波器)182的输出乘以SR反馈系数；以及差单元184，用于从混合处理部分输出的混合图像中减去乘法器183的输出。差单元184的输出被输出到加法器121，以与SR反馈值相加。可以通过以下等式来表示由图4中所示的图像处理设备180执行的处理。
权利要求
1.一种图像处理设备，包括上采样部分，其被配置为执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成部分，其被配置为通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；混合处理部分，其被配置为按照图像区域单元将所述上采样图像和所述运动补偿图像相互比较，在区域单元像素值一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像和所述参考图像相互混合来生成混合图像；以及输出图像生成部分，其被配置为生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；其中所述输出图像生成部分具有一个构造，在所述构造中，生成所述差信息所需要的滤波处理被执行两次或更少次。
2.根据权利要求1所述的图像处理设备，其中，所述输出图像生成部分包括 模糊添加部分，其被配置为对所述混合图像执行模糊添加处理；二次采样部分，其配置为执行将所述模糊添加部分的输出图像减少到所述第一分辨率的组成像素的数量的像素离散减少处理；差单元，其被配置为输出所述输入图像和所述二次采样部分的输出图像的相应像素值之间的差信息；补零处理部分，其被配置为执行零像素值补充处理，以将所述差单元输出的差图像调整到所述第二分辨率的像素数量；逆模糊添加部分，其被配置为对所述补零处理部分的处理结果执行逆模糊添加处理， 所述逆模糊添加处理与所述模糊添加处理相逆；乘法器，其被配置为将所述逆模糊添加部分的输出图像乘以预先设置的反馈系数；以及加法器，其被配置为将所述混合图像和所述乘法器的输出之间的相应像素值加到一起。
3.根据权利要求1所述的图像处理设备，其中，所述输出图像生成部分包括下采样部分，其被配置为执行将所述混合图像减少到所述第一分辨率的组成像素的数量的下采样处理；差单元，其被配置为输出所述输入图像和所述下采样部分的输出图像的相应像素值之间的差信息；上采样部分，其被配置为执行上采样处理，以将所述差单元输出的差图像调整为所述第二分辨率的像素数量；乘法器，其被配置为将所述上采样部分的输出图像乘以预先设置的反馈系数；以及加法器，其被配置为将所述混合图像和所述乘法器的输出之间的相应像素值加到一起。
4.根据权利要求1所述的图像处理设备，其中，所述输出图像生成部分包括集成滤波器，其被配置为执行将所述混合图像减少到所述第一分辨率的组成像素的数量的下采样处理，以及执行将所述混合图像调整为所述第二分辨率的像素数量的上采样处理；第一乘法器，其被配置为将所述集成滤波器的输出乘以预先设置的反馈系数； 差单元，其被配置为计算所述混合图像和所述第一乘法器的输出的相应像素值之间的差；第二乘法器，其被配置为将配置成对所述输入图像进行上采样处理的上采样部分的输出乘以预先设置的反馈系数；以及加法器，其被配置为将所述差单元的输出和所述第二乘法器的输出加到一起。
5.根据权利要求4所述的图像处理设备，其中，所述集成滤波器由多相滤波器形成，所述多相滤波器被配置为针对每个相位卷积不同的值。
6.一种图像处理方法，用于在图像处理设备中执行分辨率转换处理，所述图像处理方法包括上采样部分的上采样处理步骤，所述上采样部分执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成部分的运动补偿图像生成步骤，所述运动补偿图像生成部分通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；混合处理部分的混合处理步骤，所述混合处理部分按照图像区域单元比较所述上采样图像和所述运动补偿图像，在区域单元像素值一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像与所述参考图像相互混合来生成混合图像；以及输出图像生成部分的输出图像生成步骤，所述输出图像生成部分生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；其中所述输出图像生成步骤通过这样的处理来生成所述高分辨率图像，在该处理中， 产生所述差信息所需要的滤波处理被执行两次或更少次。
7.一种程序，用于进行在图像处理设备中执行的分辨率转换处理，所述程序包括上采样处理步骤，使得上采样部分执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成步骤，使得运动补偿图像生成部分通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；混合处理步骤，使得混合处理部分按照图像区域单元将所述上采样图像和所述运动补偿图像相互比较，在区域单元像素值的一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像和所述参考图像相互混合来生成混合图像；以及输出图像生成步骤，使得输出图像生成部分生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；其中所述输出图像生成步骤形成通过这样的处理来生成的所述高分辨率图像，在该处理中，产生所述差信息所需要的滤波处理被执行两次或更少次。
8. 一种图像处理设备，包括上采样装置，用于执行将第一分辨率的输入图像调整为高于所述第一分辨率的第二分辨率的图像的像素数量的上采样处理；运动补偿图像生成装置，用于通过校正处理来生成运动补偿图像，所述校正处理使用通过所述上采样处理获得的上采样图像和具有所述第二分辨率的参考图像之间的差信息将所述参考图像调整到所述上采样图像的对象位置；混合处理装置，用于按照图像区域单元将所述上采样图像和所述运动补偿图像相互比较，在区域单元像素值的一致程度更高的区域中将所述参考图像的混合比设置得更高，并通过将所述上采样图像和所述参考图像相互混合来生成混合图像；以及输出图像生成装置，用于生成所述混合图像和所述输入图像之间的差信息，并通过合成所述混合图像和所述差信息来生成具有所述第二分辨率的高分辨率图像；其中所述输出图像生成装置具有一个构造，在所述构造中，生成所述差信息所需要的滤波处理被执行两次或更少次。
全文摘要
图像处理设备、图像处理方法和程序。该图像处理设备包括上采样部分；运动补偿图像生成部分；混合处理部分；以及输出图像生成部分。
文档编号G06T5/00GK102243757SQ20111011630
公开日2011年11月16日 申请日期2011年5月3日 优先权日2010年5月10日
发明者名云武文, 罗俊, 近藤雄飞 申请人:索尼公司