专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序，并且尤其涉及执行用于增大图像的分辨率的超分辨处理(super resolving process)的图像处理设备、图像处理方法和程序。
背景技术：
作为从低分辨率图像生成高分辨率图像的方法，已知超分辨处理。超分辨处理是从低分辨率图像生成高分辨率图像的处理。例如，作为超分辨处理方法，有如下的方法(a)重构型超分辨方法(b)学习型超分辨方法重构型超分辨方法(a)是基于作为所拍摄的图像的低分辨率图像得出表示拍摄条件的参数并且使用这些参数来估计理想的高分辨率图像的方法，所述拍摄条件比如是 “因镜头和空气散射而引起的模糊”、“对象和整个相机的运动”、“成像装置进行的采样”。另外，在现有技术中，例如在日本未审查专利申请公报No. 2008-140012中公开了重构型超分辨方法。重构型超分辨方法的处理的概要如下(1)通过考虑模糊、运动、采样等的公式来表达图像拍摄模型。( 从由所述公式模型表达的图像拍摄模型获得成本计算公式。此时，在一些情况中，使用贝叶斯(Bayes)理论添加预先建立的正规化项。(3)获得用于最小化成本的图像重构型超分辨方法是通过使用上述处理获得高分辨率图像的方法。另外，在本发明的说明书的前面的部分中详细描述了具体处理。虽然根据重构型超分辨方法获得的高分辨率图像依赖于输入图像，但是超分辨效果(分辨率恢复效果)较高。另一方面，学习型超分辨方法(b)是使用习得数据执行超分辨处理的方法，习得数据是预先生成的。习得数据例如由从低分辨率图像到高分辨率图像的转换信息等构成。 习得数据的生成处理是按照将例如通过模拟等生成的假定输入图像(低分辨率图像)和理想图像(高分辨率图像)进行比较并且生成用于从低分辨率图像生成高分辨率图像的转换信息的处理而执行的。习得数据被生成，并且作为新输入图像的低分辨率图像使用习得数据被变换成高分辨率图像。另外，在现有技术中，例如在日本专利No. 3321915公开了学习型超分辨方法。根据学习型超分辨方法，如果生成了习得数据，可以针对各种输入图像获得高分辨率图像作为稳定的输出结果。然而，对于重构型超分辨方法(a)，虽然一般而言可以预期到较高性能，但是也存在制约，比如，“必需要输入多个低分辨率图像”、“在输入图像的频带等方面存在限制”。在可能获得了没有满足这些制约条件的输入图像(低分辨率图像)的情况中，存在不能充分发挥重构性能从而可能不能生成足够高分辨率图像的问题。另一方面，对于学习型超分辨方法(b)，虽然因输入图像数目和这些输入图像的性质引起的制约被减少并被稳定化，但是存在最后获得的高分辨率图像的峰性能不及重构型超分辨的问题。
发明内容
希望提供能够使用重构型超分辨方法和学习型超分辨方法的优点来执行超分辨方法的图像处理设备、图像处理方法和程序。根据本发明的实施例，提供一种包括超分辨处理器的图像处理设备，包括高频估计器，所述高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及计算器，所述计算器通过从所述高频估计器生成的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，所述高频估计器在差分图像信息生成处理中使用习得数据来执行学习型数据处理。另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器在对向下采样处理后的图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以在对作为所述超分辨处理的处理对象图像输入的所述低分辨率图像的向上采样处理中执行学习型超分辨处理。另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以使用习得数据按照学习型超分辨处理来执行所述向上采样处理，所述习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述低分辨率图像变换成所述高分辨率图像的图像转换信息。另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以在对向下采样处理后的图像和作为所述超分辨处理的处理对象图像输入的所述低分辨率图像之间的差分图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。另外，在根据本发明的上述实施例的图像处理设备中，所述高频估计器可以使用习得数据按照学习型超分辨处理来执行所述向上采样处理，所述习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像之间的差分图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述差分图像变换成高分辨率差分图像的图像转换信息。另外，在根据本发明的上述实施例的图像处理设备中，所述超分辨处理器可以具有通过使用重构型超分辨方法执行分辨率变换处理并且在所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。另外，在根据本发明的上述实施例的图像处理设备中，所述超分辨处理器可以具有根据重构型超分辨方法通过考虑图像的模糊和运动以及图像装置的分辨率来执行分辨率变换处理并且在对所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。另外，在根据本发明的上述实施例的图像处理设备中，所述图像处理设备还包括收敛判断部件，所述收敛判断部件执行对所述计算器的计算结果的收敛判断，其中，所述收敛判断部件根据预先定义的收敛判断算法来执行收敛判断处理并且输出与所述收敛判断相应的结果。另外，根据本发明的另一实施例，提供一种在图像处理设备中执行的图像处理方法，包括如下步骤使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及使得计算器通过从使得高频估计器生成差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，在使得高频估计器生成差分图像信息的步骤中，在差分图像信息生成处理中执行使用习得数据的学习型数据处理。另外，根据本发明的又一实施例，提供一种程序，该程序使得图像处理设备执行图像处理，包括如下步骤使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及使得计算器通过从使得高频估计器生成差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，在使得高频估计器生成差分图像信息的步骤中，在差分图像信息生成处理中执行使用习得数据的学习型数据处理。另外，根据本发明的程序是可以提供用于例如信息处理设备或计算机系统的程序，这些信息处理设备或计算机系统可以通过以计算机可读格式提供的存储介质或通信介质执行各种类型的程序。此程序以计算机可读格式来提供，从而根据此程序的处理可以在这样的信息处理设备或计算机系统中被执行。通过稍后描述的本发明的实施例和附图来以更详细的描述阐述本发明的其他目的、特征以及优点。另外，在本说明书中，系统表示多个设备的逻辑集合配置，但是每个配置的设备不局限于处于相同的机壳中。根据本发明的实施例的配置，提供了一种通过执行重构型超分辨处理和学习型超分辨处理的组合处理来生成高分辨率图像的设备和方法。根据本发明的实施例，生成了成为超分辨处理的处理对象的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，其中所述处理后的图像即初始图像，并且通过所述差分图像信息和所述处理后的图像之间的计算处理执行所述处理后的图像的更新处理，来生成高分辨率图像。在生成所述差分图像的高频估计器中，执行使用习得数据的学习型超分辨处理。更具体地，例如，按照学习型超分辨处理来执行向上采样处理。根据此配置，解决了重构型超分辨处理的缺陷，从而能够生成高质量的高分辨率图像。
图1是示出在相机的拍摄处理中获得的低分辨率图像和作为理想的高分辨率图像的理想图像之间的关系的示图。图2是示出应用到图像处理的参数的设置的示图。图3是示出执行超分辨处理的图像处理设备的配置示例的示图。图4是示出超分辨处理器的配置和处理的细节的示图。图5是示出在图4中所图示的超分辨处理器中设置的多个高频估计器的每个的详细配置和处理的示图。图6是示出示出在图4中所图示的超分辨处理器中设置的图像质量控制器的详细配置和处理的示图。图7是示出示出在图4中所图示的超分辨处理器中设置的比例计算器的处理的示图。图8是示出对作为处理对象的运动画面执行重构型超分辨处理的图像处理设备的配置示例的示图。图9是示出在图8中所示的运动画面初始图像生成单元的详细配置和处理的示图。图10是示出在图8所示的执行重构型超分辨处理的图像处理设备的运动画面超分辨处理器的配置和处理的示图。图11是示出在运动画面超分辨处理器中的运动画面高频估计器的详细配置和处理的示图。图12是示出执行学习型超分辨方法的图像处理设备的配置和处理的概要的示图。图13是示出执行学习处理以生成习得数据的学习处理执行单元的示图。图14是示出由图13中所示的图像特征量提取器执行的图像特征量提取处理的细节的示图。图15是示出使用习得数据执行学习型超分辨处理的学习型超分辨处理执行单元的配置和处理的示例的示图。以及图16是示出根据本发明的第一实施例的图像处理设备的配置示例的示图。图17是示出在图16中所示的图像处理设备中的超分辨处理器503的详细配置的示图。图18是示出在图17中所示的超分辨处理器中的高频估计器的详细配置的示图。图19是示出在图17中所示的超分辨处理器中的比例计算器和周边计算器的输入 /输出数据的细节的示图。图20是示出根据本发明第二实施例的图像处理设备中的高频估计器的详细配置的示图。图21是示出根据本发明的第三实施例的图像处理设备的配置示例的示图。图22是示出在图21中所示的运动画面初始图像生成单元的详细配置和处理的示图。图23是示出在图21中所示的图像处理设备中的运动画面超分辨处理器的配置和处理的示图。图M是示出在图21中所示的运动画面超分辨处理器中的运动画面高频估计器的详细配置和处理的示图。图25是示出根据本发明的第四实施例的图像处理设备的运动画面高频估计器详细配置和处理的示图。图沈是示出根据本发明的图像处理设备的硬件配置示例的示图。
具体实施例方式下面将参考附图来详细描述根据本发明的图像处理设备、图像处理方法和程序。 另外，将以如下顺序给出描述。1.对在本说明中所使用的术语的定义的描述2.超分辨方法的概要(2a)重构型超分辨方法的概要(2b)学习型超分辨方法的概要(2c)超分辨法的问题3.根据本发明的超分辨法的实施例(3a)第一实施例(3b)第二实施例(3c)第三实施例4.图像处理设备的硬件配置的示例[1.对在本说明中所使用的术语的定义的描述]首先，在对本发明描述之前先描述在下面的描述中所使用的术语的定义。(输入图像)输入图像是成像装置等实际拍摄的图像以及输入到执行超分辨处理的图像处理设备中的图像。输入图像是很可能有劣化的图像，例如，根据拍摄条件等，在发送和记录等时的劣化。一般而言，输入图像是低分辨率图像。(输出图像)输出图像是作为在图像处理设备中对输入图像执行超分辨处理的结果而得到的图像。另外，输出图像可被输出为通过以任意放大比率放大或缩小输入图像而得到的高分辨图像。(理想图像)理想图像是在当在前述输入图像中不存在根据拍摄的局限性和质量劣化的情况中所获得的理想图像。理想图像是目标高分辨率图像，其是作为超分辨处理的处理结果所要获取的目标。(重构型超分辨方法)重构型超分辨方法是现有技术中超分辨处理的方法的一个示例。重构型超分辨方法是从拍摄条件估计作为理想图像的高分辨率图像的方法，所述拍摄条件比如是“因镜头和空气散射而引起的模糊”、“对象和整个相机的运动”、“成像装置进行的采样”。
8
重构型超分辨处理包括如下处理(a)通过考虑模糊、运动、采样等的公式来表达图像拍摄模型。(b)从图像拍摄模型获得成本公式。此时，在一些情况中，可以使用贝叶斯理论添加如此预先建立的正规化项。(c)获得用于最小化成本的图像虽然此结果依赖于输入图像，但是超分辨效果(分辨率恢复效果)较高。(学习型超分辨方法)学习型超分辨方法是这样一种方法，其对在模拟等中生成的假定输入图像(低分辨率图像)和理想图像(高分辨率图像)进行比较，生成用于从低分辨率图像生成高分辨率图像的习得数据，并且通过使用习得数据将作为新输入图像的低分辨率图像变换成高分辨率图像的方法。[2.超分辨方法的概要]接着，在将低分辨率图像变换成高分辨率图像的超分辨方法的概要中，顺次描述下面两种方法。(2a)重构型超分辨方法的概要(2b)学习型超分辨方法的概要(2a)重构型超分辨方法的概要首先描述重构型超分辨方法的概要。重构型超分辨方法是通过使用例如在位置上有差别的多个低分辨率图像来生成高分辨率图像的方法。ML (最大似然性)方法或MAP (最大后验概率)方法被已知作为重构型超分辨方法。下面，描述一般MAP方法的概要。在此，讨论η个低分辨率图像被输入并且高分辨率图像被生成的情况。首先，参考图1描述在相机的拍摄处理中获得的低分辨率图像(gk)和作为理想的高分辨率图像的理想图像(f)之间的关系。理想图像(f) 10可以是指具有与对象被拍摄的真实环境相应的像素值的图像，如在图1中所示。通过相机的拍摄获得的图像被设定为作为拍摄图像的低分辨率图像(gk)20。另外，低分辨率图像(gk)20成为对于执行超分辨处理的图像处理设备的输入图像。作为超分辨处理的执行对象并且作为拍摄图像的低分辨率图像(gk) 20可以是指在理想图像(f)10的图像信息的某些部分由于各种因素而丢失时形成的图像。作为图像信息丢失的主要因素，有图1中所示的如下因素。运动(图像扭曲)11 ( = Wk)，模糊12( = H)，相机分辨率(相机分辨率抽取(decimation)) 13 ( = D)，噪声14( = nk)运动(Wk) 11是对象的运动或相机的运动。模糊(H) 12是因空气散射、相机的光学系统的频率劣化等而引起的模糊。相机分辨率(D) 13是对由相机的成像装置的分辨率(像素数)定义的采样数据方面的限制。噪声(IIk) 14是其他噪声，例如，在信号处理等中发生的图像质量劣化等。由于此各种因素，通过相机拍摄的图像成为低分辨率图像(gk)20。另外，k表示相机连续拍摄的图像中的第k个图像。模糊(H)12和相机分辨率(D)13不是根据第k个图像的拍摄定时的而改变的参数，但是运动(Wk) 11和噪声(IIk) 14是根据拍摄定时而改变的参数。按照这样的方式，作为拍摄图像的低分辨率图像(gk)20是当理想图像(f) 10的图像信息的某些部分由于各种因素而丢失时形成的图像数据。低分辨率图像(gk)20和理想图像(f) 10之间的对应关系由如下公式表达。gk = DHWkf+nk……(公式 1)上述公式表达了 相比于理想图像(f) 10，作为超分辨处理的执行对象的低分辨率图像(gk) 20是由于采样中运动(Wk)、模糊(H)和相机分辨率⑶的劣化以及噪声( )的增加而生成的。另外，作为表示输入图像(gk)和理想图像(f)的数据，可以使用表达构成每个图像的像素值的数据，也可以设置各种表达。例如，如图2中所示，表示输入图像(gk)和理想图像(f)的数据可以通过像素值的一个竖直列的矢量来表达。输入图像(gk)是具有L个元素数的竖直矢量。理想图像(f)是具有J个元素数的竖直矢量。元素数对应于一个竖直列中的像素数。其他参数具有如下配置。η 作为输入图像(低分辨率图像)的图像数f 理想图像，竖直矢量(元素数为J)&:第1^个低分辨率图像，竖直矢量(元素数为L)nk 叠加在第η个图像上的噪声(元素数为L)wk 执行第k个运动(扭曲)的矩阵(JXJ)H 表达透镜的高频成分劣化或光学散射的模糊滤波器矩阵(JXJ)D 表达成像装置进行采样的矩阵(JXL)在上述公式(公式1)中，运动(Wk)、模糊(H)、和相机分辨率(D)是可获取到的参数，即已知参数。在此情况中，作为高分辨率图像的理想图像(f)的计算处理可以认为是根据如下公式通过使用多个(η个)低分辨率图像(gl)到(gn)来计算具有最高概率的图像(f)的处理。
权利要求
1.一种包括超分辨处理器的图像处理设备，该超分辨处理器包括高频估计器，所述高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及计算器，所述计算器通过从所述高频估计器输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，所述高频估计器在差分图像信息生成处理中使用习得数据来执行学习型数据处理。
2.根据权利要求1所述的图像处理设备，其中，所述高频估计器在对向下采样处理后的图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。
3.根据权利要求1或2所述的图像处理设备，其中，所述高频估计器在对作为所述超分辨处理的处理对象图像输入的所述低分辨率图像的向上采样处理中执行学习型超分辨处理。
4.根据权利要求2或3所述的图像处理设备，其中，所述高频估计器使用习得数据按照学习型超分辨处理来执行所述向上采样处理，该习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述低分辨率图像变换成所述高分辨率图像的图像转换信息。
5.根据权利要求1所述的图像处理设备，其中，所述高频估计器在对向下采样处理后的图像和作为所述超分辨处理的处理对象图像输入的所述低分辨率图像之间的差分图像的向上采样处理中执行学习型超分辨处理，所述向下采样处理后的图像通过对以高分辨率图像构建的所述处理后的图像的向下采样处理而变换为具有与所述低分辨率图像的分辨率相同的分辨率。
6.根据权利要求5所述的图像处理设备，其中，所述高频估计器使用习得数据按照学习型超分辨处理来执行所述向上采样处理，该习得数据包括与特征量信息和图像转换信息相对应的数据，其中所述特征量信息是所述低分辨率图像和基于所述低分辨率图像生成的高分辨率图像之间的差分图像的局部图像区域的特征量信息并且所述图像转换信息是用于将所述差分图像变换成高分辨率差分图像的图像转换信息。
7.根据权利要求1到6中任一项所述的图像处理设备，其中，所述超分辨处理器具有通过使用重构型超分辨方法执行分辨率变换处理并且在所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。
8.根据权利要求7所述的图像处理设备，其中，所述超分辨处理器具有根据所述重构型超分辨方法通过考虑图像的模糊和运动以及图像装置的分辨率来执行分辨率变换处理并且在所述分辨率变换处理的向上采样处理中使用习得数据来执行学习型超分辨处理的配置。
9.根据权利要求1到8中任一项所述的图像处理设备，还包括收敛判断部件，所述收敛判断部件执行对所述计算器的计算结果的收敛判断，其中，所述收敛判断部件根据预先定义的收敛判断算法来执行所述收敛判断处理并且输出与所述收敛判断相应的结果。
10.一种在图像处理设备中执行的图像处理方法，包括如下步骤使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及使得计算器通过从使得高频估计器生成所述差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，在使得高频估计器生成所述差分图像信息的步骤中，在差分图像信息生成处理中使用习得数据来执行学习型数据处理。
11.一种程序，该程序使得图像处理设备执行图像处理，所述图像处理包括如下步骤 使得高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及使得计算器通过从使得高频估计器生成所述差分图像信息的步骤输出的差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，在使得高频估计器生成所述差分图像信息的步骤中，在差分图像信息生成处理中使用习得数据来执行学习型数据处理。
全文摘要
提供了一种包括超分辨处理器的图像处理设备、图像处理方法和程序。所述图像处理设备中的超分辨处理器包括高频估计器，该高频估计器生成作为超分辨处理的处理对象图像输入的低分辨率图像和所述超分辨处理的中间处理图像或处理后的图像之间的差分图像信息，所述处理后的图像即初始图像；以及计算器，该计算器通过从所述高频估计器输出的所述差分图像信息和所述处理后的图像之间的计算处理来执行对所述处理后的图像的更新处理，其中，所述高频估计器在差分图像信息生成处理中使用习得数据来执行学习型数据处理。
文档编号G06T5/00GK102194216SQ20111004378
公开日2011年9月21日 申请日期2011年2月22日 优先权日2010年3月1日
发明者名云武文, 宫井岳志, 泽维尔·米歇尔 申请人:索尼公司