专利名称：图像处理设备、图像处理方法和图像处理程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和图像处理程序。本发明尤其涉及为了提高图像的分辨率、除了对图像执行SR(超分辨率)处理以外还执行NR(噪声降低)处理的图像处理设备，涉及将由该设备采用的图像处理方法，并且涉及实现该方法的图像处理程序。
背景技术：
作为用于从低分辨率的图像生成高分辨率的图像的技术，已知用于执行作为从低分辨率的图像生成高分辨率的图像的处理的SR处理的技术。作为用于执行SR处理的技术，例如，已知以下的重构型超分辨率技术该重构型超分辨率技术用于通过利用作为示出诸如“由镜头和大气散射引起的模糊”、“拍摄对象和整个照相机的运动”以及“利用成像装置的采样”等的拍摄条件的参数而推导出的参数，基于低分辨率的图像的拍摄图像来推断出高分辨率的理想图像。在诸如专利文献1(日本特开2008-140012号公报)的文献中描述了作为用于执行超分辨率处理的技术的基础技术所公开的现有技术。如下说明重构型超分辨率技术的过程的概述(1)通过数学公式表示考虑了诸如模糊、运动和采样等的拍摄条件的图像拍摄模型。(2)根据由数学公式表示的图像拍摄模型求取成本计算公式。在求取成本计算公式的过程中，通过在一些情况下采用贝叶斯理论还可以添加诸如提前确认项等的正规化项。(3)求取使成本最小的图像。通过执行这些类型的处理，来实施用于求取具有高分辨率的图像的技术。尽管作为重构型超分辨率技术的结果而获得的高分辨率图像依赖于输入图像，但超分辨率效果 (或分辨率恢复效果)高。
图1是示出用于执行超分辨率处理的SR处理电路的一般配置的框图。也就是说， 图1是示出超分辨率处理设备10的一般配置的框图。超分辨率处理设备10执行如下所述的处理。上采样部11接收要进行用以提高图像的分辨率的处理的低分辨率输入图像(gn)31。上采样部11执行作为分辨率转换处理的上采样处理，以提高低分辨率输入图像(gn)31的分辨率。也就是说，上采样部11执行用以将低分辨率输入图像(gn)31的分辨率调整为作为最终要生成的高分辨率图像的SR(超分辨率)处理的图像(fn)32的分辨率的处理。例如，上采样部11执行放大处理，以将低分辨率输入图像(gn)31的每个像素分割成SR处理的图像(fn)32的多个像素。在以下说明中， SR处理的图像也被称为SR(超分辨率)处理结果图像。运动推断/运动补偿图像生成部12检测从高分辨率图像(fn_i)到高分辨率上采样的图像的运动的大小，其中，高分辨率图像(fy)是在对前一帧执行的处理中生成的，高分辨率上采样的图像是作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。更具体地，运动推断/运动补偿图像生成部12计算高分辨率图像(fn_i)和高分辨率上采样的图像之间的运动矢量。然后，通过利用计算出的运动矢量，运动推断/运动补偿图像生成部12对高分辨率图像(fn_i)执行MC(运动补偿)处理。更详细地，为了生成将拍摄对象设置在与高分辨率上采样的图像中的拍摄对象相同的位置处的运动补偿结果图像，运动推断/运动补偿图像生成部12对高分辨率图像(4_》执行MC处理，其中，高分辨率上采样的图像是作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。在以下说明中，运动补偿结果图像也被称为运动补偿图像。运动判断部13将作为MC处理的结果而获得的运动补偿后的高分辨率图像与作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的高分辨率上采样的图像进行比较，以检测不能良好地应用MC处理的区域。例如，当拍摄对象自身正在运动时，生成不成功的运动补偿区域。运动判断单元13生成用于将成功的运动补偿区域与不成功的运动补偿区域区分开的、被称为α映射的运动区域信息。成功的运动补偿区域是以下的区域在该区域中，由运动推断/运动补偿图像生成部12基于前一帧的高分辨率图像fn_i所生成的运动补偿结果图像将拍摄对象设置在与高分辨率上采样的图像中的拍摄对象相同的位置处，其中，高分辨率上采样的图像是作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。另一方面，不成功的运动补偿区域是以下的区域在该区域中，基于前一帧的高分辨率图像fy而生成的运动补偿结果图像没有将拍摄对象设置在与高分辨率上采样的图像中的拍摄对象相同的位置处，其中，高分辨率上采样的图像是作为上采样部 11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。被称为α映射
的运动区域信息是其值根据成功的运动补偿区域和不成功的运动补偿区域的置信度在1 0 的范围内变化的映射。例如，在简单的应用中，将区域的α映射
的值设置为1，以表示该区域是成功的运动补偿区域，或者将区域的α映射的值设置为0，以表示该区域是不成功的运动补偿区域。混合处理部14接收由运动推断/运动补偿图像生成部12基于前一帧的高分辨率图像生成的运动补偿结果图像、作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的高分辨率上采样的图像、和由运动判断部13生成的被称为α映射的运动区域信息。混合处理部14利用以上所述接收到的输入，以输出作为基于以下给出的等式执行的混合处理的结果而获得的混合图像混合图像=(l-α)(高分辨率上采样的图像)+ α (运动补偿结果图像)在以上等式中，参考符号α表示具有0 1范围内的值的前述α映射W:l]。α 映射的值为运动补偿结果图像的混合系数α。使用该混合系数α作为混合处理中分配给运动补偿结果图像的权重。通过执行混合处理，能够通过对于成功的运动补偿区域使用增大了的混合系数α作为分配给运动补偿结果图像的权重、而对于不成功的运动补偿区域使用减小了的混合系数α作为分配给运动补偿结果图像的权重，来生成混合图像。在以下说明中，将混合比定义为比α/(l-α)，以将混合比与混合系数α区分开。模糊附加部15接收由混合处理部14生成的混合图像，并且对该混合图像执行模拟处理，以模拟空间分辨率的劣化。例如，模拟附加部15通过采用预先测量出的PSF(point spread function，点扩散函数)作为过滤器，对图像执行卷积。下采样部16执行用以将高分辨率图像的分辨率降低至与低分辨率输入图像 (gn)31相同的分辨率的下采样处理。然后，减法器17针对每个像素计算由下采样部16输出的图像与低分辨率输入图像(gn)31之间的差。随后对该差进行由上采样部18执行的上采样处理。然后，逆模糊附加部19执行与模糊附加处理相逆的处理。逆模糊附加处理的操作与用以计算与模糊附加部15中使用的PSF(点扩散函数)的相关性的处理相同。乘法器20执行用以将由逆模糊附加部19输出的图像与预先设置的SR反馈系数 Ysk相乘的运算以生成积，并将该积供给至加法器21。然后，加法器21执行用以将该积与由混合处理部14生成的混合图像相加的运算，以生成超分辨率处理设备10的输出图像。由加法器21生成的、作为超分辨率处理设备10的输出的图像是SR(超分辨率) 处理结果图像(fn) 32，它是作为提高低分辨率输入图像(gn)31的分辨率的结果而获得的图像。可以通过以下等式表示由图1所示的超分辨率处理设备10执行的处理
权利要求
1.一种图像处理设备，包括上采样部，被配置为执行上采样处理，以便生成上采样的图像，所述上采样处理用以将构成具有第一分辨率的输入图像的像素的数量增加至构成具有比所述第一分辨率高的第二分辨率的图像的像素的数量；运动补偿图像生成部，被配置为生成作为校正处理的结果的运动补偿图像，所述校正处理用于通过利用与所述上采样的图像和具有所述第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置；混合处理部，被配置为生成作为混合处理的结果的中间混合图像，所述混合处理用于通过对于每个图像区域单元比较所述上采样的图像和所述运动补偿图像并且设置所述参考图像的混合系数来将所述上采样的图像与所述参考图像混合，其中，如下设置所述参考图像的混合系数的值对于图像区域单元的像素值匹配度越高，对所述图像区域单元设置的所述混合系数的值越高；以及输出图像生成部，被配置为接收并处理所述中间混合图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像， 其中，所述超分辨率处理结果图像是作为被执行作为用以提高所述输入图像的分辨率的处理的超分辨率处理的结果而获得的，所述噪声降低处理结果图像是作为用以降低所述输入图像的噪声而执行的噪声降低处理的结果而获得的。
2.一种图像处理设备，包括上采样部，被配置为执行上采样处理，以便生成上采样的图像，所述上采样处理用以将构成具有第一分辨率的输入图像的像素的数量增加至构成具有比所述第一分辨率高的第二分辨率的图像的像素的数量；运动补偿图像生成部，被配置为生成作为校正处理的结果的运动补偿图像，所述校正处理用于通过利用与所述上采样的图像和具有所述第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置；以及输出图像生成部，被配置为接收并处理所述运动补偿图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像， 其中，所述超分辨率处理结果图像是作为被执行作为用以提高所述输入图像的分辨率的处理的超分辨率处理的结果而获得的，所述噪声降低处理结果图像是作为用以降低所述输入图像的噪声而执行的噪声降低处理的结果而获得的。
3.根据权利要求1所述的图像处理设备，其特征在于，所述输出图像生成部包括 综合过滤器，被配置为执行用以将构成所述中间混合图像或所述运动补偿图像的像素的数量减少至与所述第一分辨率相对应的像素计数的下采样处理，以及执行用以将构成所述中间混合图像或所述运动补偿图像的像素的数量增加至与所述第二分辨率相对应的像素计数的上采样处理；以及计算处理部，所述计算处理部被配置为对所接收到的图像执行计算处理，从而生成作为将所述超分辨率处理结果图像和所述噪声降低处理结果图像混合的结果而获得的所述输出混合图像，所接收到的图像包括所述中间混合图像或所述运动补偿图像、由所述综合过滤器输出的图像和由所述上采样部输出的所述上采样的图像。
4.根据权利要求2所述的图像处理设备，其特征在于，所述输出图像生成部包括综合过滤器，被配置为执行用以将构成所述运动补偿图像的像素的数量减少至与所述第一分辨率相对应的像素计数的下采样处理，以及执行用以将构成所述运动补偿图像的像素的数量增加至与所述第二分辨率相对应的像素计数的上采样处理；以及计算处理部，所述计算处理部被配置为对所接收到的图像执行计算处理，从而生成作为将所述超分辨率处理结果图像和所述噪声降低处理结果图像混合的结果而获得的所述输出混合图像，所接收到的图像包括所述运动补偿图像、由所述综合过滤器输出的图像和由所述上采样部输出的所述上采样的图像。
5.根据权利要求3所述的图像处理设备，其特征在于，所述综合过滤器是用于对因相位不同而变化的值求卷积的多相位过滤器。
6.根据权利要求4所述的图像处理设备，其特征在于，所述综合过滤器是用于对因相位不同而变化的值求卷积的多相位过滤器。
7.根据权利要求3所述的图像处理设备，其特征在于，所述输出图像生成部被配置为根据供给至所述计算处理部的参数来设置所述超分辨率处理结果图像和所述噪声降低处理结果图像的混合比。
8.根据权利要求4所述的图像处理设备，其特征在于，所述输出图像生成部被配置为根据供给至所述计算处理部的参数来设置所述超分辨率处理结果图像和所述噪声降低处理结果图像的混合比。
9.根据权利要求7所述的图像处理设备，其特征在于，所述输出图像生成部执行以下的处理该处理用以根据针对所述输入图像的每个图像区域单元所计算的ISO灵敏度来调整所述超分辨率处理结果图像和所述噪声降低处理结果图像的所述混合比。
10.根据权利要求7所述的图像处理设备，其特征在于，所述输出图像生成部执行以下的处理该处理用以根据所述上采样部针对所述输入图像所采用的图像放大因子来调整所述超分辨率处理结果图像和所述噪声降低处理结果图像的所述混合比。
11.根据权利要求7所述的图像处理设备，其特征在于，所述输出图像生成部执行以下的处理该处理用以根据所述输入图像的各图像区域单元的像素值的方差来调整所述超分辨率处理结果图像和所述噪声降低处理结果图像的所述混合比。
12.根据权利要求8所述的图像处理设备，其特征在于，所述输出图像生成部执行以下的处理该处理用以根据针对所述输入图像的每个图像区域单元所计算的ISO灵敏度来调整所述超分辨率处理结果图像和所述噪声降低处理结果图像的所述混合比。
13.根据权利要求8所述的图像处理设备，其特征在于，所述输出图像生成部执行以下的处理该处理用以根据所述上采样部针对所述输入图像所采用的图像放大因子来调整所述超分辨率处理结果图像和所述噪声降低处理结果图像的所述混合比。
14.根据权利要求8所述的图像处理设备，其特征在于，所述输出图像生成部执行以下的处理该处理用以根据所述输入图像的各图像区域单元的像素值的方差来调整所述超分辨率处理结果图像和所述噪声降低处理结果图像的所述混合比。
15.一种由图像处理设备采用的图像处理方法，所述图像处理设备采用上采样部、运动补偿图像生成部、混合处理部和输出图像生成部，所述图像处理方法包括以下步骤上采样处理步骤，用于驱动所述上采样部执行上采样处理，从而生成上采样的图像，所述上采样处理用以将构成具有第一分辨率的输入图像的像素的数量增加至构成具有比所述第一分辨率高的第二分辨率的图像的像素的数量；运动补偿图像生成步骤，用于驱动所述运动补偿图像生成部生成作为校正处理的结果的运动补偿图像，所述校正处理用以通过利用与所述上采样的图像和具有所述第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置处；混合处理步骤，用于驱动所述混合处理部生成作为混合处理的结果的中间混合图像， 所述混合处理用于通过对于每个图像区域单元比较所述上采样的图像和所述运动补偿图像并且设置所述参考图像的混合系数来将所述上采样的图像与所述参考图像混合，其中， 如下设置所述参考图像的混合系数的值对于图像区域单元的像素值匹配度越高，对所述图像区域单元设置的所述混合系数的值越高；以及输出图像生成步骤，用于驱动所述输出图像生成部接收并处理所述中间混合图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像，其中，所述超分辨率处理结果图像是作为被执行作为用以提高所述输入图像的分辨率的处理的超分辨率处理的结果而获得的，所述噪声降低处理结果图像是作为用以降低所述输入图像的噪声而执行的噪声降低处理的结果而获得的。
16.一种由图像处理设备采用的图像处理方法，所述图像处理设备采用上采样部、运动补偿图像生成部和输出图像生成部，所述图像处理方法包括以下步骤上采样处理步骤，用于驱动所述上采样部执行上采样处理，从而生成上采样的图像，所述上采样处理用以将构成具有第一分辨率的输入图像的像素的数量增加至构成具有比所述第一分辨率高的第二分辨率的图像的像素的数量；运动补偿图像生成步骤，用于驱动所述运动补偿图像生成部生成作为校正处理的结果的运动补偿图像，所述校正处理用以通过利用与所述上采样的图像和具有所述第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置处；输出图像生成步骤，用于驱动所述输出图像生成部接收并处理所述运动补偿图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像，其中，所述超分辨率处理结果图像是作为被执行作为用以提高所述输入图像的分辨率的处理的超分辨率处理的结果而获得的，所述噪声降低处理结果图像是作为用以降低所述输入图像的噪声而执行的噪声降低处理的结果而获得的。
17.一种图像处理程序，由采用上采样部、运动补偿图像生成部、混合处理部和输出图像生成部的图像处理设备执行，用以实现以下步骤上采样处理步骤，用于驱动所述上采样部执行上采样处理，从而生成上采样的图像，所述上采样处理用以将构成具有第一分辨率的输入图像的像素的数量增加至构成具有比所述第一分辨率高的第二分辨率的图像的像素的数量；运动补偿图像生成步骤，用于驱动所述运动补偿图像生成部生成作为校正处理的结果的运动补偿图像，所述校正处理用以通过利用与所述上采样的图像和具有所述第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置处；混合处理步骤，用于驱动所述混合处理部生成作为混合处理的结果的中间混合图像，所述混合处理用于通过对于每个图像区域单元比较所述上采样的图像和所述运动补偿图像并且设置所述参考图像的混合系数来将所述上采样的图像与所述参考图像混合，其中， 如下设置所述参考图像的混合系数的值对于图像区域单元的像素值匹配度越高，对所述图像区域单元设置的所述混合系数的值越高；以及输出图像生成步骤，用于驱动所述输出图像生成部接收并处理所述中间混合图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像，其中，所述超分辨率处理结果图像是作为被执行作为用以提高所述输入图像的分辨率的处理的超分辨率处理的结果而获得的，所述噪声降低处理结果图像是作为用以降低所述输入图像的噪声而执行的噪声降低处理的结果而获得的。
18. 一种图像处理程序，由采用上采样部、运动补偿图像生成部和输出图像生成部的图像处理设备执行，用以实现以下步骤上采样处理步骤，用于驱动所述上采样部执行上采样处理，从而生成上采样的图像，所述上采样处理用以将构成具有第一分辨率的输入图像的像素的数量增加至构成具有比所述第一分辨率高的第二分辨率的图像的像素的数量；运动补偿图像生成步骤，用于驱动所述运动补偿图像生成部生成作为校正处理的结果的运动补偿图像，所述校正处理用以通过利用与所述上采样的图像和具有所述第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置处；输出图像生成步骤，用于驱动所述输出图像生成部接收并处理所述运动补偿图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像，其中，所述超分辨率处理结果图像是作为被执行作为用以提高所述输入图像的分辨率的处理的超分辨率处理的结果而获得的，所述噪声降低处理结果图像是作为用以降低所述输入图像的噪声而执行的噪声降低处理的结果而获得的。
全文摘要
本发明公开了一种图像处理设备、图像处理方法和图像处理程序。该图像处理设备，包括上采样部，被配置为执行上采样处理以生成上采样的图像；运动补偿图像生成部，被配置为生成作为校正处理的结果的运动补偿图像，所述校正处理通过利用与所述上采样的图像和具有第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置；混合处理部，被配置为生成作为用于将所述上采样的图像与所述参考图像混合的混合处理的结果的混合图像；以及输出图像生成部，被配置为接收并处理所述混合图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像。
文档编号G06T7/20GK102243756SQ20111011624
公开日2011年11月16日 申请日期2011年5月3日 优先权日2010年5月10日
发明者名云武文, 罗俊, 近藤雄飞 申请人:索尼公司