专利名称：图像处理系统、图像处理方法和图像处理程序的制作方法
技术领域：
本发明涉及图像处理系统、图像处理方法和图像处理程序，并且特别地涉及用于指定其中基于假设几何变形模型计算的在图像之间的像素关系由于被摄体的局部运动而变得不适当的区域的图像处理系统、图像处理方法和图像处理程序。
背景技术：
使用多个帧的图像生成高分辨率图像的方法的实例是多帧退化逆变换方法(例如，见专利文献(PTL) 1)。通常，在利用照相机捕捉被摄体图像的多个帧的情形中，照相机的位置或者姿态从帧到帧轻微地改变。这在不同图像之间引起被摄体的采样位置的子像素水平位移。这里述及的子像素水平位移意味着例如利用小于一个像素的精度表达的位移。由于这种轻微的位移，在图像之间，被摄体的同一部分的像素在像素值方面不同。在多帧退化逆变换方法中，被摄体的位置位移是被以小于像素间隔的高精度估计的，由此从为被摄体的同一部分捕捉的多个图像的像素值生成高分辨率图像。这种方法包括以高精度估计被摄体的位置位移的位置位移量估计过程，和基于所获得的位置位移量生成高质量图像的高质量图像生成过程。在下面更加详细地描述了这些过程。图20示出经历位置位移量估计的图像的实例。图20(a)所示图像101是在多个输入图像中用作参考的参考图像，而图20(b)所示图像102是除了参考图像之外的输入图像。 在参考图像101中的大楼103和房子104和在另一图像102中的大楼105和房子106是相同的被摄体。当捕捉图像102时照相机的位置或者姿态不同于当捕捉参考图像101时照相机的位置或者姿态。这在图像101和102之间在代表同一部分的像素的位置中引起位移。 于在多个图像之间估计这种像素位置位移的情形中，预先假设几何变形模型，并且基于变形模型对于每一个像素计算位置位移量。于在该多个输入图像之间估计每一个像素的位置位移量之后，基于估计位置位移量从该多个输入图像获得了高分辨率图像的像素值。例如， 作为这种技术，已知ML (最大似然)方法、MAP (最大后验)方法等(见非专利文献(NPL) 1)。于在被摄体中包括移动对象的情形中，移动对象不同于由假设变形模型示意的变化地移动。这引起像素的不正确的估计的位置位移量。为了从包括这种被摄体的图像生成高分辨率图像，带有不正确的估计的位置位移量的像素被检测，并且使用除了检测到的像素之外的像素应用ML方法或者MAP方法。在NPL 2中描述了检测带有不正确的估计的位置位移量的像素的方法。在NPL 2中描述的方法中，基于在图像之间的像素差检测带有不正确的位置位移量的像素。而且，在PTL 2中描述了考虑图像中的运动部分地生成高分辨率图像的方法。在 PTL 2中描述的方法中，在于除了参考帧之外的目标图像中经历运动确定的对象像素和围绕该对象像素的、在参考帧中的像素之间计算亮度值的最大值和最小值。最大值由Vmax表示，并且最小值由Vmin表示。对象像素的亮度值由Vtest表示。阈值由Δ Vth表示。在以下两个表达式得以满足的情形中，对象像素被确定为不具有任何运动。否则，对象像素被确定为具有运动。
Vtest > Vmin- Δ VthVtest < Vmax+ Δ Vth引用列表专利文献PTL 1 日本专利申请公开No. 2000-188680(第3到7页)PTL 2 日本专利申请公开 No. 2005-130443(第 0091、0110、0112 段)非专利文献NPL 1 :Sung Cheol Park, Min Kyu Park, Moon Gi Kang, "Super-resolution image reconstruction -.a technical overview", Signal Processing Magazine, IEEE, Volume 20，Issue 3，May 2003，p. 21 to 36( “超分辨率图像重构技术概述”，信号处理杂志，IEEE，卷20，期3，2003年5月，第21至36页)NPL 2 :Zoran A. Ivanovski, Ljupcho Panovski, Lina J. Karam, "Robust super-resolution based on pixel-level selectivity", Proc. SPIE, Vol.6077,607707, 2006 ( “基于像素水平选择性的鲁棒性超分辨率”，SPIE会议录，卷6077，607707，2006)
发明内容
技术问题在移动对象作为被摄体存在的情形中，如果移动对象的运动未被加以考虑，则不能以高精度估计每一个像素的位置位移量。这使得从多个输入图像获得高分辨率图像是不可能的。图21示出在不仅图20所示大楼和房子而且还有月亮作为被摄体得以捕捉的情形中的图像。图21 (a)示出参考图像201，而图21(b)示出另一图像202。与在图20中的那些相同的被摄体被给予与在图20中相同的参考符号。在参考图像201中的大楼103和房子104被一致地变形为在另一图像202中的大楼105和房子106。在另一方面，由月亮自身的运动引起的位置位移在参考图像201中的月亮207和另一图像202中的月亮208之间发生，从而月亮部分的变形并不符合于由预先假设的几何变形模型示意的变形，即，在该实例中整个图像的一致变形。因为这个部分的估计位置位移量是不正确的，所以获得高质量图像是不可能的。在NPL 2和PTL 2中描述的技术以不正确的估计位置位移量指定这种区域。通过在排除这个区域的同时生成高质量图像，与在移动对象的运动未被加以考虑的情形中相比，图像质量能够得以改善。然而，如在NPL 2中描述的方法中，在使用在相应的图像之间的简单像素差的方法中，如果在相邻像素之间存在大的像素值变化，则实际上适合于在高质量图像生成过程中使用的区域趋向于被确定为不适合于高质量图像生成过程的区域。因此，存在以下问题， 即，在带有大的像素值变化的区域中，排除这种区域也导致图像质量改善效果的降低。在下面更加详细地描述了这个问题。通常，由于在照相机的位置或者姿态中的轻微的改变，在图像之间代表同一被摄体部分的像素在像素值方面不同。于在相邻像素之间带有大像素值变化的区域中，这个趋势是特别地明显的。相应地，在基于在多个图像之间相应像素的简单像素值差执行不适当区域确定的情形中，即便像素代表同一部分，该区域也被确定为不适当区域。图22示出相应的像素的大像素值变化的实例。图22(a)示出由黑色区域和白色区域构成的被摄体301。假设作为利用不同的照相机位置或者姿态捕捉这个被摄体的图像的结果获得了图像302和303，此时图像302和303之间发生等价于0. 5像素的位置位移。在图像302中的右上像素304是黑色的。同时，因为以0.5像素从图像302 移位，在图像303中的右上像素305是灰色的，这是在黑色和白色之间的中间颜色。虽然像素304和305这两者都是代表图像301的同一部分的像素，但是像素304是黑色的，而像素 305是灰色的，从而在像素304和305之间存在大的像素值差。结果，诸如实际上代表同一部分的像素304和305这样的区域趋向于被确定为不适合于高质量成像过程的区域，并且被从高质量成像过程排除。在PTL 2中描述的方法中，同样，存在应该被确定为适合于高质量成像过程的像素被确定为不适当的像素的可能性。图23是示出这种情况的实例的说明图。为了简洁起见，在图23中像素坐标以一维绘制。在图23中，横轴是像素坐标轴，并且纵轴代表像素亮度值。圆形标识参考图像中的像素，并且正方形标识另一图像中的像素。这里假设像素150 是对象像素，并且像素160到162是围绕像素150的像素。图23(b)示出被确定为不是运动图像的区域。如在图23(b)中所示，当像素162的亮度值是Vmin并且像素160的亮度值是Vmax时，如果对象像素的亮度值不被包括在(Vmin-AVth)到(Vmax+AVth)的范围中， 则对象像素被确定为不适当区域的像素。因此，图23所示对象像素150被确定为不适当区域的像素。然而，对象像素150的亮度值接近像素160的亮度值，并且从而像素150能够被视为适合于高质量成像过程的像素。在PTL 2中描述的方法中，即使这种像素150也被确定为不适合于高质量成像过程的像素。以上作为实例描述了从多个输入图像生成高质量图像的情形。在其它情形中，同样，可能需要指定并不符合于由假设几何变形模型示意的变化的局部区域。鉴于此，本发明的一个示例性目的在于提供能够高度准确地确定并不与假设的改变相符合的局部区域的图像处理系统、图像处理方法、和图像处理程序。技术方案根据本发明的图像处理系统包括位置位移量计算装置，所述位置位移量计算装置用于计算在目标图像和参考图像之间的位置位移的位置位移量，所述目标图像是经历是否存在不与相对于所述参考图像的假设的改变相符合的局部区域的确定的图像；和像素操作装置，所述像素操作装置用于通过当所述目标图像得以校正从而消除位置位移时指定与在所述目标图像中的像素的位置最靠近的、在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，计算作为相关像素的各自向量的差向量的相关像素差向量，并且基于所述相关像素差向量和在预定空间中的椭圆体，确定在所述目标图像中的像素是否是所述局部区域的像素，所述椭圆体与在所述参考图像中的像素相关。根据本发明的图像处理方法包括计算在目标图像和参考图像之间的位置位移的位置位移量，所述目标图像是经历是否存在不与相对于所述参考图像的假设的改变相符合的局部区域的确定的图像；和通过当所述目标图像得以校正从而消除位置位移时指定与在所述目标图像中的像素的位置最靠近的、在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，计算作为相关像素的各自向量的差向量的相关像素差向量，并且基于所述相关像素差向量和在预定空间中的椭圆体，确定在所述目标图像中的像素是否是所述局部区域的像素，所述椭圆体与在所述参考图像中的像素相关。根据本发明的图像处理程序使得计算机执行位置位移量计算过程，所述位置位移量计算过程计算在目标图像和参考图像之间的位置位移的位置位移量，所述目标图像是经历是否存在不与相对于所述参考图像的假设的改变相符合的局部区域的确定的图像；和像素操作过程，所述像素操作过程通过当所述目标图像得以校正从而消除位置位移时指定与在所述目标图像中的像素的位置最靠近的、在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，计算作为相关像素的各自向量的差向量的相关像素差向量，并且基于所述相关像素差向量和在预定空间中的椭圆体，确定在所述目标图像中的像素是否是所述局部区域的像素，所述椭圆体与在所述参考图像中的像素相关。技术效果根据本发明，能够以高精度确定不与假设的改变相符合的局部区域。
图1是示出在本发明示例性实施例1中的图像处理系统的实例的框图。图2是示出可接受空间的实例的说明图。图3是每一个均示出最大变化向量的说明图。图4是示出经校正目标图像中的像素和参考图像中的像素的说明图。图5是示出在示例性实施例1中的处理的实例的说明图。图6是示出在本发明的示例性实施例2中的图像处理系统的实例的框图。图7是示出在经校正目标图像中的像素和参考高分辨率图像中的像素的说明图。图8是示出在示例性实施例2中的处理的实例的流程图。图9是示出在本发明的示例性实施例3中的图像处理系统的实例的框图。图10是示出在目标图像中的像素值替代的实例的说明图。图11是示出在示例性实施例3中的处理的实例的流程图。图12是示出在本发明的示例性实施例4中的图像处理系统的实例的框图。图13是示出混合图像生成的实例的说明图。图14是示出在示例性实施例4中的处理的实例的流程图。图15是示出在本发明的示例性实施例5中的图像处理系统的实例的框图。图16是示出在示例性实施例5中的处理的实例的流程图。图17是示出在本发明的示例性实施例6中的图像处理系统的实例的框图。图18是示出不适当区域的实例的说明图。图19是示出根据本发明的最小结构的框图。图20是示出经历位置位移量估计的图像的实例的说明图。图21是示出在其中不仅图20所示大楼和房子而且还有月亮作为被摄体得以捕捉的情形中的图像的图表。图22是示出相应的像素的大像素值变化的实例的说明图。图23是示出其中应该被确定为适合于高质量成像过程的像素的像素被确定为不适当的像素的实例的说明图。
具体实施例方式参考附图在下面描述了本发明的示例性实施例。以下作为实例描述了其中输入多个彩色图像并且在彩色图像中指定并不符合于由假设的几何变形模型示意的变化的局部区域的情形。示例性实施例1图1是示出在本发明的示例性实施例1中的图像处理系统的实例的框图。在这个示例性实施例中的图像处理系统包括在程序控制下操作的计算机(CPU、处理器、数据处理器)400、图像输入装置410，和图像输出装置420。计算机400包括位置位移量估计装置 401、不适当区域确定装置402、和图像重构装置403。不适当区域确定装置402包括可接受区域计算装置404、像素差计算装置405、不适当区域提取装置406、和不适当区域存储装置 407。图像输入装置410包括参考图像输入装置411和目标图像输入装置412。令K是输入到图像输入装置410的图像的数目。图像编号k(k =1,...,K)被分配给每一个图像， 由此通过它的图像编号区别每一个图像。每一个输入图像均具有相同数目的像素。在一个图像中的每一个像素由像素编号i识别的情形中，由^表示其元素是在具有图像编号k 的图像中的像素i的像素值的向量。例如，在图像由YUV信号表示的情形中，其元素是在具有图像编号k的图像中的像素i的像素值的向量^d被表达为三维向量^d = (Yki, Uki, Vki) tO Yki是第i像素的Y信号(亮度)，并且Uki和Vki是第i像素的U信号和V信号(色度信号)。同时，t表示转置矩阵。虽然这里作为实例描述了其中图像由YUV信号表示的情形，但是图像可以被以其它格式表示。例如，图像可以被以RGB格式表示。在此情形中，&是其元素是R、G和B分量的三维向量。向量^ti的维数不限于三。例如，在其中图像被以灰度级表示的情形中，向量&是一维向量。在其中图像是多光谱图像或者高光谱图像的情形中，向量&是具有比三更大的维数的多维向量。假设在输入图像中的每一个个体像素均由r个信号表示。贝U， 色彩空间是r维空间，并且向量&是r维向量。以下作为实例描述了其中图像被以YUV格式表示的情形。以下描述了图1所示的每一个装置。这里，在位置位移量估计计算中用作参考的图像被称作参考图像，并且经历像素从参考图像移位多少的计算的图像被称作目标图像。在输入到图像输入装置410的K个图像中，一个图像是参考图像并且其余图像中的每一个均是目标图像。K个输入图像中的任何一个可以被设为参考图像。这个示例性实施例描述了其中第一图像(其中k = 1的图像) 被设为参考图像的实例。参考图像输入装置411接收在位置位移量估计计算中用作参考的参考图像的输入，并且存储参考图像。目标图像输入装置412接收目标图像的输入，并且存储目标图像。位置位移量估计装置401基于输入到参考图像输入装置411的参考图像中的像素值和输入到目标图像输入装置412的目标图像中的像素值以子像素精度(小于一个像素的精度)计算它们的相对位置位移量，并且存储位置位移量。这里述及的位置位移是由假设的几何变形模型示意的改变诱发的位置位移。位置位移量估计装置401还可以指定示意参考图像中的像素应该被改变为哪一个位置以获得目标图像的变换方法。目标图像相对于参考图像的改变由一致几何变形模型诸如平移或者旋转、利用诸如B-样条函数(B-spline)的插值函数表达的非一致几何变形模型或者这些几何变形模型的组合示意。即，由假设的几何变形模型示意的改变具有包括整个图像的一致改变和整个图像的非一致改变的类型。位置位移量估计装置401可以预先为这些改变类型中的每一种存储示意图像变换方法和改变量的参数，并且使用所存储信息估计位置位移量。例如，位置位移量估计装置401可以利用每一种变换方法变换参考图像，为每一个像素计算在变换的图像中的像素值和目标图像中的像素值之间的差，求取计算的差的总和，并且指定对应于最小总和的变换方法和改变量以由此确定位置位移量。可替代地，几何变形模型(用于参考图像的变换方法的类型)可以是预定的，其中位置位移量估计装置401估计在变形模型中的变换量(即位置位移的改变量)。例如，假设基于照相机位置差的、在参考图像和目标图像之间的位置位移能够由预定变换方法诸如平移示意，则位置位移量估计装置401可以估计位置位移的改变量(例如平移量)。在此情形中，位置位移量估计装置401可以例如通过梯度方法等的使用而计算与在变换的参考图像中的像素的像素值和目标图像中的像素的像素值之间的差的最小平方和对应的这种改变量，并且指定示意改变量的参数以由此确定位置位移量。在下面的参考文献1中描述了以此方式指定位置位移量的方法。[参考文 l]Bruce D.Lucas, Takeo Kanade,"An Iterative Registration Technique with an Application to Stereo Vision，，，Proceedings of Imaging Understanding Workshop，1981，pp. 121 to 130( “应用于立体视觉的迭代配准技术”，IUff 会议录，1981，第121至130页)。以下作为实例描述了其中几何变形模型是预定的并且位置位移量估计装置401 估计变形模型中的改变量的情形。即，在下面作为实例描述了其中从参考图像到目标图像的变换方法是预先已知的并且执行与改变量有关的估计的情形。位置位移量估计装置401对于每一个个体目标图像估计从参考图像的位置位移量。不适当区域确定装置402对于每一个目标图像，使用被存储在参考图像输入装置 411中的参考图像中的像素值和由位置位移量估计装置401获得的图像间位置位移量来指定不适合于高质量图像生成过程的区域，并且存储所指定的区域。可接受区域计算装置404使用在输入到参考图像输入装置411的参考图像中的像素值计算可接受区域，并且存储所计算的可接受区域。可接受区域是在色彩空间中的如下的区域，即，该区域用于确定在目标图像中的像素是否是与由假设的几何变形模型示意的改变相符合的区域的像素。在这个示例性实施例中，如上所述地，预先假设几何变形模型。 为参考图像中的每一个个体像素确定了可接受区域。假设目标图像被校正从而消除从参考图像的位置位移，并且最靠近经校正的目标图像中的像素的、在参考图像中的像素得以指定以使得在目标图像中的像素与在参考图像中的像素相关。在这种情形中，如果相对于在参考图像中的像素由目标图像中的像素的像素值示意的在色彩空间中的位置被包括于参考图像中的像素的可接受区域中，则目标图像中的像素能够被视为与由预先假设的几何变形模型示意的改变相符合的区域的像素(换言之，不存在由固定对象的运动等引起的局部改变的区域)。可接受区域计算装置404对于参考图像中的每一个像素计算这种可接受区域。注意，上述目标图像校正(用于消除位置位移的校正)被与可接受区域计算分开地执行，并且从而在可接受区域计算中没有使用目标图像。图2是示出可接受空间的实例的说明图。在图2所示色彩空间中，位置1403(Xli) 是由参考图像中的像素的像素值示意的色彩空间中的位置。椭圆体1401是为参考图像中的这个像素计算的可接受区域。位置14020 )是由目标图像中的像素示意的色彩空间中的位置。因为位置1402处于可接受区域1401中，所以在目标图像中的像素被确定为与由预先假设的几何变形模型示意的改变相符合的区域。在另一方面，当图2所示的位置 1404(xkl)是由目标图像中的像素的像素值示意的色彩空间中的位置时，因为位置1404在可接受区域1401外，所以在目标图像中的像素被确定为不是与由预先假设的几何变形模型示意的改变相符合的区域。可接受区域计算装置404逐一地选择在输入到参考图像输入装置411的参考图像中的像素，并且为每一个像素计算可接受区域。在已经选择了像素之后，可接受区域计算装置404为所选择的像素计算最大变化向量。可接受区域计算装置404然后设置如下的椭圆体作为可接受区域，即，该椭圆体沿着中心轴线方向的半径(此后“中心轴线半径”)是最大变化向量的幅度并且其中心轴线方向是与最大变化向量相同的方向。注意，虽然在η维色彩空间中的η维椭圆体具有η个主轴，但是除了中心轴线之外的(η-1)个轴线方向中的每一个的半径均是预定的。中心轴线是在η维椭圆体的η个主轴中具有最长主轴方向半径的轴线。在其中最大变化向量的幅度小于(η-1)个轴线方向的预定半径的情形中，可接受区域计算装置404设置预定半径的最大长度作为中心轴线半径。例如，在计算在图2中作为实例示出的三维椭圆体的情形中，短轴半径是预定的，并且可接受区域计算装置404设置其长轴半径是最大变化向量的幅度的区域作为可接受区域。这里，如果最大变化向量的幅度小于短轴半径，则可接受区域计算装置404设置其长轴半径与短轴半径相同的椭圆体作为可接受区域。图3Α和图;3Β是示出最大变化向量的说明图。图3Α示出选自参考图像的像素i 和邻近于像素i的周围像素。如在图3A中所示，存在围绕选定像素i的八个像素。可接受区域计算装置404计算在选定像素i和它的周围像素中的每一个之间的差向量。可接受区域计算装置404计算通过从其元素是像素i的周围像素的像素值的向量减去其元素是像素 i的像素值的向量而获得的向量，作为差向量。例如，当Xli和Xlj分别地表示图3A所示像素i和j的向量时，可接受区域计算装置404计算Xlj-Xli作为差向量。注意，在色彩空间中，从具有作为坐标值的、像素i的像素值的位置到具有作为坐标值的、像素i的周围像素的像素值的位置的方向被称作像素值梯度。这样，上述差向量的方向能够被视为像素值梯度。在其中如在图3A中所示存在八个周围像素的情形中，可接受区域计算装置404计算八个差向量。可接受区域计算装置404从差向量中指定具有最大幅度的差向量。所指定的向量被称作最大变化向量。在选定像素的周围像素中形成最大变化向量的像素被称作最大变化像素。由可接受区域计算装置404计算的差向量是在参考图像中的像素及其周围像素之间的差向量，并且能够被称作相邻像素差向量。在图3A所示实例中，假设像素j是最大变化像素。令位置1703是由选定像素的像素值示意的色彩空间(在这个示例性实施例中YUV空间)中的位置(见图:3B)，并且位置 1706是由最大变化像素j的像素值示意的色彩空间中的位置(见图:3B)。这样，图:3B所示向量1705是最大变化向量。为参考图像中的像素i所计算的最大变化向量由Axli表示。可接受区域计算装置404计算示意如下的椭圆体的参数，并且存储所计算的参数，即，该椭圆体的中心是由选定像素i的像素值示意的色彩空间中的位置、其中心轴线半径是最大变化向量Δχ 的幅度，并且其中心轴线方向是与最大变化向量相同的方向。在作为实例在图2中示出的三维椭圆体的情形中，长轴是中心轴线。可接受区域计算装置404设置椭圆体作为可接受区域。这意味着指定如下这种可接受区域，其从作为由选定像素i的像素值示意的色彩空间中的位置的中心到可接受区域在中心轴线上的每一个顶点具有相等的距离。换言之，在沿着中心轴线方向从中心展宽椭圆体时不存在任何失衡。例如，在图3A所示实例中，即使当在围绕像素i的像素中除了像素j之外的像素值是接近像素i的像素值时，可接受区域计算装置404也不将一个长轴设为长并且将另一长轴设为短。最大变化向量的方向根据选定像素而不同。此外，当在像素i及其周围像素之间存在更大像素值变化时，最大变化向量的幅度更大。因此，对于在参考图像中的每一个像素，可接受区域计算装置404根据最大变化向量的方向和幅度来确定可接受范围。以上描述了其中由选定像素i的像素值示意的色彩空间中的位置被设为椭圆体的中心并且根据最大变化向量确定椭圆体的中心轴线方向和中心轴线半径的情形。然而， 作为可接受区域的椭圆体可以由其它方法确定。例如，可接受区域计算装置404可以计算选定像素i及其周围八个像素的平均像素值。作为实例，在其中像素具有YUV格式的情形中，可接受区域计算装置404可以计算选定像素及其周围像素的Y信号的平均值、U信号的平均值和V信号的平均值，并且然后确定由Y、U和V信号的平均值中的每一个示意的色彩空间中的位置作为椭圆体的中心位置。可接受区域计算装置404进一步计算协方差矩阵， 并且使用主分量分析指定第一主轴(中心轴线)的方向和第一主分量得分。可接受区域计算装置404确定其中心轴线半径是所获得的第一主分量得分中的最大的一个的椭圆体(可接受区域)。而且，可以采用以下方法作为使用主分量分析确定可接受区域的方法。在这种方法中，如在上述情形中，可接受区域计算装置404计算选定像素i及其周围八个像素的平均像素值，并且设置由每一个平均值示意的色彩空间中的位置作为椭圆体的中心位置。可接受区域计算装置404然后计算协方差矩阵，使用主分量分析指定第η主轴和第η主分量得分，并且设置第η主轴的方向作为椭圆体的第η轴线的方向。可接受区域计算装置404进一步设置tn+L作为第η轴线的方向的半径，在此处tn是第η主分量得分中的最大的一个。 在其中像素值是N维的情形中，η = 1，...，N。例如，在YUV图像的情形中，N= 3，并且η 采取从1到3的值。L是用于确定半径的预定常数。像素差计算装置405校正目标图像从而消除由位置位移量估计装置401估计的位置位移。因为已经通过位置位移量估计装置401估计了位置位移量，所以像素差计算装置 405仅仅需要执行从参考图像到目标图像的变换的逆变换从而除去位置位移量，并且获得当位置位移得以消除时的目标图像中的像素位置。像素差计算装置405然后指定与经校正的目标图像中的像素相关的参考图像中的像素，并且计算由相关像素的像素值示意的向量(即其元素是像素值的向量)的差向量。由像素差计算装置405计算的差向量是参考图像和目标图像的相关向量的差向量，并且能够被称作相关像素差向量。位置位移量由位置位移量估计装置401以子像素精度估计。相应地，当像素差计算装置405校正目标图像从而消除位置位移时，在经校正的目标图像中的像素并不总是匹配在参考图像中的像素。图4是示出在经校正的目标图像中的像素和在参考图像中的像素的说明图。在图4中示出二维平面，该二维平面示意每一个像素在相关图像中位于哪一个位置。由圆形指定的每一个像素是在参考图像中的像素。由三角形指定的每一个像素是在经校正的目标图像中的像素。类似地，由正方形指定的每一个像素是在另一经校正的目标图像中的像素。因为每一个目标图像均被校正从而消除以子像素精度估计的位置位移， 所以在每一个目标图像中的像素并不是必要地匹配在参考图像中的像素，如在图4中所示。像素差计算装置405指定在参考图像中的、最靠近在经校正的目标图像中的像素的位置(在图像中的位置)的像素，以使得该两个像素相关。这限定了在目标图像中的像素和参考图像中的像素之间的关系。像素差计算装置405然后计算其元素分别地是相关像素的像素值的向量(在色彩空间中的向量)的差向量。例如，像素差计算装置405指定在参考图像中的、最靠近在图4所示目标图像中的像素1501的像素1502，以使得像素1501与像素 1502相关。像素差计算装置405然后通过从其元素是像素1501的像素值的向量减去其元素是像素1502的像素值的向量而计算差向量。像素差计算装置405为在每一个目标图像中的每一个像素计算差向量。注意，替代直接地计算差向量，像素差计算装置405可以通过从在参考图像中的像素插值而获得在目标图像中的像素位置处的像素值，并且计算其元素是通过插值获得的像素值的向量和由在参考图像中的像素的像素值示意的向量的差向量。例如，像素差计算装置405可以通过使用参考图像中的像素值而利用双线性插值或者双三次插值计算图4所示像素1501的像素值，并且计算其元素是计算出的像素值的向量和其元素是像素1502的像素值的向量的差向量。不适当区域提取装置406使用由像素差计算装置405获得的可接受区域，对于在目标图像中的每一个像素，确定像素是否是不与由预先假设的几何变形模型示意的改变相符合的区域的像素。更加详细地，通过使用为与在目标图像中的像素相关的、在参考图像中的像素计算的可接受区域和为该两个像素计算的差向量，不适当区域提取装置406确定由在目标图像中的像素的像素值示意的色彩空间中的位置是否在可接受区域外。如果由在目标图像中的像素的像素值示意的在色彩空间中的位置在可接受区域外，则不适当区域提取装置406确定在目标图像中的像素是不与由预先假设的几何变形模型示意的改变相符合的区域的像素。在另一方面，如果由在目标图像中的像素的像素值示意的在色彩空间中的位置在可接受区域内或者在其边界处，则不适当区域提取装置406确定在目标图像中的像素是与由预先假设的几何变形模型示意的改变相符合的区域的像素。不与由预先假设的几何变形模型示意的改变相符合的区域是不适合于高质量图像生成的区域。这种区域简单地被称作不适当区域。同时，与由预先假设的几何变形模型示意的改变相符合的区域是适合于高质量图像生成的区域。这种区域简单地被称作适当区域。
不适当区域存储装置407存储由不适当区域提取装置406计算的不适当区域的像素的像素编号。这个像素编号是用于识别在图像中的像素的像素编号，并且可以为每一个像素预先设定。当确定像素作为不适当区域的像素时，不适当区域提取装置406可以在不适当区域存储装置407中存储像素的像素编号。可替代地，用于指定不适当区域的像素的信息可以被以除了像素编号之外的形式存储。而且，替代存储像素编号，不适当区域提取装置406可以对于在目标图像中的每一个像素，基于在目标图像中的像素是否对应于不适当区域的计算结果而计算在目标图像中的像素是否是将由图像重构装置403使用的适当区域的可靠性水平，并且在不适当区域存储装置407中存储可靠性水平。图像重构装置403基于由位置位移估计装置401计算的估计位置位移量、被存储在不适当区域存储装置407中的不适当区域的像素编号和被存储在图像输入装置410中的多个图像的像素值重构高分辨率图像。这个高分辨率图像被称作重构图像。在下面更加详细地描述了图像重构装置403。令Ik是如下的列向量，其中，仅仅在K个输入图像中的第k 输入图像(k是从1到K的整数)的像素值中的亮度值(在YUV格式中的Y信号)被以预定次序排列。当在每一个输入图像中的像素的数目由N表示时，Ik是被表达为(Ykl，Yk2，...， Yki，...，YJtW N 维向量。而且，令向量T是其中仅仅由图像重构装置403获得的重构图像的亮度值(在YUV 格式中的Y信号)被以预定次序排列的列向量。重构图像是具有比输入图像更高的分辨率的图像(即具有更大的像素数目的图像)。在重构图像中的像素数目由M表示，这里M > N。向量T是M维向量。用以在Ik和T中排列亮度值的次序可以例如是光栅扫描次序，或者可以是除了光栅扫描次序之外的次序。通过求取最小化由以下表达式(1)给出的评价函数E[T]的这种向量T，图像重构装置403计算在重构图像中的每一个像素的亮度值(Y信号)。[数学式1]
权利要求
1.一种图像处理系统，包括位置位移量计算装置，所述位置位移量计算装置用于计算在目标图像和参考图像之间的位置位移的位置位移量，所述目标图像是经历是否存在不与相对于所述参考图像的假设的改变相符合的局部区域的确定的图像；和像素操作装置，所述像素操作装置用于通过当所述目标图像得以校正从而消除位置位移时指定与在所述目标图像中的像素的位置最靠近的、在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，计算作为相关像素的各自向量的差向量的相关像素差向量，并且基于所述相关像素差向量和在预定空间中的椭圆体，确定在所述目标图像中的像素是否是所述局部区域的像素，所述椭圆体与在所述参考图像中的像素相关。
2.根据权利要求1的图像处理系统，其中所述像素操作装置包括确定区域指定装置，所述确定区域指定装置用于按照在所述预定空间中的所述椭圆体指定确定区域，所述确定区域用于确定与在所述参考图像中的像素相关的、在所述目标图像中的像素是否是所述局部区域的像素；差计算装置，所述差计算装置用于通过当所述目标图像得以校正从而消除在所述目标图像和所述参考图像之间的位置位移时指定与在所述目标图像中的像素的位置最靠近的、 在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，并且计算作为相关像素的各自向量的差向量的相关像素差向量；和局部区域确定装置，所述局部区域确定装置用于对于在所述目标图像中的每一个像素，使用所述相关像素差向量，确定在所述目标图像中的像素的在所述空间中的位置是否在与所述像素相关的、在所述参考图像中的像素的所述确定区域的外部，以由此确定在所述目标图像中的像素是否是所述局部区域的像素。
3.根据权利要求2的图像处理系统，其中当输入所述参考图像时，所述确定区域指定装置逐一地选择在所述参考图像中的像素，计算作为选定像素和所述选定像素的每一个周围像素的各自向量的差向量的相邻像素差向量，指定作为具有最大幅度的相邻像素差向量的最大变化向量，并且设置由所述最大变化向量的幅度和方向以及所述选定像素的像素值所限定的椭圆体作为所述确定区域。
4.根据权利要求2的图像处理系统，其中所述确定区域指定装置包括最大变化像素指定装置，所述最大变化像素指定装置用于当输入所述参考图像时，逐一地选择在所述参考图像中的像素，并且从选定像素的周围像素当中指定对应于具有最大幅度的相邻像素差向量的最大变化像素，所述相邻像素差向量是所述选定像素和所述选定像素的每一个周围像素的各自向量的差向量；和确定区域计算装置，所述确定区域计算装置用于当所述局部区域确定装置对于每一个目标图像确定在所述目标图像中的像素是否是不与假设的改变相符合的所述局部区域的像素时，逐一地选择在所述参考图像中的像素，从所述选定像素和所述选定像素的最大变化像素计算相邻像素差向量，并且设置由所述相邻像素差向量的幅度和方向以及所述选定像素的像素值所限定的椭圆体作为所述确定区域。
5.根据权利要求2的图像处理系统，其中当输入所述目标图像时，所述确定区域指定装置逐一地选择在所述目标图像中的像素，计算作为选定像素和所述选定像素的每一个周围像素的各自向量的差向量的相邻像素差向量，指定作为具有最大幅度的相邻像素差向量的最大变化向量，并且设置由所述最大变化向量的幅度和方向以及所述选定像素的像素值所限定的椭圆体作为所述确定区域。
6.根据权利要求1的图像处理系统，其中所述像素操作装置包括差计算装置，所述差计算装置用于通过当所述目标图像得以校正从而消除在所述目标图像和所述参考图像之间的位置位移时指定与在所述目标图像中的像素的位置最靠近的、 在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，并且计算作为相关像素的各自向量的差向量的相关像素差向量；和局部区域确定装置，所述局部区域确定装置用于使用所述相关像素差向量对于在所述目标图像中的每一个像素计算基准指标值，并且基于所述基准指标值确定在所述目标图像中的像素是否是所述局部区域的像素，所述基准指标值示意以所述像素为中心的、在所述目标图像中的多个像素的在所述预定空间中的位置分别地在所述空间中的椭圆体之中还是外部的程度，其中所述椭圆体与在所述参考图像中的、与所述多个像素相关的像素相关。
7.根据权利要求6的图像处理系统，其中当输入所述参考图像时，所述局部区域确定装置逐一地选择在所述参考图像中的像素，计算作为选定像素和所述选定像素的每一个周围像素的各自向量的差向量的相邻像素差向量，指定作为具有最大幅度的相邻像素差向量的最大变化向量，并且根据所述最大变化向量限定所述椭圆体。
8.根据权利要求6的图像处理系统，其中所述局部区域确定装置当输入所述参考图像时，逐一地选择在所述参考图像中的像素，计算作为选定像素和所述选定像素的每一个周围像素的各自向量的差向量的相邻像素差向量，并且指定对应于具有最大幅度的相邻像素差向量的最大变化像素；并且当确定在所述目标图像中的像素是否是所述局部区域的像素时，逐一地选择在所述参考图像中的像素，从所述选定像素和所述选定像素的最大变化像素计算所述相邻像素差向量，并且根据所述相邻像素差向量限定所述椭圆体。
9.根据权利要求1到8中任一项的图像处理系统，包括图像生成装置，所述图像生成装置用于根据示意不与假设的改变相符合的所述局部区域的像素存在于何处的信息，从所述参考图像和所述目标图像生成一个图像。
10.根据权利要求9的图像处理系统，其中所述图像生成装置从所述参考图像和所述目标图像生成具有比所述参考图像和所述目标图像中的每一个更多的像素数目的高分辨率图像。
11.根据权利要求10的图像处理系统，包括像素值替代装置，所述像素值替代装置用于将被确定为不与假设的改变相符合的所述局部区域的像素的、在所述目标图像中的像素的像素值替代为与所述像素相关的、在所述参考图像中的像素的像素值，其中所述图像生成装置从所述参考图像和其中像素值已经由所述像素值替代装置所替代的所述目标图像来生成所述高分辨率图像。
12.根据权利要求9的图像处理系统，其中所述图像生成装置在从所述平均像素值的计算排除不与假设的改变相符合的所述局部区域的像素的同时，从所述参考图像和所述目标图像计算在所述参考图像和所述目标图像中的相关像素的平均像素值，并且生成利用计算出的平均像素值作为像素值的混合图像。
13.根据权利要求9的图像处理系统，包括像素值替代装置，所述像素值替代装置用于将被确定为不与假设的改变相符合的所述局部区域的像素的、在所述目标图像中的像素的像素值替代为与所述像素相关的、在所述参考图像中的像素的像素值，其中所述图像生成装置从所述参考图像和其中像素值已经由所述像素值替代装置所替代的所述目标图像来生成利用在所述参考图像和所述目标图像中的相关像素的平均像素值作为像素值的混合图像。
14.根据权利要求1到13中任一项的图像处理系统，包括参考图像分辨率增加装置，所述参考图像分辨率增加装置用于通过对所述参考图像插值而增加所述参考图像的分辨率，其中所述差计算装置通过当所述目标图像得以校正从而消除位置位移时指定与在所述目标图像中的像素的位置最靠近的、在具有增加的分辨率的所述参考图像中的像素而使得在所述目标图像中的像素与在具有增加的分辨率的所述参考图像中的像素相关，并且计算相关像素的各自向量的相关像素差向量。
15.根据权利要求1到13中任一项的图像处理系统，包括目标图像分辨率增加装置，所述目标图像分辨率增加装置用于通过对所述目标图像插值而增加所述目标图像的分辨率，其中所述差计算装置通过从通过校正具有增加的分辨率的所述目标图像从而消除位置位移而获得的图像中的像素当中指定与在所述参考图像中的像素的位置最靠近的像素， 而使得在具有增加的分辨率的所述目标图像中的像素与在所述参考图像中的像素相关，并且计算相关像素的各自向量的相关像素差向量。
16.一种图像处理方法，包括计算在目标图像和参考图像之间的位置位移的位置位移量，所述目标图像是经历是否存在不与相对于所述参考图像的假设的改变相符合的局部区域的确定的图像；和通过当所述目标图像得以校正从而消除位置位移时指定与在所述目标图像中的像素的位置最靠近的、在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，计算作为相关像素的各自向量的差向量的相关像素差向量，并且基于所述相关像素差向量和在预定空间中的椭圆体，确定在所述目标图像中的像素是否是所述局部区域的像素，所述椭圆体与在所述参考图像中的像素相关。
17.一种图像处理程序，用于使得计算机执行位置位移量计算过程，所述位置位移量计算过程计算在目标图像和参考图像之间的位置位移的位置位移量，所述目标图像是经历是否存在不与相对于所述参考图像的假设的改变相符合的局部区域的确定的图像；和像素操作过程，所述像素操作过程通过当所述目标图像得以校正从而消除位置位移时指定与在所述目标图像中的像素的位置最靠近的、在所述参考图像中的像素，而使得在所述目标图像中的像素与在所述参考图像中的像素相关，计算作为相关像素的各自向量的差向量的相关像素差向量，并且基于所述相关像素差向量和在预定空间中的椭圆体，确定在所述目标图像中的像素是否是所述局部区域的像素，所述椭圆体与在所述参考图像中的像素相关。
全文摘要
提供了能够以高度准确性来确定不与假设的改变相符合的局部区域的图像处理系统。位置位移量计算装置计算在目标图像和参考图像之间的位置位移量。像素操作装置当目标图像得以校正从而消除位置位移时指定与在目标图像中的像素的位置最靠近的、在参考图像中的像素，提供在目标图像中的像素与在参考图像中的像素相关，计算作为相关像素的各自向量之间的差向量的相关像素差向量，并且基于在预定空间中的对应于参考图像的像素(1403)的椭圆体(1401)确定在目标图像的像素(1402、1404)是否是局部区域的像素。
文档编号H04N1/387GK102326183SQ201080008698
公开日2012年1月18日 申请日期2010年2月19日 优先权日2009年2月19日
发明者柴田刚志 申请人:日本电气株式会社