专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种图像处理设备和图像处理方法，尤其涉及一种用于通过迭代反向投影方法进行超分辨率重建的图像处理设备和图像处理方法。
背景技术：
高分辨率图像在计算机视觉、医学、遥感等诸多领域有着广泛的应用。通过提高成像装置的分辨力来提高图像分辨率，将使摄像仪器成本昂贵，并且传统工艺也制约了成像装置分辨力的提高。于是，通过软件途径提高图像分辨率的超分辨率重建技术已成为研究执占。超分辨率重建是用多幅低分辨率图像，诸如视频中的低分辨率帧序列，合成一幅高分辨率图像的技术。当前常用的超分辨率重建方法之一是迭代反向投影(IBP，IterativeBack Projection)方法。例如，在发表于“中国科技论文在线”的郭伟伟、章品正等人的文章“基于IBP算法的超分辨率图像重建”介绍了一种IBP算法。当低分辨率图像序列中的各帧是采取交织模式的交织图像时，直接应用超分辨率技术，诸如迭代反向投影方法，将无法得到期望的结果。
发明内容
要解决这一问题，最直接的方法是将η帧交织图像的奇行和偶行拆出来，构成分辨率为WX(H/2)的2n幅图像(即，垂直分辨率降为原来的1/2)，以作为一序列的观测图像，然后进行超分辨率计算。这里，假设低分辨率图像序列中的各帧图像的分辨率为WXH，其中，W和H分别表示图像在水平和竖直方向上每单位长度(英寸)的像素点数。但这样做在低分辨率图像上已经损失了一半的分辨率，使得超分辨率图像的分辨率也降低一半。另一种方法是先对低分辨率图像去交织，由η幅交织图像(分辨率为WXH)恢复出2η幅同样大小(WXH)的图像，再对这2η幅图像应用超分辨率计算。这一方法可以保持低分辨率图像的分辨率，从而得到高分辨率的超分辨率图像。但是去交织只是对未知像素值的估计，估计值和真实值之间的误差经常劣化超分辨率的结果。鉴于现有技术的以上不足，本发明旨在提供一种用于通过迭代反向投影方法进行超分辨率重建的图像处理设备和图像处理方法，其能够更充分有效地利用交织模式下的序列低分辨率图像的图像信息，来生成更加清晰的超分辨率图像。本发明的一个实施例是一种图像处理设备，用于通过迭代反向投影方法进行超分辨率重建。该图像处理设备包括提取单元，被配置为从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像；投影单元，被配置为针对每一个所提取的奇场图像和偶场图像，通过把高分辨率参考图像投影到所述奇场图像和偶场图像来获得分别与所述奇场图像和偶场图像相对应的构造图像；误差计算单元，被配置为针对每个低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；以及反向投影单元，被配置为通过将奇场误差图像和偶场误差图像反向投影到高分辨率参考图像上，以更新高分辨率参考图像。进一步地，该图像处理设备还可以包括参考图像生成单元，被配置为根据低分辨率图像序列中之一低分辨率图像的奇场图像或偶场图像生成初始的高分辨率参考图像；以及运动估计单元，被配置为计算每一奇场图像和偶场图像相对于高分辨率参考图像的运动向量，以获得投影单元的投影和反向投影单元的反向投影所需的运动位移，其中，如果高分辨率参考图像初始生成时所根据的图像与待计算的奇场图像和偶场图像具有不同的奇偶性，则对所计算的运动向量的垂直分量 进行奇偶校正。进一步地，投影单元的投影/反向投影单元的反向投影可以采用纵向与横向比例为2 I的降/升采样。进一步地，投影单元和/或反向投影单元可以进一步被配置为采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器进行低通滤波。进一步地，投影单元和/或反向投影单元可以进一步被配置为采用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆低通滤波器进行低通滤波。进一步地，反向投影单元可以进一步被配置为针对每个低分辨率图像，根据已反向投影到高分辨率参考图像的奇场误差图像和偶场误差图像获取组合误差图像，以更新高分辨率参考图像。进一步地，反向投影单元可以进一步被配置为通过将已反向投影到高分辨率参考图像的奇场误差图像和偶场误差图像上相对应的像素分别相加来获取组合误差图像。本发明的另一个实施例是一种图像处理方法，用于通过迭代反向投影方法进行超分辨率重建。图像处理方法包括提取步骤，从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像；投影步骤，针对每一个所提取的奇场图像和偶场图像，通过把高分辨率参考图像投影到奇场图像和偶场图像来获得分别与奇场图像和偶场图像相对应的构造图像；误差计算步骤，针对每个低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；和反向投影步骤，通过将奇场误差图像和偶场误差图像反向投影到高分辨率参考图像上，以更新高分辨率参考图像。利用本发明，通过使用迭代反向投影方法，将高分辨率参考图像分别投影到从交织模式的低分辨率图像中提取的奇场图像和偶场图像来获得相应的构造图像，进而求取奇场和偶场误差图像来反向投影到高分辨率参考图像并对其进行更新，充分利用了低分辨率图像的图像信息，并且避免了使用去交织的低分辨率图像所带来的超分辨率图像劣化。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。图I是示出迭代反向投影算法的工作流程的示意图。图2是示出根据本发明实施例的用于通过迭代反向投影方法进行超分辨率重建的图像处理设备的示意性结构框图。
图3示出从交织模式的低分辨率图像提取相应奇场图像和偶场图像的示意图。图4示出根据本发明另一实施例的图像处理设备的结构。图5示出根据本发明实施例的参考图像生成单元生成高分辨率参考图像的过程的示意图。图6示出根据本发明实施例的通过迭代反向投影方法进行超分辨率重建的图像处理方法的流程图。
图7是示出根据本发明实施例的通过迭代反向投影方法进行图像的高分辨率重建的具体应用的流程图。图8是示出在本发明具体应用中计算构造图像与观测图像之间的误差图像的方法的流程图。图9是示出实现本发明的计算机的示例性结构的框图。
具体实施例方式下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域技术人员已知的部件和处理的表示和描述。下文中，将按如下顺序对根据本发明实施例的图像处理设备和图像处理方法进行说明I. IBP算法介绍2.图像处理设备的示例结构2. I奇/偶场图像的提取2. 2投影单元的投影处理2. 3误差计算单元的误差计算2. 4反向投影单元的反向投影处理3.图像处理设备的可选结构3. I高分辨率参考图像的生成3. 2运动估计与奇偶校正4.图像处理方法的示例流程5.图像的高分辨率重建实例L IBP算法介绍图I是示出迭代反向投影算法的工作流程的示意图。迭代反向投影算法的最初输入包括观测到的一系列低分辨率图像，如图I所示的一系列低分辨率观测图像103。一般地，该一系列低分辨率观测图像是对由诸如摄像机等图像采集装置获得的图像序列进行诸如去交织等处理后获得的，是构建超分辨率图像的基础。为了说明方便，将图I中最小的正方形区域视为一个像素，则每个低分辨率观测图像103的分辨率为2X2。在迭代反向投影算法中，如果要构建在水平和竖直方向上的分辨率都放大L倍(L> D的超分辨率图像，则首先需要构建一个分辨率为低分辨率观测图像的分辨率的L倍的初始推测图像，即高分辨率参考图像。与低分辨率观测图像103的分辨率相比，图I中所示的高分辨率参考图像101的分辨率分别在水平和竖直方向上放大了 L倍，即其总分辨率是(2L) X (2L)。迭代反向投影算法以初始的高分辨率参考图像开始。针对每个低分辨率观测图像103，根据高分辨率参考图像得到与低分辨率观测图像103的分辨率相同的低分辨率构造图像(图I中所示的低分辨率构造图像102)。这个过程是高分辨率参考图像101向低分辨率观测图像103投影的过程，也称为将高分辨率参考图像投影到低分辨率观测图像的过程。在这个过程中，与低分辨率观测图像103的像素(如以黑框示出的)相对应的高分辨率参考图像101的像素(同样以黑框示出)被投影为低分辨率构造图像102中的对应像素(以黑框示出)。然后，求取低分辨率构造图像102和相应低分辨率观测图像103之间的误差。如图I所示，例如，将低分辨率构造图 像102中的像素与相应低分辨率观测图像103中的对应像素的值相减，以得到误差图像104。然后，将低分辨率构造图像102和相应低分辨率观测图像103之间的误差(误差图像104)反映在高分辨率参考图像101中，以对其不断进行修正。这个过程是误差图像104向高分辨率参考图像101反向投影的过程。如图I所示，误差图像104中的像素被反映到高分辨率参考图像101的相应像素集中。从初始的高分辨率参考图像开始，针对一系列低分辨率观测图像中的每个重复上述投影和反投影的过程。最后，可以得到较理想的超分辨率图像。下文中，对根据本发明实施例的用于通过迭代反向投影方法进行超分辨率重建的图像处理设备进行详细描述。2.图像处理设备的示例结构图2是示出根据本发明实施例的通过迭代反向投影方法进行超分辨率重建的图像处理设备200的示意性结构框图。如图2所示，图像处理设备200包括提取单元201、投影单元202、误差计算单元203以及反向投影单元204。提取单元201被配置为从交织模式的低分辨率图像的序列I中的每个低分辨率图像IiQe [I, η], n e N)中提取相应的奇场图像OIi和偶场图像EIitl交织模式的低分辨率图像的序列可例如是采用隔行扫描方式的摄像机所记录的一段视频的帧序列。由这种摄像机所记录的视频的帧是以交织模式存储的。即，一帧图像的奇行和偶行分别存储前后两次拍摄的图像的奇行和偶行。提取单元201针对每一帧图像提取相应的奇场图像和偶场图像。假设每一帧图像的分辨率是WXH，则所提取的奇场图像和偶场图像的分辨率均为WX (H/2)。将在下面详细说明提取单元201的提取操作。由提取单元201所提取的奇场图像OIi和偶场图像EIi被提供给投影单元202和误差计算单元203。投影单元202被配置为针对每一个由提取单元201提取的奇场图像OIi和偶场图像EIi,通过将高分辨率参考图像投影到所提取的奇场图像OIi和偶场图像EIi来获得分别与该所提取的奇场图像OIi和偶场图像EIi相对应的构造图像。高分辨率参考图像是想要得到的高分辨率图像的猜想，本领域技术人员可以根据需要以本领域常用的各种方式构造，或预先准备。需要注意的是，假设想要获得的超分辨率图像的分辨率是(FW) X (FH)，则高分辨率参考图像的分辨率应是(FW) X (FH)，其中F可以为大于I的任意数。而因为所提取的奇场图像OIi和偶场图像EIi的分辨率是WX (H/2)，所以，投影单元202分别针对奇场图像OIi和偶场图像EIi进行投影处理所得到的、相对应的奇场构造图像OMi和偶场构造图像EMi的分辨率也是WX (H/2)。此外，投影单元202分别针对奇场图像OIi和偶场图像EIi进行投影处理所使用的投影方法可以采用IBP算法中常用的投影方法。投影单元202将获得的奇场构造图像OMi和偶场构造图像EMi输出到误差计算单元 203。
误差计算单元203被配置为针对每一个低分辨率图像Ii,例如针对每一帧视频图像，分别计算从中所提取的奇场图像OIi与相应的奇场构造图像OMi间的奇场误差图像eoi (其中每个像素的值是奇场图像和奇场构造图像中相应像素的值的差)和从中所提取的偶场图像EIi与相应的偶场构造图像EMi间的偶场误差图像^ (其中每个像素的值是偶场图像和偶场构造图像中相应像素的值的差)。由于奇场图像OIi以及与之相应的奇场构造图像OMi的分辨率都是WX (H/2)，所以计算出的奇场误差图像e()i的分辨率也是WX (H/2)。同样，由偶场图像EIi与相应的偶场构造图像EMi计算出的偶场误差图像eei的分辨率也是WX (H/2)。误差计算单元203将计算出的误差，即奇场误差图像 和偶场误差图像eei，输出到反向投影单元204。反向投影单元204被配置为通过将由误差计算单元203提供的奇场误差图像eoi和偶场误差图像eei反向投影到高分辨率参考图像上，以更新高分辨率参考图像。更新的高分辨率参考图像被提供到投影单元202，以重复进行上述处理，直到预先设置的迭代次数，或者直到得到可接受(例如误差小到预定程度)的超分辨率图像。下面，将对以上各单元所进行的操作进行详细说明。
_3] 2. I奇/偶场图像的提取图3示出从交织模式的低分辨率图像Ii(i e [I, η], n e N)提取相应奇场图像OIi和偶场图像EIi的不意图。在图3中，附图标记I表示交织模式的低分辨率图像序列中的低分辨率图像的集合U1,12，…,InIo Ii (i e [I,η],n e N)是一段视频中按照时间序列排列的低分辨率帧，且IiE I。图像Ii的分辨率为WXH。图3示出了以时间顺序排列的低分辨率图像的实施例，但本领域技术人员可了解用于进行超分辨率重建的低分辨率图像的处理顺序可不限于任何排列顺序。提取单元201对低分辨率图像Ii进行处理，以提取相应的奇场图像OIi和偶场图像EIit5如图3所示的实施例中，提取单元201提取图像Ii中的所有奇行像素，以生成只包含图像Ii的奇行的奇场图像OIit5奇场图像OIi的分辨率为WX (H/2)。此外，提取单元201提取图像Ii中的所有偶行像素，以生成只包含图像Ii的偶行的偶场图像EIit5偶场图像EIi的分辨率为WX (H/2)。2. 2投影单元的投影处理投影单元202将分辨率为(FW) X (FH)的高分辨率参考图像针对每一个所提取的奇场图像OIi和偶场图像EIi进行投影，从而获得与各奇场图像OIi和偶场图像EIi分别相对应的、分辨率为WX (H/2)的奇场构造图像OMi和偶场构造图像EMit5
投影单元202可以采用迭代反向投影算法应用中惯常使用的各种方式进行该投影处理。例如，构造成像过程，由高分辨率参考图像得到分辨率为WXH的构造图像。然后，从该构造图像中提取奇场和偶场，得到分辨率为WX (H/2)的奇场构造图像和偶场构造图像。然而，使用这种方法，当在图像的垂直方向上存在高频成分时，从低分辨率图像中抽取奇场和偶场，会造成混叠，影响效果。在本发明的一个实施例中，投影单元202在投影处理中采用纵向与横向比例为2 I的降采样。具体来说，投影单元202对高分辨率参考图像采用横向(图像的宽度方向，即图像中像素的行的方向)1/F、纵向(图像的高度方向，即图像中像素的列的方向)I/(2F)的降采样，以从高分辨率参考图像直接获得分辨率为WX (H/2)的奇/偶场构造图像。这样做的好处是避免了混叠的发生。
此外，一般，在进行降采样的抽取和升采样的插入时，都要进行低通滤波处理，以避免频域混叠产生的信号畸变。在本发明的各实施例中，在进行升/降采样时，可以使用各种低通滤波器进行滤波。在本发明的一个实施例中，在降采样时采用了椭圆低通滤波器进行低通滤波。进一步地，投影单元202可以选用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆滤波器进行低通滤波。特别地，在采用纵向与横向比例为2 I的降采样的实施例中，投影单元202可以采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器进行低通滤波。使用椭圆低通滤波器，尤其是采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比大于I的椭圆低通滤波器出于以下考虑相机CCD工作于交织模式时，在宽度方向和高度方向的空间采样频率实际是不一样的(当CCD的纵横比为理想的I : I时，宽度方向的采样频率为高度方向的采样频率的2倍)；采用椭圆滤波后可以补偿这个差别，使
信号得到最佳重建。此外，在视频中的诸如行人、车辆的拍摄对象运动速度较快时，或者，当对超分辨率重建图像的清晰度和准确度要求较高时，投影单元202需要在高分辨率参考图像和低分辨率观测图像(本发明中为奇场图像和偶场图像)之间进行运动校正。运动校正的方法以及运动校正所使用运动向量的获取方法可以采用本领域惯用的各种方法。2. 3误差计算单元的误差计算误差计算单元203接收从提取单元201提供的奇场图像OIi和偶场图像EIi,作为低分辨率观测图像。并且误差计算单元203接收从投影单元202提供的奇场构造图像OMi和偶场构造图像EMi,作为低分辨率构造图像。误差计算单元203针对每个低分辨率图像Ii，分别计算奇场图像OIi和相应的奇场构造图像OMi之间的奇场误差图像eoi，以及偶场图像EIi和相应的偶场构造图像EMi之间的偶场误差图像eei。误差计算单元203可以采用迭代反向投影算法中常用的误差图像计算方法来进行误差计算。计算出的奇场误差图像eoi和偶场误差图像eei的分辨率分别为WX (H/2)。2. 4反向投影单元的反向投影处理奇场误差图像eoi和偶场误差图像eei被输出到反向投影单元204，以进行反向投影处理。反向投影单元204将奇场误差图像eoi和偶场误差图像eei反向投影到高分辨率参考图像上，以对高分辨率参考图像进行更新。
反向投影单元可以采用反向迭代投影方法常用的各种方式进行反向投影处理。类似于投影单元202采用纵向与横向比例为2 I的降采样进行投影处理，反向投影单元204进行反向投影处理时可以采用纵向与横向比例为2 I的升采样，即，分别对奇场误差图像6&和偶场误差图像进行诸如横向1/F、纵向1/(2F)的升采样处理。此外，反向投影单元204可以对经过升采样的误差图像进行低通滤波，从而获得能够避免频域混叠的、分辨率为(FW)X(FH)的奇场/偶场误差图像。然后，反向投影单元204使用获得的奇场/偶场误差图像对高分辨率参考图像 进行更新。反向投影单元204可以使用各种低通滤波器进行上述滤波。在本实施例中，在升采样时采用椭圆低通滤波器进行低通滤波。进一步地，与降采样中采用的低通滤波器相似，可以选用在待滤波图像的高度方向上轴长大于宽度方向上轴长的椭圆低通滤波器。特别地，在采用纵向与横向比例为2 I的升采样的实施例中，可以采用在图像高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器进行低通滤波。在一些实施例中，反向投影单元204针对每个低分辨率图像Ii，根据已反向投影到高分辨率参考图像的(即分辨率为(FW) X (FH)的)奇场误差图像和偶场误差图像来获取组合误差图像，并使用所获取的组合误差图像来更新高分辨率参考图像。获取该组合误差图像的方法例如包括通过将已反向投影到高分辨率参考图像的、分辨率为(FW)X(FH)的奇场误差图像和偶场误差图像上相对应的像素分别相加来获取该组合误差图像。此处，像素相加指对应像素的亮度值相加。相似于投影单元202，在视频中的诸如行人、车辆的拍摄对象运动速度较快时，或者，当对超分辨率重建图像的清晰度和准确度要求较高时，反向投影单元204需要在低分辨率误差图像和高分辨率参考图像之间进行运动校正。运动校正的方法以及运动校正所使用运动向量的获取方法可以采用本领域惯用的各种方法。3.图像处理设备的可诜结构图4示出根据本发明另一个实施例的图像处理设备400的结构。图像处理设备400包括提取单元401、投影单元402、误差计算单元403、反向投影单元404、参考图像生成单元405以及运动估计单元406。其中，提取单元401、投影单元402、误差计算单元403以及反向投影单元404与结合图2说明的提取单元201、投影单元202、误差计算单元203以及反向投影单元204的功能和结构相同，因此，这里省略它们的详细描述。参考图像生成单元405被配置为根据低分辨率图像序列I中的一个低分辨率图像Ii的奇场图像OIi或偶场图像EIi生成初始的高分辨率参考图像％。具体生成方式在后面详细说明。由参考图像生成单元405所生成的高分辨率参考图像Rtl分别被输入到投影单元402和反向投影单元404(未示出)，以进行最初的投影和反投影处理。此外，该高分辨率参考图像Rtl还被输入到运动估计单元406，以进行Rtl相对于每一个奇场图像OIi和偶场图像EIi的运动位移的计算。运动估计单元406被配置为计算每一个奇场图像OIi和偶场图像EIi相对于高分辨率参考图像的运动向量，以获得投影单元402进行投影处理和反向投影单元404进行反投影处理时使用的运动位移。如果该高分辨率参考图像初始生成时所根据的图像与待计算的奇场图像OIi和偶场图像EIi具有不同的奇偶性，则运动估计单元406对所计算的运动向量的垂直分量进行奇偶校正。将在后面对此进行详细说明。3. I高分辨率参考图像的生成一般地，可以采用迭代反向投影算法中常用的各种方法来构造高分辨率参考图像。对于图2中所示的图像处理设备200，用于进行迭代更新的高分辨率参考图像也可以是预先准备好的。 作为本发明的一个实施例，如图4所示，图像处理设备400包括参考图像生成单元405。参考图像生成单元405可以根据低分辨率图像序列中的一个低分辨率图像Ii的奇场图像OIi或偶场图像EIi生成初始的高分辨率参考图像。图5示出根据本实施例的参考图像生成单元405生成高分辨率参考图像的过程的示意图。在图5所示的例子中，参考图像生成单元405从来自提取单元401的奇场图像OIi或偶场图像EIi中选取任意一个图像，作为生成初始高分辨率参考图像的依据。然后，参考图像生成单元405对选中的该奇场图像OIi或偶场图像EIi进行线性内插去交织等任何去交织方法，以得到一个分辨率为WXH的图像。在图5所示的例子中，选取由提取单元401提取的偶场图像EIk并对其进行内插得到大小为WXH的图像EIk’。然后，对图像EIk’进行F倍的升采样，从而得到分辨率为(Fff) X (FH)的高分辨率参考图像REk。其中，REk的下标Ek表示该高分辨率参考图像是根据第k帧图像的偶场图像EIk生成的。当然，参考图像生成单元405也可以直接从低分辨率图像序列I中选取一帧图像Ik,并使用从该帧得到的分辨率为WX (H/2)的奇场图像OIi或偶场图像EIi之一来生成参考图像。为了减少图像之间的相对运动，在本实施例中使用低分辨率图像序列中间的，也就是从第n/2个图像提取的奇场或偶场图像，作为高分辨率参考图像生成的根据。3. 2运动估计与奇偶校lH运动估计单元406可以使用图像处理领域常用的各种方法进行运动估计，以得到各图像与高分辨率参考图像之间的运动向量。在进行运动估计之前，运动估计单元406可以将分辨率为WX (H/2)的奇场图像OIi和偶场图像EIi的各行的长度压缩为原来的1/2，以得到分辨率为(W/2) X (H/2)的2n个图像。下文中将经过这种处理的图像称为待估计奇场图像或待估计偶场图像。进行这种压缩的好处是压缩后的图像与参考图像的纵横比一致，便于估计各幅图像相对于参考图像的运动。在高分辨率参考图像是根据奇场图像OIi或偶场图像EIi生成的情况下，为了使针对每一个奇场图像和偶场图像的运动估计结果更准确，可以对得到的运动向量进行奇偶校正。在一个实施例中，假设高分辨率参考图像是根据一个偶场图像EIk生成的，则在进行运动估计时，都是计算各个待估计奇场图像和待估计偶场图像相对于该偶场图像EIk对应的待估计偶场图像的变化。这里，估计的运动主要是水平(图像的宽度方向)和垂直(图像的高度方向)的运动位移hx和hy，且精度能够达到亚像素层次。由于运动估计是在(W/2) X (H/2)的图像上进行，而期望得到的是WXH的图像的运动，所以获得的各个运动位移要乘以2倍。此时，由于选取了偶场图像EIk来生成参考图像，求出的运动向量还要进行奇偶校正。具体来说，如果对待估计的奇场图像求出运动向量为(2hx，2hy)，则要修正为(2hx，2hy+l)。而对偶场，所获得的运动向量则保持不变。相反，如果选取了奇场图像来生成参考图像，则在对待估计的偶场图像求出运动向量为(2hx，2hy)时，要将其修正为(2hx+l，2hy)。而对奇场，所获得的运动向量保持不变。根据需要，运动估计单元可以只针对初始的高分辨率参考图像求取用于运动补偿的运动向量，并在之后的迭代过程中沿用这些运动向量。当然，也可以针对每一个更新的高分辨率参考图像求取运动向量。
接下来，结合图6说明通过迭代反向投影方法进行超分辨率重建的图像处理方法。4.图像处理方法的示例流程图6示出根据本发明实施例的通过迭代反向投影方法进行超分辨率重建的图像处理方法的流程图。在步骤S601中，从交织模式的低分辨率图像的序列I中的每个低分辨率图像Ii中提取相应的奇场图像OIi和偶场图像Eli。具体的提取方式如图3中所示，此处不在赘述。在步骤S602中，针对每一个所提取的图像，通过把高分辨率参考图像投影到该所提取的图像来获得与该所提取的图像相对应的构造图像。该所提取的图像即指在步骤S601中提取的奇场图像OIi和偶场图像EIit5所得到的构造图像可以表不为OMi和EMitl高分辨率参考图像可以通过迭代反向投影方法中常用的构造方法进行构造，或预先提供。在上文中，结合图5描述了一种适用于本实施例的高分辨率参考图像构造方法。在此不在进行详细说明。在步骤S602中，可以采用纵向与横向比例为2 I的降采样来进行投影处理。具体来说，可以对高分辨率参考图像采用横向1/F、纵向1/(2F)的降采样，以从高分辨率参考图像直接获得分辨率为WX (H/2)的奇/偶场构造图像。这样做可以避免混叠的发生。此外，在本实施例中，在进行降采样时，可以使用椭圆低通滤波器进行低通滤波。进一步地，可以选用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆滤波器进行低通滤波。特别地，在采用纵向与横向比例为2 I的降采样的情况下，可以通过使用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器进行低通滤波。在步骤S603中，针对每个低分辨率图像Ii，分别计算从中所提取的奇场图像叫与相应的构造图像OMi间的奇场误差图像^和从中所提取的偶场图像EIi与相应的构造图像EMi间的偶场误差图像eei。该误差计算步骤S603可以采用迭代反向投影算法中常用的误差图像计算方法来进行误差计算。计算出的奇场误差图像eoi和偶场误差图像eei的分辨率分别为WX (H/2)。在步骤S604中，通过将所述奇场误差图像eoi和所述偶场误差图像eei反向投影到所述高分辨率参考图像上，来更新所述高分辨率参考图像。该反向投影步骤S604可以采用反向迭代投影方法常用的各种方式进行。在采用纵向与横向比例为2 I的降采样进行投影处理的实施例中，在步骤S604中可以采用纵向与横向比例为2 I的升采样进行反向投影处理。即，分别对奇场误差图像 和偶场误差图像eei进行诸如横向1/F、纵向1/(2F)的升采样处理。此外，在步骤S604中，可以针对经过升采样的误差图像采用椭圆低通滤波器进行低通滤波。进一步地，与降采样中采用的低通滤波器相似，可以选用在待滤波图像的高度方向上轴长大于宽度方向上轴长的椭圆低通滤波器。特别地，在采用纵向与横向比例为2 I的升采样的实施例中，可以采用在图像高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器进行低通滤波。在一些实施例中，在步骤S604中，可以针对每个低分辨率图像I i，根据已反向投影到高分辨率参考图像即分辨率为(FW)X(FH)的奇 场误差图像和偶场误差图像来获取组合误差图像，并使用所获取的组合误差图像来更新高分辨率参考图像。获取该组合误差图像的方法例如包括通过将已反向投影到高分辨率参考图像的、分辨率为(FW)X(FH)的奇场误差图像和偶场误差图像上相对应的像素分别相加来获取该组合误差图像。此处，像素相加指对应像素的亮度值相加。需要注意的是在视频图像中的诸如行人、车辆的拍摄对象运动速度较快时，或者，当对超分辨率重建图像的清晰度和准确度要求较高时，在投影步骤S602和反向投影步骤S604中，需要在高分辨率参考图像和低分辨率观测图像(即所提取的奇场图像和偶场图像)以及低分辨率误差图像和高分辨率参考图像之间进行运动校正。运动校正的方法以及运动校正所使用运动向量的获取方法可以采用本领域惯用的各种方法。在本实施例中，进行运动估计之前，可以将分辨率为WX (H/2)的奇场图像OIi和偶场图像EIi的各行的长度压缩为原来的1/2，以得到分辨率为(W/2) X (H/2)的2n个图像。下文中将经过这种处理的图像称为待估计奇场图像或待估计偶场图像。进行这种压缩的好处是压缩后的图像与参考图像的纵横比一致，便于估计各幅图像相对于参考图像的运动。在类似于图5中所示方法使用奇场图像或偶场图像构造高分辨率参考图像的方法中，为了使针对每一个奇场图像和偶场图像的运动估计结果更准确，可以对得到的运动向量进行奇偶校正。例如，在一个实施例中，假设高分辨率参考图像是根据一个偶场图像生成的。贝U，在进行运动估计的时候都是计算各个待估计奇场图像和待估计偶场图像相对于该偶场图像对应的待估计偶场图像的变化。估计的运动主要是水平和垂直的运动位移hx和hy。由于运动估计是在(W/2) X (H/2)的图像上进行，而期望得到的是WXH的图像的运动，所以获得的各个运动位移要乘以2倍。另外，由于选取了偶场图像来生成参考图像，求出的运动向量还要作奇偶校正。具体来说，如果对待估计的奇场图像求出运动向量为(2hx，2hy)，则要修正为(2hx，2hy+l)。而对偶场,所获得的运动向量则保持不变。反之亦然。下面，结合图7和图8描述根据本发明实施例的通过迭代反向投影方法进行图像的高分辨率重建的具体实例。5.图像的高分辨率重津实例图7是示出根据本发明实施例的通过迭代反向投影方法进行图像的高分辨率重建的具体应用的流程图。图8是示出在本发明具体应用中计算构造图像与观测图像之间的误差图像的方法的流程图。如图7所示，假设已经计算出或预先提供了高分辨率参考图像R、提取出了与低分辨率图像Ii相对应的奇场和偶场图像，以及作为运动估计结果的运动向量，则在步骤S701中，计算高分辨率参考图像R与第i帧Ii的误差ei。计算该误差ei的处理如图8中所示。针对低分辨率图像序列中的第i帧图像，分别对与该第i帧图像相对应的奇场图像和偶场图像进行投影、误差计算和反投影处理。以第i帧图像的偶场为例，在步骤S801中，根据运动向量，按照到第i帧偶场的运动的F倍移动高分辨率参考图像R。换句话说，根据运动向量的F倍对第i帧的偶场图像和高分辨率参考图像R进行像素配准。在步骤S802中，使 用在高分辨率参考图像R的高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器对进行运动配准后的高分辨率参考图像R进行低通滤波。在步骤803中，对低通滤波后的图像进行纵向与横向比例为2 I的降采样处理，以获得针对第i帧偶场的构造图像EM”在步骤S804中，计算该构造图像EMi与第i帧偶场图像EIi的误差图像eei。然后，在步骤S805中，对该误差图像eei进行纵向与横向比例为2 I的升采样处理，以获得大小为的(FW)X(FH)的误差图像。然后，在步骤S806中，使用在该误差图像的高度方向上的轴长与宽度方向上的轴长之比为2I的椭圆低通滤波器对该误差图像进行低通滤波，以消除频域混叠。进一步地，在步骤S807中，按照到第i帧的偶场图像的反向运动的F倍移动经过升采样和低通滤波的误差图像。即，根据运动向量的F倍对经过升采样和低通滤波的误差图像相对于高分辨率参考图像R进行运动配准，从而得到适于用于更新高分辨率参考图像R的偶场误差图像。同理，如图8的右侧示出的，可以针对第i帧的奇场图像进行步骤S801到S807的处理，以得到适于用于更新高分辨率参考图像R的奇场误差图像。其唯一的不同是，在高分辨率参考图像是根据偶场图像之一构造时，可以对到奇场图像的运动向量进行奇偶校正。在图7和图8的实施例中，假设提供的运动估计结果已经进行了奇偶校正。在得到了运动配准后分辨率为(FW) X (FH)的奇场和偶场误差图像后，可以分别对高分辨率参考图像R进行更新，也可以合成为组合误差图像ei，如图7和图8中的实施例所示，以对高分辨率参考图像R进行更新。下面，回到附图7。在步骤S702中，计算累计误差S。当在步骤S703中确定为i< n(n为低分辨率图像序列的总帧数)时，重复步骤S701和S702的处理。当在步骤S703
η
中确定为i = η时，s的最终值为s = Σ^_。则处理进行到步骤S704，更新超分辨率图像R。
/-I
令R = R-X s，其中，λ的取值与迭代次数和更新率有关。根据实验数据表明，λ的取值优选是O < λ < I。接下来，在步骤S705中判断迭代进行的次数是否达到了预设次数或大于预设次数。当在步骤S705中确定为“否”时，使用更新后的高分辨率参考图像R重复步骤S701到S705的处理。当在步骤S705中确定为“是”时，输出更新后的高分辨率参考图像R，作为最终的超分辨率重建结果R’。此外，在步骤S705中，除了最大迭代次数，也可以设定其它迭代结束条件。例如，累积误差的阈值。当累积误差小于该阈值时，结束迭代过程，输出最终的超分辨率图像R’。下文中，参考图9描述实现本发明的数据处理设备的计算机的示例性结构。图9是示出实现本发明的计算机的示例性结构的框图。在图9中，中央处理单元(CPU)901根据只读存储器(R0M)902中存储的程序或从存储部分908加载到随机存取存储器(RAM) 903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理时所需的数据。CPU 901、ROM 902和RAM 903经由总线904彼此连接。输入/输出接口 905也连接到总线904。下述部件连接到输入/输出接口 905 :输入部分906，包括键盘、鼠标等；输出部分907，包括显示器，诸如阴极射线管(CRT)、液晶显示器(LCD)等，以及扬声器等；存储部分908，包括硬盘等；以及通信部分909，包括网络接口卡诸如LAN卡、调制解调器等。通信部分909经由网络诸如因特网执行通信处理。根据需要，驱动器910也连接到输入/输出接口 905。可拆卸介质99诸如磁盘、光盘、磁光盘、半导体存储器等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。在通过软件实现上述步骤和处理的情况下，从网络诸如因特网或存储介质诸如可拆卸介质911安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等，其中存有程序，并且与包含它们的方法一起被分发给用户。本发明可以广泛用于各种需要根据视频图像等低分辨率图像序列获得高分辨率图像的领域，诸如，高清电视领域和监控领域。具体来说，使用本发明，能够将传统制式的电视信号以及隔行扫描的DVD信号准确有效地转换为高清信号。或者，使用本发明，可以根据交通监控摄像机拍摄的交织低分辨率图像获得更加清晰的图片，进而获得车辆牌照等信
肩、O在前面的说明书中参照特定实施例描述了本发明。然而本领域的普通技术人员理解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。
权利要求
1.ー种图像处理设备，用于通过迭代反向投影方法进行超分辨率重建，所述图像处理设备包括 提取单元，被配置为从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像； 投影単元，被配置为针对每ー个所提取的奇场图像和偶场图像，通过把高分辨率參考图像投影到所述奇场图像和偶场图像来获得分别与所述奇场图像和偶场图像相对应的构造图像； 误差计算单元，被配置为针对每个所述低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；以及 反向投影単元，被配置为通过将所述奇场误差图像和所述偶场误差图像反向投影到所述高分辨率參考图像上，以更新所述高分辨率參考图像。
2.根据权利要求I所述的图像处理设备，还包括 參考图像生成単元，被配置为根据所述低分辨率图像序列中之一低分辨率图像的奇场图像或偶场图像生成初始的高分辨率參考图像；以及 运动估计单元，被配置为计算每一所述奇场图像和偶场图像相对于所述高分辨率參考图像的运动向量，以获得所述投影単元的投影和所述反向投影単元的反向投影所需的运动位移，其中，如果所述高分辨率參考图像初始生成时所根据的图像与待计算的所述奇场图像或偶场图像具有不同的奇偶性，则对所计算的运动向量的垂直分量进行奇偶校正。
3.根据权利要求I或2所述的图像处理设备，其中，所述投影単元的投影/所述反向投影単元的反向投影采用纵向与横向比例为2 I的降/升采样。
4.根据权利要求3所述的图像处理设备，其中，所述投影単元和/或所述反向投影单元进ー步被配置为，采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2 I的椭圆低通滤波器进行低通滤波。
5.根据权利要求I或2所述的图像处理设备，其中，所述投影単元和/或所述反向投影单元进ー步被配置为，采用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆低通滤波器进行低通滤波。
6.根据权利要求I或2所述的图像处理设备，其中，所述反向投影単元进ー步被配置为针对每个所述低分辨率图像，根据已反向投影到所述高分辨率參考图像的所述奇场误差图像和所述偶场误差图像获取组合误差图像，以更新所述高分辨率參考图像。
7.根据权利要求6所述的图像处理设备，其中，所述反向投影単元进ー步被配置为通过将所述已反向投影到所述高分辨率參考图像的所述奇场误差图像和所述偶场误差图像上相对应的像素分别相加来获取所述组合误差图像。
8.ー种图像处理方法，用于通过迭代反向投影方法进行超分辨率重建，所述图像处理方法包括 提取步骤，从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像； 投影步骤，针对每ー个所提取的奇场图像和偶场图像，通过把高分辨率參考图像投影到所述奇场图像和偶场图像来获得分别与所述奇场图像和偶场图像相对应的构造图像；误差计算步骤，针对每个所述低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；和 反向投影步骤，通过将所述奇场误差图像和所述偶场误差图像反向投影到所述高分辨率參考图像上，以更新所述高分辨率參考图像。
9.根据权利要求8所述的图像处理方法，还包括 參考图像生成步骤，根据所述低分辨率图像序列中之一低分辨率图像的奇场图像或偶场图像生成初始的高分辨率參考图像；以及 运动估计步骤，计算每一所述奇场图像和偶场图像相对于所述高分辨率參考图像的运动向量，以获得所述投影步骤中的投影和所述反向投影步骤中的反向投影所需的运动位移，其中，如果所述高分辨率參考图像初始生成时所根据的图像与待计算的所述奇场图像或偶场图像具有不同的奇偶性，则对所计算的运动向量的垂直分量进行奇偶校正。
10.根据权利要求8或9所述的图像处理方法，其中，在所述投影步骤/所述反向投影步骤中采用纵向与横向比例为2 I的降/升采样。
11.根据权利要求10所述的图像处理方法，其中，在所述投影步骤和/或所述反向投影步骤中，采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2 I的椭圆低通滤波器进行低通滤波。
12.根据权利要求8或9所述的图像处理方法，其中，在所述投影步骤和/或所述反向投影步骤中，采用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆低通滤波器进行低通滤波。
13.根据权利要求8或9所述的图像处理方法，其中，在所述反向投影步骤中，针对每个所述低分辨率图像，根据已反向投影到所述高分辨率參考图像的所述奇场误差图像和所述偶场误差图像获取组合误差图像，以更新所述高分辨率參考图像。
14.根据权利要求13所述的图像处理方法，其中，在所述反向投影步骤中，通过将所述已反向投影到所述高分辨率參考图像的所述奇场误差图像和所述偶场误差图像上相对应的像素分别相加来获取所述组合误差图像。
全文摘要
本发明提供一种图像处理设备和图像处理方法。该图像处理方法用于通过迭代反向投影方法进行超分辨率重建，其包括提取步骤，从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像；投影步骤，针对每一个所提取的奇场图像和偶场图像，通过把高分辨率参考图像投影到奇场图像和偶场图像来获得分别与奇场图像和偶场图像相对应的构造图像；误差计算步骤，针对每个低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；和反向投影步骤，通过将奇场误差图像和偶场误差图像反向投影到高分辨率参考图像上，以更新高分辨率参考图像。
文档编号G06T5/00GK102682423SQ20111007491
公开日2012年9月19日 申请日期2011年3月18日 优先权日2011年3月18日
发明者刘玉宇 申请人:索尼公司