一种基于半误差反向投影的超分辨率重建方法及装置与流程

本发明涉及图像及视频数据处理领域，特别涉及一种基于半误差反向投影的超分辨率重建方法及装置。

背景技术：

对于同一场景来说，更高分辨率的图像包含更多的细节。无论是从应用角度还是从视觉体验的角度来说，都期望获得高分辨率的图像。然而在现实中，许多因素导致无法获得高分辨率的图像。这些因素非常多，比如由于成本控制，导致购得的摄像机不够好；或者在某些特定场景下，不能获得高分辨率的图像。这些因素也包括大气湍流，运动模糊，系统响应函数和噪声等。成像经过这些因素影响，常常获得的图像的分辨率不高，这样的图像被称之为低分辨率图像。然而，生产生活中迫切需要获得高分辨率场景的图像。如果通过更新硬件设备来提高图像质量，在许多情况下常常带来巨大成本。

一种有效的方法是通过软件来实现从低分辨率图像获得高分辨率图像。这类技术被称之为超分辨率图像重建。这些方法可以被分为基于插值的方法和基于最优化的方法。基于插值的方法是非迭代的，由于没有利用误差来修改前面的估计，结果会比基于最优化方法的差。尽管基于最优化的方法得到图像的分辨率更高，但是这种方法要么有运算时间很长，要么效果较差(比如，存在伪影)。其中反向迭代投影方法是计算量小，被广泛利用。这种方法的基本思路是，将低分辨率图像进行上采样放大，作为高分辨率的估计；然后将高分辨率估计，下采样得到模拟的低分辨率图像，再将实际观测的低分辨率图像与模拟观测低分辨率图像之间的误差投影到高分辨率图像中去，不断迭代获得高分辨率图像。然而这种方法有很大的缺点就是在重建的高分辨率图像的边缘部分，常常会带有“振铃”伪影。这种“振铃”伪影会严重影响视觉体验，使得它的应用范围受限。

技术实现要素：

(一)要解决的技术问题

为了克服现有技术中存在的问题，本发明提出一种基于半误差反向投影的超分辨率重建方法及装置。

(二)技术方案

根据本发明的一个方面，提出了一种基于半误差反向投影的超分辨率重建方法，该方法包括步骤：

步骤1，获得m帧实际观测图像xrl，m大于等于2，所述图像存储在一个四维数组中xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，k是图像的通道信息，m是图像的帧数；

步骤2，计算初始的高分辨率图像yhr,0；

步骤3，根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像为ylhr,t+1(p,q,k)，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像xsl，t大于等于0；

步骤4，计算t+1次迭代的实际观测图像xrl(i,j,k)与模拟观测低分辨率图像之间的误差xdiff,t+1(i,j,k)；

步骤5，反向投影误差或者实际观测图像xrl到高分辨率图像yhr中；

步骤6，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。

根据本发明的另一方面，提出一种基于半误差反向投影的超分辨率重建装置，该装置包括存储器和处理器，其中存储器存储有计算机程序，所述处理器用于执行所述程序能够实现以下步骤：

步骤1，获得m帧实际观测图像xrl，m大于等于2，所述图像存储在一个四维数组中xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，k是图像的通道信息，m是图像的帧数；

步骤2，计算初始的高分辨率图像yhr,0；

步骤3，根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像为ylhr,t+1(p,q,k)，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像xsl，t大于等于0；

步骤4，计算t+1次迭代的实际观测图像xrl(i,j,k)与模拟观测低分辨率图像之间的误差xdiff,t+1(i,j,k)；

步骤5，反向投影误差或者实际观测图像xrl到高分辨率图像yhr中；

步骤6，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。

(三)有益效果

本发明的方法是基于半误差反向投影的，即，在反向投影时既投影误差，也投影实际观测的低分辨率图像。由于实际观测的低分辨率图像没有“振铃”伪影，并且包含高分辨率图像所需的信息。这样可以有效地减少“振铃”伪影的累积效应，使得重建的高分辨率图像有更好的质量和视觉体验。

附图说明

图1是基于半误差反向投影的超分辨率重建方法的流程图。

图2是一幅用于做超分辨率重建的低分辨率图像。

图3是反向投影算法的重建出来的高分辨率图像。

图4是本发明方法重建出来的高分辨率图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

现有技术中使用的反向迭代投影方法，经过研究发现，其产生的“振铃”伪影是有规律的。一旦估计的高分辨率图像中存在“振铃”伪影，那么模拟的低分辨率图像中将会出现“振铃”伪影。然而模拟的低分辨率图像中的“振铃”伪影会通过上采样过程进入估计的高分辨率图像中，随着迭代不断增强。

本发明提出了一种基于多帧视频图像来重建高分辨率的方法，这种方法是基于半误差反向投影的。也就是说，在反向投影时既投影误差，也投影实际观测的低分辨率图像。

图1为本发明提出基于半误差反向投影的超分辨率重建方法的流程图。

参照图1，该方法包括步骤：

步骤1，获得m帧实际观测图像xrl，m大于等于2。

在该步骤，通过成像设备在同一场景中获取小段视频或者多张图像。手持摄像或者其它因素使得图像之间存在微小的偏移。这些视频或图像可以是黑白的也可以彩色的。该步骤中提到的成像设备可以是数码相机，监控摄像头，手机等。这些视频或图像存储在一个四维数组中xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，即像素的位置信息，其值为图像横纵坐标的像素序号。k是图像的通道信息，对于黑白图像，其值为1；对于彩色图像，其值为3。m是图像的帧数，从重建精度来看，m越大越好；但是从应用角度来说，m应该控制在20帧以内。

步骤2，根据步骤1获取的图像，选取其中一帧作为参考图像xref，利用区域匹配方法获取参考图像xref与当前图像xm之间的运动信息(即相对位移)dm，其中m＝1,2,…,m且xref≠xm。

该步骤优选使用三步搜索法来实现。这些相对位移能够提供低分辨率图像信息在高分辨率图像栅格中的准确位置。这是超分辨率重建的基础。

步骤2进一步包括：

步骤2.1，从实际观测的图像xlr中选择其中一幅图像作为参考图像xref。由于图像包含相同的场景，所以可以选择任何一帧作为参考图像xref。同时为参考图像选择匹配区域。为了提高计算效率，这个匹配区域是一小块区域，优选包含3×3，5×5或者7×7像素的区域，根据实际需要，匹配区域的大小也可以是其他情况。为了提高配准精度，这些匹配区域是包含高频信息的部分，可以使用最大差分和来找到高频信息区域。同时匹配区域是多块，这样有利于增加配准的精度和稳定性。区域的块数k取决于实际问题，它的取值范围是1～k0，k0的取值是取满整个图像所用的块数。如果需要知道更多局部区域的运动细节信息，那么k应该取更大。

步骤2.2，为当前匹配图像xm选择匹配区域。其选择方法与步骤2.1中参考图像匹配区域选择是相同的。也就是说，当前匹配图像中选择的匹配区域的大小、数量是完全一致的。为了提高计算效率，在当前图像中的搜索范围应该略大于图像的匹配区域大小与相对位移大小之和g，但不能太大，通常取1.2～1.5g。

步骤2.3，通过三步搜索法对图像进行配准，获得参考图像xref与当前图像xm的相对位移dm。配准准则可以选择最小均方误差。

步骤3，计算初始的高分辨率图像yhr,0。初始的超分辨率图像yhr,0可以是参考图像按放大倍数插值后的图像，也可以是纯黑色图像(所有像素值为0)。根据放大的倍数t(一般取值为1～8，不宜过大)，来确定高分辨率图像的大小。

步骤4，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像xsl。

用t+1表示迭代次数，第一次迭代t等于0。经过第t+1次迭代的模糊的高分辨率图像ylhr,t+1(p,q,k)为：

ylhr,t+1(p,q,k)＝yhr,t(p,q,k)*xpsf(p,q,k)+ε(p,q,k)

其中p,q分别是高分辨率图像像素值的横纵坐标，即像素的位置信息，其值为图像横纵坐标的像素序号。xpsf(p,q,k)是系统的点扩展函数，ε(p,q,k)是成像过程中的噪声。这些信息可以通过成像设备的参数说明或者测试获得。yhr,t(p,q,k)是第t次迭代的高分辨率图像。ylhr,t+1(p,q,k)是yhr,t(p,q,k)经过系统点扩展函数和噪声模糊后的高分辨率图像。然后进行下采样s(i,j,p,q,k)，得到模拟观测低分辨率图像xsl,t+1(i,j,k)，

xsl,t+1(i,j,k)＝s(i,j,p,q,k)ylhr,t+1(p,q,k)

步骤5，计算t+1次迭代的实际观测图像xrl(i,j,k)与模拟观测低分辨率图像之间的误差xdiff,t+1(i,j,k)。在计算误差之前，先根据步骤2中获得的相对位移信息dm(i,j,k)，对模拟观测低分辨率图像xsl,t+1(i,j,k)进行平移和旋转。然后计算二者之间的误差，

xdiff,t+1(i,j,k)＝xrl(i,j,k)-dm(i,j,k)xsl,t+1(i,j,k)

步骤6，反向投影误差或者实际观测图像xrl到高分辨率图像yhr中。

yhr,t+1(p,q,k)

＝yhr,t(p,q,k)

+w(p,q,k)b(p,q,k)s′(p,q,i,j,k)xlowr,t+1(i,j,k)

其中，

其中，s′(p,q,i,j,k)是运动补偿函数，具体实现就是根据以前的测得运动信息dm，将相应的低分辨率图像或误差投影在高分辨率图像栅格的对应位置。b(p,q,k)是反向投影核函数。这个函数并不是固定的，可以是系统的点扩展函数，也可以是高斯函数等。w(p,q,k)是一个系数矩阵，用于控制投影后的高分辨率时的幅度，w(p,q,k)的所有元素是相同的，其值范围为0～1。在上面公式描述时，偶数次迭代时投影实际观测的低分辨率图像xrl(i,j,k)，奇数次迭代时投影误差图像xdiff,t+1(i,j,k)。这只是一个例子，其它任意迭代组合都是有效的。或者说迭代次数是m时，投影误差；迭代次数是n时，投影实际观测图像；m和n大于等于1，m不等于n。例如，当迭代次数能被5整除时，投影误差图像，其它迭代次数时投影实际观测的低分辨率图像。不同的比例会产生不同效果。当投影实际观测的低分辨率的次数多一些，那么重建的高分辨率包含的“振铃”伪影更少，但是相对模糊些。当投影误差图像的次数多一些，那么重建的高分辨率更加清晰一些，但是包含的“振铃”伪影更多一些。在以前的方法中，反向投影的低分辨率图像xlowr,t+1(i,j,k)是实际观测图像与模拟观测图像之间的误差xdiff,t+1(i,j,k)。然而，这常常导致在重建的高分辨率图像中有不同程度的“振铃”伪影。在本发明中，xlowr,t+1(i,j,k)可以是两者误差xdiff,t+1(i,j,k)和实际观测的低分辨率图像xrl(i,j,k)。在以前的方法中，

出现“振铃”伪影是有规律的：只要高分辨率图像中出现“振铃”伪影，就会形成一个“高分辨率图像—模拟观测低分辨率—误差—高分辨率图像”的“振铃”伪影传播闭环，“振铃”伪影会随着迭代的增加而增强。本发明的方法就是切断这个闭环。使得“振铃”伪影不显著积累，获得更好重建的高分辨率图像。

步骤7，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。满意结果应该是，在重建的高分辨率图像中没有可见的“振铃”伪影，图像细节更加清晰。

本发明的方法在超分辨率图像重建中，在反向投影阶段不但使用误差来更加精确地重建，且使用低分辨率图像来减少“振铃”伪影的积累。有如下优势：相对于基于传统插值技术的超分辨率，本发明的方法得到的图像具有更高的分辨率；本发明的方法在反向投影过程中，使用了没有“振铃”效应的实际观测的低分辨率图像。这有利于减少图像中“振铃”伪影的积累，也保持了丰富的细节；本发明提出了一种基于半误差反向投影的图像超分辨率方法，该方法同时投影实际观测的低分辨率图像，有效地减少“振铃”伪影的积累，使得图像有更好的视觉体验。

本发明还提出一种基于半误差反向投影的图像超分辨率装置，该装置包括存储器和处理器，其中存储器存储有计算机程序，所述处理器用于执行所述程序能够实现以下步骤：

步骤1，获得m帧实际观测图像xrl，m大于等于2。

在该步骤，通过成像设备在同一场景中获取小段视频或者多张图像。手持摄像或者其它因素使得图像之间存在微小的偏移。这些视频或图像可以是黑白的也可以彩色的。该步骤中提到的成像设备可以是数码相机，监控摄像头，手机等。这些视频或图像存储在一个四维数组中xlr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，即像素的位置信息，其值为图像横纵坐标的像素序号。k是图像的通道信息，对于黑白图像，其值为1；对于彩色图像，其值为3。m是图像的帧数，从重建精度来看，m越大越好；但是从应用角度来说，m应该控制在20帧以内。

步骤2，根据步骤1获取的图像，选取其中一帧作为参考图像xref，利用区域匹配方法获取参考图像xref与当前图像xm之间的运动信息(即相对位移)dm，其中m＝1,2,…,m且xref≠xm。

该步骤优选使用三步搜索法来实现。这些相对位移能够提供低分辨率图像信息在高分辨率图像栅格中的准确位置。这是超分辨率重建的基础。

步骤2进一步包括：

步骤2.1，从实际观测的图像xlr中选择其中一幅图像作为参考图像xref。由于图像包含相同的场景，所以可以选择任何一帧作为参考图像xref。同时为参考图像选择匹配区域。为了提高计算效率，这个匹配区域是一小块区域，优选包含3×3，5×5或者7×7像素的区域，根据实际需要，匹配区域的大小也可以是其他情况。为了提高配准精度，这些匹配区域是包含高频信息的部分，可以使用最大差分和来找到高频信息区域。同时匹配区域是多块，这样有利于增加配准的精度和稳定性。区域的块数k取决于实际问题，它的取值范围是1～k0，k0的取值是取满整个图像所用的块数。如果需要知道更多局部区域的运动细节信息，那么k应该取更大。

步骤2.2，为当前匹配图像xm选择匹配区域。其选择方法与步骤2.1中参考图像匹配区域选择是相同的。也就是说，当前匹配图像中选择的匹配区域的大小、数量是完全一致的。为了提高计算效率，在当前图像中的搜索范围应该略大于图像的匹配区域大小与相对位移大小之和g，但不能太大，通常取1.2～1.5g。

步骤2.3，通过三步搜索法对图像进行配准，获得参考图像xref与当前图像xm的相对位移dm。配准准则可以选择最小均方误差。

步骤3，计算初始的高分辨率图像yhr,0。初始的超分辨率图像yhr,0可以是参考图像按放大倍数插值后的图像，也可以是纯黑色图像(所有像素值为0)。根据放大的倍数t(一般取值为1～8，不宜过大)，来确定高分辨率图像的大小。

步骤4，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像xsl。

用t+1表示迭代次数，第一次迭代t等于0。经过第t+1次迭代的模糊的高分辨率图像ylhr,t+1(p,q,k)为：

ylhr,t+1(p,q,k)＝yhr,t(p,q,k)*xpsf(p,q,k)+ε(p,q,k)

其中p,q分别是高分辨率图像像素值的横纵坐标，即像素的位置信息，其值为图像横纵坐标的像素序号。xpsf(p,q,k)是系统的点扩展函数，ε(p,q,k)是成像过程中的噪声。这些信息可以通过成像设备的参数说明或者测试获得。yhr,t(p,q,k)是第t次迭代的高分辨率图像。ylhr,t+1(p,q,k)是yhr,t(p,q,k)经过系统点扩展函数和噪声模糊后的高分辨率图像。然后进行下采样s(i,j,p,q,k)，得到模拟观测低分辨率图像xsl,t+1(i,j,k)，

xsl,t+1(i,j,k)＝s(i,j,p,q,k)ylhr,t+1(p,q,k)

步骤5，计算t+1次迭代的实际观测图像xrl(i,j,k)与模拟观测低分辨率图像之间的误差xdiff,t+1(i,j,k)。在计算误差之前，先根据步骤2中获得的相对位移信息dm(i,j,k)，对模拟观测低分辨率图像xsl,t+1(i,j,k)进行平移和旋转。然后计算二者之间的误差，

xdiff,t+1(i,j,k)＝xrl(i,j,k)-dm(i,j,k)xsl,t+1(i,j,k)

步骤6，反向投影误差或者实际观测图像xrl到高分辨率图像yhr中。

yhr,t+1(p,q,k)

＝yhr,t(p,q,k)

+w(p,q,k)b(p,q,k)s′(p,q,i,j,k)xlowr,t+1(i,j,k)

其中，

其中，s′(p,q,i,j,k)是运动补偿函数，具体实现就是根据以前的测得运动信息dm，将相应的低分辨率图像或误差投影在高分辨率图像栅格的对应位置。b(p,q,k)是反向投影核函数。这个函数并不是固定的，可以是系统的点扩展函数，也可以是高斯函数等。w(p,q,k)是一个系数矩阵，用于控制投影后的高分辨率时的幅度，w(p,q,k)的所有元素是相同的，其值范围为0～1。在上面公式描述时，偶数次迭代时投影实际观测的低分辨率图像xrl(i,j,k)，奇数次迭代时投影误差图像xdiff,t+1(i,j,k)。这只是一个例子，其它任意迭代组合都是有效的。或者说迭代次数是迭代次数是m时，投影误差，迭代次数时n时，投影实际观测图像，m和n大于等于1，m不等于n。例如，当迭代次数能被5整除时，投影误差图像，其它迭代次数时投影实际观测的低分辨率图像。不同的比例会产生不同效果。当投影实际观测的低分辨率的次数多一些，那么重建的高分辨率包含的“振铃”伪影更少，但是相对模糊些。当投影误差图像的次数多一些，那么重建的高分辨率更加清晰一些，但是包含的“振铃”伪影更多一些。在以前的方法中，反向投影的低分辨率图像xlowr,t+1(i,j,k)是实际观测图像与模拟观测图像之间的误差xdiff,t+1(i,j,k)。然而，这常常导致在重建的高分辨率图像中有不同程度的“振铃”伪影。在本发明中，xlowr,t+1(i,j,k)可以是两者误差xdiff,t+1(i,j,k)和实际观测的低分辨率图像xrl(i,j,k)。在以前的方法中，出现“振铃”伪影是有规律的：只要高分辨率图像中出现“振铃”伪影，就会形成一个“高分辨率图像—模拟观测低分辨率—误差—高分辨率图像”的“振铃”伪影传播闭环，“振铃”伪影会随着迭代的增加而增强。本发明的方法就是切断这个闭环。使得“振铃”伪影不显著积累，获得更好重建的高分辨率图像。

步骤7，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。