一种基于耦合偏微分方程模型的超分辨率图像重建方法
【专利摘要】本发明公开了一种基于耦合偏微分方程模型的超分辨率图像重建方法，利用TV和FPDE在图像复原中的各自优点，通过定义一个加权函数，耦合两种偏微分模型，在图像边缘区对TV模型采用较大权值，保持图像的边缘和纹理细节，在图像的平坦区对FPDE模型采用较大权值，以抑制全变分模型产生的“阶梯效应”，将新的模型作为正则化项进行超分辨图像重建，提高了图像重建的视觉效果。
【专利说明】一种基于耦合偏微分方程模型的超分辨率图像重建方法【技术领域】
[0001]本发明涉及一种图像超分辨率重建方法，具体地说，涉及一种基于耦合偏微分方程模型的超分辨率图像重建方法。
【背景技术】
[0002]由于低分辨率图像数量的不充分和病态条件的模糊运算导致超分辨率图像重建方法的病态性。偏微分方程(Partial Differential Equations, PDE)由于能克服超分辨率重建这一病态问题，并具有良好的降噪能力和保边缘能力，得到广泛的关注。该类方法根据退化图像序列的前向模型，采用图像和模糊的先验知识作为正则来构造正则化最小化泛函，求解最小化泛函以得到高分辨率图像。
[0003]全变分方法(Total Variation,TV)采用的是二阶PDE模型，已经被用到超分辨率图像重建中，取到了很好的结果，但是该方法在抑制图像噪声的同时出现了“阶梯效应”。双变分方法虽然避免了存在的“阶梯效应”，但是边缘产生了过平滑现象，丢失了图像的很多细节。近些年，基于正则化重建方法已被证明是有效的。然而，正则化算法的优点在于不要求点扩散函数为圆形，也不需要对图像和噪声做任何统计假设，但是正则化项在抑制噪声的同时也抑制了图像的细节，容易产生过于平滑的效果。
[0004]四阶偏微分方程(FourthPartial Differential Equations, FPDE)模型已经被证实可以在保持边缘的同时能较好地处理图像的平坦区域，从而减弱了 “阶梯效应”，具有更好的视觉效果。但是，它相对于TV模型仍旧平滑了一部分边缘细节。
【发明内容】
[0005]为了解决现有技术中存在的技术问题，本发明提供了一种基于耦合偏微分方程模型的超分辨率图像重建方法，在FPDE模型的基础上，通过分析图像空间信息，将TV模型和FPDE模型耦合作为正则项进行图像超分辨重建，其目的体现在以下两个方面: [0006](I)针对TV模型应用到超分辨率重建中出现“阶梯效应”的问题，提出使用FPDE作为正则化项进行超分辨率重建，来减弱重建图像平坦区域的“阶梯效应”，使得视觉效果更加符合自然图像的特点。
[0007](2)针对TV和FPDE模型的特性及图像内部区域灰度差的特点，提出一个自适应函数作为两个模型的系数，将两个模型有效耦合起来，以达到在图像的不同区域自动使用新的模型来修正重建图像，提高图像重建的质量。
[0008]其技术方案如下:
[0009]一种基于耦合偏微分方程模型的超分辨率图像重建方法，包括以下步骤:
[0010]步骤I获取来自同一场景的低分辨率观测图像序列，在低分辨率观测图像序列中选定一幅低分辨率图像作为参考图像，对参考图像进行双线性插值得到高分辨率图像的初始估计值；
[0011]步骤2利用运动估计的方法来计算低分辨率图像序列相对于参考图像的运动参数，根据当前的运动估计参数，求得低分辨率图像在参考图像对应的高分辨率网格上的亚像素位置，然后把该像素的值按照内插系数分配到参考图像对应的高分辨率网格上；
[0012]步骤3选择合适的模糊函数辨识方法，确定高分辨率图像到低分辨率观测图像转化过程中受到的模糊退化的程度，即辨识对应的模糊函数，在模型中假设图像退化模糊为高斯型，对模糊函数进行初始化；
[0013]步骤4利用先验知识对所求解问题施加约束和限制，将图像的超分辨率重建问题转化为一个最小化代价函数的优化问题，建立超分辨率重建的求解模型；
[0014]步骤5对模型的数据保真项和正则化项进行求解:数据保真项是衡量观测数据和真实数据之间的拟合程度,正则化项体现了高分辨图像的先验知识,通过定义一个加权函数，将TV和FPDE两种偏微分模型进行耦合；
[0015]步骤6采用梯度下降法进行高分辨率图像求解，判断得到的高分辨率图像精度，若满足要求或迭代次数超过预定值，则停止迭代，输出高分辨率图像，否则转到步骤3。
[0016]与现有技术相比，本发明的有益效果:
[0017]本发明利用TV和FPDE在图像复原中的各自优点，通过定义一个加权函数，耦合两种偏微分模型，在图像边缘区对TV模型采用较大权值，保持图像的边缘和纹理细节，在图像的平坦区对FPDE模型采用较大权值，以抑制全变分模型产生的“阶梯效应”，将新的模型作为正则化项进行超分辨图像重建，提高了图像重建的视觉效果。
【专利附图】
【附图说明】
[0018]图1为【背景技术】基于正则化的超分辨率图像重建流程图；
[0019]图2为本发明基于耦合偏微分方程模型的超分辨率图像重建方法流程图；
[0020]图3为模拟图像辣椒超分辨率重建结果比较图，其中图3(a)原始图像，图3 (b) —幅低分辨率图像，图3(c)双线性插值结果，图3(d)TV的重建结果，图3(e)FPDE的重建结果，图3(f)耦合模型的重建结果；
[0021]图4为真实“EIA”图像超分辨率重建结果比较图，其中图4 (a) 一幅低分辨率图像，图4(b)双线性插值结果，图4 (c) TV的重建结果，图4(d)FPDE的重建结果，图4(e)耦合模型的重建结果，图4(f)是图4(c)的局部放大结果，图4(g)是图4(d)的局部放大结果，图4(h)是图4(e)的局部放大结果。
【具体实施方式】
[0022]下面结合附图和具体实施例进一步说明本发明的技术方案。
[0023]构建基于混合正则化的超分辨率重建框架模型
[0024]正则化的重建方法可以利用空间域的先验知识对重建图像进行平滑约束，但正则化项的选择即先验约束的选择是该方法的关键。针对目前存在的正则化方法所获得的重建图像存在过平滑现象，这导致丢失了图像的部分细节，对于图像的后处理不利。本专利采用TV和FPDE的耦合模型作为正则化项进行超分辨率图像重建。这个耦合模型不仅能够保证图像平坦区域的保真度，较好地抑制阶梯效应的产生，而且能够保持图像中边缘等重要几何结构的清晰度。
[0025]根据图像超分辨率重建算法的一般指导原则，设计了如下重建方案:首先选取一幅低分辨率图像作为参考图像，对低分辨率图像序列进行运动估计以计算出低分辨率图像序列间亚像素级精度的相对位移，然后将低分辨率图像中的像素通过插值和几何坐标变换，再重新还原到高分辨图像坐标中；如果图像的模糊未知，可从图像序列中进行模糊估计；接着将通过内插和运动补偿得到的图像序列信息融合到一张图像，最后采用正则处理对重建图像进行修正，得到高分辨率图像。本发明所研究的基于正则化的超分辨率图像重建技术路线可用图1来表示，具体步骤如下:
[0026]步骤I获取来自同一场景的低分辨率观测图像序列，其中任意两幅低分辨率图像之间的几何位移都必须是亚像素位移；
[0027]步骤2选定图像序列中的一幅低分辨率观测图像作为参考图像，根据某一运动模型，求出其它低分辨率图像与参考图像的运动参数，根据当前的运动估计参数，求得低分辨率图像在参考图像对应的高分辨率网格上的亚像素位置，然后把该像素的值按照内插系数分配到参考图像对应的高分辨率网格上；
[0028]步骤3选择适合的模糊函数辨识方法，从而尽可能地确定高分辨率图像到低分辨率观测图像转化过程中受到的模糊退化的程度，即辨识对应的模糊函数；
[0029]步骤4超分辨率图像重建是一个不适定的数学反问题，正则化方法是解决这一类问题的最重要方法，即利用先验知识对解施加约束和限制，将图像的超分辨率重建问题转化为一个最小化代价函数的优化问题。采用梯度迭代算法进行求取高分辨率图像。
[0030](2)基于自适应正则化项的混合重建算法
[0031]根据图1可以看出，图像重建结果的好坏关键取决于正则化处理，这也是制定超分辨率图像重建算法的关键之所在。为此，本专利将根据TV和FPDE在图像修复中的各自特性，提出一种自适应的耦合规则，在新的模型中通过一个自适应函数将TV模型和FPDE进行有效耦合。
[0032]TV在图像修复中具有很好的保边缘性，但是在平坦区域会出现“阶梯效应” ；FPDE能够很好的修复平坦区域，但容易造成边缘模糊。针对此情况研究通过一定的规则，在不同的区域发挥两种模型优势。希望在图像的边缘附近时TV模型在正则化项中占更大的比例，而在图像的平坦区域FPDE模型在正则化项中占更大的比例。在图像处理中，图像的梯度体现了图像灰度值的跳变情况，梯度值的大小说明了图像的平化程度。本专利基于这个思想，提出一个自适应加权函数来混合两种模型。加权函数趋向于I时，强调TV的修复特性:力口权函数趋向于O时，在平滑区域和小的跳跃区域(包括TV产生的“阶梯效应”)强调FPDE的修复特性。为此，提出的耦合偏微分方程模型的超分辨图像重建可用图2来表示:
[0033]步骤I在低分辨率观测图像序列中选定一幅低分辨率图像作为参考图像，利用运动估计的方法来计算低分辨率图像序列相对于参考图像的运动参数，假设图象退化模糊为高斯型，对模糊函数进行初始化；
[0034]步骤2对参考图像进行双线性插值得到高分辨率图像的初始估计值，根据图像退化过程建立超分辨率重建的求解模型；
[0035]步骤3对模型的数据保真项和正则化项进行求解:数据保真项是衡量观测数据和真实数据之间的拟合程度,正则化项体现了高分辨图像的先验知识,通过定义一个加权函数，将TV和FPDE两种偏微分模型进行耦合；
[0036]步骤4采用梯度下降法进行高分辨率图像求解，判断得到的高分辨率图像精度，若满足要求或迭代次数超过预定值，则停止迭代，输出高分辨率图像，否则转到步骤3。
[0037]分别使用模拟图像序列和真实图像序列对TV模型、FPDE模型和本发明的耦合模型作为超分辨图像重建的正则化项进行验证。在模拟试验中，首先根据图像观测模型对一幅高分辨率进行运动、模糊和降采样等降质，然后对低分辨率图像施加噪声污染，得到有噪声的低分辨率图像序列。在模拟图像实验中除了在视觉主观上评价了重建结果，还采取了客观评价中的PSNR进一步比较各种模型的优越性。具体实验结果如图3、表1、图4所示。
[0038]图3(a)为原始图像，图3(b)为低分辨率图像序列中的一幅参考图像，图3 (C)是对参考图像进行双线性插值的结果，图3(d)是采用TV模型的重建结果，图3(e)和(f)分别是采用FPDE模型和耦合模型的重建结果。通过对比可以看出，直接对参考图像插值结果质量最差，图中仍有很强的噪声；三种模型正则化方法的重建结果都有很好的去除噪声的能力。在三幅重建图像中，TV模型的重建结果出现了明显的“阶梯效应”，FPDE模型的重建结果则相对比较光滑；TV模型重建图像中的边缘较之FPDE模型得到的结果更清楚，而FPDE模型重建结果中边缘处出现了明显的“斑点”。在耦合模型的重建结果图3(f)中可以看到，平坦区域不存在“阶梯效应”，并且边缘处较之图3(d)和图3(e)也更加光滑。此实验证明了本专利耦合模型作为正则化在超分辨重建中的有效性。
[0039]为了进一步证明本专利耦合模型算法的有效性，选取了更多的图像进行实验，在这里就不一一给出，在表1中给出了其它实验的量化评估结果(PSNR值)。从数据来看，基于本专利耦合模型的超分辨重建结果得到的PSNR值都高于TV模型和FPDE模型。
[0040]表1 [0041]
【权利要求】
1.一种基于耦合偏微分方程模型的超分辨率图像重建方法，其特征在于，包括以下步骤: 步骤I在低分辨率观测图像序列中选定一幅低分辨率图像作为参考图像，利用运动估计的方法来计算低分辨率图像序列相对于参考图像的运动参数，假设图象退化模糊为高斯型，对模糊函数进行初始化； 步骤2对参考图像进行双线性插值得到高分辨率图像的初始估计值，根据图像退化过程建立超分辨率重建的求解模型； 步骤3对模型的数据保真项和正则化项进行求解:数据保真项是衡量观测数据和真实数据之间的拟合程度，正则化项体现了高分辨图像的先验知识，通过定义一个加权函数，将TV和FPDE两种偏微分模型进行耦合； 步骤4采用梯度下降法进行高分辨率图像求解，判断得到的高分辨率图像精度，若满足要求或迭代次数超过预定值，则停止迭代，输出高分辨率图像，否则转到步骤3。
【文档编号】G06T7/20GK103473752SQ201310371588
【公开日】2013年12月25日 申请日期:2013年8月22日 优先权日:2013年8月22日
【发明者】杨勇, 黄淑英 申请人:杨勇