基于变分正则化的大气扰动图像恢复方法
【技术领域】
[0001] 本发明设及图像处理，尤其是设及可用于高空对地观测、远距离监控的一种基于 变分正则化的大气扰动图像恢复方法。
【背景技术】
[0002] 随着社会的发展和科技的进步，越来越多的对地监控设备得到使用。例如无人机、 高空对地观测和远距离监控等技术得到广泛关注。与普通的拍摄行为不同的是，因为在远 距离拍摄中，拍摄目标与拍摄设备之间的距离较远，拍摄效果极容易受到大气扰动的影响， 严重影响拍摄效果。而该种扰动无法通过对硬件设备的提升来去除，为此如何从软件技术 层面，运用一些算法将由于大气扰动引起的视频模糊去除就十分重要了。
[0003] 大气扰动造成的图像崎变主要原因是空气扰动造成时空变化的模糊及噪声的影 响。因此如何去掉时空变化的模糊及去噪，成为解决受大气扰动造成的图像崎变恢复的关 键。现有的解决图像崎变的流行工作可分为两大类，一类是基于参考图像配准的方法，先找 到参考图像，然后将视频中的帖与参考图像配准，该类方法并不对模糊核进行估计，而是使 用固定的高斯核来逼近模糊核，因此，该方法很难得到较高的图像恢复质量。另外一类方法 是基于幸运图的图像恢复方法，该类方法认为，小尺寸的图像块可W看作是3D场景在某一 等平面角度形成的，所W，小尺寸的图像块可W看作是等平面的。因此，该类方法首先把图 像划分成图像块序列，先在视频流中找到比较锐化的图像块，W此作为衍射极限图像块。然 而，实验发现，该类方法虽然压缩了大气扰动的影响，然而却增加了噪声的影响。
[0004]Zhu等人（ZhuX,MilanfarP.Removingatmosphericturbulence viaspace-invariantdeconvolution[J].PatternAnalysisandMachine Intelligence,I邸ETransactionson, 2013, 35 (1) : 157-170.)提出了一种基于整体而非 局部图像块的处理大气扰动造成的影响的方法，作者把视频序列的时间平均作为参考图 像，然后将视频中的每帖与参考图像进行配准、矫正，通过时间轴的融合得到衍射极限图 像。实验发现该方法在大气扰动造成的图像崎变矫正方面取得了颇有希望的结果。然而， 该方法将参考图像取为视频序列的时间平均，造成参考图像的细节损失，图像序列的配准 精度受到限制，从而使得矫正精度不高。另外，衍射极限图像的生成也受限于融合时采用的 时间轴平均的影响，该步骤本质上采用了时间轴去噪的方法。众所周知，基于时间轴的平均 该一大类去噪方法，去噪性能不高。从公式化的角度来看，Zhu的方法没有从整体优化的角 度来建模大气扰动造成的崎变，理论方面可W继续完善。
【发明内容】
[0005] 本发明的目的在于提供可去除视频图像中因为大气扰动而产生的图像崎变的基 于变分正则化的大气扰动图像恢复方法。
[0006] 本发明包括W下步骤：
[0007] (1)有一组在空中拍摄固定目标的视频帖序列化}，它们受到了大气扰动的影响 而产生了模糊和崎变；
[0008] (2)对视频帖序列{fj进行低秩分解，得到初始参考图像I。；
[0009] (3)初始化外层迭代，令外层循环变量0ut_loop= 1，将I。作为当前要优化的参 考图像U，设置最大外层循环次数max_out;
[0010] (4)初始化Bregman距离化regmandistance)迭代，令中层循环变量Middle_loop 二1，将初始帧序列{fJ作为当前帧{式}，设置最大中层循环次数max_middle;
[0011] (5)对于当前帖序列{巧中的每一帖7；，利用B-spline配准方法计算参考图像到 的形变矩阵巫
[0012] (6)初始化向前-向后算子分离（forward-backwardoperatorsplitting)迭代， 令Inter_loop二1，设置最大内层循环次数max_inter;
[001引 （7)利用和U进行向前步骤，得到迭代过程变量V;
[0014] 做用非局部全变差（Non-localtotalvariation)和可控核回归全变差 (Steeringkernelregressiontotalvariation)为正则项得到最优化式子，然后使用分 离的化egman迭代算法求解最优化式子得到新的U;
[0015] (9)将Inter_loop〉max_inte;r作为循环终止条件，若Inter_loop不满足大于 max_inter的条件，贝ij在将Inter_loop的值增加1后返回步骤（7)，否则直接执行步骤 (10);
[001引 （10)利用{0J、u和初始帖序列化}进行当前帖序列(式}的更新；
[0017] (11)将Middle_loop〉max_middle作为循环终止条件，若Middle_loop不满足大 于max_middle的条件，贝ij在将Middle_loop值增加1后返回步骤巧），否则直接执行步骤(12)；
[001引 （12)将优化后的参考图像I;作为当前参考图像U，即<, = ；；;
[0019] (13)利用当前参考图像11，对当前视频帖[^}进行8-3口11116近似配准，去掉几何 形变，得到配准后的视频帖序列化J;
[0020] (14)对配准后的视频帖序列化J进行低秩分解，得到结果作为新的参考图像U;
[0021] (15)将0ut_loop〉max_out作为循环终止条件，若0ut_loop不满足大于max_out 的条件，则在将〇ut_loop的值增加1后返回步骤（4)，否则直接执行步骤（16);
[002引 （16)使用空间加权核范数最小化（Spacewei曲tednuclearnorm minimization)将配准W后的视频帖序列化J融合成一张近衍射极限图片Ifusi。。；
[002引 （17)将融合图片Ifud。进行去卷积处理，得到最后的去除大气扰动后的图片1?。。1。
[0024]在步骤（7)中，所述向前步骤的公式如下：
[00巧]
[0026] 式中，5是参数，一般情况下设置其值为1。
[0027] 在步骤做中，所述最优化式子如下：
[0028]
[0029] 式中，Aw和As为参数，IcUI表示非局部全变差正则化项，IdsI表示可控核回归 全变差正则化项，表达公式如下：
[0030]山二（I-QN)u [QOS'!] |ds二（I-Q )u|
[003引其中，
[0037]式中，cf是由非局部权重WN(i，如串联得到的，S康示与Ui相似的图像块的位置 集合，L康示与U湘邻的图像块的位置集合，曰1= [1 0…0]T，Ws表示可控核回归权重，Ww表不非局部权重，其表达式如下：
[0040] 式中，表示从U中取出Wui为中屯、的图像块，Ci是Ui处水平W及竖直方向梯 度的下方差矩阵，hw，hs是参数。
[0041] 在步骤巧）中，所述使用分离的化egman迭代算法求解最优化式子的迭代过程如 下：
[0050] 在步骤（10)中，所述更新的公式如下：
[0051]
[005引在步骤（16)中，所述使用空间加权核范数最小化的具体步骤如下：
[005引 （16. 1)将每张帖图片分割成许多大小相等的图像块，用H。表示第i个帖中W第j 个像素为中屯、的图像块，初始化像素位置j;
[0054] (16.。认为对于每个图像块H。，在其他所有帖Hk上，同样中屯、在第j个像素的图 像块Hkj.都是H。的相似块；将图像块H。的所有行一次连接成一个向量Z U，然后再将Zy与 它的所有相似块组合成一个矩阵与=出U，&,?，...，Hnj];
[00巧](16. 3)对Zj.进行奇异值分解得到Fj.= U2VT，再使用加权核范数最优化进行去噪， 得到马=城W间户，其中S"(Z) =max(Z。-"。。）
其中。i狂j)为Zj的 第i个奇异值，另外c = 2.8, e = 1〇46;
[005引 （16. 4)对乏，的每一列求平均值，得到一个W位置j为中屯、的图像块5,;
[0057] (16. 5)若对于所有中屯、位置j都得到了5尸则进行步骤（16. 6)，否则将j移到下 一个中屯、位置，返回步骤（16.2);
[005引（16. 6)将图像块序列{与j拼凑成一副完整的图像Ifud。。。
[0059] 本发明从对参考图像进行优化入手，增加参考图像的细节，W使匹配后的图像序 列更好，从而提升扰动去除结果，实现了一种基于变分正则化的大气扰动图像恢复方法，得 到了视觉清晰W及细节丰富的恢复图像。
[0060] 本发明具有W下突出优点：
[0061] 1.本发明利用可控核回归全变差W及非局部全变差正则化项，对参考图像进行迭 代优化，其中可控核回归全变差正则项保留了参考图像的局部结构，非局部全变差正则项 保留了非局部的重复结构W及纹理。此方法可W很好地提高参考图像，本发明还使用了分 离的化egman算法，加快了计算速度。
[0062] 2.本发明使用低秩逼近的方法，使用空间加权原子核范数最小化模型对视频帖序 列进行融合优化，得到了一个去噪后的近衍射极限图像，最后通过去卷积得到了最后的清 晰图片。通过实验证实，本发明所使用的方法对真实视频帖序列W及模拟视频帖序列都有 很好地效果，并且优于当前其他最好的方法。
【附图说明】
[0063] 图1是本发明的总体流程图；
[0064] 图2是使用本发明和现有=种方法对烟画的真实视频帖进行大气扰动去除后得 到的图像；
[0065] 图3是使用本发明和现有=中方法对城市的模拟扰动视频进行大气扰动取出后 得到的图像。
【具体实施方式】
[0066] 参见图1，本发明实施例包括参考图像的生成与优化和视频帖的配准与融合两个 部分。
[0067] -、参考图像的生成与优化；
[0068]步骤1，获取受到扰动的视频帖序列。
[0069] 从网上下载远距离拍摄的对固定目标的视频，或者对一张清晰图片使用模拟软 件，生成加上扰动效果后的崎变帖序列。该样我们就得到了初始帖序列{fj。
[0070] 步骤2,得到初始参考图像。
[00川 （2a)对初始帖序列也}，每个帖都用一个向量g康示，gi的长度为的像素数 量。该样我们可W用矩阵G= [&，g2，...，g。]表示也}，其中n为视频帖的数量。对G进 行低秩分解得到G的低秩部分LL也是一个大小为n*m的矩阵，对L的每一列求平均，在恢 复成一个帖的矩阵形式，得到了初始图像I。。
[0072] (2b)将I。作为当前要优化的参考图像U。
[0073] 步骤3,优化参考图像。
[0074] (3a)初始化E5regman距离炬regmandistance)迭代，令中层循环变量Middle_ loop= 1，将初始帖序列{fj作为当前帖树。
[00巧](3b)对于当前帖序列{巧中的每一帖j；，利用B-spline配准方法计算参考图像到 的形变矩阵巫1。
[0076] 0C)初始化向前-向后算子分离（forward-backwardoperatorsplitting)迭 代，令Inter_loop= 1。
[0077] (3d)利用{巫J、?(巧和U进行向前步骤得到V:
[0078]
[0079] (3e)计算U的非局部权重W及可控核权重如下：
[008引式中，巧表示从U中取出WUi为中屯、的图像块，Ci是Ui处水平化及竖直方向梯 度的下方差矩阵，hw二20