一种基于幸运区域替换的彩色图像分辨率提高方法与流程

本技术涉及图片处理，尤其涉及一种基于幸运区域替换的彩色图像分辨率提高方法。

背景技术：

1、大气湍流是大气中的一种重要运动形式，天气炎热的时候，地面湍流有时会使清晰的图像变得模糊。

2、实验表明，大气湍流影响正常光学成像过程，如果把大气湍流考虑到成像系统中，利用大气湍流的微透镜效应，场景的局部区域在某些情况下，可以获得接近原有系统衍射限的成像性能。幸运区域融合(lucky-region fusion，lrf)是对所获取的大量短曝光图像进行分析，提取其幸运区域中有效信息进行一系列处理，进而得到分辨率接近成像光学系统衍射极限分辨率的高分辨率图像的一类图像复原方法。其主要的过程就是两个：幸运区域的选取和分区图像的融合。

3、幸运区域融合方法是利用了湍流运动的随机性，使得一些图像或者图像的一些区域受湍流影响较小而保持锐利(高分辨率)。这类方法通过选择每帧图像中受影响最小的区域，并融合这些区域产生“干净”图像，所以也被称为“幸运帧”或者“幸运区域”方法。

4、vorontsov通过实验验证了所有因湍流影响而退化的图像中都存在着“幸运区域”

5、(lucky region)，并使用基于偏微分方程(partial differential equation，pde)的图像复原方法对退化的序列图像进行了处理，获得了高分辨率图像。此后，他在扩展目标和成像系统之间加入了人工大气湍流层，在可见光波段对扩展目标进行实验研究，证明了短曝光图像局部信息合成技术能够明显改善图像的质量。并对受大气湍流影响的单色(灰度)图像视频流进行了研究，使用fpga进行方法处理过程的加速，实现了受大气湍流影响的单色视频流的实时自动融合。

6、杨忠良等基于非等晕成像的理论分析和扩展目标幸运成像技术的基本原理，对扩展目标幸运成像技术进行了实验研究。该实验采用基于八方向sobel算子的像质评价函数作为评价函数选取子块，并使用数字相关的方法，即相关系数对图像进行配准。李思雯等应用矩形交叠分块方法，改进了pde的序列图像复原方法，对大气湍流造成的模糊短曝光序列场景图像进行处理，结果表明，该方法对大气湍流造成的图像质量退化有较好的复原作用。yang等认为lrf技术可以有效解决图像的失真问题，并用该技术获取了一帧高分辨率图像，作为实验的参考图像。maignan等提出了基于硬件加速的lrf方法的两种不同实现方式，即高速智能相机和“黑匣子”两种实现方式。第一种证明了lrf在硬件上运行的可行性，第二种是可用产品，可以改善因大气湍流而退化的图像质量。这两种系统都是实时的lrf系统。jackson等也基于图形处理单元(graphics processing unit，gpu)和fpga进行了实时lrf方法方面的研究，并构建了该实验室的第二代实时lrf系统。以上这些lrf方法和实现的系统有一个局限是，他们处理的都是单色图像。

7、高诗竹等将处理单色图像或视频的lrf方法，拓展应用到彩色图像的幸运区域融合，采用对图像中红绿蓝(rgb)三色分别进行固定分块选图和叠加的融合方法，最终能够获得一幅高分辨率的彩色融合图像；特别是对于有一定景深的场景图像，复原出的彩色图像的清晰度可以超过无湍流单点聚焦的拍摄图像。陈柄宇对高诗竹lrf方法进行了一些改进并用fpga实现了对灰度图像的实时融合。由于他们的方法基于固定分块和rgb三通道的处理，有些分区融合的边界会出现细微变形，且所构成的fpga系统相对复杂，资源占用较多。

8、虽然上述方法某种程度可提高彩色图片的分辨率，但是在实际应用中，上述方法存在依赖于固定分块选图的问题，以及还存在计算量庞大和计算过程较为复杂的问题。

技术实现思路

1、本技术提供了一种基于幸运区域替换的彩色图像分辨率提高方法，能够解决现有的彩色图片分辨力提高方法中存在的依赖于固定分块选图，以及还存在计算量庞大和计算过程较为复杂的问题。

2、本技术的技术方案是一种基于幸运区域替换的彩色图像分辨率提高方法，包括：

3、s1：获取关于拍摄物的依据时序进行排列的若干帧原始彩色图像，以及在若干帧原始彩色图像中选定当前帧图像；

4、s2：基于时序确定紧邻当前帧图像的下一帧图像为输入帧图像，以及分别确定当前帧图像和输入帧图像的改良边缘指示函数；

5、s3：根据当前帧图像和输入帧图像的改良边缘指示函数，确定输入帧图像相对于当前帧图像的红色增益函数、绿色增益函数和蓝色增益函数，以及根据红色增益函数、绿色增益函数和蓝色增益函数，确定输入帧图像相对于当前帧图像的综合增益函数；

6、s4：基于综合增益函数，确定输入帧图像相对于当前帧图像的幸运区域，以及通过输入帧图像的幸运区域替换当前帧图像的相应区域，得到替换帧图像；

7、s5：以替换帧图像作为当前帧图像，重复执行所述步骤s2～s5，直至剩余的原始彩色图像均执行完毕。

8、可选地，所述步骤s2包括：

9、s21：基于时序确定紧邻当前帧图像的下一帧图像为输入帧图像；

10、s22：通过对基础边缘指示函数中的二阶梯度算子进行改良，分别确定当前帧图像和输入帧图像的改良边缘指示函数。

11、可选地，所述步骤s22包括：

12、s221：通过sobel算子替换基础边缘指示函数中的二阶梯度算子，分别确定当前帧图像和输入帧图像的改良边缘指示函数；

13、通过sobel算子改良后的改良边缘指示函数如下所示：

14、jsobel(r)＝∫ω|id(r′)-i0(r′)1g(r′-r，a)dr′；

15、

16、式中，k表示波数，在波传播的方向上单位长度内的波周数目称为波数，

17、b表示输入帧图像的像素值；

18、μ表示控制相位调制的常数，是一个无量纲量，描述了调制信号对载波信号相位修改的程度。具体而言，调制指数定义为调制信号振幅与调制引起的频率偏移之比。换句话说，它表示每单位调制信号变化对载波信号相位偏移的影响量；

19、ω表示位置矢量r处的积分区域；

20、l/(kb2)为传播距离，表示指光波在媒质中从发射点到接收点的距离；

21、i(r)表示输入帧图像；i0(r′)表示当前帧图像；

22、g(r′-r，a)表示方差为a的高斯核。

23、可选地，所述步骤s3包括：

24、s31：根据当前帧图像和输入帧图像的改良边缘指示函数，确定输入帧图像相对于当前帧图像的红色增益函数δ(r，t)r、绿色增益函数δ(r，t)g和蓝色增益函数δ(r，t)b；

25、确定红色增益函数δ(r，t)r、绿色增益函数δ(r，t)g和蓝色增益函数δ(r，t)b的公式相应如下所示：

26、

27、

28、

29、s32：通过对红色增益函数δ(r，t)r、绿色增益函数δ(r，t)g和蓝色增益函数δ(r，t)b取交集，确定输入帧图像相对于当前帧图像的综合增益函数δ(r，t)rgb；

30、综合增益函数δ(r，t)rgb的计算公式如下所示：

31、δ(r，t)rgb＝δ(r，t)r∩δ(r，t)g∩δ(r，t)b。

32、可选地，所述步骤s4包括：

33、s41：通过综合增益函数δ(r，t)rgb，针对输入帧图像is(r，t)相对于当前帧的幸运区域进行判定；

34、s42：如果存在幸运区域，通过输入帧图像is(r，t)相对于当前帧的幸运区域，替换当前帧的相应区域，得到替换帧图像

35、替换帧图像的计算公式如下所示：

36、

37、

38、有益效果：

39、本技术通过改良边缘指示函数确定幸运区域，以及通过分别计算红、绿、蓝三个通道的增益函数以及综合增益函数，可有效去除幸运区域的确认误差；

40、本技术中不断地用输入帧图像的幸运区域替换当前帧图像的幸运区域，由于幸运区域的形状不规则，所以本技术在实施过程中不依赖固定选图，此外通过幸运区域替换的处理的方法可有效解决现有技术中偏微分方程算法计算量很大的问题；

41、此外，本技术提出的方法能够快速地得到融合图像，计算复杂度较低，便于后续在fpga上实现实时自动的彩色图像序列的幸运区域融合，可有效去除在rgb彩色图像上去除由湍流引起的模糊，且得到的图像清晰度更高且无色差，此外对于灰度图像，本技术也同样适用；

42、综上所述可知，因此本技术能够解决现有的彩色图片分辨力提高方法中存在的依赖于固定分块选图，以及还存在计算量庞大和计算过程较为复杂的问题。