一种基于非盲反卷积及Codeformer的衍射图像增强方法

本发明属于衍射图像增强的，具体为一种基于非盲反卷积及codeformer的衍射图像增强方法。

背景技术：

1、传统光学通过扩大透镜口径及增加光学元件数量的方式来获得高分辨率的图像。然而随着时代的发展，若继续使用传统成像方法，通过扩大系统口径或增加光学元件的方式来获得更高分辨率的图像必定将致使成像系统的重量及体积巨大，限制了其在轻量化、集成化方向的发展。而衍射成像技术，通过使用超薄可控的薄膜材料作为衍射镜，将能够同时满足成像系统的超大口径、超轻型化的要求。因此对于衍射成像技术的研究具有重要且深远的意义，其中对于衍射图像增强的研究将是衍射成像技术发展中不可缺少的一环，将直接影响最终衍射成像的质量。

2、为提升衍射图像纹理、边缘等细节，反锐化掩膜技术得到了广泛的应用，然而传统的反锐化掩膜技术往往会使得噪声被线性放大，进而使得图像细节缺失；同时传统的反锐化掩膜技术存在超出范围的问题，会使得边缘区域出现深色晕轮。

3、图像反卷积技术是处理图像模糊的重要技术途径之一。常见的图像反卷积算法有维纳滤波、全变分等。然而这类算法需要精准的psf及相应的先验信息才能得到较为理想的结果。实际处理过程中，受成像环境的影响，无法获得真正精准的psf，且由于原始图像中存在噪声，直接应用图像反卷积技术进行图像去模糊通常无法获得令人满意的结果。

技术实现思路

1、针对以上技术中存在的缺陷，本发明旨在设计一种基于非盲反卷积及codeformer的衍射图像增强方法。该方法无需精准的psf即可实现衍射图像去模糊、细节纹理增强、清晰度提升的衍射图像增强，并从后端数字图像处理的角度改善了衍射成像技术的效果。

2、本发明的方法采用的技术方案如下：

3、一种基于非盲反卷积及codeformer的衍射图像增强方法，该方法包括如下步骤：

4、步骤a，使用深阶谐衍射光学成像设备和星点靶标分别获取原始衍射图像及成像设备的psf；

5、步骤b，使用clahe算法以改善原始衍射图像光照，提升原始衍射图像细节对比度；

6、步骤c，采用非线性锐化掩膜对步骤b获得的图像进行锐化处理得到锐化处理后的图像；

7、步骤d，将原始衍射图像作为引导图像，对锐化处理后的图像进行引导滤波得到引导滤波后的图像；

8、步骤e，根据测定的psf，使用基于最大似然估计法对引导滤波后的图像进行多次非盲反卷积迭代；

9、步骤f，使用注意力机制的神经网络codeformer对反卷积后的图像进行图像超分。

10、进一步，步骤a中，使用薄膜衍射元件作为成像设备的主镜，目标辐射通过该成像设备后在焦面进行成像得到原始衍射图像。

11、进一步，步骤b中，clahe算法具体为：首先将原始衍射图像进行分块，在每个子块内进行直方图统计，并进行裁剪，使得被裁剪部分均匀分布在整个灰度区间，以保证直方图总面积不变；另外为避免块状效应，在每个子块的边缘进行双线性插值。

12、进一步，步骤c中，采用非线性锐化掩膜对步骤b获得的图像进行锐化处理，相应公式为：。

13、其中，为锐化后的输出图像，y为低通滤波处理后的原始衍射图像，d为原始衍射图像x与y之间的差值，为计算的自适应权重。

14、进一步，步骤d中，将原始衍射图像作为引导图像，对锐化处理后图像进行引导滤波得到引导滤波后的图像，核心公式如下：

15、，

16、，

17、其中， 为像素下标，为以 r 为半径，像素 k 为中心的滤波窗口，在该滤波窗口中，认为和为常数，当滤波窗口移动时，和也会发生改变，需重新计算，为调节系数以防止过大，一般取值为，为滤波窗口下的输出图像的第i个像素，为引导图像的第i个像素；，分别为滤波窗口下的引导滤波图像和原始衍射图像，和则分别对应原始衍射图像和引导滤波图像在滤波窗口内的像素均值，为计算协方差，为计算方差。

18、进一步，步骤e中，根据测定的psf，使用基于最大似然估计法对引导滤波后的图像进行多次非盲反卷积迭代，其迭代公式如下：

19、，

20、，

21、其中，代表第n+1次迭代后的去模糊衍射图像，为第n次迭代后的去模糊衍射图像，代表未经处理的原始衍射图像，为测得的psf卷积核，代表第n次迭代后的psf，为第n+1次迭代后的psf。

22、进一步，步骤f中，使用具有注意力机制的深度神经网络codeformer对反卷积处理后的图像进行超分，深度神经网络codeformer由两个部分组成分别为高清图像自重构学习部分和基于自注意力的图像重建预测部分。

23、进一步，深度神经网络codeformer的训练方法为：

24、步骤一：码本学习，通过高清图像自重建训练vqgan，生成hq码本空间作为离散图像先验；设计最小的码本空间和最短的code序列降低lq-hq映射不确定性；采用32倍压缩比将原始图片压缩为离散code序列，增强码本空间中code序列的上下文信息，提升网络表达能力和鲁棒性；

25、步骤二：基于transformer的码本查找学习，基于获得的码本空间，在encoder模块后增加一个transformer模块进行特征全局建模，优化code序列预测，此阶段，固定decoder模块和码本，学习和微调transformer模块和encoder模块，将复原任务转为离散code序列预测任务；

26、步骤三：加入可控特征融合模块，该模块用于分别控制encoder模块编码后和decoder模块解码后的特征进而控制保真度，以使得网络具有更强的鲁棒性和适用范围。

27、与现有技术相比，本发明的创新点及优点在于：

28、（1）本发明通过将非线性反锐化掩膜技术和引导滤波进行结合不仅增强了衍射图像的边缘、纹理等细节同时避免了传统反锐化掩膜带来的噪声和深色晕轮，实现了衍射图像的有效增强。

29、（2）使用了迭代式的图像反卷积去模糊技术，避免了传统图像反卷积需要精确的psf及相应的先验信息的问题，实际应用过程中，只需给定一个较为准确的psf和相应的模糊图像，在多次迭代后均可获得较好的图像效果，极大地拓展了衍射成像技术的使用范围。

30、（3）将图像超分技术应用于衍射图像增强，不仅能够提升图像的清晰程度还能辅助性解决图像细节模糊的问题。另外本发明使用了一种全新的神经网络架构（codeformer），该网络的优点在于：1.引入了vqgan的离散码本空间来缓解图像复原任务映射过程中的不确定性；2.使用了transformer来进行code序列查询，使得code序列的查找更为准确，对于严重的细节损失更为鲁棒，复原的图像更为自然；3.引入了可控特征融合模块(controllable feature transformation ,cft) 来控制encoder模块编码后的特征和decoder模块解码后的特征融合，进而控制重建图像的清晰程度和真实图像之间的关系。