应用于单幅红外图像非均匀校正的深度高频网络校正算法的制作方法

本发明涉及一种图像数据处理技术，特别涉及一种应用于单幅红外图像非均匀校正的深度高频网络校正算法。

背景技术：

对于理想的红外焦平面阵列，有相同的入射辐射就该有一致的响应输出。但是在实际过程中由于材料质量和制作工艺等因素的影响，每个探测器实际响应输出并不一致，产生了红外焦平面阵列响应的非均匀性,降低了图像质量。因此，红外图像非均匀校正具有非常重要的理论和实践意义。

目前，非均匀性校正的方法主要基于定标和基于场景的两种校正方法。定标法的优点是算法相对简单，但在实际过程中由于非均匀性会随时间和环境温度等因素的改变而发生变化。所以，在应用中需对参考源进行多次重复定标，为了避免重复定标的问题，研究人员提出了神经网络法、恒定平均、帧间配准算法等基于场景的非均匀性校正算法，但场景法中如果图像序列帧间差异过大，前一帧图像会遗留残影在当前图像上。单帧图像的非均匀校正可避免帧间残影现象,引起了国内外研究学者的重视。

对单幅图红外图像进行非均匀校正主要可分为3类：1)对像素之间的处理，其中tendero和gille(tenderoy,landeaus,gillesj.non-uniformitycorrectionofinfraredimagesbymidwayequalization[j].imageprocessingonline,2012(2):134-146.)提出利用局部直方图均值和中值直方图去除条纹非均匀性算法，该算法将每列的直方图替换为相邻列的中值直方图，可以取得很好的效果，但是直方图计算时花费的校正时间较长，且在一定程度上降低了图像的空间分辨率；简献忠(简献忠,王凡,郭强.改进的基于压缩感知的单幅图非均匀校正[j].机电工程,2017,34(12):1491-1495.)提出压缩感知与中值直方图结合的图像非均匀校正，减少了直方图计算时的数据，缩短了校正时间，但是对于背景复杂的非均匀图像，重构效果不佳；2)采用滤波算法，cao(y.cao,m.y.yang,andc.-l.tisse.effectivestripnoiseremovalforlow-texturedinfraredimagesbasedon1dguidedfiltering[j].ieeetranscircuitssystvideotechnol,2016,26:2176–2188.)提出使用引导滤波，从原始红外图像中减去估计的噪声进行非均匀校正，可以有效的在噪声消除和细节保存之间取得良好的平衡，同时保留了图像细节，但会有一些垂直结构从其校正结果中被错误地删除。3)基于网络学习的方法,kuang(xkuang,xsui,qchen,ggu.singleinfraredimagestripenoiseremovalusingdeepconvolutionalnetworks[j].ieeephotonjournal,2017,9(4):1-13.)提出卷积神经网络(snrcnn)在仿真的单幅红外图像上的噪声去除，通过先验知识构建训练集，并使用训练模型进行非均匀校正，获得比其他重建算法更好的结果，但是该算法采用的神经网络存在欠拟合的问题，导致非均匀校正后图像仍有部分细条纹噪声存在，并且snrcnn试图直接学习噪声和无噪声图像之间的复杂映射关系，加大了训练复杂度，降低了算法的准确性。

技术实现要素：

本发明是针对现在单帧图像的非均匀校方法中使用卷积神经网络(snrcnn)算法存在的问题，提出了一种应用于单幅红外图像非均匀校正的深度高频网络校正算法，采用滤波器和差值结构完成深度高频网络的设计，构建深度网络结构。为减少数据量，针对非均匀红外图像数据特性，引入滤波器结构对图像背景干扰信息进行去除；为了降低训练复杂度，采用差值结构进行网络设计，缩小了输入输出的映射范围，有效简化了训练过程，提高了校正精度。

本发明的技术方案为：一种应用于单幅红外图像非均匀校正的深度高频网络校正算法，将单幅含有非均匀噪声的图像y，先经过双边滤波器，分离出高频分量ih和低频分量il，其中低频分量il为背景信息，将其去除；将包含图像边缘细节以及非均匀噪声的高频分量ih作为深度残差网络的输入，再通过训练后红外图像模型进一步拟合，得出非均匀噪声图像n；最后将非均匀红外图像y引入通过差值结构将噪声n从非均匀红外图像y中提取出来，最终得到预估的校正红外图像x。

所述红外图像模型训练方法具体如下：

红外图像模型如下：

y＝x+n

其中n为非均匀噪声，x为真实的红外原图，y为采集到的图像；

在firsequencepedestriandataset数据集中获得220张干净红外图像,仿真处理得到图片分辨率为360×512的干净和含非均匀噪声的红外图像对zi和yi，作为算法的训练图像集；

红外图像模型整个训练的过程公式如下：

ni＝m(ih,i)

xi＝yi-ni

其中zi和yi为第i对参加训练的图像，共有n对；ni为第i对参加训练的图像中的非均匀噪声；ih，i为第i对参加训练的图像中的高频成分；xi为通过第i对参加训练的图像得到的预估校正红外图像；m代表使用的网络映射，f是弗罗贝尼乌斯范数，使用随机梯度下降法来最小化损失函数loss。

所述深度残差网络为:先使用大小为c×f1×f1×a的卷积核来生成a张特征图，c表示图像信道的数量，再使用大小为a×f2×f2×a1的卷积核产生a1张特征图，最后使用a1×f3×f3×c的卷积核来估计非均匀噪声,其中f1、f2、f3分别表示3个卷积的大小；

深度残差网络结构表示为：

xl＝max(0,wl*xl-1+bl)

xl+1＝max(0,wl+1*xl+bl+1)+xl-1

其中l代表的是卷积的层数，w代表的是卷积的权重，b代表的是偏置，max(·)代表relu激活函数，xl，xl+1，xl-1分别代表l层、l+1层，l-1层预估的校正红外图像值。

本发明的有益效果在于：本发明应用于单幅红外图像非均匀校正的深度高频网络校正算法，成功将深度学习应用于红外图像非均匀校正。方法中将滤波器和差值结构的思想应用于深度学习的网络结构设计，构建了深度高频网络，解决了卷积神经网络(snrcnn)的欠拟合和训练复杂度高的问题，提高了校正精度，为单幅图像非均匀校正提供了一种新的思路。

附图说明

图1为本发明网络结构图；

图2为本发明算法流程图；

图3为本发明所用算法收敛曲线图；

图4为本发明算法与snrcnn算法的训练曲线收敛结果对比图。

具体实施方式

一种应用于单幅图像红外非均匀校正算法，具体包括如下步骤：

1、训练集的获取

现实中很难获得真实的含非均匀噪声和干净的红外图像，本发明针对非均匀红外图像的特点，非均匀噪声可以被表示为一个固定的加性噪声，其红外图像模型如下：

y＝x+n

其中n为非均匀噪声，x为真实的红外原图，y为采集到的图像。

基于上述模型，在firsequencepedestriandataset数据集中获得220张干净红外图像,仿真处理得到图片分辨率为360×512的干净和含非均匀噪声的红外图像对zi和yi，作为算法的训练图像集。

2、深度高频网络设计

如图1所示本发明网络结构所示，网络结构主要包含高频分量的提取,噪声映射的网络学习和使用差值结构的校正图像重建三个部分。

2.1高频分量的提取

用空间域低通滤波器对非均匀性图像进行处理，可以把图像分成空间低频成分和空间高频成分。其中背景信息具有连续相关性，表现为空域低频性；而非均匀性是由各探测器阵列元独立产生，各阵列元对应的输出的非均匀性差异较大，表现为空域高频性；使用双边滤波器可以有效将空间高频低频信息进行分离，从图像中去除低频信息后，移除了背景的干扰，只留下含非均匀噪声的红外图像信息信在高频滤波后的图像中。

2.2映射学习与差值结构

如非均匀红外图像为y,真实的干净红外图像为z，则y通过双边滤波器,可以删除背景中低频信息，分离出高频分量ih，将ih作为输入深度残差网络，则输出为非均匀噪声n，再将非均匀红外图像y引入通过差值结构将噪声n从非均匀红外图像y中提取出来，最终可得到预估的校正红外图像x。

红外图像模型整个训练的过程公式如下：

ni＝m(ih,i)

xi＝yi-ni

其中zi和yi为第i对参加训练的图像，共有n对；ni为第i对参加训练的图像中的非均匀噪声；ih，i为第i对参加训练的图像中的高频成分；xi为通过第i对参加训练的图像得到的预估校正红外图像；m代表使用的网络映射，f是弗罗贝尼乌斯范数，使用随机梯度下降法来最小化损失函数loss。

在网络的设计上，先使用大小为c×f1×f1×a的卷积核来生成a张特征图，其中f1、f2、f3分别表示3个卷积的大小，c表示图像信道的数量，再使用大小为a×f2×f2×a1的卷积核产生a1张特征图，最后使用a1×f3×f3×c的卷积核来估计非均匀噪声。

深度网络结构可以被表示为：

xl＝max(0,wl*xl-1+bl)

xl+1＝max(0,wl+1*xl+bl+1)+xl-1

其中l代表的是卷积的层数，w代表的是卷积的权重，b代表的是偏置，max(·)代表relu激活函数，xl，xl+1，xl-1分别代表l层、l+1层，l-1层预估的校正红外图像值。

本发明采用差值结构这一方法，使网络在训练过程中，学习的是非均匀红外图像与正常红外图像的差值部分，而不是直接学习正常红外图像，这一方法可以有效的减小映射范围，使本发明的训练过程变得更为简单，同时这种差值结构还可以直接在整个网络中传播无损信息，有利于最终非均匀校正的红外图像的获取。

3、算法实施

3.1算法流程

本发明将单幅含有非均匀噪声的图像y，先经过双边滤波器，分离出高频分量ih和低频分量il，其中低频分量il为背景信息，可将其去除，而高频分量ih包含了图像边缘细节以及非均匀噪声，故将高频分量ih作为深度残差网络的输入，再通过训练后红外图像模型进一步拟合，可以得出非均匀噪声图像n，最后将条纹噪声从非均匀图像y中去除，可得到校正后的图像。图2所示为本发明提出的算法流程图。

3.2参数设置

根据深度学习的实验研究经验，本发明将网络层数设置为l＝20,卷积核的大小f1＝f2＝f3＝5,卷积核数量a＝a1＝16,通道数c＝1；根据双边滤波器的最佳效果，本发明将双边滤波器的半径设为15,空域相似参数设为2,值域参数设为0.3。

3.3训练过程

本算法在单gpu的nvidiagtx1080ti上进行训练，使用“sgd”随机梯度下降优化算法[bottoul.large-scalemachinelearningwithstochasticgradientdescent[c]//internationalconferenceoncomputationalstatistics.2010:177-186.]，最小批量设置为32，初始学习率设置为0.01，调解参数设置为0.9，该参数起到一个平滑的作用，可以让sgd算法更加稳定和快速来对训练进行正规化。图3为本算法训练时的收敛曲线。

在同样的训练设置下，将本发明算法与snrcnn算法的训练曲线收敛进行对比，如图4所示，本算法收敛性能明显优于snrcnn,能够更快的进行收敛，并获得更低的收敛值。本发明使用的差值结构与高频信息相结合，有效的减少了映射范围，降低了学习复杂度，提高了训练时的收敛效率。

本发明每隔两层网络使用一次捷径连接，防止层数过多而带来的过拟合问题，并去除了池化层，避免池化过程中下采样操作带来的信息丢失，同时为加快训练时的收敛速度，使用了批量归一化的处理方法，即在网络的每一层输入的时候，又插入了归一化层，对数据先做归一化处理，然后再进入网络的下一层，这样做的目的是为了防止隐层的输入分布总是不断变化，先对该批数据做规范化让每个隐层节点的输入分布缩小到(-1,1)，缩小输入空间，从而降低调参难度。