本发明属于数字图像处理技术领域，具体涉及一种基于深度学习的红外图像非均匀性校正方法。
背景技术
随着红外成像技术的不断发展，已广泛应用于民用、军事等多种领域。在红外成像过程中，由于红外相机和光学系统的工艺特性和热特性，红外成像系统中存在各个探测单元的响应度不一致，造成红外图像中出现固定的不规则底纹，即非均匀性，影响成像质量。因此，需要对红外图像进行非均匀性校正，消除外界因素对成像质量的影响。
当前红外图像的非均匀性校正方法主要有基于定标的方法和基于场景的方法。基于定标的方法包括例如两点校正法、多点校正法等，由于红外探测器的响应实际上是随着时间缓慢漂移的，因此需要周期性地中断探测器工作来进行校正。而基于场景的方法例如神经网络法，利用场景中的冗余信息，能够有效地适应参数的漂移，不需要重新定标，但是现有的神经网络法在进行红外图像的非均匀性校正时存在鬼影现象。
技术实现要素：
为了解决现有技术中存在的上述问题，本发明提供了一种基于深度学习的红外图像非均匀性校正方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于深度学习的红外图像非均匀性校正方法，所述方法包括：
s1：构建第一多尺度特征提取单元；
s2：根据所述第一多尺度特征提取单元构建m个多尺度特征提取单元，形成偏置校正网络，m为自然数；
s3：根据所述第一多尺度特征提取单元构建n个多尺度特征提取单元，形成增益校正网络，n为自然数；
s4：将所述偏置校正网络与所述增益校正网络进行级联操作，构建非均匀性校正网络；
s5：对所述非均匀性校正网络进行训练，得到训练后的校正网络结构；
s6：将待校正的红外图像输入所述训练后的校正网络结构中，获得校正后的红外图像。
在本发明的一个实施例中，所述s1包括：
s11：分别配置第一卷积层、第二卷积层和第三卷积层；
s12：将所述第一卷积层的输出、所述第二卷积层的输出和所述第三卷积层的输出按照通道方向依次进行拼接，形成输出向量；
s13：根据所述输出向量配置第四卷积层，并将所述第四卷积层的输出作为第一多尺度特征提取单元。
在本发明的一个实施例中，所述s11包括：
s111：配置第一卷积层，其中，所述第一卷积层的卷积核大小w×h＝1×1，卷积核数量o＝32，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数；
s112：配置第二卷积层，其中，所述第二卷积层的卷积核大小w×h＝3×3，卷积核数量o＝64，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数；
s113：配置第三卷积层，其中，所述第三卷积层的卷积核大小w×h＝5×5，卷积核数量o＝32，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数。
在本发明的一个实施例中，所述s13包括：
s131：将所述输出向量作为输入，配置第四卷积层，其中，所述第四卷积层的卷积核大小w×h＝1×1，卷积核数量o＝64，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数；
s132：从所述第四卷积层输出多尺度特征融合后的特征，形成第一多尺度特征提取单元。
在本发明的一个实施例中，所述s2包括：
s21：按照步骤s1的卷积过程，依次构建m个多尺度特征提取单元，形成第一卷积神经网络，其中，前一个多尺度特征提取单元的输出作为后一个多尺度特征提取单元的输入，m为自然数；
s22：将所述第一卷积神经网络的输入与所述第一卷积神经网络的输出进行点对点相加，形成偏置校正网络。
在本发明的一个实施例中，所述s3包括：
s31：按照步骤1的卷积过程，依次构建n个多尺度特征提取单元，形成第二卷积神经网络，其中，前一个多尺度特征提取单元的输出作为后一个多尺度特征提取单元的输入，n为自然数；
s32：将所述第二卷积神经网络的输入与所述第二卷积神经网络的输出进行点对点相乘，形成增益校正网络。
在本发明的一个实施例中，m和n的取值在5-10的范围内。
在本发明的一个实施例中，所述s5包括：
s51：对所述非均匀性校正网络中的每个卷积层的卷积核进行随机初始化；
s52：利用训练数据集对所述非均匀性校正网络进行训练，得到训练后的校正网络结构。
在本发明的一个实施例中，所述训练数据集为bsds500数据集。
与现有技术相比，本发明的有益效果在于：
1、本发明基于深度学习的红外图像非均匀性校正方法与现有的其他校正方法相比，消除了鬼影现象，使得校正后图像中的细节信息更加丰富。
2、该红外图像非均匀性校正方法找到了图像的非均匀性与场景之间的关系，可以有效地将图像的非均匀性与背景目标分离，与现有的非均匀性校正方法相比，有效地适应非均性的漂移，校正后的图像粗糙度更低，具有更加锐利的视觉效果。
附图说明
图1是本发明实施例提供的一种基于深度学习的红外图像非均匀性校正方法的流程示意图；
图2是本发明实施例提供的构建多尺度特征提取单元步骤的示意图；
图3是本发明实施例提供的构建非均匀性校正网络步骤的示意图；
图4a是红外图像序列中的一帧原始的红外图像；
图4b是采用现有神经网络方法对红外图像序列进行非均匀性校正后的一帧图像；
图4c是采用现有全变分神经网络方法对红外图像序列进行非均匀性校正后的一帧图像；
图4d是采用本发明方法对红外图像序列进行非均匀性校正后的一帧图像。
具体实施方式
下面将结合具体实施例对本发明做详细描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的一种基于深度学习的红外图像非均匀性校正方法的流程示意图。本实施例基于深度学习的红外图像非均匀性校正方法包括：
s1：构建第一多尺度特征提取单元；
s2：根据所述第一多尺度特征提取单元构建m个多尺度特征提取单元，形成偏置校正网络，m为自然数；
s3：根据所述第一多尺度特征提取单元构建n个多尺度特征提取单元，形成增益校正网络，n为自然数；
s4：将所述偏置校正网络与所述增益校正网络进行级联操作，构建非均匀性校正网络；
s5：对所述非均匀性校正网络进行训练，得到训练后的校正网络结构；
s6：将待校正的红外图像输入所述训练后的校正网络结构中，获得校正后的红外图像。
进一步地，所述s1包括：
s11：分别配置第一卷积层、第二卷积层和第三卷积层；
请参见图2，图2是本发明实施例提供的构建多尺度特征提取单元步骤的示意图。具体步骤为：配置第一卷积层，其中，在本实施例中，所述第一卷积层的卷积核大小w×h＝1×1，卷积核数量o＝32，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数，第一卷积层输出感受野为1的特征；配置第二卷积层，其中，在本实施例中，所述第二卷积层的卷积核大小w×h＝3×3，卷积核数量o＝64，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数，第二卷积层输出感受野为3×3的特征；配置第三卷积层，其中，在本实施例中，所述第三卷积层的卷积核大小w×h＝5×5，卷积核数量o＝32，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数，第三卷积层输出感受野为5×5的特征。
relu具体为修正线性单元(rectifiedlinearunit，简称relu)，能够使网络中参数的分布更加稀疏，从而加速收敛过程。relu激活函数的数学表示为：
f(x)＝max(0,x)，
其中，x是卷积层的输出。
需要说明的是，在本发明中，卷积核的大小、卷积核的数量和步进值可以设定为其他数值，具体按照实际需求进行设定。
s12：将所述第一卷积层的输出、所述第二卷积层的输出和所述第三卷积层的输出按照通道方向依次进行拼接，形成输出向量；
s13：根据所述输出向量配置第四卷积层，并将所述第四卷积层的输出作为第一多尺度特征提取单元。
具体地，再次参见图2，将第一卷积层的输出、第二卷积层的输出和第三卷积层的输出拼接形成的输出向量作为输入，配置第四卷积层，其中，在本实施例中，所述第四卷积层的卷积核大小w×h＝1×1，卷积核数量o＝64，步进值为s＝1，边缘填充为p＝1，激活函数采用relu激活函数；从所述第四卷积层输出多尺度特征融合后的特征，形成第一多尺度特征提取单元。
进一步地，所述s2包括：
s21：按照步骤s1的卷积过程，依次构建m个多尺度特征提取单元，形成第一卷积神经网络，其中，前一个多尺度特征提取单元的输出作为后一个多尺度特征提取单元的输入，m为自然数；
s22：将所述第一卷积神经网络的输入与所述第一卷积神经网络的输出进行点对点相加，形成偏置校正网络。
具体地，请参见图3，图3是本发明实施例提供的构建非均匀性校正网络步骤的示意图。在本实施例中，m的取值为5，也就是说，所述第一卷积神经网络包括5个依次连接的多尺度特征提取单元，在卷积操作的过程中，第一多尺度特征提取单元的输出作为第二多尺度特征提取单元的输入，第二多尺度特征提取单元的输出作为第三多尺度特征提取单元的输入，以此类推。而每个多尺度特征提取单元的构建均符合步骤s11-s13中的卷积方法，但是，值得注意的是，在实际构建中，卷积核的大小、卷积核的数量和步进值可以按照实际需求重新设定为其他数值。
进一步地，所述s3包括：
s31：按照步骤1的卷积过程，依次构建n个多尺度特征提取单元，形成第二卷积神经网络，其中，前一个多尺度特征提取单元的输出作为后一个多尺度特征提取单元的输入，n为自然数；
s32：将所述第二卷积神经网络的输入与所述第二卷积神经网络的输出进行点对点相乘，形成增益校正网络。
继续参见图3，在本实施例中，n的取值也为5，也就是说，所述第二卷积神经网络包括5个依次连接的多尺度特征提取单元，在卷积操作的过程中，前一个多尺度特征提取单元的输出作为后一个多尺度特征提取单元的输入，以此类推。而每个多尺度特征提取单元的构建均符合步骤s11-s13中的卷积方法，但是，值得注意的是，在实际构建中，卷积核的大小、卷积核的数量和步进值可以按照实际需求重新设定为其他数值。
在其他实施例中，m或n优选地取值在5-10的范围内，且m、n的取值可以相同也可以不同。
进一步地，所述s4具体包括：
将所述偏置校正网络和所述增益校正网络按顺序进行拼接，构建非均匀性校正网络。
本实施例基于深度学习的红外图像非均匀性校正方法与现有的其他校正方法相比，消除了鬼影现象，使得校正后图像中的细节信息更加丰富。
实施例二
在上述实施例的基础上，本实施例对步骤s5的具体实现步骤进行详细描述。
具体地，所述s5包括：
s51：对所述非均匀性校正网络中每个卷积层的卷积核进行随机初始化；
具体地，在训练之前，对所述非均匀性校正网络中每个卷积层的卷积核设定初值。
s52：利用训练数据集对所述非均匀性校正网络进行训练，得到训练后的校正网络结构。
在本实施例中，所使用的训练数据集为bsds500数据集。bsds500是一种伯克利图像分割数据集，可以覆盖大多数场景，是在图像处理领域比较有代表性的数据集。具体的训练过程为：使用adam优化器，以0.001的学习率训练25回合，再以0.0001的学习率训练25回合，共训练50回合，得到训练后的校正网络结构，其中，训练数据的批次大小设置为128。
请参见图4a至图4d，图4a是红外图像序列中的一帧原始的红外图像；图4b是采用现有神经网络方法对红外图像序列进行非均匀性校正后的一帧图像；图4c是采用现有全变分神经网络方法对红外图像序列进行非均匀性校正后的一帧图像；图4d是采用本发明方法对红外图像序列进行非均匀性校正后的一帧图像。通过对比可以看出，经本实施例方法校正后的红外图像较之另外两种方法的非均匀校正后图像，非均匀残留的更少、峰值信噪比更高、粗糙度更低、且边缘更清晰。
下面分别采用峰值信噪比(psnr)和粗糙度(ρ)来量化对照评估本发明实施例提出的基于深度学习的红外图像非均匀性校正方法与现有的神经网络法以及全变分神经网络方法的性能差异，实验结果参见表1。
表1.三种方法对比测试结果的量化参数对比表
由表1可见：(1)经本实施例红外图像非均匀性校正方法校正后的图像峰值信噪比(psnr)明显高于神经网络法和全变分神经网络法，说明经实施例方法校正后的图像保留了更多的图像细节信息；(2)经本实施例红外图像非均匀性校正方法校正后的图像的粗糙度ρ低于神经网络法和全变分神经网络法，说明经本实施例方法校正后的图像中残存的非均匀性更少，校正方法更有效。上述结果充分说明，本实施例方法针对红外图像的非均性校正效果更好，图像中的细节信息也更加锐利。
本实施例的基于深度学习的红外图像非均匀性校正方法找到了图像的非均匀性与场景之间的关系，可以有效地将图像的非均匀性与背景目标分离，与现有的非均匀性校正方法相比，有效地适应非均匀性漂移，校正后地图像粗糙度更低，具有更加锐利的视觉效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。