基于生成式对抗网络的红外盲元补偿方法与流程
本发明属于红外成像技术领域，尤其涉及一种基于生成式对抗网络的红外盲元补偿方法。
背景技术：
随着红外成像技术近几年的高速发展，已经在医疗领域、路政领域和电子领域发挥了巨大的作用。红外焦平面阵列(irfpa)作为红外成像系统的核心硬件，因其材料与制作工艺的限制和外界环境的影响，拍摄的红外图像会受到非均匀性影响并且存在大量的噪声，这些因素导致了红外盲元的产生。红外盲元表现为图像中过亮或过暗的点，暗点被称为死像元，是指像元响应率小于各有效像元平均响应率1/10的像元；亮点被称为过热像元，定义为像元噪声电压大于各有效像元平均噪声电压的10倍的像元。红外盲元的存在会对后续的目标检测、识别与跟踪产生不利的影响。因此如何有效的对红外图像盲元进行补偿是自红外成像技术发展以来一直被研究的问题。
现有的盲元补偿算法通常采用盲元周围的有效信息或红外视频前后帧之间的图像信息对盲元信息进行预测。sbbpdc算法在自适应中值滤波盲元检测算法的基础上，提出改进的nagao滤波算法，通过强方向性的子窗口中值滤波改善了图像边缘的清晰度并保留了场景细节。tensorial-rls算法通过递推最小二乘法和映射投影技术对像素的增益和偏置进行联合补偿，对噪声具有快速的收敛性和较强的鲁棒性。arm算法首先对红外图像进行多尺度分解，通过构建的非参数回归模型对各尺度进行盲元补偿，然后对各尺度间构建自回归参数模型实现从低分辨到高分辨的学习，进一步提高补偿精确度，表现出了对盲元簇的适应性。基于神经网络的红外图像盲元补偿算法则是通过神经网络学习的方式实现校正，神经网络主要有中间层和校正层两部分组成，中间层用于计算某给定像素的理想期望输出，其作用是对增益和偏置系数进行自适应修正；校正层用修正过的系数对像元的输出进行校正。
技术实现要素：
发明目的：针对以上问题，本发明提出一种基于生成式对抗网络(gan,generativeadversarialnetworks)的红外盲元补偿方法。该方法通过预训练的对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测，提高红外图像的盲元补偿效果。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于生成式对抗网络的红外盲元补偿方法，包括以下步骤：
步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数；
步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像；
步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像；
步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期；
步骤五，若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。
进一步地，所述步骤一，生成式对抗网络模型由生成器和判别器组成；
所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构为原型，以全卷积结构作为生成器的卷积层，将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；生成器的输入为红外盲元图像；
所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。
进一步地，通过生成式对抗网络模型中生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；
所述损失函数由补偿损失(compensationloss)和对抗损失(adversarialloss)构成；
补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失(mseloss)作为损失函数，结合掩膜矩阵的补偿损失函数表示为：
其中lc(x,m)为补偿损失函数，x为输入的红外盲元图像，训练过程中m为随机掩膜，测试过程中m为盲元检测算法生成的二值掩膜矩阵，g(x,m)为生成器对添加掩膜的输入图像的补偿结果，即生成器生成的红外图像；·表示element-wise乘法，
对抗损失：生成器仅通过补偿损失函数生成的红外图像因为缺少原图像的高频信息而缺乏图像的纹理细节，其原因是l2损失函数的极小化往往会导致生成模糊的图像，会对后续的盲元补偿效果产生不利的影响；因此，通过引入对抗损失函数实现对生成模糊图像的惩罚，并且能够指导模型进行更准确的预测，尤其是对不同个体的边缘信息；采用wgan-gp判别模型的损失函数作为对抗损失函数，表示为：
其中
最终的目标函数表示为：
其中α为权重参数，用来平衡补偿损失和对抗损失。
进一步地，所述步骤三，由于红外焦平面阵列(irfpa)受到非均匀性影响使得红外图像表现为区域灰度不一致而产生红外盲元，如果直接采用全局阈值进行判断，阈值太大容易造成漏检，阈值太小又会造成局部过检，因此，采用加窗3σ方法对红外盲元图像进行盲元检测，即基于滑动窗口的自适应阈值检测，方法如下：
以某一像元为中心，取大小为2(n+1)×2(n+1)的窗口，通过求窗内像元的均值与标准差σ判断该中心像元是否为盲元，n为半窗宽度；
采用3σ准则作为盲元判别标准，将灰度值不在阈值范围内的像元判别为盲元；所述阈值范围为窗口灰度平均值±3σ，标准差σ计算公式为：
其中f(k,l)为像元灰度值，(k,l)为窗口中心像素点的坐标，
当
盲元检测完成后，根据盲元检测结果生成二值掩膜矩阵m，其中盲元像素为1，非盲元像素为0，矩阵表达式为：
进一步地，所述步骤四，生成器对添加掩膜的输入图像的补偿结果，实现了对盲元像素灰度值的预测，将预测的灰度值填充入原始的红外盲元图像，就能完成最终的补偿任务；但是直接填充方式针对盲元尤其是盲元簇进行补偿时会出现补偿像素亮度与周围像素亮度不匹配的问题，导致盲元补偿质量的降低；针对这一问题，引入图像融合算法来解决。采用泊松图像融合算法将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像y表示为：
s.tx′(i,j)＝x(i,j)form(i,j)＝0
其中
进一步地，所述步骤五，若第t轮与第t-1轮迭代生成的二值掩膜矩阵相同，说明补偿后的图像质量满足预期。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明提出了加窗3σ方法进行红外图像盲元检测，避免了漏检与局部过检的问题，提高了盲元检测精度。设计了基于生成式对抗网络的红外盲元补偿算法(gan-irbpc)来实现红外图像的盲元补偿，通过对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测，打破了现有补偿算法基于插值和滤波的传统思路。与传统算法相比，对盲元像素灰度值的预测更加准确，恢复的图像拥有较好的细节和纹理信息，对于大量孤立盲元和盲元簇有较强的适应性。
附图说明
图1是本发明方法的网络结构图；
图2是生成器与判别器结构图；
图3是扩张卷积层示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于生成式对抗网络的红外盲元补偿方法，网络结构如图1所示，分为两部分：(1)blind-pixeldetection:对红外盲元图像进行盲元检测，根据盲元检测结果编写二值掩膜矩阵；(2)blind-pixelcompensation:将盲元图像输入gan模型，模型输出生成图像，将生成图像与输入盲元图像拟合完成对盲元的补偿。具体实现步骤如下：
步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数。
本发明方法是通过构建的gan模型来实现对盲元灰度值的预测。在对构建的gan模型进行训练的过程中，为使得模型能够更好地学习到红外图像的特征和训练数据的样本分布，提升训练的稳定性和缩短训练时间，以达到最优的补偿效果，gan结构和损失函数的构建尤为重要。本实施例收集500张高分辨率红外图像，将这些图像进行裁剪，制作成由超过10000张图像组成的红外图像数据集。
所述生成式对抗网络模型由生成器和判别器组成；结构如图2所示，其中k表示卷积核大小，n表示featuremap维度，s表示步长，w和h表示图像大小。
所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构(encoder-encoder)为原型，以全卷积结构作为生成器的卷积层，全卷积与传统cnn结构相比将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，示意图如图3所示，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；在保持参数数量不变的情况下拥有比普通卷积更大的感受野，同时每层的特征图大小不变，保存了完整的图像信息，可以对更多数量的像素进行预测；因此，对于含有大量盲元的红外图像具有更好的补偿效果，对盲元簇也有更好的适应性；生成器的输入为红外盲元图像；
所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；由于单一判别器很难在保证全局信息真实的同时保证局部纹理清晰，因此，本发明的判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。
利用生成器生成足以欺骗判别器的伪造红外图像来实现盲元补偿，通过生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；
所述损失函数由补偿损失(compensationloss)和对抗损失(adversarialloss)构成；
补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失(mseloss)作为损失函数，结合掩膜矩阵的补偿损失函数表示为：
其中lc(x,m)为补偿损失函数，x为输入的红外盲元图像，训练过程中m为随机掩膜，测试过程中m为盲元检测算法生成的二值掩膜矩阵，g(x,m)为生成器对添加掩膜的输入图像的补偿结果，即生成器生成的红外图像；·表示element-wise乘法，
对抗损失：生成器仅通过补偿损失函数生成的红外图像因为缺少原图像的高频信息而缺乏图像的纹理细节，其原因是l2损失函数的极小化往往会导致生成模糊的图像，会对后续的盲元补偿效果产生不利的影响；因此，通过引入对抗损失函数实现对生成模糊图像的惩罚，并且能够指导模型进行更准确的预测，尤其是对不同个体的边缘信息；采用wgan-gp判别模型的损失函数作为对抗损失函数，表示为：
其中
最终的目标函数表示为：
其中α为权重参数，用来平衡补偿损失和对抗损失。
步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像。
步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像。
由于红外焦平面阵列(irfpa)受到非均匀性影响使得红外图像表现为区域灰度不一致而产生红外盲元，如果直接采用全局阈值进行判断，阈值太大容易造成漏检，阈值太小又会造成局部过检，因此，采用加窗3σ方法对红外盲元图像进行盲元检测，即基于滑动窗口的自适应阈值检测，方法如下：
以某一像元为中心，取大小为2(n+1)×2(n+1)的窗口，通过求窗内像元的均值与标准差σ判断该中心像元是否为盲元，n为半窗宽度；本实施例中，n取值为4或5；
采用3σ准则作为盲元判别标准，将灰度值不在阈值范围内的像元判别为盲元；所述阈值范围为窗口灰度平均值±3σ，标准差σ计算公式为：
其中f(k,l)为像元灰度值，(k,l)为窗口中心像素点的坐标，
当
盲元检测完成后，根据盲元检测结果生成二值掩膜矩阵m，其中盲元像素为1，非盲元像素为0，矩阵表达式为：
步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期。
生成器对添加掩膜的输入图像的补偿结果，实现了对盲元像素灰度值的预测，将预测的灰度值填充入原始的红外盲元图像，就能完成最终的补偿任务；但是直接填充方式针对盲元尤其是盲元簇进行补偿时会出现补偿像素亮度与周围像素亮度不匹配的问题，导致盲元补偿质量的降低；针对这一问题，引入图像融合算法来解决。
本实施例中，采用泊松图像融合算法将生成的红外图像和待补偿的红外盲元图像进行融合，实现补偿效果的优化，得到补偿后的图像y表示为：
s.tx′(i,j)＝x(i,j)form(i,j)＝0
其中
步骤五，单次盲元补偿可能会因为盲元检测不准确，gan模型生成图像质量不高，图像融合结果不理想等原因造成补偿精度与质量较低，因此，本发明方法是一个迭代过程；若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。
本实施例中，若第t轮与第t-1轮迭代生成的二值掩膜矩阵相同，说明补偿后的图像质量满足预期；最大迭代次数设为5次。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！