基于深度多亮度映射无监督融合网络的红外图像增强方法

本发明涉及了一种红外图像增强方法，涉及图像处理，具体涉及一种基于深度多亮度映射无监督融合网络的红外图像增强方法。

背景技术：

1、红外图像是多光谱感知的重要数据源，其拥有夜视、透雾、透烟等可见光图像不具备的观测性能。在实际使用时，由于传感器特性，红外图像需经过增强处理才可拥有较好的观感。现有增强方法多采用传统图像亮度映射算法，对于图像的全局信息缺乏较好的感知和掌握。另一方面，随着边缘计算设备的不断智能化，基于深度学习手段的图像信号处理isp(image signal processor)算法逐渐展露效果和速度上的优势，而相关的算法研究并不多。

2、目前主流的红外增强算法有亮度映射法、直方图均衡化以及截断图像拉伸等。

3、亮度映射法利用预先设计的图像映射曲线将图像在0-1范围内进行亮度变化控制。常见的亮度映射法包括伽马变换，以及各类人工设计的映射曲线，例如s曲线。然而，基于纯手工设计的映射忽略了图像的全局信息与亮度分布信息。

4、直方图均衡化通过将图像的直方图分布转化为均匀分布的形式对图像进行增强。从而可以增强局部的对比度而不影响整体的对比度。然而，其对处理的数据未加入统计信息，可能会对于图像噪声进行增强，也可能降低有用信号的对比度，还可能导致过度增强的情况。

5、截断拉伸通过选取图像最低和最高某个比例的亮度，然后对于亮度范围内的像素值进行线性拉伸，从而达到图像增强的目的。这样的方法对于图像坏点的存在具备鲁棒性，但线性拉伸的灵活性较差，对于对比度较低红外图像效果可能退化。

技术实现思路

1、为了解决背景技术中存在的问题，本发明所提供一种基于深度多亮度映射无监督融合网络的红外图像增强方法。

2、本发明采用的技术方案是：

3、本发明的基于深度多亮度映射无监督融合网络的红外图像增强方法，包括：

4、1) 采集若干张原始的红外图像，将各张原始的红外图像依次进行图像预处理和数据增强扩增后获得若干张增强红外图像，将各张增强红外图像和原始的红外图像共同构建为扩展红外图像数据集。

5、2) 建立深度多亮度映射无监督融合网络，深度多亮度映射无监督融合网络包括依次连接的非线性多亮度映射模块和多亮度映射融合模块；将扩展红外图像数据集输入深度多亮度映射无监督融合网络中进行无监督训练，获得训练完成的深度多亮度映射无监督融合网络。

6、3) 将待增强的若干张红外图像输入训练完成的深度多亮度映射无监督融合网络中，训练完成的深度多亮度映射无监督融合网络处理后输出增强后的各张红外图像，完成红外图像的增强。

7、所述的步骤1)中，针对每张原始的红外图像，将红外图像进行预处理，首先将红外图像进行两点校正后获得校正后的红外图像，将校正后的红外图像进行线性拉伸，将校正后的红外图像的亮度范围映射在0-1之间，最终获得预处理后的原始的红外图像。

8、对单幅红外图像进行两点校正可以抵消红外探测器图像本底以及探测器各相元响应的非一致性，作为优选，使用5段两点校正进行处理。对红外图像进行线性拉伸，可以解决红外图像在减去本底后通常动态范围较小的问题，经过映射后的输出图像范围在0-1之间，且动态范围有所拉伸，便于后续进一步处理。

9、所述的步骤1)中，对各张预处理后的红外图像进行数据增强扩增处理，数据增强扩增处理包括亮度映射变换、噪声强度变换、非均匀遮挡、图像旋转和图像放缩等处理，每张预处理后的红外图像进行数据增强扩增处理中的其中一种或几种处理方式处理后获得一张增强红外图像。

10、数据增强、数据扩增手段可以保证红外增强网络对各情况下拍摄红外图像均具备较强的增强能力，以丰富图像场景和图像内容。其中图像的亮度映射采用随机切换图像亮度的方式完成；噪声强度变换通过随机加入不同强度的泊松-高斯噪声实现；非均匀遮挡通过随机抽取图像内容并置零实现；图像旋转和图像放缩则通过对应空间变换完成。

11、所述的步骤2)中，非线性多亮度映射模块包括依次连接的 n个最大池化层和一个全局池化层构成；针对扩展红外图像数据集中的每张红外图像，将红外图像输入非线性多亮度映射模块中进行处理，非线性多亮度映射模块处理后输出 n个预测的非线性亮度映射参数，非线性亮度映射参数的取值范围为0-1；根据每个预测的非线性亮度映射参数，使用非线性亮度映射方法进行映射后最终获得 n张亮度非线性映射后的红外图像，从而可以完成对于多个不同注意力区域不同程度的增强。

12、对于归一化后的红外图像，进行自适应非线性多亮度映射，以提升图像不同亮度内容的显著性。为了自适应地完成该功能，根据红外图像内容构建合适的多个非线性亮度映射中间结果，以进一步提升最终的红外图像增强效果。非线性多亮度映射模块可以渐进地聚合全局信息。

13、所述的步骤2)中，多亮度映射融合模块包括依次连接的图像特征抽取器部分、图像特征融合器部分和图像特征解码器部分；针对扩展红外图像数据集中的每张红外图像经非线性多亮度映射模块处理后获得的 n张亮度非线性映射后的红外图像，图像特征抽取器部分利用稠密连接孪生网络对 n张亮度非线性映射后的红外图像进行处理，处理后获得 n个编码特征，然后图像特征融合器部分首先对 n个编码特征进行通道维度串接处理获得串接特征，再将串接特征输入一个全连接层中进行特征融合与特征降维处理后获得融合特征，最后图像特征解码器部分利用全卷积神经网络对融合特征进行解码后获得最终增强的红外图像。

14、对于多个亮度非线性映射后的红外图像，利用多亮度映射融合模块进行融合，以获得观感自然且对比度明晰的增强效果，作为优选，设置非线性映射个数 n=4。稠密连接孪生网络包括依次连接的四个卷积层。

15、所述的全卷积神经网络包括依次连接的四个卷积层，全卷积神经网络的输入首先输入依次输入至前三个卷积层中进行处理，第一个和第三个卷积层处理后的输出经残差连接后输入至第四个卷积层中进行处理，处理后的输出和全卷积神经网络的输入经残差连接后输出作为全卷积神经网络的输出。

16、所述的步骤2)中，采用损失函数约束对深度多亮度映射无监督融合网络进行无监督训练，无监督训练中的损失函数具体如下：

17、 l= λ1 l1+ λ2 l2+ λ3 l3+ λ4 l4

18、其中， l表示深度多亮度映射无监督融合网络的总损失值； l1表示输入深度多亮度映射无监督融合网络的原始红外图像和处理后输出的增强红外图像之间的一致性度量值； l2、 l3和 l4分别表示感知损失值、图像对比度和图像亮度损失值； λ1、 λ2、 λ3和 λ4分别表示损失函数的第一、第二、第三和第四权重参数。

19、无监督损失函数主要实现两方面功能，其一，约束图像内容与原图像内容尽量一致，保证图像内容不失真；其二，对于所生成的红外图像质量进行度量，达到直接评判增强结果，优化增强效果的目的。因此，网络损失函数主要包含一致性测度和评价指标两方面。本发明利用一致性度量约束增强后红外图像内容的一致性，以避免图像失真，其中，一致性度量具体为局部归一化互相关度量；同时利用感知损失监督图像的语义一致性，感知损失具体通过vgg-16(visual geometry group 16-layer)网络获得；另一方面，需构建评价指标引导网络对于红外图像进行无监督增强，主要包括对于图像对比度与图像亮度的监督，其中，图像对比度通过拉普拉斯滤波器获得，图像亮度的监督需将图像的亮度尽量与0.5相近。

20、在无监督训练的过程中，使用梯度下降法对深度多亮度映射无监督融合网络进行参数迭代更新，设置初始学习率后，每隔固定epoch后将学习率进行衰减，当到达预设迭代次数后则停止参数更新，获得深度多亮度映射无监督融合网络的较优参数，作为优选，设置 λ1=0.5， λ2=0.75， λ3=0.75， λ4=1；最终直至深度多亮度映射无监督融合网络的总损失值降低并趋于稳定，完成无监督训练，获得训练完成的深度多亮度映射无监督融合网络。

21、本发明的有益效果是：

22、1、本发明采用两点校正和线性拉伸对红外图像进行预处理，可以抵消红外探测器图像本底以及探测器各相元响应的非一致性，可以解决红外图像在减去本底后通常动态范围较小的问题，且动态范围有所拉伸，便于后续进一步处理。

23、2、本发明通过非线性多亮度映射模块对归一化后的红外图像进行自适应非线性多亮度映射，可以提升图像不同亮度内容的显著性。

24、3、本发明通过多亮度映射融合模块对多个亮度非线性映射后的红外图像进行融合，可以获得观感自然且对比度明晰的增强效果。

25、本发明方法中的网络为全卷积结构，因而可以处理多尺寸图像输入，网络的两模块可协同训练和推理。同时，借助神经网络高并行化特点，网络可以同时处理多幅输入图像，且网络推理速度快，效果自然。