基于条件生成对抗网络的光电图像转换方法与流程

本发明属于图像处理技术领域，尤其涉及一种光电图像转换方法，可用于将可见光图像转换为红外图像。

背景技术：

红外成像技术因为其目标识别能力强、制导精度高、抗干扰能力强等优势，在目标探测、监视、跟踪等方面具有广泛的应用。常规红外图像主要是通过红外热像仪针对目标场景进行拍摄得到的，然而在对于一些特殊环境下，红外热像仪所能获得的图像数据量相对不足。同时，红外热像仪应与其他仪器相比，价格仍然很昂贵，这些都限制了红外图像数据的获得，影响了红外图像的应用。

传统意义上的图像转换，需要当前场景下的材质发射率、大气温度等多种先验信息，目前提出的图像转换算法大部分都利用数据拟合、仿真模拟等方式进行红外图像反演，但由于算法自身所拟合的数据量不足，很难有效并全面获取场景的内在特性信息，致使生成的转换图像纹理不自然，缺乏真实的红外场景特性，并由于其算法的局限性，其应用场景有限。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提供一种基于条件生成对抗网络的图像转换方法，以在多种可见光图像下，有效捕捉场景的内在目标特性信息，生成较自然的图像纹理特征，避免拟合过多的先验信息所导致的算法复杂性，有效提高图像转换效率和真实性。

实现本发明目的的技术方案是：在经典条件生成对抗网络的基础上对网络结构和损失函数加以改进，利用其内部的生成网络和判别网络具有相互制约、相互竞争的特点，生成相对真实的红外图像特性，其实现步骤包括如下：

1.一种基于条件生成对抗网络的光电图像转换方法，其特征在于，包括如下：

(1)从数据库中获取已匹配好的可见光-红外光电图像数据集；

(2)使用已匹配的可见光-红外光电图像数据集，对条件生成对抗网络进行训练，得到适用于光电图像转换的条件生成对抗网络：

(2a)对条件生成对抗网络内部的生成网络和判别网络进行初始化操作；

(2b)使用生成网络对可见光图像进行编码和解码操作，生成红外图像，并得到对应的可见光-红外图像的转换结构；

(2c)使用判别网络对(2b)得到的可见光-红外图像的转换结构进行判断，得到转换结构的逻辑判断结果，并依s据逻辑判断结果，构造条件生成对抗网络的损失函数其中lcgan(g,d)为条件生成对抗网络的目标函数，为生成网络的l1范数损失函数，λ为自定义数值，它表示生成网络的l1范数损失函数在条件生成对抗网络损失函数中所占比例；

(2d)使用adam优化器对条件生成对抗网络的损失函数g^*进行优化，得到训练后的条件生成对抗网络；

(3)将实时获取的可见光图像，输入到(2)训练好的条件生成对抗网络中，输出其图像转换结果，即对应的红外图像。

本发明与现有技术相比，具有如下优点：

1、本发明使用神经网络对多种环境下的可见光图像的内部细节特征进行提取，并生成对应的红外图像，其特征提取过程不需要大量的先验数据，可有效避免传统图像转换算法对先验数据的依赖性以及对环境的局限性；

2、仿真结果表明，用本发明中生成的红外图像具有较自然的图像纹理细节特征，并具备较真实的红外场景特性，能较好的表现出图像的峰值信噪比、物体红外辐射特性这些信息。

附图说明

图1为本发明的实现流程图；

图2为本发明中的生成网络结构示意图；

图3为本发明中的条件生成对抗网络结构示意图；

图4为本发明中生成的红外图像与真实红外图像的对比图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步描述。

参照图1，本发明基于条件生成对抗网络的光电图像转换方法，其实现如下：

步骤1,获取可见光-红外光电图像数据集。

本发明中所采用的数据集，来源于论文multispectralpedestriandetection:benchmarkdatasetandbaseline中已匹配的可见光-长波红外道路行人光电图像数据集。

本发明使用该数据集中白天所拍摄的数据，选取其中包括道路、校园、乡镇等多种环境下的35563组匹配数据作为训练集，对条件生成对抗网络进行训练.

步骤2,对条件生成对抗网络进行初始化。

如图3所示，条件生成对抗网络是一种有监督的深度学习神经网络，内部包含两个子网络，分别为生成网络和判别网络，其中在生成网络如图2所示，其由一个u-net编码-解码器构成，其中编码器使用8层卷积结构逐渐缩减输入图像数据的空间维度，而解码器通过8层解卷积结构逐步恢复图像的细节和相应的空间维度；判别网络，包含为5层卷积结构，其前4层的激活函数是rule函数，最后一层激活函数是sigmoid函数，判别网络可将可见光图像与对应红外图像进行组合并作为网络输入，再使用判别网络中的五层卷积层对输入进行下采样，得到采样后的特征图；

利用两个子网络之间的对抗原理来生成数据，其初始化为：

在生成网络中，将权重参数初始均值设为0，将初始方差设为0.02的正态分布；

在判别网络中，将权重参数初始均值设为0，将初始方差设为0.02的正态分布；

将两个网络的偏置参数均初始设置为0。

步骤3,使用生成网络对可见光图像进行特征提取。

利用生成网络的u-net编码-解码器对可光图像进行细节特征提取，提取过程包括编码和解码操作，其实现步骤如下：

(3a)编码操作：使用生成网络中的8层卷积结构对可见光图像进行下采样，其中卷积核尺寸均设为3*3，并且在每次下采样后对特征通道数加倍，以完成编码操作，得到编码特征图；

(3b)解码操作：使用生成网络中的8层的解卷积结构对(3a)得到的编码特征图进行上采样，同时将解卷积结构的每一层与卷积结构的每一层进行对称连接，从而完成解码操作，通过对称连接操作，可使得输出的红外图像与输入的可将光图像结构一致，避免了在卷积过程中图像信息丢失情况，增加了生成网络的模型可信度；

(3c)在完成生成网络的编码和解码过程后，得到生成的红外特征图像，以及对应的可见光-红外图像的转换结构。

步骤4,使用判别网络对转换结构进行判断，并构造条件生成对抗网络的损失函数

(4a)对于一组可见光图像与对应的红外图像，判别网络先将可见光图像与对应红外图像进行组合并作为网络输入，再使用判别网络中的五层卷积层对输入进行下采样，得到采样后的特征图；

(4b)对采样后的特征图进行逻辑判断，即使用判别网络的sigmoid激活函数对(4a)得到特征图进行非线性映射，将其特征信息压缩到0和1之间，其中：

将可见光-真实红外图像组合(x,y)所对应特征图的特征信息压缩为1，作为逻辑真，x为可见光图像，y为真实的红外图像；

将可见光-生成红外图像组合(x,g(x,z))所对应特征图的特征信息压缩为0，作为逻辑假，g(x,z)为生成网络所生成的红外图像；

(4c)依据(4b)的逻辑判别结果和(3c)生成的红外特征图像，构造条件生成对抗网络中的损失函数g^*；

其中：λ为自定义数值，表示生成网络的l1范数损失函数在条件生成对抗网络损失函数中所占比例，可通过在训练网络前调节该参数数值，来优化网络参数模型，使得网络模型最终生成的红外图像更接近真实红外图像，本发明经多次试验，选择最优值λ＝100；

lcgan(g,d)为条件生成对抗网络的目标函数，其中lcgan(g,d)表达式为，

lcgan(g,d)＝ex,y[logd(x,y)]+ex,z[log(1-d(x,g(x,z)))]，

式中g为(3c)中生成网络所生成的红外特征图像，d为(4b)中判别网络对特征图的判断结果，(x，y)表示可见光-红外光电图像转换结构，x为可见光图像数据，y为红外图像数据，g(x,z)为生成网络在随机噪声z和可见光图像数据x的条件下，生成的红外图像；d(x,y)表示判别网络在可见光和红外光图像转换结构(x，y)条件下，判别x与y的转换结构为真的概率，1-d(x,g(x,z))表示，判别网络d在判断x与g(x,z)的转换结构为假的概率，e表示期望均值；

为生成网络的l1范数损失函数，的表达式为：

式子中ex,y,z表示条件生成网络的期望均值，这里使用生成红外图像与原始红外图像之间像素差值的l1范数作为本发明损失函数的一部分，来表征转换误差，以此来保证转换结果与原始图像在像素尺度上的相似性。

步骤5,使用adam优化器对条件生成对抗网络的损失函数进行优化。

(5a)初始化条件生成网络损失函数中的参数矩阵，以及目标函数中参数梯度的一阶矩估计和二阶矩估计，即梯度均值和梯度的未中心化方差；

(5b)进行参数迭代，即使用adam优化器中的矩估计衰减率参数，对(5a)目标函数中参数梯度的一阶矩估计和二阶矩估计进行更新，本实例将衰减参数值设为0.5；

(5c)根据(5b)得到更新后的一阶矩估计和二阶矩估计及条件生成对抗网络中的学习率参数，对条件生成对抗网络各参数进行更新，实现参数的动态调整，获得网络中各参数的最优值，从而完成对条件生成对抗网络的训练，在本实例中设学习率参数值为0.0002。

步骤6，将实时获取的可见光图像，转换生成为对应的红外图像；

对实时获取的可见光图像，使用训练得到的条件生成对抗网络对其进行图像转换，生成该可见光对应的红外图像。

本发明的效果可以通过以下的仿真结果进一步说明：

用本发明发明方法对拍摄的可见光图像进行图像转换，结果图4，其中：

图4(a)为拍摄的可见光图像，图4(b)为当前场景下拍摄的真实长波红外图像，图4(c)为使用本发明对图4(a)进行转换所生成的红外图像。

由图4(a)可看出，可见光下的街道场景包含路灯、车辆和行人多种红外辐射目标；由图4(b)可以看出，上述的目标在红外背景下具备较强的红外辐射特性。

将使用本发明所生成的红外图像4(c)与在当前场景下拍摄的真实长波红外图像4(b)进行比较，可以看出，两者在红外纹理细节特征、目标的辐射特性这些方面均具有高度的一致性，验证了本发明在可见光图像生成红外图像方面具有良好的图像转换效果。