红外图像量化和增强方法、系统及存储介质

1.本发明涉及图像处理技术领域，尤其涉及红外图像量化和增强方法、系统及存储介质。


背景技术：

2.红外图像主要应用于军事领域和监控领域，例如在监控领域，在无光环境下，装有红外摄像头的监控设备仍能获取监控视野范围内的环境信息。
3.为了能以足够高的精度来量化大动态范围的红外场景，高性能热成像系统通常输出数据一般为14bits的raw数据，通过解析raw文件数据能够获取14bits的红外图像数据，而常规显示设备大多只支持显示8位灰度图像，如果直接显示，会导致14bits数据自动截断为8bits得到一种灰度分布不均匀的图像，为此针对14bits原始红外图像，需要通过量化方法将14bits的红外图像映射为8bits红外图像。
4.传统的红外图像量化方法一般分为线性映射、非线性映射（gamma校正、直方图均衡化）等。线性映射的方法主要通过图像像素中的最大值与最小值，将14bits图像归一化，然后每个像素乘以255，最终得到8bits图像数据；gamma矫正不同于线性映射方法的地方在于，归一化的像素数据需要以1/gamma值为指数；直方图均衡化方法通过计算得到14bits图像的灰度直方图，通过灰度直方图计算得到灰度映射函数，通过灰度映射函数进行非线性映射。
5.红外图像经过量化，图像中的部分细节信息可能会丢失，为了增强红外图像可视化的效果，目前基于滤波的方法将红外图像的量化和红外图像的细节增强融合在一起，例如dde（digital detail enhancement）。dde具体的做法通过特殊的滤波器将14bits图像分成具有低频信息的背景层和具有高频信息的细节层，分别对背景层和细节层进行灰度增强和去噪处理，最后经过压缩合成8bits数据。
6.由于深度学习的广泛应用，目前部分方法开始使用神经网络实现红外图像增强。一种方法使用全卷积网络，这种方法一般通过全卷积网络提取红外图像的特征信息，通过跳连接进行特征融合，丰富细节信息，达到增强的效果。另一种方法使用生成对抗网络，以真实的可见光灰度图像为条件，依靠识别子网络d监督生成子网络g，并通过生成子网络和识别子网络的相互博弈，实现红外图像增强。
7.目前尚未有通过深度神经网络一步实现从14bits raw图像映射到8bits输出图像，且实现图像像质增强的端到端方法。
8.背景技术的缺陷：传统的红外图像量化方法一般分为线性映射、非线性映射（gamma校正、直方图均衡化）等。线性映射方法依赖于图像像素的最大值与最小值，有时会出现图像整体灰度过大，从而导致图像呈现一种过曝的现象；gamma校正，不同的gamma值对应不同的效果，无法实现自适应，另一方面gamma校正无法消除空缺的灰度值；直方图均衡化方法容易过度增强，导致噪声增强，最新的限制对比度的自适应直方图均衡化方法虽然改善了过度增强，但
是需要手动调节参数适应不同场景，无法做到自适应。
9.目前基于滤波的红外图像量化方法在红外图像量化阶段加入了图像细节增强，例如dde（digital detail enhancement），在速度方面，dde可以达到实时，但是对于高帧率的需求(例如100fps)时，dde无法满足要求，在资源消耗方面，由于dde整体还是基于传统的方式实现，所以在移动嵌入式的设备上使用时，dde需要占据cpu资源，无法使用移动嵌入式设备上的特殊计算加速模块（例如gpu，npu等）。
10.目前基于深度学习的红外图像增强的方法，无论是基于全卷积网络的方法还是基于基于生成对抗网络的方法，它们网络的输入都是8bits红外图像数据，所以这些方法增强前都需要进行14bits数据到8bits数据的量化。对于生成图像质量方面，由于量化与增强阶段的分离，一方面，量化阶段产生的噪声可能会在增强阶段放大，额外的去噪处理将会浪费计算资源和时间；另一方面量化阶段的细节损失过大，在增强阶段无法对这些细节信息进行恢复，最后生成的图像质量较差。


技术实现要素：

11.为了解决现有技术中的问题，本发明提供了一种红外图像量化和增强方法、系统及存储介质，红外图像的量化与增强在同一阶段完成，提高了算法的性能。
12.本发明提供了一种红外图像量化和增强方法，包括如下步骤：数据准备步骤：将14bits红外图像数据生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像；训练步骤：将14bits红外图像数据归一化为[0,1]范围内的浮点数，归一化的数据输入到基于多尺度特征融合的主网络中，主网络通过特征提取模块提取不同尺度的图像特征，最后对不同尺度的图像特征进行融合，增加图像的细节信息，生成8bits红外图像；将主网络生成的8bits红外图像和标签图像输入判别器模块，判别器模块从标签图像中辨别增强的结果，促使主网络生成质量更高的红外图像；预测步骤：训练步骤之后，得到主网络的权重文件，使用权重文件能够使得主网络不使用判别器模块就能够生成高质量的8bits红外图像；预测时只使用主网络，不再使用判别器模块，主网络输入为训练得到的权重文件、以及实用场景图像，实用场景图像为14bits红外图像数据，实用场景图像通过训练好的主网络生成8bits红外图像数据。
[0013]
作为本发明的进一步改进，在所述数据准备步骤中，将14bits红外图像数据经过前处理模块、dde和后处理模块生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像。
[0014]
作为本发明的进一步改进，在数据准备步骤中，预先统计得到dde生成8bits红外图像数据对应的14bits红外图像数据的像素值分布；前处理模块将输入的14bits红外图像数据的像素值分布通过非线性映射近似映射为预先统计得到的像素值分布；前处理模块生成的14bits红外图像数据经过dde处理后，得到高质量的8bits红外图像数据；后处理模块针对dde增强后得到8bits红外图像数据，进行全局的中值滤波去噪和自适应gamma矫正。
[0015]
作为本发明的进一步改进，在所述训练步骤中，输入主网络的14bits红外图像数
据的图像分辨率为512x512,其中每个像素值为14bits红外图像数据归一化到[0,1]的值，首先通过一个conv3x3生成一个256x256x2c的特征图，作为高尺度的特征图，该高尺度的特征图分别通过一个conv3x3生成一个128x128x4c的中尺度特征图且通过一个deconv1x1生成一个256x256x2c特征图，128x128x4c的中尺度特征图通过一个conv3x3生成一个64x64x8c的低尺度特征图且通过一个deconv2x2生成一个256x256x2c特征图，64x64x8c的低尺度特征图通过一个deconv4x4生成一个256x256x2c的特征图，经过不同尺度但相同分辨率的特征图进行逐元素相加取平均，最终生成一个256x256x2c的特征图，再通过一个deconv2x2生成一个与原始分辨率相同的8bits红外图像；conv3x3表示3x3卷积，deconv1x1表示1x1反卷积，deconv2x2表示2x2反卷积，deconv4x4表示4x4反卷积。
[0016]
作为本发明的进一步改进，在所述训练步骤中，对主网络进行损失约束。
[0017]
作为本发明的进一步改进，对主网络进行损失约束使用均方误差函数，均方误差函数如公式5-1所示，其中为原始14bits红外图像数据，为8bits的标签图像数据；（5-1）。
[0018]
作为本发明的进一步改进，在所述训练步骤中，将主网络生成的8bits红外图像和标签图像输入判别器模块，标签图像和主网络生成的8bits红外图像为两个512x512xc的原始数据，通过将两个512x512xc的原始数据拼接成512x512x2c的拼接图像,拼接图像通过堆叠的conv3x3卷积生成28x28x1特征图，最后通过sigmoid函数输出元素值为(0,1)之间的特征图；使用结构相似度作为判别器模块的约束，conv3x3表示3x3卷积。
[0019]
作为本发明的进一步改进，使用结构相似度作为判别器模块的约束，如公式5-2所示，其中和分别表示图像块的均值和方差，表示图像块x和图像块y的协方差；（5-2）。
[0020]
作为本发明的进一步改进，在所述训练步骤中，采用离线知识蒸馏的方式提升主网络的推理速度，将主网络作为教师网络，教师网络用于指导学生网络生成相似图像；14bits红外图像数据分别通过教师网络和学生网络生成各自的特征向量，通过判别器判断两种特征向量的差异，使得学生网络能够学习到教师网络的特征分布，最终推理的时候，使用学生网络替代教师网络。
[0021]
作为本发明的进一步改进，所述判别器为vgg网络，选用shufflenetv3作为学生网络。
[0022]
作为本发明的进一步改进，将主网络生成的质量较高的8bits红外图像称为图像y，将图像y切分成大小相同的单元格，再对相邻的单元格进行分组，通过一个随机采样器对图像y进行采样：每次选择图像y中相邻的两个分组，再对这两个相邻的分组内的单元格进行随机采样，假设采样器为；第一部分对图像y按照以上步骤进行多次采样，最终生成训练图像对，其中为训练数据，为标签数据；通过去噪网络生成相应的去噪图像；第二部分先将图像y输入到去噪网络进行处理生成图像，再对去噪后的图像用上述的采样方式进行采样，生成图像对
；最终使用正则化损失来训练去噪网络，去噪网络的损失函数如公式5-3所示
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5-3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5-4）
ꢀꢀꢀ
（5-5）lrec表示l2损失函数，lreg为正则项，a为控制正则化强度的手工变量。
[0023]
本发明还提供了一种红外图像量化和增强系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明红外图像量化和增强方法的步骤。
[0024]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的红外图像量化和增强方法的步骤。
[0025]
本发明的有益效果是：本发明能够将14bits红外图像映射为高质量的8bits红外图像数据，生成图像速度更快，占用的cpu资源更少。
附图说明
[0026]
图1是本发明的判别器模块原理图；图2是本发明的数据准备步骤流程图；图3是基于多尺度特征融合的主网络的网络结构图；图4是判别器网络结构图；图5是离线知识蒸馏训练流程图。
具体实施方式
[0027]
本发明公开了一种红外图像量化和增强方法，包括如下步骤：数据准备步骤：将14bits红外图像数据经过前处理模块、dde和后处理模块生成8bits红外图像数据，生成的8bits红外图像数据作为标签图像。在数据准备步骤中，使用14bits原始红外图像，对原始图像使用已有的但是速度较慢的方法例如dde，生成对应的标签图像，增加了生成8bits红外图像的质量。
[0028]
训练步骤：将14bits红外图像数据归一化为[0,1]范围内的浮点数，归一化的数据输入到基于多尺度特征融合的主网络中，主网络通过特征提取模块提取不同尺度的特征信息，最后对不同尺度的特征信息进行融合，增加图像的细节信息，生成较高质量的8bits红外图像。为了提高生成图像的质量，通过一个可选的判别器模块，如图1所示，将主网络生成的图像和标签图像作为输入，判别器模块的主要作用是从标签图像中辨别增强的结果，促使主网络生成质量更高的红外图像。在整个训练过程中，采用了知识蒸馏训练方法来指导训练，进一步加速网络的推理。为了进一步提高生成图像质量，本发明设计一种自监督的红外图像去噪模块，能够有效地去除生成图像遗留的噪声。
[0029]
预测步骤：训练步骤之后，得到主网络的权重文件，使用权重文件能够使得主网络不使用判别器模块就能够生成高质量的8bits红外图像；预测时只使用主网络，不再使用判
4x4生成一个256x256x2c的特征图，经过不同尺度但相同分辨率的特征图进行逐元素相加取平均，最终生成一个256x256x2c的特征图，再通过一个deconv2x2生成一个与原始分辨率相同的8bits红外图像。conv 3x3表示3x3卷积，deconv 1x1表示1x1反卷积，deconv 2x2表示2x2反卷积，deconv 4x4表示4x4反卷积。
[0038]
对于成像质量方面，由于本发明的主网络采用多尺度融合方式生成特征图，针对不同分辨率的图像，主网络都能生成质量较高的8bits红外图；对于网络推理速度，由于本发明设计的网络较为轻量，所以网络的推理速度较快，至少能够达到100fps左右。
[0039]
为了保证主网络能够生成与标签图像相近的图像，需要对主网络进行损失约束，约束使用的简单的均方误差函数。具体的约束函数如公式5-1所示。其中为原始14bits红外图像数据，为8bits标签数据。
[0040]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5-1）在图3中，relu表示激活函数，batch norm表示批量归一化。
[0041]
3.判别器模块为了提升主网络生成的8bits红外图像的质量，本发明提出了一种基于结构相似度约束的判别器模块作为可选模块，使得主网络能够生成质量更高的红外图像。
[0042]
判别器的主要工作指明生成图像与标签图像的相似程度，所以使用一种改进后的vgg的网络结构，其网络结构图如图4所示。网络的输入为归一化后数据准备步骤生成的8bits数据和主网络生成的8bits数据,通过将两个512x512xc的原始数据（这两个原始数据分别表示主网络生成的8bits红外图像和标签图像）拼接成512x512x2c的拼接图像,拼接图像通过堆叠的conv 3x3卷积生成28x28x1特征图，最后通过sigmoid函数输出元素值为(0,1)之间的特征图。在图4中，leaky relu也属于激活函数，中文名称为随机修正线性单元。
[0043]
针对判别器模块，为了提高网络的鉴别能力，以提高主网络生成图像的质量。与主网络不同，本发明不使用均方误差作为判别器的约束损失函数，选择使用结构相似度作为判别器的约束，原因在于结构相似度表示两张图片的相似程度，相比于均方误差判断两张图片的相似度能力更强。如公式5-2所示，为本发明识别网络的内容损失，其中和分别表示图像块的均值和方差，表示图像块x和图像块y的协方差。
[0044]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5-2）4.离线知识蒸馏目前本发明的主网络已经能够生成质量比较高的8bits红外图像，为了进一步提高主网络生成图像的速度，本发明采用离线知识蒸馏的方式提升主网络的推理速度。
[0045]
如图5所示，为训练流程。具体的训练方法是：通过上述训练步骤训练完成的主网络作为教师网络，预训练的教师网络用于指导学生网络生成相似图像；选用比主网络更加轻量的网络作为学生网络，这里本发明选用已有的shuffle net v3作为学生网络，学生网络主要模仿教师网络特征分布；14bits原始数据分别通过教师网络和学生网络生成各自的特征向量；选用一种额外的判别器判断两种特征向量的差异，使得学生网络能够学习到教师网络的特征分布，本发明使用的判别器为普通的vgg网络。最终推理的时候，可以使用学
生网络替代教师网络，进一步提升整个模型的推理速度。
[0046]
5.基于自监督的红外图像去噪模块通过之前的步骤可以生成质量较高的8bits红外图像，但是生成的图像带有噪声，为了提高生成图像的质量，本发明提出了一种基于自监督的红外图像去噪模块对生成的图像进行修正，以达到图像去噪的目的。
[0047]
将输入的图像y（图像y为主网络生成的质量较高的8bits红外图像）切分成大小相同的单元格，再对相邻的单元格进行分组，通过一个随机采样器对红外图像y进行采样：每次选择红外图像中相邻的两个分组，再对这两个相邻的分组内的单元格进行随机采样，假设采样器为。第一部分对图像y按照以上步骤进行多次采样，最终生成训练图像对，其中为训练数据，为标签数据。通过去噪网络生成相应的去噪图像，去噪网络选用简单的全卷积网络；第二部分先将图像y输入到去噪网络进行处理生成图像，再对去噪后的图像用上述的采样方式进行采样，生成图像对；最终使用正则化损失来训练去噪网络。去噪网络的损失函数如公式5-3所示
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5-3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5-4）
ꢀꢀꢀ
（5-5）本发明的有益效果是：通过上述方案，14bits红外图像能够快速映射为高质量的8bits红外图像数据。具体表述为：（1）数据准备步骤，生成了高质量的红外标签图像，而已有的基于深度学习的图像增强算法使用的标签图像为转换为灰度图的可见光图像，8bits红外图像与可见光的灰度图像的灰度分布有一定的差异，所以本发明能够较好的学习8bits红外图像的灰度分布。
[0048]
（2）本发明设计了一种多尺度特征融合的主网络，输入的数据为14bits原始红外数据。相比于使用全卷积网络的方法，本发明设计的主网络为较为轻量，速度优于这类方法，且本发明的算法量化与增强一步完成。相比于目前使用对抗生成网络的红外图像增强算法，本发明设计的主网络结合了14bits红外图像的量化与增强，而其他的算法的输入为8bits红外图像，无法处理14bits原始红外数据；本发明的主网络采用了多尺度融合方式，针对不同的分辨率的14bits原始图像都能生成质量高的8bits红外图像。相比于目前基于滤波的红外图像量化和增强的算法，本发明生成的8bits红外图像质量与其相近，平局的结构相似度能够达到0.9左右，但是本发明的生成图像速度更快，占用的cpu资源更少。
[0049]
（3）本发明设计的判别器模块作为一种可选模块，使用基于结构相似度的约束提升了判别器的鉴别能力，能够监督主网络生成更高质量的8bits红外图像。
[0050]
（4）本发明采用离线知识蒸馏训练生成子网络，使用更轻量的网络学习主网络的特征分布以达到相同的效果，进一步提升模型的推理速度。
[0051]
（5）本发明提出了一种基于自监督的红外图像去噪模块作为备选模块，采用自监督的方法对生成的红外图像进行去噪处理，提升了生成图像的质量。
[0052]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。