数据转换方法及装置、模型的训练方法、设备及介质与流程

本技术涉及图像，尤其是涉及一种基于视觉细节的红外到可见光数据转换方法及装置、图像转换模型的训练方法、计算机设备及计算机可读存储介质。

背景技术：

1、图像处理技术，广泛地涉及到科研、工业和生活等各个领域。如，监控安防作为现代社会的一项重要举措，对于维护公共安全和保护财产起着至关重要的作用，它可以通过监视和记录活动，帮助预防犯罪行为，并提供有力的证据用于调查和起诉。在监控安防领域中，红外监控和可见光监控都扮演着重要的角色，直接与民众的日常生活息息相关，是生命财产安全的重要保障。目前红外监控与可见光监控生成的数据是最常见的监控数据，其中可见光数据在清晰的白天能够正常成像，但是在夜晚或者恶劣天气中，难以保证安防安全。而红外数据虽然能够在不同条件下成像，但是本身包含的语义信息少，不利于在安防中及时发现安全隐患。

2、目前，为了提升红外图像的可观测性，通常是采用红外与可见光数据融合的方式来进行感知增强，弥补在夜晚或者恶劣天气下的感知欠缺能力。如中国专利申请号为“cn202310267771.6”、发明名称为“基于特征增强的红外-可见光融合方法、系统及可读存储介质”、中国专利申请号为“cn201821327749.7”、发明名称为“一种红外可见光融合全景成像设备”、中国专利申请号为“cn202211030333.x”、发明名称为“一种红外可见光融合目标检测方法”，均是采用红外与可见光数据融合的方式。但是，这些算法结果自身仍存在着明显的缺点——视觉细节差及融合产生的错误放大。红外与可见光数据融合算法尽管结合了拍摄场景中的红外与可见光数据，在灰白红外结构信息上增加一定的色彩，实现一定程度的感知增强，但仍然无法满足实际的监控安防需求。二者数据分布存在较大差异，强行融合难以真正实现视觉增强。举例而言：红外本身的语义信息匮乏、灰白色调导致融合结果无法像真正的可见光数据一样细节丰富；另一方面，可见光数据在夜晚或者复杂天气下，本身成像结果存在噪音，其正确成像部分能够为红外带来辅助作用，同时错误部分也会带来负面作用。因此，在实际监控安防中，需要设计更有效的方法，尽可能的带来更丰富的视觉效果，有利于及时发现监控场景中的安全隐患问题。

3、另有对红外图像进行感知增强的方式，是将红外直接转换为可见光数据，这种方法基于稳定的红外数据作为输入，以清晰的目标可见光作为结果，能够同时解决融合方法中，成像结果语义信息不足以及复杂天气下可见光数据存在噪音的问题，如中国专利申请号为“cn202110814218.0”、发明名称为“无人驾驶中红外视频转换为可见光视频的方法”。然而，这些方法采用的转换思路仍然是在模型训练中需要使用红外数据配对的可见光数据作为红外转换的逼近目标，容易丢失红外原有的细节、结构信息优势，而且可见光视觉信息容易细节不足，导致转换结果受制于两种数据类型之间的缺陷。

技术实现思路

1、为解决现有存在的技术问题，本技术提供一种能够有效保留红外图像的结构信息、且能够实现可见光视觉细节信息增强的基于视觉细节的红外到可见光数据转换方法及装置、图像转换模型的训练方法、计算机设备及计算机可读存储介质。

2、本技术实施例第一方面，提供一种基于视觉细节的红外到可见光数据转换方法，包括：

3、获取待转换红外图像；

4、将所述待转换红外图像作为训练后的图像转换模型的输入，通过所述图像转换模型的多任务生成器进行转换输出对应的可见光图像；

5、其中，所述图像转换模型为对抗生成网络模型，包括所述多任务生成器和鉴别器，所述图像转换模型的训练集包括红外训练样本图像和可见光训练样本图像；所述图像转换模型在训练过程中，所述多任务生成器的一次迭代中训练任务包括：以所述红外训练样本图像为输入进行转换得到对应的可见光转换图像的转换任务、以可见光训练样本图像模糊化处理后作为输入，进行超分处理得到重构可见光图像的超分任务、以及以转换任务得到的可见光转换图像为输入进行超分处理得到重构可见光转换图像的超分指导约束任务；所述鉴别器交替以所述可见光训练样本图像及所述多任务生成器的一次迭代的输出为输入，并以满足对抗生成损失函数为约束。

6、第二方面，还提供一种图像转换模型的训练方法，包括：

7、获取训练集；所述训练集包括由红外训练样本图像组成的红外图像集和由可见光训练样本图像组成的可见光图像集；

8、构建初始对抗生成网络模型；其中，所述初始对抗生成网络模型包括多任务生成器和鉴别器；

9、基于所述训练集对所述初始对抗生成网络模型进行迭代训练，在一次迭代中，所述多任务生成器执行转换任务、超分任务和超分指导约束任务三个训练任务，所述转换任务为选取红外训练样本图像为输入，得到对应的可见光转换图像；所述超分任务为选取可见光训练样本图像模糊化处理后作为输入，进行超分处理得到重构可见光图像；所述超分指导约束任务为以转换任务得到的可见光转换图像为输入，进行超分处理得到重构可见光转换图像；

10、所述鉴别器交替以所述可见光训练样本图像和所述多任务生成器一次迭代的输出为输入，并以满足对抗生成损失函数为约束；

11、迭代训练直至达到预设条件，保存模型参数，得到所述图像转换模型。

12、第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本技术任一实施例所述的基于视觉细节的红外到可见光数据转换方法、或实现如本技术任一实施例所述的图像转换模型的训练方法。

13、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本技术任一实施例所述的基于视觉细节的红外到可见光数据转换方法、或实现如本技术任一实施例所述的图像转换模型的训练方法。

14、上述实施例中，图像转换模型采用对抗生成网络模型为基础架构，图像转换模型的训练集包括红外训练样本图像和可见光训练样本图像，在训练过程中，多任务生成器在一次迭代中包括以红外训练样本图像为输入执行转换任务、以可见光训练样本图像模糊化处理后为输入执行超分任务、以及以转换任务输出的可见光转换图像为输入执行超分指导约束任务，如此，鉴别器可以通过可见光训练样本图像来提取真实可见光数据的视觉信息，以进行学习和实现鉴别区分，再将学习和鉴别区分能力等同作用到对多任务生成器在一次迭代的输出进行鉴别，如分别针对一次迭代中三个训练任务分别输出的可见光转换图像、重构可见光图像和重构可见光转换图像的鉴别，以满足对抗生成损失函数为约束进行训练，利用最小化损失值进行反向递归更新多任务生成器的模型参数，经多次迭代完成训练后得到的图像转换模型的多任务生成器，能够具备将红外图像转换为可见光图像时，保留有红外图像原有的结构信息，对可见光视觉细节进行有效增强且达到逼近真实可见光图像的视觉增强效果。

15、此外，鉴别器在训练过程中，多任务生成器的超分任务可以对多任务生成器执行红外到可见光数据转换的基础上增强可见光视觉细节，可见光训练样本图像的引入是使得能够获得真实的可见光数据视觉信息的鉴别区分能力，因此可不再依赖于配对的红外图像和可见光图像来完成训练，减小模型训练难度，也可以免去训练后的图像转换模型对红外转换为可见光的转换效果受限于模型训练过程中配对的可见光图像质量的问题，实现保留红外图像中结构信息的基础上，优化生成结果真实性。

16、上述实施例中，基于视觉细节的红外到可见光数据转换装置、图像转换模型的训练方法、计算机设备及计算机可读存储介质与对应的基于视觉细节的红外到可见光数据转换方法实施例属于同一构思，从而分别与对应的基于视觉细节的红外到可见光数据转换方法实施例具有相同的技术效果，在此不再赘述。