一种红外可见光图像融合方法、设备及配准方法与流程

本发明属于图像处理技术，具体涉及一种红外可见光图像融合方法、设备及配准方法。

背景技术：

1、现有的红外可见光融合方法大多基于定焦红外镜头和定焦可见光镜头进行图像采集，如cpu获得红外图像和可见光图像后，执行相应的双光融合算法将可见光图像中的目标细节叠加到红外图像上。

2、因为摄像头是定焦的，所以无论是红外还是可见光图像，都只是针对特定距离的目标场景，但是红外镜头通常无法与可见光镜头的焦距和视场角保持一致，在近距离目标场景中，物体成像大小不一致的现象就会表现得尤为明显，这就导致了当前业内的图像融合方法只在一段距离上的双光融合效果较好，对于近距离场景就会出现较大的图像融合误差。

3、现有的图像融合方法有：

4、1.基于各向异性扩散(anisotropic diffusion fusion，adf)的方法，将原始图像分解为基础层和细节层，经过karhunen-loeve变换后再进行线性叠加，最终组合得到融合图像，算法易于实现、融合后的损失小，但最终的视觉效果并不理想。

5、2.基于卷积神经网络(convolutional neural networks，cnn)和基于残差神经网络(resnet)的方法，搭建卷积神经网络和残差神经网络，通过大量的训练优化参数进而融合图像，融合图像的性能指标较优，但需要构建数据集、消耗大量时间来训练耗时较长。

6、3.基于梯度转移融合(gradienttransfer fusion，gtf)的方法，先构建了目标函数，通过迭代求解目标函数，使得融合后的图像更接近红外图像，并且保留了更多的外观信息，其优势在于融合后的视觉效果好，但由于需要迭代求解，算法无法达到实时处理的要求。

7、4.基于潜在低秩表示(latent low-rankrepresentation，latlrr)的方法，先对原始图像进行分解得到低秩部分和显著部分，再用两种不同的策略进行融合，最后重建得到图像，但其视觉效果不是非常理想。

技术实现思路

1、本发明的目的在于克服现有技术中的至少一种缺陷，提供了一种红外可见光图像融合方法、设备及配准方法，本发明实现了在任意距离下双光图像配准与融合，能够实现实时性，同时达到不错的视觉效果。

2、本发明的技术方案是这样实现的：本发明公开了一种红外可见光图像融合方法，包括如下步骤：

3、获取可见光图像和红外图像；

4、进行双光图像融合，具体包括：获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合。

5、进一步地，图像融合步骤前，还包括如下步骤：获得并保存设定距离下可见光图像对应红外图像的仿射矩阵。

6、进一步地，获得设定距离下可见光图像对应红外图像的仿射矩阵，具体包括：

7、在设定的各个标定距离下分别获取可见光图像和红外图像；

8、分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

9、根据各个标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。

10、进一步地，根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵，具体包括：

11、对所有标定距离下的仿射矩阵中x、y方向上的旋转与缩放分量求取平均值，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中x、y方向上的旋转与缩放分量的平均值，修正各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量；

12、根据修正后的各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量，计算得到各个设定距离下仿射矩阵的x方向偏移分量与y方向偏移分量，生成各个设定距离下的仿射矩阵。

13、进一步地，生成各个设定距离下的仿射矩阵，具体包括：根据各个设定距离下仿射矩阵的x方向偏移分量与y方向偏移分量以及所有标定距离下的仿射矩阵中x、y方向上的旋转与缩放分量的平均值生成各个设定距离下的仿射矩阵。

14、进一步地，修正各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量，具体包括：

15、运用最邻近距离法修正各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量。

16、进一步地，根据修正后的各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量，计算得到各个设定距离下仿射矩阵的x方向偏移分量与y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的x方向偏移分量与y方向偏移分量。

17、进一步地，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中x、y方向上的旋转与缩放分量的平均值，计算各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量，具体包括：

18、利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中x、y方向上的旋转与缩放分量的平均值，运用最邻近距离法计算各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量。

19、进一步地，根据修正后的各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量，计算各个设定距离下仿射矩阵的x方向偏移分量与y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的x方向偏移分量和y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的x方向偏移分量与y方向偏移分量。

20、进一步地，获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，具体包括：根据当前目标距离查表获得其对应的仿射矩阵，或根据当前目标距离查表获得其对应的仿射矩阵的x方向偏移分量和y方向偏移分量，将当前目标距离下仿射矩阵的x方向偏移分量与y方向偏移分量以及所有标定距离下的仿射矩阵中x、y方向上的旋转与缩放分量的平均值赋给仿射矩阵，即可得到当前目标距离对应的仿射矩阵。

21、进一步地，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像，具体包括：根据当前目标距离对应的仿射矩阵对可见光图像进行仿射变换，将变换后的可见光图像与获取的红外图像进行融合，得到融合图像。

22、进一步地，将变换后的可见光图像与获取的红外图像进行融合，得到融合图像，具体包括：从变换后的可见光图像中提取可见光高频信息，将所述可见光高频信息叠加到红外图像上，得到融合图像。

23、进一步地，将所述融合图像转换为rgb融合图像。

24、进一步地，获取可见光图像和红外图像后首先进行畸变校正，然后将畸变校正后的可见光图像和红外图像用于下面步骤。

25、进一步地，获取当前目标距离后，还包括如下步骤：判断当前目标距离是否大于预设值，若是，则采用固定的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，将缩放后的可见光图像或红外图像用于图像融合，若否，则根据当前目标距离查表获得对应的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，将缩放后的可见光图像或红外图像用于图像融合步骤。

26、本发明还公开了一种红外可见光图像融合设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述红外可见光图像融合方法的步骤。

27、本发明还公开了一种红外可见光图像配准方法，包括如下步骤：

28、在设定的各个标定距离下分别获取可见光图像和红外图像；

29、分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

30、根据各个标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。

31、本发明至少具有如下有益效果：

32、本发明提出了一种多距离可见光红外双光标定与融合方法，该方法在各个标定距离下提取可见光图像与红外图像中标定板的圆心并保存，通过配准可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵，对所有仿射仿射矩阵求取平均值，利用圆心与所有标定距离下的仿射矩阵中x、y方向上的旋转与缩放分量的平均值并运用最邻近距离法求取各个距离下x方向偏移分量与y方向偏移分量，最后用插值的方式得到各个距离下的x方向偏移分量与y方向偏移分量，实现任意距离的可见光图像与红外图像的仿射矩阵生成，最终在红外图像上叠加可见光高频信息实现融合，实现了在任意距离下双光图像配准与融合，能够实现实时性，同时达到不错的视觉效果。

33、本发明的方法能够在标定阶段实现自动化流程，只需要采图便能够完成自动化标定流程生成数据；全自动化流程节省人力物力。

34、本发明的方法能够实现不同视场的红外与可见光图像融合效果，即添加红外图像的特征，叠加以可见光的边缘信息，达到不错的视觉效果。

35、本发明的方法能够在app端实现算法的实时处理，使得融合的图像帧率满足认人眼视觉需求，达到实时融合的效果。

36、本发明方法还提出了一种基于激光测距模块的红外可见光融合方法，该方法利用激光测距模块获取的目标距离动态的调整可见光图像的裁剪缩放参数，从而能够解决近距离场景下双光融合图像不一致的问题。该方法简单有效，效率高，适合应用在低成本的产品开发方案中。