无标定板异源图像配准方法、装置、电子设备及存储介质与流程

本发明属于图像处理技术领域，具体涉及一种无标定板异源图像配准方法及其方法。

背景技术：

图像配准是图像处理的一种重要应用，用于一组图像数据中的两幅图像，通过寻找一种空间变换把一副图像，也被称为浮动图形，映射到另一副参考图像之上，使得两图中的对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。

相对于可见光图像，红外图像具有不受雨雪、风霜等恶劣环境影响、成像清楚、准确度高、能够识别伪装和抗干扰等特点，且可以24小时全天候工作。因此可以借助于红外图像针对同一场景同视角下可见光图像进行图像配准。由于不同成像传感器内部参数、视场、靶面尺寸或者拍摄角度等物理条件的差异，同一场景的可见光和红外图像并不能做到完全对准，需要对这两种相机进行配准。常用的可见光和红外相机配准方法为基于特征的图像配准方法。基于特征的图像匹配算法尽管被广泛的应用，但是这需要提取红外及可见光图像的特征。同时该类方法中最著名的surf算子通过提取特征点，然后根据各特征点之间的向量距离确定匹配关系并进行变换矩阵计算。

但是，surf算子有一定的误匹配率，即便后续使用ransac算法可以过滤一部分误匹配的特征点，但消耗了大量的处理资源，对于计算能力有限且实时性要求极高的嵌入式平台来说并不适用。此外，采用surf方法所提取的图像特征点在红外和可见光等不同模态图像上表现形式不同，难以实现空间中同一点在不同模态图像上的描述。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供了一种无标定板异源图像配准方法及其方法。

本发明的一个实施例提供了一种无标定板异源图像配准方法，该无标定板异源图像配准方法包括：

步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框；

步骤2、确定所述第一目标检测框在世界坐标系下的第一坐标，根据所述第一坐标得到像素坐标系下的第二坐标，以及确定所述第二目标检测框在世界坐标系下的第三坐标，并根据所述第三坐标得到像素坐标系下的第四坐标；

步骤3、将目标移动n个位置，每次移动通过步骤1～2得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标；

步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式；

步骤5、采用最小二乘法求解所述预设映射关系表达式得到所述红外摄像头拍摄下像素坐标系的第二坐标和所述可见光摄像头拍摄下像素坐标系的第四坐标之间的关系参数，根据所述关系参数完成异源图像的配准。

在本发明的一个实施例中，步骤2中：

确定的所述第一目标检测框包括四个角点，所述第一目标检测框的四个角点在世界坐标系下第一坐标分别为a0(0,0,0)，b0(0,0,h)，c0(x,0,h)，d0(x,0,0)；

根据所述第一坐标得到所述第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；

确定的所述第二目标检测框包括四个角点，所述第二目标检测框的四个角点在世界坐标系下的第三坐标分别为a’0(0,0,0)，b’0(0,0,h’)，c’0(x’,0,h’)，d’0(x’,0,0)；

根据所述第三坐标得到所述第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。

在本发明的一个实施例中，步骤3中：

n次移动后得到n组所述第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；

n次移动后得到n组所述第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。

在本发明的一个实施例中，步骤4中构建的所述映射关系矩阵表示为：

其中，u为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。

在本发明的一个实施例中，步骤4中的所述预设映射关系表达式为：

在本发明的一个实施例中，步骤5中采用最小二乘法求解所述预设映射关系表达式包括：

在所述预设映射关系表达式中加入误差参数；

采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；

根据所述满足映射关系的参数确定目标在所述红外摄像头拍摄下像素坐标系的第二坐标和所述可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据所述满足映射关系的参数完成异源图像的配准。

本发明的另一个实施例提供了一种无标定板的异源图像智能配准装置，包括：

目标数据获取模块，用于通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框；

第一目标数据坐标确定模块，用于确定所述第一目标检测框在世界坐标系下的第一坐标，根据所述第一坐标得到像素坐标系下的第二坐标，以及确定所述第二目标检测框在世界坐标系下的第三坐标，并根据所述第三坐标得到像素坐标系下的第四坐标；

第二目标数据坐标确定模块，用于将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标；

目标数据映射关系构建模块，用于构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式；

目标数据配准模块，用于采用最小二乘法求解所述预设映射关系表达式得到所述红外摄像头拍摄下每组像素坐标系的第二坐标和所述可见光摄像头拍摄下每组像素坐标系的第四坐标之间满足映射关系的参数，根据所述满足映射关系的参数完成异源图像的配准。

本发明的再一个实施例提供了一种无标定板异源图像配准电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现上述任一项所述的无标定板异源图像配准方法。

本发明的又一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的无标定板异源图像配准方法。

与现有技术相比，本发明的有益效果：

本发明提供的无标定板异源图像配准方法，借助于基于深度学习的目标智能检测算法分别在红外图像和可见光图像中进行目标人物检测，利用检测结果计算异源图像之间的映射关系矩阵，从而实现异源成像系统的智能自动配准，配准率高，且该方法无需大量的处理资源，适用于任何嵌入式处理平台。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1为本发明实施例提供的一种无标定板异源图像配准方法的流程示意图；

图2为本发明实施例提供的一种无标定板异源图像配准方法中使用的映射关系矩阵对应的映射变换示意图；

图3为本发明实施例提供的一种无标定板异源图像配准装置的结构示意图；

图4为本发明实施例提供的一种无标定板异源图像配准电子设备的结构示意图；

图5为本发明实施例提供的一种计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

为了实现异源图像的简单快速配准，对于可见光图像，红外图像具有不受雨雪、风霜等恶劣环境影响、成像清楚、准确度高、能够识别伪装和抗干扰等特点，且可以24小时全天候工作，本实施例借助于红外图像针对同一场景同视角下可见光图像进行图像配准。请参见图1，图1为本发明实施例提供的一种无标定板异源图像配准方法的流程示意图。本发明实施例提供了一种无标定板异源图像配准方法，该无标定板异源图像配准方法包括以下步骤：

步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。

具体而言，本实施例为基于红外和可见光这两种异源图像组成的多源成像系统，首先，通过红外摄像头拍摄目标得到第一目标图像，采用从第一目标图像中使用第一检测框选出目标人物。同理，再通过可见光摄像头拍摄目标得到第二目标图像，再次采用基于深度学习的目标智能检测算法检测框选出与红外摄像头捕捉的同一场景同一视角下的目标人物。本实施例第一目标检测框检测出目标人物、第二目标检测框检测出目标人物采用的目标检测yolo算法可相同、可不相同。其中，基于深度学习的目标智能检测算法包括目标检测yolo算法、一阶段式多框检测算法(singleshotmultiboxdetector，简称ssd)、区域神经网络检测算法(region-cnndetector，简称r-cnn-d)、更快速的区域神经网络检测算法(fasterregion-cnn，简称f-r-cnn-d)。

步骤2、确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。

具体而言，本实施例步骤1得到了红外摄像头检测出目标人物的第一目标检测框、可见光摄像头检测出目标人物的第二目标检测框，利用现有方法确定第一目标检测框在世界坐标系下的第一坐标、确定第二目标检测框在世界坐标系下的第三坐标，然后再利用现有世界坐标系与像素坐标系转换的方法，根据第一坐标得到像素坐标系下的第二坐标、根据第三坐标得到像素坐标系下的第四坐标，具体地：

本实施例确定的第一目标检测框包括四个角点，记录第一次得出的第一目标检测框四个角点在世界坐标系下第一坐标分别为：a0(0,0,0)，b0(0,0,h)，c0(x,0,h)，d0(x,0,0)，其中，在世界坐标系下的x与h的数值是已知的。将第一次世界坐标系下的第一坐标转换为像素坐标系下的第二坐标分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)，在像素坐标系下的x0与h0的数值是已知的。

同理，本实施例确定的第二目标检测框也包括四个角点，记录第一次得出的第二目标检测框四个角点在世界坐标系下第三坐标分别为：a’0(0,0,0)，b’0(0,0,h’)，c’0(x’,0,h’)，d’0(x’,0,0)其中，在世界坐标系下的x′与h′的数值是已知的。将第一次世界坐标系下的第三坐标转换为像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)，在像素坐标系下的x′0与h′0的数值是已知的。

步骤3、将目标移动n个位置，每次移动通过步骤1～2得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。

具体而言，为了提高配准的精度，本实施例红外摄像头拍摄时，让目标向左或右移动n个位置，每次移动一定距离si，i＝1～n，再每次通过红外摄像头拍摄目标得到第一目标图像，每次采用基于深度学习的目标智能检测算法使用新的第一目标检测框选出目标人物，根据移动后得出新的第一目标检测框四个角点坐标得出其在世界坐标系下的第一坐标，具体地，若目标向右移动的距离为si，目标经每次移动之后的第一目标检测框四个角点在世界坐标系下的第三坐标为ai(si,0,0)，bi(si,0,hi)，ci(xi+si,0,hi)，di(xi+si,0,0)，si是目标在世界坐标系下发生的位移，且其位移si的数值为已知的。将每次移动后得到的世界坐标系下的第三坐标转换为像素坐标系下的第四坐标为ai(ui,vi)，bi(ui,vi+hi)，ci(ui+xi,vi+hi)，di(ui+xi,vi)，从而得到第一目标检测框的n组像素坐标系下的第二坐标分别将其记录为a1...an，b1...bn，c1...cn，d1...dn。

同理，本实施例可见光摄像头拍摄时，同样让目标向左或右移动n次，每次移动一定距离s’i，i＝1～n，再每次通过红外摄像头拍摄目标得到第一目标图像，每次采用基于深度学习的目标智能检测算法使用新的第一目标检测框选出目标人物，根据移动后得出新的第一目标检测框四个角点坐标得出其在世界坐标系下的第一坐标，具体地，若目标向右移动的距离为s’i，目标经每次移动之后的第一目标检测框四个角点在世界坐标系下的第三坐标为a’i(s’i,0,0)，b’i(s’i,0,h’i)，ci(x’i+s’i,0,h’i)，d’i(x’i+s’i,0,0)，s’i是目标在世界坐标系下发生的位移，且其位移s’i的数值为已知的。将每次移动后得到的世界坐标系下的第三坐标转换为像素坐标系下的第四坐标为a’i(u’i,v’i)，b’i(u’i,v’i+h’i)，c’i(u’i+x’i,v’i+h’i)，d’i(u’i+x’i,v’i)，从而得到第二目标检测框的n组可见光摄像头像素坐标系下的第四坐标分别将其记录为a1’...an’,b1’...bn’,c1’...cn’,d1’...dn’。

步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。

具体而言，本实施例首先要找出映射关系矩阵u，使得分别在可见光摄像头下的像素坐标系中的第二坐标与红外摄像头下的像素坐标系中的第四坐标对应点满足预设映射关系表达式，本实施例预设映射关系表达式表示为：

其中，a0...an、a1’...an’为由步骤2、步骤3得到n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标，u为映射关系矩阵，请参见图2，图2为本发明实施例提供的一种无标定板异源图像配准方法中使用的映射关系矩阵对应的映射变换示意图，本实施例构建的映射关系矩阵求解方法具体如下：

假设目标在ai处的红外摄像头的像素坐标系下的第二坐标为(ui,vi)^t，目标在a’i处的可见光摄像头的像素坐标系下的坐标为(u’i,v’i)^t。令则由图2可知，世界坐标系与像素坐标系的转换为：

可以看出，有u’i和v’i实际上是x在其坐标轴上的投影大小，所以可以直接做内积可得：

设可见光摄像头与红外摄像头的像素坐标系之间的夹角为θ，则可以推断出有得出红外摄像头的像素坐标系、可见光摄像头的像素坐标系之间的映射关系矩阵表示为：

则可以得到红外摄像头的像素坐标系、可见光摄像头的像素坐标系之间的关系表示为：

在上述公式(5)得出的红外摄像头的像素坐标系、可见光摄像头的像素坐标系之间关系的基础上，加上平移、缩放，将公式(5)更新为：

其中，n0、p0分别为坐标原点在x轴和y轴上坐标平移的数据，m1、m2分别为在x轴和y轴方向上的缩放比例。若有n1＝m1cosθ，p1＝-m1sinθ，n2＝m2sinθ，p2＝m2cosθ，则上述公式(6)更新为：

公式(7)中含有6个满足映射关系的参数，分别为n0、p0、n1、p1、n2、p2。可见，完成世界坐标系与像素坐标系之间的转换，从而完成双光图像的配准，首先需要求出上述条件中的6个满足映射关系的参数。

步骤5、采用最小二乘法求解预设关系表达式得到红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。

具体而言，本实施例针对公式(7)的线性模型，采用最小二乘法求解公式(7)的预设关系表达式，所选择的线性模型使得所有观察值的残差平方和达到最小。以下是本实施例最小二乘法实现的具体步骤：

具体而言，本实施例首先在预设映射关系表达式中加入误差参数，加入误差参数的预设映射关系表达式表示为：

其中，exi、eyi分别为x轴、y轴方向加入的误差参数，本实施例通过最小二乘法求解加入误差参数的预设映射关系表达式，计算exi、eyi误差参数的最小值就找出了可见光摄像头与红外摄像头像素坐标之间最接近的映射关系，得到对应满足映射关系的参数n0、p0、n1、p1、n2、p2。具体地：

本实施例通过最小二乘法求解的最优化目标函数表示为：

由于世界坐标系下的第二坐标(ui,vi)、像素坐标系下的第四坐标(u’i,v’i)均为已知数据，故通过最小二乘法求解的最优化目标函数得到的最优化目标值可以看成是n0、p0、n1、p1、n2、p2的极小值。因极值点导数为0，则最优化目标函数可以简化表示为：

通过最小二乘法求解公式(10)、公式(11)化简后的目标函数，分别得到n0、p0、n1、p1、n2、p2表达式为：

通过公式(12)和(13)得出了满足映射关系的参数。在步骤2、步骤3可知第一目标检测框的四个角点在像素坐标系下的第二坐标、第二目标检测框的四个角点在像素坐标系下的第四坐标，通过上述求解过程得到满足映射关系的参数n0、p0、n1、p1、n2、p2，结合公式(7)可以确定目标在红外摄像头拍摄下每组像素坐标系的第二坐标和可见光摄像头拍摄下每组像素坐标系的第四坐标之间的关系，从而完成异源图像的配准。

需要说的是，本实施例步骤3中i取值是1～n，确定是n个位置移动后的(a1...an，b1...bn，c1...cn，d1...dn)与(a1’...an’,b1’...bn’,c1’...cn’,d1’...dn’)，步骤4中的i取值是0～n，步骤4中求解确定是(a0...an，b1...bn，c1...cn，d1...dn)分别与(a0’...an’,b1’...bn’,c1’...cn’,d1’...dn’)之间的关系。

综上所述，本实施例提出的无标定板异源图像配准方法，是一种更加简单智能的异源图像配准方法。以红外和可见光这两种异源图像组成的多源成像为例，借助基于深度学习的目标智能检测算智能检测图像，分别在红外图像和可见光图像中进行目标人物检测，利用检测获取的目标框像素坐标系下的四点坐标计算异源图像之间的映射关系矩阵，改善了异源图像间缺乏明显共有目标特征点的缺点，从而实现异源成像系统的智能自动配准，由红外摄像头采集包含目标人物和背景的红外图像，然后针对包含同样背景和目标人物的可见光图像进行图像配准，配准率高，且该方法无需大量的处理资源，使得异源图像间能够较易、较快的完成配准，适用于任何嵌入式处理平台。

实施例二

在上述实施例一的基础上，请参见图3，图3为本发明实施例提供的一种无标定板异源图像配准装置的结构示意图。本实施例提供了一种无标定板异源图像配准装置，该装置包括：

目标数据获取模块，用于通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。

第一目标数据坐标确定模块，用于确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。

具体而言，本实施例目标数据坐标确定模块中确定的第一目标检测框包括四个角点，第一目标检测框的四个角点在世界坐标系下第一坐标分别为a0(0,0,0)，b0(0,0,h)，c0(x,0,h)，d0(x,0,0)；

根据第一坐标得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；

确定的第二目标检测框包括四个角点，第二目标检测框的四个角点在世界坐标系下的第三坐标分别为a’0(0,0,0)，b’0(0,0,h’)，c’0(x’,0,h’)，d’0(x’,0,0)；

根据第三坐标得到第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。

第二目标数据坐标确定模块，用于将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。

具体而言，本实施例第二目标数据获取模块中n次移动后得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；

n次移动后得到第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。

目标数据映射关系构建模块，用于构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。

具体而言，本实施例目标数据映射关系构建模块中构建的映射关系矩阵表示为：

其中，u为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。

进一步地，本实施例预设映射关系表达式为：

目标数据配准模块，用于采用最小二乘法求解预设映射关系表达式得到红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。

具体而言，本实施例目标数据配准模块中采用最小二乘法求解预设映射关系表达式包括：

在预设映射关系表达式中加入误差参数；

采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；

根据满足映射关系的参数确定目标在红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间的关系，以完成异源图像的配准。

本实施例提供的一种无标定板异源图像配准装置，可以执行上述无标定板异源图像配准方法实施例，其实现原理和技术效果类似，在此不再赘述。

实施例三

在上述实施例二的基础上，请参见图4，图4为本发明实施例提供的一种无标定板异源图像配准电子设备结构示意图。本实施例提供了一种无标定板异源图像配准电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的计算机程序时，该计算机程序被处理器执行时实现以下步骤：

步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。

步骤2、确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。

具体而言，本实施例步骤2中确定的第一目标检测框包括四个角点，第一目标检测框的四个角点在世界坐标系下第一坐标分别为a0(0,0,0)，b0(0,0,h)，c0(x,0,h)，d0(x,0,0)；

根据第一坐标得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；

确定的第二目标检测框包括四个角点，第二目标检测框的四个角点在世界坐标系下的第三坐标分别为a’0(0,0,0)，b’0(0,0,h’)，c’0(x’,0,h’)，d’0(x’,0,0)；

根据第三坐标得到第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。

步骤3、将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。

具体而言，本实施例步骤3中n次移动后得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；

n次移动后得到第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。

步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。

具体而言，本实施例步骤4中构建的映射关系矩阵表示为：

其中，u为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。

进一步地，本实施例预设映射关系表达式为：

步骤5、采用最小二乘法求解预设映射关系表达式得到红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。

具体而言，本实施例步骤5中采用最小二乘法求解预设映射关系表达式包括：

在预设映射关系表达式中加入误差参数；

采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；

根据满足映射关系的参数确定目标在红外摄像头拍摄下每组像素坐标系的第二坐标和可见光摄像头拍摄下每组像素坐标系的第四坐标之间的关系，以完成异源图像的配准。

本实施例提供的一种无标定板异源图像配准电子设备，可以执行上述无标定板异源图像配准方法实施例和上述无标定板异源图像配准装置实施例，其实现原理和技术效果类似，在此不再赘述。

实施例四

在上述实施例三的基础上，请参见图5，图5为本发明实施例提供的一种计算机可读存储介质的结构示意图。本实施例提供的一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：

步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。

步骤2、确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。

具体而言，本实施例步骤2中确定的第一目标检测框包括四个角点，第一目标检测框的四个角点在世界坐标系下第一坐标分别为a0(0,0,0)，b0(0,0,h)，c0(x,0,h)，d0(x,0,0)；

根据第一坐标得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；

确定的第二目标检测框包括四个角点，第二目标检测框的四个角点在世界坐标系下的第三坐标分别为a’0(0,0,0)，b’0(0,0,h’)，c’0(x’,0,h’)，d’0(x’,0,0)；

根据第三坐标得到第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。

步骤3、将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。

具体而言，本实施例步骤3中n次移动后得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；

n次移动后得到第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。

步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。

具体而言，本实施例步骤4中构建的映射关系矩阵表示为：

其中，u为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。

进一步地，本实施例预设映射关系表达式为：

步骤5、采用最小二乘法求解预设映射关系表达式得到红外摄像头拍摄下每组像素坐标系的第二坐标和可见光摄像头拍摄下每组像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。

具体而言，本实施例步骤5中采用最小二乘法求解预设映射关系表达式包括：

在预设映射关系表达式中加入误差参数；

采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；

根据满足映射关系的参数确定目标在红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间的关系，以完成异源图像的配准。

本实施例提供的一种计算机可读存储介质，可以执行上述无标定板异源图像配准方法实施例、上述无标定板异源图像配准装置实施例和上述无标定板异源图像配准电子设备实施例，其实现原理和技术效果类似，在此不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。