一种可见光与红外热成像图像配准的方法及系统与流程

1.本发明属于图像处理技术领域，具体涉及一种可见光与红外热成像图像配准的方法及系统。


背景技术：

2.红外热成像是探测物体的热辐射，能获取物体表面的精确温度信息，不受光照影响，在军事、工业、医学等领域都有广泛应用。目前从红外热成像中识别定位出目标，还存在诸多不利的限制因素。与可见光图像相比较，红外热成像分辨率低，缺乏细节，图像纹理信息少，这些因素会影响目标识别定位的准确率。
3.可见光图像具有分辨率高、纹理信息丰富的优点，广泛用于目标识别定位。可见光图像容易受光照影响。因此红外热成像和可见光图像具有很好的互补性，将这两者的优势相结合，建立这两者的对应关系，实现可见光和红外热成像双光谱信息匹配融合，可增强对目标对象的精确感知能力。
4.建立可见光图像与红外热成像的对应关系，也就是建立可见光与红外热成像图像坐标间的几何变换关系。目前主流的可见光与红外热成像图像配准方法，不管是基于空间域、频域(如最大互信息、小波变换法)，还是基于特征(如点特征、线特征、面特征)的配准，需要对可见光和红外热成像的整个图像区域做遍历，对其灰度信息或者图像特征进行分析提取和配准，在嵌入式系统上存在图像配准速度慢、实时性差、效率低的问题。


技术实现要素：

5.技术目的：针对上述技术问题，本发明提出了一种可见光与红外热成像图像配准方法及系统，其只分析目标对象区域的特征信息，使用具有效率优势的改进orb算法做特征提取和匹配，能够快速实现可见光与红外热成像图像的配准，具有实时性好、稳定性优越等优点。
6.技术方案：为实现上述技术目的，本发明采用了如下技术方案：
7.一种可见光与红外热成像图像配准的方法，其特征在于，包括步骤：
8.s1、拟合仿射变换曲线：预先对图像采集设备做光学标定，在工作范围内的多个不同距离点采集标定板的可见光图像和红外热成像图像，计算可见光图像与红外热成像图像之间的图像像素几何变换关系，拟合出仿射变换曲线；
9.s2、采集目标对象的图像和距离信息：采集目标对象的可见光图像、红外热成像图像和目标距离信息；
10.s3、使用单阶段目标检测模型识别定位目标：可见光图像作为单阶段目标检测模型的输入源，识别定位出目标，输出目标像素区域；
11.s4、可见光图像与红外热成像图像初次配准：基于步骤s1的仿射变换曲线，输入步骤s2的目标距离信息，计算出相应的仿射变换矩阵；对步骤s3输出的目标像素区域使用本步骤计算出的仿射变换矩阵做仿射变换；
12.可见光图像的目标像素区域经过仿射变换后，作为待配准图像，初次配准后的红外热成像图像，作为参考图像；
13.s5、可见光图像与红外热成像精准配准：对待配准图像与参考图像进行特征点提取和特征点匹配，匹配得到特征点对；
14.s6、计算特征点对的置信度：对步骤s5得到的特征点对，计算特征点对的置信度，如果置信度大于预设置信度阈值，则判断可见光图像与红外热成像图像的配准精度满足要求。
15.优选地，所述步骤s5中，对待配准图像与参考图像采用基于改进orb算法，进行特征点提取和特征点匹配，包括步骤：
16.s5.1、利用fast算法分别提取目标对象的待配准图像和参考图像中的关键点；
17.s5.2、计算关键点主方向；根据可见光与红外热成像目标轮廓相似的特点，选取关键点所在的边缘领域的切线方向作为该关键点的主方向；
18.s5.3、使用brief二进制特征描述符对检测的关键点进行描述；
19.s5.4、使用汉明距离做特征点匹配；当可见光图像和红外热成像图像的描述子的相似度大于预设相似度阈值，则判定特征点是匹配的。
20.优选地，所述fast算法提取关键点的步骤包括：
21.步骤s5.1.1，在图像中，以像素点p为中心的预设半径长度的圆上，选择第一数量的像素点，计算第一数量的像素点与像素点p的灰度差，如果灰度差超过像素阈值的像素点超过第一预设值，则将像素点p作为候选关键点，进入下一步；否则，像素点p不作为关键点，重新选择作为中心的像素点；
22.步骤s5.1.2，如果p是候选关键点，则计算所述圆上的第二数量的像素点与中心p的灰度差，如果灰度差超过阈值t的像素点大于第二预设值，则中心点p是关键点，进入下一步；否则，中心点p不是关键点，返回步骤s5.1.1，重新选择作为中心的像素点；第二数量大于第一数量，第二预设值大于第一预设值；
23.步骤s5.1.3，对图像进行非极大值抑制：计算关键点p的得分值，得分值为所述圆上的第二预设数量的像素点与关键点p的灰度差值的绝对值总和；
24.以关键点p为中心的预设邻域内，如果有多个关键点，则判断每个关键点的得分值，如果关键点p的得分值是预设邻域所有关键点中最大的，则保留该关键点p；否则，抑制该关键点p；如果预设邻域内只有一个关键点，则保留该关键点p。
25.优选地，步骤s1中，标定板采用透明导热的光学玻璃，光学玻璃上面使用特征点清晰的规则图案，在预设区域涂隔热材料，其它区域未涂隔热材料，标定板在可见光波段和红外波段均能获得清晰度符合要求的轮廓图像；
26.标定板的红外热成像为参考图像、可见光图像为待配准图像，每对可见光图像和红外热成像图像选择稳定的三对角点为配准点，计算出对应的仿射变换矩阵，对多组不同距离点的仿射变换矩阵，使用最小二乘法多项式曲线拟合出仿射变换曲线。
27.优选地，步骤s1中，得到的仿射变换矩阵为(m
00
，m
01
，m
02
，m
10
，m
11
，m
12
)，与距离参数di(i＝1，2，3，...，n)组成样本数据，样本数据为(m
00
，di)、(m
01 di)、(m
02
，di)、(m
10
，di)、(m
11
，di)、(m
12
，di)样本数据，使用最小二乘法多项式曲线，拟合出仿射变换参数m
00
、m
01
、m
02
、m
10
、m
11
、m
12
的曲线。
28.优选地，所述步骤s4中，使用该仿射变换矩阵对可见光图像的目标像素区域做仿射变换得到待配准图像，几何变换计算如公式(2)所示：
[0029][0030]
(x，y)为目标对象的可见光图像的像素点，(x
′
，y
′
)为经过仿射变换配准到红外热成像的像素点。
[0031]
优选地，步骤s6中的置信度的计算规则为，计算每一对特征点的欧式距离，欧式距离小于预设欧式距离阈值的特征点对数量占所有特征点对的比例为置信度。
[0032]
一种可见光与红外热成像图像配准的系统，其特征在于，
[0033]
拟合仿射变换曲线模块，用于预先对图像采集设备做光学标定，在工作范围内的多个不同距离点采集标定板的可见光图像和红外热成像图像，拟合出仿射变换曲线；
[0034]
目标对象信息采集模块，用于采集目标对象的可见光图像、红外热成像图像和目标距离信息；
[0035]
图像识别定位模块，用于使用单阶段目标检测模型，识别定位出可见光图像中的目标，输出目标像素区域；
[0036]
初次配准模块，用于对可见光图像与红外热成像进行初次配准，将可见光图像的目标像素区域经过仿射变换后，作为待配准图像，将初次配准后的红外热成像图像，作为参考图像；
[0037]
精确配准模块，用于对待配准图像与参考图像进行特征点提取和特征点匹配，匹配得到特征点对；
[0038]
判别模块，用于计算特征点对的置信度，如果置信度大于预设置信度阈值，则判断可见光图像与红外热成像图像的配准精度满足要求。
[0039]
一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述方法。
[0040]
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述方法。
[0041]
有益效果：由于采用了上述技术方案，本发明具有如下有益效果：
[0042]
本发明一种可见光与红外热成像图像配准方法和系统，相比只使用空间域/频域/特征的图像配准技术，本发明减少了图像区域的检测范围，只分析目标对象区域的特征信息，使用具有效率优势的改进orb算法做特征提取和匹配，解决嵌入式系统上的可见光与红外热成像图像配准速度慢、实时性差以及稳定性不足的问题。
附图说明
[0043]
图1是本发明所述的一种可见光与红外热成像图像配准系统的结构示意图；
[0044]
图2是本发明所述的一种可见光与红外热成像图像配准系统的立体结构示意图；
[0045]
图3是本发明所述的一种可见光与红外热成像图像配准方法的流程图；
[0046]
图4是本发明所述的一种可见光与红外热成像图像配准方法的fast算法检测关键点示意图。
具体实施方式
[0047]
下面结合附图对本发明的实施例作详细的说明。
[0048]
实施例一
[0049]
本发明提出的一种可见光与红外热成像图像配准方法，通过预先标定的方式采样多个不同工作距离点的可见光与红外热成像之间的图像像素几何变换关系，通过最小二乘法拟合出仿射变换参数的曲线；然后在工作时候根据物体距离信息，可快速对可见光与红外热成像做初次配对；使用效率著称的单阶段目标检测模型，从可见光图像识别定位出目标对象，可有效减少图像配准要做的特征点分析范围，提高图像配准效率；针对可见光与红外热成像的成像原理不同，对orb算法进行改进，使用具有效率优势的改进orb算法对待配准图像与参考图像做特征提取和匹配，改进后的orb算法不但具有效率高的优点，同时具有特征旋转不变性，兼顾考虑可见光与红外热成像轮廓匹配的特点。最后通过比较匹配特征点的空间关系，排除特征点误匹配的情况，使得可见光与红外热成像的图像配准准确率满足要求。
[0050]
如图1、图2所示的可见光与红外热成像图像配准系统，包括激光测距仪1、红外热成像设备2和可见光设备3。
[0051]
如图3所示，基于目标对象的可见光与红外热成像图像配准方法包括几个步骤：
[0052]
步骤s1，拟合仿射变换曲线：预先对图像采集设备做光学标定，在工作范围内的多个不同距离点采集标定板的可见光图像和红外热成像图像。红外热成像为参考图像，可见光图像为待配准图像。每对可见光图像和红外热成像选择稳定的三对角点为配准点，计算出对应的仿射变换矩阵。对多组不同距离点的仿射变换矩阵使用最小二乘法多项式曲线拟合出仿射变换曲线。
[0053]
即预先对可见光和红外热成像设备做光学标定，拟合出可见光与红外热成像在工作距离点的像素坐标几何变换曲线。
[0054]
本实施例的标定板使用透明导热的光学玻璃材质的黑白棋盘格，黑色棋盘格涂上隔热材料，白色棋盘格未涂隔热材料。该棋盘格对于可见光波段和红外光波段，均能在成像设备中获得清晰的轮廓图像。
[0055]
采集标定板的图像，可见光图像的像素点(x,y)经过仿射变换配准到红外热成像的像素点(x
′
,y
′
)，矩阵运算如公式(1)所示：
[0056][0057]
其中，(m
00
，m
01
，m
02
，m
10
，m
11
，m
12
)为仿射变换矩阵，(m
02
，m
12
)表示图像平移量，(m
00
，m
01
，m
10
，m
11
)表示图像尺度变化和图像旋转。
[0058]
仿射变换矩阵求解过程，使用棋盘格的三对角点作为配对点，使用最小二乘法求解仿射变换矩阵。最小二乘法求解仿射变换矩阵是已知的现有技术，因此本实施例中不再赘述。
[0059]
将得到的工作范围内的不同距离点的仿射变换矩阵，与距离参数组成样本数据，得到各个距离点的(m
00
，di)、(m
01di
)、(m
02
，di)、(m
10
，di)、(m
11
，di)、(m
12
，di)样本数据，di(i＝1，2，3，...，n)为距离参数。为了兼顾实时性和精度，使用阶数不大于6阶的最小二乘法多项式曲线，拟合出仿射变换参数m
00
、m
01
、m
02
、m
10
、m
11
、m
12
的曲线。
[0060]
步骤s2，使用图1、图2所示的包含可见光设备、红外热成像设备、激光测距仪的系统，在其工作距离范围内，对目标对象采集可见光图像、红外热成像以及目标距离信息。在采集可见光图像、红外热成像图像、目标距离信息的时候，图像拍摄装置、激光测距仪在位置、拍摄方向和拍摄角度均一致。
[0061]
步骤s3，使用yolo4单阶段目标检测模型识别定位可见光图像中的目标，得到目标像素区域。
[0062]
步骤s4，将步骤s2得到目标距离信息，输入步骤s1得到的仿射变换曲线，计算出该距离点的仿射变换矩阵参数m
00
、m
01
、m
02
、m
10
、m
11
、m
12
。使用该仿射变换矩阵对可见光图像的目标像素区域做仿射变换得到待配准图像，几何变换计算如公式(2)所示：
[0063][0064]
步骤s5，基于改进orb算法对待配准图像(可见光图像)和参考图像(红外热成像)做特征点分析提取和特征点匹配。待配准图像和参考图像均是目标所在区域，由于不需要对整个图像做特征点分析和匹配，可减少图像分析和匹配计算量，提高匹配效率。
[0065]
基于改进orb算法的特征点提取和特征点配对，包括如下步骤：
[0066]
步骤s5.1，利用fast算法分别提取参考图像和待配准图像的关键点。fast算法提取关键点的步骤如下：
[0067]
步骤s5.1.1，如图4所示，一个以像素p为中心半径为3的圆上，有16个像素点(p1、p2、...、p16)。设定灰度阈值为t。计算p1、p9、p5、p13与中心p的灰度差，如果灰度差超过阈值t的像素点大于3个，则中心点p作为候选关键点；否则，中心点p不是关键点；
[0068]
步骤s5.1.2，如果p是候选关键点，则计算p1到p16这16个像素点与中心p的灰度差，如果灰度差超过阈值t的像素点大于8个，则中心点p是关键点；否则，中心点p不是关键点；
[0069]
步骤s5.1.3，对图像进行非极大值抑制：首先计算关键点的得分值，如图4所示，以关键点p为中心半径为3的圆上的16个点与关键点p的灰度差值的绝对值总和。然后做非极大值抑制，规则是，以关键点p为中心的3x3邻域内，如果有多个关键点，则判断每个关键点的得分值，如果关键点p的得分值是3x3邻域所有关键点中最大的，则保留；否则，抑制。如果3x3邻域内只有一个关键点，则保留。
[0070]
步骤s5.2，计算关键点主方向。根据可见光与红外热成像目标轮廓相似的特点，选取关键点所在的边缘领域的切线方向作为该关键点的主方向，使改进orb算法具有旋转不变性。关键点主方向计算规则是，假设任意关键点p(i)的位置坐标为(xi，yi)，在相邻领域内选择与关键点p(i)距离为k的两个特征点p(i-k)和p(i+k)，这两个关键点的位置坐标为(x
i-k y
i-k
)和(x
i+k
，y
i+k
)，关键点p(i)的主方向计算公式为：
[0071][0072]
计算关键点主方向的目的在于，由于可见光设备和红外热成像设备存在安装偏差角度，导致所拍摄的图像会有相对角度不一致现象，这需要可见光与红外热成像配准算法具有旋转不变性。
[0073]
步骤s5.3，使用brief二进制特征描述符对检测到的关键点进行描述。因为步骤s4
中已经对可见光图像做了仿射变换，待配准图像和参考图像具有相同的分辨率，所以这里不使用高斯滤波来处理图像。使用brief算法生成特征描述符的具体步骤如下：
[0074]
步骤s5.3.1，在步骤s5.1得到的关键点为中心，产生一个31x31的窗口，在这个窗口随机选择256个像素对，以构建256维的位向量。
[0075]
步骤s5.3.2，根据步骤s5.2得到的关键点的主方向旋转这256个像素对，使得这256个像素对的方向与关键点一致。
[0076]
步骤s5.3.3，比较这256个像素对的灰度值，相应分配1和0，创建对应的特征向量。
[0077]
步骤s5.4，比较特征点的汉明距离来匹配特征点。当可见光和红外热成像的描述子的相似度大于预设相似度阈值则判定这对特征点是匹配的。描述子也是特征描述符，一般用来指算法。
[0078]
步骤s6，计算特征点对的置信度。为进一步提高特征点匹配稳定性，对基于改进orb算法处理得到的特征点对，计算可见光与红外热成像的特征点配准置信度。置信度的计算规则为，计算每一对匹配点即特征点对(x1,x2)(x2,y2)的欧式距离。计算公式如下：
[0079][0080]
欧式距离小于预设距离阈值的特征点对数量占比为可见光与红外热成像配准的置信度。得到的置信度大于预设置信度阈值，则可判断本次的可见光与红外热成像图像配准精度满足要求。置信度越高说明可见光与红外热成像图像配准准确率越高。
[0081]
本实施例所述的内容为本发明较好的具体实施形式，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。因此，本发明的保护范围应以所述权利要求的保护范围为准。