本发明涉及一种无人机红外视频信息显示于可见光视频中的方法。
背景技术
随着科学技术的发展，无人机作为各类灾害事故辅助救援的基本平台已经得到广泛重视和应用。国内外的专家学者利用无人机技术、传感器技术、现代通信技术等研发了诸多消防无人机，主要用于火场灾情侦测、森林防火监测、火场辅助灭火以及人员辅助救援等。在火灾现场抢险救援及火灾灾情侦查方面，无人机机动性强，具备可以第一时间出动、快速到达现场等优势。能否实时准确地获取火场信息是决定消防无人机搜救性能的决定性因素，为了获取足够充分的火场信息，现阶段的消防无人机一般均配备有两类摄像头：红外摄像头和可见光摄像头。
这种多源信息的输入增大了消防无人机的操作复杂度。虽然红外摄像头与可见光摄像头可以同步对一个区域进行扫描观测，由于两种摄像头的技术差异，二者的视频大小、分辨率、采样频率等特征并不一致，而且不是重叠的，存在错位；因此红外视频的坐标信息不能被视作可见光视频的坐标而将红外信息标注在可见光视频中，导致操作人员在操作消防无人机进行搜救过程中需要同时兼顾红外摄像头信息、可见光摄像头信息以及无人机的稳定飞行控制，导致操作人员需要同时准确处理包含无人机的稳定飞行与避障、视频信息的筛选、火情判断等多项任务，导致在救援作业过程中牵扯人员精力太大并且实施飞行条件较高，严重地降低了搜索的效率，延误了救援的最佳时机。
技术实现要素：
鉴于上述问题，本发明的目的在于提供一种无人机红外视频信息显示于可见光视频中的方法，该方法将红外视频和可见光视频的关键性特征进行提取后进行匹配，快速的将红外视频信息显示于可见光视频中，极大地降低了视频信息筛选、火情判断的复杂度，与传统方法相比，在保证搜救准确性的同时，显著地提高了搜救的快速性与准确性。
为了实现上述目的，本发明的技术方案是：
一种无人机红外视频信息显示于可见光视频中的方法，包括获取的红外视频信息图像和可见光视频信息图像，所述红外视频信息图像和可见光视频信息图像是通过架设在无人机上的红外摄像头和可见光摄像头朝向获取对象获取的，截取在时间轴上最接近的两帧图像，两帧图像中的一帧是红外视频信息图像，另一帧是可见光视频信息图像，分别对两帧图像进行图像处理，在两帧图像中分别得到多个有效图形区域，其中，对于两帧图像中的有效图形区域分别进行红外视频特征提取和可见光视频特征提取，对两帧图像中的多个有效图形区域的红外视频特征和可见光视频特征进行比对，当红外视频信息图像中的一个有效图形区域红外视频特征偏离可见光视频信息图像中的一个有效图形区域可见光视频特征，并且偏离小于一个设定的偏离阈值时，认定两个有效图形区域是同一区域，将同一区域的红外视频信息覆盖显示到可见光视频信息图像的同一区域中。
方案进一步是：在两帧图像中当所述有效图形区域认定为同一区域有两组时，依据两组同一区域坐标建立红外视频信息图像中多个有效图形区域的相对坐标，以及可见光视频信息图像中多个有效图形区域的相对坐标，统一两个图像中的相对坐标，依据统一的相对坐标将红外视频信息覆盖显示到可见光视频信息图像中。
方案进一步是：所述截取在时间轴上最接近的两帧图像的方法是：将红外视频信息图像的帧图像按照时间轴顺序存入存储器a，将可见光视频信息图像的帧图像按照时间轴顺序存入存储器b，然后：
首先从存储器a截取一帧红外视频信息图像，然后以截取的一帧红外视频信息图像的时间点为时间原点，从存储器b截取一帧可见光视频信息图像，截取的一帧可见光视频信息图像是等于一帧红外视频信息图像时间原点的一帧可见光视频信息图像，或在时间原点前的第一帧可见光视频信息图像或在时间原点后的第一帧可见光视频信息图像；
或者，首先从存储器b截取一帧可见光视频信息图像，然后以截取的一帧可见光视频信息图像的时间点为时间原点，从存储器a截取一帧红外视频信息图像，截取的一帧红外视频信息图像是等于一帧可见光视频信息图像时间原点一帧红外视频信息图像，或在时间原点前的第一帧红外视频信息图像或在时间原点后的第一帧红外视频信息图像。
方案进一步是：所述对两帧图像进行图像处理，在两帧图像中分别得到多个有效图形区域的方法是：对获取的图像进行自适应二值化处理得到平滑轮廓，在此基础上进一步进行图像中连通区域检测，设定间隙阈值，将面积小于间隙阈值的图像剔除，将大于间隙阈值的连通区域填充连通得到有效图形区域图像。
方案进一步是：所述红外视频特征提取和可见光视频特征提取方法以及比对的方法是：利用改进多尺度harris算法分别对两帧图像中的有效图形区域进行计算得到两帧图像中的特征点描述子集合；采用汉明距离计算两帧图像特征子集合中特征点描述子之间的相对距离，如果全部特征点描述子距离都小于预设偏离阈值，则认为则两帧图像中的有效图形区域在实际场景中对应同一位置。
方案进一步是：所述改进多尺度harris算法是：
首先，获取有效图形图像坐标
接下来通过顺序执行的构建多尺度空间计算步骤、关键点定位计算步骤和消除边缘响应计算步骤，从有效图形图像中挑选出极值点，然后应用传统harris算法从挑选出的极值点中进一步挑选特征点并计算对应的特征点描述子；
所述构建多尺度空间计算步骤是：
将有效图形区域图像坐标
其中：
通过进行局部坐标区域最大值搜索，由公式3得到多个局部坐标区域最大值；
将局部坐标区域最大值定义为极值点；
其中：
所述关键点定位计算步骤是：
对有效图形的多个极值点进行筛选，去除低对比度的极值点，其过程是：
对于极值点
其中：
如果当
所述消除边缘响应计算步骤是：
首先计算待检测极值点
设
检测当前极值点是否满足
其中：
方案进一步是：所述尺度因子
所述方法进一步包括：在认为两帧图像中的有效图形区域在实际场景中对应同一位置后，对两帧图像中的全部特征点进一步利用ransac算法进行错误匹配点剔除，得到剔除后的最终全部特征点集合，将同一区域的最终特征点红外视频信息覆盖显示到可见光视频信息图像的同一区域中。
与现有技术相比，本发明的有益效果：
（1）本发明解决了传统的单一人工控制模式下，消防无人机在搜救火情的过程中存在的视频利用效率低，对人员技术水平要求较高的问题。
（2）本发明所设计红外/可见光视频特征提取与特征匹配方法更加直观地对视频有用信息进行了提取和分析，有效的降低了人员对视频信息处理的难度，显著提升了人员对于视频信息的利用效率。
（3）本发明所设计的改进多尺度harris视频配准算法，在保证运行效率的同时，有效的克服了传统算法无法适应尺度变化的问题，在兼顾快速性的同时保证了视频配准的准确度。
具体实施方式
一种无人机红外视频信息显示于可见光视频中的方法，该方法包括获取的红外视频信息图像和可见光视频信息图像，所述红外视频信息图像和可见光视频信息图像是通过架设在无人机上的红外摄像头和可见光摄像头朝向获取对象获取的，其中的红外视频信息图像包括图像和对应图像的温度信息。当接收到火情报警信息时，根据无人机地面站的调度派出距离报警区域最近的、具备救援能力的消防无人机，由相关人员完成消防无人机至报警区域的引导飞行，到达报警区域后，红外摄像头与可见光摄像头开机，调整红外摄像头与可见光摄像头摄向一个区域，或者是红外摄像头与可见光摄像头架设在同一个云台上，调整摄像区域两种图像的大小接近，或者红外摄像的图像小于可见光摄像的图像；将摄取的图像信息传递至地面站，地面站利用红外视频特征提取系统对红外视频信息进行特征提取；其方法继续包括：
截取在时间轴上最接近的两帧图像，两帧图像中的一帧是红外视频信息图像，另一帧是可见光视频信息图像，分别对两帧图像进行图像处理，在两帧图像中分别得到多个有效图形区域，对于两帧图像中的有效图形区域分别进行红外视频特征提取和可见光视频特征提取，对两帧图像中的多个有效图形区域的红外视频特征和可见光视频特征进行比对，当红外视频信息图像中的一个有效图形区域红外视频特征偏离可见光视频信息图像中的一个有效图形区域可见光视频特征，并且偏离小于一个设定的偏离阈值时，认定两个有效图形区域是同一区域，将同一区域的红外视频信息覆盖显示到可见光视频信息图像的同一区域中。
在比对的过程中，可以根据两种图像的相对位置的有效图形区域进行比对，逐一覆盖显示到可见光视频信息图像的同一区域中。
还有一个优选方案是：
在两帧图像中当所述有效图形区域认定为同一区域有两组时，分别在两种图像中建立多个有效图形区域的相对坐标；也就是依据两组同一区域坐标建立红外视频信息图像中多个有效图形区域的相对坐标，以及可见光视频信息图像中多个有效图形区域的相对坐标，依据其中的一组相对坐标，统一两个图像中的相对坐标，例如将两组相对坐标的比例差距消除，统一为比例一致的相对坐标。然后，依据统一的相对坐标将红外视频信息覆盖显示到可见光视频信息图像中。利用此方法可以快速的将全部红外信息显示在可见光视频信息图像中。
实施例中：所述截取在时间轴上最接近的两帧图像的方法是：将红外视频信息图像的帧图像按照时间轴顺序存入存储器a，将可见光视频信息图像的帧图像按照时间轴顺序存入存储器b，然后：
首先从存储器a截取一帧红外视频信息图像，然后以截取的一帧红外视频信息图像的时间点为时间原点，从存储器b截取一帧可见光视频信息图像，截取的一帧可见光视频信息图像是等于一帧红外视频信息图像时间原点的一帧可见光视频信息图像，或在时间原点前的第一帧可见光视频信息图像或在时间原点后的第一帧可见光视频信息图像；
或者，首先从存储器b截取一帧可见光视频信息图像，然后以截取的一帧可见光视频信息图像的时间点为时间原点，从存储器a截取一帧红外视频信息图像，截取的一帧红外视频信息图像是等于一帧可见光视频信息图像时间原点一帧红外视频信息图像，或在时间原点前的第一帧红外视频信息图像或在时间原点后的第一帧红外视频信息图像。
实施例中：所述对两帧图像进行图像处理，在两帧图像中分别得到多个有效图形区域的方法是：对获取的图像进行自适应二值化处理得到平滑轮廓，在此基础上进一步进行图像中连通区域检测，设定间隙阈值，将面积小于间隙阈值的图像剔除，将大于间隙阈值的连通区域填充连通得到有效图形区域图像。
其中：所述红外视频特征提取和可见光视频特征提取方法以及比对的方法是：利用改进多尺度harris算法分别对两帧图像中的有效图形区域进行计算得到两帧图像中的特征点描述子集合；采用汉明距离计算两帧图像特征子集合中特征点描述子之间的相对距离，如果全部特征点描述子距离都小于预设偏离阈值，则认为则两帧图像中的有效图形区域在实际场景中对应同一位置。
并且，在认为两帧图像中的有效图形区域在实际场景中对应同一位置后，对两帧图像中的全部特征点进一步利用ransac算法进行错误匹配点剔除，得到剔除后的最终全部特征点集合，将同一区域的最终特征点红外视频信息覆盖显示到可见光视频信息图像的同一区域中。
鉴于传统harris算法在特征点匹配时基本不具备尺度不变性，此处结合高斯金字塔算法思想，提出了改进的harris算法。传统harris不具备尺度不变性的根本原因在于harris算法检测出的特征点不具备尺度不变信息，此处采用高斯金字塔构建多尺度空间来提取具备尺度不变性的特征点，这样不仅解决了harris不具备尺度不变性的缺陷，同时又保留了harris描述子运算速度快以及其他如旋转不变性等优点。
因此，所述改进多尺度harris算法是：
首先，获取有效图形图像坐标
接下来通过顺序执行的构建多尺度空间计算步骤、关键点定位计算步骤和消除边缘响应计算步骤，从有效图形图像中挑选出极值点，然后应用传统harris算法从挑选出的极值点中进一步挑选特征点并计算对应的特征点描述子；
其中：
构建多尺度空间：其目的是为挑选有效特征点，而有效的特征点的主要特征便是可以在多尺度空间上都得到较好的稳定表达，为了在尺度空间中有效地检测稳定的特征点，在高斯差分函数与图像卷积得到的空间中寻找极值点，其局部极大值点作为尺度空间的候选特征点。
关键点定位：是在求得尺度空间中的极值点后，需要对这些极值点进行筛选，去除不稳定的点，以增强特征点匹配时的稳定性和抗噪能力。
消除边缘响应：是因为由于差分的存在，导致在图像边缘有较强的边缘响应，而边缘上的极值点抗噪性较差，因此我们还需要排除边缘响应带来的干扰。
因此：
一，所述构建多尺度空间计算步骤是：
将有效图形区域图像坐标
其中：
构建多尺度的空间的主要目的为挑选有效特征点，而有效的特征点的主要特征便是可以在多尺度空间上都得到较好的稳定表达，为了在尺度空间中有效地检测稳定的特征点，在高斯差分函数与图像卷积得到的空间
通过进行局部坐标区域最大值搜索，由公式3得到多个局部坐标区域最大值；
将局部坐标区域最大值定义为极值点；
其中：
二，所述关键点定位计算步骤是：
对有效图形的多个极值点进行筛选，去除低对比度的极值点，其过程是：
对于极值点
其中：
如果当
三，所述消除边缘响应计算步骤是：
首先计算待检测极值点
设
检测当前极值点是否满足
其中：
其中：所述
上述是实例方法在分别计算得到红外图像和可见光图像的特征点和特征点描述子基础上，进行特征点匹配计算，首先计算红外图像中的特征点描述子与可见光图像中的特征点描述子之间的汉明距离（hammingdistance）（其中汉明距离是公知技术：它表示两个（相同长度）字对应位不同的数量。通过对两个字符串进行异或运算，并统计结果为1的个数，那么这个个数就是汉明距离，例如字符串1011101与字符串1001001之间的汉明距离是2）。对距离小于一定阈值的特征点进行匹配，认为两者在实际空间上对应为同一目标；在完成上述初匹配的基础上，利用ransac算法进行错误匹配点的剔除与筛选，得到最终的特征匹配结果。其中ransac算法为业界公开且广泛使用的算法，该算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。它于1981年由fischler和bolles在论文《r.c.randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography》中最先提出。
ransac基本思想描述如下：
①考虑一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集p，集合p的样本数#(p)>n，从p中随机抽取包含n个样本的p的子集s初始化模型m；
②余集sc=p\s中与模型m的误差小于某一设定阈值t的样本集以及s构成s*。s*认为是内点集，它们构成s的一致集(consensusset)；
③若#(s*)≥n，认为得到正确的模型参数，并利用集s*(内点inliers)采用最小二乘等方法重新计算新的模型m*；重新随机抽取新的s，重复以上过程。
④在完成一定的抽样次数后，选取抽样后得到的最大一致集判断内外点，算法结束。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。