一种无人机面阵摆扫的红外多序列影像无缝拼接方法与流程

1.本发明涉及影像拼接领域，具体涉及一种无人机面阵摆扫的红外多序列影像无缝拼接方法。


背景技术：

2.航空红外影像是以航空平台搭载红外传感器，远距离记录地物辐射和反射的红外能量，获取地物的辐射和温度信息。与可见光影像相比，红外成像具有全天时的优点，可应用在自然灾害、环境污染和战场侦察等领域。影像拼接是航空影像处理的关键技术，通过将一组具有重叠区域的影像进行配准和融合，实现多幅影像拼接成较宽视场全景影像的过程，拼接精度直接影响后续应用效果。然而，红外影像本身具备信噪比低和对比度低的特点，使得影像中地物目标不显著，空间相关性大，导致图像特征点提取困难，同名点配准误差大，且无人机面阵摆扫的红外影像具有大视差的特点，影像非单一视点获取，加之地形高度起伏，不符合单点透视原理。现有的影像拼接技术多基于重叠区的影像匹配，可分为基于灰度的拼接方法、基于变换域的拼接方法和基于特征的拼接方法获取影像在重叠区域匹配的特征点对，结合单应性矩阵进行投影或仿射变换，但这些方法对光照、旋转、模糊、噪声敏感，对重叠度要求较高，且对多幅影像的拼接需确定全局对齐策略和方法，计算复杂度高耗时长，对于无人机面阵摆扫的红外多序列影像并不适用，匹配特征点少，匹配错误率高，拼接效果差。


技术实现要素：

3.针对现有技术的不足，本发明提供一种无人机面阵摆扫的红外多序列影像的配准、变形及缝合拼接方法，目的在于针对解决传统特征点匹配及单应性变换矩阵对无人机面阵摆扫的红外多序列影像拼接效果差的技术问题。
4.本发明的目的是通过以下技术方案来实现的：一种无人机面阵摆扫的红外多序列影像无缝拼接方法，包括以下步骤：（1）对待拼接影像进行预处理，所述预处理为对红外影像进行灰度拉伸，增强影像对比度，所述待拼接影像为无人机面阵摆扫的红外影像；（2）利用sift算法对步骤（1）所述影像中的特征点进行提取，得到影像中尺度不变特征点；（3）根据步骤（2）所述影像的最小坐标、影像大小、摆扫序列建立矢量坐标关系；（4）根据待拼接影像的矢量坐标，计算在无人机在航向和翼展方向相邻影像的重叠影像序号，对相邻影像的特征点进行两两匹配，并使用ransac算法对匹配错误的特征点进行剔除，获得准确匹配的特征点对，将其对应特征点对在局部坐标系中的中点作为控制点；（5）根据待拼接影像的中心点和顶点连线将待拼接影像划分为四个区域，四个区
域分别对应航向的左、右相邻的影像和翼展方向的上、下相邻方向的影像，分别计算四个方向内所有特征点与控制点之间的坐标偏移量，并将求取每个方向内所有点坐标偏移的平均值作为该方向内影像的偏移量；（6）固定待拼接影像的中心点位置，其余像元按照距离中心点的距离和距离四个垂直重叠区域方向的角度确定偏移量，所有像元按照各自对应的偏移量进行坐标变换，得到变形后影像；计算相邻影像的成本和价值矩阵，并进行加权求解最佳缝合线；（7）将步骤（6）得到的变形后影像在四个相邻方向的缝合线进行影像拼接。
5.具体地，所述步骤（1）中的灰度拉伸是根据待拼接影像的直方图确定灰度值阈值范围，并将灰度值归一化到0-255范围内。
6.进一步地，所述步骤（5）中控制点的计算方法，通过以下子步骤来实现：（3.1）确定待拼接影像在航向和翼展方向的相邻影像组：无人机按照s型航线获取整片区域的影像，若为航向第一行获取的第一张或最后一张影像，或为航向最后一行获取的第一张和最后一张影像，待拼接影像仅有2张相邻影像；若为航向中间行获取的第一张和最后一张影像，则待拼接影像包含3张相邻影像；若为航向中间行获取的中间影像，待拼接影像组包含4张影像；（3.2）获取待拼接影像和其相邻影像的特征点坐标、特征点描述、影像坐标及大小信息；（3.3）分别匹配待拼接影像与相邻影像的特征点，根据ransac算法对初步匹配的特征点进行错误匹配点的剔除，若进行剔除后保留的匹配特征点对的个数q10，则认为匹配可靠的特征点对不存在；（3.4）结合影像坐标信息和特征点相对影像的坐标，对保留的正确匹配特征点赋予局部坐标系下的坐标，并取匹配特征点的中点作为中心控制点。
7.进一步地，所述步骤（5）通过以下子步骤来实现：（4.1）确定待拼接影像的中点及影像组中所有影像的在局部坐标系下的最大最小坐标；（4.2）以待拼接影像的中点为极点，垂直向下的射线为极轴，求取待拼接影像中点与四个顶点的夹角，且中点与四个顶点的连线把待拼接影像分为4个区域，其数学表达式如下：其中，、、、分别为影像左、右、上、下四个顶点与中点构成的角度，，为影像中心点的横纵坐标，，为影像左上顶点的横纵坐标，，为影像左下顶点的横纵坐标，，为影像右下顶点的横纵坐标，，为影像右上顶点的横纵坐标；
（4.3）计算四个区域内所有匹配特征点和控制点的坐标偏移量，取均值作为该区域的坐标偏移量，其数学表达式如下：其中，为待拼接影像的提取的特征点，为中心控制点，为特征点序号，共有个特征点对，为所有匹配特征点对的在方向坐标偏移量，为所有匹配特征点对的在方向坐标偏移量，为所有特征点对的在方向的平均坐标偏移量，为所有特征点对的在方向的平均坐标偏移量。
8.进一步地，所述步骤六中的影像中所有像元坐标偏移量计算方法，通过以下子步骤来实现：（5.1）计算待拼接影像的中心点和四个顶点所构成角的平分角，其数学表达式如下；其中，为第一顶点和第二顶点和中心点夹角的平分角度，其中，为第二顶点和第三顶点和中心点夹角的平分角度，其中，为第三顶点和第四顶点和中心点夹角的平分角度，其中，为第四顶点和第一顶点和中心点夹角的平分角度；（5.2）计算待拼接影像和相邻影像重叠区域的平分线，其数学表达式如下：其中，、、、分别为影像中点距离左、右、上、下重叠区域平分线的距离，
、、和分别为待拼接影像中心点距离上下左右四条边的距离，、、和分别为待拼接影像中心点距离上下左右相邻影像的最小距离；（5.3）计算影像中所有像元距离中心点的角度和距离，其数学表达式如下：其中，为像元距离中心点的角度，为像元距离中心点的距离，、为影像中心点的横纵坐标，，为某像元的横纵坐标， 为0、180或360度，当像元在中心点的左上方为180度，当像元在中心点的左下方为360度，当像元在中心点的右下方为0度，当像元在中心点的右上方为180度；（5.4）判断像元在重叠区域平分线的方向，若是远离待拼接影像中心的方向，则该像元坐标偏移量为该方向的平均坐标偏移量；若是靠近待拼接影像中心的方向，则该像元坐标偏移量根据和相近两个顶点夹角的角度及距离中点的投影距离进行加权计算，其数学表达式如下：其中，是变形权重系数，该像元在坐标方向的偏移量，该像元在坐标方向的偏移量，为像元在所属区域距离中点的投影距离；为该区域从中点到边的垂线距离，、为相邻方向垂线及像元和中心点连线的夹角，为相邻方向在和方向的平均坐标偏移量。
9.进一步地，所述步骤（7）中的缝合线的计算方法，通过以下子步骤来实现：（6.1）在重叠区域边缘确定缝合线的始末点，若为航向相邻影像，则缝合线始末点在重叠区域的上下边缘；若为翼展方向相邻影像，则缝合线始末点在重叠区域的左右边缘；（6.2）计算相邻影像重叠区域的灰度差值，其数学表达式如下：其中，为待拼接影像重叠区域的灰度值，为相邻影像重叠区域的灰度值；
（6.3）求所有行列的最大最小灰度差值，并求最大和最小灰度差的平均灰度差，其数学表达式如下：其中，为重叠区域内的最小灰度差，为重叠区域内的最大灰度差；（6.4）对重叠区灰度影像进行灰度加权距离变换，其数学表达式如下：其中， 为重叠区域内任意像素的横纵坐标；（6.5）从缝合线起始点出发，计算下一行代价函数最小的点作为缝合线下一点位置，代价函数计算方法为重叠区域内的最大灰度差和最小灰度差的中值，其数学表达式如下：（6.6）确定缝合线后，取缝合线两侧的影像构建掩膜。
10.进一步地，所述步骤（7）中的影像拼接，通过以下子步骤来实现：（7.1）建立所有影像掩膜；（7.2）若在三重叠或四重叠区域出现重复掩膜，仅取拍摄序列在最前面影像的掩膜，若存在无掩膜的情况，则取第一次出现影像所对应位置的影像。
11.本发明的有益效果如下：本发明提供了一种简单快捷有效的无人机面阵摆扫的红外多序列影像无缝拼接方法，可将多幅无人机红外影像拼接成高质量的较宽视场全景影像，高质量的全景拼接结果将直接推动红外影像的应用如自然灾害监测预警、环境污染发现治理和战场环境巡逻侦察等领域，也为进一步的红外利润研究提供良好的数据支撑，促进红外数据的发展和应用。
附图说明
12.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
13.图1为本发明实施例1提供的一种无人机面阵摆扫的红外多序列影像无缝拼接方法的流程图；图2为本发明实施例1的步骤二提供的特征点及中心控制点的提取步骤的流程图；图3为本发明实施例1的步骤四、步骤五和步骤六提供的影像变形具体数学模型；图4为本发明实施例1的步骤四、步骤五和步骤六提供的影像变形的流程图；图5为本发明实施例1的步骤七和步骤八提供的影像缝合的流程图。
具体实施方式
14.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.在本发明的描述中，需要说明的是，术语
“ꢀ
中心”、
“ꢀ
上”、
“ꢀ
下”、
“ꢀ
左”、
“ꢀ
右”、
“ꢀ
远离”、
“ꢀ
靠近”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的方法必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
16.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
17.实施例1本发明实施例提供了一种针对红外无人机影像的快速无缝拼接方法，如图1所示，包括以下步骤：s1，待拼接影像预处理；在本发明实施例中，待拼接红外影像皆来自无人机面阵摆扫的红外成像仪，对待拼接红外影像进行预处理，所述预处理为对影像进行灰度拉伸，增强影像对比度，进一步地，所述灰度拉伸根据影像的直方图确定灰度值阈值范围，并将灰度值归一化到0-255范围内；s2，影像特征点提取；在本发明实施例中，利用sift算法对影像中的特征点进行提取；s3，建立待拼接影像矢量坐标关系；在本发明实施例中，根据待拼接影像的最小坐标、影像大小、摆扫序列建立矢量坐标关系，根据矢量坐标关系可确定影像粗拼结果及确认待拼接影像的相邻影像和重叠区域；s4，具有重叠区域影像的特征点匹配并结合坐标计算中心控制点；在本发明实施例中，根据几何纠正后的各影像坐标，计算在航向和翼展方向相邻影像的重叠影像序号，对相邻影像的特征点进行两两匹配，并使用ransac算法对匹配错误的特征点进行剔除，获得准确匹配的特征点对，对应特征点对在局部坐标系中的中点作为控制点，控制点的目的是使两张影像的同名点通过坐标变换到控制点的位置，以实现坐标匹配；所述航向为无人机的飞行方向，所述翼展方向为无人机的垂直飞行方向；s5，根据航向和翼展方向进行影像分区并计算各区的坐标偏移量；在本发明实施例中，根据带拼接影像的中心点和顶点连线将带配准影像划分为四个区域，四个区域分别对应航向左右相邻影像和翼展上下方向相邻影像，分别计算四个方向内的特征点与控制点之间的坐标偏移量，由于偏移量基本一致，因此求取每个方向内所有点坐标偏移的平均值作为该方向内影像的偏移量；所述顶点为影像的四个角点，常见的顶点大多为是多边形，多面体或其他更高维多面体的角点，由对象的边，面或面组成。
18.s6，根据距离中心点的距离和距离四个垂直重叠区域方向的角度确定所有像元的偏移量。
19.在本发明实施例中，固定中心点位置不变，且将上下左右四个方向的重叠区按照重叠方向一分为二，远离中心点的方向区域内的像元全部按照平均偏移量进行坐标变换，其余像元按照距离中心点的距离和距离四个垂直重叠区域方向的角度确定偏移量。
20.s7，计算相邻影像的成本和价值矩阵并加权求解最佳缝合线；在本发明实施例中，计算相邻影像的成本和价值矩阵，并进行加权求解最佳缝合
线，缝合线两侧的区域生成对应的掩膜；s8，影像缝合；在本发明实施例中，根据变形后影像在四个方向的缝合线生成的掩膜进行影像拼接。
21.具体地，在本发明实施例中，对待拼接影像预处理灰度拉伸，继而进行影像特征点提取，建立待拼接影像矢量坐标关系，具有重叠区域影像的特征点匹配并结合坐标计算中心控制点，根据航向和翼展方向进行影像分区并计算各区的坐标偏移量，根据距离中心点的距离和距离四个垂直重叠区域方向的角度确定所有像元的偏移量，计算相邻影像的成本和价值矩阵并加权求解最佳缝合线，影像拼接，用过这种方式进行影像变形拼接可以解决无人机面阵摆扫的红外影像信噪比低和对比度低造成的同名点配准误差大的问题，同时解决了大视差不符合单点透视原理的问题。
22.可选地，如图2所示，特征点及中心控制点的提取步骤包括：s21，对待拼接影像进行灰度拉伸，并基于sift算法对灰度拉伸后的影像特征点提取；s22，根据影像坐标及航带关系建立矢量位置关系并求确定待拼接影像的相邻影像，对相邻影像的特征点进行初匹配；在本发明实施例中，确定影像在航向和翼展方向的相邻影像组：无人机按照s型航线获取整片区域的影像，若为航向第一行获取的第一张或最后一张影像，或为航向最后一行获取的第一张和最后一张影像，待拼接影像仅有2张相邻影像；若为航向中间行获取的第一张和最后一张影像，待拼接影像包含3张相邻影像；若为航向中间行获取的中间影像，待拼接影像组包含4张影像，获取待拼接影像和其相邻影像的特征点坐标、特征点描述、影像坐标及大小信息；s23，基于ransac剔除错误匹配点，保留正确匹配特征点对的中点作为控制点；在本发明实施例中，分别匹配待拼接影像与相邻影像的特征点，而后根据ransac算法对初步匹配的特征点进行错误匹配点的剔除，若进行剔除后保留的匹配特征点对的个数q10，则认为匹配可靠的特征点对不存在，结合影像坐标信息和特征点相对影像的坐标，对保留的正确匹配特征点赋予局部坐标系下的坐标，并取匹配特征点的中点作为中心控制点；具体地，在本发明实施例中，对待拼接影像进行灰度拉伸，并基于sift算法对灰度拉伸后的影像特征点提取，灰度拉伸后影像特征点提取数据增加，根据影像坐标及航带关系建立矢量位置关系并求确定待拼接影像的相邻影像，对相邻影像的特征点进行初匹配，基于ransac剔除错误匹配点，保留正确匹配特征点对的中点作为控制点。
23.可选地，如图3和图4所示，影像变形的具体模型包含以下步骤：s41，连接影像中心点与四个顶点，将影像分为四个区，分别对应四个相邻影像；在本发明实施例中，建立坐标系，以影像中心为原点，向下方向为x轴，向右为y轴，并连接原点与影像有效区域的四个顶点，将影像分为4个区，并计算中心与顶点连线的角度、、、计算公式如下：
其中，、、、分别为影像左、右、上、下四个顶点与中点构成的角度，，为影像中心点的横纵坐标，，为影像左上顶点的横纵坐标，，为影像左下顶点的横纵坐标，，为影像右下顶点的横纵坐标，，为影像右上顶点的横纵坐标；s42，计算四个区域内所有特征点与控制点的坐标差值，并求平均值作为该方向内所有像元的平均偏移量，计算公式如下：其中，为待拼接影像的提取的特征点，为中心控制点，为特征点序号，共有个特征点对，为所有匹配特征点对的在方向坐标偏移量，为所有匹配特征点对的在方向坐标偏移量，为所有特征点对的在方向的平均坐标偏移量，为所有特征点对的在方向的平均坐标偏移量。
24.所述步骤六中的影像中所有像元坐标偏移量计算方法，通过以下子步骤来实现：计算待拼接影像的中心点和四个顶点所构成角的平分角，其数学表达式如下；其中，为第一顶点和第二顶点和中心点夹角的平分角度，其中，为第二顶点和第三顶点和中心点夹角的平分角度，其中，为第三顶点和第四顶点和中心点夹角的平
分角度，其中，为第四顶点和第一顶点和中心点夹角的平分角度。
25.s43，将重叠区按照重叠方向划分为两个区，其数学表达式如下：其中，、、、分别为影像中点距离左、右、上、下重叠区域平分线的距离，、、和分别为待拼接影像中心点距离上下左右四条边的距离，、、和分别为待拼接影像中心点距离上下左右相邻影像的最小距离；计算影像中所有像元距离中心点的角度和距离，其数学表达式如下：其中，为像元距离中心点的角度，为像元距离中心点的距离，、为影像中心点的横纵坐标，，为某像元的横纵坐标， 为0、180或360度，当像元在中心点的左上方为180度，当像元在中心点的左下方为360度，当像元在中心点的右下方为0度，当像元在中心点的右上方为180度；s44，远离待拼接影像中心点的一侧，所有像元以平均偏移量进行坐标变换，靠近待拼接影像中心点的一侧，所有像元根据距离中心点的距离和距离四个垂直重叠区域方向的角度确定所有像元的偏移量，具体计算公式如下：其中，是变形权重系数，该像元在坐标方向的偏移量，该像元在坐标方向的偏移量，为像元在所属区域距离中点的投影距离；为该区域从中点到边的垂线距离，、为相邻方向垂线及像元和中心点连线的夹角，为相邻方向在
和方向的平均坐标偏移量。
26.具体地，在本发明实施例中，连接影像中心点与四个顶点，将影像分为四个区，分别对应四个相邻影像，计算四个区域内所有特征点与控制点的坐标差值，并求平均值作为该方向内所有像元的平均偏移量，将重叠区按照重叠方向划分为两个区，远离待拼接影像中心点的一侧，所有像元以平均偏移量进行坐标变换，靠近待拼接影像中心点的一侧，所有像元根据距离中心点的距离和距离四个垂直重叠区域方向的角度确定所有像元的偏移量，该方法针对无人机面阵摆扫的红外影像具有大视差的特点，影像非单一视点获取，加之地形高度起伏，不符合单点透视原理设计的影像变形方法，具有很好的鲁棒性。
27.可选地，如图5所示，影像缝合包含以下步骤：s51，确定缝合线的始末点；在本发明实施例中，在重叠区域边缘确定缝合线的始末点，若为航向相邻影像，则缝合线始末点在重叠区域的上下边缘；若为翼展方向相邻影像，则缝合线始末点在重叠区域的左右边缘；s52，计算相邻影像重叠区域的灰度差值，其数学表达式如下：其中，为待拼接影像重叠区域的灰度值，为相邻影像重叠区域的灰度值；s53，其中，为待拼接影像重叠区域的灰度值，为相邻影像重叠区域的灰度值；（6.3）求所有行列的最大最小灰度差值，并求最大和最小灰度差的平均灰度差，其数学表达式如下：其中，为重叠区域内的最小灰度差，为重叠区域内的最大灰度差；s54，对重叠区灰度影像进行灰度加权距离变换，其数学表达式如下：其中， 为重叠区域内任意像素的横纵坐标；s55，从缝合线起始点出发，计算下一行代价函数最小的点作为缝合线下一点位置，代价函数计算方法为重叠区域内的最大灰度差和最小灰度差的中值，其数学表达式如下：在本发明实施例中，从缝合线起始点出发，计算下一行代价函数最小的点作为缝合线下一点位置，代价函数计算方法为相邻两点的灰度差值的平均值；s56，取缝合线两侧的影像构建掩膜；在本发明实施例中，若在三重叠或四重叠区域出现重复掩膜或无掩膜的情况，仅取拍摄序列在最前面影像的掩膜；
具体地，在本发明实施例中，确定缝合线的始末点，计算相邻影像重叠区域的灰度差值，求所有行列的最大最小灰度差值，及最大和最小灰度差的平均灰度差，对重叠区灰度影像进行灰度加权距离变换，从缝合线起始点出发，计算下一行代价函数最小的点作为缝合线下一点位置，代价函数计算方法为相邻两点的灰度差值的平均值，取缝合线两侧的影像构建掩膜，该方法可以寻找到缝合线两边灰度差异最小的缝合线。
28.上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。