一种基于多传感器的遥感图像特征点高程获取方法与流程

1.本发明涉及自主导航和遥感图像技术领域，尤其是指一种基于多传感器的遥感图像特征点高程获取方法。


背景技术：

2.遥感地图是一种视觉地图，其中的每一个像素点的对应的经纬度信息已知，能够为使用者提供一定的参考。但遥感地图中缺少每个点的高程信息，不能为使用者进一步的判断和使用提供参考。因此利用多传感器为地图中特征点增加高程信息后，遥感地图会包含更多的信息，提供更有价值的参考。
3.多传感器包含机载相机、imu(惯性传感器)和高度计等，通过slam方法融合处理机载相机和imu的信息，可以生成包含无人机位姿和飞行场景三维稀疏点云的slam地图，但slam地图与遥感地图之间缺少相应的坐标转换，无法直接将其中的三维信息添加到遥感地图中。


技术实现要素：

4.为了解决上述问题，本发明提供一种基于多传感器的遥感图像特征点高程获取方法，该方法基于机载相机图像信息和imu信息，通过无人机slam技术实现无人机的自主定位和无人机飞行场景的稀疏点云地图重建，利用气压高度计和地图中的几何关系恢复遥感图像中特征点的高程信息，为遥感地图使用者提供更多参考信息：
5.为实现上述目的，本发明所采用的技术方案为：
6.一种基于多传感器的遥感图像特征点高程获取方法，包括以下步骤：
7.步骤1，载入遥感图像并计算得到遥感地图中特征点的位置信息和描述子信息，根据遥感图像拍摄范围设定无人机飞行区域，控制无人机在该区域内起飞并巡航飞行；
8.步骤2，利用机载相机和惯性传感器组合的slam方法对无人机的位姿进行估计，并将相机图像中的特征点恢复为三维点，建立包含无人机位姿和场景三维点云信息的slam地图；
9.步骤3，通过气压高度计获得无人机各时刻的高度信息，利用时间戳信息，得到slam坐标系中无人机各位置的实际海拔高度，对相机图像和遥感图像进行特征匹配，得到匹配点在slam坐标系中的坐标；
10.步骤4，根据slam坐标系的信息，求得slam坐标系中从无人机到特征点的向量，进而求得该向量在垂直方向上的投影长度，将无人机高度减去投影长度，得到特征点的高程信息。
11.进一步的，步骤2的具体方式为：
12.设定无人机slam坐标系的原点和方向，确定相机、惯性传感器和无人机三者之间的位置变换关系，并将三者位姿统一以无人机位姿表示；
13.对相机图像序列进行特征检测，得到特征点的位置信息和描述子信息，通过特征
跟踪的方式得到同一特征点在不同相机图像中的位置；
14.通过多视图几何方法计算不同相机图像之间的位姿变换，通过三角化方法将相机图像中的特征点恢复为三维点云；
15.使用光束平差法方法对无人机位姿和三维点云坐标进行优化；
16.根据计算得出的无人机位姿信息和惯性传感器输出的数据，计算并优化惯性传感器的参数，并计算得到惯性传感器的预积分量；
17.融合视觉和惯性传感器信息，建立带有尺度信息的无人机slam地图。
18.进一步的，步骤3的具体方式为：
19.通过气压高度计实时输出无人机的高度信息，通过slam方法输出各时刻无人机的位置，根据时间戳信息，将两种数据对齐，得到slam坐标系中无人机的实际海拔高度；
20.根据特征点的描述子信息，对相机图像特征点和遥感图像特征点进行匹配，建立特征匹配点对关系；
21.根据相机图像特征点与slam坐标系中三维点的映射关系，找到遥感图像中特征点在slam坐标系中对应的三维坐标点。
22.进一步的，步骤4的具体方式为：
23.利用slam坐标系的信息，求出无人机到特征点的向量；
24.根据slam坐标系的定义，求得该向量在垂直方向的投影距离；
25.将无人机巡航高度减去投影距离，得到遥感图像中特征点的高程信息；
26.当遥感地图中某个特征点匹配到多个相机图像中的特征点时，分别计算高程并求平均值，将平均值作为遥感图像中特征点的高程信息；
27.将高程信息加入到遥感地图特征点位置的信息中。
28.与现有方法相比，本发明的有益效果在于：
29.1、本发明方法控制无人机在遥感图像区域内巡航，采用机载相机和imu组合的slam方法建立包含无人机位姿信息和无人机飞行场景稀疏点云信息的slam地图，通过气压高度计可以获得无人机各时刻的海拔高度，对遥感图像和机载相机图像进行特征匹配，得到遥感图像中特征点在机载相机图像中的对应点，并得到该点在slam坐标系下的三维坐标，计算slam坐标系中从无人机到特征点的三维向量，进而求得无人机与该点在垂直方向上的距离，无人机海拔高度减去该距离即可得知该点的高程信息，最后将高程信息加入到遥感图像。
30.2、与现有的遥感图像相比，本发明增加了遥感地图中特征点的高程信息，可以为遥感地图使用者提供更多的参考。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
32.图1为本发明实施例方法的流程图。
33.具体实施方法
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
36.一种基于多传感器的遥感图像特征点高程获取方法，包括以下步骤：
37.步骤1，载入遥感图像并计算得到遥感地图中特征点的位置信息和描述子信息，根据遥感图像拍摄范围设定无人机飞行区域，控制无人机在该区域内起飞并巡航飞行；
38.步骤2，利用机载相机和惯性传感器组合的slam方法对无人机的位姿进行估计，并将相机图像中的特征点恢复为三维点，建立包含无人机位姿和场景三维点云信息的slam地图(即，基于slam方法生成的地图)；
39.步骤3，通过气压高度计获得无人机各时刻的高度信息，利用时间戳信息，得到slam坐标系(即，基于slam方法建立的坐标系)中无人机各位置的实际海拔高度，对相机图像和遥感图像进行特征匹配，得到匹配点在slam坐标系中的坐标；
40.步骤4，根据slam坐标系的信息，求得slam坐标系中从无人机到特征点的向量，进而求得该向量在垂直方向上的投影长度，将无人机高度减去投影长度，得到特征点的高程信息。
41.进一步的，步骤2的具体方式为：
42.设定无人机slam坐标系的原点和方向，确定相机、惯性传感器和无人机三者之间的位置变换关系，并将三者位姿统一以无人机位姿表示；
43.对相机图像序列进行特征检测，得到特征点的位置信息和描述子信息，通过特征跟踪的方式得到同一特征点在不同相机图像中的位置；
44.通过多视图几何方法计算不同相机图像之间的位姿变换，通过三角化方法将相机图像中的特征点恢复为三维点云；
45.使用光束平差法方法对无人机位姿和三维点云坐标进行优化；
46.根据计算得出的无人机位姿信息和惯性传感器输出的数据，计算并优化惯性传感器的参数，并计算得到惯性传感器的预积分量；
47.融合视觉和惯性传感器信息，建立带有尺度信息的无人机slam地图。
48.进一步的，步骤3的具体方式为：
49.通过气压高度计实时输出无人机的高度信息，通过slam方法输出各时刻无人机的位置，根据时间戳信息，将两种数据对齐，得到slam坐标系中无人机的实际海拔高度；
50.根据特征点的描述子信息，对相机图像特征点和遥感图像特征点进行匹配，建立特征匹配点对关系；
51.根据相机图像特征点与slam坐标系中三维点的映射关系，找到遥感图像中特征点在slam坐标系中对应的三维坐标点。
52.进一步的，步骤4的具体方式为：
53.利用slam坐标系的信息，求出无人机到特征点的向量；
54.根据slam坐标系的定义，求得该向量在垂直方向的投影距离；
55.将无人机巡航高度减去投影距离，得到遥感图像中特征点的高程信息；
56.当遥感地图中某个特征点匹配到多个相机图像中的特征点时，分别计算高程并求平均值，将平均值作为遥感图像中特征点的高程信息；
57.将高程信息加入到遥感地图特征点位置的信息中。
58.一种基于多传感器的遥感图像中特征点高程获取系统，包括：
59.遥感地图模块，用于载入遥感图像并计算遥感地图中特征点的位置信息和描述子信息，根据遥感图像拍摄范围设定无人机飞行区域，控制无人机在该区域内起飞并巡航飞行；
60.无人机slam模块，用于利用机载相机和惯性传感器组合的slam方法对无人机的位姿进行估计，并恢复相机图像中特征点为三维点，建立包含无人机位姿和场景三维点云信息的slam地图；
61.信息匹配模块，用于通过气压高度计获得无人机各时刻的高度信息，利用时间戳信息，得到slam坐标系中无人机各位置的实际海拔高度，对相机图像和遥感图像进行特征匹配，得到匹配点在slam坐标系中的坐标；
62.高程计算模块，用于根据slam坐标系的信息，求得slam坐标系中的从无人机到特征点的向量，进而求得该向量在垂直方向上的投影长度，并将无人机高度减去投影长度，得到特征点的高程信息。
63.以下为更具体的例子：
64.一种基于多传感器的遥感图像中特征点高程获取方法，如图1所示，包括以下步骤：
65.s1：载入遥感图像并计算得到遥感地图中特征点的位置信息和描述子信息，根据遥感图像拍摄范围设定无人机飞行区域，控制无人机在该区域内起飞并巡航飞行；
66.s2：利用机载相机和imu组合的slam方法对无人机的位姿进行估计，并恢复相机图像中特征点为三维点，建立包含无人机位姿和场景三维点云信息的slam地图；
67.s3：通过气压高度计可以获得无人机各时刻的高度信息，利用时间戳信息，得到slam坐标系中无人机各位置的实际海拔高度，对机载图像和遥感图像进行特征匹配，得到匹配点在slam坐标系中的坐标；
68.s4：根据slam坐标系的信息，求得其中的从无人机到特征点的向量，进而求得该向量在垂直方向上的投影长度，无人机高度减去该距离即可得到特征点的高程信息，最后将高程信息加入遥感地图。
69.该方法控制无人机在遥感图像区域内巡航，采用机载相机和imu组合的slam方法建立包含无人机位姿信息和无人机飞行场景稀疏点云信息的slam地图，通过气压高度计可以获得无人机各时刻的海拔高度，对遥感图像和机载相机图像进行特征匹配，得到遥感图像中特征点在机载相机图像中的对应点，并得到该点在slam坐标系下的三维坐标，根据坐标变换可以得到该点到相机平面的距离，根据相机在slam坐标系中的姿态，得到无人机与该点在垂直方向上的距离，无人机海拔高度减去该距离即可得知该点的高程信息，最后将高程信息加入到遥感图像。与现有的遥感图像相比，本方法增加了遥感地图中特征点的高程信息，可以为遥感地图使用者提供更多的参考。
70.对于步骤s1，载入遥感图像并计算得到遥感地图中特征点的位置信息和描述子信息，根据遥感图像拍摄范围设定无人机飞行区域，控制无人机在该区域内起飞并巡航飞行，包括：
71.s11：载入遥感图像并使用特征检测算法计算得到遥感图像中特征点的位置信息和描述子信息。
72.特征检测算法为基于orb特征的特征提取算法、基于sift特征的特征提取算法或基于surf特征的特征提取算法，等等。
73.将遥感图像中的特征点记为其中y表示第y幅遥感图像，n表示某幅遥感图像中视觉特征总数目。
74.根据特征点周围像素的信息，通过sift特征、surf特征、orb特征等方法，得到对应的特征点的描述子信息记为
75.s12：根据遥感图像拍摄范围设定无人机飞行区域，控制无人机在该区域内起飞后巡航飞行。
76.对于步骤s2利用机载相机和imu组合的slam方法对无人机的位姿进行估计，并恢复相机图像中特征点为三维点，建立包含无人机位姿和场景三维点云信息的slam地图，包括：
77.s21：设定无人机slam坐标系的原点和方向，确定相机、imu和无人机三者之间的位置变换关系，以后三者位姿统一以无人机位姿表示。
78.设定无人机slam初始化的位置为slam坐标系的原点，xyz坐标轴分别指向无人机前方，左方，上方。根据无人机结构，确定无人机、相机和imu之间的位置关系，经变换后三者位姿统一以无人机位姿表示。
79.s22：对机载相机图像序列进行特征检测，得到特征点的位置信息和描述子信息，通过特征跟踪的方式得到同一特征点在不同相机图像中的位置。
80.特征检测算法为基于orb特征的特征提取算法、基于sift特征的特征提取算法或基于surf特征的特征提取算法，等等。
81.将机载相机图像中的特征点记为其中y表示第y幅机载相机图像，n表示某幅机载相机图像中视觉特征总数目。
82.根据特征点周围像素的信息，通过sift特征、surf特征、orb特征等方法，得到对应的特征点的描述子信息记为
83.特征跟踪采用现有方法，如klt稀疏光流跟踪法、稠密光流跟踪法、特征匹配法等。
84.s23：通过多视图几何方法计算不同相机图像之间的位姿变换，通过三角化方法恢复相机图像中特征点为三维点云。
85.多视图几何方法包括pnp方法、求解图像间基础矩阵f的方法和求解图像间单应矩阵h的方法，等等。
86.s24：使用光束平差法方法对无人机位姿和三维点云坐标进行优化。
87.s25：根据已计算得出的无人机位姿信息和imu输出的数据，计算并优化imu各项参数，计算得到imu的预积分量。
88.s26：融合视觉和imu信息，建立带有尺度信息的无人机slam地图。
89.对于步骤s3，通过气压高度计可以获得无人机各时刻的高度信息，利用时间戳信息，得到slam坐标系中无人机各位置的实际海拔高度，对机载图像和遥感图像进行特征匹配，得到匹配点在slam坐标系中的坐标，包括：
90.s31：气压高度计可以实时输出无人机的高度信息其中u表示此为无人机的数据，右下角数字为该高度根据时间排列的序号，slam中可以输出各时刻无人机的位置其中u表示此为无人机的数据，i为slam坐标系中根据时间排列的无人机坐标的序号，根据时间戳信息，可以将两种数据对齐，得到slam坐标系中无人机的实际海拔高度；
91.s32：根据特征点的描述子信息，对机载图像特征点和遥感图像特征点进行匹配，建立特征匹配点对关系。
92.s33：根据机载图像特征点与slam坐标系中三维点的映射关系，找到遥感图像中特征点在slam地图中对应的三维坐标点，其坐标记为其中y表示第y幅遥感图像，i为该点在该幅遥感图像中特征点中的序号。
93.对于步骤s4，根据slam坐标系的信息，求得其中的从无人机到特征点的向量，进而求得该向量在垂直方向上的投影长度，无人机高度减去该距离即可得到特征点的高程信息，最后将高程信息加入遥感地图，包括：
94.s41：利用slam坐标系的信息，求出无人机位置到特征点的向量l；
95.s42：根据无人机坐标系的定义，求得该向量在垂直方向的投影距离即为该向量在z轴方向分量的模长h；
96.s43：无人机巡航高度h
u
减去上述距离h，即可得知遥感图像中特征点的高程信息h
p
；
97.s44：当遥感地图中某个特征点匹配到多个机载图像中特征点时，重复以上计算过程，最后计算求平均值将其加入到遥感地图特征点位置的信息中。