一种基于单目视觉的卫星编队相对姿态估计方法及系统

本发明涉及卫星编队相对姿态估计，特别涉及一种基于单目视觉的卫星编队相对姿态估计方法及系统。

背景技术：

1、随着航天技术的不断发展，人类对太空的探索范围在逐渐扩大，微小卫星编队技术成为深空编队的重要研究方向。卫星编队在执行探测任务时，需要实现稳定与精确的编队构型，编队过程中需要持续的测量星间的相对位姿。较早的编队任务如美国与德国合作发射的grace卫星编队，使用k波段微波测量完成相对位姿测量；欧洲航空航天局的xeus计划以激光测量方法实现了高精度的相对位姿测量；瑞典发射的prisma高精度编队项目采用了多种相对导航技术，包括gps、ffrf(formation flying radio frequency，编队飞行射频)传感器、vbs(vision based sensor，基于视觉的传感器)；proba-3的双星编队使用激光和视觉组合实现了高精度的编队任务构型。视觉测量方案占比逐渐增加，已经成为相对位姿测量领域的重要技术。

2、在合作目标的视觉位姿测量方法中，设置合作靶标和提取特征是视觉位姿测量两类方法。翟光、张景瑞等人提出了一种设置平面光标的方法，根据光亮度几何阈值实现了一种单目视觉相对测量系统；牟金震、方亚毜等人结合靶标与特征提取的方法，采用tof(timeof flight,飞行时间相机)相机完成深度和图像信息测量并计算合作目标相对位姿；wangjie等人使用单目视觉实现了一种基于图像测量的星箭相对位姿测量方法，将火箭尾部的固定特征作为标志，通过特征与标志相结合的方法完成星箭相对位姿测量；张刘等人设计了一种新型合作靶标，实现了由远及近的高精度双星相对位姿解算。

3、合作靶标的方法需在捕捉到靶标后才能进行匹配和位姿计算，一旦未能识别靶标，将无法完成相对位姿的计算，在自主性上不如特征匹配方法。

4、vslam(vision simultaneous localization and mapping，视觉同步定位和映射)方法是一类用于解决运动目标相对位姿测量的可靠方法，该方法在地面环境中取得了较好的运动测量效果。单目slam(simultaneous localization and mapping，同步定位与建图)已经在地面运动机器人自主跟踪、观测方向实现了较好的效果。目前该方法正在被许多学者迁移至太空环境解决深空环境下的目标运动位姿计算。dylan thomas等人使用单目视觉slam解决了卫星接近段的相对位姿问题，并使用cube sat(立方星)真实数据进行验证。corinne vassallo使用slam方法通过不同角度拍摄在轨图像，根据imu(惯性测量单元)数据结合轨道动力学解决尺寸问题进行太空环境建图，实现了无基础的轨道环境定位和建图。vslam的数据处理依赖于对图片特征的提取，提取特征的优劣直接影响了位姿计算的准确性。邢艳军等人提出了相机偏置矩阵结合kalman滤波实现单目视觉非合作目标相对位姿测量，在特征提取部分使用了sift(scale-invariant feature transform，尺度不变换特征)和surf(speed up robust features，加速稳健特征)进行特征提取，验证了特征提取的精度。sharama等人适用cnn(convolutional neural network，卷积神经网络)构建了spn(space pose network，航天器位姿估计网络)，可直接估计位姿结果。huo yurong等人使用cnn作为特征点提取方法，实现了基于yolo-cnn的6自由度位姿估计。

5、但目前现有的卫星编队相对姿态估计方法的精度还有待提升。

技术实现思路

1、本发明提供了一种基于单目视觉的卫星编队相对姿态估计方法及系统，以解决目前现有的卫星编队相对姿态估计方法的精度还有待提升的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一方面，本发明提供了一种基于单目视觉的卫星编队相对姿态估计方法，所述基于单目视觉的卫星编队相对姿态估计方法包括：

4、获取待计算卫星编队中的卫星图像；其中，所述卫星图像指的是通过探测卫星上配置的单目测量相机所采集的位于其视场范围内的被测卫星的图像；

5、基于fast(features from accelerated segment test，基于加速分割测试特征)算法和beblid(boosted efficient binary local image descriptor，增强的高效局部描述符)算法，提取所述卫星图像的特征点；

6、基于提取的特征点，完成卫星图像的特征匹配；

7、基于特征匹配结果，使用epnp(efficient perspective-n-point，高效的n点透视定位)与正交迭代结合，完成相对位姿计算，得到被测卫星相对于单目测量相机的位姿，作为被测卫星相对于探测卫星的位姿。

8、进一步地，基于fast算法和beblid算法提取卫星图像的特征点，包括：

9、使用fast特征点提取算法提取所述卫星图像的特征点；

10、采用基于稳定策略的四叉树筛选算法，对fast特征点提取算法所提取的特征点进行特征筛选，实现特征点均匀化；

11、在实现特征点均匀化后，对图像进行积分运算，采用基于学习的描述符beblid计算描述子，对特征点进行描述，得到最终的特征点提取结果。

12、进一步地，在使用fast特征点提取算法提取所述卫星图像的特征点时，为使fast角点具备旋转不变性，使用灰度质心法计算特征点方向；对图像中的某一图像块b，定义图像块的矩，来确定特征点主导方向；图像块b的矩mpq定义为：

13、mpq＝∑x,y∈bxpyqi(x,y),

14、p,q＝{0,1}

15、其中，x,y表示图像坐标，i(x,y)表示当前像素的灰度值；

16、通过图像块的矩，获得灰度质心c为：

17、m00＝∑x,y∈bi(x,y),

18、m10＝∑x,y∈bx*i(x,y),

19、m01＝∑x,y∈by*i(x,y),

20、

21、求得灰度质心c后，与图像块b的几何中心o连接，获得方向向量图像块的主导方向θ为：

22、

23、将图像块旋转到主导方向后进行计算描述子，则获得旋转不变性。

24、进一步地，所述采用基于稳定策略的四叉树筛选算法，对fast特征点提取算法所提取的特征点进行特征筛选，实现特征点均匀化，包括：

25、首先确定初始节点数目与位置；其中，初始节点数目为1，初始节点位置为图像像素的几何中心；然后使用四叉树分割方法对图像进行分割；分割流程为：

26、首先根据初始节点位置将图像分割为四个子区域，判断各子区域数量：

27、当子区域特征点数量为0时，抛弃当前子区域；

28、当特征点数量为1时，保留当前子区域，并在后续动作中不进行任何修改；

29、当特征点数量大于1时，对当前子区域继续执行分割动作；

30、在每轮分割结束时，执行判断策略，在判断结果为分割未结束时，重复执行当前分割流程；其中，判断策略为：

31、对当前分割结果进行预判，如果当前分割总数+下轮预分割点数*3的计算结果与当前分割总数值相同，则终止分割；

32、在分割未结束时，对当前已分割的节点进行排序，排序顺序为升序排序，排序依据为当前分割区域内的特征点数目；排序方法为归并排序方法；

33、在分割结束后执行特征点筛选，筛选部分将遍历四叉树分割后存留下的每一个节点，在节点内部选择一个特征点，将该特征点保存作为返回结果；

34、其中，特征点选择条件为：

35、查看特征点对应标记，是否为上一次位姿计算使用的特征点和特征点响应值，优先级最高的为上一次位姿计算结果中使用的特征点，如存在此特征点则使用此特征点，否则，使用响应值最高的点作为筛选后保存点。

36、进一步地，所述基于提取的特征点，完成卫星图像的特征匹配，包括：

37、对提取的特征点进行暴力匹配，得到粗匹配集；

38、针对所述粗匹配集，使用gms(grid based motion statics，基于运动统计的匹配滤波)算法消除因结构对称带来的误匹配，保证匹配点对的结构一致性。

39、进一步地，所述基于特征匹配结果，使用epnp与正交迭代结合，完成相对位姿计算，得到被测卫星相对于单目测量相机的位姿，包括：

40、当输入帧与其上一帧的匹配数满足筛选阈值时，利用对极几何约束方法完成单目图片序列由2d像素到3d点的结算，计算出初始位姿；

41、采用epnp算法利用2d坐标和3d空间点完成有效位姿计算，在相机拍摄的二维坐标中确定相机在世界坐标系中的位姿；

42、对求出的相机坐标系控制点坐标和世界坐标系控制点坐标进行gauss-newton最小化，利用svd(singular value decomposition，奇异值分解)算法求得相机的旋转矩阵r和平移向量t；从而得到被测卫星相对于相机的位姿，作为被测卫星相对于探测卫星的位姿。

43、另一方面，本发明还提供了一种基于单目视觉的卫星编队相对姿态估计系统，所述基于单目视觉的卫星编队相对姿态估计系统包括：

44、卫星图像获取模块，用于获取待计算卫星编队中的卫星图像；其中，所述卫星图像指的是通过探测卫星上配置的单目测量相机所采集的位于其视场范围内的被测卫星的图像；

45、特征点获取模块，用于基于fast算法和beblid算法，提取所述卫星图像获取模块所获取的卫星图像的特征点；

46、特征匹配模块，用于基于所述特征点获取模块所提取的特征点，完成卫星图像的特征匹配；

47、相对位姿计算模块，用于基于所述特征匹配模块得到的特征匹配结果，使用epnp与正交迭代结合，完成相对位姿计算，得到被测卫星相对于单目测量相机的位姿，作为被测卫星相对于探测卫星的位姿。

48、进一步地，所述特征点获取模块具体用于：

49、使用fast特征点提取算法提取所述卫星图像的特征点；

50、采用基于稳定策略的四叉树筛选算法，对fast特征点提取算法所提取的特征点进行特征筛选，实现特征点均匀化；

51、在实现特征点均匀化后，对图像进行积分运算，采用基于学习的描述符beblid计算描述子，对特征点进行描述，得到最终的特征点提取结果；

52、在使用fast特征点提取算法提取所述卫星图像的特征点时，为使fast角点具备旋转不变性，使用灰度质心法计算特征点方向；对图像中的某一图像块b，定义图像块的矩，用来确定特征点的主导方向；图像块b的矩mpq定义为：

53、mpq＝∑x,y∈bxpyqi(x,y),

54、p,q＝{0,1}

55、其中，x,y表示图像坐标，i(x,y)表示当前像素的灰度值；

56、通过图像块的矩，获得灰度质心c为：

57、m00＝vx,y∈bi(x,y),

58、m10＝∑x,y∈bx*i(x,y),

59、m01=σx,y∈by*i(x,y),

60、

61、求得灰度质心c后，与图像块b的几何中心0连接，获得方向向量图像块的主导方向θ为：

62、

63、将图像块旋转到主导方向后进行计算描述子，则获得旋转不变性；

64、所述采用基于稳定策略的四叉树筛选算法，对fast特征点提取算法所提取的特征点进行特征筛选，实现特征点均匀化，包括：

65、首先确定初始节点数目与位置；其中，初始节点数目为1，初始节点位置为图像像素的几何中心；然后使用四叉树分割方法对图像进行分割；分割流程为：

66、首先根据初始节点位置将图像分割为四个子区域，判断各子区域数量：

67、当子区域特征点数量为0时，抛弃当前子区域；

68、当特征点数量为1时，保留当前子区域，并在后续动作中不进行任何修改；

69、当特征点数量大于1时，对当前子区域继续执行分割动作；

70、在每轮分割结束时，执行判断策略，在判断结果为分割未结束时，重复执行当前分割流程；其中，判断策略为：

71、对当前分割结果进行预判，如果当前分割总数+下轮预分割点数*3的计算结果与当前分割总数值相同，则终止分割；

72、在分割未结束时，对当前已分割的节点进行排序，排序顺序为升序排序，排序依据为当前分割区域内的特征点数目；排序方法为归并排序方法；

73、在分割结束后执行特征点筛选，筛选部分将遍历四叉树分割后存留下的每一个节点，在节点内部选择一个特征点，将该特征点保存作为返回结果；

74、其中，特征点选择条件为：

75、查看特征点对应标记，是否为上一次位姿计算使用的特征点和特征点响应值，优先级最高的为上一次位姿计算结果中使用的特征点，如存在此特征点则使用此特征点，否则，使用响应值最高的点作为筛选后保存点。

76、进一步地，所述特征匹配模块具体用于：

77、对提取的特征点进行暴力匹配，得到粗匹配集；

78、针对所述粗匹配集，使用gms算法消除因结构对称带来的误匹配，保证匹配点对的结构一致性。

79、进一步地，所述相对位姿计算模块具体用于：

80、当输入帧与其上一帧的匹配数满足筛选阈值时，利用对极几何约束方法完成单目图片序列由2d像素到3d点的结算，计算出初始位姿；

81、采用epnp算法利用2d坐标和3d空间点完成有效位姿计算，在相机拍摄的二维坐标中确定相机在世界坐标系中的位姿；

82、对求出的相机坐标系控制点坐标和世界坐标系控制点坐标进行gauss-newton最小化，利用svd分解求得相机的旋转矩阵r和平移向量t；从而得到被测卫星相对于相机的位姿，作为被测卫星相对于探测卫星的位姿。

83、本发明提供的技术方案带来的有益效果至少包括：

84、本发明针对卫星编队中的相对位姿测量问题，提出了一种改进orb的视觉位姿估计方法。首先使用fast特征点提取卫星表面特征，并采用四叉树筛进行特征筛选，为保证筛选特征可靠，提出了基于稳定策略的四叉树筛选方法，同时使用基于学习的描述符beblid对特征点进行描述；在特征匹配部分，考虑到卫星表面结构的相似性和对称性，使用gms算法消除因结构对称带来的误匹配，相对位姿计算使用epnp与正交迭代结合。从而进一步提高了姿态估计和位置估计的精度，进而可以为深空环境下，卫星编队任务提供重要的数据支撑。