一种基于深度学习的GEO空间目标提取方法

一种基于深度学习的geo空间目标提取方法
技术领域
1.本发明涉及空间目标监测技术领域，具体涉及一种基于深度学习的geo空间目标提取方法。


背景技术：

2.由于地球同步轨道存在很多重要的空间资产，如通信、导航、侦察、预警、气象等大型卫星，因此，对geo(对地同步轨道)空间目标进行监视具有非常重要的意义。
3.地面望远镜是目前进行太空目标监视的重要手段之一，利用地面望远镜相机进行监视时，因geo空间目标与近geo空间目标相对于地面观测者的移动速度较低，在相机的曝光时间内其反射的光子在相机像面聚集为几个像素的点状弥散光斑，但是由于目标距离地球太远，所形成的光斑亮度较暗。而恒星相对地面观测者的移动速度较高，在相机的曝光时间内可以移动几个像素单元，且在能量累积下表现为拖长的线状。
4.因此，在利用地面望远镜相机进行geo空间目标监视时，望远镜视场中会存在大量的恒星，恒星的亮度与其星等有关，在相机获取的图像中表现为大量的亮线与暗线；同时由于存在云层、光污染、传感器噪声、缺陷以及恒星遮挡等现象，导致利用现有的图像目标提取方法难以从望远镜相机图像中快速、准确地提取出geo空间目标。同时，针对低成本的地面望远镜而言，其拍摄的geo空间目标能量更加暗弱，信噪比较低，更容易使geo空间目标淹没在恒星与噪声背景之中，导致目标的提取更加困难。并且，现有的图像目标提取方法还需要依赖地面望远镜姿态等信息才能够完成目标提取。


技术实现要素：

5.为解决上述现有技术中存在的部分或全部技术问题，本发明提供一种基于深度学习的geo空间目标提取方法。
6.本发明的技术方案如下：
7.提供了一种基于深度学习的geo空间目标提取方法，所述方法包括：
8.利用地面望远镜采集图像序列；
9.将所述图像序列中的每帧图像分别输入预先训练的目标检测网络模型，得到每帧图像中恒星的位置信息；
10.利用恒星的质心位置作为特征点进行匹配，根据匹配结果求出图像之间的相对变换关系；
11.从图像中提取出疑似geo空间目标；
12.利用深度学习识别网络进行geo空间目标的鉴别，剔除疑似geo空间目标中的虚假目标；
13.基于鉴别后的geo空间目标，进行目标数据关联、目标轨迹预测更新和目标轨迹管理。
14.在一些可能的实现方式中，所述利用地面望远镜采集图像序列，包括：
15.利用所述地面望远镜以预设曝光时间进行太空观测，获取一帧图像；
16.以预设时间间隔连续采集多帧图像，得到图像序列。
17.在一些可能的实现方式中，所述目标检测网络模型通过如下步骤训练得到：
18.获取训练样本集合，训练样本包括包含有恒星的样本图像、与样本图像对应的恒星位置；
19.将所述训练样本集合中的训练样本的样本图像作为输入，将与输入的样本图像对应的恒星位置作为输出，训练得到所述目标检测网络模型。
20.在一些可能的实现方式中，所述目标检测网络模型包括faster rcnn网络、ssd网络和yolo网络中的一种。
21.在一些可能的实现方式中，所述利用恒星的质心位置作为特征点进行匹配，包括：
22.以恒星的质心位置作为特征点，利用全局最近邻算法进行全局最优点集匹配，得到同名匹配点对。
23.在一些可能的实现方式中，所述利用恒星的质心位置作为特征点进行匹配，还包括：
24.利用随机抽样一致算法对获取的同名匹配点对进行筛选。
25.在一些可能的实现方式中，所述相对变换关系包括平移变换关系。
26.在一些可能的实现方式中，所述从图像中提取出疑似geo空间目标，包括：
27.在每帧图像中，采用滑窗形式提取geo空间目标，其中，滑窗包括目标窗、保护窗和背景窗；
28.计算提取的geo空间目标的局部峰值信噪比；
29.判断所述局部峰值信噪比是否大于预设阈值，若是，将geo空间目标认定为疑似geo空间目标；
30.利用所述预设阈值对图像进行分割，得到包含疑似geo空间目标的二值图；
31.通过形态学处理对亮点区域进行8连通域标记，将疑似geo空间目标提取出。
32.在一些可能的实现方式中，所述深度学习识别网络包括多层卷积与池化模块，所述多层卷积与池化模块通过提取真实目标与虚假目标的区分特征，给出二分类的识别结果，确定疑似geo空间目标为真实目标或虚假目标。
33.在一些可能的实现方式中，所述进行目标数据关联、目标轨迹预测和目标轨迹管理，包括：
34.利用数据关联算法进行多帧图像间的geo空间目标数据关联；
35.根据关联结果，利用卡尔曼滤波算法进行geo空间目标的轨迹预测；
36.根据轨迹预测结果，利用逻辑法进行目标轨迹管理，确定各个目标的轨迹；
37.其中，所述利用逻辑法进行目标轨迹管理，包括：
38.在轨迹起始时，针对每个目标，确定是否在第一预设帧数中是否有第二预设帧数以上有效的目标状态量测值，若是，则利用多帧有效的目标状态量测值构成暂时轨迹，以作为当前目标的确定轨迹；
39.针对已有的目标的确定轨迹，若从某一帧开始连续第二预设帧数均没有相应的目标状态量测值，则认定当前的确定轨迹终止，若没有相应的目标状态量测值的帧数少于第二预设帧数，则利用目标状态预测值作为相应时刻的目标状态值进行目标轨迹更新；
40.其中，所述目标状态量测值表示目标状态真实值与目标状态预测值的加权平均数。
41.本发明技术方案的主要优点如下：
42.本发明的基于深度学习的geo空间目标提取方法通过利用目标检测网络模型对图像进行恒星检测，根据恒星检测结果能够实现图像间变换关系的精确估计，无需依赖望远镜相机姿态等信息；通过先提取候选目标，再基于深度学习进行目标鉴别，最后进行目标数据关联的方式提取geo空间目标，能够显著提高geo空间目标检测准确性。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明一实施例的基于深度学习的geo空间目标提取方法的流程图；
45.图2为本发明一实施例的spotgeo数据集第1组序列图像中5帧图像的恒星提取结果示意图；
46.图3为本发明一实施例的spotgeo数据集第1组序列图像中相邻两帧图像的点集关联结果示意图；
47.图4为本发明一实施例的spotgeo数据集第1组序列图像中疑似geo空间目标的提取结果示意图；
48.图5为本发明一实施例的spotgeo数据集第1组序列图像中geo空间目标的轨迹提取结果示意图。
具体实施方式
49.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.以下结合附图，详细说明本发明实施例提供的技术方案。
51.参见图1，本发明一实施例提供了一种基于深度学习的geo空间目标提取方法，该方法包括以下步骤：
52.步骤s1，利用地面望远镜采集图像序列；
53.步骤s2，将图像序列中的每帧图像分别输入预先训练的目标检测网络模型，得到每帧图像中恒星的位置信息；
54.步骤s3，利用恒星的质心位置作为特征点进行匹配，根据匹配结果求出图像之间的相对变换关系；
55.步骤s4，从图像中提取出疑似geo空间目标；
56.步骤s5，利用深度学习识别网络进行geo空间目标的鉴别，剔除疑似geo空间目标中的虚假目标；
57.步骤s6，基于鉴别后的geo空间目标，进行目标数据关联、目标轨迹预测更新和目标轨迹管理。
58.本发明一实施例提供的基于深度学习的geo空间目标提取方法通过利用目标检测网络模型对图像进行恒星检测，根据恒星检测结果能够实现图像间变换关系的精确估计，无需依赖望远镜相机姿态等信息；通过先提取候选目标，再基于深度学习进行目标鉴别，最后进行目标数据关联的方式提取geo空间目标，能够显著提高geo空间目标检测准确性。
59.以下对本发明一实施例提供的基于深度学习的geo空间目标提取方法的步骤及原理进行具体说明：
60.步骤s1，利用地面望远镜采集图像序列。
61.本发明一实施例中，利用地面望远镜采集图像序列，包括以下步骤：
62.步骤s11，利用地面望远镜以预设曝光时间进行太空观测，获取一帧图像；
63.步骤s12，以预设时间间隔连续采集多帧图像，得到图像序列。
64.其中，预设曝光时间和预设时间间隔可以根据实际情况具体设置。
65.步骤s2，将图像序列中的每帧图像分别输入预先训练的目标检测网络模型，得到每帧图像中恒星的位置信息。
66.一般情况下，地面望远镜相机朝着星空拍照时，由于望远镜机械转动、恒星在像方的相对移动等因素的影响，图像序列中不同帧图像之间存在位移。为了便于后续进行目标的提取、检测等处理，需要先进行图像配准。
67.考虑到地面望远镜相机获取的图像中通常有大量的恒星，且其拓扑结构帧间不变，本发明一实施例中，以恒星作为参考物，以恒星的质心位置作为参考点来求解图像之间的相对变换关系。因此，为完成图像配准，需要先进行恒星提取，以确定图像中的恒星位置。
68.本发明一实施例中，为了提高恒星提取的准确度，利用目标检测网络模型进行恒星提取。具体地，分别将图像序列中的每帧图像作为输入，输入到预先训练的目标检测网络模型，由目标检测网络模型输出图像中每个恒星的检测框坐标，即图像中的恒星位置。其中，恒星的质心位置可以取为检测框的中心位置。
69.进一步地，本发明一实施例中给出了一种目标检测网络模型的训练方法，该训练方法包括以下步骤：
70.步骤s21，获取训练样本集合，训练样本包括：包含有恒星的样本图像、与样本图像对应的恒星位置；
71.步骤s22，将训练样本集合中的训练样本的样本图像作为输入，将与输入的样本图像对应的恒星位置作为输出，训练得到目标检测网络模型。
72.可选的，样本图像可以采用欧洲航天局的spotgeo数据集，该数据集中图像的图像大小为768x768像素，且每个图像至少包括3个恒星，样本图像对应的恒星位置可以通过人工标注。
73.可选的，目标检测网络模型可以采用faster rcnn网络、ssd网络和yolo网络中的一种。
74.步骤s3，利用恒星的质心位置作为特征点进行匹配，根据匹配结果求出图像之间的相对变换关系。
75.由于地面望远镜观测图像的大部分区域为暗区域，无显著纹理信息，使用传统的
尺度不变性特征变换(sift)算子难以有效提取特征点。
76.为此，本发明一实施例中，利用检测的恒星的质心位置作为特征点进行匹配，并根据匹配结果进行图像配准。
77.如此，既能够提高配准精度，又无需依赖望远镜相机姿态等信息。
78.其中，在进行图像配准时，可以以第1帧图像为基准，对相邻两帧图像进行特征点匹配，再换算成相对第1帧图像的变换关系。
79.进一步地，由于恒星和geo空间目标距离地球较远，图像序列中的不同帧图像之间的变换关系可以看成平移变换关系。为此，本发明一实施例中，利用全局最近邻(gnn)算法进行全局最优点集匹配，得到同名匹配点对。
80.由于受部分错误匹配或低精度匹配点对的影响，如果直接用匹配点对求解平移变换参数，则可能有较大的参数估计误差。因此，需要在同名匹配点对中进一步选取适合估计平移变换参数的点集。
81.本发明一实施例中，为了稳健估计序列图像之间的变换参数，采用随机抽样一致(ransac)算法对获取的同名匹配点对进行进一步筛选与提纯，再通过筛选后的匹配点对的平均解算出平移变换参数。
82.步骤s4，从图像中提取出疑似geo空间目标。
83.在地面望远镜观测图像中，geo空间目标与大部分恒星相比，其信噪比较低，在图像中所占像素点数较少，属于暗弱目标。同时，受观测气象、光污染等因素影响，部分图像亮度分布不均匀，如果采用全局阈值分割的方法提取图像中的geo空间目标，则会造成大量虚警或漏警存在。
84.为此，本发明一实施例中，利用局部峰值信噪比分割算法从图像中提取出疑似geo空间目标。
85.具体地，利用局部峰值信噪比分割算法从图像中提取出疑似geo空间目标，包括以下步骤：
86.步骤s41，在每帧图像中，采用滑窗形式提取geo空间目标，其中，滑窗包括目标窗、保护窗和背景窗；
87.步骤s42，计算提取的geo空间目标的局部峰值信噪比；
88.步骤s43，判断geo空间目标的局部峰值信噪比是否大于预设阈值，若是，将geo空间目标认定为疑似geo空间目标；
89.步骤s44，利用预设阈值对图像进行分割，得到包含疑似geo空间目标的二值图；
90.步骤s45，通过形态学处理对亮点区域进行8连通域标记，将疑似geo空间目标提取出。
91.其中，保护窗用于防止geo空间目标的部分像素泄露到背景窗中，导致背景统计信息不准。各窗大小可以结合geo空间目标在图像中的特性进行选择。
92.geo空间目标的局部峰值信噪比定义为：
93.psnr＝(μ
t-μb)/σb94.其中，psnr表示局部峰值信噪比，μ
t
表示目标窗的均值，μb表示背景窗的均值，σb表示背景窗的标准差。
95.其中，预设阈值可以根据实际情况进行设置。
96.进一步地，为了减少虚警，步骤s4还可以包括：根据像素大小剔除过大和过小的虚假目标。其中，对于像素多大时为过大，像素多小时为过小，可以根据实际情况进行设置。
97.步骤s5，利用深度学习识别网络进行geo空间目标的鉴别，剔除疑似geo空间目标中的虚假目标。
98.在完成疑似geo空间目标的提取后，由于疑似geo空间目标中可能还存在较多的虚假geo空间目标。为此，还需要对疑似geo空间目标进行鉴别，剔除疑似geo空间目标中的虚假目标，以提高目标检测准确性。
99.本发明一实施例中，利用深度学习识别网络进行geo空间目标的鉴别，剔除疑似geo空间目标中的虚假目标。
100.其中，深度学习识别网络可以包括多层卷积与池化模块，多层卷积与池化模块通过提取真实目标与虚假目标的区分特征，给出二分类的识别结果，确定疑似geo空间目标为真实目标或虚假目标，从而将疑似geo空间目标中的虚假目标剔除。
101.步骤s6，基于鉴别后的geo空间目标，进行目标数据关联、目标轨迹预测更新和目标轨迹管理。
102.考虑到不同帧图像检测到的geo空间目标的数量是动态变化的，且可能还含有一些虚假目标。本发明一实施例中，进行目标数据关联、目标轨迹预测和目标轨迹管理，包括以下步骤：
103.步骤s61，利用数据关联算法进行多帧图像间的geo空间目标数据关联；
104.步骤s62，根据关联结果，利用卡尔曼滤波算法进行geo空间目标的轨迹预测；
105.步骤s63，根据轨迹预测结果，利用逻辑法进行目标轨迹管理，确定各个目标的轨迹。
106.通过利用数据关联算法进行多帧图像间的geo空间目标数据关联，能够进一步去除虚假目标，提高目标检测准确性。其中，数据关联算法例如可以为全局最近邻(gnn)算法、联合概率数据互联(jpda)算法或多假设跟踪(mht)算法。
107.进一步地，利用逻辑法进行目标轨迹管理，包括以下步骤：
108.在轨迹起始时，针对每个目标，确定是否在第一预设帧数中是否有第二预设帧数以上有效的目标状态量测值，若是，则利用多帧有效的目标状态量测值构成暂时轨迹，以作为当前目标的确定轨迹；
109.针对已有的目标的确定轨迹，若从某一帧开始连续第二预设帧数均没有相应的目标状态量测值，则认定当前的确定轨迹终止，若没有相应的目标状态量测值对应的帧数少于第二预设帧数，则利用目标状态预测值作为相应时刻的目标状态值进行目标轨迹更新；
110.其中，目标状态量测值表示目标状态真实值与目标状态预测值的加权平均数。
111.其中，第一预设帧数和第二预设帧数可以根据实际情况进行设置。例如，第一预设帧数为5帧，第二预设帧数为3帧。
112.本发明一实施例中，通过进行目标轨迹管理，能够根据多帧运动的关联性及时发现新生目标，以及过滤虚假目标。
113.以下结合具体实施例对本发明一实施例提供的基于深度学习的geo空间目标提取方法的有益效果进行说明：
114.该实施例中，选取spotgeo数据集的第1组序列图像，利用本发明的方法进行目标
提取。
115.图2示出了该第1组序列图像中5帧图像的恒星提取结果，可以看出，图像中的大部分恒星均被正确提取。图3示出了该5帧图像中相邻两帧图像的点集关联结果，可以看出，利用恒星的质心位置作为特征点进行匹配时，匹配效果很好，能够实现图像序列的空间对准。图4示出了疑似geo空间目标的提取结果，其中，原点表示提取的疑似geo空间目标，圆圈表示真实geo空间目标位置，可以看出，提取的疑似geo空间目标中存在很多的虚假目标。图5示出了geo空间目标的轨迹提取结果，其中，星点为鉴别后的目标，直线为目标轨迹，可以看出，geo空间目标能够被准确地检测跟踪到，从而得到正确的geo空间目标轨迹。
116.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。
117.最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。