一种基于单目图像的未知航天器层级检测方法

本发明涉及一种基于单目图像的未知航天器层级检测方法，属于航空航天。

背景技术：

1、随着航天器技术的不断发展，空间态势感知和在轨服务等越来越复杂的任务成为科学家和工程师关注的焦点。航天器动力学与控制是这些任务的基础。航天器检测是航天器动力学与控制的基本技术之一，为目标识别、目标跟踪和抵近控制提供了必要的信息。传统航天器检测方法通过反演直线、多边形和椭圆等特征来检测航天器目标，可以检测具有经典形状的航天器，但对低级图像特征敏感。航天器检测也基于压缩感知、核回归、高斯过程等传统学习方法进行。智能目标检测方法近年来得到发展，基于深度学习的方法由于其鲁棒性和稳定性已成为一种流行的检测技术。通过构建带有标签的航天器图像数据集，训练深度卷积神经网络，可以自主学习稳定的航天器特征，从而有效检测图像中的航天器。对于已知航天器检测，可以建立来自3d模型的合成图像大型数据集来进行深度学习，且测试集中的航天器也包含在训练集中，因此容易获得高检测性能。一些工作还研究了不同航天器的分类和航天器主要部件的检测。此外，与雷达、双目相机等观测设备相比，单目相机具有重量轻、功耗低的特点，在航天任务中得到了广泛的应用。

2、在已发展的关于航天器目标的智能检测方法中，在线技术[1](参见：wangl.research on spatial multi-objective recognition based on deeplearning.unmanned systems technology 2019,2(3),49–55.)使用卷积神经网络识别空间目标，在近距离前视、远距离、遮挡、运动模糊等不同条件下，航天器及其部件的识别精度达到90％以上。

3、在先技术[2](参见：张xu g.g；yin h.c.；yuan l.；dong c.z.spatial targetrecognition method of hrrp sequence based on convolutional neuralnetwork.journal of communication university of china(science and technology)2019,26(3),40–44+39.)利用高分辨率距离轮廓序列中包含的丰富信息，提出了一种基于卷积神经网络的空间目标识别方法，可利用卷积神经网络自动从序列图中学习特征，进而实现目标分类。

4、以往的工作主要集中在对已知结构和表面纹理的航天器进行检测，这些已知航天器在各种条件下的平均检测精度可达0.9左右。但随着航天器设计技术的发展，具有新形状、结构、表面纹理和部件的航天器种类越来越多，建立包含所有航天器图像的神经网络数据集实际并不可能。因此，航天器检测的一个重要问题是，训练集不包括未知航天器的图像时是否可以有效地检测到该航天器。同时，未知航天器的检测还面临定位不准确和检测置信度低的问题。由于未知航天器不包含在训练集中，因此训练后的神经网络不会学习目标航天器的结构和表面纹理等先验知识。受航天器部件和结构的影响，地真边界框中的大面积背景误导神经网络在训练时将背景作为航天器外观的一部分。对于航天器的小样本图像数据集，此问题更为严重，神经网络的训练容易过度拟合。

技术实现思路

1、本发明主要目的是提供一种基于单目图像的未知航天器层级检测方法，基于单目光学图像，利用神经网络的快速预测性能以及对于航天器主要部件的检测能力，学习观测数据和航天器目标特征及其位置之间的复杂非线性关系，实现基于单目图像的未知航天器层级检测，具有覆盖范围广、鲁棒性强且可靠性高、求解精度高等优点。

2、本发明的目的是通过下述技术方案实现的：

3、本发明公开的一种基于单目图像的未知航天器层级检测方法，以观测航天器器载单目相机传感器拍摄获取并归一化的rgb图像为输入，以未知航天器目标部件的对象概率pr[object]、对象定位边界框和条件类概率pr[classi|object]为输出，在观测航天器的器载处理器算力有限的情况下，选用小型轻量的yolov5s神经网络模型用于后续步骤检测未知航天器目标。为弥补使用仅含地面目标的数据集训练所得神经网络难以良好识别空间目标中未知航天器特征的弱点，并提升yolov5s神经网络模型对未知航天器的检测精度，获取n张不同航天器单目图像，构建用于未知航天器层级检测的样本数据集。考虑航天器的整体外形结构多变但基础必要部件稳定存在，为获得稳定可靠的部件检测性能，并进一步帮助提升未知航天器整体检测精度，对所构建样本数据集中的图像标注两组标签，即航天器部件边界框与对应类别名称，以及航天器整体边界框。按照预定比例，划分数据集为训练集与验证集。针对未知航天器整体检测的目标，构建未知航天器层级检测策略，实现从未知航天器部件到整体的层级检测，所述未知航天器层级检测策略实现方法为：利用yolov5s神经网络模型以置信阈值θp分别检测未知航天器的各个部件；定义用于聚类的距离指标d，对检测到的部件通过直接连接和间接连接的方式进行聚类分组，判定同一组中所有部件共同构成一个预测航天器；根据各组中的被检测部件估计预测航天器的定位边界框和检测置信度。为评估yolov5s神经网络模型对未知航天器的检测性能，给出目标检测的常规性能指标，并设计用于未知航天器层级检测的性能指标。在iou的基础上，使用ciou更好地评价预测航天器的定位精度，设计缩放的rciou表示未知航天器部件相对整体评估的定位精度，考虑精度、召回率与平均精度指标。利用构建的样本数据集和未知航天器层级检测策略，结合性能指标，训练获得用于未知航天器层级检测的最优yolov5s神经网络模型并验证。训练过程中，通过标准数据增强对训练集图像进行预处理。yolov5s神经网络模型输出预测，训练时优化神经网络参数最大化ciou并以交叉熵作为损失函数，验证时计算每个检测对象的特定类检测置信度。验证过程中，采用标准非极大值抑制进行后处理，通过清理重复检测到的对象确保每个对象仅被检测一次，iou阈值用于检查重复并仅保留其中具有最高检测置信度的检测对象。利用训练好的最优yolov5s神经网络模型，从单目图像中实现从未知航天器部件到整体的层级检测，提升未知航天器检测精度。

4、本发明公开的一种基于单目图像的未知航天器层级检测方法，包括如下步骤：

5、步骤一：以观测航天器器载单目相机传感器拍摄获取并归一化的rgb图像为输入，以未知航天器目标部件的对象概率pr[object]、对象定位边界框和条件类概率pr[classi|object]为输出，在观测航天器的器载处理器算力有限的情况下，选用小型轻量的yolov5s神经网络模型用于后续步骤检测未知航天器目标。

6、yolov5神经网络模型是从图像中检测目标的最先进的深度神经网络模型之一，其中的yolov5s神经网络模型是yolov5神经网络模型系列中规模最小的官方模型。

7、为在器载处理器算力有限的观测航天器上运行，选用小型轻量的yolov5s神经网络模型，以观测航天器器载单目相机传感器拍摄获取并归一化的rgb图像为输入，以未知航天器目标部件的对象概率pr[object]、对象定位边界框和条件类概率pr[classi|object]为输出，用于后续步骤检测未知航天器目标。

8、步骤二：为弥补使用仅含地面目标的数据集训练所得神经网络难以良好识别空间目标中未知航天器特征的弱点，并提升yolov5s神经网络模型对未知航天器的检测精度，获取n张不同航天器单目图像，构建用于未知航天器层级检测的样本数据集。考虑航天器的整体外形结构多变但基础必要部件稳定存在，为获得稳定可靠的部件检测性能，并进一步帮助提升未知航天器整体检测精度，对所构建样本数据集中的图像标注两组标签，即航天器部件边界框与对应类别名称，以及航天器整体边界框。按照预定比例，划分数据集为训练集与验证集。

9、现有用于yolov5s神经网络模型实现目标检测训练的数据集多为地面目标图像，然而空间目标具有与地面目标不同的特征，使用地面目标数据集训练好的神经网络难以良好识别未知航天器的特征。为更好提取未知航天器这类空间目标特征，并提升yolov5s神经网络模型对未知航天器的检测精度，获取n张不同航天器单目图像，构建用于未知航天器层级检测的样本数据集。

10、所述数据集图像中的多数航天器在结构、颜色和表面纹理等方面彼此不同，只有少数航天器具有从不同姿态、光照条件和地球背景拍摄的多幅图像，且虽然航天器的整体外形结构多变，但基础必要部件稳定存在。对所构建样本数据集中的图像标注两组标签，即航天器部件边界框与对应类别名称，以及航天器整体边界框，从而获得稳定可靠的部件检测性能，并进一步帮助提升未知航天器整体检测精度。其中，航天器部件的选取及其边界框的标注主要依据航天器的基本结构，即太阳能帆板、主体和外置天线；航天器整体边界框为覆盖该航天器所有部件边界框的最小边界框。

11、按照预定比例，将用于未知航天器层级检测的单目图像的样本数据集划分为训练集和验证集。由于yolov5s神经网络模型只学习训练集单目图像中的航天器纹理，而验证集中的航天器在训练时几乎是未知的，因此通过验证集评估训练后的yolov5s神经网络模型在未知航天器上的检测性能。

12、步骤三：针对未知航天器整体检测的目标，构建未知航天器层级检测策略，实现从未知航天器部件到整体的层级检测，所述未知航天器层级检测策略实现方法为：利用yolov5s神经网络模型以置信阈值θp分别检测未知航天器的各个部件；定义用于聚类的距离指标d，对检测到的部件通过直接连接和间接连接的方式进行聚类分组，判定同一组中所有部件共同构成一个预测航天器；根据各组中的被检测部件估计预测航天器的定位边界框和检测置信度。为评估yolov5s神经网络模型对未知航天器的检测性能，给出目标检测的常规性能指标，并设计用于未知航天器层级检测的性能指标。在iou的基础上，使用ciou更好地评价预测航天器的定位精度，设计缩放的rciou表示未知航天器部件相对整体评估的定位精度，考虑精度、召回率与平均精度指标。

13、针对未知航天器整体检测的目标，构建未知航天器层级检测策略，实现从未知航天器部件到整体的层级检测。利用yolov5s神经网络模型以置信阈值θp分别检测未知航天器的各个部件。为检测到的部件组定义一个距离指标d，即两个被检测部件之间的距离为二者边界框的最短距离与最长距离之比。若两个被检测部件的边界框重叠，则距离为零。当且仅当两个被检测部件之间的距离小于给定距离阈值θd时，两个被检测部件被判定为直接连接；当且仅当两个被检测部件之间存在直接连接的部件时，两个被检测部件被判定为间接连接。当且仅当两个被检测部件直接连接或间接连接时被聚类为同一组，判定同一组中所有部件共同构成一个预测航天器。将预测航天器的定位边界框估计为覆盖组中所有部件p的最小边界框，而预测航天器s的检测置信度为

14、

15、检测置信度直接由yolov5s神经网络模型输出，用于预测其定位边界框的定位精度和未知航天器在预测的定位边界框中出现的概率。只有检测置信度大于给定置信度阈值的对象，才被判定为被检测对象。

16、为评估yolov5s神经网络模型对未知航天器的检测性能，给出目标检测的常规性能指标，并设计用于未知航天器层级检测的性能指标。

17、交并比iou用于确定被检测航天器与地真航天器之间的对应关系，是评价两个边界框之间以尺度不变方式重叠的最常用指标。两个边界框b1和b2之间的iou计算为这两个边界框的交集面积与并集面积之比，即

18、

19、通常情况下，iou大于0.5表示定位精度较高。若至少有一个被检测对象的iou大于给定iou阈值，则将该航天器标记为被检测航天器，然后将检测置信度最高的被检测对象作为航天器。

20、基础的iou指标仅反映两个边界框的重叠面积，而边界框的中心点距离和长宽比一致性也是重要的几何因素。ciou指标被用于更好地评价预测航天器的定位精度，即

21、

22、其中，ρ(b1,b2)是两个边界框b1和b2中心点的欧氏距离，c是覆盖这两个边界框的最小边界框的对角线长度，正的权衡参数α为

23、

24、v衡量长宽比一致性，即

25、

26、其中，w1和h1、w2和h2分别为两个边界框的宽度和高度。

27、在未知航天器层级检测中，未知航天器整体的定位精度取决于其部件的定位精度。未知航天器部件的定位精度应相对于未知航天器整体进行评估，但ciou指标仅表示部件相对自身的定位误差。由于未知航天器部件比未知航天器整体的规模更小，部件定位误差将导致整体定位误差更小，因此直接使用ciou指标是不合适的，设计一个考虑缩放的rciou指标表示未知航天器部件的定位精度，即

28、

29、其中，1-ciou(p)为部件定位误差，根据未知航天器部件与未知航天器整体的面积比进行缩放。

30、检测到的航天器对象为真阳性例tp，未检测到的航天器对象为假阴性例fn，其他检测到的不对应地真航天器的对象为假阳性例fp。精度指标和召回率指标分别为

31、

32、

33、其中，ntp、nfp、nfn分别为真阳性例数量、假阳性例数量、假阴性例数量。在给定检测置信度阈值和ciou阈值的情况下，精度p表示被检测航天器占所有被探测对象的比例，召回率r反映被检测航天器占所有航天器的比例。当ciou阈值t固定而检测置信度阈值变化时，精度随召回率的变化而变化，精度越高则召回率越低，反之亦然。因此，将平均精度ap定义为精度-召回率曲线下的面积，用于评价平均检测性能，即

34、

35、步骤四：利用步骤二构建的样本数据集和步骤三构建的未知航天器层级检测策略，结合性能指标，训练获得用于未知航天器层级检测的yolov5s神经网络模型并验证，直至得到训练验证后的最优yolov5s神经网络模型。训练过程中，通过标准数据增强对训练集图像进行预处理。yolov5s神经网络模型输出预测，训练时优化神经网络参数最大化ciou并以交叉熵作为损失函数，验证时计算每个检测对象的特定类检测置信度。验证过程中，采用标准非极大值抑制进行后处理，通过清理重复检测到的对象确保每个对象仅被检测一次，iou阈值用于检查重复并仅保留其中具有最高检测置信度的检测对象。

36、利用步骤二构建的样本数据集和步骤三构建的未知航天器层级检测策略，结合性能指标，训练获得用于未知航天器层级检测的最优yolov5s神经网络模型并验证。训练过程中，通过标准数据增强对训练集图像进行预处理，预处理包括广泛使用的颜色调整、缩放和翻转。

37、yolov5s神经网络模型的主干包括一个focus模块以及一系列cbl、csp、spp模块的组合；头部是fan和pan网络结构的组合，从主干聚集三个层次的高级抽象特征，并生成三个本质上具有不同大小感受野的特征图以供检测；跳跃连接在所有特征层之间传递信息，以便更好地定位和分类目标对象。在输出层，yolov5s神经网络模型分别对三个特征图应用标准空间卷积，并基于预定义的先验边界框网格输出预测。每个预测都有一个表示在相应先验边界框中存在对象的对象概率pr[object]，一个定位检测到对象的对象定位边界框，以及几个表示对象属于哪个类别的条件类概率pr[classi|object]。在训练时，优化神经网络参数，使未知航天器预测边界框与地真边界框之间的ciou最大化，将对象概率的训练目标定义为ciou，并以交叉熵作为损失函数进行分类。在验证时，将条件类概率与对象概率相乘得到每个预测对象的特定类检测置信度，表示类i对象出现在预测边界框中的概率。

38、验证过程中，采用标准非极大值抑制用作后处理过程，通过清理重复检测到的对象，确保每个对象仅被检测一次。iou阈值用于检查重复，并仅保留重复检测对象中具有最高检测置信度的检测对象。

39、还包括步骤五，利用步骤四训练好的最优yolov5s神经网络模型，从单目图像中实现从未知航天器部件到整体的层级检测，提升未知航天器检测精度。

40、有益效果：

41、1、本发明公开的一种基于单目图像的未知航天器层级检测方法，利用神经网络逼近复杂非线性关系，完成考虑单目图像作为观测的未知航天器检测问题的求解，并且有潜力发展更复杂观测信息下的未知航天器检测，覆盖范围更广。

42、2、本发明公开的一种基于单目图像的未知航天器层级检测方法，充分考虑未知航天器稳定存在的部件，构建未知航天器层级检测策略，解决较高定位精度要求下的未知航天器检测收敛性问题，相比于以往对已知航天器的直接整体检测方法，求解精度更高。

43、3、本发明公开的一种基于单目图像的未知航天器层级检测方法，构建航天器样本数据集并标注航天器部件与整体两组标签，有助于神经网络学习丰富样本并产生良好的预测效果，鲁棒性强且可靠性高。