端到端航天器组件检测方法、装置及介质

本发明属于航天组件识别，更具体地，涉及一种端到端航天器组件检测方法、装置及介质。

背景技术：

1、随着科技进步，人类探索太空的能力得到突飞猛进发展，各种卫星以及载人航天器相继发射，空间活动日益频繁。作为空间活动的重要环节，航天器的空间在轨服务旨在保障太空环境的安全与可持续性发展，其内容包括空间装配(如航天器、空间系统或空间结构的在轨连接、构建或组装)、空间维护(如航天器的表面修补、部件替换)、空间服务(如失效航天器的回收、空间碎片的捕获)。其中在实现航天器的空间装配过程中，精准的目标航天器检测与识别是保障装配效率和成功的关键，它为自动化装配提供了可靠的前提。而在航天器的空间维护中，通过目标航天器的快速识别与定位能够及时发现并解决表面损伤、部件老化等问题从而保障航天器的长期运行。此外，随着越来越多的航天器投入使用，失效航天器和空间碎片也逐渐成为威胁，因此对于失效航天器的回收与空间碎片的捕获也需要高效的目标航天器检测与识别技术来支持，以保持太空环境的清洁与安全。因此，空间在轨服务领域的发展需要不断提升目标航天器检测与识别技术的精度和可靠性，以适应不同的应用场景和任务需求，为人类探索太空和开展空间活动提供更加强大的支持。然而传统目标航天器的检测与识别技术存在对遮挡和变形敏感，以及难以应对复杂背景和噪声等问题。因此现代目标航天器检测与识别技术正逐渐与深度学习相结合，通过大量数据的训练和学习来提高航天器检测与识别在不同场景下的适应性和准确性。

2、特别是近些年transformer在自然语言处理领域取得了显著成果，这引起了研究者们的兴趣并将其逐渐应用于目标检测领域。作为transformer在目标检测领域的开山之作，2020年facebook团队首次提出了将transformer与cnn(convolutional neuralnetwork)相结合的detr(detection transformer)模型。这种结合使得detr拥有了transformer的强大建模能力和cnn优秀的特征提取能力。相比于one-stage(单阶段)目标检测模型如yolo(you only look once)v1、yolo v2、yolo v3、ssd(single shot multiboxdetector)等或two-stage(两阶段)目标检测模型如rcnn、fast rcnn、faster rcnn、maskrcnn等，detr不需要使用非极大抑制算法或选择性搜索算法以及其他启发式先验知识，而是直接通过二分集合匹配和transformer编码器-解码器架构来预测图像中物体的类别和位置，这不但简化了检测流程而且使得detr成为一个端到端的检测模型。然而，detr在计算注意力时需要先计算全局像素点，然后从中筛选出稀疏的目标像素点，这导致解码器端在查询时需要付出高昂的计算代价，同时使用二分集合匹配会使模型在分配正负样本策略上将正样本数量降低，从而导致训练过程变慢。为了解决这个问题，zhu等人提出了deformable detr模型，其通过使用稀疏注意力机制来降低解码器的计算复杂度，并使得其训练速度比detr提升了10倍。但deformable detr使用了多尺度特征来提高检测性能，这导致编码器端的tokens数量比detr增加了20倍，进而增加了编码器的计算复杂度。随后的研究表明，当进一步对deformable detr中编码器端的tokens进行稀疏化时，可以显著降低编码器端的计算复杂度。因此，sparse detr模型应运而生。sparse detr通过对密集tokens进行稀疏采样并保留与显著特征相关的tokens，从而减少计算量。但由于编码器端的稀疏tokens，使得模型在二分匹配过程中可能出现不稳定性现象，从而导致模型收敛速度降低并影响模型的预测精度。同时，在解码器端进行查询预测时，较少的tokens会减少解码器获取的输入信息，进而影响模型性能及降低模型预测精度。

技术实现思路

1、提供了本发明以解决现有技术中存在的上述问题。因此，需要一种端到端航天器组件检测方法、装置及介质。

2、根据本发明的第一方案，提供了一种端到端航天器组件检测方法，所述方法包括：

3、构建rsssm-detr模型，所述rsssm-detr模型包括：

4、sparse-detr模块，用于根据输入图像，将含有大量语义信息的标记进行稀疏选择，实现目标检测；

5、残差自注意力模块，用于通过找出与原查询q1的预测框最接近的查询q2来增加编码器端输出的有效标记，同时使用残差连接的方式在解码器端将两个查询q1和(q1,q2)的自注意力机制输出值进行融合输出，以提高被遮挡目标的检测效果；

6、分离集合匹配模块，用于利用一对一集合匹配和一对多集合匹配的优点进行并行操作得到输出值，并将输出值相加得到最终损失值；

7、获取数据集，所述数据集包括多张卫星和空间站的图像，利用所述数据集对所述rsssm-detr模型进行训练得到训练好的rsssm-detr模型；

8、利用所述训练好的rsssm-detr模型，基于输入图像，实现航天器组件的检测识别。

9、进一步地，所述根据输入图像，将含有大量语义信息的标记进行稀疏选择，实现目标检测，具体包括：

10、将输入图像通过骨干网络得到特征图，并将特征图转化为标记；

11、使用评分网络对所有的输入标记进行评分并筛选；

12、将评分网络输出的标记加上位置编码后传递至编码器进行编码。

13、进一步地，所述使用评分网络对所有的输入标记进行评分并筛选，具体包括：

14、通过累加解码器中每一层的交叉注意力输出值得到第一输出值，对所述进行二值化，将二值化的第一输出值作用于评分网络以筛选出对应标记，二值化的过程中利用二元交叉熵损失函数进行监督。

15、进一步地，所述用于通过找出与原查询q1的预测框最接近的查询q2来增加编码器端输出的有效标记，同时使用残差连接的方式在解码器端将两个查询q1和(q1,q2)的自注意力机制输出值进行融合输出，具体包括：

16、自定义可学习权重矩阵{wq,wk,wv}，w、q、k、v均为随机参数，将sparse detr模块的输出序列x投影到所述可学习权重矩阵上得到三元组q1＝x*wq，k1＝x*wk，v1＝x*wv，q1即为原查询；

17、通过如下公式(1)计算原查询q1的自注意力值a1：

18、

19、其中dk是q1，k1矩阵的列数；

20、基于q1的所有预测框集合，选取概率最大预测框a，并根据与a预测框iou最接近的b预测框，通过索引确定b对应的查询q2；

21、将q1、q2，k1、k2，v1、v2进行拼接操作后传入自注意力机制中得到输出a2：

22、

23、通过残差连接的方式将a1、a2进行相加后并通过交叉注意力机制得到输出a3。

24、进一步地，所述利用一对一集合匹配和一对多集合匹配的优点进行并行操作得到输出值，并将输出值相加得到最终损失值，具体包括：

25、将编码器端的输出分离为u1、u2；

26、对u1、u2分别进行一对一集合匹配和一对多集合匹配后得到输出lossone-to-one、lossone-to-many；

27、将lossone-to-one与lossone-to-many进行相加，得到最终损失值。

28、进一步地，一对一集合匹配具体如公式(3)所示：

29、

30、其中代表由u1在第i层编码器所预测的输出，gt代表只有唯一的一组标注信息集合{gt}，i为编码器总层数。

31、进一步地，一对多集合匹配如公式(4)所示：

32、

33、其中代表由u2在第i层编码器所预测的结果，代表多组标注信息集合，即为{gt1,gt2,...,gtn}，gt1,gt2,...,gtn是由gt复制得到，n为查询数量。

34、进一步地，获取数据集并对所述数据集进行预处理，利用预处理后的数据对所述rsssm-detr模型进行训练，通过如下方法对所述数据集进行预处理：

35、对sddsp航天器数据集进行标注得到若干个航天器主体、若干个太阳帆板作为检测目标，

36、将整个数据集以设定比例随机划分为若干张训练集图像和若干张验证集图像。

37、根据本发明的第二技术方案，提供一种端到端航天器组件检测装置，所述装置包括：

38、模型构建模块，被配置为构建rsssm-detr模型，所述rsssm-detr模型包括：

39、sparse-detr模块，用于根据输入图像，将含有大量语义信息的标记进行稀疏选择，实现目标检测；

40、残差自注意力模块，用于通过找出与原查询q1的预测框最接近的查询q2来增加编码器端输出的有效标记，同时使用残差连接的方式在解码器端将两个查询q1和(q1,q2)的自注意力机制输出值进行融合输出，以提高被遮挡目标的检测效果；

41、分离集合匹配模块，用于利用一对一集合匹配和一对多集合匹配的优点进行并行操作得到输出值，并将输出值相加得到最终损失值；

42、模型训练模块，被配置为获取数据集，所述数据集包括多张卫星和空间站的图像，利用所述数据集对所述rsssm-detr模型进行训练得到训练好的rsssm-detr模型；

43、目标检测模块，被配置为利用所述训练好的rsssm-detr模型，基于输入图像，实现航天器组件的检测识别。

44、根据本发明的第三技术方案，提供一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的方法。

45、本发明至少具有以下有益效果：

46、本发明提出了空间在轨服务中基于残差自注意力和分离集合匹配的高效端到端航天器组件检测模型(efficient end-to-end spacecraft component detection basedon residual self-attention and separation sets matching,rsssm-detr)。该模型具有以下两个优点：

47、(1)在sparse detr框架基础上，通过引入残差注意力机制来增加编码器端输出的有效tokens数量，以解决sparse detr模型中稀疏tokens导致的收敛速度降低并影响模型预测精度的问题。

48、(2)在sparse detr模型后处理阶段，利用分离集合匹配代替传统的二分集合匹配，通过将一对一集合匹配和一对多集合匹配的优点进行并行操作来解决二分集合匹配会使正样本数量降低从而导致的训练过程缓慢问题。

49、实验结果表明，与基线detr模型相比，rsssm-detr在平均准确率上提升了12.7％且收敛速度提升10倍。与其他主流模型相比，rsssm-detr的各项指标也获得较大提升，特别是与最新的sparse detr模型相比，本文模型的平均检索精度增加3.1％，模型收敛速度提高20％。