传输外线资源识别检测方法、装置、设备及存储介质与流程

本发明涉及传输与it应用，尤其涉及传输外线资源识别检测方法、装置、设备及存储介质。

背景技术：

1、传输外线资源属于运营商网络中重要的传输资源，而随着通信用户的增加，传输外线资源管理的压力也越来越大。传输外线资源识别检测可视为目标检测的具体应用之一，目前业界在目标检测方法已经进行了多个方向探索，其技术方向基本可以分为四大类：基于多阶段anchor-based的目标检测模型算法，基于单阶段anchor-based的目标检测模型算法,基于anchor-free的目标检测模型算以及基于object query算法的目标检测模型：(1)一篇申请号为“cn115063664a”，名为“用于工业视觉检测的模型学习方法、训练方法及系统”的专利包含的技术属于第一类，其主要流程包含：1)进行候选区域的生成。2)利用卷积神经网络等模型对候选区域类别进行分类。3)使用非极大值抑制算法确保每个目标只检测一次；(2)一篇申请号为“cn113139437b”，名为“一种基于yolov3算法的安全帽佩戴检查方法”的专利采用了单阶段anchor-based的目标检测模型算法的技术方向，该类方法通过yolov3模型直接生成物体的类别概率和位置坐标值。在该方法中，图片的每个网格都会生成3个不同尺度的anchor，最后同样通过使用非极大值抑制算法确保每个目标只对应一个检测边界框。(3)一篇申请号为“cn115082432a”，名为“基于细粒度图像分类的小目标螺栓缺陷检测方法及装置”的专利采取了基于anchor-free的目标检测模型算法，通过在骨干网络提取的特征图上直接去预测特征点的类别，以及该特征点到边界框四边的距离，此类方法把目标检测任务转变为回归任务，较前两种方法省去了anchor设计的环节。(4)一篇申请号为“cn112036555a”，名为“目标检测框架的优化方法及装置、存储介质、电子设备”使用了基于object query的detr模型进行目标检测,较前面几种模型而言，该模型可以进行端到端的训练。

2、业界现有目标识别检测方案主要分为四个方向：基于多阶段anchor-based的目标检测模型算法，多阶段的目标检测模型因为需要分成候选区域生成和物体检测分类两个阶段进行训练。因此，该类方案的模型结构都较为复杂，而且时效性较差。基于单阶段anchor-based的目标检测模型，基于anchor-based的模型的检测性能对于anchor的大小、数量、长宽比等设置都较为敏感，而如何设计好anchor-based需要一定的先验知识。同时，在训练过程中，计算所有anchor和真实框的iou值，也会消耗大量的内存和计算资源。基于anchor-free的目标检测模型算法，该模型算法并非严谨意义上的端到端模型算法。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的第一个目的在于提出基一种传输外线资源识别检测方法，利用概率稀疏的注意力机制来让模型主要关注注意力权重较大的地方，降低注意力机制计算过程的空间和时间复杂度。

3、本发明的第二个目的在于提出一种输外线资源识别检测装置。

4、本发明的第三个目的在于提出一种计算机设备。

5、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

6、为达上述目的，本发明第一方面实施例提出一种输外线资源识别检测方法，包括：

7、将传输外线资源图片标注为训练数据集和测试数据集，并利用所述训练数据集训练得到目标检测模型；其中，所述目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；

8、将所述测试数据集输入至目标检测模型中，以利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征；

9、将所述第一图像特征和位置编码矩阵输入至所述编码器模块进行编码以输出编码向量，并将对象查询集和所述编码向量输入至所述解码器模块进行解码操作得到解码输出结果；

10、将所述解码输出结果输入至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。

11、根据本发明实施例的传输外线资源识别检测方法还可以具有以下附加技术特征：

12、在本发明的一个实施例中，在输出模型的识别检测结果之后，所述方法，还包括：

13、对传输外线资源图片进行标记得到基于真实类别和真实目标框的图片标注结果；

14、对所述识别检测结果与所述图片标注结果进行数据对比得到数据对比结果；

15、基于所述数据对比结果计算目标检测模型的损失，并根据计算的损失以通过反向传播算法更新目标检测模型的模型参数。

16、在本发明的一个实施例中，所述骨干网络，包括多个swin transformer块；利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征，包括：

17、将所述测试数据集输入至swin transformer块进行基于窗口的自注意力机制计算得到第一注意力计算结果；

18、基于所述第一窗口计算结果进行基于滑动窗口的自注意力机制计算以根据第二注意力计算结果输出得到第一图像特征。

19、在本发明的一个实施例中，在输出得到第一图像特征之后，所述方法，还包括：

20、利用卷积核大小为1的卷积对输出的第一图像特征进行下采样。

21、在本发明的一个实施例中，所述编码器模块，包括多层编码器；将所述第一图像特征和位置编码矩阵输入至所述编码器进行编码以输出编码向量，包括：

22、在每一层编码器中，基于多头的自注意力机制和位置编码向量对第一图像特征进行处理，以提取第一图像特征中不同位置的不同物体之间的第二图像特征；

23、将所述第一图像特征和所述第二图像特征进行残差连接以及标准化操作后得到第三图像特征；

24、将所述第三图像特征输入至第一前馈神经网络进行网络计算，并将网络输出的第四图像特征和所述第三图像特征进行残差连接标准化处理后得到第五图像特征。

25、在本发明的一个实施例中，在所述编码器模块和所述解码器模块中使用的自注意力机制为经过概率稀疏处理的自注意力机制。

26、在本发明的一个实施例中，将对象查询集和编码向量输入至所述解码器模块进行解码操作得到解码输出结果，包括：

27、在所述解码器模块的每层解码器中，利用经过概率稀疏的自注意力机制对所述对象查询集进行处理得到第三注意力计算结果；

28、根据所述编码向量和所述第三注意力计算结果进行自注意力机制运算得到第四注意力计算结果；

29、将所述第四注意力计算结果输入至第二前馈神经网络，以根据网络计算结果输出得到对应的解码输出结果。

30、在本发明的一个实施例中，所述对象查询集为一组可学习的变量，利用均匀分布操作将对象查询集进行初始化。

31、在本发明的一个实施例中，所述检测头，包括第三前馈神经网络和第四前馈神经网络；将所述解码输出结果发送至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果，包括：

32、所述第三前馈神经网络用于对所述对象查询集中的查询对象进行测试数据集的图片中目标类别检测以得到目标分类结果；

33、所述第四前馈神经网络用于对所述对象查询集中的查询对象进行测试数据集的图片中边界框的预测以得到边界框预测结果；

34、基于所述目标分类结果和所述边界框预测结果得到目标检测模型的识别检测结果。

35、在本发明的一个实施例中，利用所述训练数据集训练得到目标检测模型，包括：

36、获取所述训练数据集中的训练图片；

37、利用预设的背景标签进行每个训练图片的标签值和所述查询对象的数量对齐以得到对齐结果；

38、基于所述对齐结果得到查询对象和背景标签的对应关系，并根据所述对应关系求解损失函数的损失最小的关系对以训练得到目标检测模型；其中，所述损失，包括基于交叉熵损失函数的预测类别损失和基于giou损失函数的边界框损失。

39、为达上述目的，本发明第二方面实施例提出一种传输外线资源识别检测装置，包括：

40、检测模型训练模块，用于将传输外线资源图片标注为训练数据集和测试数据集，并利用所述训练数据集训练得到目标检测模型；其中，所述目标检测模型，包括骨干网络、编码器模块、解码器模块和检测头；

41、图像特征提取模块，用于将所述测试数据集输入至目标检测模型中，以利用所述骨干网络对所述测试数据集进行图像特征提取得到第一图像特征；

42、特征编码解码模块，用于将所述第一图像特征和位置编码矩阵输入至所述编码器模块进行编码以输出编码向量，并将对象查询集和所述编码向量输入至所述解码器模块进行解码操作得到解码输出结果；

43、检测识别输出模块，用于将所述解码输出结果输入至所述检测头进行测试数据集的图片中的目标类别检测和边界框预测，以输出模型的识别检测结果。

44、本发明实施例的传输外线资源识别检测方法和装置，使用swin transformer结构可以让模型在外线传输资源检测时候，通过滑动窗口注意力机制，可以更有效让骨干网络识别出图片中哪些才是值得聚焦的外线检测资源区域，并且使用概率稀疏注意力机制，该注意力机制能让模型更关注外线传输资源检测场景中的前景信息资源。突出资源前景信息。

45、为达上述目的，本技术第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的传输外线资源识别检测方法。

46、为达上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的传输外线资源识别检测方法。

47、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。