图像异物检测方法、装置、电子设备和存储介质与流程

本发明涉及图像处理，尤其涉及一种图像异物检测方法、装置、电子设备和存储介质。

背景技术：

1、在机场的跑道上，可能会存在诸如金属零件、防水塑料布、碎石块、报纸、瓶子、行李牌等可能损伤航空器的外来物质(foreign object debris，fod)，因此，需频繁对机场跑道进行异物检测。

2、现有技术中，在对机场异物图像进行异物检测时，一般利用机场fod数据集训练目标检测深度神经网络yolov7-tiny，训练得到检测精度较高的网络模型fodnet，并利用fodnet网络模型，进行异物检测。然而，训练得到的fodnet网络模型虽然检测精度较高，但模型的计算量和参数量较大，导致检测速度较低，难以满足实时性要求。

技术实现思路

1、本发明提供一种图像异物检测方法、装置、电子设备和存储介质，用以解决现有技术中检测速度较低的缺陷，在确保检测精准度的同时，减小异物检测模型的计算量，提高异物检测的检测速度和实时性。

2、本发明提供一种图像异物检测方法，包括：

3、获取待检测目标图像；

4、将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；

5、其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。

6、根据本发明提供的图像异物检测方法，所述异物检测模型是基于以下步骤训练得到的：

7、获取图像样本集；

8、基于所述图像样本集，对初始异物检测教师模型进行训练，得到异物检测教师模型；

9、基于稀疏系数，对所述异物检测教师模型进行网络压缩，确定稀疏异物检测模型，其中，不同迭代训练周期对应的所述稀疏系数不同；

10、将所述图像样本集输入所述稀疏异物检测模型进行知识蒸馏，得到异物检测模型，其中，所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的。

11、根据本发明提供的图像异物检测方法，所述基于稀疏系数，对所述异物检测教师模型进行网络压缩，包括：

12、确定上一迭代训练周期对应的上一迭代稀疏异物检测模型；

13、基于当前迭代训练周期对应的稀疏系数，对所述上一迭代稀疏异物检测模型进行稀疏训练，得到当前迭代稀疏异物检测模型；

14、遍历所述当前迭代稀疏异物检测模型中至少两层卷积层，对各所述卷积层进行剪枝，得到更新后的所述当前迭代稀疏异物检测模型；

15、对更新后的所述当前迭代稀疏异物检测模型进行下一轮的网络压缩，在达到总迭代轮数的情况下停止。

16、根据本发明提供的图像异物检测方法，所述当前迭代训练周期对应的稀疏系数是基于以下步骤确定的：

17、确定总迭代轮数、阶段提升因子和稀疏系数上限值；

18、在当前迭代训练周期小于总迭代轮数的阶段阈值的情况下，基于所述当前迭代训练周期、所述总迭代轮数、所述阶段提升因子和所述稀疏系数上限值，确定所述当前迭代训练周期对应的稀疏系数；

19、在当前迭代训练周期大于或等于总迭代轮数的阶段阈值的情况下，将所述稀疏系数上限值确定为所述当前迭代训练周期对应的所述稀疏系数。

20、根据本发明提供的图像异物检测方法，所述对各所述卷积层进行剪枝，包括：

21、遍历各所述卷积层，确定当前卷积层中各卷积核对应的权重的l2范数，并基于各所述l2范数，确定各所述卷积核对应的重要性评估值；

22、基于所述重要性评估值，将各所述卷积核进行正序排序；

23、基于所述当前迭代训练周期对应的稀疏系数和所述重要性评估值，确定卷积核保留向量，所述卷积核保留向量为基于所述稀疏系数，对所述重要性评估值排序靠后的各所述卷积核进行剪枝得到的；

24、遍历所述卷积核保留向量，对各所述保留卷积核的通道数进行剪枝，确定各所述保留卷积核对应的通道更新数量，各所述保留卷积核的通道更新数量是基于连接的上一卷积层对应的所述卷积核保留向量确定的。

25、根据本发明提供的图像异物检测方法，所述确定各所述保留卷积核对应的通道更新数量，包括：

26、确定所述当前卷积层连接的至少一层上一卷积层对应的上一卷积核保留向量；

27、在所述上一卷积层的数量为1层的情况下，将所述上一卷积核保留向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量；

28、在所述上一卷积层的数量大于1层的情况下，确定各所述上一卷积核保留向量的并集向量，并将所述并集向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量。

29、根据本发明提供的图像异物检测方法，所述异物检测模型对应的蒸馏损失函数是基于以下步骤确定的：

30、确定所述第一输出结果中的置信度缩放系数，所述置信度缩放系数用于负样本在所述蒸馏损失函数中的权值；

31、基于所述第一输出结果和所述第二输出结果对应的均方和误差函数，以及所述教师损失函数中的第二置信度损失函数，确定第一置信度损失函数；

32、基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的kl离散度函数、以及所述教师损失函数中的第二类别损失函数，确定第一类别损失函数；

33、基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的ciou损失函数、以及所述教师损失函数中的第二位置坐标损失函数，确定第一位置坐标损失函数；

34、基于所述第一置信度损失函数、所述第一类别损失函数和所述第一位置坐标损失函数，确定所述蒸馏损失函数。

35、本发明还提供一种图像异物检测装置，包括：

36、获取模块，用于获取待检测目标图像；

37、输出模块，用于将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；

38、其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。

39、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像异物检测方法。

40、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像异物检测方法。

41、本发明提供的图像异物检测方法、装置、电子设备和存储介质，将获取的待检测目标图像输入异物检测模型，由于异物检测模型是基于随迭代训练周期改变而动态变化的稀疏系数，对训练得到精度较高且规模较大的异物检测教师模型进行网络压缩，并结合异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的蒸馏损失函数，对网络压缩后的稀疏异物检测模型进行知识蒸馏得到的，使得异物检测模型的规模较小但精度较高，确保图像异物检测结果的精准度的同时，通过减小异物检测模型的计算量，提高图像异物检测的检测速度和实时性。