基于长尾分布数据的智能工业旋转检测方法及系统与流程

本发明涉及工业缺陷检测，特别是一种基于长尾分布数据的智能工业旋转检测方法及其应用该方法的系统。

背景技术：

1、随着工业领域和计算机视觉领域的技术发展，工业领域产品智能检测的场景逐渐丰富且多样，许多基于深度学习的缺陷检测方法也已广泛用于各种工业场景中。

2、但是，基于深度学习的缺陷检测方法有很强的数据依赖性，在实际工业生产中，工业缺陷检测在数据采集阶段常会发生严重的长尾分布问题，其表现为采集到的各种缺陷数据数量不均衡，呈现一种长尾分布。

3、长尾分布数据是一种偏态分布，即头部包含了大部分缺陷数据，尾部则包含了个别类数量很少的缺陷数据。在这种情况下，数据的长尾分布会导致在训练深度学习模型时，所使用的训练集获得的知识可能是不完整的，在尾部的缺陷类别往往会因为训练数据过少的原因，难以被检测模型所正确检测。

4、然而，实际工业生产中对尾部类样本的误检往往会带来更大的损失。因此，对尾部类样本的研究具有重要的价值和意义。

技术实现思路

1、本发明的主要目的在于提供了一种基于长尾分布数据的智能工业旋转检测方法及系统，旨在解决现有的带有旋转角度的缺陷目标的检测场景中，尾部类样本识别率较低的技术问题，通过对尾部类提供单独的旋转检测模型以提高尾部数据的识别准确度。

2、为实现上述目的，本发明提供了一种基于长尾分布数据的智能工业旋转检测方法，包括以下步骤：

3、步骤a.对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；

4、步骤b.通过swin transformer模型对所述头部数据进行特征提取；

5、步骤c.通过panet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；

6、步骤d.通过oriented reppoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；

7、步骤e.重复执行步骤b至d对所述尾部数据依次进行特征提取、特征融合、特征解析，得到尾部数据的缺陷目标的类别、位置和方向；

8、步骤f.对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。

9、优选的，所述步骤a中，还包括对原始数据进行预处理，所述预处理包括粗精洗处理、数据标注处理、数据增强处理的一种以上处理，其中：

10、粗清洗处理，是指去除存在过曝、无目标区域、目标部分缺失或图像丢失问题的不可用数据；

11、数据标注处理，是指对缺陷目标进行缺陷类别的标注；

12、数据增强处理，包括单样本数据增强和/或多样本数据增强；其中，

13、所述单样本数据增强包括对原始数据进行图像随机旋转处理、图像随机裁剪处理、图像随机翻转处理中的一种以上处理；所述多样本数据增强是指对原始数据或者对所述单样本数据增强处理后的增强数据进行多样本的融合增强处理。

14、优选的，所述图像随机旋转处理，是根据原始数据和旋转角度生成仿射矩阵，并通过仿射变换公式计算得到旋转后的图像；计算公式为：

15、

16、其中，表示原始图像，表示旋转后的结果图像，表示仿射矩阵，表示原始图像的宽度，表示原始图像的高度，)表示仿射变化函数；

17、所述图像随机裁剪处理，计算公式为：

18、

19、其中，表示原始图像，表示裁剪后的结果图像，表示结果图像的尺寸，l表示裁剪后的结果图像的最短边，为原始图像的宽度，为原始图像的高度；)表示图像大小调整函数；

20、所述图像随机翻转处理，是指对原始图片进行水平翻转或垂直翻转；

21、并且，所述图像随机旋转处理或图像随机裁剪处理或图像随机翻转处理的随机性，是通过对单样本增强设置发生概率；

22、所述融合增强处理，是根据预设的发生概率从数据集中随机抽取两张以上图片作为一个数据组，对该数据组内的图片进行随机位置的mosaic数据增强，合成新的图片。

23、优选的，所述步骤b进一步包括：

24、stage 1，将所述头部数据或所述尾部数据分割成不重叠的数据组，每个数据组的特征维度为4*4*3=48；将所述数据组接入线性嵌入层进行降采样处理，并将其投影到任意维度，记为c维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为h/4*w/4；其中，h为转换图像的高度，w为转换图像的宽度；

25、stage 2，对降采样数据进行合并处理，并将相邻数据组进行串接，将串接特征接入线性嵌入层进行降采样处理，并将其投影为2c维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为h/8*w/8；

26、stage 3，重复操作步骤stage 2，得到转换图像的分辨率为h/16*w/16，维度为4c；

27、stage 4，重复操作步骤stage 2，得到转换图像的分辨率为h/32*w/32，维度为8c。

28、优选的，所述步骤c中，所述panet网络包括一个自顶向下的特征金字塔网络和一个自底向上的特征融合层，通过该panet网络对所述swin transformer模型提取的特征进行双向融合，得到融合特征。

29、优选的，所述的步骤c中，对所述融合特征进行缺陷目标的边界点检测，以所述边界点作为中心，细化生成自适应点集；所述的步骤d中，通过分类对象损失、定位损失和倒角距离cd，对获得的自适应点集进行精确调整，得到缺陷目标的检测框。

30、优选的，所述的步骤d中:

31、分类对象损失计算公式如下：

32、

33、其中表示点集的总数，表示focal loss，表示基于学习点的预测类置信度，表示真实的类别;

34、是定位损失的计算方式如下：

35、

36、其中为正样本点集总数，表示真实框的位置，为定向多边形的giou损失，表示经过点集转换成方向多边形的预测置信度；中，表示真实的类别，方框表示范围，即，真实的类别取值大于或等于1；

37、其中，的计算方式为：；为方向转换函数，为学习点集；

38、cd倒角距离的计算公式如下：

39、

40、

41、其中，n表示学习点集的总数，表示经过转换函数从学习点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集，为表示经过转换函数从真实框轮廓点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集；

42、其中，；通过该cd倒角距离评估预测点集和真实框轮廓点之间的方向差异，使得模型逐渐收敛贴近真实框轮廓。

43、优选的，所述步骤f中，所述头部数据解析结果是通过头部数据检测模型检测得到，所述尾部数据解析结果是通过尾部数据检测模型检测得到，将两个模型检测结果进行融合输出，得到所述融合输出结果。

44、与所述基于长尾分布数据的智能工业旋转检测方法相对应的，本发明提供一种基于长尾分布数据的智能工业旋转检测系统，其包括：

45、数据分割模块，用于对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；

46、头部数据检测模型，其通过swin transformer模型对所述头部数据进行特征提取；通过panet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过oriented reppoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；

47、尾部数据检测模型，其通过swin transformer模型对所述尾部数据进行特征提取；通过panet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过oriented reppoints模型对所述自适应点集进行特征解析，得到尾部数据的缺陷目标的类别、位置和方向；

48、融合输出模块，用于对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。

49、此外，为实现上述目的，本发明还提供一种设备，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于长尾分布数据的智能工业旋转检测程序，所述基于长尾分布数据的智能工业旋转检测程序被所述处理器执行时实现如上文所述的基于长尾分布数据的智能工业旋转检测方法的步骤。

50、本发明的有益效果是：

51、（1）本发明针对工业数据长尾分布问题，为长尾分布中会造成识别准确度较低的尾部数据提供单独的旋转检测模型以提高整体数据的识别准确度；

52、（2）本发明的检测方法采用基于oriented reppoints方法和swin transformer(swint)模型的旋转目标检测架构，通过在旋转目标检测架构中引入旋转角度，形成带旋转角度的四边形框对缺陷进行框定，加少了背景区域的混入同时降低了在密集的带有旋转角度的缺陷的场景下的漏检；

53、（3）本发明通过使用了swint作为主干网络其在保证性能优于resnet-50的前提下和其计算复杂度相当，因此在检测架构中单独为尾部数据提供一个检测器并不会大幅度提高计算复杂度造成运算负担；

54、（4）本发明的单样本数据增强和多样本数据增强的方法，能够丰富图像多样性；

55、（5）本发明基于oriented reppoints方法采用自适应点集作为细粒度表示并引入转化函数来捕捉存在方向变化的缺陷目标的几何结构，来对旋转目标进行更精准的定位和分类。