一种基于神经网络融合策略的轴承缺陷检测方法与流程

本发明涉及轴承缺陷检测技术领域，尤其涉及一种基于神经网络融合策略的轴承缺陷检测方法。

背景技术：

轴承的最早使用可以追溯到古埃及时代，而现在轴承的应用更是随处可见，应用领域小到门锁，零部件，大到汽车，设备，航空航天器等，同时某些应用领域上对轴承的质量有很高的要求。然而在轴承制造过程中，不管是原材料问题，还是工艺问题，都会使轴承产生各种表面缺陷和结构缺陷，所以对缺陷严重程度的评估变得很有价值。

目前市面上主要轴承缺陷检测的方案是人工检查，大零件通过肉眼辨别，小零件通过放大镜等辅助工具辨别，很难有比较细致的量化标准，绝大部分通过人为经验加主观决定。除此之外也有一些用传统图像处理的方案来检测，但是由于轴承样式多变，表面纹理非常重，遇到大轴承还有光照不均导致的检测面亮度差异大的问题，以上情况使得传统的图像处理算法存在兼容性差，并且缺陷检测效果层次不齐，无法做分类等等弊端。

随着深度学习的发展，近期也有一小部分用深度学习来检测的实例，比如用fasterrcnn或者yolo等做目标检测，但是这些方案还处于初步阶段，都把轴承缺陷检测任务和自然场景物体检测任务同等处理，没有针对轴承特点进行设计，而且要求有大量的错误样本数据，加上单模型实际无法做到所有类型缺陷同时达到比较好的效果。所以目前在轴承缺陷检测上没有比较好的成熟方案。因此本发明提出了一种基于深度学习融合策略的检测方案，并且针对轴承的特点，对数据做针对性的处理和扩充，解决数据量不足的情况。本发明适用多种不同种类，不同大小的轴承缺陷检测和分类，兼容性强，可以覆盖常规的划伤，崩裂，缺角，污渍等缺陷类型。

技术实现要素：

基于背景技术存在的技术问题，本发明提出了一种基于神经网络融合策略的轴承缺陷检测方法，使用了多网络的融合思想，包括多个检测网络的并联，加上分类网络的串联来共同决策检测的位置和类别，解决了现有技术中单一网络无法覆盖轴承所有缺陷的问题。

本发明提供如下技术方案：一种基于神经网络融合策略的轴承缺陷检测方法，包括如下步骤：

s1、采集带有缺陷的不同类型的轴承图像，对采集的图像进行标注分类，并对标注后的图像进行预处理；

s2、用标注文件和经过预处理的图像训练轴承缺陷检测器，定位缺陷位置和类别；其中轴承缺陷检测器采用两个不同类型的目标检测网络模型a和目标检测网络模型b的融合；设计两个网络并联结构，共同决策缺陷的位置和类别，把缺陷分成确定缺陷1和疑似缺陷；

s3、训练局部缺陷分类模型c，对疑似缺陷进行复判，训练得到的局部缺陷分类模型c对疑似缺陷进行分类，然后综合三个模型进行疑似缺陷的决策，得到确认缺陷2；

s4、最后输出确认缺陷1和确认缺陷2。

优选的，所述步骤s1中预处理包括：对轴承图像进行一个极坐标变换，进行极坐标变换后把轴承变换成矩形。

优选的，所述步骤s1中的预处理还包括：随机截取不同轴承上的缺陷区域图片，贴附在不同轴承的非缺陷背景上。

优选的，所述步骤s1中的预处理还包括：利用傅里叶变换把图像转换到频域上，利用滤波器对图像进行滤波来消除轴承图像上的纹理信息，之后用傅里叶变换把图像转回空间域，去除轴承的纹理，留下了表面缺陷和结构信息，最后做一个对比度拉伸再次突出缺陷的特征。

优选的，所述滤波器差分滤波器，用于滤除轴承的重复纹理对应的频率部分，只留下缺陷部分。

优选的，所述步骤s2中最终输出的是确定缺陷1和疑似缺陷的位置和类别的置信度。

本发明提供了一种基于神经网络融合策略的轴承缺陷检测方法，使用了多网络的融合思想，包括多个检测网络的并联，加上分类网络的串联来共同决策检测的位置和类别，解决了单一网络无法覆盖所有缺陷的问题，并且该融合方案也可以兼顾过杀和漏检。

附图说明

图1为本发明整体方案的流程图；

图2为本发明轴承图像预处理流程图；

图3为本发明平面光轴承检测效果图；

图4为本发明高角度光轴承局部检测效果图；

图5为本发明组合光轴承局部检测效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种技术方案：一种基于神经网络融合策略的轴承缺陷检测方法，包括如下步骤：

s1、采集带有缺陷的不同类型的轴承图像，数量为几百张(数量可根据需求调整)，对采集的图像进行常规的标注分类，用矩形正框进行标注。对采集的图像进行标注分类，并对标注后的图像进行预处理；

如图2所示，预处理包括：

对轴承图像进行一个极坐标变换，由于轴承基本是圆形，实验结果发现圆形图案上的缺陷检测效果不佳，进行极坐标变换后把轴承变换成了矩形。

随机截取不同轴承上的缺陷区域图片，贴附在不同轴承的非缺陷背景上，此方法可以有效的增加负样本数据量，一定程度解决小样本问题。因为现有缺陷样本数量很少，而神经网络是建立在大数据下，所以通过人为的把缺陷贴到背景上，一方面增加了样本数量，另一方面让网络见更多不同背景下的缺陷，有利于网络的学习。

利用傅里叶变换把图像转换到频域上，设计一个特殊的滤波器对图像进行滤波用来消除轴承图像上的纹理信息，此处特殊的滤波器是根据当前图像的特点来确定的，比如该实验中，为了去除重复的纹理，设计了一个差分滤波器，滤除重复纹理对应的频率部分，只留下缺陷部分。

之后用傅里叶变换把图像转回空间域，去除轴承的纹理，留下了表面缺陷和结构信息，最后做一个对比度拉伸，再次突出缺陷的特征。对比度拉伸的方法有很多，比如直方图均衡化，拉普拉斯锐化，log变化等，该实验中使用的是直方图均衡化。

s2、用标注文件和经过预处理的图像训练轴承缺陷检测器，定位缺陷位置和类别；其中轴承缺陷检测器采用两个不同类型的目标检测网络模型a和目标检测网络模型b的融合；设计两个网络并联结构，共同决策缺陷的位置和类别，把缺陷分成确定缺陷1和疑似缺陷；

本发明用的是融合策略，前面阶段是目标检测网络的融合，网络选择比较多，本实验中使用的是yolov4和改进版fasterrcnn，结构完全不同的网络融合效果会比较好。

用标注文件和上述经过预处理的图像对两个网络进行训练(训练中还是有常规的数据增强，比如翻转，旋转等)，主干网络可根据效果随意选择，最终得到两个网络的检测模型。

根据实验结果，设计两个网络并联结构，共同决策缺陷的位置和类别，最后把缺陷分成确定缺陷和疑似缺陷。疑似缺陷，留待下一个分类网络复判。最终该部分输出的是确定缺陷和疑似缺陷的位置和类别的置信度。

s3、训练局部缺陷分类模型c，对疑似缺陷进行复判，训练得到的局部缺陷分类模型c对疑似缺陷进行分类，然后综合三个模型进行疑似缺陷的决策，得到确认缺陷2；

分类网络包括但不限于resnet系列，inception系列，本实验中使用的是resnet18。训练得到的分类模型对疑似缺陷进行分类，然后综合三个网络的进行疑似缺陷的决策。

s4、最后输出确认缺陷1和确认缺陷2。

如图3所示的平面光轴承检测效果图；图4所示的高角度光轴承局部检测效果图；以及图5所示的组合光轴承局部检测效果图。图中的矩形框采用蓝色或其他显眼的颜色，且矩形框上还附带有缺陷的分类标注。

本发明中，针对轴承图像的特点(圆形，全图纹理比较重)，设计了一套全新的图像预处理方案，包括极坐标变换和傅里叶变换去纹理，使得检测效果有了比较大的提升。

使用局部缺陷抠图，随机贴敷的方式，解决了小样本数据量不足的问题。

使用了多网络的融合思想，包括多个检测网络的并联，加上分类网络的串联来共同决策检测的位置和类别，解决了单一网络无法覆盖所有缺陷的问题，并且该融合方案也可以兼顾过杀和漏检。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。