基于MaskR-CNN的齿轮缺陷分割模型及训练方法和检测方法

本发明涉及图像处理，具体涉及一种齿轮端面缺陷分割模型及训练方法和缺陷的检测方法。

背景技术：

1、齿轮是变速箱、转动装置、换挡装置等旋转机械设备中的重要零件，被广泛应用于汽车领域、船舶领域、航天领域以及军工领域等多个行业领域。齿轮质量主要由功能质量、性能质量和外观质量等方面组成，其中功能质量和性能质量是最基本的质量要求，主要考虑齿轮所承受的载荷、使用的重要性、热加工工艺等方面；齿轮外观质量会对精密机械元器件的传动精度、使用寿命和安全性等方面产生影响，从而导致产品价值受损。因此在齿轮的制造生产环节中，质检是整个生产流程中的关键环节，生产者需要对齿轮的端面状态进行检测，以此判断齿轮是否存在瑕疵和缺陷，并根据检测结果对齿轮做相应的处理。

2、在工业检测领域，基于机器视觉的产品外观缺陷检测是一项重要的应用，已经取代了传统的人工缺陷检测。随着机器学习和人工智能技术的发展，基于机器学习的缺陷检测分类模型，尤其是基于深度学习的图像处理算法模型越来越多的应用在产品外观缺陷检测中。因此，如何提供一种针对齿轮端面缺陷检测准确性和可靠性高，能够快速有效的分割出每个缺陷区域的图像处理模型，就需要进一步进行考虑。

技术实现思路

1、针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种检测准确性和可靠性高，能够快速有效的分割出每个缺陷区域的齿轮端面缺陷分割模型。

2、为了解决上述技术问题，本发明采用了的技术方案：

3、一种齿轮端面缺陷分割模型，包括特征提取部分、候选特征图生成部分和结果预测部分，特征提取部分使用resnet50+pafpn网络结构能够对图像上缺陷部分的图像特征进行提取，并在resnet50网络结构中的c3和c5卷积层增加了一个ca注意力模块；候选特征图生成部分使用rpn生成区域候选框，使用roi align生成候选特征图；结果预测部分使用全连接网络和全卷积网络分别对候选特征图的类别、位置和掩码进行预测。

4、因为齿轮端面缺陷类型和特征复杂度不高，本发明模型中使用层数较少的resnet50进行特征提取，通常齿轮端面缺陷的尺寸较小，选择在resnet50中感受野较小的c3卷积层后添加ca注意力机制。同时为了增强深层语义信息的提取能力，在resnet50的c5卷积层后添加ca注意力机制。本发明使用能有效缩短底层与顶层特征距离的pafpn代替fpn进行多尺度特征融合，从而避免fpn结构缺陷，实现模型分割性能的增强。通过在原始fpn的基础上增加一次由底层向上层的特征融合，缩短底层与顶层特征之间的距离，使模型特征提取部分拥有更加可靠的特征信息传递，从而实现特征提取能力的增强。

5、一种齿轮端面缺陷分割模型的训练方法，包括以下步骤：

6、(1)获取若干张需要进行检测的齿轮端表面缺陷图片，并使用标注软件分别对齿轮端表面缺陷图片上的缺陷区域进行标注；

7、(2)使用图像翻转、随机噪声、随机亮度调整和随机平移四种增强方式对步骤(1)中标注后的图片进行扩增，建立数据集；

8、(3)获取上述的所述齿轮端面缺陷分割模型，使用数据集对所述齿轮端面缺陷分割模型进行训练。

9、作为优化，在步骤(1)中，对标注后的图片使用基于otsu阈值分割和中值滤波的图像中心裁剪降低图像中的冗余背景，使用基于sahi的图像滑动重叠裁剪减小图像大小，得到多张裁剪图。

10、作为优化，在步骤(3)中，模型训练参数设置为：优化器为sgd、初始学习率为0.007、学习率使用step方式进行衰减、训练批量为2、迭代次数为30。

11、作为优化，在步骤(1)中，使用标注工具labelme中的polygon命令对缺陷区域进行标注，然后给标注区域增加相应描述文本，保存文件即可完成图像的标注工作。

12、一种齿轮端面缺陷的检测方法，获取齿轮端面的图片和上述中的所述齿轮端面缺陷分割模型，并利用上述的所述齿轮端面缺陷分割模型的训练方法对所述齿轮端面缺陷分割模型进行训练，训练完成后将齿轮端面的图片输入到所述齿轮端面缺陷分割模型中，所述齿轮端面缺陷分割模型输出检测结果。

13、作为优化，齿轮端面的图片使用基于otsu阈值分割和中值滤波的图像中心裁剪降低图像中的冗余背景，使用基于sahi的图像滑动重叠裁剪减小图像大小，得到多张裁剪图，将这些裁剪图分别经过所述齿轮端面缺陷分割模型进行检测，将所有得到的检测结果使用非最大值合并得到整图输出，作为最终检测结果。

14、相比现有技术，本发明具有以下优点：本发明针对传统分割算法难以有效分割并提取缺陷特征问题，提出了一种基于ca注意力机制和pafpn多尺度特征融合网络的mask r-cnn模型，实现齿轮端表面缺陷实例分割；该模型通过嵌入ca注意力机制和改进多尺度特征融合网络为pafpn的方式，增强模型特征提取能力。另外针对图像分辨率过高无法适应实例分割模型的问题，提出一种图像多级裁剪方法，去除图像中的冗余背景并将图像裁剪成多张小图，实现图像分辨率的降低；混合采用图像翻转、随机噪声、随机亮度调整和随机平移的增强方式对裁剪后图像进行增强，实现缺陷图像样本数量扩增从而更好地支撑分割模型的训练。

技术特征：

1.一种齿轮端面缺陷分割模型，其特征在于：包括特征提取部分、候选特征图生成部分和结果预测部分，特征提取部分使用resnet50+pafpn网络结构能够对图像上缺陷部分的图像特征进行提取，并在resnet50网络结构中的c3和c5卷积层增加了一个ca注意力模块；候选特征图生成部分使用rpn生成区域候选框，使用roi align生成候选特征图；结果预测部分使用全连接网络和全卷积网络分别对候选特征图的类别、位置和掩码进行预测。

2.一种齿轮端面缺陷分割模型的训练方法，其特征在于：包括以下步骤：

3.根据权利要求2所述的齿轮端面缺陷分割模型的训练方法，其特征在于：在步骤（1）中，对标注后的图片使用基于otsu阈值分割和中值滤波的图像中心裁剪降低图像中的冗余背景，使用基于sahi的图像滑动重叠裁剪减小图像大小，得到多张裁剪图。

4.根据权利要求2所述的齿轮端面缺陷分割模型的训练方法，其特征在于：在步骤（3）中，模型训练参数设置为：优化器为sgd、初始学习率为0.007、学习率使用step方式进行衰减、训练批量为2、迭代次数为30。

5.根据权利要求2所述的齿轮端面缺陷分割模型的训练方法，其特征在于：在步骤（1）中，使用标注工具labelme中的polygon命令对缺陷区域进行标注，然后给标注区域增加相应描述文本，保存文件即可完成图像的标注工作。

6.一种齿轮端面缺陷的检测方法，其特征在于：获取齿轮端面的图片和权利要求1中的所述齿轮端面缺陷分割模型，并利用权利要求2中的所述齿轮端面缺陷分割模型的训练方法对所述齿轮端面缺陷分割模型进行训练，训练完成后将齿轮端面的图片输入到所述齿轮端面缺陷分割模型中，所述齿轮端面缺陷分割模型输出检测结果。

7.根据权利要求6所述的齿轮端面缺陷的检测方法，其特征在于：齿轮端面的图片使用基于otsu阈值分割和中值滤波的图像中心裁剪降低图像中的冗余背景，使用基于sahi的图像滑动重叠裁剪减小图像大小，得到多张裁剪图，将这些裁剪图分别经过所述齿轮端面缺陷分割模型进行检测，将所有得到的检测结果使用非最大值合并得到整图输出，作为最终检测结果。

技术总结
本发明公开了一种基于Mask R‑CNN的齿轮缺陷分割模型及训练方法和检测方法，在获取包含整个齿轮的端面图像后，采用基于Otsu阈值分割和中值滤波的中心裁剪对齿轮外接矩形区域进行裁剪，减少图像冗余背景；根据设定的实例分割模型输入图像大小，采用基于SAHI的滑动重叠裁剪将图像裁剪成多张小图，混合采用图像翻转、随机噪声、随机亮度调整和随机平移的数据增强方式对裁剪后图像进行增强，从而更好的支撑模型的训练以及后续的检测；再利用训练完成的基于Mask R‑CNN的齿轮缺陷分割模型分别对每张小图进行分割，并输出对应的分割结果；最后使用非最大值合并法，将多张小图合并成一张大图并作为最终分割结果输出。

技术研发人员：文超,鄢萍,苏迎涛,林君瑶
受保护的技术使用者：重庆大学
技术研发日：
技术公布日：2024/1/15