一种基于SE-ResNeXt铸件缺陷识别方法

本发明属于铸件缺陷检测领域，涉及一种铸件质量检测技术，更具体的涉及一种基于se-resnext铸件缺陷识别方法。

背景技术：

1、射线、超声、磁粉、涡流和渗透等无损检测技术在工业缺陷检测领域被广泛应用，它们可以在不破坏铸件的情况下，对工业铸件产品的整体质量进行精细化检测。这些无损检测技术从不同角度对工业铸件产品的内部进行数字化成像，然后根据检测人员对数字化成像的结果进行人工观察，判断被测铸件是否合格。人工观察主要是根据以往检测经验，可以检测出数字化成像中铸件的内部缺陷。但是随着被测铸件样品的增多，容易使检测人员产生疲劳，导致检测效率和准确率大大降低，直接影响着铸件产品的性能并增加与安全有关的风险。因此，铸件缺陷检测自动化的实现，对于提高生产效率、保障产品质量安全和加快制造智能化具有重要意义。

2、目前，通用的目标检测算法可以分为一阶段和二阶段两类。一阶段是基于回归方法的目标识别算法，将识别问题作为一个回归问题处理，直接预测目标位置和类别，具有代表性的算法有yolo、ssd这类方法具有较快的识别速度，但相对而言精度偏低，无法满足铸件缺陷检测要求。

3、二阶段是基于候选区域的目标识别算法，需要分两步完成。首先使用区域推荐产生候选目标区域，随后使用卷积神经网络进行分类、回归处理。其中最具有代表性的算法有faster-rcnn，cascade-rcnn等，这类精度对通用目标检测领域相对较高，但是由于基于铸件领域的缺陷普遍存在缺陷目标小、与背景高度重合且具有重叠粘附情况，因此通用的二阶段目标检测方法对铸件缺陷的检测效果并不好，依旧存在精度低，漏检率高的情况。

技术实现思路

1、针对现有铸件缺陷检测存在的不足之处，本发明针对性地提出了一种基于se-resnext铸件缺陷识别方法，构建一个端到端的两阶段神经网络的cascade-rcnn变体模型，主干网络采用resnext，利用通道分组方法，减少模型参数量，同时借鉴senet思想，在残差模块中连接se模块，通过对特征图通道加权，使得神经网络更加关注包含重要信息的目标区域，抑制无关信息，可以在保证模型检测速度的同时，实现更加精确的铸件缺陷识别结果。

2、一种基于se-resnext铸件缺陷识别方法，包括以下步骤：

3、s1、采集铸件缺陷图像数据样本；

4、s2、利用数据处理方法优化铸件缺陷图像，所述数据处理方法采用图像尺度归一化方法，将铸件缺陷图像的数据转换成标准模式；数据增强时，增强铸件缺陷图像的亮度、色彩、饱和度和对比度，提升缺陷与背景之间的对比；同时对铸件缺陷图像进行随机翻转、随机旋转、随机裁剪和图像模糊操作，扩充数据集，增加训练样本的数量以及多样性；最后将数据增强后的铸件缺陷图像，转化为rgb格式的彩色图像，彩色图像的像素大小为；

5、s3、构建一个端到端的两阶段神经网络的cascade-rcnn变体模型，主干网络采用resnext，利用通道分组方法，减少模型参数量，同时在残差模块中连接se模块，通过对特征图通道加权，使得神经网络关注包含重要信息的目标区域，所述重要信息包括铸件缺陷图像中的目标缺陷的特征；引入重评分机制，提取边缘感知特征用来定位，并利用桶式边界定位，得到平均分桶置信度，实现更加精确的铸件缺陷识别结果；

6、s4、通过优化后的所述铸件缺陷图像形成的数据集训练所述cascade-rcnn变体模型；

7、s5、将待测试的铸件缺陷图像输入训练好的所述cascade-rcnn变体模型中进行检测。

8、有益效果：

9、本发明提供了一种基于se-resnext铸件缺陷识别方法，提出了两阶段神经网络的cascade-rcnn变体模型，利用se-resnext网络提取缺陷特征，通过对特征图通道加权，使得神经网络更加关注包含重要信息的目标区域，抑制无关信息，解决了识别精度低、漏检率高的问题，满足铸件缺陷图像检测领域实际生产需求。

技术特征：

1.一种基于se-resnext铸件缺陷识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于se-resnext铸件缺陷识别方法，其特征在于，所述s3中，使用resnext作为主干网络，并结合senet网络共同组成特征提取模块；主干网络将resnext的残差模块的单条路径改进成多条并行路径，确定每一条路径的输入数据的通道数、滤波器大小和输出数据的通道数；所述senet网络对残差模块进行压缩操作，使用全局平均池化对特征图进行压缩，假设输入的特征图尺寸为h×w×c，则通过全局平均池化得到的尺寸为1×1×c，通过全局平均池化处理后，使用两个全连接层学习不同通道的重要性，第一个全连接层使用的激活函数是leaky relu，第二个全连接层使用的激活函数是sigmoid，通过sigmoid函数得到一个处于0到1之间的标量，用来作为通道的权重，得到的权重与原始的特征图的每一个通道相乘。

3.根据权利要求1所述的一种基于se-resnext铸件缺陷识别方法，其特征在于，所述s3中，边缘感知特征的提取包括：将原始特征图经过3×3的卷积得到特征矩阵f，分别用不同的1×1卷积得到特征矩阵mx及特征矩阵my，特征矩阵mx、特征矩阵my分别表示x方向上的特征、y方向上的特征的映射，然后将特征矩阵mx、特征矩阵my分别沿y、x方向进行正则化，再与特征矩阵f相乘，得到x、y方向的特征图；随后再分别沿y、x方向相加并经过1×3、3×1卷积得到一维特征图fx、一维特征图fy，以采样因子为2进行上采样后得到分别表示水平方向和竖直方向的特征；最后经过分割分别获得四边的特征fleft、fright、ftop、fdown。

4.根据权利要求3所述的一种基于se-resnext铸件缺陷识别方法，其特征在于，所述s3中，所述桶式边界定位在做回归的过程中使用两阶段分桶操作，首先，将候选区域分成若干个桶，并输入边缘感知特征提取的四边的特征fleft、fright、ftop、fdown；在粗定位阶段，基于边缘感知特征使用二分类器预测当前目标的边界是否在当前桶中或距离当前桶的距离最近；在精细定位阶段，使用回归器预测所选择的桶的中心线与真实标签边界的偏移量；对四边所在的桶的置信度求平均值，将平均值与先前的多类标签得分相乘并将结果作用于非极大值抑制算法中，以保留更高质量的候选框。

5.根据权利要求4所述的一种基于se-resnext铸件缺陷识别方法，其特征在于，所述s4包括：

6.根据权利要求5所述的一种基于se-resnext铸件缺陷识别方法，其特征在于，所述s5中，将待测试的铸件缺陷图像输入到cascade-rcnn变体模型中，输出包括缺陷位置和缺陷大小的缺陷识别信息。

技术总结
本发明公开了一种基于SE‑ResNeXt铸件缺陷识别方法，涉及铸件缺陷检测技术领域，包括：S1、采集铸件缺陷图像数据样本；S2、利用数据处理方法优化铸件缺陷图像；S3、构建一个端到端的两阶段神经网络的Cascade‑rcnn变体模型，主干网络采用ResNeXt，同时借鉴SENet思想，在保证模型速度的同时提高检测精度；S4、将优化后的铸件缺陷图像训练Cascade‑rcnn变体模型；S5、将待测试的铸件图像输入到Cascade‑rcnn变体模型中，输出缺陷位置和缺陷大小，由此完成整体铸件图像的缺陷自动化识别过程。本发明可以在保证模型检测速度的同时，实现更加精确的铸件缺陷识别结果。

技术研发人员：傅健,管为,梁豪
受保护的技术使用者：北京航空航天大学江西研究院
技术研发日：
技术公布日：2024/1/15