一种铸造材料扫描电镜图像缺陷识别与量化方法与流程

本发明属于缺陷分割量化领域，更具体地，涉及基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法。

背景技术：

1、铸造工艺可以制成形状复杂的零件，具有效率高，工序简单等优点，在汽车、电子、航空航天和运动器材等行业均获得广泛应用。然而，铸造工艺带来的孔洞缺陷，如气孔、缩孔和缩松，显著降低了铸造材料的力学性能和疲劳性能。为了定量描述缺陷对性能的影响，需要对铸造材料的断口缺陷进行量化分析。铸件断口的缺陷通常具有如下特点：大小不等，外形不规则，分布不均匀，数量无明显规律。这些特点给缺陷识别带来了巨大挑战。

2、传统上利用人工判定的方法量化缺陷大小，首先需要使用sem扫描断口获取缺陷图片，随后导入image-pro或image-j等图像处理软件，利用阈值分割或手动描边的方法定义出缺陷所占区域，此外还需要定义比例尺在图像中的长度及其代表的实际尺寸，最终由软件给出缺陷量化数据。这种方法不仅步骤繁琐，不适用于批量处理数据；并且受测量者主观因素影响，由不同人测量或同一人测量多次所获得的数据有很大波动性，因此定量数据准确性较低。

3、因此如何快速高效地识别和统计铸造材料断口缺陷，进而助力铸造材料缺陷控制及工艺优化不仅具有重要的学术研究价值,同时有着非常重要的工业应用潜力。近年来,随着以卷积神经网络(convolutional neural network,cnn)为代表的深度学习模型在诸多计算机视觉(computer vision,cv)领域成功应用,例如人脸识别、行人重识别、场景文字检测、目标跟踪和自动驾驶等。先进的深度学习算法，超强并行计算架构和大量的训练数据在图像处理上获得了巨大的成功。然而，现有的图像识别方法对显微图像的识别精度和速度还有待提高。如何改进这些方法，实现金属断口扫描电镜图像的自动识别以及缺陷的量化，已经引起工业界的广泛关注。

4、对于断口缺陷检测，现有技术已经提供了一些相关解决方案，主要包括目标检测和图像分割两类模型。现有的算法大多属于目标检测，这种算法能够快速准确地检测出是否存在缺陷以及其缺陷的位置。例如，cn202110259892.7公开了一种基于深度学习的材料显微图像缺陷识别方法、设备及装置，其中通过目标检测深度学习模型对显微图片进行缺陷预测，解决了合金结构显微图片缺陷标注的问题。由于目标检测只能分割出缺陷的位置，无法得到缺陷的具体形状，因此目标检测模型不适用于铸造材料扫描电镜图像的缺陷识别。图像分割是计算机视觉的另一方向，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。数字图像处理的图像分割算法可以应用在大部分图片上，但是数字图像处理方法无法实现自动化，分割结果误差较大，并且无法应用在像素值接近的图片上；数字深度学习的图像分割算法应用在铸造材料扫描电镜图片上的结果一般，iou并未达到预期效果，并且运行速度较慢。对于缺陷的统计量化，目前还未找到相关技术解决该问题。

5、有鉴于此，有必要设计一种基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法，以解决上述问题。该方法经过重新标定后，可以应用于增材制造材料扫描电镜图像缺陷的定量统计。

技术实现思路

1、为了解决现有技术中存在的不足，本发明提出一种铸造材料扫描电镜图像缺陷识别与量化方法，将基于深度学习的图像分割算法、数据增广技术、文字检测技术以及数字图像处理技术相结合，可以对铸造材料扫描电镜图片中的缺陷进行准确快速识别，实现全自动化；并且能够对缺陷进行量化分析，有效地解决了分割效果差以及运行速度缓慢的问题；相比人工标注极大地提升了处理速度，也十分高效的解决了定量统计方面的问题。

2、本发明所采用的技术方案如下：

3、一种铸造材料扫描电镜图像缺陷识别与量化方法，包括：

4、获得待识别铸造材料的图像；

5、将所述待识别图像输入到缺陷识别与量化模型，得到图像中缺陷的基本信息；所述缺陷的基本信息包括缺陷类别信息、缺陷位置信息、缺陷数量信息和缺陷面积信息；

6、所述缺陷识别与量化模型包括：

7、比例尺检测识别模型，对图像中比例尺进行检测识别；

8、图像放大倍数分类器，对图像放大倍数类别进行划分；

9、图像分割模型，包括数字图像分割模型和深度学习图像分割模型，根据图像放大倍数分类器输出的图像放大倍数选取图像分割模型，用于对待识别图像的缺陷的实际位置进行分割；

10、图像后处理模型，对图像分割模型输出的掩膜进行后处理；

11、定量分析模型，对处理后的缺陷进行定量表征。

12、进一步，所述比例尺检测识别模型具体如下：

13、s1.通过比例尺特征定位将比例尺的大致位置检测出；

14、s2.将检测出的比例尺图片，通过ocr(optical character recognition)技术将比例尺的大小以及所占像素长度识别出来，用于采用图像分割模型的参照以及缺陷定量统计。

15、进一步，所述图像放大倍数分类器具体如下：

16、s1.根据待检测图像数据集的实际情况，确定像素长度阈值；

17、s2.每次检测中，将比例尺检测识别模型计算得到的像素长度和阈值进行比较，自动完成类别划分。

18、进一步，所述图像分割模型中数字图像分割模块包括如下步骤：

19、s1.不需做任何尺寸调整以及预处理，采用全局阈值分割的图像处理算法，根据像素点的像素值，设置好阈值，对全局图像进行像素点阈值分割，可将缺陷区域分割出来；

20、进一步，所述图像分割模型中深度学习图像分割模型的构建和分割过程包括如下步骤：

21、s1.构建基于传统u-net神经网络进行改进的模型，在编码下采样层和解码输出层将卷积池化结构替换为空洞卷积池化金字塔(aspp)网络结构，在特征提取的每个卷积层之后加入注意力机制；

22、s2.首先对图片进行多步长特征提取，得到多个特征图；由aspp网络对每一步得到的特征图从多尺度空洞卷积分支进行各自的卷积计算；通过注意力模块提供的通道权重和位置权重，将多个特征图和卷积后的特征图进行加权特征融合，得到最终的特征结果；对最终的特征图进行上采样，上采样到与原图同样大小后，实现对缺陷像素点的识别，从而实现图像分割。

23、进一步，所述图像分割模型中深度学习图像分割模型的训练方法包括如下步骤：

24、s1.随机初始化深度学习图像分割模型的参数，所述深度学习图像分割模型；

25、s2.将训练集输入构建的所述深度学习图像分割模型；

26、s3.每次图像输入到深度学习图像分割模型后，会提取到多组不同维度的特征图；不同维度的特征图融合后将缺陷进行分割，得到缺陷的掩膜；再与真实缺陷像素点集合进行对比，计算出损失函数损失值；最后将损失值返回至深度学习图像分割模型中进行反向传播，根据损失值和学习率对参数进行调整，重复以上的步骤，直至收敛或者训练结束。

27、进一步，所述图像分割模型中深度学习图像分割模块的训练数据处理包括如下步骤：

28、s1.获得铸造材料的扫描电镜图像，并对所述扫描电镜图像中存在的缺陷类别、位置进行标注，对标注好的图片进行增广处理得到缺陷数据集；

29、s2.将图片集进行划分得到用于训练深度学习图像分割模型的训练集、测试集和验证集；基于训练集与验证集数据进行模型训练学习，获取深度学习图像分割模型的参数，输出基于现有训练集/验证集学习训练的深度学习图像分割模型。

30、进一步，所述缺陷识别与量化模型训练采用的损失函数表示为：

31、

32、式中，为掩码损失，为语义分割的dice评价指标，表示评估两个样本的相似性。

33、进一步，所述dice评价指标表示为：

34、

35、式中，x是真实缺陷像素点集合，y是模型返回的缺陷识别结果像素集合，|x∩y|是x和y之间的交集，|x|+|y|分别表示x和y的元素的个数，其中，分子的系数为2，是因为分母存在重复计算x和y之间的共同元素。

36、进一步，所述掩码损失表示为：

37、针对图像中的每一个像素都会去计算它所对应的一个交叉熵损失函数，然后将所有像素的交叉熵损失进行求平均操作就得到了损失公式如下：

38、

39、式中，为预测像素点，yi为真实像素点，m为本次计算中的像素点总数。

40、进一步，所述图像后处理模型包括如下步骤：

41、s1.输入图像分割后的掩膜，先进行中值滤波，再膨胀缺陷区域来减少损失，该操作完成后，得到处理后的掩膜图像；

42、s2.将s1得到的处理后的掩膜图像与原图进行融合，通过图像混合技术，将这俩张图片相互融合，以使缺陷在原图上标识出来，融合后的图片就是最终的效果图。

43、进一步，所述定量分析模型包括如下步骤：

44、s1.根据得到的比例尺大小以及所占像素长度计算出每个像素所占的面积；

45、s2.输入图像后处理模型中处理后的mask图像，定量统计缺陷的数量，每个缺陷的面积，面积占比，等级分类的信息；所述等级分类是根据每个缺陷的面积占比大小进行分类，分为0.01％以下的小缺陷，0.01％至1％的中等缺陷，1％以上的大缺陷，总计三类。

46、一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，执行上述的基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法。

47、本发明的有益效果：

48、1.本发明提供的基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法，将深度学习的图像分割算法、数据增广技术、文字检测技术以及数字图像处理技术相结合，可以对铸造材料扫描电镜图片中的缺陷进行准确快速识别，实现全自动化；并能够准确地对缺陷进行量化，相比人工标注极大地提升了处理速度，十分高效的解决了定量统计方面的问题。

49、2.本发明提供的基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法，采用的缺陷识别与量化方法中包括了比例尺检测识别模型、图像分割模型、图像后处理模型、定量分析模型。比例尺检测识别模型，主要用于图像中比例尺进行自动检测识别；图像放大倍数分类器，对图像放大倍数类别进行划分并选用后续模型；图像分割模型，包括数字图像分割模型和深度学习图像分割模型，用于对待识别图像的缺陷的实际位置进行分割；图像后处理模型，对图像分割模型输出的掩膜进行后处理；定量分析模型，对处理后的缺陷进行定量表征。本发明能够自动对不同放大倍数的缺陷图像进行分类，增强分割模型处理缺陷图像的针对性，避免不同的模型在非对应放大倍率图像上失效的缺点。同时本发明能够end-to-end,pixels-to-pixels，而且相比于传统的基于卷积神经网络做分割的网络更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题，显著降低模型复杂度及运算时间，并可以准确地对缺陷进行量化，十分高效的解决了定量统计方面的问题。

50、3.本发明提供的基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法，其中包括一种基于u-net神经网络的改进深度学习模型；在编码下采样层和解码输出层将卷积池化结构替换为空洞卷积池化金字塔网络结构，能够扩大感受野，减少下采样的分辨率损失，是对于本问题中的缺陷目标定位准确、边缘精度高的要求提出的针对性优化方法；在特征提取的每个卷积层之后加入注意力模块，能够赋予模型注意力能力，帮助模型以不同的权重关注图像通道和特征区域，提高模型的计算速度和预测精度。