基于深度学习的铝合金微米级第二相定量统计表征方法与流程

本发明涉及铝合金中微米级第二相表征
技术领域：
，特别是涉及一种基于深度学习的铝合金微米级第二相定量统计表征方法。
背景技术：
：铝合金中未熔或难熔的第二相粒子一般是在铸造时产生的，在后续的热处理和热变形中无法回熔。这些难熔的第二相在变形时会破碎并拉长，沿变形方向呈直线状排列，由短的互补相连的条状组成。这些粒子是硬而脆的，分布在晶粒内部或者晶界上，在塑性变形时在相界面上容易形成孔隙，产生微裂纹，显著降低材料的断裂韧性。此外，由于微米级第二相与基体间存在微区电化学的差异，容易发生点蚀、晶间腐蚀及应力腐蚀等局部腐蚀。这不仅降低了高强铝合金及其构件的可靠性，也显著缩短了材料的使用寿命。目前，铝合金微米级第二相定量表征尚无统一的标准，现有方法多使用人工参与的软件标记，数据量通常为几十到几百张图像；从统计学角度来看，材料是非均匀的，几十到几百张的局部视场不能代表材料组织分布真实情况；另外，软件单张处理可以达到较高的精度，但需要人工参与的时间长，不适于处理大批量数据；软件批量处理可以实现快速处理大量图像，由于泛化能力问题，不能同时实现高精度。最后，目前铝合金中第二相定量表征参数较单一，仅为面积分数、个数等常用参数，缺乏精细的定量化空间与位置分布信息的表征。随着科技的发展，深度学习具有强大的自适应、自学习以及并行处理能力被越来越多的应用于图像分割领域。高通量扫描电镜具有高效、快速的特点，可以在短时间内获取大尺寸全视场扫描图像，从而提供了一种有效的方式获取数据集，解决了数据集来源问题。将高通量图像数据采集方式与人工智能方法结合是目前材料表征的应用化趋势。因此，加强高通量扫描电镜以及深度学习算法在铝合金微米级第二相定量表征中的应用具有意义，也是一项重要的研究课题。技术实现要素：本发明的目的是提供一种基于深度学习的铝合金微米级第二相定量统计表征方法，采用高通量图像数据采集方式和深度学习算法实现铝合金微米级第二相的自动识别，并结合数学方法挖掘第二相的多种表征参数，定量统计材料表面全视场及分区间分布差异，解决传统铝合金中第二相定量表征参数较单一的问题，具有视场大、信息全、准确可靠的特点。为实现上述目的，本发明提供了如下方案：一种基于深度学习的铝合金微米级第二相定量统计表征方法，该方法包括以下步骤：a)选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像；b)基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库；c)利用基于深度学习的图像分割网络u-net对特征数据库进行训练，得到u-net分割模型；d)将未经过训练的特征数据库中的原图输入到建立的u-net分割模型中，以特征数据库中经过人工筛选的二值图像为标准对比验证u-net分割模型预测得到的二值图像的精度值，使用交并比iou作为评估指标，评估分割模型分割精度，选择最优精度对应参数建立u-net目标模型；e)使用高通量扫描电镜对抛光后的待测铝合金表面进行显微组织连续自动采集，得到待测铝合金图像；f)将步骤e采集得到的单张待测铝合金图像进行裁剪，将裁剪后的序列测试图像输入到步骤d建立的u-net目标模型中，分割提取待测铝合金中的第二相，得到二值图像；g)通过连通区域算法处理步骤f中获得的二值图像，得到一个完整的数据集，数据集中包含每个第二相的尺寸、面积、位置信息；h)结合数学统计方法对数据集进行统计分布表征，将测试图像中的位置信息还原到待测铝合金表面，获得全视场定量统计分布情况及可视化结果。进一步的，所述步骤a中，选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像，具体包括：打磨并抛光标准铝合金试样表面，采用机械抛光，抛光试剂采用sio2研磨膏；采用navigator-opa高通量全自动扫描电镜，采集抛光后标准铝合金试样表面的显微组织图像，得到微米级第二相图像。进一步的，所述步骤b中，基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库，具体包括：使用mipar图像处理软件对单张图像进行分割处理，所述分割处理包括中值滤波、阈值分割、形态学处理、筛除干扰四步，建立准确的分割模板；将分割模板导入批处理区域，对数据集中的微米级第二相图像进行批量分割处理，然后进行单张人工筛选，将筛选后的特征数据集生成特征数据库。进一步的，所述步骤c中，所述图像分割网络u-net，其结构左侧为下采样层，由卷积层和池化层交替组合，激活函数使用relu，通过对输入的图像进行路径收缩，从而捕捉全局内容，右侧为上采样层，由卷积层和反卷积层交替组合，训练过程中对下采样层的特征图进行路径扩张，从而精确定位图像的每个像素。进一步的，所述步骤e中，采用与标准铝合金试样相同的抛光和图像采集方法，对待测铝合金进行处理。进一步的，所述步骤e中，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，任两张连续图像重叠区设置为0-10％。进一步的，所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入最近邻欧式距离参数，所述最近邻欧式距离表征两相邻不溶相在空间中的最小距离。进一步的，所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入长宽比参数，所述长宽比中长为费雷特直径，宽为像素面积与弗雷特直径的比值。进一步的，所述步骤e中，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，采集图像为4096*4096像素，且相邻图像之间无重叠区域。根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于深度学习的铝合金微米级第二相定量统计表征方法与现有技术比具有以下有益效果：第一，现行的方法主要依靠人工视觉观察或者通过人工与图像处理软件结合的方式完成评估与定量统计，软件对单张图像处理可达到较高精度，但效率极低，软件批量处理，可实现快速统计，由于泛化能力太差，分割精度不够；本发明基于高通量扫描电镜，结合深度学习的图像分割提取算法与数学统计算法，建立的分割模型能自动、快速实现铝合金中微米级第二相的分割提取，提高图像处理效率；第二，现行的第二相统计是对单一视场进行图像分析，观察的视场面积和显微组织数量有限，本发明通过大范围全视场全自动采集，获得面积超过100平方毫米的大尺度连续特征图谱，由于是对全视场图像进行统计分析，极大地消除了单一视场统计误差，因此，本发明具有统计的视场大、信息全的优点，统计的数据更为准确可靠；第三，现行的深度学习方法制作标签时需要复杂的手工标志；本方法通过mipar软件处理单张图像获得准确的分割模板，在模板的基础上对图像进行批量处理，处理后结合人工单张筛选制作标签，该方法避免了复杂的手工标记，节省了人工时间；第四，现行的第二相表征参数较单一，通过对大尺度图像特征的分割提取，可实现位置与空间信息的统计及全局与局部区域的定量分布统计等多种精细化表征结果。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明基于深度学习的铝合金微米级第二相定量统计表征方法的流程图；图2(a)为本发明实施例的t4-6铝合金材料的微米级第二相图像；图2(b)为本发明实施例的t4-15铝合金材料的微米级第二相图像；图2(c)为本发明实施例的t5-10铝合金材料的微米级第二相图像；图2(d)为本发明实施例的t5-15铝合金材料的微米级第二相图像；图3为本发明实施例的图像分割网络u-net；图4为本发明实施例的图像分割细节展示；图5(a)是以面积236μm2为统计单元，得到的t4-6第二相在50mm2范围内面积分布可视化图像；图5(b)是以面积655μm2为统计单元，得到的t4-15第二相在120mm2范围内面积分布可视化图像；图5(c)是以面积655μm2为统计单元，得到的t5-10第二相在70mm2范围内面积分布可视化图像；图5(d)是以面积655μm2为统计单元，得到的t5-15第二相在110mm2范围内面积分布可视化图像；图6(a)是以面积236μm2为统计单元，得到的t4-6第二相在50mm2范围内数量分布可视化图像；图6(b)是以面积655μm2为统计单元，得到的t4-15第二相在120mm2范围内数量分布可视化图像；图6(c)是以面积655μm2为统计单元，得到的t5-10第二相在70mm2范围内数量分布可视化图像；图6(d)是以面积655μm2为统计单元，得到的t5-15第二相在110mm2范围内数量分布可视化图像；图7(a)至图7(b)分别为本发明实施例的四种材料t4-6、t4-15、t5-10、t5-15最相邻第二相间的欧式距离频度分布图；图8(a)至图8(b)分别为本发明实施例的四种材料t4-6、t4-15、t5-10、t5-15的长宽比频度分布图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明的目的是提供一种基于深度学习的铝合金微米级第二相定量统计表征方法，采用高通量图像数据采集方式和深度学习算法实现铝合金微米级第二相的自动识别，并结合数学方法挖掘分割提取后第二相的多种表征参数，定量统计材料表面全视场及分区间分布差异，解决传统铝合金中第二相定量表征参数较单一的问题，具有视场大、信息全、准确可靠的特点。该方法避免人工选择视场带来的主观性误差，解决了人工测量、统计存在的效率低的问题；该方法避免人工标记制作数据集，节省了人工时间；该方法实现了自动、精确、全面、快速对铝合金中微米级第二相的表征。为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。如图1所示，本发明提供的基于深度学习的铝合金微米级第二相定量统计表征方法，包括以下步骤：a)选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像；b)基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库；c)利用基于深度学习的图像分割网络u-net对特征数据库进行训练，得到u-net分割模型；d)将未经过训练的特征数据库中的原图输入到建立的u-net分割模型中，以特征数据库中经过人工筛选的二值图像为标准对比验证u-net分割模型预测得到的二值图像的精度值，使用交并比iou作为评估指标，评估分割模型分割精度，选择最优精度对应参数建立u-net目标模型；此外u-net模型分割单张图像时间约为0.4031s，分割细节如图4所示；e)使用高通量扫描电镜对抛光后的待测铝合金表面进行显微组织连续自动采集，得到待测铝合金图像；f)将步骤e采集得到的单张待测铝合金图像进行裁剪，将裁剪后的序列测试图像输入到步骤d建立的u-net目标模型中，分割提取待测铝合金中的第二相，得到二值图像；g)通过连通区域算法处理步骤f中获得的二值图像，得到一个完整的数据集，数据集中包含每个第二相的尺寸、面积、位置信息；h)结合数学统计方法对数据集进行统计分布表征，将测试图像中的位置信息还原到待测铝合金表面，获得全视场定量统计分布情况及可视化结果。其中，所述步骤a中，选取标准铝合金试样进行抛光处理，获取试样表面的微米级第二相图像，具体包括：打磨并抛光标准铝合金试样表面，采用机械抛光，抛光试剂采用sio2研磨膏；采用navigator-opa高通量全自动扫描电镜，采集抛光后标准铝合金试样表面的显微组织图像，得到微米级第二相图像，图像像素为4096*4096。所述步骤b中，基于微米级第二相图像进行图像分割，筛选出特征数据集，生成特征数据库，具体包括：使用mipar图像处理软件对单张图像进行分割处理，所述分割处理包括中值滤波、阈值分割、形态学处理、筛除干扰四步，建立准确的分割模板；将分割模板导入批处理区域，对数据集中的微米级第二相图像进行批量分割处理，然后进行单张人工筛选，将筛选后的特征数据集生成特征数据库。其中，mipar图像处理软件分割单张图像耗时约为60s，批量处理分割图像每张耗时约为0.4016s。所述步骤c中，所述图像分割网络u-net，其结构左侧为下采样层，由卷积层和池化层交替组合，激活函数使用relu，通过对输入的图像进行路径收缩，从而捕捉全局内容，右侧为上采样层，由卷积层和反卷积层交替组合，训练过程中对下采样层的特征图进行路径扩张，从而精确定位图像的每个像素。所述步骤d中u-net网络预测第二相最高iou为86.22％。所述步骤e中，采用与标准铝合金试样相同的抛光和图像采集方法，对待测铝合金进行处理，使用高通量扫描电镜对抛光后待测铝合金表面连续自动采集，任两张连续图像重叠区设置为0-10％，采集图像为4096*4096像素，且相邻图像之间无重叠区域。所述步骤f中，铝合金测试图像是将单张图像按位置裁剪为四张2048*2048像素的序列背散射图像形成的；单张测试图像分割时间为0.4031s。所述步骤g中，采集面积超过100mm2，第二相个数接近40万。所述步骤h中，采用数学统计方法对第二相进行特征统计时，还引入最近邻欧式距离和长宽比等参数，所述最近邻欧式距离表征两相邻不溶相在空间中的最小距离，所述长宽比中长为费雷特直径，宽为像素面积与弗雷特直径的比值。在具体实施例中，选用四种不同规格的枕梁用铝合金，成分如表1所示。目前高铁枕梁材料依然依赖进口，与进口材料相比，国产耐候钢整体稳定性低、耐久性差，根本原因在于，国产材料内部微观尺度上成分、组织结构控制精度低、波动大。因此，通过高通量表征的方式对枕梁用铝合金显微组织进行均匀性评价，对研究枕梁用材料稳定性和耐久性有重要意义。表1四种铝合金的化学成分元素znmgcufesimncrzrtit4-64.531.10.230.170.0880.340.180.120.046t4-154.391.380.0220.160.0670.350.0840.0710.02t5-104.311.010.150.170.0620.370.230.0970.05t5-154.231.090.160.170.0580.370.220.110.048首先，采用步骤a获得的四种铝合金材料的微米级第二相图像如图2(a)-(d)所示，像素大小为4096*4096。将步骤a获得的标准图像经过mipar图像处理软件分割，建立流程为中值滤波、阈值分割、形态学处理、筛除干扰的分割模板，单张图像分割耗时约为60s。在步骤b中，mipar中图像处理软件导入3200张2048*2048像素的批量图像，使用分割模板进行分割处理，单张图像耗时0.4016s，对分割后的单张图像进行人工筛选，通过微调参数使分割效果达到最优，建立特征数据库。建立u-net图像分割网络，网络框架如图3所示。分别用800张、1600张、2400张2048*2048像素图像作为训练数据，训练后保存参数，建立目标分割模型。将未经过训练的特征数据库中的原图输入到建立的分割模型中，以特征数据库中经过人工筛选的二值图像为标准对比验证u-net网络预测得到的二值图像的精度值，三种不同训练集所得测试精度对比如表2所示。以经过人工筛选的二值图像为标准对比验证mipar软件批量处理得到的二值图像的精度如表2所示。表2四种待测铝合金轧板垂直轧制方向截面的尺寸分别为50mm2、120mm2、70mm2、110mm2，采用与步骤a相同的制样方式，用navigator-opa高通量扫描电镜对抛光后的样品进行全视场显微组织特征图谱自动采集，采集分别得到3362、11508、7056、10668张4096*4096像素的背散射原始图像。将步骤e中获得的待检测图像裁剪成2048*2048像素的小视场图像。将裁剪后的待测试图像输入到步骤c建立的基于深度学习的u-net图像分割模型中测试。使用连通区域法对步骤e中获得的二值图像进行统计，获取完整的数据集，包括大尺寸范围内，全视场上第二相的位置、面积、尺寸等信息，统计结果如表3所示。将样品表面面积均分为上表面区域、中间区域和下表面区域，分别用1/3、2/3和3/3表示，分区间统计结果如表4所示，分别显示数量、面积占比和第二相平均面积。表3表4如图5(a)-(d)所示，是四种铝合金材料以面积236μm2、655μm2为统计单元，得到的第二相在50mm2、120mm2、70mm2、110mm2范围内面积分布可视化图像。图6(a)-(d)所示，为四种铝合金材料第二相的数量分布可视化图像。由此可知，轧板中间区域面积分布较大，数量较少，表面区域数量较多，面积分布较小；分布方向与轧向一致，厚度越大趋势越明显；另外，局部区域出现富集和缺失现象。此外，铝合金微米级第二相的间距与材料抵抗裂纹能力、断裂韧性、点蚀等性能密切相关。用数学统计方法，把每张图片的位置信息还原到样品截面上，分区统计相邻特征的最小欧式距离，用以表征第二相空间分布状态。如图7(a)-(d)分别为四种材料最小间距频度分布图，由图可知频度图分布一致，出现两个峰值，分别在0-1、1-2微米两个区间，说明大多数不溶相呈聚集分布。对微米级第二相形状的表征采用长宽比参数表示，这里长为费雷特直径，宽为像素面积与费雷特直径的比值。图8(a)-(d)为四种材料长宽比分布频率直方图，可知，四种材料长宽比分布频率直方图一致，峰值分布在1.5-2区间内。本发明步骤e中通过高通量扫描电镜对抛光后的铝合金表面进行采集，短时间内连续采集序列图像，整体的采集速度比普通电镜快10倍，可获取大尺寸图像信息，实现图像数据的高通量采集；深度学习数据集制作过程采用mipar批量处理与人工微调相结合，大大节省人工时间。将待测图像输入训练好的图像分割模型中，输出耗时0.4031s，准确率达到86.22％。步骤g中，得到完整的包含截面中第二相尺寸、数量、面积、位置信息的全局数据。步骤h中选择合适大小的区域作为统计单元，得到大尺寸截面及分区间统计分布信息，并对全局数据进行可视化；另外，实现了最近邻欧氏距离及长宽比这两种参数表征样品表面第二相空间分布及形状信息。综上，该方法用于大尺寸范围内，铝合金微米级第二相的自动识别、分割提取、定量统计表征。本发明提供的基于深度学习的铝合金微米级第二相定量统计表征方法，基于高通量扫描电镜对第二相图像进行快速采集，得到连续分布的图像数据。基于深度学习语义分割算法，自动识别与分割连续图像中的第二相目标。最后结合数学方法挖掘分割提取后第二相的面积、尺寸、个数、分布密度、形状因子等信息，定量统计材料表面全视场及分区间分布差异。本发明能自动、快速实现对第二相的全视场定位、提取，能精细表征第二相的尺寸、面积、位置、长宽比、分布信息，解决了人工识别、测量、统计显微组织带来的视场小、效率低、精度低、统计信息单一的问题。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。当前第1页12