基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法

1.本发明属于钢材微观组织图像分类技术领域，涉及一种基于深度学习的钢材微观组织自动分类方法，尤其涉及一种融合自组织增量学习神经网络和图卷积神经网络的钢材微观组织自动分类方法。


背景技术：

2.钢铁材料以其优异的力学性能和低廉的成本，仍然是最重要和最广泛使用的材料之一，钢材微观组织丰富多样，包括铁素体，珠光体、贝氏体、马氏体、奥氏体等，其微观组织类型、含量、尺寸、形貌和分布等特点决定了材料的性能，因此研究钢铁材料的微观组织有重要意义。
3.传统上，钢材微观组织的辨识由人工完成，对人的专业经验依赖性较大，即使是经验丰富的专家也会因为肉眼看不到的图像细节而分析失误。而现代钢材种类越来越多，其内部微观组织越来越复杂，人工辨识面临巨大挑战。随着人工智能的深入发展，国内外研究者已开始将深度学习用于钢材微观组织图像的自动辨识问题上，目前的研究需要将收集到的图像数据分为训练集、测试集，面对庞大的数据量，人工标注训练集的工作量巨大，实际应用很困难。这些问题在其他领域的研究中也屡见不鲜。因此，研究一种能够减少人工数据标注工作量的高效算法，无论对钢材微观组织还是其他领域的图像数据研究，都具有重要的理论研究与实际应用价值。
4.深度学习的概念源于人工神经网络的研究，是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。有研究表明，深度学习在某些特定的图像识别上，能力已经超过人类，造成这一现象的主要原因是深度学习模型通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，和其较强抗噪、复杂函数表达及泛化能力，深度学习不止应用于图像识别，还包括图像生成、机器翻译、目标检测、机器人技术等多个领域。
5.目前在图像数据的分类问题上，一般不能避免训练集、测试集的划分，且不能充分利用图像间的潜在关联信息。然而在其他领域中，早已在用具有极强的抽象性和灵活性的图g＝(v，e)来表达复杂数据关系，其v为节点集合，e为节点间的连接关系。其处理数据的强悍能力成为研究和关注的重点，广泛的应用包括社交网络、交通网络、生物信息、知识图谱、分布式运算、多智能体集群等。图卷积神经网络(gcn)是目前流行且有效的图数据处理方法，其是将cnn提取二维图像特征过程，过渡到图结构，从而进行巨量、稀疏、超维关联的数据挖掘和分析。它可处理具有空间拓扑图结构的不规则数据，并深入发掘其特征和规律。而拓扑学习可获取拓扑图结构，能有效描述数据的空间分布，目前有多种拓扑模型被提出用于数据分析。self-organizing map(简称som)、neural gas(简称ng)和topology representing network(简称trn)在数据空间随机分布一定数量的神经元，并初始化连接，基于竞争学习机制，逐个输入数据样本进行训练；在ng基础上，有growing neural gas(简
称gng)的提出，其神经元随着输入数据动态地增加，比ng具有更强的动态性，但是稳定性较差；自组织增量学习神经网络(self-organizing incremental neural network，简称soinn)在som和gng的基础上增强了网络的可塑性，同时增加了删除噪声节点、自适应调整阈值参数等操作来稳定学习的结果。
6.本发明方法在标注率仅30％时，精度可达91％，且模型计算耗时大幅减少，在保证高分类精度的情况下，减少了人工标注程度，节约人力，且分类实现较快。


技术实现要素：

7.本发明的目的是为了解决现有技术存在的问题，提出基于自组织增量-图卷积神经网络的钢材微观组织自动分类方法，以提高钢材微观组织的分类精度与减少人工标注的工作量。
8.本发明的目的是通过以下技术方案实现的：
9.一种融合自组织增量学习神经网络与图卷积神经网络的钢材微观组织的自动分类方法，包括以下步骤：
10.步骤一、确定要识别的钢材微观组织种类，收集扫描电子显微镜所拍摄的不同钢铁材料样本的微观组织图片，依次为铁素体、珠光体、贝氏体、下贝氏体、板条马氏体、片状马氏体来组成数据集。
11.步骤二、对步骤一中搜集到的所有图片进行相同的预处理，预处理方法如下：
12.1)剔除扫描电子显微镜获取的微观组织图中含有的文字说明部分，得到只含有微观组织图本体的初始数据集t0；
13.2)对数据集t0中的每张图像，按等步长进行等分裁剪，得到新的数据集t1；
14.3)对数据集t1中的所有图像进行图像归一化后标准化处理，得到数据集t2。
15.步骤三、采用在imagenet数据集上预训练好的vgg16模型，去除其中的全连接层，利用余下的卷积模块对数据集t2中所有图像进行处理，并对每张图输出的512张特征图作全局均值池化，得到512维的特征向量，从而得到全部钢材微观组织图像的特征向量数据集ft＝{f1,f2,
…fm
}，fi为第i个特征向量，m为所有图像的张数。
16.步骤四、搭建一种引入连接权重和节点胜利次数的自组织增量学习神经网络wsoinn，利用wsoinn对特征向量数据集进行学习，获得其拓扑图结构，具体算法步骤如下：
17.1)初始化图节点集合v＝{v1,v2}，v1,v2∈rd；节点连接为空集；节点胜利次数其中rd代表长度为d维的向量，n为节点数量，分别表示节点v1,v2各自的胜利次数；
18.2)输入一个新的特征向量样本ξ∈rd，根据欧几里得范数查找v中与ξ最接近的节点s1和s2，即：胜利次数加1，即其中表示||ξ-vn||取最小值时vn的取值；
19.3)计算节点s1、s2的相似度阈值对上述任一节点v∈v，将与v连接的节点集合记为p，若tv＝min||v-vn||,vn∈v\{v}；若tv＝max||v-vn||,vn∈p，其
中表示空集，\表示删除操作；
20.4)如果或v＝v∪{ξ}，否则丢弃样本ξ，同时修正节点s1和s2，s1＝s1+ε(t)(ξ-s1)，s2＝s2+ε'(t)(ξ-s2)，其中
21.5)若s1和s2无连接，e＝e∪{(s1,s2)}，若有连接，如果其中，为s1与s2连接边的权重，w
max
为预定义的连接权重阈值；
22.6)每学习完总样本数的百分比例λ时，则删除孤立节点以及对应的胜利次数；
23.7)若样本输入未结束，则返回步骤2)；否则，输出图节点集合v、连接集合e及各个节点胜利次数。
24.步骤五、根据胜利次数对拓扑图中的节点按一定标注率进行人工标注，具体步骤如下：
25.1)根据节点胜利次数值大小，按照对应关系，对所有集合v中节点进行排序，得到v
order
；
26.2)选出v
order
排序靠前一定比例的节点集合v
l
，根据v、ft对应关系，人工标注节点集合v
l
中所有的节点，得到v
l
的标签集合l
labeled
。其中人工标注比例可取30％。
27.步骤六、基于拓扑图训练图卷积神经网络gcn，利用训练好的gcn对剩余未标注节点进行自动标注，最后根据节点与图像的对应关系确定图像的类别信息，具体步骤如下：
28.1)根据节点数量、特征维度，选择正则化方法，搭建多层图卷积神经网络gcn，其中gcn末层接softmax分类层，用于预测节点信息；
29.2)利用拓扑图g(v,e)训练gcn网络，根据v、v
l
、l
labeled
统计已标注节点的误差，反向传播误差，选择合适算法优化网络参数，反复迭代直至训练误差不在降低；
30.3)将图g(v,e)输入至已训练好的gcn，得到v中全部节点的标签集合l；
31.4)对任意ii∈pictures，ii的标签为的标签lj。
32.其中，gcn的网络结构包括3个图卷积层与1个softmax分类层，每层图卷积后均接relu激活函数；网络输入维度为n*512，第一、二层用于特征整合与降维，输出维度分别为n*512、n*256，第三层卷积层结合softmax层用于分类，输出维度为n*6，n为节点数量。
33.gcn模型训练时引入dropout正则化手段，采用交叉熵作为损失函数，选择adam算法优化参数，初始学习率为0.01，dropout神经元失活的概率为0.5。
34.本发明的有益效果：
35.针对深度学习中图像数据多、标注极其困难的技术难题，融合拓扑学习与图卷积理论，提出了一种新的基于自组织增量-图卷积神经网络(wsoinn-gcn)的半监督分类方法。与现有的深度学习模型相比，本发明所提出的方法有效解决了实际应用时钢材微观组织图像训练集数据人工标注的困难问题，为钢材微观组织图像数据分类等提供了新的解决思路。在钢材微观组织图像标注量仅为vgg等传统深度学习方法的12％时，新方法比传统方法精度高，分类准确度高达91％；在达到相同的分类精度(90％)时，人工标注量仅为传统方法
的5.6％，同时保证了效率优势。该方法具有自动提取数据图结构、实施半监督学习、动态调整网络结构等特性，在图片数据分类等领域有很高的理论研究价值和广阔的应用前景。
附图说明
36.图1是本发明提出的融合自组织增量学习神经网络和图卷积神经网络的模型框架；
37.图2是本发明中扫描电子显微镜拍摄的钢材微观组织图像数据集样本图；
38.图3是利用预训练的vgg16卷积模块提取钢材微观组织图像特征的网络结构图；
39.图4是面向钢材微观组织图像的图卷积神经网络(gcn)的结构图；
40.图5是本发明中的wsoinn网络在不同λ、w
max
(λ为输入样本的百分比例、w
max
为预定义的连接权重阈值)下的节点数；
41.图6是本发明中的wsoinn网络在不同λ、w
max
值下的连接矩阵稀疏程度。
具体实施方式
42.下面以武汉科技大学耐火材料与冶金国家重点实验室扫描电子显微镜所拍摄的钢材微观组织图片为例，结合附图和实施例对本发明作进一步的说明。
43.实施例：
44.采集来自武汉科技大学耐火材料与冶金国家重点实验室扫描电子显微镜(sem)拍摄的钢材微观组织图片(简称金相图)作为数据集，包括铁素体、珠光体、上贝氏体、下贝氏体、板条马氏体、片状马氏体六个类别共152张图片，图2展示的是部分钢材微观组织样本图。为数据集中的每张图片确定一个类别标签，这个类别信息仅限后续人工标注和验证准确率时使用，不做他用。
45.剔除扫描电子显微镜获取的微观组织图中含有的文字说明部分，得到只含有微观组织图本体的图片大小为884*884*3的初始数据集(t0)；对初始数据集t0中的每张图片，按照步长m剪切为多张n*n*1图像，其中m＝221，n＝221，得到新的数据集t1，t1有152*16＝2432张图片；对数据集t1中的所有图像像素值归一化，再将归一化的值标准化处理，处理后2432张图片的集合为pictures＝{i1,i2,
…im
}。
46.本实验硬件支持有cpu为i5-7500，4核4线程，主频3.41ghz，内存12gb，gpu为nvidia gefore gtx 1060，显存6gb，操作系统为win10，编程环境为spyder、python3.7，使用keras、tensorflow等高级深度学习框架来搭建wsoinn、gcn等模型，使用opencv(开源计算机视觉库)对图像进行预处理。
47.本发明提出的融合自组织增量学习神经网络和图卷积神经网络的钢材微观组织自动分类方法，整体模型框架如图1所示。
48.设需要分类的m张图片集合为pictures＝{i1,i2,
…im
}，具体按以下步骤进行：
49.1)对所有ii∈pictures特征提取，得到特征数据集合ft＝{f1,f2,
…fm
}，其与pictures具有一一对应关系。
50.2)对原始特征数据分布进行预估，初始化wsoinn超参数λ、w
max
。
51.3)随机从ft选择两个特征数据初始化wsoinn节点集合v＝{v1,v2}，并初始化节点连接集合e和节点胜利次数集合win_times为空集。
52.4)将所有fi∈ft按顺序输入至wsoinn学习，得到拓扑图结构g，输出v＝{v1,v2,
…
vm}，及对应的e、win_times＝{t1,t2,
…
tm}，由wsoinn算法可知，v与win_times一一对应，对于任意vi∈v，存在fj∈ft与之对应。
53.5)根据胜利次数ti值大小，按照对应关系，对所有vi∈v进行排序，得到v
order
。
54.6)选出v
order
排序靠前一定比例的节点集合v
l
，根据v、ft、pictures对应关系，查看原始图片ii，人工标注所有vi∈v
l
，得到v
l
的标签集合l
labeled
。
55.7)根据节点数量、特征维度，选择正则化方法，搭建合适多层图卷积网络gcn，其中gcn末层接softmax用于预测节点信息。
56.8)将wsoinn输出的图g(v,e)输入至gcn预测所有节点信息，根据v、v
l
、l
labeled
统计已标注节点的误差，反向传播误差，选择合适算法优化网络参数，反复迭代直至训练误差不在降低。
57.9)将图g(v,e)输入至已训练好的gcn，得到v的标签集合l。
58.10)对任意ii∈pictures，ii的标签为的标签lj。
59.其中，gcn的网络结构如图4所示。每层图卷积后均接relu激活函数；网络输入维度为节点数量n*512，第一、二层用于特征整合与降维，输出维度分别为n*512、n*256，参数量分别为512*512，512*256；第三层卷积层结合softmax层用于分类，第三层输出维度为n*6，参数量为256*6，n表示图结构中节点数量。gcn采用adam算法优化参数，初始学习率为0.01，dropout神经元失活的概率为0.5。
60.由上述步骤可知，wsoinn在原soinn上引入了边连接权重表示两节点相似性，从而使得gcn能够挖掘图像之间特征关系，通过引入节点胜利次数来选择少许具有代表性的重要节点进行人工标注，避免随机选择造成的模型不稳定，有机的将wsoinn与gcn半监督学习结合起来，在减少人工标注的同时，实现了高效分类。
61.模型精度指标
62.统计精确率与召回率2个指标，精确率是对标注准确性的度量，召回率反映了标注全面性。对于某一类样本a，构建混淆矩阵如表1所示。
63.表1混淆矩阵
[0064][0065]
对于某一类样本a，属于类a的样本被正确分类到类a，记这一类样本数为tp，不属于类a的样本被错误分类到类a，记这一类样本数为fp，属于类别a的样本被错误分类到其他类，记这一类样本数为tn，不属于类别a的样本被正确分类到了其他类，记这一类样本数为fn；则精确率：召回率：
[0066]
对于模型的整体评估，采用微平均的方法，微平均方法的精确率与召回率相等，只统计一项即可。
[0067]
模型参数的优选分析
[0068]
wsoinn在每输入样本的百分比例λ后，会删除孤立节点，会影响最终节点输出数量。节点数过多可能含有噪声节点，节点数过少不能全面反映所有样本分布，从而间接影响自动标注精度。图5表示为列举了不同λ、w
max
值下，wsoinn获取拓扑图节点的数量情况，颜色越深代表产生的节点数越少，节点数最大值为865，最小值256。图6代表连接矩阵的稀疏程度(非0元素所占比例)，颜色越深表示连接矩阵越稀疏。可见，随着λ、w
max
增大，节点数随之增大，连接矩阵越稠密。
[0069]
实验收集到的金相图片总样本数有2432张，为保证精度同时加快运算，选择产生节点数为原数据量的1/10～1/6左右的w-soinn进一步分析。
[0070]
表2列举了标注率为0.3时剩余节点的自动标注精度。可见：与按照节点胜利次数选择节点标注相比，随机选择节点标注导致剩余节点自动标注精度时高时低，且自动标注精度未超过前者，按照节点胜利次数选择节点标注具有稳定的优势。无论哪种标注方式，随着节点数增多，剩余节点标注精度呈下降趋势，且在同等规模节点下，连接矩阵越稀疏，节点标注精度越高。
[0071]
表2标注率为0.3时不同λ、w
max
值下剩余节点的标注精度
[0072][0073]
结合表2的结果，选取节点数为294、连接矩阵中非0元素个数为324时的参数λ＝10％，w
max
＝2作为wsoinn的优选参数。
[0074]
模型的分类精度
[0075]
表3列举了标注率为0.3、剩点余节自动标注精度为93％时，不同类别金相图的准确率和召回率。可见：高碳片状马氏体召回率虽高，精确率却低至74％，贝氏体精度高，召回率低，存在交叉误判，原因可能是vgg16卷积层虽能暴力提取特征，但是对这种平均像素强度相近的灰度图，vgg16无法进一步获取到深度区分特征。
[0076]
表3节点精度为93％时，金相图各类的精确率与召回率(％)
[0077] 精确率(％)召回率(％)下贝氏体90％92％低碳板条马氏体93％93％珠光体99％92％贝氏体93％73％铁素体100％100％高碳片状马氏体74％97％
[0078]
针对相同的数据集，表4列举了所有图片分类精度达到90％以上，vgg-icam、soinn、mlp、wsoinn-gcn所需的人工标注数量、及训练时间。可见，wsoinn-gcn所需的人工标注量仅为vgg-icam的5.6％、soinn、mlp的5.2％，且训练时间相较于vgg-icam大幅缩减。
[0079]
表4分类精度达到90％，不同方法所需的标注量及训练时间
[0080][0081]
由此可见，本发明的方法与现有的深度学习算法相比，新方法有效解决了实际应用时钢材微观组织图像训练集数据人工标注的困难问题，为钢材微观组织图像数据分类等提供了新的解决思路。wsoinn-gcn具有自动提取数据图结构、实施半监督学习、动态调整网络结构等特性，在图片数据分类等领域有广阔的应用前景。
[0082]
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明的目的，而并非用作对本发明的限定，只要在本发明的实质范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求的范围内。