基于ResNet与迁移学习的腐蚀金具SEM图像识别方法

本发明涉及材料科学和图像识别，具体地讲，是涉及一种基于resnet与迁移学习的腐蚀金具sem图像识别方法。

背景技术：

1、在材料科学领域，腐蚀金具的表面状态评估是保障材料性能和延长使用寿命的关键环节之一。扫描电子显微镜（sem）图像在材料科学领域中具有广泛的应用，尤其是在金属材料表面腐蚀研究中，是腐蚀金具表面形貌研究的重要手段之一。然而，随着腐蚀程度的不断加深，金具表面出现的形态变化越来越微小，sem图像中的细微特征与腐蚀程度存在复杂关联，传统图像处理方法难以准确提取这些特征，逐渐显现出局限性。因此，腐蚀金具sem图像识别技术成为当前研究热点，具有重要的理论与实际意义。

2、深度学习模型具有强大的特征提取能力，但其在不同领域可能需要调整以适应特定问题，另外神经网络需要大量的数据集提供识别准确率，但收集sem图像数据耗时长、成本高。resnet是由何凯明等人于2015年提出的，其核心思想是引入了"残差连接"（residualconnection），通过跳过一层或多层来实现网络的跳跃连接。这些跳跃连接允许模型直接传递原始信号，减少了在深层网络中梯度消失的问题，使得可以训练更深、更复杂的神经网络。resnet在imagenet图像分类任务中取得了显著的性能提升，并引领了后续深度神经网络的设计思路。

3、发明人通过研究发现，在腐蚀金具sem图像识别中，图像的复杂性和特征之间的关联使得模型需要更好的表达能力和更深的网络结构。而resnet的残差连接可以克服深层网络中的退化问题，有助于提取腐蚀金具sem图像中复杂的特征。同时腐蚀金具sem图像存在原始获取数据途径耗时长、成本高、数据稀缺等问题，单独采用resnet还不能很好地适配该具体领域的图像识别应用。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供一种基于resnet与迁移学习的腐蚀金具sem图像识别方法，通过将resnet作为基础模型，增强了模型的特征提取能力，更好地捕捉了图像中的腐蚀程度特征，并通过迁移学习的方式克服数据稀缺、领域知识迁移等问题，使得模型能够在有限数据情况下更好地适应并解决特定领域的图像识别任务。

2、为了实现上述目的，本发明采用的技术方案如下：

3、一种基于resnet与迁移学习的腐蚀金具sem图像识别方法，包括以下步骤：

4、s10、获取腐蚀金具sem图像的数据集：在实验室模拟酸雨对输电线金具不同程度工况的腐蚀，获得相应金具sem图像的数据集，其中包含未腐蚀、细微结构腐蚀和亚表面腐蚀三种腐蚀类型，然后对数据集进行人工标注标签，并随机打散划分为训练集、验证集和测试集；

5、s20、模型构建：构建一个基于resnet的卷积神经网络作为resnet网络模型，使用已有的大规模图像数据集预训练resnet网络模型的权重，将其作为基础模型结构；

6、s30、模型迁移训练：将步骤s10获得的训练集数据作为模型的初始输入，使用预训练的resnet网络模型对输入图像进行特征提取，使用交叉熵损失函数来衡量resnet网络模型输出的预测结果与对应的标注标签之间的差异，并通过优化算法调整模型参数，使其逐步收敛，获得训练后的resnet网络模型；

7、s40、模型评估：使用步骤s10获得的验证集数据对训练后的resnet网络模型进行评估，通过计算准确率、召回率和f1 sorce指标来评估模型的性能，根据评估结果对resnet网络模型参数继续调优；

8、s50、模型应用：使用步骤s10获得的测试集数据对调优后的resnet网络模型进行验证，并将其应用于对腐蚀金具sem图像的识别。

9、具体地，所述步骤s10中标注标签后对数据集进行预处理，包括对图像添加噪声、旋转、调整明亮度、像素平移，以提高数据集包含的图像数据量。

10、具体地，所述步骤s10中的数据集按6：2：2的比例分为训练集、验证集和测试集。

11、具体地，所述步骤s20中的resnet网络模型包括输入层、卷积层、批归一化层、由堆叠的残差块构成的瓶颈结构、全局平均池化层、全连接层和输出层，采用relu激活函数、交叉熵损失函数和随机梯度下降优化算法，其中每个残差块包含恒等映射分支和残差映射分支，恒等映射分支直接将残差块的输入传递到输出，保持输入信息的完整性，残差映射分支对残差块的输入进行卷积、批归一化和激活操作来进行特征变换输出，然后将恒等映射分支和残差映射分支的输出相加得到残差块的输出，形成残差连接。

12、具体地，所述步骤s20中构建resnet网络模型时，根据问题的复杂性和计算资源，通过试错法选择相应的层数和通道数。

13、具体地，所述步骤s20中使用imagenet数据集预训练resnet网络模型的权重。

14、具体地，所述步骤s30中在模型迁移训练时，先固定特征提取层，加载resnet网络模型时，默认对参数值的每一次更改都将被保存；在resnet网络模型初始化时只冻结更新操作。

15、具体地，所述步骤s40中准确率accuracy的计算公式为：

16、

17、式中，t为正确预测的样本数，p为总样本数；

18、召回率recall的计算公式为：

19、

20、式中，tp表示真正例，fn表示假负例；

21、f1 sorce的计算公式为：

22、

23、

24、式中，tp表示真正例，fn表示假负例，fp表示假正例。

25、具体地，所述步骤s50中，将待识别的腐蚀金具sem图像输入resnet网络模型中进行自动识别，获取该图像对应的腐蚀类型。

26、现有技术相比，本发明具有以下有益效果：

27、（1）本发明通过引入resnet深度卷积神经网络，能够更准确地提取腐蚀金具sem图像中的复杂特征，包括腐蚀程度的多样性以及不同金具类型的差异。这导致了更精准的图像识别结果，有效地区分不同腐蚀程度。

28、（2）本发明采用迁移学习策略充分利用了预训练模型在大规模图像数据上学到的特征，解决了腐蚀金具sem图像数据通常有限且标注困难的问题，这允许在少量标注数据上训练模型，从而最大化了数据的效用，提高了模型的泛化能力。

29、（3）本发明利用迁移学习使得预训练的resnet网络模型能够适应腐蚀金具sem图像特定的特征提取需求，从而增强了模型的领域适应性。这意味着模型能够更好地捕捉与腐蚀金具图像相关的细节，从而提高了识别性能。

30、（4）本发明通过基于resnet的特征提取，不仅能够有效地识别腐蚀金具sem图像，还能够对识别结果提供一定的可解释性。模型可以学习到不同腐蚀程度对应的特征，使得判断基于模型的决策更具有合理性，更利于金属材料表面腐蚀研究。

技术特征：

1.一种基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s10中对数据集进行人工标注标签后，对数据集进行预处理，包括对图像添加噪声、旋转、调整明亮度、像素平移，以提高数据集包含的图像数据量。

3.根据权利要求1所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s10中的数据集按6：2：2的比例分为训练集、验证集和测试集。

4.根据权利要求1所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s20中的resnet网络模型包括输入层、卷积层、批归一化层、由堆叠的残差块构成的瓶颈结构、全局平均池化层、全连接层和输出层，采用relu激活函数、交叉熵损失函数和随机梯度下降优化算法，其中每个残差块包含恒等映射分支和残差映射分支，恒等映射分支直接将残差块的输入传递到输出，保持输入信息的完整性，残差映射分支对残差块的输入进行卷积、批归一化和激活操作来进行特征变换输出，然后将恒等映射分支和残差映射分支的输出相加得到残差块的输出，形成残差连接。

5.根据权利要求4所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s20中构建resnet网络模型时，根据问题的复杂性和计算资源，通过试错法选择相应的层数和通道数。

6.根据权利要求1所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s20中使用imagenet数据集预训练resnet网络模型的权重。

7.根据权利要求1所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s30中在模型迁移训练时，先固定特征提取层，加载resnet网络模型时，默认对参数值的每一次更改都将被保存；在resnet网络模型初始化时只冻结更新操作。

8.根据权利要求1所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s40中准确率accuracy的计算公式为：

9.根据权利要求1-8任一项所述的基于resnet与迁移学习的腐蚀金具sem图像识别方法，其特征在于，所述s50中，将待识别的腐蚀金具sem图像输入resnet网络模型中进行自动识别，获取该腐蚀金具sem图像对应的腐蚀类型。

技术总结
本发明公开了一种基于ResNet与迁移学习的腐蚀金具SEM图像识别方法，包括获取腐蚀金具SEM图像的数据集；构建ResNet网络模型并预训练模型权重；利用腐蚀金具SEM图像的数据集对模型迁移训练；模型评估及调优；将待识别的腐蚀金具SEM图像输入ResNet网络模型中进行识别。本发明在腐蚀金具SEM图像识别中引入了ResNet结构，充分利用其特征提取能力，实现了对腐蚀金具图像中复杂特征的准确捕捉，同时采用迁移学习策略，将预训练的模型在大规模图像数据上的知识迁移到腐蚀金具SEM图像识别任务中，通过调优提高了模型在腐蚀金具图像上的特征适应性。

技术研发人员：蔡萌琦,梁俊豪,王清远,闵光云,周林抒,陈小平
受保护的技术使用者：成都大学
技术研发日：
技术公布日：2024/1/15