用于材料金相组织分割的深度学习标记方法、设备和介质与流程

本发明涉及像素标记，具体涉及一种用于材料金相组织分割的深度学习标记方法、设备和介质。

背景技术：

1、钢铁材料的性能由其微观组织决定。如何快速、定量的获得钢铁材料微观组织类别及其含量是材料表征研究的重要内容。使用光学显微镜拍摄样品的切片表面照片是对钢铁材料组织表征的最常见方法之一，其中拍摄的材料微观组织照片称为金相照片，对金相照片的分析通常由实验人员完成。然而由于人存在主观性且效率有限，难以进行定量化统计。

2、近年来，基于卷积神经网络的深度学习方法在计算机视觉领域取得了许多进步。将深度学习方法应用于材料金相组织表征可实现对金相照片中组织的快速识别与定量化统计，深度学习属于有监督学习算法，因此在训练模型时需要提供待识别的原始图像及其对应的标记。对于组织分割模型，需要对原始照片中每个像素点给予分类标记。现有的基于深度学习的材料微观组织图像分割模型的建模过程如图1所示。现有技术方案在获取待识别的金相照片后，通常采用手动像素标记的方式，即需要实验人员在原始图像上将每一个像素点标记为不同的颜色以便区别不同的组织。在收集、标记足够的照片后形成数据集并使用其训练深度学习模型，并最终完成模型的部署与应用。手动像素标记的方式要求实验人员在待标记图片上进行涂抹的方式为每个像素点给予分类标记，而为了完成有效的深度学习模型训练往往需要102-103数量级的照片及其标记，尽管能够用过裁剪、旋转等数据集扩充的方法来扩大数据集，但手动标记效率有限，难以应对日益增多的定量化识别统计需求。另一方面，标记的正确性很大程度上影响模型分割性能。因此手动像素标记方法在对不同组织边缘标记时要求不能遗漏或过度标记，因此实现完整、正确的标记较为困难。同时，部分情况下不同组织间边界不明显，也为标记工作造成困扰。由于每次识别任务面对的组织情况不完全相同，因此现有手动像素标记方法在面对不同任务时都需要再次进行标记，此前的照片及其标记不可重复利用，人力与时间成本高。

3、可见，目前的手动标记方式存在标记效率有限、标记困难以及可重复性差的问题。

技术实现思路

1、有鉴于此，本发明提供了一种用于材料金相组织分割的深度学习标记方法、设备和介质，以框选标记取代了手动像素标记，能够在模型准确率不受影响的同时节约了所需工作时间与人力，且避免了繁重低效的重复工作。

2、为实现上述目的，本发明技术方案如下：

3、一种用于材料金相组织分割的深度学习标记方法，包括：

4、模拟照片中不同组织的分布特征构造一组标记模板，所述标记模板是指模拟金相照片中不同组织分布情况的一组标记图，其尺寸与深度学习模型输入、输出的照片尺寸相同，标记模板中每个像素的灰度值只取待识别组织数量的几个固定值中的一个，标记模板中不同灰度值像素点的分布模拟了金相照片中不同组织的分布情况；对图像中的不同组织形成典型纹理模板，基于标记模板与各组织的典型纹理模板生成仿真数据集；利用生成的仿真数据集及其标记模板训练深度学习模型；使用训练好的深度学习模型对待识别图片进行识别。

5、其中，对图像中的不同组织形成典型纹理模板的过程为：

6、针对待识别的材料微观组织金相图像，框选典型组织纹理，形成纹理模板：在待识别图像中对不同组织的典型纹理进行框选并保存小尺寸的典型纹理图，其尺寸与标记模板尺寸相近。

7、其中，对经过框选并保存的小尺寸典型纹理图进行标准化处理以将其尺寸调整为与标记模板一致，具体为：对于典型纹理图尺寸大于标记模板尺寸的情况，按照标记模板的尺寸在纹理图中进行截取；对于尺寸不足的典型纹理图，采用将其重复平铺排列的方式增加其尺寸，并按照标记模板的尺寸进行截取。

8、其中，所述基于标记模板与各组织的典型纹理模板生成仿真数据集过程具体为：

9、步骤31，从标记模板库中随机挑选一标记模板；

10、步骤32，从各组织的典型纹理模板库中分别随机挑选一纹理模板；

11、步骤33，根据已选的标记模板像素分布特征，生成仿真组织照片，具体操作为：首先选择模板中灰度值相同的像素点区域，将此区域与某一组织已选择的典型纹理模板的同位置区域进行替换；之后，依次再选择模板中其他灰度值相同区域，与其他组织的纹理模板进行替换，最终完成整张模板的替换；

12、经过替换的标记模板即为生成的仿真组织照片，此照片的标记即为最初选择的标记模板，通过将仿真组织照片及其标记进行对称、翻转，扩充数据集；重复若干次步骤31-步骤33，获得包含仿真组织照片及其标记的仿真数据集。

13、其中，使用训练好的深度学习模型对待识别图片进行识别，识别时先将原始图片裁剪为标记模板尺寸的小图片再分别进行识别，再将识别结果进行拼接，最终完成整张图片的识别。

14、其中，识别时采用overlap策略，即采用标记模板尺寸小图片进行识别，识别结果只保存中心部分。

15、本发明还提供了一种电子设备，所述电子设备包括处理器、用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明所述的用于材料金相组织分割的深度学习标记方法。

16、本发明还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明所述的用于材料金相组织分割的深度学习标记方法。

17、有益效果：

18、1、本发明以框选典型纹理标记方法替代手动像素标记方法，要求实验人员在待识别的金相照片中框选并截取不同组织的典型纹理图并保存。相比现有技术路线，本发明省时省力，且标记过程准确率更高。本发明构建了标记模板与纹理模板，具体地，金相照片中的材料组织能够被识别是由于其具有独特的纹理特征，基于框选的典型纹理照片构造纹理模板，为生成仿真组织照片提供了纹理特征；模拟材料组织在金相照片中的分布方式构造了标记模板，为生成仿真组织照片提供了分布特征。

19、2、本发明基于标记模板与组织纹理模板，采用区域替换的方式同时获得包含多类组织的仿真照片及其标记。根据需求可生成任意张组织照片，满足深度学习语义分割模型对数据集体量的需求。

20、3、本发明优选实施方式中，标记模板与纹理模板可重复使用，每次可根据任务需要添加少数新模板即可，避免了繁重低效的重复工作。本发明标记模板与纹理模板经过构造后可以重复使用，避免了繁重低效的重复工作。

21、4、本发明设备构建了标记模板与纹理模板，具体地，金相照片中的材料组织能够被识别是由于其具有独特的纹理特征，基于框选的典型纹理照片构造纹理模板，为生成仿真组织照片提供了纹理特征；模拟材料组织在金相照片中的分布方式构造了标记模板，为生成仿真组织照片提供了分布特征。本发明设备省时省力，且标记过程准确率更高。

22、5、本发明计算机可读存储介质构建了标记模板与纹理模板，具体地，金相照片中的材料组织能够被识别是由于其具有独特的纹理特征，基于框选的典型纹理照片构造纹理模板，为生成仿真组织照片提供了纹理特征；模拟材料组织在金相照片中的分布方式构造了标记模板，为生成仿真组织照片提供了分布特征。本发明设备省时省力，且标记过程准确率更高。