用于分割钢微观组织相的装置和方法与流程

用于分割钢微观组织相的装置和方法
1.相关申请的交叉引用
2.本技术要求于2020年6月30日提交的申请号为10
‑
2020
‑
0080423的韩国专利申请的优先权，该韩国专利申请的全部内容为了所有目的通过该引用并入本文。
技术领域
3.本发明涉及一种用于分割(segment)钢微观组织相的装置和方法。


背景技术：

4.为了降低通过热冲压方法制造的组件的成本负担，第三代钢的应用呈增长趋势。第三代钢利用相变诱导塑性(trip)现象来克服作为现有钢的缺点的低可成型性。为了利用trip现象，钢具有包括铁素体、贝氏体、马氏体和奥氏体的多相微观组织。由于材料的微观组织与可成型性和碰撞性能密切相关，因此需要精确地分割相并定量分析相。
5.因此，现有技术使用电子背散射衍射(electron back scatter diffraction，ebsd)相分割技术。这种相分割技术生成ebsd测量区域的特定数据作为直方图和一维光谱数据，并分割每个相的区间。诸如ebsd的判别相分割方法在多种多相钢，特别是第三代超高张力钢(advanced high strength steel，ahss)的相定量分析中表现出优异的效率，但具有以下两个问题。首先，用户必须从微观组织图像和分布图直接判断相判别(phase discriminant)的参考值，其次，所提供的相判别没有足够的相对比。
6.包括在本发明的该背景技术部分中的信息仅用于增强对本发明的一般背景的理解，并且不能被视为对该信息构成本领域技术人员已知的现有技术的承认或任何形式的暗示。


技术实现要素：

7.本发明的各个方面旨在提供一种用于分割钢微观组织相的装置和方法，利用机器学习来分割钢微观组织相。
8.本发明构思要解决的技术问题不限于上述问题，并且本发明的各个示例性实施例所属领域的技术人员将从以下描述中清楚地理解本文中未提及的任何其它技术问题。
9.根据本发明的各个方面，一种用于分割钢微观组织相的装置可以包括：存储装置，被配置为存储机器学习算法；以及处理装置，利用机器学习算法来分割微观组织相。处理装置可以接收标签数据，可以通过利用标签数据作为机器学习模型的学习数据来学习机器学习模型，并且可以通过利用学习的机器学习模型来分割钢微观组织图像的相。
10.标签数据可以是通过判别相分割算法分割的每个相的单独晶粒图像。
11.判别相分割算法可以执行图像质量(iq)和核平均取向差(kernel average misorientation，kam)的卷积计算。
12.标签数据可以包括关于待分割的晶粒的信息和晶粒的周围信息。
13.可以遮蔽晶粒的周围信息以与关于晶粒的信息区分。
14.可以归一化标签数据的iq值以消除相阴影差异。
15.处理装置可以随机执行标签数据的左右和上下反转(reverse and inverse reflection)并可以将反转的数据用作学习数据。
16.处理装置可以以预定角度旋转标签数据并可以将旋转的标签数据用作学习数据。
17.根据本发明的各个方面，一种用于分割钢微观组织相的方法可以包括：获取标签数据；通过利用标签数据作为学习数据来学习机器学习模型；以及利用学习的机器学习模型来分割钢微观组织图像的相。
18.获取标签数据可以包括：获取利用判别相分割算法分割的每个相的单独晶粒图像。
19.单独晶粒图像可以包括关于待分割的晶粒的信息和晶粒的周围信息。
20.获取标签数据可以进一步包括：遮蔽晶粒的周围信息以与关于晶粒的信息区分。
21.获取标签数据可以进一步包括：归一化标签数据的iq值以消除相阴影差异。
22.获取标签数据可以进一步包括：随机执行标签数据的左右和上下反转，并且将反转的数据添加为学习数据。
23.获取标签数据可以进一步包括：以任意角度旋转标签数据，并且将旋转的标签数据添加为学习数据。
24.本发明的方法和装置具有其它特征和优点，这些特征和优点将从一起用于解释本发明的某些原理的并入本文中的附图以及下面的具体实施方式中显而易见或在附图和具体实施方式中更详细地阐述。
附图说明
25.图1是示出根据本发明的各个示例性实施例的用于分割钢微观组织相的装置的配置的框图；
26.图2、图3和图4是示出根据本发明的各个示例性实施例的利用判别相分割算法的标签数据提取的示图；
27.图5是示出根据本发明的各个示例性实施例的用于分割钢微观组织相的方法的流程图；
28.图6是示出根据本发明的各个示例性实施例的每个相的标签数据的示图；以及
29.图7是示出根据本发明的各个示例性实施例的用于执行用于分割钢微观组织相的方法的计算系统的框图。
30.可以理解的是，附图不一定按比例绘制，呈现了示出本发明的基本原理的各种特征的稍微简化的表示。如本文所包括的包括例如特定尺寸、方向、位置和形状的本发明的特定设计特征将部分地由特别预期的应用和使用环境来确定。
31.在附图中，贯穿附图中的几个图，附图标记指代本发明的相同或等同部分。
32.附图标记说明
33.100：装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
110：通信装置
34.120：输入装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
130：输出装置
35.140：存储装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
150：处理装置
36.1000：计算系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1100：处理器
37.1200：总线
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1300：存储器
38.1400：用户界面输入装置
ꢀꢀꢀꢀꢀꢀꢀ
1500：用户界面输出装置
39.1600：存储装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1700：网络接口
具体实施方式
40.现在将详细参考本发明的各个实施例，实施例的示例在附图中示出并且在下面进行描述。尽管将结合本发明的示例性实施例描述本发明，但是将理解的是，本说明书并不旨在将本发明限制于那些示例性实施例。相反，本发明旨在不仅涵盖本发明的示例性实施例，而且涵盖如所附权利要求书所限定的本发明的思想和范围内可以包括的各种替代形式、修改形式、等同形式和其它实施例。
41.在下文中，将参照示例性附图详细描述本发明的各个示例性实施例。在将附图标记添加到每个附图的组件时，应注意的是，即使相同或等同的组件显示在其它附图上，也由相同的附图标记表示。此外，在描述本发明的示例性实施例时，将排除对公知特征或功能的详细描述，以免不必要地使本发明的主旨不清楚。
42.在描述根据本发明的各个示例性实施例的示例性实施例的组件时，可以使用诸如“第一”、“第二”、“a”、“b”、“(a)”、“(b)”等术语。这些术语仅旨在将一个组件与另一组件区分开，并且这些术语不限制组成组件的性质、顺序或次序。除非另有定义，否则本文使用的包括技术术语或科学术语的所有术语具有与本发明的各个示例性实施例所属领域的技术人员通常理解的含义相同的含义。诸如在通用词典中定义的术语的术语将被解释为具有与相关技术领域的上下文含义相同的含义，并且除非在本技术中明确定义为具有理想或过分形式化的含义，否则将不被解释为具有理想或过分形式化的含义。
43.图1是示出根据本发明的各个示例性实施例的用于分割钢微观组织相的装置的配置的框图。
44.参照图1，用于分割钢微观组织相的装置100(在下文中，被称为“装置100”)可以包括通信装置110、输入装置120、输出装置130、存储装置140和处理装置150。
45.通信装置110可以使装置100与外部设备进行通信。换言之，装置100可以利用通信装置110向外部设备传送数据和从外部设备接收数据。外部设备可以是被配置为执行通信的电子设备，可以是膝上型计算机、台式计算机、便携式终端、服务器、成像仪器等。在此，可以将扫描电子显微镜(sem)、光学显微镜(lom)等用作成像仪器。
46.通信装置110可以将从外部接收的数据直接传送到处理装置150，或者可以经由输入装置120将数据传送到处理装置150。通信装置110可以利用诸如局域网(lan)、广域网(wan)、以太网、无线lan(wlan)(wi
‑
fi)、无线宽带(wibro)、全球微波接入互操作性(wimax)、蓝牙、近场通信(nfc)、高速下行链路分组接入(hsdpa)、码分多址(cdma)、全球移动通信系统(gsm)、长期演进(lte)、高级lte(lte
‑
a)和/或国际移动电信
‑
2020(imt
‑
2000)的通信技术。通信装置110可以包括通信电路中的至少一个。
47.输入装置120可以从通信装置110或外部设备接收标签数据(或地面实况数据(ground truth data))。标签数据(或地面实况数据)可以是指定标签(学习数据的属性)的数据，可以是用于监督学习的学习数据。
48.输入装置120可以处理标签数据(或地面实况数据)，并且可以将处理的标签数据
(或处理的地面实况数据)传送到处理装置150。换言之，输入装置120可以以被配置为由处理装置150处理的数据形式预处理标签数据(或地面实况数据)，并且可以将预处理的数据传送到处理装置150。
49.此外，输入装置120可以包括根据用户的操作生成输入数据的用户输入设备。用户输入设备可以包括键盘、小键盘、触摸板、触摸屏、鼠标、条形码阅读器、快速响应(qr)码扫描仪、操纵杆等。
50.输出装置130可以输出根据处理装置150的操作的进度状态和结果。此外，输出装置130可以输出用户界面(ui)或图形用户界面(gui)。输出装置130可以包括诸如液晶显示器(lcd)、薄膜晶体管
‑
液晶显示器(tft lcd)、有机发光二极管(oled)显示器、柔性显示器、三维(3d)显示器、透明显示器、平视显示器(hud)和触摸屏的显示设备中的至少一个。
51.存储装置140可以存储由处理装置150执行的指令。存储装置140可以临时存储处理装置150的输入/输出数据。存储装置140可以存储机器学习算法(机器学习模型)、学习数据、标签数据等。此外，存储装置140可以存储在机器学习过程中生成的数据、通过机器学习模型分割钢微观组织相的结果等。
52.存储装置140可以安装在处理装置150内部和/或外部。存储装置140可以被实现为诸如闪存、硬盘、安全数字(sd)卡、随机存取存储器(ram)、只读存储器(rom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、寄存器、可移除磁盘和网络存储装置的存储介质中的至少一个。
53.处理装置150可以控制装置100的整体操作。处理装置150可以包括专用集成电路(asic)、数字信号处理器(dsp)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、中央处理单元(cpu)、微控制器和微处理器中的至少一个。
54.处理装置150可以通过通信装置110或输入装置120接收标签数据集，并且可以预处理接收到的标签数据集以将接收到的标签数据集用作学习数据。标签数据集可以是通过判别相分割技术(判别相分割算法)提取的标签数据的集合。标签数据可以是每个相，例如，铁素体和贝氏体的单独晶粒图像(每个晶粒的图像)。单独晶粒图像可以是利用图像质量(iq)图的正方形图像，可以包括单独晶粒周围的相邻区域(周围信息)。因此，由于单位晶粒图像包括关于单独晶粒的周围信息，因此可以在相分割中利用目标晶粒周围的情况来提高相识别率。
55.处理装置150可以遮蔽周围区域以将待分割的晶粒区域与周围背景区分。通过这种遮蔽处理，可以分割标签数据，即单位晶粒图像(单独晶粒图像)中的关注的晶粒区域和周围背景。处理装置150可以归一化标签数据的iq值以消除根据相的阴影差异。通过消除相阴影差异，在相分割时可以仅考虑单独晶粒和单独晶粒周围的形状。
56.处理装置150可以随机执行标签数据的左右和上下反转，并且可以以0
°
至360
°
之间的角度旋转标签数据，以将反转和旋转的数据用作学习数据。因为标签数据的反转减小测量测试件的方向的影响，所以可以提高相分割识别率。
57.处理装置150可以利用每个相的预处理的标签数据来学习机器学习模型。卷积神经网络(cnn)可以用作机器学习模型。处理装置150可以输出利用机器学习模型将测量数据分割为铁素体区域和贝氏体区域的结果。cnn可以是模拟动物大脑的视觉皮层的工作原理的神经网络模型，可以在图像识别中表现出优异的性能。在示例性实施例中，可以采用作为
cnn中的深度神经网络模型的alexnet的结构。alexnet可以在包括红
‑
绿
‑
蓝(rgb)的三个通道的输入图像通过模型的卷积层的同时提取输入图像的特征，并可以基于提取的特征将输入图像分割为一个实体。与最近开发的具有更大量隐藏层的深度神经网络相比，alexnet的识别率可能降低到一定程度，但与深度神经网络相比，基于alexnet的简单结构，alexnet的参数的数量可以更少并且alexnet的运行速度可以更快。
58.处理装置150可以利用转移学习方式来学习机器学习模型。位于机器学习模型(cnn模型)的终端上的现有全连接层可以通过转移学习而被替换为仅分割诸如铁素体和贝氏体的两个实体的层，并且可以向该层分配10倍于先前层的学习速度。处理装置150可以利用每个相的标签数据中的一部分(85％)数据来执行机器学习模型的初次学习。当初次学习完成时，处理装置150可以将机器学习模型的终端层的学习速度返回为与现有层相同。处理装置150可以利用每个相的标签数据中除了用于初次学习的一部分数据以外的其余数据来执行机器学习模型的二次学习以优化模型。优化的机器学习模型，即完成学习的机器学习模型可以包括总共25个隐藏层，例如卷积2d层(convolution 2d layer)、整流线性单元(relu)层(rectified linear unit layer)、交叉通道归一化层(cross channel normalization layer)、最大池化2d层(max pooling2d layer)、全连接层(fully connected layer)、退出层(drop out layer)和softmax层(softmax layer)。
59.处理装置150可以利用完成学习的机器学习模型，即相分割模型来分割微观组织图像中的相。换言之，当将微观组织图像输入到机器学习的相分割模型(算法)时，相分割模型可以分割微观组织图像中的相，并且可以在输出装置(例如，显示器)上输出分割的结果。在此，可以通过诸如sem或lom的成像仪器获得微观组织图像。
60.图2、图3和图4是示出根据本发明的各个示例性实施例的利用判别相分割算法的标签数据提取的示图。
61.因为仅利用iq难以分割铁素体和贝氏体，所以判别相分割算法可以通过同时利用核平均取向差(kam)来构成相判别。参照图2，判别相分割算法可以执行iq图和kam图的卷积。换言之，判别相分割算法可以通过将利用kam图形成的掩模应用于iq图来执行卷积计算，从而获得由kam掩模过滤的iq图，即过滤iq(filtered iq，fiq)。判别相分割算法可以将fiq转换成晶粒平均fiq分布，以去除铁素体和贝氏体彼此重叠的区域，从而容易地将铁素体与贝氏体区分。可以提供成为当利用fiq时分割铁素体相和贝氏体相的相分割标准的分割数值ref，并且可以量化相分数。例如，如图3所示，当输入从原始数据提取的iq分布301和iq图302时，判别相分割算法可以输出相分割结果311和312。
62.可以基于判别相分割算法的相分割结果来提取要用作学习数据的标签数据。这时，如图4所示，可以仅利用各自与参考值，即分割数值ref具有预定差值的晶粒410和420。
63.图5是示出根据本发明的各个示例性实施例的用于分割钢微观组织相的方法的流程图。图6是示出根据本发明的各个示例性实施例的每个相的标签数据的示图。
64.参照图5，在s110中，图1的处理装置150可以接收标签数据作为学习数据。处理装置150可以经由图1的通信装置110或输入装置120接收标签数据。处理装置150可以预处理标签数据以将标签数据用作学习数据。处理装置150可以利用通过电子背散射衍射(ebsd)获得的单独晶粒图像。处理装置150可以利用判别相分割算法来分割单独晶粒图像的相以生成标签数据。判别相分割算法可以利用通过iq和kam的卷积形成的晶粒的相判别fiq来生
成标签数据。处理装置150可以仅利用多个标签数据中的各自具有与分割参考值足够远的值的晶粒来提供标签数据集作为学习数据。如图6所示，学习数据可以包括每个相的标签数据集，例如，铁素体标签数据集610和贝氏体标签数据集620。每个相的标签数据中的一部分(85％)数据可以用于初次学习，其余(例如，15％)数据可以用于通过二次学习验证优化过程。
65.在s120中，处理装置150可以通过利用学习数据来执行机器学习模型的初次学习。处理装置150可以利用学习数据中的一部分数据来学习机器学习模型。cnn模型可以用作机器学习模型。
66.当初次学习完成时，在s130中，处理装置150可以执行机器学习模型的二次学习。处理装置150可以利用学习数据中除了用于初次学习的一部分数据以外的其余数据来执行二次学习以优化机器学习模型。处理装置150可以优化执行了初次学习的机器学习模型(机器学习算法)的参数以生成相分割模型(相分割算法)。
67.在s140中，处理装置150可以利用通过二次学习而学习的机器学习模型来分割输入的微观组织图像中的相。当输入通过成像仪器获得的钢微观组织图像时，处理装置150可以利用学习的机器学习模型，即基于机器学习的相分割模型来分割(划分)钢微观组织图像的相，并且可以输出相分数作为分割的结果。
68.图7是示出根据本发明的各个示例性实施例的用于执行用于分割钢微观组织相的方法的计算系统的框图。
69.参照图7，计算系统1000可以包括经由总线1200彼此连接的至少一个处理器1100、存储器1300、用户界面输入装置1400、用户界面输出装置1500、存储装置1600和网络接口1700。
70.处理器1100可以是中央处理单元(cpu)或处理存储在存储器1300和/或存储装置1600中的指令的半导体装置。存储器1300和存储装置1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括只读存储器(rom)1310和随机存取存储器(ram)1320。
71.因此，结合本文包括的实施例描述的方法或算法的操作可以直接实施为由处理器1100运行的硬件或软件模块或者硬件和软件模块的组合。软件模块可以驻留在诸如ram、闪存、rom、eprom、eeprom、寄存器、硬盘、可移除磁盘和cd
‑
rom的存储介质(即，存储器和/或存储装置)中。示例性存储介质可以联接到处理器1100，并且处理器1100可以从存储介质中读取信息并且可以将信息记录在存储介质中。可选地，存储介质可以与处理器1100集成。处理器1100和存储介质可以驻留在专用集成电路(asic)中。asic可以驻留在用户终端内。在另一种情况下，处理器1100和存储介质可以作为单独的组件驻留在用户终端中。
72.根据本发明的示例性实施例，可以利用以判别相分割技术分割的每个晶粒的图像信息来学习机器学习模型，并且可以利用学习的机器学习模型来分割(划分)钢微观组织相。因此，用户不需要干预。可以灵活地应用于各种钢种。可以保持分析的一致性。
73.为了说明和描述的目的，已经给出了本发明的特定示例性实施例的前述描述。前述描述并不旨在穷举本发明或将本发明限制为所公开的精确形式，并且显然，根据以上教导，许多修改和变型是可能的。选择和描述示例性实施例是为了解释本发明的某些原理及其实际应用，以使本领域技术人员能够实现和利用本发明的各个示例性实施例及其各种替
代形式和修改形式。本发明的范围旨在由所附权利要求书及其等同内容来限定。