深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统与流程

1.本发明涉及深度学习用缺陷图像的生成方法以及用于深度学习用缺陷图像生成方法的系统，具体而言，涉及利用人工智能算法来生成学习从检查图像中识别出缺陷的算法的过程中所需的学习用数据(更准确而言为学习用缺陷图像)的方法以及系统。


背景技术：

2.目前存在好几种用于识别对象物中是否存在缺陷的方法理论，其中具有代表性的方法如下：通过对对象物拍摄图像并分析该拍摄到的图像来识别缺陷的存在。
3.另一方面，近来在想要运算某种任意的数据，尤其是想要运算量尤其大的数据时，大多数情况下会利用人工智能算法，但这种人工智能算法的应用在从检查用图像判别是否存在缺陷时也可以使用，只要能对人工智能算法实现适当的学习，则可以期待通过人工智能算法的缺陷判别能力也能够相似地模仿人的智能判断能力。
4.如上所述，为了提高人工智能算法的性能，需要先进行适当的学习，但一般为了进行学习则需要很多的多个种类的学习用数据，而实际情况是在现实中很难生成或收集这种学习用数据。
5.在现有技术中，为确保学习用数据，存在一般的图像增强(augmentation)方法，也就是对图像进行旋转(rotate)、翻转(flip)、重新调整大小(rescale、resize)、剪裁(shear)、缩放(zoom)、添加噪声(add noise)的方法，但仅利用这种方法，只能进行缺陷(不良)图像的单纯变换，因此面临无法生成新形式的缺陷(不良)图像的局限。
6.由此，在相关领域中，确保使人工智能算法能够充分学习的用途的学习用数据的需求，尤其是确保能够学习多个种类、形状的缺陷的学习用数据的需求在逐渐增加，而本发明正是着眼于这种状况而提出的。
7.本发明是鉴于上述背景而提出的，将通过详细说明来描述的发明不仅能够解决上文中提到技术问题，还提供了对于本领域技术人员而言并不容易发明的附加技术要素。


技术实现要素：

8.本发明的目的在于，任意生成非常多的多种学习用缺陷图像，进一步地，其目的在于大量且快速地生成这种学习用缺陷图像。
9.另外，本发明的目的在于，利用这样生成的学习用缺陷图像使人工智能算法进行学习，由此提高检查图像内的缺陷检测精度。
10.另一方面，本发明的技术问题并不局限于上文中提到的技术问题，本领域技术人员可以根据下文中的描述来明确理解未提到的其他技术问题。
11.本发明是为了解决上述问题而提出的，本发明所涉及的学习用缺陷图像生成方法包括：从样本图像提取缺陷区域的步骤；决定对象图像内的对象区域的步骤，所述对象区域是合成所述缺陷区域的区域；参考所述对象区域的图像信息来修正所述缺陷区域的步骤；
以及将修正后的缺陷区域合成到所述对象图像内的对象区域而生成学习用缺陷图像的步骤。
12.另外，所述学习用缺陷图像生成方法中，在提取所述缺陷区域的步骤之后还可以包括：将所述缺陷区域内的缺陷的形状变形的步骤。
13.另外，所述学习用缺陷图像生成方法的特征在于，决定所述对象图像内的对象区域的步骤中的对象区域可以包括变形的缺陷的形状以及所述变形的缺陷周边的周边区域，此时可以随机决定所述对象图像内的对象区域的位置和大小中的至少一个。
14.另外，所述学习用缺陷图像生成方法的特征在于，在修正所述缺陷区域的步骤中，可以进行减少所述缺陷区域内的周边区域和所述对象区域内的周边区域之间的图像信息的差异的修正。
15.另外，所述学习用缺陷图像生成方法的特征在于，在修正所述缺陷区域的步骤中，可以对所述缺陷区域内的周边区域和所述对象区域内的周边区域中的至少一个进行直方图修正。
16.另外，所述学习用缺陷图像生成方法的特征在于，将所述修正后的缺陷区域合成到所述对象图像内的对象区域而生成学习用缺陷图像的步骤还可以包括：对所述缺陷区域进行图像调整的步骤。
17.另外，所述学习用缺陷图像生成方法的特征在于，所述图像调整步骤可以包括：对所述缺陷区域中缺陷或者周边区域中至少一个的边缘(edge)进行模糊处理的步骤。
18.另一方面，本发明的又一实施例所涉及的学习用缺陷图像生成方法可以包括：从样本图像提取缺陷区域的步骤；将所述缺陷区域内的缺陷的形状变形的步骤；以及对对象图像合成形状变形的所述缺陷而生成学习用缺陷图像的步骤。
19.另外，所述学习用缺陷图像生成方法的特征在于，生成所述学习用缺陷图像的步骤是将形状变形的所述缺陷插入到所述对象图像内任意的对象区域中的步骤。
20.另外，所述学习用缺陷图像生成方法的特征在于，生成所述学习用缺陷图像的步骤在将形状变形的所述缺陷插入到所述对象区域中的步骤之后，还可以包含对所述缺陷区域进行图像调整的步骤。
21.另一方面，本发明的又一实施例所涉及的学习用缺陷图像的生成系统可以包括：提取部，从样本图像提取缺陷区域；对象区域决定部，决定对象图像内的对象区域，所述对象区域是合成所述缺陷区域的区域；修正部，参考所述对象区域的图像信息来修正所述缺陷区域；以及合成部，将通过所述修正部修正后的缺陷区域合成到所述对象区域而生成学习用缺陷图像。
22.另外，所述学习用缺陷图像生成系统还可以包括：变形部，将所述缺陷区域内缺陷的形状变形。
23.另一方面，本发明的又一实施例所涉及的学习用缺陷图像的生成系统可以包括：提取部，从样本图像提取缺陷区域；变形部，将所述缺陷区域内缺陷的形状变形；以及合成部，对对象图像合成形状变形的所述缺陷而生成学习用缺陷图像。
24.根据本发明，具有能够将多个种类的学习用缺陷图像快速且容易生成的效果，由此具有能够确保充足量的学习用数据的效果。
25.另外，根据本发明，能够通过多个种类的学习用缺陷图像来实现人工智能算法的
充分学习，因此具有在实际场合应用人工智能算法时能够提高缺陷检测精度的效果。
26.另一方面，本发明的效果不局限于上文中提到的效果，本领域技术人员可以根据下文中的描述来明确理解未提到的其他技术效果。
附图说明
27.图1以及图2是用于说明本发明中说明的人工智能算法的功能以及学习的必要性的图。
28.图3是示出根据本发明的第一实施例的学习用缺陷图像的生成方法的图。
29.图4是为了容易理解上述第一实施例所涉及的学习用缺陷图像生成方法而示出的图。
30.图5是示出根据本发明的第二实施例的学习用缺陷图像的生成方法的图。
31.图6是为了容易理解所述第二实施例所涉及的学习用缺陷图像生成方法而示出的图。
具体实施方式
32.对于本发明的与目的和技术构思及其带来作用效果有关的详细事项，可通过本发明说明书中依据附图的下文中的详细描述来更明确理解。参照附图对本发明所涉及的实施例进行详细说明。
33.本说明书中公开的实施例不应被用于解释或用作限定本发明的范围。包括本说明书中的实施例在内的说明对本领域技术人员带来多种应用是理所当然的。因此，本发明的详细说明中记载的任意实施例都是为了更好地说明本发明而示出的，并不旨于将本发明的范围限定为实施例。
34.在图中示出且在下文中说明书的功能块仅仅是可实施的示例。在进行其他实施时，可以在不脱离详细说明的构思及范围的范围内使用其他功能块。另外，将本发明的一个以上的功能块以独立块来示出，但本发明的功能块中一个以上可以是执行相同功能的多种硬件及软件结构的组合。
35.另外，包括某一结构要素的表述为“开放式”的表述，表示相应结构要素是存在的，不应理解为将额外的结构要素排除在外。
36.进一步，在提及某一结构要素与另一结构要素“连结”或“连接”时，应当理解为可以与该另一结构要素直接连结或直接连接，但也可以在它们之间存在其他结构要素。
37.下面，参照附图对本发明所提出的学习用缺陷图像生成方法以及用于学习用缺陷图像生成方法的系统进行说明。
38.首先，图1是用于对详细说明中提及的人工智能算法进行简单说明的图，这里提及的人工智能算法的主要功能如下：若输入了任意的检查用图像(i)，则掌握该检查用图像(i)中是否存在缺陷(defect)，最终从检查用图像中检测出观察对象的缺陷。
39.检查用图像是指通过拍摄所要观察的对象而创建出来的图像数据，此时，所要观察的对象即观察对象并无特殊限制。需要说明的是，本发明中的人工智能算法也可以被理解为一种非破坏性检查，例如通过对x射线影像之类的投射影像也执行图像分析，由此能够检测出缺陷。
40.只要输入到人工智能算法的检查用图像具有任意的图像数据形式，则所述人工智能算法能够经过图像分析过程来识别并检测出缺陷，此时，在图像分析过程中可以包括应用图像数据所具有的信息的多种分析方法，例如能够利用构成图像的像素之间的rgb值或者hsv值的差异来提取边界线等。
41.另一方面，上述人工智能算法本身以可以由具备中央处理器(cpu)以及存储器的可运算装置来执行为前提，这里提及的人工智能算法以能够实现机器学习、更准确而言为深度学习(deep learning)为前提。
42.图1是用于说明人工智能算法的主要功能的图，则图2是示意性示出为提高人工智能算法的性能而应用许多学习用数据来实现学习的过程的图。深度学习是指，虽然存在处于函数关系的x和y但不存在从x准确地预测到y的模型时作为应对方案而使用的学习，将数据表示为可进行计算机处理的形式，并学习该数据的模型。存在多个种类的深度学习实施方法，若为将神经网络层叠好几层以构建模型的方法，则可以被理解为深度学习。深度学习模型中，具代表性的有如下：在输入层和输出层之间存在多个隐藏层(hidden layer)的“深度(deep)神经网络”；与动物的视觉皮层结构相似的形成神经元之间的连结模式的“卷积(convolutional)神经网络”；随时间推移每一刻都层叠神经网络的“循环(recurrent)神经网络”；能够对输入集合进行概率分布的学习的“受限玻尔兹曼机(restricted boltzmann machine)”等。
43.能够实现这种深度学习的人工智能算法基本上需要经过学习的过程，这是因为在最开始没有提供任何信息的情况下由人工智能算法自身来学习因果关系是有难度的。另一方面，存在如下问题，即，在该学习过程中需要相当多的量的学习数据，但一般相比于计算机装置能够执行的运算规模非常大，人所能提供的学习用数据的量是有限的，在学习用数据不足的状态下人工智能算法的性能会大幅度降低。本发明就是为了能够在这一过程中将人工智能算法的学习用数据以多个种类生产出庞大量而提出的，更简单来讲，涉及在图2左侧列出的学习用数据的生成方法及系统。
44.图3是示出本发明的第一实施例所涉及的学习用缺陷图像生成方法的图。需要说明的是，学习用缺陷图像生成方法可以通过具备中央处理器以及存储器的系统来执行，此时，中央处理器还会被称为控制器(controller)、微控制器(microcontroller)、微处理器(microprocessor)、微型计算机(microcomputer)等。另外，中央处理器可以通过硬件(hardware)或者固件(firmware)、软件或者它们的组合来实现，在利用硬件实现时可以构成为asic(application specific integrated circuit，专用集成电路)或者dsp(digital signal processor)、dspd(digital signal processing device，数字信号处理器)、pld(programmable logic device，可编程逻辑器件)、fpga(field programmable gate array，现场可编程门阵列)等，在利用固件或软件实现时可以构成为包括执行上述的功能或者动作的模块、步骤或者函数等。另外，存储器可以构成为rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、eprom(erasable programmable read only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read-only memory，电可擦可编程只读存储器)、闪存(flash)、sram(static ram，静态随机存取存储器)、hdd(hard disk drive，硬盘驱动器)、ssd(solid state drive，固态硬盘)等。
45.第一实施例所涉及的学习用缺陷图像生成方法大体上可理解为如下过程：提取缺陷的过程、将缺陷变形的过程、修正包括缺陷的缺陷区域的过程、以及将上述缺陷区域合成到对象图像中的过程。即，可以包括如下过程：在从作为样本的图像提取任意缺陷之后，对该缺陷加以变形并将该变形后的缺陷合成到作为对象的图像上。下面，参照图3以及图4，对第一实施例所涉及的学习用缺陷图像生成方法进行更详细的说明。
46.学习用缺陷图像生成方法最先以从样本图像提取缺陷区域的步骤(s101)开始。样本图像是指拍摄存在缺陷的观察对象得到的图像，该样本图像可被理解为不问缘由地对存在缺陷的观察对象进行拍摄得到图像，例如在实际制造工序中拍摄存在缺陷的观察对象得到的图像、在对观察对象进行维护的过程中拍摄得到的图像、或者在故意对观察对象造成缺陷之后拍摄得到的图像。另外，上述样本图像就算只存在一个，也能根据本发明来生成大量的学习用缺陷图像，但通过将样本图像确保多个，能够实现多种形状的学习用缺陷图像的生成。
47.关于缺陷区域，在详细说明中提及的缺陷区域可被大致定义为两种形式。
48.第一，缺陷区域可被定义为仅包括实质上的缺陷本身的区域。即，在观察对象上存在缺陷时，由该缺陷的外轮廓线形成的闭合曲线内部可被定义为缺陷区域。
49.第二，缺陷区域可被定义为除了实质上的缺陷之外还包括包围该缺陷周边的预定区域。即，实质上的缺陷部分和包围该缺陷周边的周边区域合在一起而构成一个缺陷区域，此时，缺陷区域可以是在已设定的条件下定义的。例如，将条件设定为在识别出实质上的缺陷部分时，使得将在该缺陷的上/下、左/右存在的最外侧点作为切线而描绘出水平线、垂直线而定义的一个四边形成为缺陷区域。另一方面，上述缺陷区域可以通过在上述样本图像上直接接受使用者的输入而定义。例如，在加载有样本图像的系统上，使用者通过鼠标输入、触控笔输入或者触摸输入等来指定包围任意的缺陷部分的区域时，可以将该指定的区域定义为缺陷区域，此时，缺陷区域也可以包括实质上的缺陷部分以及包围该缺陷部分的周边区域。所述缺陷区域中实质上的缺陷部分是为了生成新形状的任意缺陷，另外周边区域是为了减少与对象图像合成时的异质感，对此将在下文中描述。
50.在图4的左侧上端，示出了从样本图像10提取缺陷区域20的过程。在参照图4时，可以在样本图像10上的任意位置存在缺陷，至少包括该缺陷的任意区域被识别为缺陷区域20而被提取。此时，缺陷区域可以包括缺陷本身的闭合曲线内部、或者缺陷本身以及预定的其周边区域。
51.在s101步骤之后，可以执行将缺陷变形的步骤(s102)。该步骤是为了生成更多种形状的缺陷，例如可以进行如下形状变形：变更缺陷的大小或变更缺陷的外轮廓形状或使缺陷旋转或使缺陷翻转等。这样在该步骤中，为了缺陷的变形可以执行多种逻辑，通过在各种逻辑下随机决定变形的程度，能够创建更多种类的缺陷形状。
52.其中，所述s102步骤可以不是学习用缺陷图像的生成方法中必须执行的步骤，可以仅在必要情况下实施缺陷变形。如果省略了该步骤，则在最终生成的学习用缺陷图像中包括与从所述样本图像10提取的缺陷区域20或者缺陷相同的形状的区域。
53.在s102步骤之后，可以执行决定对象图像内的对象区域的步骤(s103)。对象图像可以被理解为表示最终生成学习用缺陷图像时成为该缺陷图像的背景的图像，或者表示合成从样本图像提取的缺陷的图像。另外，对象区域可以被理解为合成从样本图像提取的缺
陷区域或者缺陷的区域。即，s103步骤也可以被理解为决定在对象图像上的哪个位置合成缺陷的步骤。
54.在该步骤中，在决定所述对象区域的过程中，可参考上面提取的缺陷区域或者缺陷。例如，缺陷区域的宽度、幅度及长度、缺陷的形状、缺陷的长度及幅度、变形后的缺陷的形状、长度及幅度等可以在对象图像内决定对象区域时参照。对象区域优选被决定为具有与所述缺陷区域或者缺陷相同的大小以及形状，这是为了防止在随后将所述缺陷区域或者缺陷合成到所述对象区域后异质性所导致的误差的产生。需要指出的是，可以随机决定在所述对象图像内决定的对象区域的位置和大小中的至少一个。即，在决定对象区域的过程中，可参照上面提取的针对缺陷区域或者缺陷的信息，然而对象区域的位置和大小中的至少一个是可以随机决定的。
55.在参照图4时，右侧上端示出了在对象图像30内决定对象区域40的过程，此时，可以确认到对象区域40是参照了从样本图像10提取的缺陷区域20或者缺陷的区域。
56.在s103步骤之后，可以执行修正缺陷区域的步骤(s104)。该步骤可以被理解为为了将提取出的缺陷区域或者缺陷合成到对象图像的对象区域时减少异质感而执行的过程。简单来讲，在将从样本图像提取的缺陷区域或者缺陷直接贴到对象图像上时，最终生成的学习用缺陷图像有可能不会被视为正常的缺陷图像，由此可能会导致作为学习用数据的价值消失的问题，在本发明中，通过设置预先修正缺陷区域的步骤，可生成尽可能自然的缺陷图像。
57.图4中示出了缺陷区域20和对象区域40相互对比而对缺陷区域20进行修正的过程。修正方法中可存在多种方法，优选由直方图(histogram)修正来实施。直方图是指将图像的亮度值(intensity)作为横轴并将具有与横轴的亮度值对应的大小的像素在图像内达到的数量作为纵轴而创建的图表，由此至少能够判断作为分析对象的图像有多亮或有多暗。在s104步骤中，可以参照对象图像30内的对象区域40部分在整体上包括多少具有何种程度的亮度值的像素，来修正缺陷区域20的明暗，这种过程在图4的直方图中示出。即，在直方图的左侧存在的缺陷区域20所对应的图表被修正为向对象区域40所对应的图表侧移动。
58.另一方面，上面对缺陷区域可被定义为两种方式的情况进行了说明，一种是将缺陷其本身定义为缺陷区域，另一种是将缺陷以及周边区域包括在内而定义为缺陷区域。在任意一种情况下，都可以执行上述s104步骤的修正过程，第一个定义方式所涉及的缺陷区域的情况下，修正为相应缺陷区域的颜色具有与对象区域相似的直方图，可以将此时的修正限制为：只是朝向与对象区域40的直方图相似的方向进行修正，而不会修正到与对象区域40的直方图相同的程度。如果修正到与对象区域40的直方图相同的程度，则缺陷区域20的识别本身可能都难以进行，在第一种定义方式所涉及的缺陷区域的情况下，朝向与对象区域40的直方图相似的方向进行修正，并且需要对其修正程度进行限制。另一方面，在第二种定义方式所涉及的缺陷区域的情况下，除了对缺陷部分进行修正之外，还能额外地对周边区域实施修正。根据情况，也可以省略对缺陷部分的修正，仅对周边区域实施修正。对于所述缺陷区域中周边区域的修正，可以实施与所述对象区域或者对象区域中周边区域相似的直方图修正。在将缺陷区域合成到对象图像中时，使异质感最小化的方法之一是将缺陷位于的区域周边修正地自然一些，而在本发明中，则为此使缺陷区域中周边区域呈现得与对象区域(或者对象区域中周边区域)相似，也就是进行减少两个图像之间的图像信息的差
异的修正，由此来意图实现这种效果。
59.在s104步骤之后，可以执行通过将修正后的缺陷区域合成到所述对象图像内的对象区域而生成学习用缺陷图像的步骤(s105)。简单来讲，该步骤也可以被理解为在上面的步骤中将修正后的缺陷区域贴到对象区域的步骤。另一方面，在生成学习用缺陷图像的步骤中，也可以通过加上对所述缺陷区域进行图像调整的步骤，最终使学习用缺陷图像能够成为更自然的图像。可以对图像调整应用多种方式，例如可以应用对缺陷区域中缺陷和周边区域中至少一个的边缘(edge)进行模糊处理、内插值处理或和谐化(harmonization)处理等方式。
60.在图4的下端，示出了模样变形的缺陷区域合成到对象图像上而最终生成学习用缺陷图像50的样子。
61.以上参照图3以及图4对本发明的第一实施例所涉及的学习用缺陷图像生成方法进行了说明。
62.图5以及图6是关于本发明的第二实施例所涉及的学习用缺陷图像生成方法的图。第二实施例的特征在于，不同于上面的第一实施例，在从样本图像提取缺陷区域之后将该缺陷区域的形状变形，然后直接合成到对象图像中。即，第二实施例的特征在于，省略了缺陷区域的修正过程，而代替该过程实施缺陷区域合成到对象图像上之后在该状态下的修正，由此生成学习用缺陷图像。
63.首先在参照图5时，第二实施例所涉及的学习用缺陷图像生成方法可以最先以从样本图像提取缺陷区域的步骤(s201)开始。对于样本图像、缺陷区域的说明实质上与上面第一实施例中的相同，但关于缺陷区域，在第二实施例中可以被定义为缺陷区域仅包括缺陷其本身。即，第二实施例中的缺陷区域可以为由缺陷的外轮廓线形成的闭合曲线内部。
64.在s201步骤之后，可以执行将缺陷的形状变形的步骤(s202)。该步骤是为了生成更多种形状的缺陷的步骤，例如可以实施如下形状变形：变更缺陷的大小；将缺陷的外轮廓线形状变形；使缺陷旋转；以及使缺陷翻转等。
65.在s202步骤之后，可以执行通过将变形的缺陷直接合成到对象图像上而生成学习用缺陷图像的步骤(s203)。在该步骤中，将形状变形的所述缺陷插入到所述对象区域中之后，还可以包括对所述缺陷区域进行图像调整的步骤，然而这是为了使学习用缺陷图像内缺陷区域有可能造成的异质感最小化的过程。在图像调整步骤中，可以应用在上面的第一实施例中说明的那种对变形的缺陷区域的边缘(edge)进行模糊处理、插值处理或和谐化处理等方式。又一方面，在图像调整步骤中，可以设定有将所述变形的缺陷区域的周边区域也包括在内的对象区域，并且在调整图像时，通过对周边区域单独进行图像调整，能够进一步减少合成所带来的异质感。
66.图6中按顺序示出了第二实施例所涉及的学习用缺陷图像生成方法，示出了最先从样本图像10提取缺陷21并将该缺陷变形的步骤、变形的缺陷41合成到对象图像30内的步骤、对对象图像内的对象区域40或者变形的缺陷41实施图像调整的步骤等。
67.以上参照图5以及图6对第二实施例所涉及的学习用缺陷图像生成方法进行了说明。
68.另一方面，上面说明的第一以及第二实施例都是通过具备中央处理器以及存储器的计算机装置来实施的方法，对能够实现各实施例的系统按具体结构划分时，其说明如下。
69.首先，对应于第一实施例的统100可以包括：提取部110，从样本图像提取缺陷区域；对象区域决定部130，决定对象图像内的对象区域，所述对象区域是合成所述缺陷区域的区域；修正部140，参考所述对象区域的图像信息来修正所述缺陷区域；以及合成部150，将通过所述修正部修正后的缺陷区域合成到所述对象区域而生成学习用缺陷图像，除此之外，还可以包括用于将所述缺陷区域内缺陷的形状变形的变形部120。
70.接下来，对应于第二实施例的系统200可以包括：提取部210，从样本图像提取缺陷区域；变形部220，将所述缺陷区域内缺陷的形状变形；以及合成部230，对对象图像合成形状变形的所述缺陷而生成学习用缺陷图像。
71.以上对学习用缺陷图像的生成方法以及用于学习用缺陷图像的生成方法的系统进行了说明。本发明并不限定于上述特征的实施例以及应用，可以在不脱离权利要求书所请求的本发明主旨的范围内，由本领域技术人员来实施多种变形实施，这种变形实施不应与本发明的技术构思或观点区分理解。