机器学习装置、检查装置以及机器学习方法与流程

本发明涉及机器学习装置以及机器学习方法。特别涉及能够高效地生成用于机器学习的学习数据的机器学习装置以及机器学习方法。另外，涉及使用了该机器学习装置以及机器学习方法的检查装置。

背景技术：

目前，已知一种系统，其通过视觉传感器取得检查对象物的图像，并且通过图像处理来检查所取得的图像。在通过图像处理进行检查对象物的检查时，有一种使用机器学习的方法来判别ok(良品)、ng(发现了某些缺陷的所谓不良品)的方法。

为了进行该机器学习，需要由检查对象物的图像和指定该图像中拍摄的检查对象物是ok还是ng的标签组成的学习数据。这样，如果大量地准备检查对象物的图像和具有“ok”或“ng”值的标签的学习数据的组，则能够使用这些学习数据的组进行机器学习。之后，(进行了机器学习的)机器学习装置能够根据机器学习到的内容对检查对象物的新输入图像判别ok、ng。

在进行机器学习之前，ok、ng的判断大多由人来进行，其判断结果被用作上述学习数据。另外，即使在进行了机器学习后，机器学习装置有时也会错误判定，因此需要人来进行其订正。

在这种情况下，需要将人进行的判断和订正提供给进行机器学习的装置等。作为提供的一个方法，考虑在通过视觉传感器得到的检查对象物的图像上由人附加ok、ng的标签。其结果，能够容易地得到检查对象物的图像与具有“ok”或“ng”的值的标签的组。作为关于这种技术的内容，列举有专利文献1～2。

在专利文献1中公开以下技术，即在被检查物的表面检查装置中针对进行被检查面的摄像的位置进行学习。该学习是指将进行摄像的顺序与摄像位置进行关联。即，在该专利文献1中没有示出机器学习。

专利文献2公开以下技术，即检查员通过目视检查车体的涂装，在缺陷位置附加标记。通过下游工序检测附加了标记的位置，将其作为缺陷部位进行研磨。在该专利文献2中，对付加了标记的位置进行修正处理。

在由人判断ok、ng时，大多观察实际的检测对象物(工件)来判断ok、ng。这样在人实际观察了检查对象物后再观察图像并附加ok、ng的标签可以说是繁琐的作业。这里，例如考虑以下两种情况。

(a)在拍摄了对象物的图像中，人一边观察该图像一边指定缺陷的位置。

(b)分割对象物的各部位来取得多张图像，人从该多张图像中找出拍摄了缺陷的图像，并对该图像附加ng标签。

在(a)的情况下，首先由人在实际的检查对象物上发现缺陷后，人再次从通过视觉传感器得到的图像找出与缺陷部分对应的位置，在该图像上指定缺陷部位，并且赋予ng标签。但是，需要在实际的检查对象物上找到缺陷部位的作业和在图像上找到缺陷部位的作业的二次操作，容易成为繁琐的作业。

在(b)的情况下，首先由人在实际的检查对象物上发现缺陷后，人从多张图像中找出与该缺陷部位对应的图像，对该图像赋予ng标签。因此，需要在实际的检查对象物上找到缺陷部位的作业和寻找包括该缺陷部位的图像的作业的二次操作，容易成为繁琐的作业。另外，当图像的数量较多时，作业量会与此成正比地增大。

以上，直接使用由人观察检查对象物而发现的缺陷来用在用于机器学习的学习数据中即可，但是现状是还不知道这样的技术。

专利文献1：日本特开2009-14357号公报

专利文献2：日本特开平5-196444号公报

技术实现要素：

本发明的目的为提供能够更加高效地生成用于机器学习的学习数据的机器学习装置以及机器学习方法。

本发明者们为了达到上述目的，深入研究以下原理。

首先，检查员在实际检查对象物上的缺陷部分标记特定的记号。通过与使用上述现有的图像处理进行检查情况相同的方法，拍摄图像并取得标记了上述记号的检查对象物的图像。从取得的图像找出特定的记号，将被标记了记号的部分作为缺陷进行登记。作为缺陷进行登记时，还能够对该图像赋予ng的标签来进行登记。

通过这种原理，能够得到能够用于机器学习的学习数据。这里，学习数据是至少包括机器学习用的图像(称为“学习用的图像”)和保持ng或ok的值的标签的数据。此时，可以从机器学习用的图像去除被标记在检查对象物上的记号。

另外，本发明者们关于记号去除的机制，例如研究了以下的处理。

作为去除方法1，作为对检查对象物进行标记的记号，利用使用了特定的形状或特定的颜色的记号。此时，如果图像中有特定的形状或特定的颜色的记号，则通过图像处理将其去除，由此能够将该图像用作学习用的图像。另外，如果图像中有特定的形状或颜色的记号，则在机器学习中也能够不使用该部分。

另外，作为去除方法2，使用荧光涂料对检查对象物标记记号。例如，可以使用在可视光下无色透明，但是在紫外线下发出荧光的荧光涂料。检查员在使用这种荧光涂料对检查对象物标记记号后，检查/学习用的图像在可视光照明下拍摄，能够以记号不拍摄到图像中的方式取得。另外，缺陷检查用图像，在紫外光照明下拍摄，可以使记号拍摄到图像中来取得。

本发明具体来说采用以下的结构。

(1)本发明为生成用于机器学习的学习数据的机器学习装置(例如后述的机器学习装置40)，具备：图像输入部(例如，后述的图像输入部42)，其输入拍摄标记了表示缺陷的记号的检查对象物(例如后述的检查对象物12)而得到的图像；以及生成部(例如后述的生成部44)，其根据所输入的上述图像来生成上述学习数据，在所输入的上述图像中没有上述记号的情况下，上述生成部生成由作为输入的上述图像本身的学习用图像和保持表示没有缺陷的无缺陷值的标签组成的学习数据，在所输入的上述图像中有上述记号的情况下，上述生成部生成由以输入的上述图像为基础而生成的学习用图像和保持表示有缺陷的有缺陷值的标签组成的学习数据。

(2)在(1)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以生成由以输入的上述图像为基础而生成的学习用图像、通过上述记号表示的缺陷的位置以及保持上述有缺陷值的标签组成的学习数据。

(3)在(1)记载的机器学习装置中，表示缺陷的上述记号是根据上述缺陷的种类而不同的记号，在所输入的上述图像中有上述记号时，上述生成部可以生成由以输入的上述图像为基础而生成的学习用图像、通过上述记号表示的缺陷的种类以及保持有缺陷值的标签组成的学习数据。

(4)在(3)记载的机器学习装置中，上述缺陷中可以包括上述检查对象物的伤痕、污垢以及缺损。

(5)在(3)记载的机器学习装置中，上述不同的记号可以是反射光波长互不相同的记号。

(6)在(1)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以从以输入的上述图像为基础而生成的图像中去除上述记号来生成学习用图像，并生成由所生成的上述学习用图像、保持上述有缺陷值的标签组成的学习数据。

(7)在(6)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以从所输入的上述图像中只切下通过上述记号表示的区域的内侧来生成学习用图像。

(8)在(6)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以从所输入的上述图像中用上述记号周围的像素置换构成上述记号的像素来生成学习用图像。

(9)在(1)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以生成由以输入的上述图像为基础而生成的学习用图像、保持表示有缺陷的有缺陷值的标签以及掩盖上述记号的掩模图像组成的学习数据。

(10)在(9)记载的机器学习装置中，上述掩模图像可以为将构成上述记号的像素设为1，将上述记号以外的像素作为0的图像。

(11)在(1)记载的机器学习装置中，上述图像输入部输入标记图像和学习用图像，该标记图像是在由能够看见上述记号的波长的光进行照明的状态下拍摄标记了表示缺陷的记号的检查对象物而得到的，该学习用图像是在由看不见上述记号的波长的光进行照明的状态下拍摄标记了表示缺陷的记号的检查对象物而得到的，上述生成部可以生成由从上述标记图像取得的缺陷的信息和上述学习用图像组成的学习数据。

(12)一种检查装置，具备(1)～(11)中任意一项记载的机器学习装置、存储由上述机器学习装置生成的学习数据的存储部，上述机器学习装置可以具备通过上述存储部所存储的学习数据进行了学习的学习部，该学习部根据上述图像输入部输入的上述检查对象物的图像来输出缺陷的判断结果。

(13)一种检查装置，具备(11)记载的机器学习装置、存储由上述机器学习装置生成的学习数据的存储部，上述图像输入部输入在由看不见表示缺陷的上述记号的波长的光进行照明的状态下进行拍摄而得到的图像，上述机器学习装置可以具备通过上述存储部所存储的学习数据进行了学习的学习部，该学习部根据上述图像输入部输入的上述检查对象物的图像来输出缺陷的判断结果。

(14)本发明为生成用于机器学习的学习数据的机器学习方法，包括：输入拍摄标记了表示缺陷的记号的检查对象物而得到的图像的步骤、根据输入的上述图像生成上述学习数据的步骤，生成上述学习数据的步骤包括以下步骤：在所输入的上述图像中没有上述记号时，生成由作为输入的上述图像本身的学习用图像和保持表示没有缺陷的无缺陷值的标签组成的学习数据的步骤；以及在所输入的上述图像中有上述记号时，生成由以输入的上述图像为基础而生成的学习用图像和保持表示有缺陷的有缺陷值的标签组成的学习数据。

根据本发明，能够提供可以根据被标记的图像来生成学习用数据的机器学习装置、机器学习方法。因此，能够更高效地执行学习用数据的生成。

附图说明

图1是表示使用本发明实施方式的检查装置10来检查检查对象物12的情况的说明图。

图2是本发明实施方式的检查装置10的结构图。

图3是表示在本发明的实施方式中对学习数据追加新的学习用图像和标签的对的步骤的流程图。

图4是表示对检查对象物12标记了记号22的情况的说明图。

图5是机器人50使用其机械手52来把持检查对象物12，并能够改变检查对象物12的位置姿势的情况的说明图。

图6是在机器人50的臂(或机械手52)的前端设置视觉传感器14，并能够改变视觉传感器14的位置姿势的情况的说明图。

图7是拍摄到的图像24的说明图。

图8是表示拍摄了多个图像时的情况的说明图。

图9是只切下记号22的内侧作为学习用图像的情况的说明图。

图10是将使用周围像素的信息置换记号22的部分像素而得的图像作为学习用图像的情况的说明图。

图11a是表示在可视光照明下进行拍摄，并且只拍摄到缺陷20的图像的情况的说明图。

图11b是表示在紫外线照明下进行拍摄，并且只拍摄到记号22的图像的情况的说明图。

图12是表示与缺陷20重叠地标记了记号22的情况的说明图。

图13a是表示原样保留记号22用作学习用图像的例子的说明图。

图13b是表示仅将记号22部分的像素值设为1，将这以外的像素值设为0的掩模图像的例子的说明图。

附图标记的说明

10：检查装置、12：检查对象物、14：视觉传感器、15：照明设备、16：工作台、20：缺陷、22：记号(标记)、24：图像、33：存储部、40：机器学习装置、42：图像输入部、44：生成部、46：学习部、50：机器人、52：机械手、54：机器人控制装置。

具体实施方式

以下，参照附图说明本发明的实施方式。

[检查装置]

图1是表示使用检查对象物的检查装置10来检查检查对象物12的情况的说明图。如该图所示，在检查装置10上连接有拍摄检查对象物12的视觉传感器14。视觉传感器14拍摄检查对象物12，将其图像提供给检查装置10。另外，检查对象物12被装载在进行加工等的工作台16上。检查装置10根据从视觉传感器14提供的图像来检查检查对象物12是否有缺陷，并将其结果输出到外部。视觉传感器14只要是能够拍摄检查对象物12的摄像机，可以是任何装置。

检查装置10是根据图像判断检查对象物12有无缺陷的装置。为了实现这种功能，检查装置10进行所谓的机器学习，并根据其学习结果来对图像判断该图像的检查对象物12是否有缺陷。

例如，检查装置10可以采用图2那样的结构。

如图2所示，检查装置10内的机器学习装置40能够根据存储部33所存储的学习数据群进行机器学习，使得根据输入的图像数据(学习用图像)和标签(ok或ng)输出用于适当地判别ok、ng的判断结果，并取得学习模型。在本实施方式中，学习数据至少由学习用图像和表示有无缺陷的标签构成。学习部46根据这些学习数据来进行学习，形成学习模型。

使机器学习装置40的学习部46学习输入和输出之间的关系，以使从学习部46取出的输出与成为推定对象的判断结果一致，从而能够根据从图像输入部42输入的图像数据来推定判断结果。在本实施方式中，例如根据由包括多层神经网络的神经网络而构建的学习模型(学习部46中)来进行机器学习。通过包括输入层、输出层以及中间层的神经网络所构建的学习模型能够使用适当的方式。例如也能够应用cnn(convolutionalneuralnetwork卷积神经网络)。

学习部46在学习之后，针对图像输入部42所输入的图像，根据学习模型进行预定的判断，并输出判断结果。在本实施方式中，判断结果例如可以是ok(无缺陷)、ng(有缺陷)。学习数据是学习用图像和从该学习用图像应该得到的标签的对(组)的集合，但是也可以包括其他信息。

该学习数据被存储在存储部33中，学习部46使用其进行学习。准备大量的学习数据并使机器学习装置40的学习部46学习即可，但是如上所述，生成学习数据会使繁琐的作业多，人的负担大。因此，在本实施方式中提出一种学习数据的高效的生成方法。为了实现该生成方法，本实施方式的机器学习装置40具备根据被标记的图像来生成学习数据的生成部44。该生成部44根据从图像输入部42输入的被标记的图像来生成学习数据，并存储在存储部33中。之后，学习部46能够根据存储部33中存储的学习数据进行学习。

[学习数据的生成]

图3表示对学习数据追加新的学习用图像和标签的对的步骤的流程图。

在步骤s3-1中，检查员通过目视进行检查对象物12的检查。

在步骤s3-2中，检查员在发现了缺陷时对该缺陷部位进行标记。

图4表示该标记的样子。通过将预定的记号(标记)22即用于表示检查对象物12的缺陷20的部位的预定记号(标记)22附加(标记)到该部位来进行标记。如图4所示，检查员通过目视检查检查对象物12的表面，以示出所发现的缺陷20的部位的方式将记号22附加给检查对象物12(进行标记)。记号22是确实地表示缺陷20的部位的标记，例如通过以包围缺陷20的方式喷涂预定的涂料来进行标记。可以用预定色彩的笔来描绘例如矩形，也可以描绘圆圈。除了笔以外，也可以使用印章、毛笔、刷子、喷雾器等各种工具。另外，上面说明了“涂料”，但也能够使用各种颜料、染料等。另外，可以使用在可视光中是透明的涂料，但是对紫外线反应而发出预定的荧光的荧光涂料。如果使用这样的涂料，则通常通过肉眼不能够识别出附加了记号22，所以能够不损害检查对象物12的外观地识别缺陷的有无。另外，也可以使用包括对其他波长的光反应的其他荧光材料的涂料。

图4中，为了便于说明而用虚线表示记号22，但是也可以用预定色彩的笔以包围检查对象物12的表面的缺陷20的方式来附加预定的色彩。这样，能够使用预定的色彩作为记号22。另外，也可以使用预定的形状作为记号22。例如，也能够使用矩形的图形、星形等各种形状作为记号22。可以用矩形的图形包围缺陷20或在缺陷20的部位上描绘星形。只要在图像上是其他容易区别的色彩或形状，则可以使用任意的色彩、形状作为记号22。

另外，也可以根据缺陷的种类来变更进行标记的记号22的种类。例如，可以根据缺陷的种类来变更记号22的形状。也可以使用圆圈、四角、三角、星形等各种形状。另外，也可以将反射光波长不同的材料作为记号22来使用。在使用了容易反射红外线的材料的情况下和使用了容易反射紫外线的材料的情况下，还可以将反射光的光谱相互不同的各种材料涂在检查对象物12上来构成记号22。

在反射光波长不同的例子之一中，考虑使用色彩不同的涂料。例如，可以根据“伤痕”、“污垢”、“缺损”等的种类来变更进行标记的记号22的色彩。例如，如果是伤痕则用红色喷涂，如果是污垢则用蓝色喷涂，如果是缺损则用绿色喷涂等来变更色彩。学习数据中包括从标记得到的缺陷种类的信息，由此学习部能够判别缺陷的种类。另外，说明了由检查员进行步骤s3-2中的标记的例子，但是也可以由机器人来执行。另外，在生产工序的检查工序中，可以由检查员或检查机器人来执行。

在步骤s3-3中，检查员在视觉传感器14的视野中设置检查对象物12。然后，控制视觉传感器14，进行缺陷位置的摄像。该情况例如如图1所说明的那样。另外，如图5所示，机器人50使用其机械手52把持检查对象物12，可以构成为改变检查对象物12的位置姿势。此时，检查装置10使用机器人控制装置54来控制机器人50以及其机械手52并将检查对象物12控制为希望的位置姿势。另外，在图5所示的例子中，表示了移动检查对象物12，所以视觉传感器14的位置姿势固定，照明设备15也固定的例子。

在该图5的例子中，在拍摄检查对象物12的任意检查位置时，机器人50把持检查对象物12并使之移动。该结果为，视觉传感器14能够进行检查对象物12的各个检查位置的摄像。

另外，如图6所示，可以在机器人50的臂(或机械手52)的前端设置视觉传感器14，可以构成为改变视觉传感器14的位置姿势。并且，与进行检查时同样地进行检查对象物12的摄像。

此时，检查装置10能够使用机器人控制装置54来控制机器人50以及其机械手52来将视觉传感器14控制为希望的位置姿势。另外，在图6所示的例子中，视觉传感器14侧移动，所以检查对象物12的位置姿势是固定的，与图1同样地将检查对象物12放置在工作台16上。

在该图6的例子中，当拍摄检查对象物12的任意检查位置时，机器人50使其机械手52上的视觉传感器14在检查对象物12的表面上移动，进行检查对象物12的各个检查位置的摄像。

这样，在步骤s3-3中与视觉传感器14进行检查时同样地进行摄像，进行了该摄像时的图像24的说明图示出在图7中。在拍摄而得到的图像24中包括记号(标记)22时的例子为图7。图7中，表示在拍摄而得到的图像24中包括记号(标记)22时的例子，但是当没有缺陷时，拍摄而得到的图像24中不出现记号(标记)。

另外，根据图5或图6的结构，通过移动检查对象物12或视觉传感器14的任意一个，能够进行多个检查位置的摄像。图8表示拍摄了多个图像时的情况。在图8的例子中，表示图像24a、24b、24c、24d这4张图像重叠地进行拍摄的情况。

图5中，视觉传感器14的输出数据经由机器人控制装置54与检查装置10连接。另外，图6中，视觉传感器14的输出数据直接与检查装置连接。这样，视觉传感器14所拍摄的图像被提供给检查装置10，检查装置10内的机器学习装置40(的生成部44)进行处理。在接下来的步骤s3-4中说明该处理的细节。

在步骤s3-4中，从拍摄到的图像中检测记号(标记)22，如果存在记号22，则对该图像标注ng的标签。例如，图8的图像24a的情况下，存在记号22，所以标注ng的标签。另外，例如如图8的图像24d那样没有标记的情况下，对该图像标注ok的标签。

另外进一步，也可以对该图像标注缺陷的位置和大小等的信息。这样，生成用于机器学习的学习数据。学习数据是至少包括图像(例如上述的图像24a、24b、24c、24d)、对这些图像所标注的标签(保持ok或ng的值)的数据。该学习数据中也可以包括缺陷的各种信息。除了上述缺陷的位置和尺寸之外，也可以包括缺陷的种类等各种信息。构成该学习数据的上述图像是学习用图像。这里，直接将拍摄并输入的图像本身作为学习用图像来使用。这样，可以将以输入的图像为基础而生成的图像用作学习用图像。以输入的图像为基础而生成的图像表示包括输入的图像本身，此外，例如也包括实施了记号22的去除、修剪、扩大等各种图像处理的图像。

如上所述，在根据缺陷的种类而变更记号并进行标记时，可以包括与此对应的缺陷的种类作为学习数据。

该步骤s3-4的上述处理由检查装置10内的机器学习装置40(的生成部44)来执行。具体地说，机器学习装置40经由图像输入部42输入由视觉传感器14拍摄的图像。图像输入部42例如能够使用计算机的外部输入接口等。

该机器学习装置40的学习部46根据存储部33中的学习数据进行学习，并根据其学习结果(学习模型)对所输入的图像判断是否有缺陷。

在本实施方式的机器学习装置40中，特征是具备根据所赋予的图像，自身生成学习数据，并据此来进行学习的动作模式。因此，与以往由人来生成学习数据的情况相比，能够减轻人的劳动。

现有的机器学习装置40具备以下2种动作模式：赋予学习数据(例如图像和标签)并据此进行学习的学习模式；根据学习到的结果，对图像也进行预定的判断的判断模式。对此，本实施方式的机器学习装置40除了上述2种模式，还具有输入包括被标记的图像的图像群，并生成学习数据的学习数据生成模式的第三种动作模式。在该第三种的学习数据生成模式中，生成部44执行上述步骤s3-4的处理，生成学习数据。所生成的学习数据可以直接存储在存储部33中，也可以在实施接下来说明的步骤s3-5的处理后存储在存储部33中。

在步骤s3-5中，机器学习装置40的生成部44在对图像附加了记号22时，可以通过预定的手段从该图像去除记号22。虽然也依赖于记号22的种类，但是如果直接将标记了记号22的图像用作学习数据来执行学习，则将带有记号22的图像作为ng进行学习的可能性较高。其结果为，有时错误判断没有带有记号22的图像。即，在实际检查的阶段，检查对象物12上没有标记记号22，所以应该将没有被标记的图像作为学习数据进行学习。因此，当记号22位于图像中时，最好将从该图像去除了记号22(＝没有拍摄记号22)的图像作为学习数据中包括的学习用图像来使用。能够由机器学习装置40的生成部44来执行这种记号22的去除。

在步骤s3-6中，机器学习装置40的生成部44将该图像作为学习用图像，与对该图像所标注的标签一起作为学习数据来使用。即，将标签和学习用图像的对追加到已有的学习数据。所追加的学习用图像与其标签被存储在存储部33中。另外，在拍摄了多个检查位置时，追加多个学习数据的对。

[机器学习]

在生成了用于学习的足够数量的学习用图像和标签的对(学习数据)时，能够将学习用图像作为输入，将标签作为训练数据来进行学习。机器学习装置40是确实地进行机器学习的装置，所以能够与以往一样地执行学习。机器学习装置40的结构已经在图2中表示。也可以使学习已经进行了某种程度推进的学习部46追加进行学习。在本实施方式中，如果学习部46的学习结束，则能够在检查中使用学习部46。即，在学习(学习模式)结束后，能够在上述的判断模式中使用。

本实施方式的检查装置10如果使用学习结束的学习部46由图像输入部42输入新的图像(通过检查拍摄到的图像)，则可以使该学习部46进行ok(无缺陷)/ng(有缺陷)的判别。另外，也能够求出缺陷的概率、求出缺陷位置等。这是因为根据作为学习的训练数据(标签)使用什么，输出的数据也发生变化。在上述例子中，说明了使用ok/ng作为标签的例子，但此时学习部46输出ok/ng。作为训练数据，如果使用缺陷的概率或缺陷的位置，则学习部46输出缺陷的概率、缺陷的位置。

另外，作为学习结果的学习模型可以通过其它机器学习装置40的学习部46来共享。即，可以使进行学习的学习部46仅有1台，由其它机器学习装置40直接利用共享学习到的结果。

[记号(标记)的去除]

在上述图3的例子中，在步骤s3-5中说明了去除记号22(标记)的例子，但是存在各种去除记号22的方法。以下说明从图像去除记号22的方法。

(方法1)

在如图4那样通过在矩形中进行喷涂而进行了标记时，能够只切除记号22的内侧作为学习用图像。图9表示该情况。该处理是上述生成部44在步骤s3-5中执行的处理。作为图像处理的一种，已知将由某个边界(这里为记号22)包围的区域以不包括该边界(记号22)的方式进行选择，所以生成部44进行这种图像处理，生成学习用图像即可。

(方法2)

能够将构成记号22的部分的像素使用其周围的像素的信息置换(由周围的像素进行置换)而得的图像作为学习用图像。在图10表示该情况。该处理是上述生成部44在步骤s3-5中执行的处理。通过将某个区域(这里为记号22)用其边界周围的像素进行置换，从而使其消失，作为图像处理的一种而被了解，所以生成部44进行这种图像处理来生成学习用图像即可。能够根据其形状、色彩等来判别是否是记号22的区域。

(方法3)

能够用只有在照射特定波长的光时才能看见的特殊涂料来进行标记。这里说明使用只有在照射紫外线时才能看见(发出荧光)的涂料来进行标记的例子。说明该涂料是在可见光下透明，在自然光下不能看见(透明)的涂料的例子。

本实施方式的紫外线是能看到记号22的波长光的优选一例，但是如果是其它种类的涂料，则也可以使用其它的波长光。本实施方式的可见光是不能看到记号22的波长光的优选一例，但如果是其它种类的涂料，则也可以使用其它波长的光。

此时，在拍摄图像时，照射可视光照明来进行摄像，接着照射紫外线照明来进行摄像。这样，在通过可视光照明进行摄像时，能够得到如图11a那样只拍到了缺陷的图像。另一方面，在只通过紫外线照明进行摄像时，能够得到如图11b那样只拍到了记号22的图像。这里，检查对象物12没有针对紫外线发光的部位。

因此，记号22的检测通过照射了紫外线照明的图像(图11b)来进行，能够使用照射了可视光照明的图像(图11a)作为学习用图像。这种处理可以由人手动操作调整照明设备15来执行。也可以由检查装置10控制照明设备15按照顺序拍摄各个图像。如果能够采用这种方法，则如图12所示，能够在缺陷20上重叠记号22地进行标记，能够更准确地表示(表现)缺陷的位置、形状等信息。图12中，与缺陷20重叠地标记了记号22。

(方法4)

在图3说明的步骤s3-5中，去除记号22来生成了学习用图像，但是也考虑不从学习用图像去除记号22而在学习时存在记号22的方法。

首先，将原样保留了记号22的图像作为学习用图像来使用。图13a表示这种学习用图像的例子。

记号22的存在也赋予学习部46，因此生成只包括记号22的掩模图像。在从图像中检测出记号22时，生成仅将记号22部分的像素值设为1且将这以外的像素值设为0的掩模图像。图13b表示这种掩模图像。

学习时，将掩模图像(图13b)和学习用图像(13a)一起输入给学习部46，从而学习部46能够考虑记号22的存在而进行学习。此时，需要对没有缺陷的检查对象物12也标注记号22，将标签为ok的图像输入给学习部46。通过这样，即使标有记号22也能够不立刻判断为ng。

另外，说明本实施方式与专利文献2的不同点。在本实施方式中如上述那样将标注了记号22的位置用于学习用图像的缺陷部位的确定。与此相对，专利文献2中没有公开针对这种学习用图像标记记号22的事项。另外，在本实施方式中如上所述，有时执行从图像去除标注了记号22的位置的处理。但是，专利文献2中也没有公开去除这种记号22部分的图像处理。

以上，详细说明了本发明的实施方式，但是上述实施方式不过是表示在实施本发明时的具体例。本发明的技术范围不限定于上述实施方式。本发明能够在不脱离该主旨的范围中进行各种变更，这些也包括在本发明的技术范围内。