附标签的图像数据的制作方法、检查方法、程序、附标签的图像数据的制作装置及检查装置与流程

[0001]
本发明涉及一种制作附标签的图像数据的制作方法、检查方法、程序、附标签的图像数据的制作装置及检查装置，上述附标签的图像数据是在进行有监督的学习(supervised learning)等时作为监督数据(teaching data)而给予识别器的。


背景技术：

[0002]
例如，专利文献1公开了一种学习装置，其将附正确标签的图像数据分割为多个，进行了追加学习，将显示出稳定的结果的输出追加给附监督的图像。该学习装置包括：图像生成部，其基于第一附正确标签的图像，生成未附标签的图像；图像选择部，其选择对使用者提示的未附标签的图像；输出部，其将所选择的未附标签的图像输出至显示部；以及正确标签设定部，其使从输入部获取的正确标签与所选择的未附标签的图像关联，而设为第二附正确标签的图像。叛别器生成部基于第一附正确标签的图像的特征向量和第二附正确标签的图像的特征向量，进行判别器的再生成处理。
[0003]
此外，专利文献2公开了一种机器学习装置，其使用了将机器学习用于监督数据的生成的方法。现有技术文献专利文献
[0004]
专利文献1：日本特许公开第2013-125322号公报专利文献2：日本特许公开第2015-185149号公报


技术实现要素：

发明要解决的技术问题
[0005]
然而，在深度学习等的机器学习中，为了决定识别器的参数，需要学习极多的图像。例如，已知有以下情况，在使用识别器进行检查的情况下，若像专利文献1所示记载那样分割图像，则精确度(precision)提高，但是需要进行对分割出的每个分割图像赋予标签的作业。此外，在识别器的正确率不足够的情况下，若变更图像的分割数而再次进行学习，则存在能够获得正确率高的识别器的情况。
[0006]
然而，若变更图像的分割数，则存在需要对以变更后的分割数进行分割的分割图像再次赋予标签的技术问题。另外，上述技术问题不限于深度学习，而是在通过专利文献1所记载的支持向量机(support vector machine，即svm)等所进行的监督机器学习中基本共同存在的。
[0007]
本发明的目的在于，提供一种附标签的图像数据的制作方法、检查方法、程序、附标签的图像数据的制作装置及检查装置，其能够减轻分割图像而作为监督数据用于监督或半监督(semi-supervised)的机器学习的附标签的图像数据的制作负担并降低学习成本。解决技术问题所采用的技术方案
[0008]
以下，对用于解决上述技术问题的方法及其作用效果进行记述。解决上述技术问题的附标签的图像数据的制作方法，其制作作为监督数据使用的附标签的图像数据，其中，监督数据用于为了生成用于对拍摄到的图像中的检查对象有无缺陷进行检查的识别器而使学习前的识别器进行监督或半监督的机器学习，所述附标签的图像数据的制作方法的特征在于，具备：通道附加步骤，其中，对拍摄到检查对象的图像赋予除了构成所述图像的一个或多个通道以外的其他通道；像素值赋予步骤，其中，对所述其他通道中的与所述图像中的缺陷区域对应的区域，赋予第二像素值作为表示缺陷的像素值，所述第二像素值与赋予于没有缺陷的其他区域的第一像素值不同；分割步骤，其中，将包含所述其他通道的图像分割为多个分割图像；标签赋予步骤，其中，在多个所述分割图像中，对所述分割图像中的所述其他通道包含所述第二像素值的所述分割图像赋予不良标签，对所述分割图像中的所述其他通道不包含所述第二像素值的所述分割图像赋予良好标签；以及通道去除步骤，其中，从所述分割图像去除所述其他通道而制作附标签的图像数据。
[0009]
根据上述方法，即使将拍摄到的图像分割而制作作为监督数据使用的附标签的图像数据，也能够减轻制作负担并降低学习成本。例如，在变更图像分割数而重新制作附标签的图像数据的情况下，操作者也不需要在每次变更分割数量时重新进行指定图像的缺陷区域的作业，从而能够减轻作业负担，降低学习成本。
[0010]
在上述图像数据的制作方法中，较为理想的是：上述缺陷有多种种类，在上述像素值赋予步骤中，在对上述其他通道赋予上述第二像素值的情况下，赋予根据上述缺陷的种类而不同值的第二像素值，在上述标签赋予步骤中，对包含上述第二像素值的上述分割图像，赋予根据上述二像素值的值而不同的不良标签。
[0011]
根据上述方法，能够制作赋予了根据缺陷的种类而不同的不良标签的、附标签的图像数据。在上述图像数据的制作方法中，较为理想的是：在上述分割步骤中，将附加了上述其他通道的上述图像分割为彼此相邻的上述分割图像局部重复的多个上述分割图像。
[0012]
根据上述方法，即使缺陷涉及多个分割图像，也能够降低缺陷被分割的频率。因此，在使用附标签的图像数据进行学习时，容易获得高正确率。在上述图像数据的制作方法中，较为理想的是：上述其他通道为阿尔法通道。
[0013]
根据上述方法，利用用于设定图像的不透明度的阿尔法通道，从而能够不对拍摄到的图像的通道造成影响，而能相对容易地对与缺陷区域对应的区域赋予表示缺陷的第二像素值。
[0014]
在上述图像数据的制作方法中，较为理想的是：在将测试数据输入识别器时的输出无法获得规定值以上的正确率的情况下，变更上述分割步骤中的分割数，上述识别器是将上述附标签的图像数据作为监督数据进行监督或半监督的机器学习而生成的。
[0015]
根据上述方法，在测试数据被输入至通过监督或半监督的机器学习生成的识别器时的输出无法获得规定值以上的正确率，而变更分割步骤中的分割数并重新制作附标签的图像数据的情况下，图像已经被赋予了其他的通道及表示缺陷的第二像素值。因此，在变更图像的分割数而重新制作附标签的图像数据时，操作者不需要为了指定对其他通道赋予第二像素值的区域而进行操作输入装置并指定缺陷区域的作业。
[0016]
解决上述技术问题的检查方法具备：识别器生成步骤，其中，将通过权利要求1至5
中任一项所述的附标签的图像数据的制作方法制作而成的所述附标签的图像数据作为监督数据而进行监督或半监督的机器学习，并生成识别器；以及判定步骤，其中，基于输出值对检查对象的良好与否进行判定，所述输出值是如下获得的：以与在所述识别器的生成中使用的所述分割图像的分割数相同的分割数，对拍摄到检查对象的图像进行分割而获取多个分割图像，将该分割图像输入所述识别器，从所述识别器作为识别结果被输出。
[0017]
根据上述方法，由于能够减轻使学习前的识别器进行学习的、附标签的图像数据的制作负担，因此，能够以低的学习成本对检查对象的良好与否进行检查。在上述检查方法中，较为理想的是：上述机器学习为深度学习。
[0018]
根据上述方法，能够以深度学习且低的学习成本对检查对象的良好与否进行检查。解决上述技术问题的程序为制作附标签的图像数据的计算机所执行，为了生成使用于对拍摄到的图像中的检查对象有无缺陷进行检查的识别器，将上述附标签的图像数据用作使学习前的识别器进行监督或半监督的机器学习的监督数据，其中，上述程序，其为制作作为监督数据使用的附标签的图像数据的计算机所执行，其中，监督数据用于为了生成用于对拍摄到的图像中的检查对象有无缺陷进行检查的识别器而使学习前的识别器进行监督或半监督的机器学习，所述程序的特征在于，具备：通道附加步骤，其中，计算机对拍摄到检查对象的图像附加除了构成所述图像的一个或多个通道以外的其他通道；像素值赋予步骤，其中，计算机对所述其他通道中的与所述图像中的缺陷区域对应的区域，赋予第二像素值作为表示缺陷的像素值，所述第二像素值与赋予于没有缺陷的其他区域的第一像素值不同；分割步骤，其中，计算机将包含所述其他通道的图像分割为多个分割图像；标签赋予步骤，其中，计算机在多个所述分割图像中，对所述分割图像中的所述其他通道包含所述第二像素值的所述分割图像赋予不良标签，对所述分割图像中的所述其他通道不包含所述第二像素值的所述分割图像赋予良好标签；以及通道去除步骤，其中，计算机从所述分割图像去除所述其他通道而制作附标签的图像数据。
[0019]
通过使计算机执行上述程序，减轻将拍摄到的图像分割而制作并且若学习后的识别器的正确率低则变更分割数而重新制作的、附标签的图像数据的制作负担，从而能降低学习成本。例如，在变更图像的分割数而重新制作附标签的图像数据的情况下，也能够减轻操作者每次变更分割数时重新进行指定图像的缺陷区域的作业的作业负担，能够降低学习成本。
[0020]
解决上述技术问题的附标签的图像数据的制作装置，，其制作作为监督数据使用的附标签的图像数据，其中，监督数据用于为了生成用于对拍摄到的图像中的检查对象有无缺陷进行检查的识别器而使学习前的识别器进行监督或半监督，所述附标签的图像数据的制作装置的特征在于，具备：通道附加部，其对拍摄到检查对象的图像附加除了构成所述图像的一个或多个通道以外的其他通道；像素值赋予部，其对所述其他通道中的与所述图像中的缺陷区域对应的区域，赋予第二像素值作为表示缺陷的像素值，所述第二像素值与赋予于没有缺陷的其他区域的第一像素值不同；分割部，其将包含所述其他通道的图像分割为多个分割图像；以及标签赋予部，其在多个所述分割图像中，对所述分割图像中的所述其他通道包含所述第二像素值的所述分割图像赋予不良标签，对所述分割图像中的所述其他通道不包含所述第二像素值的所述分割图像赋予良好标签，在赋予标签后，从所述分割
图像去除所述其他通道而制作附标签的图像数据。
[0021]
根据上述附标签的图像数据制作装置，能减轻对拍摄到的图像进行分割而制作并且若学习后的识别器的正确率低则变更分割数而重新制作的附标签的图像数据的制作负担，从而能降低学习成本。例如，在变更图像的分割数而重新制作附标签的图像数据的情况下，也能够减轻操作者每次变更分割数时重新进行指定图像的缺陷区域的作业的作业负担，能够降低学习成本。
[0022]
解决上述技术问题的检查装置，具备：上述附标签的图像数据的制作装置；识别器，其是将所述附标签的图像数据的制作装置所制作的所述附标签的图像数据作为监督数据进行监督或半监督的机器学习而生成；分割图像获取部，其以与在所述识别器的生成中使用的所述分割图像的分割数相同的分割数，对拍摄到检查对象的图像进行分割而获取多个分割图像；以及判定部，其基于将所述分割图像获取部所获取的所述分割图像输入至所述识别器时的、来自所述识别器的输出结果，对所述检查对象的良好与否进行判定。
[0023]
根据上述检查装置，能够减轻使学习完成前的识别器学习的、附标签的图像数据的制作负担，能够以低的学习成本对检查对象的良好与否进行检查。发明效果
[0024]
根据本发明，即使是将图像分割并制作作为监督数据而用于监督或半监督的机器学习的附标签的图像数据，也能够减轻制作负担而降低学习成本。
附图说明
[0025]
图1是表示具备第一实施方式的机器学习功能的检查装置的示意侧视图。图2是表示检查装置中的对检查对象的物品进行拍摄的部分的示意俯视图。图3是表示多种文件夹与文件夹内的图像的一例的示意图。图4是表示具备机器学习功能的检查装置的电气结构的框图。图5的(a)是表示拍摄到的图像的示意图，图5的(b)是表示拍摄到的图像的通道结构的示意图。图6的(a)是表示图像中的缺陷的示意图，图6的(b)是对缺陷区域的输入指定方法进行说明的示意图。图7是表示附加有阿尔法通道的图像的结构的示意图。图8是对图像的分割进行说明的示意图。图9的(a)、(b)是对图像的分割的方法进行说明的示意图。图10的(a)是对标签设定进行说明的示意图，图10的(b)是表示作为监督数据的附标签的分割图像数据的示意图，图10的(c)是对排列数据转换进行说明的示意图。图11是对深度学习部中的识别器的有监督的学习进行说明的示意图。图12是表示缺陷位置录入过程的流程图。图13是表示对作为监督数据的附标签的分割图像进行制作的分割图像制作过程的流程图。图14的(a)、(b)是对将第二像素值赋予至第二实施方式中的阿尔法通道的缺陷区域的处理进行说明的示意图。图15是表示对作为监督数据的附标签的分割图像进行制作的分割图像制作过程的主
要部分的流程图。
具体实施方式
[0026]
(第一实施方式)以下，参照附图，对具备检查装置的检查系统进行说明，检查装置具有机器学习功能。图1所示的检查系统11使用拍摄到物品12的图像，对物品12有无缺陷进行检查。检查系统11具备：对物品12进行运送的运送装置20；以及对由运送装置20运送的物品12进行检查的检查装置30。
[0027]
如图1所示，运送装置20具备：输送机21，其用于对物品12进行运送；传感器22，其对载置于输送机21而被运送的物品12进行检测；以及排出装置23，其在根据检查装置30的检查结果而判定为有缺陷的不良品的情况下，将不良品的物品12从良品传送的生产线排除。输送机21例如为带式输送机，卷挂于多个辊24的传送带25通过电动马达26的动力而转动。输送机21只要能够运送物品12即可，也可以为例如辊式输送机等的其他结构。在与输送机21的运送方向x交叉的宽度方向的两侧，配置有对物品12进行引导的一对引导构件27。排出装置23可以列举出：将物品12推出而排除的结构、或通过空气的力将物品12吹出而排除的结构，但只要能将不良的物品12排除即可，也可以为其他结构。
[0028]
检查系统11具备对运送装置20及检查装置30进行控制的控制器c。检查装置30具备：摄影机31，其对由输送机21运送的物品12进行拍摄；及计算机32，其与摄影机31电连接。检查装置30通过摄影机31拍摄到的物品12的图像，对物品12有无缺陷进行判定。计算机32构成控制器c的一部分。详细而言，控制器c具备：可编程逻辑控制器33(以下也称作“plc33”)，其对运送装置20及摄影机31进行控制；以及计算机32，其与plc33电连接。计算机32具备输入装置34和显示部35。
[0029]
plc33对运送装置20进行控制，根据传感器22检测到物品12的检测信号，对摄影机31的摄影时机进行控制。由摄影机31对物品12进行拍摄而得到的图像数据被送至计算机32。计算机32通过来自摄影机31的图像数据来对物品12有无缺陷进行检查。在图1所示的示例中，计算机32为个人计算机等，但也可以是内设于控制器c的微型处理器等，该控制器c中一体地构成有计算机32与plc33。
[0030]
在图1、图2中，例示了四角板状的物品12，但不特别限定物品12的形状、尺寸及品类。如图5的(a)所示，在摄影机31拍摄到的图像中，除了物品12g以外，作为图像的一部分也包含物品12g的周边的传送带25、引导构件27的一部分等。本实施方式的检查装置30基于摄影机31拍摄到的图像数据，使用识别器66(参照图4)对物品12有无缺陷进行检查。检查装置30在检测出缺陷的情况下，对缺陷的种类进行判别。
[0031]
在本实施方式中，为了生成检查所需要的识别器66，检查装置30进行带监督的学习。在本示例中，采用深度学习作为机器学习。在深度学习中，为了获得识别器66的高正确率，需要学习大量的图像。然而，由于准备大量的学习用的图像相当费工时，因此，需要使附标签的图像数据的制作变得容易，且使处理变得容易以减少因条件变更而重新进行的工时。
[0032]
检查装置30制作作为监督数据的、附标签的分割图像数据dim(参照图10的(b))，
该附标签的分割图像数据dim中，例如将对摄影机31拍摄到的物品12的图像数据进行分割而得到的分割图像数据与正确标签设为一组，该正确标签表示良品及在不良品的情况下表示缺陷的种类。然后，检查装置30使用附标签的分割图像数据dim进行有监督的学习，从而生成识别器66。
[0033]
如图3所示，用于制作监督数据的图像(原图像)的数据分为良品的文件夹f1与不良品的文件夹f2、f3而被存储。在良品的文件夹f1中存储有无缺陷的良品的图像数据im1。根据缺陷的种类准备有多种(图3的例中为2种)不良品的文件夹f2、f3。例如，在文件夹f2中存储有包含小的缺陷ds的不良品的图像数据im2。此外，在文件夹f3中存储有包含大的缺陷dl的不良品的图像数据im3。另外，在不特别区分每个缺陷的种类的不良品的图像数据im2、im3的情况下，也统称为图像数据imd。此外，用于制作监督数据的原图像不限于检查装置30的摄影机31拍摄到的图像，也可以是使用与检查装置30不同的摄影机在其他场所预先拍摄物品12而得到的图像。在上述情况下，计算机32从外部存储器输入图像数据，或经由网路从服务器接收图像数据。
[0034]
接着，参照图4对检查系统11的电气结构进行说明。如图4所示，控制器c具备计算机32和plc33。构成运送装置20的输送机21、传感器22及排出装置23电连接于plc33。plc33具备摄影机触发(camera trigger)处理部36及不良排出处理部37。若输入传感器22检测到物品12而得到的检测信号，则摄影机触发处理部36输出拍摄触发信号至计算机32。当计算机32所检查的物品12为不良品时，从计算机32向不良排出处理部37输入排出指示信号。
[0035]
摄影机31与计算机32连接。在计算机32连接有输入装置34及显示部35。若从摄影机触发处理部36向计算机32输入了拍摄触发信号，则计算机32输出拍摄指示信号至摄影机31。若摄影机31接收到拍摄指示信号，则摄影机31以输送机21上传感器22检测到的物品12为拍摄区域的中央部而进行拍摄。此外，计算机32利用摄影机31拍摄到的图像数据而进行检查处理，若判定物品12为有缺陷的不良品，则将排出指示信号输出至不良排出处理部37。不良排出处理部37基于从计算机32输入的排出指示信号，驱动排出装置23并将不良品的物品12从输送机21排除。
[0036]
接着，参照图4，对构成检查装置30的计算机32的结构进行说明。如图4所示，计算机32具备cpu41、存储器42以及辅助存储器43。辅助存储器43例如由硬盘驱动器(hard disk drive即hdd)构成。
[0037]
在存储器42存储有各种程序pr及识别器数据cd。在程序pr包含有图12的流程图所示的缺陷位置录入用程序、及图13流程图所示的分割图像制作用程序。所谓识别器数据cd，包含构成识别器66的模型数据(model data)及参数。cpu41读取识别器数据cd，作为识别器66而发挥功能。然而，在识别器66处于学习完成前的阶段，即未学习或学习中的阶段，其识别结果无法获得期望的正确率。因此，学习部64在识别器66进行有监督的学习，将构成识别器数据cd的参数调整至最适当的值。因此，识别器66包括：根据学习程度而能够获得期望的正确率的学习完成的识别器66；以及未能获得期望的正确率的处于未学习或学习中的阶段的学习完成前的识别器66。另外，即使成为学习完成的识别器66，也不能够结束学习，为了得到更高的正确率，或是为了在即使是同样的物品12却因缺陷形态的微小变化等导致正确率下降时的调整，而进行追加学习。
[0038]
因此，在识别器66学习完成前的阶段，识别器数据cd由模型数据和调整前的参数
构成。然后，在识别器66学习完成的阶段，识别器数据cd由学习完成前的识别器66进行有监督的学习而调整的参数及模型数据构成。cpu41对由经过有监督的学习而调整的参数及模型数据而成的识别器数据cd进行读取，并作为学习完成的识别器66而发挥功能。程序pr包含用于后述的监督数据制作部52制作监督数据的程序，该监督数据是学习部64为了使学习完成前的识别器66进行学习而给予的。
[0039]
cpu41具备控制部51、监督数据制作部52、深度学习部53及检查处理部54。另外，各部件51～54是由cpu41执行程序pr而构建的软件构成的功能部。控制部51对各部件52～54进行统筹控制。
[0040]
监督数据制作部52制作监督数据，该监督数据在学习部64使学习完成前的识别器66进行有监督的学习时被给予。监督数据制作部52具备缺陷位置录入部61、作为分割部的一例的分割图像制作部62及作为标签赋予部的一例的标签设定部63。另外，监督数据制作部52除了制作为了进行有监督的学习而由学习部64给予识别器66的监督数据以外，也制作为了后述的推论部65验证有监督的学习的结果、即识别器66是否获得期望的正确率而作为测试数据给予识别器66的监督数据。另外，在本实施方式中，监督数据制作部52相当于附标签的图像数据制作装置的一例。
[0041]
深度学习部53具备学习部64、推论部65及识别器66。学习部64利用监督数据使学习完成前的识别器66进行有监督的学习，从而生成学习完成的识别器66。本示例的机器学习为深度学习(深层学习)。学习部64通过将监督数据制作部52所制作的监督数据给予识别器66并进行有监督的学习，从而将加权系数等参数调整至最适当的值。
[0042]
在辅助存储器43存储有图4所示的图像数据集ig。图像数据集ig包含成为监督数据制作部52制作监督数据时的原图像的多个图像数据im(以下简称为“图像im”)。在图4所示的例中，图像数据集ig包含学习用数据集trd和测试用数据集tsd。属于学习用数据集trd的图像数据im，是成为监督数据制作部52制作有监督的学习用的监督数据时的原图像的图像数据。学习用数据集trd包含图3所示的ok图像im1和ng图像imd(im2、im3)。如图3所示，在名称为“ok”、“ng1”、“ng2”的文件夹f1、f2、f3中，分别存储有ok的图像数据im1、ng1的图像数据im2、ng2的图像数据im3。这样，在本示例中，ng图像数据imd被分开地存储于根据缺陷的大小或缺陷的种类而命名的多种文件夹f2、f3。
[0043]
此外，属于测试用数据集tsd的图像数据im是成为监督数据制作部52制作测试用的监督数据时的原图像的图像数据，测试用的监督数据被用于推论部65验证识别器66的正确率。测试用数据集tsd虽然包含与学习用数据集trd不同的多个图像数据，但是与学习用数据集trd同样地包含由图3所示的、命名为多种名称的多个文件夹f1～f3所区分的ok图像im1s以及ng图像im2s、im3s。另外，在本实施方式中，文件夹f1～f3的名称被用于在监督数据制作部52由图像im制作监督数据时赋予给数据的正确标签。此外，图4中，在辅助存储器43仅表示有针对物品12的一种品质的图像数据集ig。在针对多种品种的物品12进行检查的情况下，图像数据集ig按照品种而存储。在上述情况下，按每个品种设置识别器数据cd及识别器66。此外，在即使是同一物品12但检查对象的部分为多个的情况下，按检查对象的每个部分设置图像数据集ig、识别器数据cd及识别器66。
[0044]
接着，参照图4，针对监督数据制作部52的构成要素进行说明。缺陷位置录入部61将缺陷的位置录入至图像im中的存在缺陷的图像imd。若由操作者从输入装置34输入指定
缺陷的位置区域，则缺陷位置录入部61对有缺陷的图像imd附加除了表现图像imd的颜色的颜色表现通道以外的其他通道。其他通道是除了颜色表现通道以外而被附加的辅助通道。辅助通道例如为表示不透明度的通道，在本示例中为阿尔法通道imα。缺陷位置录入部61对有缺陷的图像imd附加除了颜色表现通道以外的阿尔法通道imα。接着，缺陷位置录入部61将缺陷的位置区域录入至阿尔法通道imα。
[0045]
分割图像制作部62将图像数据im分割为多个，制作多个分割图像数据di。操作者操作输入装置34，向分割图像制作部62指示分割数。分割图像制作部62按照所指示的分割数m
×
n来分割图像数据im，制作m
×
n个分割图像数据di(以下也称作“分割图像di”)。
[0046]
标签设定部63向分割图像di赋予标签。若分割图像数据具有阿尔法通道，则标签设定部63对是否有表示缺陷的第二像素值进行判断，若有第二像素值，则将存储有原图像的文件夹的名称(文件夹名)、即“ng1”或“ng2”作为标签而赋予。虽然分割图像数据具有α通道，但是若没有表示缺陷的第二像素值，则将“ok”作为标签而赋予。若分割图像数据不具有阿尔法通道，则将存储有原图像的文件夹的名称(文件夹名)、即“ok”作为标签而赋予。标签设定部63通过在赋予标签后将阿尔法通道从分割图像去除，从而制作由附标签rgb图像构成的作为监督数据的附标签的图像数据dim(参照图10的(b))。
[0047]
深度学习部53的学习部64将附标签的图像数据作为监督数据而使用，使学习完成前的识别器66进行有监督的学习。通过使识别器66学习监督数据，从而生成学习完成的识别器66。
[0048]
本示例的机器学习为深度学习(深层学习)。学习部64使识别器66学习监督数据而决定参数。推论部65使用学习完成的识别器66，将检查对象的图像输入至识别器66，根据由深度学习得到的输出结果来检查有无缺陷。在利用上述深度学习进行的检查，存在缺陷的情况下，也对缺陷的种类进行判别。此外，推论部65不仅被使用于实际的检查，也被使用于验证学习结果是否适当。然后，推论部65将附标签的分割图像数据dim输入至学习完成的识别器66，并将其输出结果与正确标签进行比较以验证正确率，上述附标签的分割图像数据dim是监督数据制作部52以测试用数据集tsd中的图像数据im作为原图像而制作的。若获得了规定值以上的正确率，则结束学习，若为未达到规定值的正确率，则变更条件，例如变更图像数据im的分割数等，再次重新学习。
[0049]
图4所示的检查处理部54使用识别器66检查摄影机31拍摄到的检查对象的物品12。检查处理部54具备图像获取部67、作为分割图像获取部的一例的图像分割部68及判定部69。图像获取部67获取摄影机31拍摄到的物品12的图像。图像分割部68将图像获取部67所获取的图像，以与学习部64在有监督的学习时用作监督数据的附标签的分割图像数据dim相同的分割数进行分割。检查处理部54将图像分割部68所分割的分割图像发送至深度学习部53。深度学习部53中，推论部65将从检查处理部54的图像分割部68接收的分割图像di输入识别器66并基于识别器66的输出结果，推论是否为“ok”、“ng1”、“ng2”的任一者。推论部65的推论结果从深度学习部53被送至检查处理部54的判定部69。检查处理部54中，判定部69基于来自深度学习部53的推论结果进行检查的判定。判定部69根据“ok”、“ng1”、“ng2”中的一个推论结果，对物品12有无缺陷进行判定。本示例中，若推论结果为“ok”则判定部69判定为良品，若推论结果为“ng1”或“ng2”则判定部69判定为不良品。
[0050]
根据检查处理部54的判定结果，若物品12的检查结果为不良品，则计算机32输出排出指示信号至不良排出处理部37。若被输入排出指示信号，则不良排出处理部37使排出装置23驱动，将输送机21上的该不良品的物品12从输送机21上向外部排除。
[0051]
图5的(a)表示由摄影机31拍摄到的图像数据im的一例。该图像数据im为包含缺陷dg的不良品的图像数据imd(也称作“ng图像数据imd”)。如图5的(a)所示，摄影机31拍摄到的图像im包含物品12g、传送带25g、引导构件27g。摄影机31能够进行彩色拍摄。如图5的(b)所示，摄影机31拍摄到的图像im由红色通道(r通道)、绿色通道(g通道)、蓝色通道(b通道)的三个通道构成。
[0052]
操作者使文件夹一览显示于显示部35，通过鼠标操作来打开不良品文件夹f2、f3，选择不良品的图像imd，在显示部35显示拍摄到的包含缺陷dg的物品12g的、不良品的图像imd(也称为“ng图像imd”)。例如，显示图5的(a)所示的、包含缺陷dg的ng图像imd。操作者使用输入装置34的鼠标或电子笔(styluspen)等的点选装置，输入指定ng图像imd中的缺陷dg的区域。
[0053]
图6的(a)表示图5的(a)所示的ng图像imd中的缺陷。若存在图6的(a)所示的缺陷dg，则操作者操作构成输入装置34的鼠标或电子笔等点选装置，而沿着缺陷dg的轮廓来描绘出如图6的(b)的粗线所示的包围线el并包围缺陷区域da，或是通过点选装置的操作来涂晕缺陷区域da，从而输入指定缺陷区域的位置坐标。
[0054]
缺陷位置录入部61具备通道附加部61a和像素值赋予部61b。若存在从输入装置34指定缺陷区域da的位置坐标的输入，则通道附加部61a对ng图像数据imd附加阿尔法通道imα。然后，像素值赋予部61b对阿尔法通道的与缺陷区域da相当的区域dα(以下，也称为“缺陷区域dα”)赋予第二像素值p2作为表示缺陷的像素值，该第二像素值p2与对没有缺陷的区域赋予的第一像素值p1不同。对属于由在ng图像imd上被指定的缺陷区域da的位置坐标以及阿尔法通道imα上的相同位置坐标所限定的缺陷区域dα的所有像素，赋予第二像素值p2。
[0055]
如图7所示，录入缺陷位置后的不良品的图像imd(也称为“ng图像imd”)由r通道imr、g通道img、b通道imb以及对缺陷区域dα赋予了第二像素值p2的阿尔法通道imα构成。录入缺陷位置后的ng图像imd被存储于与原图像相同的文件夹f2、f3、或相同名称的其他文件夹f2、f3。
[0056]
分割图像制作部62对学习用的文件夹f1～f3内的图像im进行分割。作为分割图像制作部62所分割的对象的图像im是附加有良品文件夹f1内的ok图像im1以及不良品文件夹f2、f3内的阿尔法通道imα的ng图像imd。分割图像制作部62将分割数输入栏显示于显示部35。操作者操作输入装置34输入适合学习的图像的分割数。图像的分割数是由输入图像的纵分割数m与横分割数n而指定的。其中，m、n为自然数，且至少一方为2以上。
[0057]
如图8所示，分割图像制作部62将图像数据im分割为m
×
n个。其结果是，制作m
×
n个分割图像di。如图8所示，m
×
n个分割图像di被分为包含缺陷的至少一部分的k个分割图像以及不含缺陷的(m
×
n－k)个分割图像。此外，分割图像di中也存在完全不含物品12g的图像。图8中，例示将图像im分割为6
×
8的48个。
[0058]
在本实施方式中，较为理想的是：分割图像制作部62将图像数据im分割为，相邻的分割图像彼此的边界的局部重复。如图9的(a)所示，针对在纵方向和横方向的两方均存在相邻的其他分割图像的分割图像dio，分割图像制作部62在纵方向和横方向上在两侧均扩
展重复量δl。
[0059]
此外，关于位于沿着图像数据im的外周的位置的分割图像di，在纵方向和横方向的至少一方的外侧不存在相邻的分割图像。关于不存在相邻的分割图像的方向，使分割图像dio在存在相邻的分割图像的一侧，扩展重复量δl的两倍长度的量。例如，如图9的(b)所示，图像数据im的左上的角落部位的分割图像dio只在下方和右方存在相邻的分割图像。因此，分割图像制作部62使图9的(b)中的分割图像dio向下方和右方扩展重复量δl的两倍长度的量。这样，图像im以与相邻的分割图像di的局部重复的方式，被分割为多个相同尺寸的分割图像di。
[0060]
若将多个文件夹f1～f3中的所有的图像im完全分割为m
×
n个分割图像di，则接着，标签设定部63向分割图像di赋予正确标签(以下，简称为”标签”)。也就是说，标签设定部63制作将分割图像di与标签关联起来的数据集(set data)。
[0061]
如图10的(a)所示，关于标签的设定，对于来自不良品的图像imd的分割图像di，使用附加有阿尔法通道diα(以下，也记为“α通道diα”)的分割图像di而进行的。对于良品的分割图像di，分割图像制作部62将其原图像所属的文件夹f1的名称“ok”设定为标签。另外，来自不良品的图像imd的分割图像di是由r通道dir、g通道dig、b通道dib及阿尔法通道diα而构成的。
[0062]
关于原图像属于两个不良品文件夹f2、f3的任一方的分割图像di，如图10的(a)所示，只要在分割图像di的α通道diα存在表示缺陷的第二像素值p2，则将原图像所属的文件夹f2或f3的名称“ng1”、“ng2”设定为标签。关于没有第二像素值p2的分割图像di，与原图像所属的文件夹f2或f3的名称无关，而将“ok”设定为标签。
[0063]
若对所有分割图像di将标签设定完成，则如图10的(b)所示，标签设定部63从标签设定后的分割图像di将rgb图像与标签一同取出。也就是说，从分割图像di去除α通道diα，获取作为监督数据的附标签的分割图像数据dim(以下，也称为“监督数据dim”)。接着，如图10的(c)所示，接收了附标签的分割图像dim的学习部64将附标签的分割图像数据dim中的标签被去除的分割图像数据转换为排列数据。排列数据为将分割图像di的所有像素的像素值按规定的顺序排列而成的数据。
[0064]
如图11所示，深度学习部53具备识别器66。进行学习时，识别器66处于学习完成前(包括未学习或迁移学习(transfer learning)前)的状态。学习部64给予识别器66监督数据而进行了有监督的学习，其结果是，若获得了期望的正确率，则识别器66学习完成。也就是说，学习部64通过使学习完成前的识别器66进行有监督的学习，从而生成学习完成的识别器66。以下，不特别区分学习前后而对识别器66的结构进行说明。
[0065]
识别器66具有类神经网路的模型。例如采用卷积类神经网路(convolution alneural network)等。识别器66具有输入层81、中间层82(隐藏层)及输出层83。输入层81具有多个感知器(perceptron)。在图11所示的例中，具有x1、
…
、xk、
…
、xn的共计n个感知器。例如，若设为分割图像di为由50
×
50个像素的合计2500个像素组成的图像数据，由于每一个像素具有r值、g值、b值三个像素值，因此，排列数据由7500个像素值数据的排列组成。该示例中，输入层81具有7500个感知器x1～xn(其中，n＝7500)。中间层82由以多个感知器构成的多层而组成。输出层83具有将输出结果输出的、与正确标签的数量相同的感知器。
[0066]
在此，以下提供分割图像的情况下的精确度(precision)。若将整体的图像im中
的、缺陷dg的像素数设为tp(truepositive)，将非缺陷的像素数设为fp(falsepositive)，则精确度prec1表示为prec1＝tp/(tp+fp)。在设为将图像im进行m
×
n分割，且其中的一个分割图像包含所有缺陷的情况下，精确度prec2表示为tp/(tp+(fp/(m
×
n)))。也就是说，正确率prec2表示为prec2≒(m
×
n)
·
prec1。由此，将对图像im进行了(n
×
m)分割的附标签的分割图像数据dim作为监督数据而使用，从而精确度被提高至大约(m
×
n)倍。然后，使用精确度高的分割图像数据dim进行有监督的学习，从而能够生成高正确率的识别器66。
[0067]
接着，针对检查装置30的作用进行说明。首先，参照图12，针对计算机32执行程序而进行的缺陷位置录入处理进行说明。该处理为监督数据制作部52的缺陷位置录入部61所进行的。例如，操作者使计算机32内的用于制作附标签的图像数据的应用软件起动。操作者在该应用软件上操作输入装置34，对存储有用于制作附标签的图像数据的原图像的文件夹进行指定。也就是说，操作者对存储有显示于计算机32的ng图像imd的不良品文件夹f2、f3进行指定。另外，操作者也可通过构成输入装置34的鼠标的操作而打开文件夹，并逐个选择显示于计算机32的ng图像imd。
[0068]
首先，在步骤s11中，计算机32从不良品文件夹读取并显示ng图像。即，计算机32从存储于辅助存储器43的多个文件夹f1～f3中的被指定的不良品文件夹f2、f3中读取第一个ng图像imd并显示于显示部35。
[0069]
操作者根据显示在显示部35的画面的信息，使用鼠标或电子笔等点选装置，对于显示在显示部35的ng图像imd，以将缺陷dg沿着其轮廓包围的方式画包围线el，从而对缺陷区域da进行指定。
[0070]
在步骤s12中，计算机32对缺陷区域da是否已经被指定进行判断。若操作者操作点选装置而将包围线el的起点与终点连接，从而确定了被包围的区域，则判断缺陷区域da被指定。若缺陷区域da被指定，则计算机32向操作者视觉性地传达被指定的区域，该被指定的区域是用规定的颜色将图6的(b)中以影阴线表示的被指定的区域涂晕等而成的。
[0071]
在步骤s13中，计算机32对ng图像imd附加阿尔法通道imα。即，计算机32附加构成ng图像imd的rgb的三个颜色表现通道以外的其他通道。在本实施方式中，其他通道是以像素值表现图像的不透明度的作为辅助通道的阿尔法通道imα。因此，如图7所示，附阿尔法通道的图像imd是由r通道imr、g通道img、b通道imb及阿尔法通道imα的四个通道构成。另外，在本实施方式中，该步骤s13的处理相当于对拍摄到检查对象的图像附加构成该图像的一个或多个通道以外的其他通道的“通道附加步骤”的一例。
[0072]
在步骤s14中，计算机32将缺陷区域da录入于阿尔法通道imα。即，计算机32对阿尔法通道imα中的与缺陷区域da对应的区域dα，赋予第二像素值p2作为表示缺陷的像素值，该第二像素值p2与对该区域以外的没有缺陷的区域赋予的第一像素值p1不同。在图7所示的例中，计算机32在阿尔法通道imα中的与缺陷区域da对应的区域dα，也就是阿尔法通道imα上的缺陷区域dα，录入图7中以黑色表示的第二像素值p2，对阿尔法通道imα中没有缺陷的区域，赋予图7中以白色表示的第一像素值p1。第一像素值p1例如为阿尔法通道imα的初始值，设定不透明度100％的值等，且录入不透明度100％的值以外的值作为第二像素值p2。另外，只要第一像素值与第二像素值为不同值即可，只要分别为不同值则能够设定为任意的像素值。例如，若图像的像素值为256色调，则第一像素值可以为“255”，第二像素值可以为“0”，也可以为相反。在本实施方式中，该步骤s14的处理相当于对该其他通道中的与图像中
的缺陷区域的对应的区域，赋予第二像素值作为表示缺陷的像素值的“像素值赋予步骤”的一例，该第二像素值与对没有缺陷的其他区域赋予的第一像素值不同。
[0073]
在步骤s15中，将附阿尔法通道的图像imd保存于存储器43。因此，在存储器43存储有附阿尔法通道的ng图像imd，该附阿尔法通道的ng图像imd在阿尔法通道imα中的与缺陷区域da对应的区域dα被赋予第二像素值p2。
[0074]
在步骤s16中，计算机32对是否已经处理了所有的图像进行判断。若没有处理所有的图像，则返回步骤s11，针对下一个ng图像imd同样地重复步骤s11～s15的处理。在本示例中，若对不良品文件夹f2、f3内的所有ng图像imd，完成步骤s11～s15的处理，则步骤s16为肯定判定，结束该缺陷位置录入处理。这样，每个缺陷种类的附阿尔法通道的ng图像imd以存储于对应的文件夹f2、f3的状态存储于存储器43。
[0075]
接着，参照图13，针对分割图像制作处理进行说明。若图12所示的缺陷位置录入处理完成，则计算机32执行图13所示的分割图像制作过程。该分割图像制作处理由分割图像制作部62和标签设定部63所执行。操作者通过鼠标等的操作预先将期望的分割数m
×
n，输入指定至应用程序软件在显示部35显示的设定画面的分割数输入栏。
[0076]
首先，在步骤s21中，计算机32从文件夹f1～f3读取图像。计算机32首先读取第一个图像im。在步骤s22中，计算机32以指定的分割数对图像imd进行分割。如图8所示，图像im被分割为指定的m
×
n个分割图像di。此时，如图9的(a)、(b)所示，将相同尺寸的m
×
n个分割图像di分割为，与相邻的分割图像di仅以重复量δl或2
·
δl重复。计算机32通过以下的步骤s23～s27的处理，对各分割图像di设定标签。另外，在本实施方式中，该步骤s22的处理相当于将包含其他通道的图像分割为多个分割图像的“分割步骤”的一例。
[0077]
在步骤s23中，计算机32对分割图像di是否为ok图像以外的图像进行判断。此处，所谓ok图像，是指从由存储于文件夹名为“ok”的文件夹f1的ok图像分割而成的分割图像di。也就是说，只要分割图像di的原图像所属的文件夹的名称为“ok”，则该分割图像di为ok图像。若分割图像di为ok图像以外的图像，则计算机32进入步骤s24，若分割图像di不是ok图像以外的图像，即为ok图像，则计算机32进入步骤s26。
[0078]
在步骤s26中，计算机32对分割图像di的标签设定原图像所属的文件夹的名称。例如，对于由步骤s23判断为ok图像的分割图像di，对其标签设定原图像所属的文件夹f1的名称“ok”。
[0079]
在步骤s24中，计算机32对分割图像di是否附有α通道进行判断。也就是说，对是否为由操作者进行了缺陷位置录入的附α通道的ng图像分割而成的分割图像di且具有α通道diα进行判断。只要分割图像di附有α通道，则计算机32进入步骤s25，若未附有α通道，则计算机32进入步骤s26。所谓未附有α通道的分割图像di，例如为分割图像di的原图像虽属于不良品文件夹f2、f3，但缺陷位置录入为未录入的分割图像di。假设，即使混有操作者未进行缺陷区域da的指定的图像，对于该分割图像di，在其标签设定其原图像所属的文件夹的名称“ng1”或“ng2”。
[0080]
在步骤s25中，计算机32对在分割图像di是否存在缺陷区域da进行判断。若在分割图像di的α通道diα存在表示缺陷的第二像素值p2的像素，则计算机32判断存在缺陷区域da。此外，若在分割图像di的α通道diα不存在第二像素值p2的像素，则计算机32判断不存在
缺陷区域da。若在分割图像di存在缺陷区域da则进入步骤s26，若在分割图像di不存在缺陷区域da则进入步骤s27。
[0081]
若在分割图像di存在缺陷区域da，则在步骤s26中，计算机32对分割图像di的标签设定作为其原图像的ng图像imd所属的不良品文件夹f2、f3的名称的“ng1”或“ng2”。
[0082]
在步骤s27中，计算机32对分割图像di的标签设定“ok”。也就是说，即使是ok图像以外(也就是ng图像)且附有α通道，对于无缺陷区域da的分割图像di，也对其标签设定“ok”。另外，在本实施方式中，步骤s25(肯定判定)及s26的处理相当于如下处理：在多个分割图像di中，对分割图像di中的其他通道包含表示缺陷的第二像素值p2的分割图像di赋予不良标签。此外，步骤s25(否定判定)及s27的处理相当于如下处理：对分割图像di中的其他通道不包含第二像素值p2的分割图像di赋予良品标签。因此，步骤s25～s27的处理相当于“标签赋予步骤”的一例。
[0083]
在步骤s28中，计算机32将分割图像di作为rgb图像保存于存储器43。此时，若分割图像di附有α通道，则计算机32从附标签的分割图像di中去除α通道diα，将由附标签的rgb图像组成的附标签的分割图像数据dim作为监督数据，保存于存储器43。此外，若分割图像di没有α通道，则计算机32直接作为由附标签的rgb图像组成的附标签的分割图像数据dim保存于存储器43。另外，本实施方式中，该步骤s28的处理相当于从分割图像di中去除其他通道的“通道去除步骤”的一例。
[0084]
在步骤s29中，计算机32对是否已经处理了所有的分割图像di进行判断。若存在未处理的分割图像di，则返回步骤s23，针对下一个分割图像di，进行步骤s23～s28的处理，对下一个分割图像id设定标签。然后，若针对所有的分割图像di，进行步骤s23～s28的处理，对所有的分割图像di设定标签(在s29为肯定判定)完成，则进入步骤s30。
[0085]
在步骤s30中，计算机32对是否已经处理了所有的图像im进行判断。若存在未处理的图像im，则返回步骤s21，针对下一个图像im，进行步骤s21～s29的处理，对分割下一个图像im而得到的所有分割图像di设定标签。然后，若针对所有图像im，进行步骤s21～s29的处理，对作为所有图像im的分割与经分割的所有分割图像di设定标签(在s30为肯定判定)完成，则该分割图像制作过程完成。这样，作为监督数据的附标签的分割图像数据dim全部被制作且存储于存储器43。例如，若在文件夹f1～f3存在合计100张图像数据im，则在m
×
n＝48的情况下，各图像im被分割为48个，作为监督数据而制作4800张附标签的分割图像数据dim。
[0086]
然后，学习部64将附标签的分割图像dim作为监督数据而进行有监督的学习。如图10的(c)所示，学习部64将附标签的分割图像数据dim中的标签以外的rgb图像，转换成由像素值的排列组成的排列数据。然后，如图11所示，学习部64将排列数据正规化，将该正规化的排列数据输入学习完成前的识别器66的输入层81。正规化排列数据被输入至输入层81的各感知器x1～xn。
[0087]
对于识别器66的输入层81，例如依次输入4800张监督数据dim的rgb图像的正规化排列数据。识别器66基于输入至输入层81的正规化排列数据，经由包含输入层81、2～150层的中间层82以及输出层83的类神经网路进行学习处理。在学习处理中，进行误差反向传播法等，从而确定权重w1、w2等的最合适的参数，上述误差反向传播法是使输出值与正确标签的误差反向传播至各层而对各层的权重进行调整以接近正确值。
[0088]
将附有标签的监督数据dim用于分割图像im而得到的分割图像di，从而对于学习后获得的识别器66，能够期待高的正确率。此外，在没有获得期望的正确率的情况下，操作者变更分割数而重新制作监督数据dim。在该情况下，在ng图像imd残留有：在最初附加的阿尔法通道imα以及赋予于缺陷区域da的第二像素值p2。因此，即使分割图像制作部62以操作者再指定的分割数对图像im进行再分割，标签设定部63也能够根据经再分割的分割图像di的阿尔法通道diα的第二像素值p2的有无，对分割图像di设定合适的标签。因此，操作者只要对图像imd进行一次指定缺陷区域da的作业即足够，再分割时不需要进行这种作业。因此，能够减轻监督数据dim的制作负担，从而相应地降低学习成本，上述监督数据dim是对将图像im分割而得到的各个分割图像di设定标签来制作的。另外，对以100张的图像im中的ng图像imd为几张的示例进行了说明，但实际上为了获得期望的正确率，对于识别器66的学习所需要的图像im的张数庞大，而一次地完成在ng图像imd指定缺陷区域da的作业，会大幅减轻制作负担。
[0089]
检查方法具备识别器生成步骤、分割图像获取步骤以及判定步骤。在识别器生成步骤中，学习部64将赋予了标签的附标签的分割图像dim作为监督数据而进行有监督的机器学习并生成识别器66。在分割图像获取步骤中，图像分割部68以与制作用于识别器66的生成的监督数据dim时的分割图像di的分割数相同的分割数，对拍摄到物品12的图像im进行分割而获取多个分割图像di。在判定步骤中，判定部69基于将分割图像di输入识别器66而作为识别结果从识别器66输出的输出值，从而对物品12有无缺陷进行判定。尤其，判定部69对物品12为良品或不良品进行判断，被判定为不良品的物品12被排出装置23从输送机21上排除，该排出装置23是通过计算机32的指示经由不良排出处理部37而驱动的。另外，在通过检查将物品12判定为不良品的情况下，在显示部35显示：表示是不良品以及根据识别器的识别结果而得到的缺陷的种类。
[0090]
如以上所详述，根据上述实施方式，能够获得以下的效果。(1)本实施方式的附标签的图像数据的制作方法，其制作作为监督数据使用的附标签的分割图像数据dim，监督数据用于为了生成用于对拍摄到的图像im中的检查对象有无缺陷dg进行检查的识别器66而使学习完成前的识别器66进行有监督的机器学习。上述附标签的图像数据的制作方法具备：通道附加步骤(步骤s13)、像素值赋予步骤(步骤s14)、分割步骤(步骤s22)、标签赋予步骤(步骤s25～s27)以及通道去除步骤(步骤s28)。在通道附加步骤(s13)中，对于拍摄到的检查对象的图像im，附加构成该图像im的多个颜色表现通道imr、img、imb以外的其他通道作为阿尔法通道imα。在像素值赋予步骤(s14)中，对于阿尔法通道imα中的与图像im中的缺陷区域da对应的区域dα，赋予第二像素值p2作为表示缺陷的像素值，该第二像素值p2与对没有缺陷的其他区域赋予的第一像素值p1不同。在分割步骤(s22)中，将包含阿尔法通道imα的图像imd分割为多个分割图像di。在标签赋予步骤(s25～s27)中，在多个分割图像di中，对分割图像di中的阿尔法通道diα包含第二像素值p2的分割图像di赋予不良标签(“ng1”或“ng2“的标签)，对分割图像di中的阿尔法通道diα不包含第二像素值p2的分割图像di赋予良好标签(“ok”的标签)。在通道去除步骤(s28)中，从分割图像di去除阿尔法通道diα而制作附标签的分割图像数据dim。由此，即使将拍摄到的图像im分割制作作为监督数据的附标签的分割图像数据dim，也能够减轻作业负担而降低学习成本。例如，在变更图像im的分割数而重新制作附标签的分割图像数据dim的情况下，操作者也不需
要在每次变更分割数时重新进行指定图像im的缺陷区域da的作业，从而能减轻作业负担，能降低学习成本。此外，由于是将图像im分割而制作附标签的分割图像数据dim，因此，与未分割的情况相比，能提高精确度。然后，由于使用精确度高的附标签的分割图像数据dim进行有监督的学习，因此，能够生成正确率高的识别器66。因此，通过使用了正确率高的识别器66的深度学习，从而能够以高精度对物品12有无缺陷进行检查。
[0091]
(2)在分割步骤(s22)中，将附加了阿尔法通道imα的图像imd分割为，彼此相邻的分割图像di局部重复的多个分割图像di。因此，即使缺陷dg涉及多个分割图像di，也能够降低缺陷dg被分割的频率。因此，使用附标签的分割图像dim进行学习时容易获得高的正确率。
[0092]
(3)作为其他通道，使用了阿尔法通道imα。因此，利用对图像的不透明度进行设定的阿尔法通道imα，从而能够不对摄影机31拍摄到的图像im的颜色表现通道造成影响，而能够相对容易地对与缺陷区域da对应的区域dα赋予表示缺陷的第二像素值p2。
[0093]
(4)在将测试数据输入识别器66时的输出无法获得规定值以上的正确率的情况下，变更分割步骤(s22)中的分割数，上述识别器66是以附标签的分割图像数据dim作为监督数据进行有监督的机器学习而生成的。由此，在无法获得规定值以上的正确率，而变更分割步骤(s22)中的分割数并重新制作附标签的分割图像数据dim的情况下，在图像上已经赋予有阿尔法通道imα及表示缺陷的第二像素值p2。由此，在变更分割数而重新制作附标签的分割图像数据dim时，操作者不需要为了在阿尔法通道imα对赋予第二像素值p2的区域dα进行指定，而进行作业，该作业是对输入装置34进行操作并指定缺陷区域da。
[0094]
(5)检查方法具备：识别器生成步骤、分割图像获取步骤以及判定步骤。在识别器生成步骤中，将赋予有标签的附标签的分割图像数据dim作为监督数据，进行有监督的机器学习并生成识别器66。在分割图像获取步骤中，以与制作用于识别器66的生成的监督数据时的分割图像di的分割数相同的分割数，对拍摄到检查对象的图像im进行分割而获取多个分割图像di。在判定步骤中，基于输出值对物品12的良好与否进行判定，该输出值是将分割图像di输入识别器66而从识别器66作为识别结果被输出。由此，由于能够减轻附标签的分割图像数据dim的制作负担，该附标签的分割图像数据dim是为了使学习完成前的识别器66进行有监督的学习而作为监督数据被给予，因此，能够以低的学习成本对物品12的良好与否进行检查。
[0095]
(6)机器学习为深度学习。由此，能够通过深度学习，以低的学习成本且精度良好地对物品12的良好与否进行检查。(7)程序pr是计算机32为了制作作为监督数据使用的附标签的分割图像数据dim而执行的，监督数据是为了生成用于对拍摄到的图像im中的物品12有无缺陷进行检查的识别器66而使学习完成前的识别器66进行有监督的机器学习。计算机32依次执行包含于程序pr的通道附加步骤(s13)、像素值赋予步骤(s14)、分割步骤(s22)、标签赋予步骤(s25～s27)及通道去除步骤(s28)。在通道附加步骤(s13)中，计算机32对于拍摄到检查对象的图像im，附加构成该图像im的多个颜色表现通道以外的阿尔法通道imα作为其他通道。在像素值赋予步骤(s14)中，计算机32对于阿尔法通道imα中的与图像中的缺陷区域da对应的区域dα，赋予第二像素值p2作为表示缺陷的像素值，该第二像素值p2与对没有缺陷的其他区域赋予的第一像素值p1不同。在分割步骤(s22)中，计算机32将包含阿尔法通道imα的图像imd分割为
多个分割图像di。在标签赋予步骤(s25～s27)中，在多个分割图像di中，计算机32对分割图像中的阿尔法通道imα包含第二像素值p2的分割图像di赋予不良标签(“ng1”或“ng2”的标签)，对分割图像di中的阿尔法通道imα不包含第二像素值p2的分割图像di赋予良好标签。在通道去除步骤(s28)中，计算机32从分割图像di中去除阿尔法通道imα而制作附标签的图像数据dim。
[0096]
通过在计算机32中执行上述程序pr，从而即使对拍摄到的图像im进行分割而制作作为监督数据并用于有监督的机器学习的附标签的分割图像数据dim，也能够减轻制作负担并能降低学习成本。例如，在变更图像im的分割数而重新制作附标签的分割图像数据dim的情况下，也能够减轻操作者每次变更分割数时重新进行指定图像im的缺陷区域da的作业的作业负担，能降低学习成本。
[0097]
(8)作为附标签的图像数据的制作装置的一例的监督数据制作部52，制作附标签的分割图像数据dim作为监督数据，其中，监督数据是为了生成用于拍摄到的图像中的检查对象有无缺陷进行检查的识别器66而使学习完成前的识别器66进行有监督的机器学习。监督数据制作部52具备：通道附加部61a、像素值赋予部61b、分割图像制作部62及标签设定部63。通道附加部61a对拍摄到检查对象的图像im，作为构成该图像im的一个或多个通道以外的其他通道，附加阿尔法通道imα。像素值赋予部61b对阿尔法通道imα中的与图像im中的缺陷区域da对应的区域dα，赋予第二像素值p2作为表示缺陷的像素值，该第二像素值p2与对没有缺陷的其他区域赋予的第一像素值p1不同。分割图像制作部62将包含阿尔法通道imα的图像im分割为多个分割图像di。标签设定部63对多个分割图像di中的、分割图像di中的阿尔法通道diα包含第二像素值p2的分割图像di赋予不良标签(“ng1”或“ng2”标签)，对分割图像di中的阿尔法通道diα不包含第二像素值p2的分割图像di赋予良好标签(“ok”标签)。此外，在标签赋予后从分割图像di去除阿尔法通道diα而制作附标签的分割图像数据dim。因此，即使在上述监督数据制作部52对拍摄到的图像im进行分割而制作在有监督的机器学习中作为监督数据使用的附标签的分割图像数据dim的情况下，只要在原图像的阶段进行一次指定缺陷区域da的作业，就能够对经过分割的各个分割图像di赋予合适的标签。例如，在学习的结果为识别器66无法获得期望的正确率的情况下，变更图像im的分割数而重新制作附标签的分割图像数据dim。在上述情况下，由于对图像im附加阿尔法通道imα以及对与缺陷区域da对应的区域dα赋予第二像素值p2已经结束，因此，操作者只要指定变更的分割数，开始利用计算机32进行的图像imd的分割处理即可。也就是说，操作者不需要在每次变更分割数时重新进行指定图像im的缺陷区域da的作业。因此，能够减轻附标签的分割图像数据dim的制作负担，能够降低学习成本。
[0098]
(9)检查装置30基于拍摄到检查对象的物品12的图像im，对物品12有无缺陷进行检查。检查装置30具备监督数据制作部52、识别器66、图像分割部68及判定部69。识别器66为将监督数据制作部52所制作的附标签的分割图像数据dim作为监督数据进行有监督的机器学习而生成的。图像分割部68以与制作用于识别器66的生成的附标签的分割图像数据dim时的分割图像di的分割数相同的分割数，对拍摄到检查对象的物品12的图像im进行分割而获取多个分割图像di。识别器66被输入图像分割部68所获取的分割图像di，输出识别结果。判定部69基于来自识别器66的识别结果，对物品12的良好与否进行判定。通过上述检查装置30，能够减轻使学习完成前的识别器66学习的附标签的分割图像dim的制作负担，因
此，能够以低的学习成本对物品12的良好与否进行检查。
[0099]
(第二实施方式)接着，参照附图，对第二实施方式进行说明。第二实施方式与上述第一实施方式不同之处在于，也对阿尔法通道赋予标签的种类的信息。省略与上述第一实施方式相同的结构的说明，仅特别对不同的结构进行说明。
[0100]
如图14所示，缺陷位置录入部61的处理内容与上述第一实施方式部分不同。缺陷位置录入部61将图14的(a)、(b)的左侧所示的显示内容显示于显示部35。在显示属于文件夹名为“ng1”的不良品文件夹f2的ng图像的情况下，在显示部35显示指定不良品的种类的输入部71、72。在图14的(a)所示的例中，输入部71指定“ng1”的种类，输入部72指定“ng2”的种类。操作者在操作鼠标或电子笔等点选装置并沿着缺陷ds的轮廓描绘包围线el而指定了缺陷区域da之后，通过鼠标等选择与上述缺陷ds的种类对应的输入部71。这样，通道附加部61a对图14的(a)的右侧所示的ng图像im2附加阿尔法通道imα。此外，像素值赋予部61b对所附加的阿尔法通道imα中的与图像im中的缺陷区域da对应的区域dα1，赋予第二像素值p21，该第二像素值p21与由输入部71所选择的缺陷的种类对应。
[0101]
此外，在图14的(b)所示的例中，操作者在操作鼠标或电子笔等点选装置而沿着缺陷dl的轮廓描绘包围线el并输入指定了缺陷区域da之后，通过鼠标等选择与该缺陷dl的种类对应的输入部72。这样，缺陷位置录入部61对图14的(b)的右侧所示的ng图像im3附加阿尔法通道imα，并且对于所附加的阿尔法通道imα中的与图像im中的缺陷区域da对应的区域dα2，赋予第二像素值p22，该第二像素值p22与由输入部72所选择的缺陷的种类对应。另外，在图14所示的例中，根据缺陷的大小将缺陷的种类进行了分类，但也可根据缺陷的种类进行分类。
[0102]
接着，参照图15，对第二实施方式的检查装置30的作用进行说明。缺陷位置录入部61的处理如图14所示，在阿尔法通道imα中，对于与缺陷区域da对应的区域dα1或dα2，设定与缺陷的种类对应的值的、第二像素值p21或p22。计算机32通过执行图15所示的分割图像制作过程，从而作为分割图像制作部62发挥功能。以下，针对计算机32所执行的分割图像制作处理进行说明。
[0103]
在图15中，步骤s23～s27为与上述第一实施方式相同的处理，步骤s31的处理与上述第一实施方式不同。此外，图15中省略的、图13中的步骤s21、s22、s28～s30的处理与第一实施方式相同。计算机32显示从文件夹f1～f3读取的第一个图像(s21)。操作者向显示在显示部35的设定画面的分割数输入栏，预先输入期望的分割数m
×
n。计算机32将图像分割为m
×
n个分割图像(s22)。
[0104]
在图15所示的步骤s23中，计算机32对分割图像di是否为ok图像以外的图像进行判断。若分割图像di为ok图像以外的图像，则计算机32进入步骤s24，若分割图像di不是ok图像以外的图像即是ok图像，则计算机32进入步骤s26。在步骤s26中，计算机32在分割图像di的标签设定原图像所属的文件夹的名称“ok”。
[0105]
在步骤s24中，计算机32对分割图像di是否附有α通道进行判断。若分割图像di附有α通道则计算机32进入步骤s25，若未附有α通道则计算机32进入步骤s26。对于为ok图像以外的图像且未附有α通道的分割图像di，在其标签设定其原图像所属的文件夹的名称“ng1”或“ng2”。
[0106]
在步骤s25中，计算机32对在分割图像di是否存在缺陷区域da进行判断。若在分割图像di的α通道diα存在表示缺陷的第二像素值p2的像素，则计算机32判断为存在缺陷区域da，若不存在表示缺陷的第二像素值p2的像素，则计算机32判断为不存在缺陷区域da。若在分割图像di存在缺陷区域da则进入步骤s31，若在分割图像di不存在缺陷区域da则进入步骤s27。
[0107]
在步骤s31中，计算机32对与阿尔法通道diα的缺陷区域dα的第二像素值p2对应的标签进行设定。即，若阿尔法通道imα的缺陷区域dα的第二像素值p2为表示第一缺陷ds的第二像素值p21，则计算机32设定与第二像素值p21对应的标签“ng1”。此外，若阿尔法通道imα的缺陷区域dα的第二像素值p2为表示第二缺陷di的第二像素值p22，则计算机32设定与第二像素值p22对应的标签“ng2”。
[0108]
在步骤s27中，计算机32对分割图像di的标签设定“ok”。即，即使是ok图像以外的图像(即ng图像)且附有α通道，对于没有缺陷区域da的分割图像di，也对其标签设定“ok”。
[0109]
在将图像im分割而得到的分割图像di存在由标签分为多种的缺陷的情况下，对分割图像di设定与缺陷的种类对应的合适的标签。因此，能够期待学习后的识别器66具有高的正确率。此外，在无法获得期望的正确率的情况下，即使操作者变更分割数，由于残留有赋予于最初附加的α通道imα及缺陷区域dα1、dα2的第二像素值p21、p22，因此，即使以不同的分割数对图像进行再分割，也能够向经过再分割的分割图像di自动地设定与α通道diα的第二像素值p21、p22的有无及第二像素值p21、p22的值对应的标签。因此，操作者只要对图像im进行一次输入指定缺陷区域da的作业即可，在再分割时不需要该作业。因此，在将图像im分割并对各个分割图像di设定标签而制作附标签的分割图像数据dim的情况下，能够减轻其制作负担，因而能降低学习成本。
[0110]
根据第二实施方式，除了与上述第一实施方式相同的效果以外，还能够获得以下的效果。(10)缺陷d有多种种类。在像素值赋予步骤(s14)中，在对阿尔法通道imα赋予第二像素值p2的情况下，赋予与缺陷d的种类对应的、不同值的第二像素值p21、p22。在标签赋予步骤(s25～s27)中，对包含第二像素值p2的分割图像di赋予与第二像素值p21、p22的值对应的、不同的不良标签(“ng1”或“ng2”标签)。因此，能够制作赋有与缺陷d的种类对应的、不同的不良标签的附标签的分割图像数据dim。
[0111]
实施方式并不限于上述方式，也能变更为以下的方式。
·
作为其他通道的一例的辅助通道即阿尔法通道的灰度值不限于256灰度，可以为64灰度、32灰度、16灰度、8灰度、4灰度、2灰度。例如，对用于缺陷的种类的第二像素值，可以设定为将缺陷的种类以外的信息组合了的值。
[0112]
·
将缺陷dg的尺寸和种类组合，即使属于相同尺寸范围的缺陷，只要缺陷的种类不同，也可以设定彼此不同的第二像素值。根据上述结构，在包含缺陷的图像的情况下，能够对由缺陷的尺寸与缺陷的种类组合而决定的缺陷的种类进行识别。
[0113]
·
图像不限于rgb图像那样的彩色图像，也可以为灰阶图像。也就是说，摄影机31拍摄得到的图像的通道也可以为单一通道。在上述情况下，缺陷位置录入部61对灰阶图像附加作为其他通道的阿尔法通道，在所附加的阿尔法通道中相当于缺陷区域的区域设定第二像素值，该第二像素值与赋予于没有缺陷的区域的第一像素值不同。
[0114]
·
也可以应用于混有给予正确标签的图像与未给予的图像的有半监督的学习。
·
不特别限定检查对象的物品12的形状、尺寸及品类。物品12例如可以为塑料瓶、瓶子等容器、食品、饮料、电子零件、电气化制品、日常用品、零件、构件、粉粒体或液状等的原料等。物品12只要是能够从外观检查缺陷的物品即可。其中，检查装置30所进行的物品12的检查不限于物品12的外观检查，例如也可以使用照射超声波或x光并拍摄而成的图像，以非破坏性的方式对物品12的内部进行检查。
[0115]
·
检查对象不限于物品12，也可以将建筑物的照片、航空摄影的地形照片、天空的照片、天文照片、显微镜照片等作为检查对象。也可以将上述照片分割而制成附标签的分割图像数据。
[0116]
·
附标签的图像数据的制作装置可以作为与检查装置30不同的装置而构成。
·
监督或半监督的机器学习不限定于深度学习。例如也可以为应用于中间层为一层类神经网路或支持向量机(svm)等的机器学习。
[0117]
·
也可以使用搭载了gpu(graphics processing unit)的计算机32。在上述情况下，较为理想的是：包含识别器66的深度学习部53安装于gpu。在上述情况下，识别器数据cd被存储于gpu存储器。此外，也可以以将使学习完成前的识别器66进行学习的学习功能与进行检查的检查功能分开的方式构成装置。即，可以分为：具有使学习完成前的识别器66学习的学习功能的附标签图像数据制作装置；以及使用由附标签的图像数据制作装置驱使学习的识别器66而对物品进行检查的检查装置。在上述情况下，附标签的图像数据制作装置具备gpu，gpu具备深度学习部53。另外，为了进行追加学习，较为理想的是：检查装置具备附标签的图像数据制作装置。在上述情况下，由于进行追加学习时的处理负担小，因此，设为，检查装置不具备gpu，而cpu具备深度学习部53的结构即可。符号说明
[0118]
11检查系统；12作为检查对象的一例的物品；20运送装置；21输送机；22传感器；23排出装置；30检查装置；31摄影机；32计算机；33可编程逻辑控制器；34输入部；35显示部；36摄影机触发处理部；37不良排出处理部；41cpu；42存储器；43辅助存储器；51控制部；52作为附标签的图像数据制作装置的一例的监督数据制作部；53深度学习部；54检查处理部；61缺陷位置录入部；61a通道附加部；61b像素值赋予部；62作为分割部的一例的分割图像制作部；63作为标签赋予部的一例的标签设定部；64学习部；65推论部；66识别器；67图像获取部；68作为分割图像获取部的一例的图像分割部；69判定部；81输入层；82中间层；83输出层；x运送方向；c控制器；pr程序；ig图像数据集；trd学习用数据集；im图像数据(图像)；imd不良品的图像(ng图像)；imα作为其他通道的一例的阿尔法通道；imd不良品的图像(ng图像)；d、ds、dl缺陷；dg缺陷；da缺陷区域；dα、dα1、dα2区域(缺陷区域)；p1第一像素值；p2第二像素值；p21第二像素值；p22第二像素值；di分割图像(分割图像数据)；diα阿尔法通道；δl重复量；tsd测试用数据集；dim附标签的图像数据及测试数据的一例且作为监督数据的附标签的分割图像数据。