检查装置以及机器学习方法与流程

本发明涉及检查装置以及机器学习方法。

背景技术：

以往，作业人员目视确认在工厂等制造业的现场中生产出的产品的外观，由此进行外观检查，即进行良品和有损伤或缺陷等的次品的分类。在这种外观检查时，由于各个作业人员的经验不同从而判断基准不同，或者在由于身体变化而缺乏集中力的状态下进行检查，基于这些理由有时无法恒定地保持检查精度。在该情况下，有时将良品作为次品从生产线中去除。因此，在大多数现场，被判断为次品且暂时从生产线去除的产品通过另外的检查担当人员再次进行确认。将作为该确认的结果而判断为良品的产品再次返回生产线。由此，能够防止成品率下降。基于同样的理由，也会有通过作业人员判断为良品的工件实际上是次品的情况。此时，次品会夹杂在良品中被出货。因此，在制造业的现场，为了尽力减少出货的产品中包含的次品率(次品出货率)，会采取各种对策。

一般在进行制造业现场的外观检查的自动化时，重要的是将2个指标抑制得低。一个是上述的“次品出货率”，第二个是“再检查率”。再检查率是作为次品从生产线去除的产品的数量相对于通过生产线制造出的产品的数量的比例。即，将再检查率抑制得低意味着减少确认作业的作业量，该确认作业用于再确认在作为次品从生产线去除的产品中是否夹杂有应该作为良品的产品。这些指标取决于次品数量相对于制造出的检测对象物的总数的(“生产次品率”)。因此，如果某个生产线的“生产次品率”为已知，则构筑一种检查装置从而能够检查满足作为界限的“次品出货率”(界限次品出货率)以及作为界限的“再检查率”(表示检查对象总数中的通过检查而被排除的检查对象的数量的界限再检查率)即可。

另一方面，作为提高已自动化的外观检查的精度的尝试，通过拍摄单元拍摄产品的外观，根据拍摄到的图像来进行产品的分类。另外，进行了根据拍摄到的图像进行良品和次品的分类的机械性外观检查(例如日本特开2015-021756号公报、日本特开2005-052926号公报、日本特开2013-140090号公报)。在这样的机械性外观检查中，首先从预先准备的基准图像提取特征点。接着，将从基准图像提取出的特征点与从产品的拍摄图像提取出的特征点进行比较。最后，根据比较结果进行产品的分类和挑选。另外，在这样的机械性的外观检查中还增加了导入机器学习的事例(例如日本特开2017-049974号公报)。

通常，在机器学习特别是在使用了3层以上的神经网络的深度学习中，在被称为iteration或epoch的学习循环中生成学习模型。另外，在每次进行某种程度的循环数的计算时生成学习模型。这是由于随着学习的推进学习模型的品质并不是到哪里都会变好这样的深度学习的性质。即，有时在某个一定的循环数以上进行了学习的学习模型成为过度学习的状态。该状态的学习模型无法对未知数据给出正确的结果。因此，在深度学习中，在学习过程中生成几个学习模型，进行关于各个模型的评价。并且，从进行了评价的学习模型中选择最优的学习模型。在学习模型的评价中，使用学习时的“loss”(神经网络的输出值与训练数据所赋予的正确答案之间的误差)或“accuracy”(神经网络的输出值的正确答案率)等的值。另外，有时会使用评价了验证用数据时的“precision”(预测为正确的事物中实际正确的事物的比例)或“recall”(应该发现的事物中正确发现的事物的比例)。

但是，当在制造业现场的外观检查中使用机器学习时，学习模型例如需要分别满足上述的次品出货率和再检查率等在现场使用的评价基准(用户的要求标准)。即，即使通过一般的学习模型的评价基准判定学习结果的良好与否，也不知道是否满足现场所要求的评价基准。例如，即使学习时的一个指标即“loss”减小，也不限于通过该学习模型能够达成所期待的次品出货率。即，至今没有提出一种方法而能够容易地掌握或者计算上述的“loss”或“accuracy”的值为怎样的值，则“次品出货率”或“再检查率”满足现场的条件。

因此，本公开的目的在于提供一种检查装置以及机器学习方法，其使现场的用户可容易地选择满足要求标准的学习模型。

技术实现要素：

在本公开中，对于检查装置导入以下的结构来解决上述课题，即根据用于评价学习模型的性能的指标值与针对检查装置在现场要求的指标值之间的关系来判断学习模型的良好与否，根据该判断结果来选择学习模型。

并且，在本公开的一个方式中，在进行检查对象的检查的检查装置中具备：机器学习装置，其根据从检查对象取得的状态数据和表示与该检查对象有关的检查结果的标签数据来进行机器学习，由此生成学习模型；学习模型评价指标计算部，其计算与上述机器学习装置生成的学习模型有关的在学习模型的评价中使用的评价指标即学习模型评价指标；检查指标取得部，其取得在上述检查中使用的检查指标；以及指标值判定部，其根据上述学习模型评价指标和上述检查指标，判定上述机器学习装置生成的学习模型是否满足上述检查指标，并输出该判定的结果。

并且，本公开的另一方式为一种机器学习方法，其具备：根据从检查对象取得的状态数据和表示与该检查对象有关的检查结果的标签数据进行机器学习，由此生成学习模型的第一步骤；计算与在上述第一步骤生成的学习模型相关的在学习模型的评价中使用的评价指标即学习模型评价指标的第二步骤；取得在上述检查中使用的检查指标的第三步骤；以及根据上述学习模型评价指标和上述检查指标，判定在上述第一步骤生成的学习模型是否满足上述检查指标，并输出该判定的结果的第四步骤。

通过本公开，能够根据作为检查指标而决定的要求标准来判定学习模型的评价。因此，在机器学习装置的学习过程中，即使是不具有与机器学习相关的知识的现场的作业人员，也能够容易地判断是否进行了满足作为当前所设定的检查指标而决定的要求标准的学习，并能够容易地选择适当的学习模型。

附图说明

通过参照附图对以下实施例进行说明，本公开的上述以及其他的目的和特征变得明确。这些附图中：

图1是一个实施方式的检查装置的概略硬件结构图。

图2是一个实施方式的检查装置的概略功能框图。

图3表示roc曲线的例子。

图4表示roc曲线与界限次品出货率以及界限再检查率的关系。

具体实施方式

以下参照附图说明本公开的实施方式。

图1是表示本公开一实施方式的检查装置的概略硬件结构图。本实施方式的检查装置1例如安装于在工厂的产品检查现场设置的计算机中。另外，关于检查装置1，还可以作为经由网络与在工厂的产品检查现场设置的计算机相连接的单元计算机、主计算机、边缘计算机、云服务器等计算机来进行安装。图1表示了在工厂的产品检查现场设置的计算机中安装了检查装置1的情况的例子。

本实施方式的检查装置1所具备的cpu(centralprocessingunit中央处理单元)11是整体控制检查装置1的处理器。cpu11读出在经由总线22而连接的rom(readonlymemory只读存储器)12中存储的系统程序。cpu11按照该系统程序控制整个检查装置1。在ram(randomaccessmemory随机存取存储器)13中存储临时的计算数据和用于在显示装置70中进行显示的显示数据。另外，经由接口19在ram13中存储操作员经由输入装置71输入的各种数据等。

非易失性存储器14例如由使用未图示的电池进行支援的sram(staticrandomaccessmemory静态随机存取存储器)或ssd(solidstatedrive固态驱动器)等构成。非易失性存储器14是即使检查装置1的电源被切断也保持存储状态的存储器。在非易失性存储器14中存储经由输入装置71输入的数据和程序。另外，经由接口12在非易失性存储器14中存储通过拍摄传感器3拍摄到的检查对象的图像数据等。非易失性存储器14中存储的数据和程序等在使用时可以在ram13中展开。另外，在rom12中预先写入了用于进行检查处理的系统程序和用于执行其他所需要的处理的系统程序。

拍摄传感器3例如是具有ccd(chargecoupleddevice电荷耦合器件)等拍摄元件的电子照相机。拍摄传感器3是众所周知的受光设备，其具有通过进行拍摄来在拍摄面(ccd阵列面)上检测二维图像或距离图像的功能。拍摄传感器3例如被安装在未图示的机器人的机械手上。通过该机器人将拍摄传感器3移动到对检查对象进行拍摄的拍摄位置。拍摄传感器3将拍摄该检查对象而得到的图像数据经由接口20传递给cpu11。拍摄传感器3例如可以被固定地设置在预定位置。此时，使通过机器人的机械手而抓持的检查对象移动到可通过拍摄传感器3进行拍摄的位置。由此，拍摄传感器3能够拍摄检查对象。关于由拍摄传感器3拍摄检查对象的控制，可以通过由检查装置1执行程序来进行控制，也可以通过控制机器人的机器人控制器或来自其他装置的控制来进行控制。

接口17是用于将检查装置1与有线/无线网络7进行连接的接口。网络7连接与工厂内设置的机床一并设置的个人电脑、单元计算机、边缘计算机、主计算机等计算机5等。检查装置1和计算机5经由网络7相互进行信息的交换。

接口23是将检查装置1的总线22与机器学习装置300进行连接的接口。在机器学习装置300中，将控制整个机器学习装置300的处理器301、存储了系统程序等的rom302、用于进行与机器学习相关的各处理中的暂时存储的ram303以及用于存储学习模型等的非易失性存储器304经由总线305连接。机器学习装置300经由接口23观测检查装置1可取得的各个信息。另外，检查装置1根据从机器学习装置300输出的与检查对象相关的检查结果的推定来进行之后的处理。

图2是一实施方式的检查装置1的概要功能框图。图1所示的检查装置1所具备的cpu11以及机器学习装置300的处理器301执行各自的系统程序，来控制检查装置1以及机器学习装置300的各部的动作，由此实现图2所示的功能块的各个功能。

本实施方式的检查装置1具备数据取得部100、预处理部110、学习模型评价指标计算部120、检查指标取得部130、指标值判定部140。检查装置1所具备的机器学习装置300具备学习部310、推定部320。另外，在非易失性存储器14中设置用于存储在机器学习装置300进行的学习以及推定中使用的数据的学习数据存储部200。在机器学习装置300的非易失性存储器304中设置用于存储通过学习部310进行的机器学习而构筑的学习模型的学习模型存储部330。

数据取得部100是取得从拍摄传感器3、输入装置71以及其他计算机5等输入的各种数据的功能单元。数据取得部100例如取得拍摄传感器3拍摄到的检查对象的图像数据，并存储在学习数据存储部200中。另外，数据取得部100取得表示作业人员目视检查该检查对象而得到的结果的标签数据、从其他计算机5取得的学习数据(检查对象的图像数据和该检查对象的检查结果的标签)等各种数据，并存储在学习数据存储部200中。数据取得部100可以从未图示的外部存储装置取得数据。

预处理部110根据在学习数据存储部200中存储的学习数据来生成在机器学习装置300的学习中使用的状态数据s与标签数据l的组即训练数据t。预处理部110将取得的数据转换(数值化、标准化、采样等)为在机器学习装置300中进行处理的统一形式，从而生成状态数据s和标签数据l。

预处理部110生成的状态数据s至少包含通过拍摄检查对象而得到的检查对象图像数据s1。检查对象图像数据s1例如可以是构成拍摄检查对象而得到的图像的像素的像素值的排列数据。

另外，预处理部110生成的标签数据l至少包含检查结果数据l1，该检查结果数据l1包含检查对象的检查结果的标签。检查结果数据l1例如可以是表示作业人员目视检查检查对象而得到的结果的标签。

学习部310使用由预处理部110生成的状态数据s以及标签数据l来进行有监督学习。学习部310是生成(学习)学习模型的功能单元，该学习模型学习了与检查对象的图像数据相对的该检查对象的检查结果。本实施方式的学习部310例如可以构成为进行将神经网络作为学习模型来使用的有监督学习。在这样构成的情况下，学习模型可以是具备了输入层、中间层、输出层这三层的神经网络。另外，学习模型也可以是三层以上的神经网络。即，学习部310可以使用深度学习的方法。通过使用深度学习来进行更有效的学习以及推论。将学习部310生成的学习模型存储于在非易失性存储器304中设置的学习模型存储部330中。另外，在推定部320进行的基于检查对象的图像数据来推定检查结果的推定处理中使用学习模型。

推定部320根据从预处理部110输入的状态数据s，使用在学习模型存储部330中存储的学习模型来推定检查对象的检查结果。在推定部320中，将从预处理部110输入的状态数据s(检查对象图像数据s1)作为输入数据输入给学习部310通过有监督学习而生成的(决定了参数的)学习模型。由此，推定(计算)检查对象的检查结果。例如，将推定部320推定出的检查对象的检查结果经由接口18输出给显示装置70。另外，可以将检查对象的检查结果经由网络7输出给主计算机、云计算机等其他的计算机5来使用。

学习模型评价指标计算部120是对于在学习模型存储部330中存储的学习模型，计算用于评价学习模型的学习模型评价指标的功能单元。学习模型评价指标计算部120例如对学习模型存储部330中存储的学习模型进行roc(接收者动作特性：receiveroperatingcharacteristic)分析，生成roc曲线来作为学习模型评价指标。在图3中，纵轴为真阳性率(正确预测阳性的概率)，横轴为假阳性率(将阴性错误地预测为阳性的概率)。roc曲线是在通过某个学习模型进行了检查时，使将检查对象推定为阳性的学习模型的输出值的阈值发生了变化时所描绘的曲线(图3中的用粗线描绘的实线)。学习模型评价指标计算部120可以使用在学习数据存储部200中存储的学习数据中的没有用于学习模型的学习的学习数据(状态数据s以及标签数据l)来进行学习模型的评价。另外，在本实施方式中表示使用了roc曲线的例子，但是在检查装置1中，也可以使用roc曲线以外的学习模型评价的指标。

学习模型评价指标计算部120可以在每次进行了预定次数的学习部310的学习时，进行学习模型的评价。另外，学习模型评价指标计算部120可以将进行了评价的学习模型及其评价结果一起备份在学习模型存储部330内。例如，在预先设定为对于每1000次的学习循环进行学习模型的评价时，学习模型评价指标计算部120在进行了1000次学习时，进行了2000次学习时，进行了3000次学习时等，在学习循环每进行了1000次时计算学习模型评价指标。学习模型评价指标计算部120将各个时间点的学习模型与学习模型评价指标相互关联起来，(与继续进行学习的学习模型不同地)存储在学习模型存储部330中。

检查指标取得部130是取得在检查装置1的检查现场所使用的检查指标的功能单元。检查指标取得部130例如可以取得作业人员经由输入装置71输入的检查指标的值。检查指标取得部130可以经由网络7从管理与工厂的生成计划相关的信息等的主计算机等计算机5取得检查指标。作为检查指标取得部130取得的检查指标的例子，例如列举界限次品出货率和界限再检查率等。

指标值判定部140是根据学习模型评价指标计算部120计算出的学习模型评价指标和检查指标取得部130取得的检查指标来判定各个学习模型是否满足检查指标的功能单元。另外，指标值判定部140输出该判定结果。指标值判定部140例如使用作为将学习模型评价指标和检查指标代入到预先设定的指标值判定式中的结果而计算出的值来判定学习模型是否满足检查指标。

对于在指标值判定部140的判定处理中，作为学习模型评价指标而使用roc曲线，作为检查指标而使用界限次品出货率以及界限再检查率的情况进行说明。图4表示对于roc曲线，绘制了满足界限次品出货率以及界限再检查率的界限线。在图4中，用粗线描绘的点划线是在图表上描绘了基于界限次品出货率并通过以下所示的式(1)计算出的值的点划线。位于该点划线上方的区域表示满足界限次品出货率的区域。另外，关于制造不良率，设为根据过去的统计等而预先知道的制造不良率。

另一方面，在图4中，用粗线描绘的虚线是在图表上描绘了基于界限再检查率并通过以下所示的式(2)计算出的值的虚线，位于该虚线左侧的区域表示满足界限再检查率的区域。另外，关于制造不良率，设为根据过去的统计等而预先知道的制造不良率。

即，如果是roc曲线进入图中的阴影区的学习模型，则通过设定并使用与进入了该区域的部分对应的阈值(将检查对象推定为阳性即次品的学习模型的输出值的阈值)，能够作为满足作为检查指标而决定的要求标准的学习模型来使用。指标值判定部140使用这些式子来判定对于各个学习模型计算出的roc曲线中是否存在进入了通过式(1)计算出的直线的上方且通过式(2)计算出的直线左侧的区域中的部分。指标值判定部140在判定为roc曲线具有进入了通过式(1)计算出的直线的上方且通过式(2)计算出的直线左侧的区域中的部分时，可以判定为是满足作为检查指标而决定的要求标准的学习模型，并将该判定结果输出给显示装置70。另外，指标值判定部140可以经由网络7将判定结果输出给主计算机、云计算机等其他计算机5。另外，指标值判定部140在判定了学习模型存储部330中存储的学习模型满足作为检查指标而决定的要求标准的时间点，可以指示检查装置1的各部结束学习。另外，指标值判定部140在判定了学习模型存储部330中存储的学习模型满足作为检查指标而决定的要求标准的时间点，可以使显示装置70进行用于催促是继续学习还是结束学习的输入的显示，并根据该输入判断是继续学习还是结束学习。

指标值判定部140还可以向显示装置70或其他的计算机5输出在满足作为检查指标而决定的要求标准的状态下使用学习模型的条件。例如，在上述的例子中，在使用被判定为满足作为检查指标而决定的要求标准的学习模型时，需要设定并使用与roc曲线进入图4的阴影区域的部分对应的阈值(将检查对象推定为阳性即次品的学习模型的输出值的阈值)。指标值判定部140可以将该阈值的范围设为使用学习模型的条件，输出给显示装置70或其他的计算机5。关于该阈值的范围，roc曲线与用粗线描绘的点划线交叉的点所对应的值为上限值，roc曲线与用粗线描绘的虚线交叉的点所对应的值为下限值。通常，roc曲线为向右上升的线，所以离上限值越近再检查率越低，离下限值越近次品出货率越低，所以指标值判定部140还可以结合该意思来进行输出。

在具备上述结构的检查装置1中，根据作为检查指标而决定的要求标准来评价学习模型。因此，在机器学习装置300的学习过程中，即使是不具备与机器学习相关的知识的现场作业人员也能够容易地判断是否进行了满足作为当前所设定的检查指标而决定的要求标准的学习。作为结果，作业人员能够容易地选择适当的学习模型。

以上，说明了本公开的实施方式，但是本公开不仅限于上述实施方式的例子，能够通过增加适当的变更以各种方式来实施。

例如，在上述实施方式中，使用通过外观检查来判断可否进行出货的例子说明了检查装置1，但是检查装置1也可以恰当地用于其他检查。例如，检查装置1也可以适用于判断机床的加工可能性的检查等。此时，检查装置1能够构成为根据作为对象的机械工作时的温度和振动、声音等来输出表示机床的故障程度的分数(如果分数低则机床的动作良好，分数高则为故障或者接近故障的状态)。此时，作为检查装置1生成的roc曲线图的纵轴设定不良机械正确率，作为横轴设定良好可动机械不正确率。作为检查装置1处理的检查指标，例如使用界限不良加工率和界限维修率即可，上述界限不良加工率表示在实用上可允许被判断为无异常而包含在加工所使用的机床群中的不良机械的比率，上述界限维修率表示被判断为有异常而转回维修的机床的比率。通过这样设定各个参数，与上述实施方式所示的情况同样地，能够容易地选择在诊断机床是否发生故障的场景中使用的适当的学习模型。

另外，在上述实施方式中，指标值判定部140对于判定为roc曲线进入图4的阴影区域的学习模型，判定为是满足作为检查指标而决定的要求标准的学习模型。指标值判定部140例如在图4中的用粗线描绘的点划线、用粗线描绘的虚线以及roc曲线包围的部分的面积超过预先决定的预定阈值时，可以判定为是满足作为检查指标而决定的要求标准的学习模型。