图像识别装置、图像识别方法及图像识别程序与流程

本发明涉及一种图像识别装置、图像识别方法及图像识别程序。

背景技术：

专利文献1公开了一种预先学习被赋予了标签的教师图像的分类器。在标签赋予型的图像识别技术中，即使在教师图像与输入图像之间的特征量的差异小的情况下，也能够高精度地进行输入图像的识别。

专利文献2中公开了一种自动编码器，通过预先学习教师图像，从而在对输入图像所具有的信息进行压缩之后，重构教师图像所具有的信息。通过对输入图像与由自动编码器重构后的图像进行比较，从而能够导出输入图像与教师图像的差异度。

现有技术文献

专利文献

专利文献1：日本特开2017-084320号公报

专利文献2：日本特开2016-004549号公报

技术实现要素：

发明要解决的问题

可是，在制造业中，有时使用被摄体为产品的图像来检查产品的质量。在制造工序中，有时不仅制造与设想的不合格产品类似的不合格产品，而且也制造过去史无前例的突发的不合格产品。或者，此外，由于摄像装置的不合格状况，有时未拍到被摄体的图像也成为检查对象。因此，要求基于图像的检查装置具有能够高精度地检测输入图像是属于表示合格产品的合格类别，还是属于表示合格产品以外的一切不合格产品的不合格类别的检查能力。

然而，在专利文献1中所述的标签赋予型的图像识别技术中，在输入图像的特征量与多个教师图像中的任意的教师图像的特征量之间的差异显著较大的情况下，可能会产生本来应属于不合格类别的输入图像被识别为属于合格类别等、图像识别的精度降低的情况。另一方面，在专利文献2所述的异常检测型的图像识别技术中，在输入图像与教师图像之间的特征量的差异小的情况下，可能会产生本来应属于不合格类别的输入图像被识别为属于合格类别等、难以高精度地识别输入图像的合格与否的情况。由此，在专利文献1以及专利文献2所记载的技术中，根据输入图像与教师图像之间的特征量的差异的大小，可能不能高精度地识别输入图像的合格与否。

本发明的目的在于提供一种图像识别装置，能够高精度地将输入图像识别为与正解的教师图像的相似度高的合格图像和与正解的教师图像的相似度低的不合格图像。

用于解决问题的手段

本发明所涉及的图像识别装置具有：取得部，其取得输入图像；分类部，其根据神经网络以及由取得部取得的输入图像，计算输入图像的分类得分，神经网络具有通过基于正解以及非正解的教师图像的机械学习，根据处理对象图像计算分类得分而决定的各层的权重系数，分类得分表示教师图像与处理对象图像的相似度；异常判定部，其根据函数逼近器以及由取得部取得的输入图像，计算输入图像的异常得分，函数逼近器是为了根据处理对象图像计算表示正解的教师图像与处理对象图像的差异度的异常得分而通过基于正解的教师图像的机械学习所构建的；以及识别部，其根据由分类部计算出的分类得分以及由异常判定部计算出的异常得分，将输入图像分类为与正解的教师图像的相似度高的合格图像或者与正解的教师图像的相似度低的不合格图像。

发明效果

根据本发明的各方面以及实施方式，能够高精度地将输入图像识别为与正解的教师图像的相似度高的合格图像和与正解的教师图像的相似度低的不合格图像。

附图说明

图1为示出实施方式所涉及的图像识别装置所具有的外观检查装置的概略结构的立体图。

图2为示出实施方式所涉及的图像识别装置的功能的一例的框图。

图3为示出图2所示的装置的硬件结构的框图。

图4为分类部中的神经网络的示意图。

图5为分类部中的学习以及推理的示意图。

图6为异常判定部中的神经网络的示意图。

图7为示出异常判定部中的神经网络的特征量的分布的图。

图8为示出分类得分以及异常得分与判定结果的关系的图表。

图9为学习处理的流程图。

图10为分类部中的神经网络的学习处理的流程图。

图11为异常判定部中的神经网络的学习处理的流程图。

图12为阈值设定处理的流程图。

图13为图像识别处理的流程图。

图14为分类用推理处理的流程图。

图15为异常检测用推理处理的流程图。

图16为图像识别处理的流程图。

图17为示出其它实施方式所涉及的图像识别装置的功能的一例的框图。

标号说明

100…外观检查装置、170…显示部、200…图像识别装置、210…教师数据取得部、220…取得部、230…分类部、231…分类学习部、232…分类推理部、240…异常判定部、241…判定学习部、242…判定推理部、250…识别部、260…显示控制部、270…受理部、280…设定部。

具体实施方式

以下，参照附图，对本发明的实施方式进行说明。另外，在以下的说明中，对相同或者相应的要素赋予相同标号，省略重复的说明。

[外观检查装置的结构概要]

图1为示出实施方式所涉及的图像识别装置所具有的外观检查装置的概略结构的立体图。图1所示的外观检查装置100为根据对电子元件p的外观进行拍摄而得到的图像来检查电子元件p是合格产品还是不合格产品的装置。外观检查装置100具有供给部110、搬运部120、照相机130、不合格产品排出机构140、不能识别产品排出机构150、合格产品排出机构160、显示部170、驱动控制部180以及图像识别装置200。

供给部110为使作为检查对象的电子元件p对齐而依次逐个地连续供给该电子元件p的机构。供给部110具有球形进料器111以及线性进料器112。球形进料器111具有收纳多个电子元件p的碗状容器，一边利用离心力使容器内的电子元件p沿着容器的周壁对齐一边逐个地进给电子元件p。线性进料器112向搬运部120依次进给从球形进料器111进给的电子元件p。

搬运部120具有转盘121。搬运部120将从供给部110供给的电子元件p载置于转盘121的上表面的周缘部而进行搬运。转盘121通过未图示的驱动电机按照一定的速度进行旋转驱动。在图1中，在转盘121上描绘的箭头表示转盘的旋转方向。电子元件p被载置于搬运部120的转盘121的上表面，通过照相机130的摄像位置，被搬运到不合格产品排出机构140、不能识别产品排出机构150或者合格产品排出机构160。

照相机130对转盘121上的电子元件p进行拍摄，生成图像。照相机130具有照相机130a以及照相机130b。照相机130a设在与转盘121的上表面对置的位置。照相机130a对电子元件p的上表面进行摄像。照相机130b设置于与转盘121的外周对置的位置。照相机130b对朝向电子元件p的外周侧的面进行摄像。照相机130a和照相机130b分别配置在离开规定距离的位置处。由照相机130针对由转盘121依次搬运的电子元件p，对上述的各面依次进行摄像。

不合格产品排出机构140排出由图像识别装置200判定为不合格产品的电子元件p。不合格产品排出机构140在转盘121的旋转方向上以供给部110为基准而设置在比照相机130靠下游的位置。不合格产品排出机构140具有空气喷嘴141以及回收部(shoot)142。空气喷嘴141以与回收部142对置的方式设置在转盘121的内周部上方。空气喷嘴141通过后述的驱动控制部180的控制而选择性地输出规定量的空气。回收部142对被空气喷嘴141吹起的检查对象的电子元件p进行回收。

不能识别产品排出机构150具有排出由图像识别装置200判定为不能识别产品的电子元件p的功能。不能识别产品排出机构150在转盘121的旋转方向上以供给部110为基准而设置在比照相机130靠下游的位置。不能识别产品排出机构150具有空气喷嘴151以及回收部152。空气喷嘴151以与回收部152对置的方式设置在转盘121的内周部上方。空气喷嘴151通过后述的驱动控制部180的控制而选择性地输出规定量的空气。回收部152对被空气喷嘴151吹起的检查对象的电子元件p进行回收。另外，不合格产品排出机构140和不能识别产品排出机构150相对于转盘121的旋转方向的设置顺序可以是任意一方在前。

合格产品排出机构160排出由图像识别装置200判定为合格产品的电子元件p。合格产品排出机构160在转盘121的旋转方向上以供给部110为基准而设置在最下游的位置。合格产品排出机构160具有引导件161以及回收部162。引导件161将转盘121上残留的电子元件p引导到回收部162。回收部162使被引导件161引导的电子元件p下落并回收。

显示部170根据后述的图像识别装置200中的显示控制部260的控制，显示合格产品或者不合格产品的判定结果、判定的阈值等。作为一例，显示部170为显示器装置。

驱动控制部180对由空气阀等构成的驱动部181(参照图2)进行控制。驱动控制部180根据后述的图像识别装置200中的识别部250的图像判定结果，使被摄体的电子元件p回收到不合格产品排出机构140、不能识别产品排出机构150、或者合格产品排出机构160中的任意一方。驱动控制部180在判定为使电子元件p回收到不合格产品排出机构140或者不能识别产品排出机构150的情况下，通过驱动部181使得从空气喷嘴141或者空气喷嘴151输出规定量的空气。

[外观检查装置的基本动作]

作为外观检查装置100的动作，首先对取得作为检查对象的电子元件p的图像的过程进行说明。在外观检查装置100中，电子元件p被供给部110供给到搬运部120。电子元件p被载置于转盘121的上表面的周缘部而被搬运。载置时，电子元件p被带电，通过静电而被吸附于转盘121。接着，电子元件p通过转盘121的搬运而被送到照相机130的位置。通过照相机130对电子元件p进行摄像。将以电子元件p为被摄体的图像发送到图像识别装置200。可以通过照相机130a取得以电子元件p的上表面为被摄体的图像。可以通过照相机130b取得将电子元件p的正面或者侧面作为被摄体的图像。

接着，对根据后述的图像识别装置200中的图像识别处理的结果对检查对象的电子元件p进行分类的过程进行说明。在电子元件p被判定为不合格产品的情况下，驱动控制部180对驱动部181的驱动进行控制使得从空气喷嘴141输出规定量的空气。电子元件p被从空气喷嘴141输出的空气吹起，并落到回收部142中。同样地，在电子元件p被判定为不能识别的情况下，控制部180对驱动部181的驱动进行控制使得从空气喷嘴151输出规定量的空气。电子元件p被从空气喷嘴151输出的空气吹起，并落到回收部152中。由此，从转盘121排除掉被判定为不合格产品或者不能识别产品的电子元件p。被判定为合格产品的电子元件p保留在转盘121中。由引导件161对被判定为合格产品的电子元件p进行引导而下落到回收部162中。

[图像识别装置的功能结构]

图2为示出实施方式所涉及的图像识别装置的功能的一例的框图。图像识别装置200识别为输入图像中所包含的被摄体(电子元件p)为合格产品的图像、以及被摄体为不合格产品的图像。作为识别对象的输入图像为由上述的外观检查装置100中的照相机130取得的图像。

图像识别装置200具有教师数据取得部210、取得部220、分类部230、异常判定部240以及识别部250。

教师数据取得部210取得被赋予了正解的标签的教师图像以及被赋予了非正解的标签的教师图像。在此，标签是指与图像相关联的信息。在本实施方式中，在对教师图像赋予了正解的标签的情况下，表示作为该教师图像的被摄体的电子元件p为合格产品。在对教师图像赋予了非正解的标签的情况下，表示作为该教师图像的被摄体的电子元件p为不合格产品。教师图像为包括与作为上述的照相机130的被摄体的电子元件p相同种类的电子元件p的图像。教师数据取得部210可以从未图示的数据服务器等经由通信取得教师图像，也可以参照能够与图像识别装置200连接的外部存储介质、图像识别装置200所具有的存储介质，取得教师图像。对所需的教师图像的张数没有特别限定。

取得部220取得通过照相机130得到的输入图像。取得部220可以对输入图像实施裁剪(crop)、尺寸调整等的预处理。

分类部230具有分类学习部231以及分类推理部232。分类学习部231根据在教师数据取得部210中取得的被赋予了正解的标签的教师图像以及被赋予了非正解的标签的教师图像，使神经网络学习被设为正解的被摄体的特征以及被设为非正解的被摄体的特征。并且，学习后的神经网络获得如下能力：在被输入了作为处理对象的图像的情况下，计算表示该被摄体是合格产品的概率的得分以及表示该被摄体是不合格产品的概率的得分。

在教师图像的特征的提取中，教师图像被转换为规定维度的特征向量。在特征的分类中，形成超平面上的识别面，在该超平面上的识别面中，将从被赋予了正解的标签的教师图像中提取出的特征向量与从被赋予了非正解的标签的教师图像中提取出的特征向量进行分离。分类学习部231在神经网络内多次重复进行判定从教师图像中提取出的特征向量属于“表示合格产品的合格类别”和“表示合格产品以外的一切不合格产品的不合格类别”中的哪个类别的对错处理。此时，调整神经网络中的各层的权重系数。由此，神经网络获得能够正确地对这些进行分类的能力。

分类部230中的神经网络输出表示从输入图像中提取出的特征向量属于合格类别的概率的得分(以下，记载为“合格得分”)、以及表示属于不合格类别的概率的得分(以下，记载为“不合格得分”)。在本实施方式中，设定成合格得分和不合格得分分别为0.0～1.0的范围的值，且合格得分和不合格得分的合计为1.0。针对被赋予了正解的标签的教师图像，以合格得分接近1.0，不合格得分接近0.0的方式，进行神经网络的学习。另一方面，针对被赋予了非正解的标签的教师图像，以合格得分接近0.0，不合格得分接近1.0的方式，进行神经网络的学习。由此，分类推理部232的学习为所谓的监督学习。在分类学习部231的学习结束的情况下，以后可以不进行权重系数的变更。另外，在本实施方式中，从神经网络输出的合格得分以及不合格得分中的合格得分被用为分类得分。这些均为表示与教师图像的相似度的指标，不合格得分可以用作分类得分。

分类推理部232使用由分类学习部231事先学习的神经网络进行检查(推理)。分类推理部232根据由分类学习部231构建的神经网络和由取得部220取得的输入图像计算分类得分。

异常判定部240具有判定学习部241以及判定推理部242。判定学习部241通过机械学习使规定的函数逼近器学习输入与输出的关系。在异常判定部240中作为学习对象的教师图像是被摄体为合格产品的图像。教师图像可以使用照相机130对合格产品的电子元件p进行拍摄而得到的图像，也可以是与输入到分类部230的、被赋予了正解的标签的教师图像相同的图像。即，在判定学习部241所进行的学习中，与分类学习部231所进行的学习不同，仅需要正解的教师图像。

在异常判定部240所涉及的函数逼近器中能够与分类部230同样地应用神经网络。判定学习部241使神经网络根据在教师数据取得部210取得的教师图像，学习教师图像的特征。并且，学习后的神经网络获得如下能力：在被输入了作为处理对象的图像的情况下，在对作为处理对象的图像所具有的信息(例如，特征量等)进行压缩之后，重构教师图像所具有的信息。判定推理部242向学习完的神经网络输入由取得部220取得的输入图像，可以将根据该输入图像重构的图像作为输出。由此，使用神经网络、压缩以及重构输入数据的信息的方法作为自动编码器而广为人知。在本实施方式中，能够将这种自动编码器应用于异常判定部240。

或者，此外，在异常判定部240所涉及的函数逼近器中，也可以应用单分类svm(oneclasssvm(supportvectormachine:支持向量机))。判定学习部241根据在教师数据取得部210中取得的教师图像，使svm学习教师图像的特征。并且，学习后的svm获得在特征空间中划分第1区域和第2区域的能力，在所述第1区域中描绘从与教师图像的差异度低的图像中提取出的特征向量，在所述第2区域中描绘从与教师图像的差异度高的图像中提取出的特征向量。判定推理部242首先从由取得部220取得的输入图像中提取特征向量。接着，判定推理部242判定在上述的哪个区域中描绘从输入图像中提取出的特征向量。当在与教师图像的差异度高的第2区域中描绘从输入图像提取出的特征向量时，判定推理部242能够识别为该输入图像的被摄体中包含异常。在此，异常不仅仅表示被摄体为不合格产品，还表示被摄体未被全部拍摄到、或者拍摄到了不同种类的被摄体等、与教师图像极端不同的情况。

异常判定部240根据由机械学习构建的函数逼近器和输入图像，计算表示输入图像与教师图像的差异度的异常得分。作为一例，输入图像与教师图像(重构的图像)的差异度越大，异常得分为越接近“1.0”的值，输入图像与教师图像(重构的图像)的差异度越小，异常得分为越接近“0.0”的值。在使用自动编码器计算异常得分的情况下，根据输入图像与重构的图像之间的像素值的相关计算多个项。并且，对计算出的各项赋予系数，在线性运算之后归一化为0.0～1.0的范围，从而最终地计算异常得分。在使用svm计算异常得分的情况下，根据基于教师图像与输入图像之间的像素值的差值的平均、方差等统计量计算多个项。并且，对计算出的各项赋予系数，在线性运算之后归一化为0.0～1.0的范围，从而最终地计算异常得分。另外，计算异常得分的方法不限于上述方法。此外，在使用svm计算异常得分的情况下，异常判定部240仅在识别为输入图像的被摄体中包含异常的情况下计算异常得分。通过相关的结构，得到能够削减用于计算异常得分的计算成本的效果。

识别部250根据在分类推理部232中计算出的分类得分以及在判定推理部242中计算出的异常得分，将由取得部220取得的输入图像分类为与正解的教师图像的相似度高的合格图像或者与正解的教师图像的相似度低的不合格图像。识别部250将输入图像分类为合格图像或者不合格图像不仅包含识别部250将输入图像分类为合格图像和不合格图像中的任意一种的情况，也包括将输入图像分类为合格图像、不合格图像、以及其它类别的情况。该其它类别的一例为不能识别类别(既不是合格图像，也不是不合格图像)。识别部250可以根据针对分类得分预先确定的分类阈值801(参照图8)和针对异常得分预先确定的异常阈值802(参照图8)，将输入图像分类为合格图像或者不合格图像。分类阈值801是为了评价分类得分而预先确定的指标。异常阈值802是为了评价异常得分而预先确定的指标。通过设定分类阈值801以及异常阈值802，从而针对多个输入图像设置统一的基准。

图像识别装置200可以具有受理部270以及设定部280。外观检查装置100可以在图像识别装置200的外部具有输入装置190。输入装置190为鼠标、键盘、触摸面板等。受理部270受理用户操作。用户操作是指使输入装置190进行工作的由用户进行的动作，作为一例，为基于鼠标的选择操作、基于键盘的输入操作、基于触摸面板的选择操作或者输入操作。设定部280根据在受理部270中受理的用户操作，设定分类阈值801和异常阈值802。用户通过设定分类阈值801以及异常阈值802，从而能够调整判定基准使得成为接近目视检查的外观检查。可以通过使用由分类部和异常判定部已经取得的输入图像的分类得分和异常得分的规定的计算公式，来计算分类阈值801和异常阈值802。

图像识别装置200可以具有显示控制部260。显示控制部260使显示部170显示将与分类得分相关的分类得分评价轴和与异常得分相关的异常得分评价轴作为坐标轴的散布区域800(参照图8)。显示控制部260使以输入图像的分类得分以及异常得分为坐标的数据、分类阈值801以及异常阈值802显示在散布区域800中。在显示部170中，通过使所取得的数据在散布区域800中可视化，从而容易进行输入图像内的被摄体的质量的偏差确认、分类阈值801以及异常阈值802的设定的回顾等。

[图像识别装置的硬件结构]

图3为示出图2所示的装置的硬件结构的框图。如图3所示，图像识别装置200构成为包括具有cpu(centralprocessingunit：中央处理单元)301、ram(randomaccessmemory：随机存取存储器)302、rom303(readonlymemory：只读存储器)、图形控制器304、辅助存储装置305、外部连接接口306(以下，将接口记载为“i/f”)、网络i/f307以及总线308的通常的计算机系统。

cpu301由运算电路构成，对图像识别装置200进行总括控制。cpu301对ram302读出rom303或者辅助存储装置305中存储的程序。cpu301执行对ram302读出的程序中的各种处理。rom303存储图像识别装置200的控制中使用的系统程序等。图形控制器304生成用于使显示部170显示的画面。辅助存储装置305具有作为存储装置的功能。辅助存储装置305存储执行各种处理的应用程序等。作为一例，辅助存储装置305由hdd(harddiskdrive：硬盘驱动器)、ssd(solidstatedrive：固态硬盘)等构成。外部连接i/f306为用于与图像识别装置200连接各种设备的接口。作为一例，外部连接i/f306能够使图像识别装置200、显示器、键盘、鼠标等连接。显示部170以及输入装置190由外部连接i/f构成。网络i/f307根据cpu301的控制，经由网络与图像识别装置200等进行通信。上述的各结构部能够经由总线308进行通信。由图3所示的硬件实现图2所示的图像识别装置200的功能。

另外，图像识别装置200可以具有上述以外的硬件。作为一例，图像识别装置200可以具有gpu(graphicsprocessingunit：图形处理单元)、fpga(field-programmablegatearray：现场可编程门阵列)以及dsp(digitalsignalprocessor：数字信号处理器)等。图像识别装置200作为硬件不需要包含在1个壳体中，也可以分离为几个装置。

[与分类部相关的神经网络的详细]

图4为分类部230中的神经网络的示意图。如图4所示，分类部230中的神经网络400为所谓的分层神经网络，利用圆所示的众多的人工神经元(节点)形成层级，并连结。分层神经网络具有输入用的人工神经元、处理用的人工神经元以及输出用的人工神经元。

由教师数据取得部210取得作为教师图像的输入数据401。从教师数据取得部210向分类学习部231发送输入数据401。通过输入层402中的输入用的人工神经元取得输入数据401。通过并列配置输入用的人工神经元，从而形成输入层402。输入数据401被分配给处理用的人工神经元。将通过神经网络进行交互的信号本身称为得分。得分为数值。

处理用的人工神经元与输入用的人工神经元连接。通过并列配置处理用的人工神经元，从而形成中间层403。中间层403可以为多个层。另外，将具有中间层403的3层以上的神经网络称为深度神经网络。

作为分类部230中的神经网络，使用卷积神经网络。卷积神经网络为卷积层与池化(pooling)层交替地连结而构成的深度神经网络。通过在卷积层与池化层中依次进行处理，从而输入图像在被保持边缘等特征的同时被缩小。在将卷积神经网络应用于图像解析的情况下，能够根据该提取出的特征高精度地进行图像的分类。

输出用的人工神经元向外部输出得分。在图4的示例中，从输出用的人工神经元输出合格得分和不合格得分。即，在输出层404中准备用于输出合格得分的人工神经元、和用于输出不合格得分的人工神经元这2个人工神经元。在本实施方式中，合格得分和不合格得分被设定成分别为0.0～1.0的范围的值，且合格得分和不合格得分的合计为1.0。在后述的分类用学习(s900)中，进行神经网络400的学习，使得针对被赋予了正解的标签的教师图像，合格得分接近1.0，不合格得分接近0.0。另一方面，进行神经网络400的学习，使得针对被赋予了非正解的标签的教师图像，合格得分接近0.0，不合格得分接近1.0。另外，在本实施方式中，从输出层404输出的合格得分被用为分类得分。

分类学习部231使上述的神经网络学习被赋予了正解或者非正解的标签的教师图像。由此，在中间层403中，形成确定了权重系数的处理用的人工神经元。使该学习完的神经网络应用于分类推理部232。在分类推理部232中，输入层402取得输入图像并分配给中间层403的处理用的人工神经元。中间层403内的处理用的人工神经元使用所学习的权重系数来处理输入，将输出传达给其它的神经元。在从中间层403向输出层404传递了得分的情况下，输出层404向外部输出分类得分作为输出405。该分类得分表示与输入图像中的被赋予了正解或者非正解的标签的教师图像的相似度。分类得分越接近“1”，表示与正解的教师图像的相似度越高。

[分类时的特征量]

图5为示出分类部230中的学习以及推理的示意图。图5的(a)、(b)为表示学习时的特征量(特征向量)的图表的一例，图5的(c)、(d)为表示推理时(检查时)的特征量(特征向量)的图表的一例。

图5的(a)为在高维空间中描绘通过分类学习部231提取出的教师图像的特征量(特征向量)的图表的一例。在图5的(a)中，在高维空间700中描绘被赋予了正解的标签的教师图像的特征量701以及被赋予了非正解的标签的教师图像的特征量702。在高维空间700中，特征量701以及特征量702不规则地分散。分类学习部231为了导出教师图像的特征量属于合格类别的概率和属于不合格类别的概率，向二维空间投影教师图像的特征量。图5的(b)为向二维空间投影图5的(a)的教师图像的特征量的图表。如图5的(b)所示，被赋予了正解的标签的教师图像的特征量701和被赋予了非正解的标签的教师图像的特征量702分别形成点群。通过学习获得构成这些点群的边界的超分离平面。边界上方的区域为合格类别区域711，边界下方的区域为不合格类别区域712。

图5的(c)为在高维空间中描绘由分类推理部232提取出的输入图像的特征量(特征向量)的图表的一例。在图5的(c)中，在高维空间700中描绘输入图像的特征量703。分类推理部232为了导出输入图像的特征量属于合格类别的概率和属于不合格类别的概率，而向二维空间投影输入图像的特征量。图5的(d)为向二维空间投影图5的(c)的输入图像的特征量得到的图表。分类推理部232使用在图5的(b)中获得的边界来判定输入图像的特征量属于哪个区域。例如，当在合格类别区域711中描绘了特征量时，判定为输入图像属于合格类别，当在不合格类别区域712中描绘了特征量时，判定为输入图像属于不合格类别。在图5的(d)的示例中，由于在不合格类别区域712中描绘了特征量703，因此判定为输入图像属于不合格类别。

[与异常判定部相关的神经网络的详细]

图6为异常判定部中的神经网络的示意图。如图6所示，异常判定部240中的神经网络500为所谓的分层神经网络，利用圆所示的众多的人工神经元(节点)形成层级，并且连结。分层神经网络具有输入用的人工神经元、处理用的人工神经元以及输出用的人工神经元。

由教师数据取得部210取得作为教师图像的输入数据501。从教师数据取得部210向判定学习部241发送输入数据501。通过输入层502中的输入用的人工神经元取得输入数据501。通过并列配置输入用的人工神经元，从而形成输入层502。输入数据501被分配给处理用的人工神经元。

处理用的人工神经元与输入用的人工神经元连接。处理用的人工神经元按照人工神经元的功能来处理输入，将输出传达给其它的神经元。通过并列配置处理用的人工神经元，从而形成中间层503。中间层503可以为多个层。

输出用的人工神经元向外部输出得分。准备与输入用的人工神经元的数量相同数量的输出用的人工神经元。通过并列配置输出用的人工神经元，从而形成输出层504。输出层504输出图像作为输出505。

由此，异常判定部涉及的神经网络在被输入了作为处理对象的图像的情况下，在对作为处理对象的图像所具有的信息(例如，特征量等)进行压缩之后，进行重构教师图像所具有的信息的运算。使用神经网络、对输入数据的信息进行压缩以及重构的方法作为自动编码器而广为人知。

判定学习部241使上述的神经网络学习教师图像。具体来说，进行获得如下能力的学习：即抽象地提取教师图像的主要的特征量的能力、以及根据所提取的特征量重构数据，获取再现教师图像的能力。判定学习部241在神经网络内反复进行减小教师图像与重构数据之间的误差的调整。此时，调整神经网络的各层中的权重系数。

判定推理部242使用在判定学习部241中所学习的神经网络。在取得部220中取得的输入图像被发送到判定推理部242。提取从输入图像中提取出的特征量。输入图像的特征量被转换为任意维度的特征向量。在判定推理部242中，使用特征向量、以及神经网络内的所决定的权重系数，进行数据重构的运算。通过神经网络的运算，输出重构图像。根据重构图像与输入图像的差异，计算异常得分。在本实施方式中，以重构图像与输入图像的差异越大，越接近“1.0”的方式，计算异常得分。可以以输入图像和重构图像中的任意方的特征量为基准计算异常得分，也可以以输入图像与重构图像的差值像素值的统计量为基准计算异常得分。

在上述的实施方式中，对将自动编码器应用于判定学习部241的示例进行了说明，但也可以应用单分类svm(oneclasssvm(supportvectormachine))等其它学习方法。

[异常判定时的特征量]

图7为示出异常判定部中的神经网络的特征量的分布的图。在图7的(a)、(b)中，纵轴和横轴分别表示形状、颜色等特征量的指标。图7的(a)为高维空间中的教师图像的特征量的分布的一例。在图7的(a)中，从教师图像中提取出的特征量的分布被描绘为点群601。图7的(b)为高维空间中的输入图像(被摄体为不合格产品的电子元件p)的特征量的分布的一例。在图7的(b)中，从输入图像中提取出的特征量的分布被描绘为点群601以及点群602。当对图7的(a)、(b)进行比较时，可知提取出的主要的特征量不同。由此，异常判定部中的神经网络在被摄体为不合格产品的情况下，能够提取与教师图像的特征量不同的特征量(点群602)。能够将这种特征量的分布的差异设为异常得分。

[分类得分以及异常得分与判定结果的关系]

图8为示出分类得分以及异常得分与判定结果的关系的图表。图8所示的图表(散布区域800)的横轴为与异常得分相关的评价轴，纵轴为与分类得分相关的评价轴。在图8中，异常得分构成0～1的范围，分类得分构成0～1的范围。散布区域800内的圆为具有分类得分以及异常得分作为坐标数据的输入图像的数据。纵轴的值越接近0，表示属于不合格类别的概率越高。纵轴的值越接近1，表示属于合格类别的概率越高。横轴的值越接近0，表示与教师图像的差异越小。横轴的值越接近1，表示与教师图像的差异越大。另外，在评价轴中的上限、下限的设定中，数值可以变更。

在散布区域800中设定分类阈值801和异常阈值802。合格类别区域803是分类得分为分类阈值801以上、异常得分为异常阈值802以下的区域。与被描绘在合格类别区域803中的数据相关的输入图像被判定为是被摄体是合格产品的电子元件p的图像。

此外，除了分类阈值801和异常阈值802以外，还可以针对分类得分和异常得分进一步各设置一个阈值。在分类得分中，分类差异阈值804被设定为小于分类阈值801的值。将分类阈值801和分类差异阈值804设定成使得后述的不能识别区域806成为包括中心值的规定范围(例如，0.25～0.75)。在异常得分中，异常差异阈值805被设定为大于异常阈值802的值。将异常阈值802和异常差异阈值805设定成使得后述的不能识别区域806成为包括中心值的规定范围(例如，0.25～0.75)。并且，如图8所示，通过分类阈值801、异常阈值802、分类差异阈值804以及异常差异阈值805的组合，划分不能识别区域806与不合格类别区域807。不能识别区域806是在散布区域800中分类得分为分类差异阈值804以上、并且异常得分为异常差异阈值805以下的区域中的、除了合格类别区域803以外的区域。不合格类别区域807为散布区域800中的、除了合格类别区域803和不能识别区域806以外的区域。

在图8的示例中，在不能识别区域806描绘数据是指该数据的分类得分以及异常得分中的任意一方或者双方是不与1或者0近似的值(例如，0.25～0.75)。即，与在不能识别区域806中描绘的数据相关的输入图像既像合格图像，又像不合格图像。通过将这种输入图像判定为不能识别图像，从而针对不能识别图像，能够委托人的目视判定等的其它识别方法。因此，在外观检查装置100以及图像识别装置200中的识别中，能够提高作为系统整体的识别精度。

在后述的输入图像识别处理(s970)中，在该散布图中描绘具有所取得的分类得分和异常得分的输入图像的数据。根据在哪个区域中描绘的情况，识别为输入图像为合格图像、不合格图像或者不能识别图像。另外，在散布区域800设定的阈值的数量不限于2个或者4个，可以设定2个以上的任意的数量。此外，显示控制部260可以进行使散布区域800以及阈值的调整状况显示于显示部170的控制。

[图像识别装置的动作]

[学习处理]

图9为学习处理的流程图。图像识别装置200中的学习处理具有分类学习部231中的分类用学习处理(s900)、以及判定学习部241中的异常检测用学习处理(s910)。分类用学习处理(s900)和异常检测用学习处理(s910)的顺序可以是任意一方在前。或者，此外，在后述的图像识别处理中，可以使用预先学习的神经网络。在该情况下，可以省略分类用学习处理(s900)以及异常检测用学习处理(s910)中的任意一方或者双方的处理。

图10为分类部中的神经网络的学习处理的流程图。图10的流程图为图9所示的分类用学习处理(s900)的详细。分类学习部231从教师数据取得部210取得教师数据作为教师数据取得处理(s901)。教师数据存在为被赋予了正解的标签的教师图像的情况、以及为被赋予了非正解的标签的教师图像的情况。分类学习部231使神经网络学习所取得的教师数据，作为运算处理(s902)。在该运算处理(s902)中，针对所输入的教师图像，从神经网络输出合格得分和不合格得分。在本实施方式中，将合格得分和不合格得分设定成使得分别为0.0～1.0的范围的值，且合格得分和不合格得分的合计为1.0。分类学习部231计算被赋予给教师图像的标签与针对该教师图像所输出的得分的误差，作为误差运算处理(s903)。分类学习部231使用在s903中计算出的误差，调整神经网络的中间层的权重系数，作为反向传播处理(s904)。分类学习部231判定在s903中计算出的误差是否低于规定阈值，作为阈值判定处理(s905)。在判定为误差不低于规定阈值的情况下(s905：否)，再次重复s902～s905的处理。在判定为误差低于规定阈值的情况下(s905：是)，进入完成判定处理(s906)。

作为运算处理(s902)～阈值判定处理(s905)的具体示例，对被输入有被赋予了正解的标签“1”的教师图像的用例(usecase)进行说明。在针对该教师图像初次实施运算处理(s902)的情况下，作为合格得分和不合格得分，例如分别从神经网络输出“0.9”和“0.1”的值。接着，在误差运算处理(s903)中，计算正解的标签“1”与合格得分“0.9”的差“0.1”。另外，在对教师图像赋予了非正解的标签的情况下，计算与不合格得分的差。接着，在误差传播处理(s904)中，调整神经网络的中间层的权重系数以使在误差运算处理(s903)中计算的误差更小。在阈值判定处理(s905)中，反复进行权重系数的调整，直至判定为在误差运算处理(s903)中计算的误差低于规定阈值为止，从而进行神经网络的学习。

接着，在完成判定处理(s906)中，判定是否针对所有的教师数据完成了处理。在判定为未针对所有的教师数据完成处理的情况下(s906：否)，再次重复s901～s906的处理。在判定为针对所有的教师数据完成了处理的情况下(s906：是)，结束图10的流程图，返回图9的流程图。

图11为异常判定部中的神经网络的学习处理的流程图。图11的流程图为图9所示的异常检测用学习处理(s910)的详细。判定学习部241从教师数据取得部210取得教师数据，作为教师数据取得处理(s911)。在本实施方式中，异常检测用学习中使用的教师数据是被摄体为合格产品的电子元件p的教师图像。或者，此外，异常检测用学习中使用的教师数据也可以是分类用学习(s900)中使用的、被赋予了正解的标签的教师图像。判定学习部241使神经网络学习所取得的教师数据，作为运算处理(s912)。在该运算处理(s912)中，在对教师图像所具有的特征量进行压缩之后，进行重构教师图像所具有的特征量的运算。换句话说，尝试恢复被暂时缩小(downscale)的教师图像。判定学习部241计算教师图像的特征量与在运算处理(s912)中重构的特征量的误差，作为误差运算处理(s913)。判定学习部241使用在误差运算处理(s913)中计算出的误差，调整神经网络的中间层的权重系数，作为反向传播处理(s914)。判定学习部241判定在误差运算处理(s913)中计算出的误差是否低于规定阈值，作为阈值判定处理(s915)。在判定为误差不低于规定阈值的情况下(s915：否)，再次反复s912～s915的处理。在判定为误差低于规定阈值的情况下(s915：是)，进入完成判定处理(s916)。由此，通过反复进行权重系数的调整直至在误差运算处理(s913)中计算的误差低于规定阈值为止，从而进行神经网络的学习以便能够根据任意的输入图像恢复教师图像。

接着，判定是否针对所有的教师数据完成了处理，作为完成判定处理(s916)。在判定为未针对所有的教师数据完成处理的情况下(s916：否)，再次重复s911～s916的处理。在判定为针对所有的教师数据完成了处理的情况下(s916：是)，图11的流程图结束，返回图9的流程图。

[阈值设定处理]

图12为阈值设定处理的流程图。设定部280生成将分类得分作为纵轴，将异常得分作为横轴的散布图，作为散布图生成处理(s920)。设定部280根据通过由受理部270受理的用户操作设定的设定条件，设定分类阈值801、异常阈值802、分类差异阈值804以及异常差异阈值805，作为阈值设定处理(s930)。该散布图示出用于图示从后述的输入图像取得的分类得分和异常得分的散布区域800。当阈值设定处理(s930)结束时，结束图12的流程图。

[图像识别处理(图像识别方法的一例)]

图13为图像识别处理的流程图。在图9～11的流程图结束后开始图13的流程图。分类推理部232以及判定推理部242取得在取得部220中取得的输入图像，作为图像取得处理(s940：第1步骤)。分类推理部232计算输入图像的分类得分，作为分类用推理处理(s950：第2步骤)。判定推理部242计算输入图像的异常得分，作为异常检测用推理处理(s960：第3步骤)。识别部250根据分类得分、异常得分、分类阈值801、异常阈值802、分类差异阈值804以及异常差异阈值805，识别输入图像，作为识别处理(s970：第4步骤)。识别部250判定是否针对所有的输入图像完成了处理，作为完成判定处理(s980)。在判定为未针对所有的输入图像完成处理的情况下(s980：否)，再次重复s940～s980的处理。在判定为针对所有的输入图像完成了处理的情况下(s980：是)，图13所示的流程图结束。

[分类用推理处理]

图14为分类用推理处理的流程图。图14的流程图为图13所示的分类用推理处理(s950)的详细。分类推理部232将输入图像应用于通过分类用学习处理(s900)得到的神经网络并进行运算，作为运算处理(s951)。输入图像包括电子元件p作为被摄体。与教师图像不同，输入图像未被赋予标签。分类推理部232从神经网络中取得输入图像的分类得分，作为得分取得处理(s952)。在推理阶段中，针对输入图像也从神经网络输出合格得分和不合格得分。在本实施方式中，取得从神经网络输出的得分中的合格得分作为分类得分。当得分取得处理(s952)完成时，结束图14的流程图，返回图13的流程图。

[异常检测用推理处理]

图15为异常检测用推理处理的流程图。图15的推理流程图为图13所示的异常检测用推理处理(s960)的详细。判定推理部242将输入图像应用于通过异常检测用学习处理(s910)得到的神经网络并进行运算，作为运算处理(s961)。在该运算处理(s912)中，在对输入图像所具有的特征量进行压缩之后，进行重构压缩后的特征量的运算，使得与教师图像所具有的特征量近似。判定推理部242可以通过进行运算处理(s961)，得到根据输入图像重构的图像。判定推理部242从神经网络取得输入图像的异常得分，作为得分取得处理(s962)。当得分取得处理(s962)完成时，结束图15的流程图，返回图13的流程图。

[输入图像识别处理]

图16为输入图像识别处理的流程图。图16的流程图为图13所示的输入图像识别处理(s970)的详细。在散布区域800中描绘了输入图像的分类得分和异常得分的情况下，识别部250判定数据点是否被描绘在合格类别区域803中，作为合格类别判定处理(s971)。在判定为数据点被描绘在合格类别区域803中的情况下(s971：是)，识别部250将输入图像识别为合格图像，作为合格识别处理(s973)。在判定为数据点未被描绘在合格类别区域803中的情况下(s971：否)，在散布区域800中描绘了输入图像的分类得分和异常得分的情况下，识别部250判定数据点是否被描绘在不合格类别区域807中，作为不合格类别判定处理(s972)。在判定为数据点被描绘在不合格类别区域807中的情况下(s972：是)，识别部250将输入图像识别为不合格图像，作为不合格识别处理(s974)。在判定为数据点未被描绘在不合格类别区域807中的情况下(s972：否)，识别部250将输入图像识别为不能识别图像，作为不能识别处理(s975)。当完成合格识别处理(s973)、不合格识别处理(s974)、或者不能识别处理(s975)时，结束图16的流程图，返回图13的流程图。

[其它的实施方式]

在上述的实施方式中，对分类学习部231和判定学习部241包含于图像识别装置200中的结构进行了说明，但也可以是分类学习部231和判定学习部241中的任意一方或双方包含于图像识别装置200的外部装置中的结构。图17为示出了其它实施方式所涉及的图像识别装置200和学习装置1000的功能的一例的框图。如图17所示，在学习装置1000中设置有教师数据取得部210、分类学习部231以及判定学习部241。在学习处理结束之后，将在学习装置1000中学习后的分类用神经网络以及异常检测用神经网络分别应用于分类推理部232以及判定推理部242。

一般来说，在机械学习中使用了图像的学习处理消耗较多的计算机资源。因此，当在图像识别装置200上执行分类用学习(s900)和异常检测用学习(s910)的各个处理的情况下，图像识别装置200的装置成本可能上升。通过在学习装置1000上执行分类用学习(s900)和异常检测用学习(s910)的各个处理，从而得到能够降低图像识别装置200的装置成本的效果。

[程序]

对用于作为图像识别装置200发挥功能的图像识别程序进行说明。图像识别程序具有主模块、取得模块、分类模块、异常判定模块以及识别模块。主模块为总括地控制装置的部分。通过执行取得模块、分类模块、异常判定模块以及识别模块而实现的功能分别与上述的图像识别装置200的取得部220、分类部230、异常判定部240以及识别部250的功能同样。

[实施方式的总结]

在本实施方式所涉及的图像识别装置200中，通过分类部230，根据基于被赋予了正解以及非正解的标签的教师图像的学习完的神经网络400以及输入图像，计算表示输入图像与教师图像的相似度的分类得分。通过异常判定部240，根据基于教师图像的学习完的神经网络500以及输入图像，计算表示输入图像与教师图像的差异度的异常得分。通过识别部250，根据分类得分和异常得分，将输入图像分类为合格图像和不合格图像。由此，图像识别装置200根据分类得分和异常得分这2个不同的评价对输入图像进行最终分类，从而能够将输入图像适当地分类为合格图像或者不合格图像。

基于被赋予了正解以及非正解的标签的教师图像的分类学习完的神经网络400一般不能正确地判定与教师图像(合格图像、不合格图像)均不类似的输入图像。其理由是由于未分类为合格图像和不合格图像中的任意一种的图像在分类用学习(s900)中未构成学习对象，在分类用推理(s950)中导致可靠性低的推理结果的可能性较高。即，在通过分类用学习形成超分离平面(图5的(b))时，由于未考虑与合格图像和不合格图像均不类似的图像，因此这种图像的特征量会导致产生本来应描绘在不合格类别区域，但却描绘在合格类别区域的情况。

另一方面，由于在异常检测用学习(s910)中仅学习合格图像而生成的神经网络500输出教师图像与输入图像的差异度作为得分，因此能够根据所输出的得分将输入图像判定为异常(不合格图像)。但是，仅在神经网络500中，难以分离微小的不合格位置、如分类学习这样决定合格图像与不合格图像的边界。本发明所涉及的图像识别装置200通过使分类学习与异常检测组合，从而一边发挥作为分类的优点的强大的识别能力，一边通过异常检测覆盖作为分类的弱点的未学习图像的识别能力。由此，能够对应“包括未知的不合格产品在内的一切不合格产品”。进而，能够通过异常检测保障针对未知的图像(未知的不合格产品)的分类的误判定的可能。

在本实施方式所涉及的图像识别装置200中，能够按照各种得分准备阈值来进行分类。在本实施方式所涉及的图像识别装置200中，能够使用户设定分类阈值801以及异常阈值802，因此能够实现与用户的目视分类接近的分类。图像识别装置200能够使分类阈值801和异常阈值802与结果的数据在散布区域800中进行可视化，因此能够使用户直观地理解数据与阈值的关系。图像识别装置200能够利用根据输入图像重构教师图像的自动编码器来计算异常得分。

以上，对本发明的实施方式进行了说明，但本发明不限于上述实施方式。例如，外观检查装置100可以具有使电子元件p的方向反转的反转装置。例如，图像识别装置200内的教师数据取得部210、取得部220、分类部230、异常判定部240、识别部250、显示控制部260、受理部270以及设定部280也可以不包含在1个装置内，而是构成为按照每个部件而准备的装置经由通信网络连接的集合体。

图像识别装置200也可以不具有与学习相关的结构。例如，图像识别装置200可以不具有教师数据取得部210、分类学习部231、判定学习部241。在该情况下，图像识别装置200只要从外部取得预先学习的神经网络以及权重系数即可。