缺陷检查装置、缺陷检查方法及计算机可读存储介质与流程

本发明涉及一种能够执行使用卷积神经网络(convolutionalneuralnetwork，cnn)的缺陷检测处理的缺陷检查装置、缺陷检查方法及计算机可读存储介质。

背景技术：

在工厂自动化(factoryautomation，fa)领域，使用图像测量处理的自动控制已得到广泛实用化。例如实现如下所述的工序，即：对工件(work)等被检查对象进行拍摄，从所述拍摄的图像中算出缺陷等的特征量，由此来对关于此工件的良否进行检查。为了实现此种工序，必须预先准备与所期望的工件相应的教师数据，并使识别器进行学习。

例如在专利文献1(日本专利特开2003-317082号公报)中，公开了一种分类支持装置，其提供对检查对象的图像分类进行支持的有效环境。专利文献1所记载的分类支持装置具备：显示部，其显示图像；输入部，受理对检查对象的图像进行分类的输入；以及处理部，基于预先准备的多个检查对象的图像所表示的、拍摄多个检查对象时的拍摄位置来决定多个检查对象的顺序，按照顺序来使多个检查对象的图像排列显示于显示部。

在fa领域，流经生产线(line)上的工件的种类、或成为检测对象的缺陷的种类、摄影条件等检查条件根据生产线而多种多样。因此，若将使用专利文献1所记载的技术来进行事先学习的识别器在各种检查条件下共同地通用，则有时会因每个生产线不同的检查条件，而产生缺陷的漏检。另一方面，若根据生产线来使识别器进行学习，则需要配合工件种类等检查条件的变更来再次进行识别器的构建的时间，有时会导致生产性下降。

技术实现要素：

本发明提供一种技术，能够根据检查对象图像或背景图像来灵活地利用经事先学习的识别器。

本发明采用以下的结构。

即，本发明的一实施例的缺陷检查装置包括：存储部，存储已学习模型(model)和对所述已学习模型设定的内部参数(parameter)；获取部，获取在规定的条件下所拍摄的检查对象的图像；前处理部，根据由获取部所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器(filter)，将所生成的前处理过滤器适用于由获取部所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像；以及检查部，针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查。

在一实施例的缺陷检查装置中，可构成为，前处理部是以前处理图像中的包含缺陷的缺陷区域的特征量的宽度包含在与内部参数对应的特征量的范围内的方式，来生成用于对前处理图像进行转换的前处理过滤器。

而且，在一实施例的缺陷检查装置中，可构成为，前处理部是以前处理图像中的缺陷区域以外的背景区域的图案的宽度超出与内部参数对应的特征量的范围的方式，来生成用于对前处理图像进行转换的前处理过滤器。

而且，在一实施例的缺陷检查装置中，可构成为，前处理部从外部受理前处理图像中的缺陷区域的指定，基于所受理的缺陷区域来生成前处理过滤器。

进而，在一实施例中，前处理部基于缺陷区域来生成对前处理图像进行放大或缩小的前处理过滤器。

进而，在一实施例中，所述前处理部通过多个缩放率来使前处理图像中的至少包含缺陷区域的部分发生变动，至少对部分生成特征检测图像。根据以多个缩放率进行变动时的、特征检测图像的缺陷区域内的浓度与缺陷区域外的浓度之差为最大时的缩放率，所述前处理部生成对前处理图像进行放大或缩小的前处理过滤器。特征检测图像是以表示与内部参数对应的特征的区域的浓度变得比其他区域更大的方式进行浓淡显示。

而且，在一实施例的缺陷检查装置中，可构成为，前处理部生成使前处理图像的光亮度变得平坦的前处理过滤器。

而且，在一实施例中，缺陷检查装置可构成为，还包括：显示部，显示已前处理图像。

进而，在一实施例中，所述显示部能够比较地显示已前处理图像、与提取出缺陷的检查结果图像。

而且，在一实施例中，所述缺陷检查装置可构成为，包括：输入部，对由获取部所获取的包含缺陷的检查对象的图像中、为了生成前处理过滤器而使用的前处理图像的用户选择进行受理，前处理部根据前处理图像中的特征量、和与内部参数对应的特征量来生成规定的前处理过滤器。

而且，在一实施例中，所述缺陷检查装置可构成为，包括：序列输入部，对使多个处理序列中的哪个序列执行的用户选择进行受理。多个处理序列包含准备工序序列与运用工序序列，所述准备工序序列是前处理部生成前处理过滤器的序列，所述运用工序序列是将所生成的前处理过滤器适用于检查图像，以对检查对象中所含的缺陷的有无进行检查的序列。

进而，在一实施例中，所述运用工序序列是执行下述处理，即，根据是否识别出检查对象的缺陷的检查结果的内容，通过前处理部来更新前处理过滤器。

而且，本发明的一实施例的缺陷检查方法使计算机执行下述步骤，即：存储已学习模型和对所述已学习模型设定的内部参数；获取在规定的条件下所拍摄的检查对象的图像；根据通过获取步骤而获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器，将所生成的前处理过滤器适用于通过获取步骤而获取的检查对象的图像即检查图像来对所述检查图像进行转换，由此生成已前处理图像；以及针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查。

而且，本发明的一实施例的计算机可读存储介质存储有程序(program)，使计算机作为下述部件发挥功能，即：存储已学习模型和对所述已学习模型设定的内部参数的部件；获取在规定的条件下所拍摄的检查对象的图像的部件；根据由获取部件所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器，将所生成的前处理过滤器适用于由获取部件所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像的部件；以及针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查的部件。

根据本发明，可提供一种技术，能够根据检查对象或背景图像来灵活地利用经事先学习的识别器。

附图说明

图1是表示本实施方式的缺陷检查系统的系统结构例的示意图。

图2是表示本实施方式的缺陷检查装置的硬件(hardware)结构的示意图。

图3是表示本实施方式的缺陷检查装置的功能结构的示意图。

图4是用于说明本实施方式的缺陷检查系统中的使用cnn的图像测量处理的处理流程的一例的图。

图5是用于说明本实施方式的缺陷检查系统中的前处理过滤器生成处理的一例的流程图。

图6是用于说明本实施方式的缺陷检查装置中的前处理过滤器生成处理的一例的图。

图7a是用于说明本实施方式的缺陷检查装置中的前处理过滤器的一例的图。

图7b是用于说明本实施方式的缺陷检查装置中的前处理过滤器的一例的图。

图8是表示本实施方式的缺陷检查装置所提供的用户接口(interface)画面200的一例的示意图。

图9a是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。

图9b是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。

图9c是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。

图10是表示本实施方式的缺陷检查系统中的准备工序的处理流程的流程图。

图11是表示本实施方式的缺陷检查系统中的运用工序的处理流程的流程图。

图12是用于说明本实施方式的缺陷检查装置中的前处理过滤器生成处理的另一例的图。

图13是用于说明本实施方式的缺陷检查装置中的前处理过滤器生成处理的另一例的图。

[符号的说明]

1：缺陷检查系统

2：带式输送机

4：工件

6：拍摄视野

8：上位网络

12：数据库装置

100：缺陷检查装置

102：摄像机

104：显示器

106：键盘

108：鼠标

110：处理器

112：主存储器

114：摄像机接口

116：输入接口

118：显示接口

120：通信接口

122：内部总线

130：存贮器

132：图像处理程序

136：前处理过滤器

138：输入图像

140：测量结果

152：输入缓冲器

154：前处理部

156：引擎

166：用户接口部

170：后处理部

200：用户接口画面

201：图形登记区域

202：坐标输入区域

203：显示区域

211：图形按钮

230：处理图像显示画面

232：选择区域

231：图像显示区域

233：单选按钮群

具体实施方式

以下，基于附图来说明本发明的一方面的实施方式(以下也记作“本实施方式”)。但是，以下说明的本实施方式在所有方面不过是本发明的例示。当然能够不超出本发明的范围而进行各种改良或变形。即，在本发明的实施时，也可适当采用与实施方式相应的具体结构。另外，本实施方式中，通过自然语言来说明所出现的数据，更具体而言，是以计算机可识别的模拟语言、命令、参数、机器语言等来指定。

本发明的实施例采用以下的结构。

即，本发明的一方面的缺陷检查装置包括：存储部，存储已学习模型(model)和对所述已学习模型设定的内部参数(parameter)；获取部，获取在规定的条件下所拍摄的检查对象的图像；前处理部，根据由获取部所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器(filter)，将所生成的前处理过滤器适用于由获取部所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像；以及检查部，针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查。另外，所谓已学习模型的内部参数，是指表达已学习模型的信息，在已学习模型中以神经网络(以下，也有时简称作“网络”)为例，则表示与下述内容相关的信息等，即，神经网络的层(layer)数、与各层相关的节点(node)数、连接节点间的链接(link)的权重参数、与各节点相关的偏压(bias)参数及与各节点相关的激活函数的函数形式。通过内部参数来规定应作为缺陷而检测的特征量。而且，所谓前处理图像，是指输入至缺陷检查装置的输入图像，且是提取用于生成前处理过滤器的特征量的对象图像。前处理图像是包含缺陷的检查对象的图像，既可由用户选择，而且，也可由缺陷检查装置自行选择。而且，所谓检查图像，是指缺陷检查装置所获取的输入图像，且是在实际的检查工序中成为检查对象的图像。

所述结构中，能够根据成为检查对象的缺陷，来生成对在实际的检查工序中使用的检查图像进行转换的前处理过滤器。由此，能够根据检查对象或背景图像来通用地利用预先构建的已学习模型。

在所述一方面的缺陷检查装置中，可构成为，前处理部是以前处理图像中的包含缺陷的缺陷区域的特征量的宽度包含在与内部参数对应的特征量的范围内的方式，来生成用于对前处理图像进行转换的前处理过滤器。即，与内部参数对应的特征量的范围是依存于学习数据所包含的缺陷的种类而决定，所述学习数据利用于已学习模型的生成。因此，若在生产线中产生具有未包含在学习数据内的特别特征的缺陷，则此缺陷的特征量有时会超出通过事先学习而获得的特征量，从而产生误识别(漏检)。但是，根据此结构，对于具有超出已学习模型通过事先学习而获得的内部参数的特征量的缺陷，能够防止漏检。

而且，在所述一方面的缺陷检查装置中，可构成为，前处理部是以前处理图像中的缺陷区域以外的背景区域的图案的宽度超出与内部参数对应的特征量的范围的方式，来生成用于对前处理图像进行转换的前处理过滤器。即，与内部参数对应的特征量的范围是依存于学习数据所包含的缺陷的种类而决定，所述学习数据利用于已学习模型的生成。因此，若在生产线中产生具有未包含在学习数据内的特别特征的背景区域的图案，则此背景区域的图案有时会与通过事先学习而获得的特征量的范围一致，而产生误识别(过检)。根据此结构，在并非缺陷的图像特征收敛于在通过事先学习而获得的内部参数中检测出的特征量的情况下，能够防止误检测(过检)的产生。

而且，在所述一方面的缺陷检查装置中，可构成为，前处理部从外部受理前处理图像中的缺陷区域的指定，基于所受理的缺陷区域来生成前处理过滤器。进而，可构成为，前处理部基于缺陷区域来生成对前处理图像进行放大或缩小的前处理过滤器。进而，可构成为，所述前处理部通过多个缩放率来使前处理图像中的至少包含缺陷区域的部分发生变动，至少对部分生成特征检测图像，根据以多个缩放率进行变动时的、特征检测图像的缺陷区域内的浓度与缺陷区域外的浓度之差为最大时的缩放率，生成对前处理图像进行放大或缩小的前处理过滤器，特征检测图像是以表示与内部参数对应的特征的区域的浓度变得比其他区域更大的方式进行浓淡显示。

而且，在所述一方面的缺陷检查装置中，可构成为，前处理部生成使前处理图像的光亮度变得平坦的前处理过滤器。根据此结构，通过根据检查工序来生成前处理，从而能够通用地利用预先构建的已学习模型。

而且，所述一方面的缺陷检查装置可构成为，还包括：显示部，显示已前处理图像。进而，可构成为，所述显示部能够比较地显示已前处理图像、与提取出缺陷的检查结果图像。根据此结构，对用户提示前处理后的中间图像，因此当用户确认测量结果图像时，能够掌握误检测出缺陷的理由是因为已学习模型的错误(error)所引起，还是前处理造成的噪声(noise)。

而且，所述一方面的缺陷检查装置可构成为，包括：输入部，对由获取部所获取的包含缺陷的检查对象的图像中、为了生成前处理过滤器而使用的前处理图像的用户选择进行受理，前处理部根据前处理图像中的特征量、和与内部参数对应的特征量来生成规定的前处理过滤器。根据此结构，能够适当地选择超过内部参数的图像且用于生成前处理过滤器的图像。

而且，所述一方面的缺陷检查装置可构成为，包括：序列输入部，对使多个处理序列中的哪个序列执行的用户选择进行受理，多个处理序列包含准备工序序列与运用工序序列，所述准备工序序列是前处理部生成前处理过滤器的序列，所述运用工序序列是将所生成的前处理过滤器适用于检查图像，以对检查对象中所含的缺陷的有无进行检查的序列。进而，可构成为，所述运用工序序列是执行下述处理，即，根据是否识别出检查对象的缺陷的检查结果的内容，通过前处理部来更新前处理过滤器。根据此结构，根据检查结果，前处理过滤器得到适当更新，因此能够进一步降低误检测或未检测的发生率。

而且，本发明的一方面的缺陷检查方法使计算机执行下述步骤，即：存储已学习模型和对所述已学习模型设定的内部参数；获取在规定的条件下所拍摄的检查对象的图像；根据通过获取步骤而获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器，将所生成的前处理过滤器适用于通过获取步骤而获取的检查对象的图像即检查图像来对所述检查图像进行转换，由此生成已前处理图像；以及针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查。

所述结构中，能够根据成为检查对象的缺陷来生成对在实际的检查工序中使用的检查图像进行转换的前处理过滤器。由此能够根据检查对象或背景图像来通用地利用预先构建的已学习模型。

而且，本发明的一方面存储有程序(program)的计算机可读存储介质使计算机作为下述部件发挥功能，即：存储已学习模型和对所述已学习模型设定的内部参数的部件；获取在规定的条件下所拍摄的检查对象的图像的部件；根据由获取部件所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器，将所生成的前处理过滤器适用于由获取部件所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像的部件；以及针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查的部件。

所述结构中，能够根据成为检查对象的缺陷来生成对在实际的检查工序中使用的检查图像进行转换的前处理过滤器。由此能够根据检查对象或背景图像来通用地利用预先构建的已学习模型。

§1适用例

首先，使用图1来说明适用本发明的场景的一例。图1是表示本实施方式的缺陷检查系统1的适用场景的一例的示意图。本实施方式的缺陷检查系统1对通过拍摄被检查对象而生成的输入图像进行前处理，由此，能够基于已学习模型来进行适当的缺陷检查。被检查对象例如是处于制造过程的零件、制品等工件(workpiece)。

如图1所示，缺陷检查系统1例如通过对拍摄在带式输送机(beltconveyor)2上搬送的被检查对象(即工件4)所得的输入图像执行图像测量处理，从而实现工件4的外观检查或外观测量。在以下的说明中，作为图像测量处理的典型例，是将工件4表面的缺陷有无的检查等作为应用例来进行说明，但并不限于此，也能够应用于缺陷种类的确定或外观形状的测量等。

在带式输送机2的上部，配置有作为拍摄部的摄像机(camera)102，摄像机102的拍摄视野6是以包含带式输送机2的规定区域的方式而构成。通过摄像机102的拍摄而生成的图像数据(检查图像的一例，以下也称作“输入图像”)被发送至缺陷检查装置100。摄像机102的拍摄是周期性地、或事件(event)性地执行。

缺陷检查装置100经由上位网络8而与可编程逻辑控制器(programmablelogiccontroller，plc)(可编程控制器(programmablecontroller))10及数据库(database)装置12等连接。缺陷检查装置100中的测量结果也可被发送至plc10和/或数据库装置12。另外，除了plc10及数据库装置12以外，上位网络8也可连接任意装置。

缺陷检查装置100也可连接用于显示处理中的状态或测量结果等的显示器(display)104、作为受理用户操作的输入部的键盘(keyboard)106及鼠标(mouse)108。

缺陷检查装置100具有cnn引擎(engine)。cnn引擎构成使用卷积神经网络(convolutionalneuralnetwork)的识别器，使用cnn引擎，由输入图像生成规定数量的每种类别(class)(分类)的特征检测图像。基于所生成的一个或多个特征检测图像，判断对象工件中有无缺陷等。或者，也能够对缺陷的大小或位置等进行检测。

缺陷检查装置100所具备的cnn引擎基于规定的教师数据用的特征检测图像(以下也称作“学习图像”)来进行学习，由此，预先获得应作为缺陷而检测的图像的特征量来作为内部参数。

此时，可作为学习图像而准备的数据集(dataset)存在限制，因此能以所获得的内部参数来检测的缺陷的特征量范围会产生限制。即，具有超出学习图像的集所含的缺陷特征的特征量的缺陷，在使用此种学习图像的集来学习的cnn引擎中无法检测。

另一方面，在实际的生产现场，流经生产线的工件的种类或摄影条件、成为检测对象的缺陷的种类等在每个生产线中多种多样。例如，对学习图像进行摄影时的摄影条件、与实际的检查工序中的摄影条件有时未必一致。因此，鉴于生产线的多样性，可以说，事先学习的cnn引擎的通用性未必高。然而，针对每个生产线来构建cnn引擎，会因生产线的规格频繁变更等理由而没有效率。

本实施方式的缺陷检查装置100鉴于此种情况，适用对输入图像进行转换的前处理过滤器，以使得能够利用cnn引擎通过事先学习获得的内部参数来适当地检测缺陷。由此，提高事先学习的cnn引擎的通用性，在各种生产线中，能够根据检查对象或背景图像来灵活利用。而且，通过适用前处理过滤器，缺陷检查装置100的工件覆盖率(workcoverage)增大，即，能够利用缺陷检查装置100来检查的工件4的种类或量增大。

另外，以下的说明中，对下述示例进行说明，即，前处理过滤器是在检查工序的启动时，基于由用户选择的输入图像而预先生成，但生成前处理过滤器的时机(timing)并不限定于检查工序的启动时，可为摄像机102的替换(replace)时期等任意时机。另外，以下的说明中，检查工序的启动工序也称作准备工序，准备工序后实际进行检查的工序也称作运用工序。

§2结构例

＜1.缺陷检查装置100的硬件结构＞

接下来，对本实施方式的缺陷检查系统1中所含的缺陷检查装置100的硬件结构进行说明。

图2是表示本实施方式的缺陷检查装置100的硬件结构的示意图。参照图2，作为一例，缺陷检查装置100也可使用遵循通用的计算机架构(architecture)而构成的通用计算机来实现。缺陷检查装置100包含处理器(processor)110、主存储器(mainmemory)(主存储部)112、摄像机接口114、输入接口116、显示接口118、通信接口120以及存贮器(storage)(辅助存储部)130。典型的是，这些组件(component)经由内部总线(bus)122可彼此通信地连接。主存储器112和/或存贮器130相当于存储部。摄像机接口114相当于获取部。输入接口116相当于输入部。显示接口118相当于显示部。

处理器110通过将保存在存贮器130中的程序在主存储器112中展开并执行，从而实现如后所述的功能及处理。主存储器112包含易失性存储器，作为处理器110执行程序所需的工作存储器(workmemory)发挥功能。

摄像机接口114是与摄像机102连接，获取由摄像机102所拍摄的输入图像。摄像机接口114也可对摄像机102指示拍摄时机等。

输入接口116是与键盘106及鼠标108等输入部连接，获取表示用户对输入部进行的操作等的指令。

显示接口118是与显示器104连接，将通过处理器110执行程序而生成的各种处理结果输出至显示器104。

通信接口120负责用于经由上位网络8来与plc10及数据库装置12等进行通信的处理。

存贮器130保存有用于实现cnn引擎的图像处理程序132及操作系统(operatingsystem，os)134等用于使计算机作为缺陷检查装置100发挥功能的程序。进而，存贮器130也可保存有用于实现如后所述的图像测量处理的前处理过滤器136、从摄像机102获取的输入图像138、及通过图像测量处理而获得的测量结果140。

保存在存贮器130中的图像处理程序132也可经由数字通用光盘(digitalversatiledisc，dvd)等光学记录介质或通用串行总线(universalserialbus，usb)存储器等半导体记录介质等而安装于缺陷检查装置100。或者，图像处理程序132也可从网络上的服务器(server)装置等下载(download)。

在像这样使用通用计算机来实现的情况下，也可通过以规定的顺序和/或时机调用os134所提供的软件模块(softwaremodule)中所需的软件模块来进行处理，从而实现本实施方式的功能的一部分。即，本实施方式的图像处理程序132也可通过与os协动来提供所需的功能，而不用包含用于实现本实施方式的功能的所有软件模块。

本实施方式的图像处理程序132也可编入其他程序的一部分而提供。在此情况下，图像处理程序132自身不包含如上所述的进行组合的其他程序中所含的模块，而与所述其他程序协动地执行处理。这样，本实施方式的图像处理程序132也可为编入其他程序中的状态。

图2表示了使用通用计算机来实现缺陷检查装置100的示例，但并不限于此，也可使用专用电路(例如专用集成电路(applicationspecificintegratedcircuit，asic)或现场可编程门阵列(field-programmablegatearray，fpga)等)来实现其全部或一部分功能。进而，也可使经网络连接的外部装置负责一部分处理。

＜2.缺陷检查装置100的功能结构＞

接下来，参照图3及图4来说明本实施方式的缺陷检查系统1中所含的缺陷检查装置100的功能结构。

图3是表示本实施方式的缺陷检查装置100的功能结构的示意图。典型的是，缺陷检查装置100所具有的各功能结构是通过前述的处理器110执行图像处理程序132而实现的运算处理。而且，图4是用于说明本实施方式的缺陷检查装置100中的检查工序(运用工序)的一例的示意图。

参照图3，缺陷检查装置100包含输入缓冲器(buffer)152、前处理部154、cnn引擎156、后处理部170及用户接口部166以作为功能结构。以下，详细说明各功能部。另外，在图3中，cnn引擎156与后处理部170相当于检查部。

(2-1.输入缓冲器152)

输入缓冲器152暂时保存由摄像机102所拍摄的输入图像。处理器110将输入图像存储至存贮器130中，由此来实现输入缓冲器152。对于输入缓冲器152，可从前处理部154及用户接口部166进行存取(access)。

(2-2.前处理部154)

前处理部154对保存在输入缓冲器152中的输入图像执行所需的前处理。本实施方式的前处理部154在准备工序中生成前处理过滤器。前处理过滤器例如是用于对输入图像进行转换的参数(过滤器参数)。并且，在运用工序中，针对输入图像，作为前处理，将在准备工序中生成的所述前处理过滤器适用于输入图像以对输入图像进行转换，生成已前处理图像(图4的s1)。此种前处理的目的在于，对输入图像进行加工，以便能够在位于后段的cnn引擎156中更切实地提取缺陷的特征。对于前处理的内容，也可由用户经由用户接口部166来指定。前处理后的输入图像(已前处理图像)被输出至cnn引擎156(图4的s2)。另外，对于前处理过滤器的生成处理及其功能的详细，将使用图5至图7a、图7b来后述。

(2-3.cnn引擎156)

cnn引擎156提供特征检测图像生成功能，即：将具有经事先学习的多个类别的cnn引擎156适用于输入图像，由此，分别生成与多个类别对应的多个特征检测图像。更具体而言，cnn引擎156具有经事先学习以具有对规定数量的类别的辨别能力的网络，并输出与各个类别对应的特征检测图像(特征检测图像1、特征检测图像2、…、特征检测图像n)(图4的s3)。图4的示例中，作为工件中产生的四种缺陷的分类(类别)，显示有“白点”、“黑点”、“白线”、“黑线”。通过将由摄像机102等所拍摄的输入图像输入至cnn引擎156，从而分别生成特征量被分类为这些类别“白点”、“黑点”、“白线”、“黑线”的特征检测图像。在图4所示的特征检测图像中，以表示对应的各特征的区域的浓度比其他区域大的方式来进行浓淡显示。另外，作为使浓度比其他区域大地显示的示例，可包含比其他区域更亮地显示的形态、或比其他区域暗的形态，但并不限于这些，只要是能够区分表示规定特征的区域的形态，则为任何形态皆可。

cnn引擎156通过事先学习，获得用于对与各类别对应的特征检测图像进行检测的内部参数。例如，当对“白线”或“黑线”的类别进行检测时，内部参数能够以可检测的缺陷的宽度的像素(pixel)数来表示。内部参数是根据通过事先学习所提供的学习图像中所含的缺陷的种类而获得。

由cnn引擎156分别生成的多个特征检测图像被输出至后处理部170，并且也能够从用户接口部166进行存取。

(2-4.后处理部170)

后处理部170针对从cnn引擎156输出的多个特征检测图像的至少一部分特征检测图像进行后处理，由此生成测量结果。

具体而言，本结构例中，后处理部170选择cnn引擎156所输出的多个特征检测图像中的被认为最适当的一个特征检测图像来执行后处理，由此，输出测量结果图像(图4的s4)。

例如，图4的示例中，作为最适当的特征检测图像，选择了“黑线”的特征检测图像。然而，本例中，在“黑线”的特征检测图像内，也出现有相当于“黑点”的特征量。即，在“黑线”的特征检测图像及“黑点”的特征检测图像的任一者中，均共同出现有点状的特征部分。相反，也存在某一个特征分裂出现在多个类别的特征检测图像中的现象。根据此种输入图像中所含的特征的种类或大小，缺陷与缺陷以外(例如背景部分)的图案分离变得苦难。在此种同一特征出现在多个类别的特征检测图像中的情况下，后处理部170以从其中一个特征检测图像中减去另一个特征检测图像中出现的特征的方式来执行图像运算处理，从而能够仅提取目标特征。

本说明书中，“图像运算处理”包含：在多个图像间，在对应的像素之间进行包含四则运算的任意数学处理。图4所示的示例中，执行下述处理：使用构成“黑线”的特征检测图像的各个像素的亮度值、与构成“黑点”的特征检测图像的各个像素的亮度值，针对每个像素求出亮度值之差。

另外，图像运算处理并不限定于对特征进行减法运算的处理，例如包含加法处理及它们的加权运算处理等。

进而，后处理部170对运算结果图像执行包含二值化处理的后处理，由此获得测量结果图像。在图4所示的测量结果图像中，可知的是：在“黑线”的特征检测图像中出现的、表示“黑点”的特征被删除或缩小，输入图像中所含的特征(缺陷)得以充分提取。

另外，后处理部170也可经由用户接口部166而从用户受理对最适当的特征检测图像的选择、或所执行的图像运算处理的种类、用于二值化处理的阈值等。

(2-5.用户接口部166)

用户接口部166是在前处理部154进行前处理过滤器生成处理时，从用户受理对输入图像中包含缺陷的区域(以下也称作“缺陷区域”)的指定。而且，用户接口部166受理对用户提示的输入图像的选择。

进而，用户接口部166将通过图像测量处理而生成的测量结果图像、及在图像测量处理的中途过程中生成的图像等，经由显示器104而提示(图像显示)给用户。具体而言，用户接口部166将输入至缺陷检查装置100的输入图像、由前处理部154所生成的已前处理图像、由cnn引擎156所生成的多个特征检测图像的至少一部分、及由后处理部170使用cnn引擎156所生成的多个特征检测图像的至少一部分进行后处理而生成的测量结果中的至少一者提示给用户。

对于用户接口部166所提供的用户接口画面例，使用图8、图9a至图9c来后述。

＜3.前处理过滤器生成处理＞

接下来，参照图5来说明前处理部154的前处理过滤器生成处理的细节。图5是表示前处理过滤器生成处理的流程的一例的流程图。图5的示例中，生成对输入图像的尺寸进行转换(放大或缩小)的前处理过滤器。然而，前处理部154所生成的前处理过滤器并不限定于此，也可生成对图像的面积、光亮度或彩度进行转换的前处理过滤器。前处理过滤器的生成处理优选在前述的准备工序中进行。

在前处理过滤器生成处理之前，首先，由用户等从输入至缺陷检查装置100的输入图像中，选择用于生成前处理过滤器的图像(以下也称作“前处理图像”)。前处理图像是包含缺陷的检查对象的图像。尤其理想的是，前处理图像是如下所述的检查对象的图像，即：包含以已学习的cnn引擎156的内部参数无法检测的大小、种类的缺陷，即，包含具有超出事先学习的已学习的cnn引擎所具有的特征量的特征的缺陷。

接下来，前处理部154经由用户接口部166来受理对前处理图像的缺陷区域的指定(s101)。图6是表示指定的缺陷区域的一例的图。图6中，矩形gt对应于缺陷区域。另外，缺陷区域并不限定于矩形，可为具备面积的任意形状。

返回图5，说明流程的后续。前处理部154对缩放率s设定1作为初始值(s102)。接下来，前处理部154以缩放率s对前处理图像进行放大或缩小(以下称作“变动”)(s103)，生成已前处理图像。继而，前处理部154将变动后的图像(已前处理图像)中的至少包含缺陷区域的部分输入至cnn引擎156。cnn引擎156根据所输入的已前处理图像来制作特征检测图像(s104)。

对于cnn引擎156所制作的特征检测图像，前处理部154进行得分(score)计算(s105)。具体而言，前处理部154算出缺陷区域内的特征检测图像的浓度的平均、与缺陷区域外的区域(以下也称作“背景区域”)的特征检测图像的浓度的平均之差，以作为得分。如上所述，特征检测图像是以浓淡来表示，使得表示与cnn引擎156的内部参数对应的特征的区域的浓度比其他区域大。因此，当使前处理图像以适当的缩放率s变动，而在缺陷区域内适当地检测出缺陷的特征时(即，未引起对缺陷的漏检时)，缺陷区域内的浓度变大。另一方面，当在缺陷区域外未检测出缺陷的特征时(即，未引起过检时)，缺陷区域外的浓度变小。另外，图5及图6所示的示例中，对将缺陷区域外的区域全部用作背景区域的示例进行了说明，但并不限于本例。例如，为了应对在背景区域存在缺陷以外的规定图形的情况等，也可使用预先指定的区域来作为背景区域，而且，还可进行用于将缺陷以外的区域中所含的规定图形等排除至比较对象外的遮蔽(mask)处理，以将缺陷以外的区域的特定区域设定为背景区域。

另外，如上所述，cnn引擎156所输出的特征检测图像被分类为多个类别，但对于基于哪个类别的特征检测图像来算出得分，理想的是受理用户的指定。但并不限定于此，前处理部154也可对所有类别的特征检测图像算出得分，并选择得分为最大的类别。

当算出得分时，前处理部154将2s代入缩放率s(s106)。前处理部154反复执行所述s101至s106为止的处理，直至满足规定的结束条件(s107)为止。例如，前处理部154在前处理图像的尺寸小于规定面积的情况、或得分收敛于某值的情况下，判定为满足结束条件(s107：是)，跳出反复处理而前进至s108的处理。在s108中，前处理部154选择得分为最大时的s，生成以所选择的s倍对输入图像进行变动的前处理过滤器(s108)。

此处，参照图7a及图7b来说明这样生成的前处理过滤器的有用性。图7a及图7b中，作为一例，分别以包含具有被分类为“黑线”类别、“白线”类别的特征的缺陷的、输入图像为例进行说明。

图7a是用于说明下述理由的示意图，即：通过适用前处理过滤器，从而在输入图像中所含的缺陷的特征量超出能以已学习的内部参数来检测的特征量时，能够防止未检测(缺陷的漏检)的发生。

图7a中，输入图像中所含的缺陷的宽度(ttest)超出了能以已学习cnn引擎156来检测的宽度的最大值(tmax)。因此，若不进行前处理而输入至cnn引擎156，则此种输入图像不会被分类为适当的类别。

此时，前处理部154通过适用将输入图像的尺寸以缩小率(缩放率)s倍缩小的前处理过滤器，从而已前处理图像中所含的缺陷的宽度(特征量)变得小于能以cnn引擎156来检测的宽度(特征量)的最大值(tmax)。由此，能够通过已学习cnn引擎来检测缺陷。

另一方面，图7b是如下所述的示例，即：当背景的纹理(texture)等并非缺陷的图像特征收敛在能以已学习的内部参数来检测的特征量中时，防止误检测(过检)的发生。图7b的示例中，背景的纹理的宽度ttest收敛在能以已学习cnn引擎156来检测的宽度的范围(tmin≤ttest≤tmax)。

前处理部154通过适用将输入图像的尺寸以缩小率(缩放率)s倍放大或缩小的前处理过滤器，从而已前处理图像中所含的背景的纹理的宽度ttest/s变得小于tmin。由此，能够通过已学习cnn引擎来防止误检测。

这样，根据本实施方式的缺陷检查装置100，适用前处理过滤器，所述前处理过滤器对输入图像进行转换，以使得cnn引擎能以通过事先学习而获得的内部参数来适当地检测缺陷。由此，能够提高经事先学习的cnn引擎的通用性，从而灵活地利用在各种检查对象或背景图像中。

另外，本适用例中，对使输入图像的尺寸发生变动的示例进行了说明，但也可以下述方式来变更缩放率s，即，通过对输入图像的尺寸进行放大，从而前处理图像中的包含缺陷的缺陷区域的特征量的宽度包含在与内部参数对应的特征量的范围内，或者，前处理图像中的背景区域的图案的宽度超出与内部参数对应的特征量的范围。

＜4.用户接口画面例＞

接下来，参照图8及图9a至图9c，来说明本实施方式的缺陷检查装置100所提供的用户接口画面的若干示例。

图8是表示本实施方式的缺陷检查装置100所提供的缺陷区域输入画面(用户接口画面200)的一例的示意图。图8的示例中，用户接口画面200具有图形登记区域201、坐标输入区域202与显示区域203。

图形登记区域201包含图形按钮(button)211。用户从图形按钮211选择所期望的形状的图形按钮，由此，能够选择确定缺陷区域的图形。图8的示例中，作为图形按钮211，显示有正方形或长方形、圆形、五边形、圆弧形、同心圆，但并不限定于此，可设定任意图形。而且，选择图形的方法并不限定于按钮，也可为下拉条(pulldown)或复选框(checkbox)、单选按钮(radiobutton)等。

坐标输入区域202受理缺陷区域的坐标的输入。图8的示例中，用户在坐标输入区域202中输入缺陷区域的左上与右上的坐标，从而能够指定缺陷区域gt。用户所指定的缺陷区域gt显示于显示区域203。

另外，缺陷区域的指定方法并不限定于图8的示例。例如，缺陷区域也可为通过在显示于显示区域203的图像上直接描绘而输入的结构。

图9a至图9c是表示本实施方式的缺陷检查装置100所提供的处理图像显示画面230的一例的示意图。处理图像显示画面230具有选择区域232与图像显示区域231。

选择区域232具有单选按钮群233。用户进行对单选按钮群233的选择操作，选择要显示于图像显示区域231的图像的种类。例如，在选择区域232中，能够从原始图像(输入图像)、前处理后的图像(已前处理图像)与测量结果图像中，选择要显示于图像显示区域231的图像。

图9a表示在图像显示区域231上显示有原始图像的示例。如图9a所示，在原始图像中，在圆f所示的区域中看不到缺陷。另一方面，图9b表示显示有测量结果图像的示例。而且，图9c表示显示有前处理后的图像(已前处理图像)的示例。在测量结果图像中，在圆f所示的区域中检测出白点。此处，在前处理后的图像(已前处理图像)中，在圆f的区域中也显示有薄的点，因此可知，显示在测量结果图像的圆f中的白点并非缺陷，而是因前处理产生的噪声。

这样，本实施方式的缺陷检查装置100通过对用户提示前处理后的中间图像(已前处理图像)，从而当用户确认测量结果图像时，能够掌握误检测出缺陷的理由是因cnn引擎156所引起，还是前处理造成的噪声。

§3动作例

接下来，对本实施方式的缺陷检查系统1中的动作例进行说明。本实施方式的缺陷检查系统1中，存在：准备工序，用于生成与图像测量处理相关的前处理过滤器；以及运用工序，现实拍摄对象工件而执行图像测量处理。另外，对于准备工序的处理序列与运用工序的处理序列，可由用户使用前述的输入部作为序列输入部来选择。而且，在运用工序的处理序列中，也可执行下述处理，即：根据检查结果(例如是指缺陷的有无、与缺陷对应的区域的大小、所述区域的位置等信息)的内容，对所设定的前处理过滤器进行更新。例如，在运用工序的处理序列中，当未检测的缺陷产生了规定次数时，基于包含未检测的缺陷的图像(以下，也称作“未检测图像”)来对前述的前处理过滤器的过滤器参数进行更新。

图10是表示本实施方式的缺陷检查系统1中的准备工序的处理流程的流程图。图11是表示本实施方式的缺陷检查系统1中的运用工序的处理流程的流程图。典型的是，图10及图11所示的处理流程的各步骤是通过缺陷检查装置100的处理器110执行图像处理程序132等而实现。

参照图10，在准备工序中，缺陷检查装置100获取输入图像，所述输入图像是在将成为图像测量处理基准的工件配置于规定位置的状态下，使用摄像机102进行拍摄而获得(步骤s201)。此时，通过摄像机102拍摄工件而生成的输入图像(图像数据)被转发给缺陷检查装置100，并在缺陷检查装置100的主存储器112中展开。继而，缺陷检查装置100使用所获取的输入图像来进行所述的前处理过滤器生成处理，决定得分为最大的缩放率s(步骤s202)。

进而，缺陷检查装置100生成用于以所决定的缩放率s来对输入图像进行转换的前处理过滤器并予以保存(步骤s203)。然后，准备工序中的处理结束。

参照图11，在运用工序中，缺陷检查装置100获取输入图像，所述输入图像是当成为检查对象的工件到达摄像机102的拍摄视野6时，使用摄像机102拍摄此工件而获得(步骤s301)。此时，通过摄像机102拍摄工件而生成的输入图像(图像数据)被转发给缺陷检查装置100，并在缺陷检查装置100的主存储器112中展开。

继而，缺陷检查装置100对所获取的输入图像执行前处理(步骤s302)。进而，缺陷检查装置100执行下述处理，即，使用经事先学习的包含具有cnn的识别器的cnn引擎，从前处理后的输入图像中，针对一个或多个特征的分类(类别)的每一个而提取特征。缺陷检查装置100通过提取所述特征的处理，生成一个或多个类别的每一个的特征检测图像(步骤s303)。

继而，缺陷检查装置100执行后处理，而生成测量结果图像(步骤s304)。

最终，缺陷检查装置100输出所生成的测量结果图像(步骤s305)。作为测量结果图像的输出目标，既可为显示器104等，也可为经由上位网络8而连接的plc10和/或数据库装置12。然后，运用工序的处理结束。另外，缺陷检查装置100也可取代测量结果图像，或者与测量结果图像一同，输出检查结果，所述检查结果至少包含检查对象中是否含有缺陷的信息。检查结果例如被送达在生产线中进行检查对象的分类的规定的动作机械。据此，动作机械能够执行与检查结果相应的、检查对象的自动分类。

另外，开始图11所示的运用工序的处理流程的条件为来自对工件的到达进行检测的定时传感器(timingsensor)的触发(trigger)信号、来自上位装置的执行开始指令、来自用户的指示中的任一个皆可。

＜h.优点＞

本实施方式的缺陷检查装置能够提高具有经事先学习的多个类别的cnn引擎的通用性，从而能适用于针对任意的被检查对象的图像测量处理。当使用此种经事先学习的cnn引擎时，有可能产生下述情况等，即，实际的检查工序中所含的缺陷的特征量超出能以cnn引擎通过所述事先学习而获得的内部参数来检测的缺陷的特征量。

也能够采取根据作为目标的被检查对象来使cnn引擎进行再学习等应对，但在作为目标的被检查对象频繁变化的应用(application)中，现实中无法应对。因此，本实施方式中，具有对在实际的检查工序中使用的输入图像进行转换的前处理过滤器。由此，能够进行转换，以使实际的检查工序中所含的缺陷的特征量包含在能以内部参数来检测的特征量的范围内，从而能够通用地利用经事先学习的cnn引擎。

而且，本实施方式的缺陷检查装置能够将在图像测量处理的过程中生成的图像可比较地提示给用户。例如，能够将输入图像、已前处理图像、特征检测图像及测量结果图像提示给用户。

通过确认此类在各过程中生成的图像，例如当测量结果图像中包含误检测出的缺陷时，用户能够确定所述误检测的原因。

§4变形例

以上，详细说明了本发明的实施方式，但至此为止的说明在所有方面不过是本发明的例示。当然能够不超出本发明的范围而进行各种改良或变形。例如，能够进行如下所述的变更。另外，以下，关于与所述实施方式同样的构成元件，使用同样的符号，对于与所述实施方式同样的点，适当省略说明。以下的变形例可适当组合。

例如，在已述的实施方式中，说明了前处理部154生成对前处理图像的尺寸进行转换的前处理过滤器的示例。但并不限定于此，前处理部154也可生成用于使光亮度平坦化的前处理过滤器。

参照图12及图13，对生成用于使光亮度平坦化的前处理过滤器的处理进行说明。图12表示了下述情况的示例，即，对纵x、横y大小的原始图像实施前处理，以仅强调规定的特征尺寸(一边为w的正方形)的特征的对比度(contrast)。若设原始图像为i、前处理后的图像为i'，则前处理部154可使用以下的式1所示的算法，来对规定尺寸的特征强调对比度。

i'(x,y)＝[i(x,y)-ave(x,y,w)-c·σ(x,y,w)]/[2·σ(x,y,w)]…式1

i'(x,y)：前处理后图像。

i(x,y)：原始图像。

w：特征尺寸(size)。

c：对比度扩大比例(scale)。

σ(x,y,w)：输入图像的以坐标x、y为中心且宽高为2w+1的矩形区域内部的标准偏差。

ave(x,y,w)：输入图像的以坐标x、y为中心且宽高为2w+1的矩形区域内部的平均。

图13是使用所述算法的、前处理部154的前处理过滤器生成处理的流程的变形例的流程图。参照图13，主要说明与图5所示的流程图的不同之处。

本例中，前处理部154在s103的处理中将前处理图像以倍率s而放大或缩小后，将特征尺寸f以所指定的缺陷区域的尺寸而初始化(s111)。例如，前处理部154将缺陷区域的高度与宽度的平均值设定为特征尺寸f。

接下来，前处理部154使用所述式1的算法，对前处理图像的光亮度进行平坦化，生成已前处理图像(s112)。随后，与图5的示例同样，将已前处理图像输入至cnn引擎156，制作特征检测图像(s104)，并算出得分(s105)。随后，前处理部154将2f代入特征尺寸f(s113)，反复执行s112、s104、s105、s113的处理，直至判定为满足结束条件为止(s115)。对各缩放率s反复执行此处理，直至满足规定的结束条件为止(s107：是)。

由此，前处理部154能够对前处理过滤器设定使得分达到最大的缩放率及特征尺寸(s117)。其他结构、效果与已述的实施方式同样。

另外，所述实施方式的一部分或全部也可如以下的附注那样记载，但并不限于以下。

(附注1)

一种缺陷检查装置，其特征在于包括至少一个存储器与连接于所述存储器的至少一个硬件处理器，

在所述存储器中，存储已学习模型与对所述已学习模型设定的内部参数，

所述硬件处理器获取在规定的条件下拍摄的检查对象的图像，

根据所述获取的包含缺陷的检查对象的图像即前处理图像中的特征量、及与所述内部参数对应的特征量，生成规定的前处理过滤器，将所生成的所述前处理过滤器适用于所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像，

针对所述已前处理图像，使用所述存储的已学习模型来检查所述检查对象有无缺陷。

(附注2)

一种缺陷检查方法，通过至少一个以上的硬件处理器来执行下述步骤，即：

存储已学习模型和对所述已学习模型设定的内部参数；

获取在规定的条件下所拍摄的检查对象的图像；

根据通过所述获取步骤而获取的包含缺陷的检查对象的前处理图像中的特征量、和与所述内部参数对应的特征量，生成规定的前处理过滤器，将所生成的所述前处理过滤器适用于所获取的检查对象的图像即检查图像来对所述检查图像进行转换，由此生成已前处理图像；以及

针对所述已前处理图像，使用所述存储的已学习模型来检查所述检查对象有无缺陷。