检查系统、教师数据生成装置、教师数据生成方法及存储介质与流程

本发明涉及检查对象物的技术。

背景技术：

1、以往，使用对印刷电路板等对象物进行拍摄来检测缺陷的检查系统。在日本特开2021-177154号公报的检查系统中，设置有：一次检查部，基于对对象物进行拍摄而得到的图像，以不使用机器学习的方式进行不良判定；和二次检查部，基于由一次检查部判定为不良的对象物的图像，使用机器学习模型，将真正的不良品和过度判定品分开。由此，能够抑制因发生过度判定品而引起的生产率的降低。

2、如上所述，在将已学习模型(机器学习模型)用于真缺陷或假缺陷的分类时，需要事先使用多个教师数据进行学习，生成该已学习模型。在这种情况下，操作者通过对预先准备的缺陷图像判定真缺陷或假缺陷(即，通过标注)，生成在该缺陷图像上标记了真缺陷或假缺陷的教师数据。

3、但是，由于印刷电路板上的缺陷根据其位置、状态等对印刷电路板的动作、性能等有很大的影响，所以有时基于已学习模型的分类错误(在此为将真缺陷作为假缺陷的误分类)是不可接受的。为了避免已学习模型中的严重误分类，考虑使用多个教师数据进行学习，但在这种情况下，操作者的标记作业需要很长时间，并且学习所需的时间也变长。另外，完全避免已学习模型中的误分类是不可能的。进而，在将检测出的全部缺陷输入到已学习模型的情况下，分类处理所需的时间变长。

技术实现思路

1、本发明面向检查系统，其目的在于实现避免已学习模型中的严重的误分类以及缩短分类处理所需的时间，并缩短在教师数据的生成中进行标记作业以及学习所需的时间。

2、本发明的检查系统包括：检查部，以不使用机器学习的方式检查对对象物进行拍摄而得到的图像来检测缺陷；分类部，具有预先生成的已学习模型，通过将表示缺陷的图像输入到所述已学习模型，对所述缺陷的缺陷类别进行分类；以及分类要否确定部，基于在检测所述缺陷时由所述检查部取得或利用的缺陷关联信息，来确定是否需要由所述检查部检测出的缺陷在所述分类部中分类。

3、根据本发明，能够实现避免已学习模型中的严重的误分类并缩短分类处理所需的时间。

4、优选地，所述分类部将由所述检查部检测出的缺陷分类为真缺陷或假缺陷，所述检查部在检测缺陷时取得所述缺陷的缺陷类别，在所述缺陷关联信息中包含所述缺陷类别，所述分类要否确定部将作为特定的缺陷类别的缺陷确定为不需要在所述分类部中分类。

5、优选是，所述检查部具备：第一检查处理部，通过第一检查处理检测缺陷，取得包含所述缺陷的缺陷图像；以及第二检查处理部，通过与所述第一检查处理不同第二检查处理检测缺陷，取得包含所述缺陷的缺陷图像。所述第一检查处理部能够取得比所述第二检查处理部更详细的缺陷图像中的缺陷的位置信息，在所述缺陷关联信息中包含由所述第一检查处理部取得的所述位置信息，所述分类要否确定部将由所述第一检查处理部检测出缺陷确定为需要在所述分类部中分类，并且将由所述第二检查处理部检测出的缺陷确定为不需要在所述分类部中分类，所述分类部将基于缺陷的位置信息而从缺陷图像中剪切出所述缺陷的区域而得到的图像输入到所述已学习模型。

6、优选地，对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度，表示所述检查部在检测缺陷时利用的检查灵敏度的信息包含在所述缺陷关联信息中，所述分类要否确定部将以特定的检查灵敏度检测出的缺陷确定为不需要在所述分类部中分类。

7、本发明还面向生成教师数据的教师数据生成装置。本发明的教师数据生成装置包括：图像接受部，从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部，接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息；图像要否确定部，基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据；显示控制部，在显示器上显示用于教师数的据缺陷图像；判定结果接受部，接受操作者对显示在所述显示器上的所述缺陷图像的缺陷类别的判定结果的输入；以及教师数据生成部，对所述缺陷图像标注所述判定结果来生成教师数据。根据本发明，能够缩短在教师数据的生成中标记作业及学习所需的时间。

8、优选地，所述判定结果接受部接受由操作者进行真缺陷或假缺陷的判定结果的输入，在所述检查部中检测缺陷时取得的所述缺陷的缺陷类别包含在所述缺陷关联信息中，所述图像要否确定部确定为不将包含作为特定的缺陷类别的缺陷的缺陷图像用于教师数据。

9、优选地，所述检查部具备：第一检查处理部，通过第一检查处理检测缺陷，取得包含所述缺陷的缺陷图像；以及第二检查处理部，通过与所述第一检查处理不同第二检查处理检测缺陷，取得包含所述缺陷的缺陷图像。所述第一检查处理部能够取得比所述第二检查处理部更详细的缺陷图像中的缺陷的位置信息，在所述缺陷关联信息中包含由所述第一检查处理部取得的所述位置信息，所述图像要否确定部确定为将由所述第一检查处理部检测出缺陷的缺陷图像用于教师数据，并且确定为不将由所述第二检查处理部检测出的缺陷的缺陷图像用于教师数据，所述教师数据生成部生成包含基于缺陷的位置信息而从缺陷图像中剪切出所述缺陷的区域而得到的图像的教师数据。

10、优选地，对所述对象物的各位置设定多个检查灵敏度中的一个检查灵敏度，表示所述检查部在检测缺陷时所利用的检查灵敏度的信息包含在所述缺陷关联信息中，所述图像要否确定部确定为不将包含以特定的检查灵敏度检测出的缺陷的缺陷图像用于教师数据。

11、本发明还面向生成教师数据的教师数据生成方法。本发明教师数据生成方法具备：a)从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部，接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息的工序；b)基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据的工序；c)在显示器上显示用于教师数据缺陷图像的工序；d)接受操作者对显示在所述显示器上的所述缺陷图像进行的缺陷类别的判定结果的输入的工序；以及e)对所述缺陷图像标注所述判定结果来生成教师数据的工序。

12、本发明还面向存储有使计算机生成教师数据的程序的存储介质。本发明程序的由计算机执行的工序，具备：a)从以不使用机器学习的方式检查对对象物进行拍摄而得到的图像的检查部接受包含缺陷的缺陷图像和在检测所述缺陷时取得或利用的缺陷关联信息的工序；b)基于所述缺陷关联信息来确定是否将所述缺陷图像用于教师数据的工序；c)在显示器上显示用于教师数据的缺陷图像的工序；d)接受操作者对显示在所述显示器上的所述缺陷图像进行的缺陷类别的判定结果的输入的工序；并且e)对所述缺陷图像标注所述判定结果来生成教师数据的工序。

13、通过下面参考附图对本发明的详细描述来阐明上述目的和其它目的、特征、方面和优点。

技术特征：

1.一种检查系统，其特征在于，具备：

2.根据权利要求1所述的检查系统，其特征在于，

3.根据权利要求1或2所述的检查系统，其特征在于，

4.根据权利要求1或2所述的检查系统，其特征在于，

5.一种教师数据生成装置，用于生成教师数据，其特征在于，具备：

6.根据权利要求5所述的教师数据生成装置，其特征在于，

7.根据权利要求5或6所述的教师数据生成装置，其特征在于，

8.根据权利要求5或6所述的教师数据生成装置，其特征在于，

9.一种教师数据生成方法，用于生成教师数据，其特征在于，具备：

10.一种存储介质，存储有使计算机生成教师数据的程序，其特征在于，所述程序由计算机执行，并使所述计算机执行：

技术总结
检查系统(1)包括：检查部(20)，以不使用机器学习的方式检查对对象物进行拍摄而得到的图像来检测缺陷；分类部(52)，具有预先生成的已学习模型，通过将表示缺陷的图像输入到已学习模型，对缺陷的缺陷类别进行分类；以及分类要否确定部(53)，基于在检测缺陷时由检查部(20)取得或利用的缺陷关联信息，来确定是否需要由检查部(20)检测出的缺陷在分类部(52)中分类。由此，能够实现避免已学习模型中的严重的误分类以及缩短分类处理所需的时间。

技术研发人员：海津正博,盐见顺一,杉山胜彦,泷本达也
受保护的技术使用者：株式会社斯库林集团
技术研发日：
技术公布日：2024/1/15