检查装置及检查方法与流程

1.本发明涉及检查装置及检查方法。


背景技术：

2.以往，已知有自动进行产品的外观检查等的检查装置，寻求提高检查精度的办法。
3.例如，在特许文献1中记载了如下方案：对被摄体像中的1帧内存在的多个瑕疵分别赋予顺序，从上述赋予顺序的各瑕疵中的上位选择规定数量的瑕疵并分别赋予特征量，基于上述特征量将各瑕疵选择为多个组，按上述选择的每个组综合上述各瑕疵候补作为1个瑕疵候补，对上述各瑕疵候补判定瑕疵的种类及等级。现有技术文献专利文献
4.专利文献1：日本专利特开2002-257739号公报


技术实现要素：

发明所要解决的技术问题
5.但是，在专利文献1的技术中，如瑕疵和尘埃等那样，在逻辑上难以从图像数据区分的、类似度高的多个种类的不良因素混合存在的情况下，最终的好坏判定的精度低。因此，本发明的目的在于，即使在多个种类的不良因素混合存在的情况下，也能够提高最终的好坏判定的精度。用于解决技术问题的技术手段
6.本发明所涉及的检查装置的一个方式包括：分类处理部，该分类处理部根据学习了多个种类的不良要因的学习数据，在拍摄图像中检测不良因素候补，并分类为该多个种类中的任意一种；以及判定处理部，该判定处理部针对上述不良因素候补，基于根据分类的种类而设定的判定基准，判定是否为不良因素。本发明所涉及的检查方法的一个方式经过如下过程：分类处理过程，该分类处理过程根据学习了多个种类的不良因素的学习数据，在拍摄图像中检测不良因素候补，并分类为该多个种类中的任意一种；以及判定处理过程，该判定处理过程针对上述不良因素候补，基于根据分类的种类而设定的判定基准，判定是否为不良因素。发明效果
7.根据本发明，即使在多个种类的不良因素混合存在的情况下，也能够提高最终的优劣判定的精度。
附图说明
8.图1是示出本实施方式的外观检查系统的图。图2是示出外观检查系统的功能结构的框图。图3是示出外观检查系统中的处理顺序的流程图。
图4是示意性地示出实施了ai处理和图像处理的拍摄图像的图。图5是示意地示出内外判定的结果的图。图6是示出近似四边形的尺寸的图。图7是示出存储在存储部中的好坏判定的判定基准的图。图8是示出在图像处理中使用近似椭圆的例子的图。图9是示出近似椭圆的尺寸的图。图10是示出使用近似椭圆时的好坏判定的判定基准的图。
具体实施方式
9.以下，参照附图对本发明的检查装置以及检查方法的实施方式进行详细说明。但是，为了避免以下的说明变得不必要的冗长，使本领域技术人员容易理解，有时省略不必要的详细说明。例如，有时省略已经公知的事项的详细说明或对实质上相同的结构的重复说明。另外，对于前面说明的图中记载的要素，有时在后面的图的说明中适当参照。图1是示出本实施方式的外观检查系统的图。
10.外观检查系统100是本发明的检查系统的一个实施方式，作为一个例子，是在智能手机中安装了应用程序的系统。外观检查系统100具备照相机101和带触摸面板的显示器102。照相机101具有拍摄视角r，拍摄检查对象200。在图1中，作为一例示出了具有圆筒形的圆周表面的检查对象200，但是检查对象200也可以具有平面形的表面。外观检查系统100使用拍摄检查对象200而得到的图像进行外观检查，将检查结果显示在显示器102上。图2是示出外观检查系统100的功能结构的框图。外观检查系统100具备控制部110、照相机部120、存储部130、输入部140以及输出部150。控制部110由组装于智能手机的cpu等承担，控制外观检查系统100整体。控制部110读出并执行存储在存储部130中的应用程序。照相机部120由图1所示的照相机101承担，对检查对象200进行拍摄。存储部130由组装于智能手机中的存储元件等承担，存储外观检查所需的学习数据或判定基准等。存储部130还存储由控制部110使用的应用程序。输入部140由图1所示的显示器102的触摸面板承担，输入拍摄条件的信息等。输出部150相当于显示器102的显示功能，通过输出部150进行拍摄图像的显示或检查结果的显示等。控制部110具有照相机控制部111、ai处理部112、图像处理部113和判定部114。照相机控制部111控制照相机部120，得到检查对象200的拍摄图像。
11.ai处理部112相当于本发明所说的分类处理部的一例，根据学习了多个种类的不良因素的学习数据，在拍摄图像中检测不良因素候补，并分类为该多个种类的中的任意一种。本发明所说的分类处理部的处理不限于所谓的ai处理，也可以是基于所谓的机器学习的处理。
图像处理部113相当于本发明所说的图像处理部的一例，对拍摄图像实施边缘处理等图像处理，检测不良因素候补。
12.判定部114相当于本发明所说的判定处理部的一例，针对不良因素候补，基于根据分类的种类而设定的判定基准，判定是否为不良因素。在本实施方式中，判定部114对由ai处理部112和图像处理部113双方检测出的不良因素候补进行好坏判定。换言之，判定部114判定由图像处理部113检测出的不良因素候补210中、由ai处理部112也检测出的不良因素候补210是否为不良因素。通过判定部114限定好坏判定的对象，处理效率以及判定精度提高。
13.通过组合ai或机器学习等擅长的不良因素的分类和基于每个种类的判定基准的好坏判定，即使多个种类的不良因素混合存在，也能够进行高精度的好坏判定。图3是示出外观检查系统100中的处理顺序的流程图。以下，适当参照图4～图7对图3的流程图所示的处理步骤进行说明。
14.外观检查系统100在步骤s101中，通过照相机控制部111控制照相机部120，进行检查对象200的拍摄，得到拍摄图像。作为检查对象200的拍摄，除了单发拍摄之外，还可以是将检查对象200的外表面分割为多个的分割拍摄。在分割摄影的情况下，得到多个拍摄图像，将这些多个拍摄图像合成来生成检查对象200的展开图像。以下，为了便于说明，不特别区分拍摄的种类，将通过单发拍摄得到的拍摄图像、分割拍摄的结果生成的展开图像也包含在内，简称为“拍摄图像”。
15.外观检查系统100若得到拍摄图像，则在步骤s102中通过ai处理部112对拍摄图像实施ai处理，在步骤s103中通过图像处理部113对拍摄图像实施图像处理。步骤s102相当于本发明所说的分类处理过程的一例。由于ai处理部112的ai处理和图像处理部113的图像处理是彼此独立的处理，因此步骤s102和s103可以以与图3所示的顺序相反的顺序执行，或者可以并行执行。图4是示意性地示出实施了ai处理和图像处理的拍摄图像的图。
16.在拍摄图像205中，包含作为产生图像浓度等混乱的部位的不良因素候补210。不良因素候补210有可能是瑕疵、污垢、尘埃、打痕、摩擦、指纹、标记的忘记清除等分别由多个原因产生的多个种类的不良因素中的任意一种。不良因素候补210也有时是不符合上述多个种类的不良因素中的任意一种的单纯的拍摄上的图像混乱等。
17.在由ai处理部112进行的ai处理中，基于存储在存储部130中的学习数据从拍摄图像205中检测不良因素候补210，分类为上述多个种类的不良因素中的任意一种。在ai处理中，并不是检测出所有的不良因素候补210，而是通过与人的感觉接近的判别，仅检测出一部分不良因素候补210并进行分类。关于在ai处理部112的ai处理中分类出的不良因素候补210的检测区域，作为已分类区域220将坐标等存储在存储部130中。
18.在图像处理部113的图像处理中，组合灰度化、二值化、边缘增强等处理来检测不良因素候补210。通过图像处理检测出的不良因素候补210作为点群数据被处理，通过图像处理部113计算出针对点群数据的近似形状。在图4所示的示例中，近似四边形230被用作近似形状，并且近似四边形230的信息也被存储在存储部130中。即，图像处理部113通过图像处理对不良因素候补210计算近似形状(例如近似四边形230)。
19.在图3的步骤s104中，对于检测出的不良因素候补210，由判定部114进行内外判
定。在内外判定中，判定由图像处理部113检测出的不良因素候补210是否包含在基于ai处理的已分类区域220内。该内外判定的结果是，判定不良因素候补210是否在ai处理和图像处理中被重复检测出。图5是示意地示出内外判定的结果的图。
20.在图5中，示出由图像处理检测出的不良因素候补210的近似四边形230和通过ai处理检测出不良因素候补210的已分类区域220。在图5所示的例子中，作为通过图像处理检测出的不良因素候补210包含在已分类区域220内的基准，使用近似四边形230的四个角全部位于已分类区域220内的基准。另外，作为该基准，可以使用例如近似四边形230的四个角中的两个以上(或者三个以上)位于已分类区域220内的基准，也可以使用例如四个角中的至少1个位于已分类区域220内的基准。
21.在图5中，用实线示出近似四边形230中的四个角全部位于已分类区域220内的近似四边形230(即判定为在ai处理和图像处理中重复检测出不良因素候补210的近似四边形230)。另外，近似四边形230中的四个角中的至少一个角偏离已分类区域220的近似四边形230用虚线示出。
22.对于近似四边形230用实线示出的不良因素候补210，在图3的步骤s105中由判定部114进行好坏判定。步骤s105相当于本发明所说的判定处理过程的一例。在本实施方式中，判定部114例如使用与近似形状的尺寸相关的基准作为好坏判定的判定基准。图6是示出近似四边形230的尺寸的图。
23.在本实施方式中，图像处理部113使用例如近似四边形230作为近似形状，判定部114使用例如与近似四边形230的短边l1、长边l2以及对角线l3的长度相关的基准作为好坏判定的判定基准。图7是示出存储在存储部130中的好坏判定的判定基准的图。
24.在本实施方式中，作为不良因素中的一例，设定分别针对压痕、尘埃、摩擦、瑕疵、污垢以及指纹共计6种不良因素的判定基准。在ai处理中，进行不良因素候补210向这6种的分类，在判定部114的好坏判定中，对这6种使用个别的判定基准。
25.ai处理部112优选至少检测并分类瑕疵、污垢、尘埃、压痕以及摩擦作为多个种类的不良因素。通过将不良因素候补210分类为这些种类，分类后的判定处理等变得容易。
26.对于6种不良因素中的压痕、尘埃以及摩擦，作为最终的好坏判定之前的算法(处理)，如“判定算法”栏所示，与ai处理一起使用逻辑处理。在逻辑处理中，进行基于“逻辑中的判定基准”栏的基准的判定。作为逻辑中的判定基准，使用与图6所示的短边l1、长边l2以及对角线l3的长度分别相关的基准。若不良因素的种类不同，则判定基准也不同。
27.ai处理适合于不良因素的分类，但在学习阶段大多经过使尺寸的信息等缺失的处理，一般不适合于好坏判定。因此，在ai处理中的分类后，通过以不良因素的每个种类的判定基准进行逻辑上的好坏判定，在ai处理和逻辑处理中相互弥补缺点。另外，通过对不良因素的每个种类设定判定基准，能够进行详细的基准设定，抑制过检测，提高好坏判定的精度。
28.另外，通过使用与近似形状的尺寸有关的基准作为好坏判定的基准，即使对于多个种类的不良因素各自的不良因素候补210近似形状的尺寸相似，也能够通过每个分类的判定基准高精度地进行好坏判定。进而，通过使用与近似四边形230的短边l1、长边l2以及
对角线l3的长度相关的基准作为好坏判定的基准，从而能够容易地得到分别适合于多个种类的不良因素的判定基准。
29.判定部114也可以使用与近似形状(例如近似四边形230)的面积相关的基准作为判定基准。另外，判定部114也可以使用与由图像处理部113检测出的不良因素候补210的点数相关的基准作为判定基准。通过使用与面积、点数相关的基准，能够对多个种类的不良因素分别进行详细的基准设定。
30.在6种不良因素中，关于压痕、尘埃以及摩擦，在满足“逻辑中的判定基准”的情况下(作为一例，以and条件满足的情况下)，如“ok/ng”栏所示，判定为“ng”。
31.在6种不良因素中，关于瑕疵和污染，如“判定算法”栏所示，仅根据ai处理的结果进行好坏判定。即，判定部114针对多个种类的不良因素中的一部分种类的不良因素，通过分类为该一部分种类，将不良因素候补210判定为不良因素。由此，对于通过ai或机器学习等也能够容易地判定的种类的不良因素，处理变得容易，检查高速化。
32.在6种不良因素中，对于指纹，也如“判定算法”栏所示，仅根据ai处理的结果进行好坏判定，但对于指纹，作为分类为指纹的结果，如“ok/ng”栏所示，判定为“ok”。这是因为指纹不会影响产品的质量等。
33.当使用图7所示的判定基准在图3的步骤s105中进行好坏判定时，在步骤s106中判定结果由输出部150显示在显示器102上。在本实施方式中，在以图7所示的判定基准对一个以上的不良因素候补210判定为“ng”的情况下，将检查对象200为“ng”的判定结果显示于显示器102。
34.在上述的例子中，在图像处理部113的图像处理中使用近似四边形230作为近似形状，但在图像处理部113的图像处理中可以使用近似椭圆作为近似形状。图像处理部113优选地使用近似四边形230和近似椭圆240中的至少一个作为近似形状。这是因为近似四边形230和近似椭圆240容易进行用于近似的图像处理。图8是示出在图像处理中使用近似椭圆的例子的图。
35.在图8中，作为一例示出了拍摄有压痕250的拍摄图像205。对于压痕250，通过图像处理部113的图像处理检测出点群数据作为不良因素候补210，对于点群数据计算出近似椭圆240。根据不良因素的种类，有时优选使用近似椭圆240作为近似形状。另外，作为针对点群数据(即不良因素候补210)的近似形状，除了近似四边形230以及近似椭圆240之外，也可以使用近似直线等。图9是示出近似椭圆240的尺寸的图，图10是示出使用近似椭圆240的情况下的好坏判定的判定基准的图。作为近似椭圆240的尺寸，例如使用最小半径r1和最大半径r2。在图10所示的例子中，作为不良因素，示出了打痕、摩擦、(标记的)忘记清除以及铁粉这4种，并示出了与各种类对应的判定基准。
36.对于4种不良因素中的压痕和摩擦，如“判定算法”栏所示，与ai处理一起使用逻辑处理，如“逻辑中的判定基准”栏所示，作为好坏判定的基准，使用与最小半径r1相关的基准和与最大半径r2相关的基准。在图10所示的例子中，作为好坏判定的基准，还使用与颜色相关的基准。即，判定部114使用与由图像处理部113检测出的不良因素候补210的颜色信息相关的基准作为判定基准。例如在压痕等的情况下，如果深度损伤，则有可能出现内部的金属
而在颜色上产生特征，因此如果使用与颜色信息相关的基准，则能够进行更详细的判定。
37.关于4种不良因素中的(标记的)忘记清除，如“判定算法”栏所示，仅根据ai处理的结果进行好坏判定，当分类为忘记清除时，如“ok/ng”栏所示，判定为“ng”。
38.对于4种不良因素中的铁粉，如“判定算法”栏所示，与ai处理一起使用逻辑处理，如“逻辑中的判定基准”栏所示，作为好坏判定的基准，仅使用与最小半径r1相关的基准。然后，在满足判定基准的情况下，如“ok/ng”栏所示，判定为“ok”。
39.在使用近似椭圆240作为近似形状的情况下，也通过组合基于ai处理的不良因素候选的分类和逻辑中的好坏判定来实现高精度的好坏判定。
40.另外，在此，作为本发明的检查装置中的使用方法的一例，列举了外观检查，但本发明的检查装置的使用方法并不限定于上述方法，能够在基于x射线图像的非破坏检查、基于超声波图像的断层检查等广泛范围内使用。
41.上述的实施方式在所有方面都是示例，不应该认为是限制性的。本发明的范围不是由上述实施方式示出，而是由权利要求书示出，包括与权利要求书等同的意思以及范围内的所有变更。标号说明
42.100：外观检查系统100101：照相机101102：带触摸面板的显示器102110：控制部110120：照相机部120130：存储部130140：输入部140150：输出部150111：照相机控制部111112：ai处理部112113：图像处理部113114：判定部114200：检查对象200205：拍摄图像205210：不良因素候补210220：已分类区域220230：近似四边形230240：近似椭圆240250：压痕250。