针对微小瑕疵与错件的影像检测方法及其系统与流程

1.本发明是关于一种影像处理技术，特别是关于一种针对微小瑕疵与错件的影像检测方法及其系统。


背景技术：

2.现有的自动光学检查(automated optical inspection；aoi)机台应用于侦测微小瑕疵及错件的机制都非常敏感，容易造成产品的误判事件且使aoi警报较为频繁，因此仍需要厂内人员做二次确认。随着人工智能(artificial intelligence；ai)的崛起，希望能运用深度学习(deep learning)于侦测微小瑕疵与错件的机制来减少厂内人员前往做二次确认的次数。然而，在微小瑕疵或元件背纹多样性的情况下，ai模型仍然无法达到较高的辨识正确率。另外，当ai模型侦测从未出现过的瑕疵影像或背纹影像时，ai模型可能会提供不正确的辨识结果。
3.有鉴于此，如何开发一种可准确地辨识出物件影像的影像检测方法及其系统，是相关业者须努力研发突破的目标及方向。


技术实现要素：

4.因此，本发明的目的在于提供一种针对微小瑕疵与错件的影像检测方法及其系统，其通过影像辨识模型辨识物件影像，且对辨识结果进行检验以判断辨识结果是否有符合物件影像，进而提升辨识结果的正确率且同时地降低漏检率。
5.依据本发明的一实施方式提供一种针对微小瑕疵与错件的影像检测方法，其包含一物件影像辨识步骤。物件影像辨识步骤是驱动一运算处理单元输入一物件影像至一影像辨识模型，以令影像辨识模型对物件影像进行影像辨识而输出一辨识结果。影像辨识模型是经由训练多个第一影像及多个第二影像而建立，且物件影像对应其中一第二影像。当辨识结果为其中一第一影像时，运算处理单元判断辨识结果不符合物件影像。当辨识结果为其中一第二影像时，运算处理单元执行一辨识结果检验步骤，且辨识结果检验步骤包含一第一特征提取步骤、一第二特征提取步骤、一特征比对步骤及一辨识结果判断步骤。第一特征提取步骤是驱动运算处理单元通过影像辨识模型提取对应物件影像的一物件特征值。第二特征提取步骤是驱动运算处理单元依据辨识结果输入一校准影像至影像辨识模型，并通过影像辨识模型提取对应校准影像的一校准特征值。特征比对步骤是驱动运算处理单元执行一特征比对软件模块。特征比对软件模块依据校准特征值对物件特征值进行相似度比对而产生一相似度几率。辨识结果判断步骤是驱动运算处理单元依据相似度几率与一阀值判断辨识结果是否符合物件影像。当相似度几率大于等于阀值时，运算处理单元判断辨识结果符合物件影像。当相似度几率小于阀值时，运算处理单元判断辨识结果不符合物件影像。
6.依据本发明的另一实施方式提供一种针对微小瑕疵与错件的影像检测系统，其包含一存储单元与一运算处理单元。存储单元存储一影像辨识模型、多个第一影像、多个第二影像及一特征比对软件模块。运算处理单元连接存储单元并经配置以实施一物件影像辨识
步骤。物件影像辨识步骤是输入一物件影像至影像辨识模型，以令影像辨识模型对物件影像进行影像辨识而输出一辨识结果。影像辨识模型是经由训练所述多个第一影像及所述多个第二影像而建立，且物件影像对应其中一第二影像。当辨识结果为其中一第一影像时，运算处理单元判断辨识结果不符合物件影像。当辨识结果为其中一第二影像时，运算处理单元经配置以实施一辨识结果检验步骤，且辨识结果检验步骤包含一第一特征提取步骤、一第二特征提取步骤、一特征比对步骤及一辨识结果判断步骤。第一特征提取步骤是通过影像辨识模型提取对应物件影像的一物件特征值。第二特征提取步骤是依据辨识结果输入一校准影像至影像辨识模型，并通过影像辨识模型提取对应校准影像的一校准特征值。特征比对步骤是执行特征比对软件模块。特征比对软件模块依据校准特征值对物件特征值进行相似度比对而产生一相似度几率。辨识结果判断步骤系依据相似度几率与一阀值判断辨识结果是否符合物件影像。当相似度几率大于等于阀值时，运算处理单元判断辨识结果符合物件影像。当相似度几率小于阀值时，运算处理单元判断辨识结果不符合物件影像。
7.借此，本发明的针对微小瑕疵与错件的影像检测方法及其系统，其通过影像辨识模型辨识物件影像。在辨识结果为第二影像的情况下，仍经由辨识结果检验步骤利用相似度比对来再次判断辨识结果是否符合物件影像，进而提升辨识结果的正确率且同时地降低漏检率。
附图说明
8.图1是绘示依照本发明的第一实施例的针对微小瑕疵与错件的影像检测方法的流程示意图；
9.图2是绘示图1的针对微小瑕疵与错件的影像检测方法的辨识结果检验步骤的示意图；
10.图3是绘示本发明的物件影像输入影像辨识模型而产生对应第一影像或第二影像的辨识结果的示意图；
11.图4是绘示本发明的基于校准影像的多个物件影像的相似度几率的示意图；以及
12.图5是绘示依照本发明的第二实施例的针对微小瑕疵与错件的影像检测系统的方块示意图。
13.其中，附图标记说明如下：
14.100：针对微小瑕疵与错件的影像检测方法
15.110，110a，110b，110c：物件影像
16.111：物件特征值
17.120，211：影像辨识模型
18.121：卷积层
19.122：第一全连阶层
20.123：第二全连阶层
21.124：激活函数
22.125，212：特征比对软件模块
23.130：辨识结果
24.140，213：影像数据库
25.141，2131：第一影像
26.142，2132：第二影像
27.150：校准影像
28.151：校准特征值
29.160，160a，160b，160c：相似度几率
30.170，214：阀值
31.200：针对微小瑕疵与错件的影像检测系统
32.210：存储单元
33.220：运算处理单元
34.s01：物件影像辨识步骤
35.s02：辨识结果检验步骤
36.s021：第一特征提取步骤
37.s022：第二特征提取步骤
38.s023：特征比对步骤
39.s024：辨识结果判断步骤
具体实施方式
40.请一并参阅图1、图2及图3，其中图1是绘示依照本发明的第一实施例的针对微小瑕疵与错件的影像检测方法100的流程示意图；图2是绘示图1的针对微小瑕疵与错件的影像检测方法100的辨识结果检验步骤s02的示意图；以及图3是绘示本发明的物件影像110输入影像辨识模型120而产生对应第一影像141或第二影像142的辨识结果130的示意图。如图所示，针对微小瑕疵与错件的影像检测方法100包含物件影像辨识步骤s01。物件影像辨识步骤s01是驱动运算处理单元输入物件影像110至影像辨识模型120。影像辨识模型120对物件影像110进行影像辨识而输出辨识结果130。须说明的是，影像辨识模型120是经由运算处理单元依据深度学习演算法训练存储于影像数据库140内的多个第一影像141及多个第二影像142而建立，且深度学习演算法可为卷积神经网络(cnn)、vgg网络、轻量级神经网络(mobilenet)、深度残差网络(resnet)或是用以实现影像辨识的演算法，但本发明不依此为限。此外，前述训练影像辨识模型120用的多个第一影像141不同于多个第二影像142，且物件影像110会对应其中一第二影像142。当辨识结果130为其中一第一影像141时，运算处理单元判断辨识结果130不符合物件影像110。
41.详细地说，第一实施例的所述多个第一影像141可分别为第一厂商所出厂的多个系列芯片(chip)的背纹影像，所述多个第二影像142可分别为第二厂商所出厂的多个系列芯片的背纹影像，且物件影像110是为第二厂商所出厂的任一系列芯片的背纹影像。在其他实施例中，物件影像、各第一影像及各第二影像可为电子元件、集成电路(integrated circuit；ic)或者是由电阻(r)、电感(l)及电容(c)所组成的rlc电路的影像，且本发明不以此为限。
42.当输出的辨识结果130出现第一影像141时，运算处理单元即可判断辨识结果130是不正确的。举例来说，于图3中，第一影像141的背纹显示出t250vz6c，其表示为第一厂商所出厂的t250系列芯片中的型号vz6c。第二影像142的背纹显示出t250dz5p，其表示为第二
厂商所出厂的t250系列芯片中的型号dz5p。物件影像110的背纹显示出t250dz5q。当影像辨识模型120所输出的辨识结果130是第一影像141时，运算处理单元可直接判断辨识结果130不符合物件影像110。借此，本发明的针对微小瑕疵与错件的影像检测方法100通过影像辨识模型120辨识物件影像110，且可根据辨识结果130是第一影像141还是第二影像142来决定辨识结果130是否符合物件影像110，进而提高辨识精度。
43.此外，当影像辨识模型120所输出的辨识结果130为第二影像142时，运算处理单元执行辨识结果检验步骤s02。辨识结果检验步骤s02包含第一特征提取步骤s021、第二特征提取步骤s022、特征比对步骤s023及辨识结果判断步骤s024。第一特征提取步骤s021是驱动运算处理单元通过影像辨识模型120提取对应物件影像110的物件特征值111。具体而言，影像辨识模型120可包含卷积层121、第一全连阶层122、第二全连阶层123及激活函数124。影像辨识模型120在接收物件影像110后，卷积层121依据卷积核对物件影像110进行卷积运算而产生特征图。接着，第一全连阶层122与第二全连阶层123利用权重矩阵和偏置向量对特征图进行分类处理与连接，其中运算处理单元从第一全连阶层122撷取物件特征值111。最后，经由激活函数124(例如：softmax函数)进行回归运算而产生辨识结果130。在其他实施例中，影像辨识模型可更包含多个卷积层与多个池化层。池化层夹在连续的卷积层之间，并用于压缩数据和参数以减小过拟合(overfitting)。
44.第二特征提取步骤s022是驱动运算处理单元依据辨识结果130输入校准影像150至影像辨识模型120，并通过影像辨识模型120内的第一全连阶层122提取对应校准影像150的校准特征值151。详细地说，于第二特征提取步骤s022中，运算处理单元依据辨识结果130从所述多个第二影像142中选取与辨识结果130相同的第二影像142作为校准影像150。简而言之，运算处理单元主要是通过辨识结果130所显示的影像从第二影像142中找寻相同的影像作为校准影像150，然后提取校准特征值151作为后续特征比对步骤s023中所需要比对用的输入值。
45.特征比对步骤s023是驱动运算处理单元执行特征比对软件模块125。特征比对软件模块125依据校准特征值151对物件特征值111进行相似度比对而产生相似度几率160。详细地说，于特征比对步骤s023中，特征比对软件模块125依据欧氏距离(euclidean distance)演算法比对校准特征值151与物件特征值111而产生相似度几率160。在其他实施例中，特征比对软件模块亦可使用曼哈顿距离(manhattan distance)、切比雪夫距离(chebyshev distance)、闵可夫斯基距离(minkowski distance)、马氏距离(mahalanobis distance)及汉明距离(hamming distance)的任一者来判断校准特征值对物件特征值的差异而产生相似度几率。
46.辨识结果判断步骤s024是驱动运算处理单元依据相似度几率160与阀值170判断辨识结果130是否符合物件影像110。当相似度几率160大于等于阀值170时，运算处理单元判断辨识结果130符合物件影像110。当相似度几率160小于阀值170时，运算处理单元判断辨识结果130不符合物件影像110。
47.请一并参阅图1、图2及图4，其中图4是绘示本发明的基于校准影像150的多个物件影像110a、110b、110c的相似度几率160a、160b、160c的示意图。如图所示，运算处理单元分别输入物件影像110a、110b、110c至影像辨识模型120而产生相同的辨识结果130，且运算处理单元依据辨识结果130挑选出校准影像150，然后分别与物件影像110a、110b、110c进行相
似度比对而产生相似度几率160a、160b、160c。详细地说，于辨识结果判断步骤s024中，运算处理单元会将预先设定好的阀值170对相似度几率160进行相互比对。
48.举例而言，阀值170的数值为0.91，相似度几率160a的数值为0.96，相似度几率160b的数值为0.75，相似度几率160c的数值为0.88。由于相似度几率160a大于阀值170(0.96》0.91)，因此运算处理单元判断对应物件影像110a的辨识结果130符合物件影像110a；换言之，对应物件影像110a的辨识结果130是具有高准确性。另一方面，由图4可知，校准影像150(即其中一第二影像142)的背纹显示出t250dz5p。物件影像110b的背纹显示出t250dz5q，其相似度几率160b的数值小于阀值170(0.75《0.91)，因此运算处理单元判断对应物件影像110b的辨识结果130不符合物件影像110b；明显地，物件影像110b对于校准影像150是错件。同理，物件影像110c的背纹显示出t250dz5p，其相似度几率160c的数值小于阀值170(0.88《0.91)，因此运算处理单元判断对应物件影像110c的辨识结果130不符合物件影像110c；明显地，物件影像110c内图案p(即英文字母p的下半部被截掉后的图案)对于校准影像150是微小瑕疵。借此，本发明的针对微小瑕疵与错件的影像检测方法100在对于错件的物件影像110b以及具有微小瑕疵的物件影像110c仍经由辨识结果检验步骤s02利用相似度比对来再次判断辨识结果130是否符合物件影像110b、110c，进而减少错误的元件识别，且降低针对微小缺陷与错件的漏检率。
49.请参阅图1与图5，其中图5是绘示依照本发明的第二实施例的针对微小瑕疵与错件的影像检测系统200的方块示意图。针对微小瑕疵与错件的影像检测系统200用以辨识物件影像110，并对辨识结果130进行检测来判断辨识结果130是否符合物件影像110。如图所示，针对微小瑕疵与错件的影像检测系统200包含存储单元210与运算处理单元220。存储单元210存储影像辨识模型211、特征比对软件模块212、影像数据库213及阀值214，其中影像数据库213可包含多个第一影像2131及多个第二影像2132。运算处理单元220电性连接存储单元210并经配置以实施针对微小瑕疵与错件的影像检测方法100，其中运算处理单元220可为数字信号处理器(digital signal processor；dsp)、微处理器(micro processing unit；mpu)、中央处理器(central processing unit；cpu)或其他电子处理器，但本发明不以此为限。
50.虽然本发明已以实施方式公开如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视后附的权利要求所界定者为准。