自动图像检测方法、设备、内储程序的计算机可读取记录媒体以及计算机程序产品与流程

1.本发明有关于一种自动图像检测方法、设备、内储程序的计算机可读取记录媒体以及计算机程序产品，尤指一种改良式的自动图像检测方法、设备、内储程序的计算机可读取记录媒体以及计算机程序产品。


背景技术：

2.随着全自动化工业的进展，自动光学辨识系统(automatic optical inspection,aoi)是工业工艺中常见的代表性手法，主要的做法是利用摄像装置拍摄待测物的表面状态，再以计算机图像处理技术来检出异物或图案异常等瑕疵，由于采用了非接触式检查，因此在产线过程中可以用于检查半成品。基于自动光学辨识系统检测的优势，自动光学辨识系统已经被普遍应用在电子业的电路板组装生产线的外观检查并取代以往的人工目检作业(visual inspection)。
3.在传统图像辨识技术中，主要是将待测物的图像与母片图像或标准图像进行比对，通过待测物图像与母片图像之间的差异确认待测物是否有瑕疵；然而，单纯以图像相减的方式进行缺陷检测不仅要求精确对位，且容易造成过检或误检的问题，进一步降低检测的效率。


技术实现要素：

4.本发明的主要目的，在于提供一种自动图像检测方法，包括：取得对应于待测物的多个标准图像；将所获得的标准图像中于相同位置的多个图像区块的灰阶度进行平均值运算，取得一灰阶平均图像；将所获得的标准图像中于相同位置的图像区块的灰阶度进行标准偏差运算，取得一灰阶标准偏差图像；提供一检测图像，并侦测检测图像的灰阶值，当检测图像于相同位置的对应图像区块减去灰阶平均图像于相同位置的图像区块的灰阶值超过灰阶标准偏差图像于相同位置默认定倍率的灰阶标准偏差值时，判定对应图像区块为一候选缺陷。
5.本发明的另一目的，在于提供一种自动图像检测设备，包括一图像捕获设备、一记忆装置以及一图像处理装置。图像捕获设备拍摄并取得待测物的检测图像。记忆装置用于储存多个标准图像。图像处理装置经由记忆装置获得基于标准图像的相同位置所获得的一灰阶平均图像、以及基于标准图像的相同位置所获得的一灰阶标准偏差图像，并连接至图像捕获设备以获得检测图像，图像处理装置侦测检测图像的灰阶值，当检测图像于相同位置的对应图像区块减去灰阶平均图像于相同位置的图像区块的灰阶值超过灰阶标准偏差图像于相同位置默认定倍率的灰阶标准偏差值时，判定对应图像区块为候选缺陷。
6.本发明的又一目的，在于提供一种内储程序的非瞬时性计算机可读取记录媒体，当计算机加载内储程序并执行后，可完成如上所述的自动图像检测方法。
7.本发明的又一目的，在于提供一种内储程序的计算机程序产品，当计算机加载内
储程序并执行后，可完成如上所述的自动图像检测方法。
8.因此，本发明可以有效的简化演算参数，且在简化演算参数的同时，改善图像的过检率及漏检率，并提升整体的检测效能。
附图说明
9.图1为本发明中自动图像检测设备的方块示意图；
10.图2为本发明中自动图像检测方法的预处理程序示意图(一)；
11.图3为本发明中自动图像检测方法的预处理程序示意图(二)；
12.图4为本发明中自动图像检测方法的演算示意图(一)；
13.图5为本发明中自动图像检测方法的演算示意图(二)；
14.图6为本发明中自动图像检测方法的流程示意图。
15.附图标记说明：
16.100
ꢀꢀꢀꢀ
自动图像检测设备
17.10
ꢀꢀꢀꢀꢀ
图像捕获设备
18.20
ꢀꢀꢀꢀꢀ
记忆装置
19.30
ꢀꢀꢀꢀꢀ
图像处理装置
20.31
ꢀꢀꢀꢀꢀ
处理器
21.32
ꢀꢀꢀꢀꢀ
储存单元
22.a1～a6 标准图像
23.mi
ꢀꢀꢀꢀꢀ
灰阶平均图像
24.di
ꢀꢀꢀꢀꢀ
灰阶标准偏差图像
25.ig
ꢀꢀꢀꢀꢀ
检测图像
26.gmi
ꢀꢀꢀꢀ
灰阶差值像素数组
27.kdi
ꢀꢀꢀꢀ
k倍灰阶标准偏差图像
28.mp
ꢀꢀꢀꢀꢀ
相减像素数组
29.步骤s01～s06。
具体实施方式
30.有关本发明的详细说明及技术内容，现就举一具体实施例配合附图说明如下。
31.请先参阅图1，为本发明中自动图像检测设备的方块示意图。本发明的自动图像检测设备100包括一图像捕获设备10、一连接至图像捕获设备10的记忆装置20以及一连接至记忆装置20的图像处理装置30。
32.所述的图像捕获设备10用于拍摄并取得待测物的检测图像。于一实施例中，图像捕获设备10例如可以是但不限定于面扫描摄像机(area scan camera)或线扫描摄像机(line scan camera)，于本发明中不予以限制。所述的待测物可以是任意的对象，例如面板、电路板或任意工件，于本发明中不予以限制。
33.所述的记忆装置20用于储存标准图像、灰阶平均图像(grayscale mean image,mi)以及灰阶标准偏差图像(grayscale deviation image,di)。于一实施例中，记忆装置20例如可以是但不限定于通过有线网络或无线网络连接的记忆设备(例如网络硬盘设备nas、
区网或云端服务器等)或是直接配置于图像处理装置30上的存储组件(例如硬盘、固态硬盘、随机存取内存、闪存等或其他类此的瞬时或非瞬时的存储装置)。所述的标准图像，例如可以是待测物的母片、良品的图像或黄金图像(golden image)，于本发明中不予以限制。
34.所述的图像处理装置30连接至记忆装置20以获得灰阶平均图像mi以及灰阶标准偏差图像di，并基于灰阶平均图像mi以及灰阶标准偏差图像di判定检测图像是否包括候选缺陷。于一实施例中，图像处理装置30主要包含有一处理器31以及一连接于处理器31的储存单元32。处理器31可以用于加载储存单元32，以执行储存单元32内所储存的程序。于另一实施例中，处理器31以及储存单元32可共同构成一计算机或处理器，例如是个人计算机、工作站、主计算机或其他型式的计算机或处理器，在此并不限制处理器31以及储存单元32的种类。于一实施例中，处理器31可耦接于储存单元32。处理器31例如是中央处理器(central processing unit,cpu)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor,dsp)、可程序化控制器、特殊应用集成电路(application specific integrated circuits,asic)、可程序化逻辑装置(programmable logic device,pld)或其他类似装置或这些装置的组合。
35.关于本发明中的自动图像检测方法，以下配合图附图举一具体实施例说明之，请一并参阅图2、图3、图4、图5及图6，为本发明中自动图像检测方法的预处理程序示意图(一)、(二)、自动图像检测方法的演算示意图(一)、(二)以及自动图像检测方法的流程示意图。
36.首先，为了要取得灰阶平均图像mi以及灰阶标准偏差图像di，先通过摄像机拍摄多个标准图像(步骤s01)；为了要让标准图像与图像捕获设备10所拍摄的检测图像于拍摄条件(例如拍摄环境、摄像机参数、摄像机型号等)上标准化，所述的标准图像可以通过自动图像检测设备100的图像捕获设备10拍摄，以减少因拍摄条件不同而导致的误差。但是，本发明也不排除在有效控制拍摄条件的情况下，于不同环境或是以不同摄像机取得标准图像的方法，在此先行叙明。值得注意的是，于本实施例中，多个标准图像取自同一类型的待测物，并且可为具有或不具有瑕疵特征。具有瑕疵特征的标准图像所具有的瑕疵特征也可不同，但同一标准图像中各像素之间的差异值需在一定标准值内。
37.接续，用于执行图像处理功能的计算机于获得多个标准图像后，将所获得的标准图像中于相同位置的图像区块的灰阶度进行平均值运算，取得一灰阶平均图像mi(步骤s02)；具体而言，所述的灰阶平均图像mi主要是将标准图像于同一位置上像素的灰阶值加总后计算算数平均，最终获得所述灰阶平均图像mi，具体算式如下：
[0038][0039]
其中，n为标准图像数量，p_(i(x,y))为第i号标准图像于像素坐标(x,y)上的灰阶值，p_(m(x,y))为灰阶平均图像mi于像素坐标(x,y)上的灰阶值。
[0040]
如图2所示，以取样六张标准图像a1～a6的条件下，第一张标准图像a1中像素坐标(1,1)上的灰阶值为5，第二张标准图像a2中像素坐标(1,1)上的灰阶值为7，第三张标准图像a3中像素坐标(1,1)上的灰阶值为5，第四张标准图像a4中像素坐标(1,1)上的灰阶值为5，第五张标准图像a5中像素坐标(1,1)上的灰阶值为7，第六张标准图像a6中像素坐标(1,1)上的灰阶值为7；通过算术平均数计算的结果，灰阶平均图像mi中像素坐标(1,1)上的平
均灰阶值为依此类推其余坐标位置的像素，以获得灰阶平均图像mi，并将灰阶平均图像mi储存于记忆装置20。
[0041]
接续，用于执行图像处理功能的计算机于获得多个标准图像后，将所获得的标准图像中于所述相同位置的所述图像区块的灰阶度进行标准偏差运算，取得一灰阶标准偏差图像di(步骤s03)；具体而言，所述的灰阶标准偏差图像di主要是将标准图像于同一位置上像素的灰阶值个别计算标准偏差，最终获得所述灰阶标准偏差图像di，具体算式如下：
[0042][0043]
n为标准图像数量，p_(i(x,y))为第i号标准图像于像素坐标(x,y)上的灰阶值，p_(m(x,y))为灰阶平均图像mi于像素坐标(x,y)上的灰阶值，p_(d(x,y))为灰阶标准偏差图像di于像素坐标(x,y)上的标准偏差值。
[0044]
如图3所示，以取样六张标准图像a1～a6的条件下，第一张标准图像a1中像素坐标(1,1)上的灰阶值为5，第二张标准图像a2中像素坐标(1,1)上的灰阶值为7，第三张标准图像a3中像素坐标(1,1)上的灰阶值为5，第四张标准图像a4中像素坐标(1,1)上的灰阶值为5，第五张标准图像a5中像素坐标(1,1)上的灰阶值为7，第六张标准图像a6中像素坐标(1,1)上的灰阶值为7；依据步骤s02计算的结果，灰阶平均图像mi中像素坐标(1,1)上的平均灰阶值为6，灰阶标准偏差图像di中像素坐标(1,1)上对应的标准偏差值为依此类推其余坐标位置的像素，以获得灰阶标准偏差图像di，并将灰阶标准偏差图像di储存于记忆装置20。
[0045]
步骤s01～s03为自动图像检测的预处理程序，在大量检测的实际应用上，前面预处理程序执行一次后，后续的检测程序则可以直接由记忆装置20获取灰阶平均图像mi以及灰阶标准偏差图像di直接进行计算，不须每一次检测时重复执行步骤s01～s03的流程，在此先行叙明。
[0046]
接续，自动图像检测设备100执行图像检测程序，图像处理装置30自图像捕获设备10取得一检测图像ig，并侦测检测图像ig的灰阶值(步骤s04)；图像捕获设备10于拍摄待测物的图像后，可以直接传送至图像处理装置30或是先存入至记忆装置20中。由于在处理大幅图像时，图像处理装置30需要耗费一定的运算时间，将检测图像ig预先存入记忆装置20进行缓冲也是可行的方式；当指令周期够快时，检测图像ig亦可以通过图像处理装置30的高速缓存进行缓存，于本发明中不予以限制。
[0047]
于一实施例中，在上述步骤s04取得检测图像ig后，为避免因外部因素导致图像捕获设备10拍摄到的图像与标准图像产生误差，可以先将所述检测图像ig进行对位程序，将提供的所述检测图像ig先通过对位程序以建立相对位置关系；在理想状态下，所述的对位程序是可以省略的步骤。
[0048]
接续，图像处理装置30将检测图像ig中相同位置的对应图像区块减去灰阶平均图像mi中相同位置的图像区块以获得灰阶差值，并于所获得的灰阶差值超过灰阶标准偏差图像di于相同位置默认定倍率的灰阶标准偏差值时，判定上述对应图像区块为候选缺陷(步骤s05)；在此须先叙明的是，由于侦测缺陷的重点在于检测图像ig与灰阶平均图像mi之间
的差异，取样的数值重视的是检测图像ig与灰阶平均图像mi中灰阶值的变化量，因此灰阶差值都以绝对值计算。于一实施例中，默认定倍率可以是2～3倍(例如2.0倍、2.1倍、2.2倍、2.3倍、2.4倍、2.5倍、2.6倍、2.7倍、2.8倍、2.9倍、3.0倍等)意即所获得的灰阶差值若大于灰阶标准偏差图像di对应的灰阶标准偏差值2倍或3倍以上，则标记检测图像ig中对应于所述灰阶差值的像素或像素单位为候选缺陷。例如灰阶标准偏差图像di对应的灰阶标准偏差值若为2，当对应位置的灰阶差值为5时，在默认定倍率是2倍的时候，由于灰阶差值(5)大于2倍的灰阶标准偏差值(4)，则判定对应图像区块为候选缺陷；在默认定倍率是3倍的时候，由于灰阶差值(5)未大于3倍的灰阶标准偏差值(6)，则判定对应图像区块未包括缺陷。
[0049]
以下举一具体实施例进行说明，如图4所示，图像处理装置30由图像捕获设备10(或记忆装置20)所获得的检测图像ig其灰阶像素数组为通过步骤s03所取得的灰阶平均图像mi的灰阶像素数组为将检测图像ig减去灰阶平均图像mi将获得灰阶差值像素数组gmi，所述的灰阶差值像素数组gmi为
[0050]
接续，如图5所示，将灰阶标准偏差图像di对应于个别像素数组上的灰阶标准偏差值乘上默认定倍率(例如2～3倍)，将获得一k倍灰阶标准偏差图像kdi；例如获得的k倍灰阶标准偏差图像kdi的像素数组为将前面所获得的灰阶差值像素数组gmi与k倍灰阶标准偏差图像kdi相减，将获得以下的相减像素数组mp为由于低于0的数值代表未超出默认定倍率的灰阶标准偏差值，直接输出为0，其余相减后大于0的数值则被判定为候选缺陷，由上面的相减相素数组中第4列第4栏的像素、第2列第5栏的像素以及第3列第5栏的像素将被判定为候选缺陷。
[0051]
最终，于确认图像中的所有候选缺陷后，通过所有候选缺陷的特征判定是否为真实缺陷(步骤s06)；于一实施例中，所述的特征包括由一或多个候选缺陷所构成的连通或相近区块的面积、长宽值、长宽比及/或灰阶值。面积可以由涵盖像素数量或涵盖最小单位像素数量计算而得；长宽值、长宽比可以通过候选缺陷连通区域或密集区域所涵盖的范围进行计算，例如通过像素长宽换算、用最小矩形包覆缺陷通过测量矩形的长宽获得缺陷的长宽值；灰阶值例如可以是由图像区域中出现的灰阶值像素，确认灰阶值是否为缺陷。
[0052]
上面所描述的方法步骤可通过非暂存性计算机可读取记录媒体的方式实施，所述的非暂存性计算机可读取记录媒体例如可为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或熟悉此技艺者可轻易思及具有相同功能的储存媒介。当计算机加载非暂存性计算机可读取记录媒体内所储存的程序并执行后，可完成如上所述的自动图像检测方法。
[0053]
除计算机可读取记录媒体外，上述的方法步骤亦可作为一种计算机程序产品实施，用于储存于例如网络服务器的硬盘、记忆装置或是应用程序在线发行平台，可通过将计算机程序产品上传至服务器后供使用者以付费下载的方式实施。
[0054]
综上所述，本发明可以有效的简化演算参数，且在简化演算参数的同时，改善图像的过检率及漏检率，并提升整体的检测效能。
[0055]
以上已将本发明做一详细说明，惟以上所述者，仅为本发明的一较佳实施例而已，当不能以此限定本发明实施的范围，即凡依本发明申请专利范围所作的均等变化与修饰，皆应仍属本发明的专利涵盖范围内。