专利名称：用于外表检测的图像处理方法
技术领域：
本发明涉及一种用于外表检测的图像处理方法，尤其是将检测目标与作为其参考的一个预定参考图像进行比较以检测目标外表的方法。
背景技术：
日本专利公开号JP2001-175865公开了一种用于外表检测的图像处理方法，其中通过与一个参考图像比较来检查一个目标图像，从而得到误差参数，即目标图像相对参考图像的位置、转角和比例。然后为了得到这些图像不公用的区域，利用如此获得的误差参数变换参考图像与目标图像匹配。最终，根据如此得到的区域值，确定该目标是否有一个外表缺陷，比如疵点、裂纹、斑点等。
然而，上述依据该区分区域(differentiated area)的结果检测目标外表的方案很难补偿或消除可能存在的变形的影响，例如目标相对照相机移动引起的线性变换，或者是目标偏离照相机光轴引起的二次变换。导致的结果是目标可能被认为有缺陷，虽然实际并非如此。
发明内容
基于上述问题，本发明提供一种独特的外表检测方法，该方法能够可靠检测目标外表，同时能够补偿可能出现的线性或二次变形，而且减少了需要的计算量。根据本发明的图像处理方法，给一个目标拍照以提供一个目标图像用于与一个预定参考图像进行比较。接着，处理该目标图像用来提取它的轮廓从而建立一个目标轮廓，同时还将该参考图像处理成一个参考轮廓。接着，根据表示目标图像的线性或二次转换因素的最小二乘法误差函数处理所述目标轮廓和所述参考轮廓的数据，以便导出目标轮廓相对所述参考轮廓的包括位置、转角、比例在内的误差参数。接着，利用该得到的误差参数转换所述参考轮廓。重复上述更新误差参数和转换参考轮廓的步骤直到更新后的误差参数满足一个关于目标图像的一个线性或二次转换因素的预定判据为止。之后，利用该最新参数将参考图像转换为最终参考图像。接着，比较所述目标图像和最终参考图像，以便选择所述目标图像的像素，所述像素的灰度强度与所述最终参考图像的对应像素相差预定值或更大。最后分析这样选择出的像素，以判断目标图像是否不同于参考图像，如果目标图像与参考图像不同则提供一个缺陷信号。按照这种方法，可以将参考图像转换为最终参考图像，通过只根据不断更新的误差参数转换参考轮廓的一个循环可以真实而且简单地与目标图像比较。这样，与将参考图像本身连续转换的情况相比，在需要减少计算量的情况下就可容易地转换为最终参考图像。根据该结果，仅需要较少的计算量就可以补偿线性或二次转换因素，因此在减少硬件要求的情况下仍能进行可靠的外表检测。
在一个最佳实施例中，先进行一个预处理，从已准备好的表示无缺陷目标的一个标准参考图像中准备一个参考图像。检查目标照片以确定一个帧，在该帧中所述目标外表与所述标准参考图像大体一致。接着，将所述帧内的目标与所述标准参考图像比较，从而得到目标相对于所述标准参考图像的包括位置、转角、比例的初步误差参数。接着，利用所述初步误差参数将所述标准参考图像转换为所述参考图像。由于上述预处理方法不需考虑线性或二次转换因素，因此可方便地准备出参考图像以用于随后根据最小二乘法误差函处理数据。
目标轮廓和所述参考轮廓最好都是利用Sobel滤波描绘出一个边缘而得到的，该边缘沿着具有局部最大强度的、且方向角θ为-45°到+45°的像素，其中所述方向角(θ)由公式θ＝tan-1(R/S)表示，其中R是图像的像素在x方向的第一导数，S是图像的像素在y方向的第二导数。这有利于消除那些可能被认为是组成轮廓的不相关的线条，从而提高了检测的可靠性。
此外，目标轮廓和参考轮廓可由下列步骤获得不同程度地平滑所述目标图像和所述参考图像，从而建立一个第一平滑图像和一个第二平滑图像，区分该第一和第二平滑图像，从而建立一个不同数学符号的像素数组(anarray of pixels)，拾取由某一个数学符号表示同时与由另一种数学符号表示的至少一个像素相邻的像素，描绘这样拾取的像素从而得到该轮廓。
该方法可以进一步包括以下步骤不同程度地平滑该照片从而建立一个第一照片和一个第二照片，区分该第一和第二照片从而建立一个不同数学符号的像素数组，并拾取相同符号的像素，从而提供仅由这样拾取的像素定义的一个检测区。所述目标图像仅在所述检测区与所述最终参考图像比较，从而在该检测区内选择像素，每个像素的灰度强度与所述最终参考图像的对应像素相差预定值或更大。它有利于消除背景噪音确定缺陷。
在本发明中，最好参考一个耦合区对像素进行分析，在耦合区中所选择的每个像素布置成相邻关系。确定耦合区后，在所述耦合区内计算像素强度分布，并检查所述耦合区的几何图形。接着，根据该像素强度分布和所述耦合区的几何图形，将该耦合区分类为预定缺陷类型中的一种，以便由技术人员或装置确定输出该种类型的信息，对目标进行高级控制。
本发明的这些和其他目的和优点将更清楚地体现在下面结合附图对优选实施例的描述中。
图1是表示实现根据本发明一个最佳实施例的用于外表检测的图像处理方法的一个系统的模块图；图2是表示上述处理方法的步骤的流程图；图3表示如何根据上述方法比较目标图像与参考图像；图4A示出具有正常外表的目标图像；图4B和4C示出具有线性变换外表的目标图像；图5A和5B示出具有二次变换外表的目标图像；图6是表示执行一个误差函数以便参照参考图像评估目标图像这样一种方案的示意图；图7示出了一个用于分析目标图像的耦合区域；图8表示一个用于说明本发明定义的各种可能缺陷的示例性参考图像；图9A至图9D是具有不同缺陷的目标图像；和图10A至图10D表示分别为图9A至图9D的目标图像确定的各种缺陷。
具体实施例方式
参考图1，图中示出根据本发明最佳实施例的一种用于检测外表的图形处理方法的系统。该系统包括照相机20和提供各种处理单元的微机40。照相机20对待检测的目标10拍照并输出一个由多个像素组成的灰度图像，每个像素都有灰度强度数值(grey-scale intensity digital value)并被存储在计算机的图像存储器41中。计算机包括一个临时存储单元42，该单元存储标准参考图像，该图像被认作原版和无缺陷目标并用来与从照相机20拍下的照片中提取的一个目标图像进行比较。
在讨论该系统细节之前，先参考图2和图3对目标外表的检测方法进行简要说明。对目标拍照之后，从照片50中提取目标图像51，用标准参考图像60确定目标图像相对标准参考图像60的位置、转角、比例的初级误差参数。根据这样确定的初级误差参数，将标准参考图像60变换为与目标图像51大致重合的参考图像61。接着，分别从目标图像51以及从参考图像61提取轮廓从而提供目标轮廓52和参考轮廓62。利用轮廓52和62得到一个最终参考图像63，该最终参考图像考虑到了图像可能存在的线性变形(lineardeformation)或者二次变形(quadric deformation)，而且为了真实地检测实际缺陷，将该最终参考图像与目标图像进行比较。即，参考轮廓62被反复变换直到满足某个判据为止，从而消除图像线性或二次变形的影响。例如，目标图像的线性变形可从图4B和图4C中看到，这是图4A中的目标相对照相机移动的结果，而目标图像的二次变形可从图5A和图5B中看到，图5A是目标相对照相机光轴偏移的结果，图5B是照相机镜头变形的结果。
在最终确定参考轮廓62满足判据之后，利用在转换参考轮廓62的过程中获得的参数得到最终参考图像63。接着，目标图像51与最终参考图像63进行比较以确定目标图像51是否包括某一个预定缺陷。当识别出缺陷时，则发出一个相应的信号以便进行适当处理，此外将编码或类似视觉信息输出显示在监控器49上。
为了完成上述功能，该系统包括一个初步处理单元43，该单元从临时存储单元42取得标准参考图像60，并且借助于标准参考图像提取目标图像51，以便将标准参考图像转换为参考图像61用来与目标图像51进行粗略比较。该转换是基于传统技术比如通用的霍夫转换(Hough transformation)或者常规对比方法，给出目标图像51相对于标准参考图像60的位置、转角、比例的初步误差参数。利用产生的误差参数将标准参考图像60转换为参考图像61。
这样转换得到的参考图像61和目标图像51被送到一个轮廓提取单元44，该单元提取这些图像的轮廓并给误差函数执行单元45提供参考轮廓62和目标轮廓52。为了获得包括目标轮廓52相对参考轮廓62的位置、转角、比例的误差参数，该误差函数执行单元45在主处理单元46的控制下执行表示目标轮廓52的线性转换因素的最小二乘法的误差函数。该误差函数包括目标轮廓和参考轮廓之间的线性关系，并被表示为Q＝∑(Qx2+Qy2)其中Qx＝αn(Xn-(A·xn+B·yn+C))，Qy＝αn(Yn-(D·xn+E·yn+F))，Xn，Yn是沿参考轮廓62的轮廓线上的点坐标，xn，yn是沿目标轮廓52的轮廓线上的点坐标，αn是加权因子。
如图6所示，每一点(xn，yn)被定义为目标轮廓52上的一点，该点是目标轮廓52与一条直线的交点，该直线是过参考轮廓62上的相应点(Xn，Yn)的垂直线。
参数A到F表示目标轮廓相对于参考轮廓的位置、转角、比例，它们有下列关系。
A＝βcosθB＝-γsinφC＝dxD＝βsinθE＝γcosφF＝dyβ＝x方向的比例(％)γ＝y方向的比例(％)θ＝x轴的转角(°)φ＝y轴的转角(°)dx＝x方向的位移dy＝y方向的位移这些参数通过解由下列条件决定的方程组而计算出来。
Q/A＝0，Q/B＝0，Q/C＝0，Q/D＝0，Q/E＝0，Q/F＝0根据这样计算出的参数，转换参考轮廓62以再次执行上述误差函数从而获得新的参数。在一个循环中重复执行误差函数并附带转换(attendanttransformation)参考轮廓62，直到最新参数满足关于目标图像的线性转换因素的预定判据为止。例如，当发现所有或部分参数β，γ，θ，φ，dx，dy分别小于预定值时，作为考虑线性转换因素的结果可以结束该循环，提取参数以便将标准参考图像或参考图像转换为最终参考图像63。
这样得到的最终参考图像63补偿了目标图像可能出现的线性变形，而且在缺陷提取单元47中与目标图像51逐像素地(pixel-by-pixel)进行比较，在该单元中可以选择目标图像51的像素，每个像素都有一个灰度强度，该灰度强度与最终参考图像63相对应的一个像素相差一个预定值或更大。被选择的像素可以消除目标图像可能有的线性变形的影响并且可以很好地表现出目标外表的缺陷。被选择的像素在缺陷分类单元48被检查，该单元分析被选择出的像素以确定目标图像是否包含缺陷并将该缺陷分类成为预定的种类之一。如果该缺陷已被确认，则从缺陷分类单元48发出一个缺陷信号用于淘汰该目标或者至少明确其是有缺陷的。同时，表示缺陷类型的编码输出给显示器49用来进行视觉确认。
下面对缺陷分类进行说明，将缺陷分成预定类型中的一个，预定类型包括目标图像前景的“疵点”、“碎裂”、“淡化”、“细化”，背景的“背景噪音”，“宽化”，“过剩(overplus)”，“模糊”，“粗化”。首先，拾取相邻的被选择像素并定义一个耦合区70。接着，如图7所示，处理该耦合区70以提取轮廓71。识别缺陷的方案不同，依赖于该方案检查前景和背景之中的一个。
当检查前景时，下面四个步骤用来给由耦合区70定义的缺陷分类。
(1)检查提取的轮廓71是否包含部分最终参考图像63轮廓，当提取的轮廓包含时则给出标记“是”，否则给标记“否”。
(2)检查被包括的该部分参考图像63的轮廓是否分割成两个或多个部分，当参考图像如此分割时则提供标记“是”。
(3)计算耦合区70内的像素值的强度分布(色散)，检查该色散是否在预定范围内以便了解耦合区是否展现出灰度等级，当色散在预定范围时提供标记“是”。
(4)计算耦合区70与参考图像63对应轮廓重叠的轮廓长度，从而确定出该重叠轮廓与耦合区轮廓总长的比值，检查该比值是否在预定范围内，当比值在预定范围时提供标记“是”。
根据下面表1中列出的标准估计出识别耦合区缺陷类型的结果。
表1
(-)表示是/否中的任何一个为了举例说明的目的，图9A和图9B说明了上述四种(4)缺陷，这些缺陷是利用图8中的最终参考图像63得出的各种可能的目标图像中存在的。最终参考目标图像63的特征是有一个粗十字，在十字的垂直段上有一个细长的空白段。
对于在前景内有各种缺陷的图9A的目标图像，作为目标图像51和最终参考图像63的比较结果，提取耦合区70，如图10A所示。根据上述步骤检查每个耦合区70，从而将缺陷分别分类成如图中所示的“疵点”，“碎裂”，“淡化”。
对于图9B中有细化的十字的目标图像，选择包围十字的耦合区70，如图10B所示，根据上述步骤检查该区域并将其分类为“细化”。
另一方面，当检查目标图像51的背景时，可以用下面的五个步骤对由耦合区70定义的缺陷分类。
(1)检查提取的轮廓71是否包含部分最终参考图像轮廓，当提取的轮廓包含时则给出标记“是”，否则给标记“否”。
(2)检查该部分参考图像的轮廓是否分割成两个或多个部分，当参考图像如此分割时则提供标记“是”。
(3)计算包含在耦合区70内的最终参考图像63的轮廓长度，从而确定这样计算出的长度与最终参考图像63轮廓总长的比值，当比值在预定范围时提供标记“是”。
(4)计算耦合区70内的像素值的强度分布(色散)，检查该色散是否在预定范围内以便了解耦合区是否展现出灰度等级，当色散在预定范围内时提供标记“是”。
(5)计算耦合区70与相应的最终参考图像63轮廓重叠的轮廓长度，从而确定出该重叠轮廓与耦合区轮廓总长的比值，检查该比值是否在预定范围内，当比值在预定范围时提供标记“是”。
根据下面表2中列出的标准估计出识别耦合区缺陷类型的结果。
表2
(-)表示是/否中的任何一个图9C和图9D表示出利用图8的最终参考图像得出的在各种可能目标图像中公认的上述五种缺陷。对于图9C所示的背景中有各种缺陷的目标图像，如图10C所示，提取作为目标图像51和最终参考图像63之间比较结果的耦合区70，然后根据上述步骤进行检查，以便将缺陷分别分类为“噪音”、“粗化”、“过剩”、“淡化”，如图中所示。
对于有较粗十字的图9D中的目标图像，选择包围十字周围的耦合区70，如图10B所示，并根据上述步骤检查该区域，然后分类为“粗化”。
作为利用上述误差函数的替代，同样可以利用下面表示的另一种误差函数，该函数表示目标图像中可能看到的二次变形，比如前面参考图5A和图5B说明的。
Q＝∑(Qx2+Qy2) 这里Qx＝αn(Xn-(A·xn2+B·xn·yn+C·yn2+D·xn+E·yn+F))，Qy＝αn(Yn-(G·xn2+H·xn·yn+I·yn2+J·xn+K·yn+L))，Xn，Yn是沿参考轮廓62轮廓的点坐标，xn，yn是沿目标轮廓52轮廓的点坐标，αn是加权因子。
如图6所示，每一点(xn，yn)被定义为目标轮廓52上的一点，该点是目标轮廓52与一条直线的交点，该直线是过参考轮廓62上的相应点(Xn，Yn)的垂直线。
参数A到F表示目标轮廓相对于参考轮廓的位置、转角、比例，它们有下列关系。
D＝βcosθE＝-γsinφF＝dxJ＝βsinθK＝γcosφL＝dyβ＝x方向的比例(％)γ＝y方向的比例(％)θ＝x轴的转角(°)φ＝y轴的转角(°)dx＝x方向的位移dy＝y方向的位移这些参数通过解由下列条件决定的方程组而计算出来Q/A＝0，Q/B＝0，Q/C＝0，Q/D＝0，Q/E＝0，Q/F＝0，Q/G＝0，Q/H＝0，Q/I＝0，Q/J＝0，Q/K＝0，Q/L＝0利用这样获得的参数，采用相同于参考表示线性转换因素的误差函数所讨论的方法，对参考轮廓进行转换，直到最新参数满足表示目标图像的二次转换因素的预定判据为止。
当用Sobel滤波(Sobel filter)提取目标图像和参考图像的轮廓时，描绘一个边缘，该边缘跟随具有局部最大强度并且方向角θ为-45°到+45°的像素，其中方向角(θ)由公式θ＝tan-1(R/S)表示，其中R是图像像素在X方向的第一导数(derivative)，S是图像像素在Y方向的第二导数。因此，可以正确提取这些轮廓。
为了可靠地提取计算需求量减少的轮廓，本发明不应局限于使用Sobel滤波，而是可用另一种先进技术替代，以便可靠地提取轮廓，减少计算需求量。该技术依赖于图像的平滑和对该平滑后图像的区分(differentiate)。首先，对目标图像和参考图像进行不同程度的平滑，从而给出一个第一平滑后的图像和一个第二平滑后的图像。然后，区分这些平滑后的图像以建立一个有不同数学符号(+/-)的像素数组。接着，拾取像素，每个像素都由一个正或负号表示并且同时与至少一个相反标记的像素相邻。最后，描绘这些被拾取的像素以便确定每个目标图像和参考图像的轮廓。根据该结果，仅需相对减少的计算量就可以容易地提取足够确定最终参考图像的轮廓数量，因此也提高了处理速度。
此外，应当注意到，从目标的图片中成功提取目标图像，以消除与目标图像的缺陷不相关的背景噪音。该图片50被不同程度地平滑以提供第一图片和第二图片。然后，对该第一和第二图片区分以建立一个具有不同数学符号(+/-)的像素数组，从中拾取相同符号的像素以建立一个仅由这些拾取的像素定义的检测区。仅在该检测区将目标图像与最终参考图像进行比较，在该检测区内选择像素，每个像素具有与相应的最终参考图像的像素相差预定值或更大的灰度强度。根据该技术使得在确定耦合区时能够简化计算过程，该耦合区用来对缺陷的确定和分类做最终分析。
权利要求
1.一种用于外表检测的图像处理方法，所述方法包括下列步骤a)给一待检查的目标拍照片，以提供一目标图像，用于与一参考图像进行比较；b)提取所述目标图像的一轮廓，以建立一目标轮廓；c)提取所述参考图像的一轮廓，以建立一参考轮廓；d)根据一最小二乘法误差函数处理所述目标轮廓和所述参考轮廓的数据，以导出包括该目标轮廓相对于所述参考轮廓的位置、转角、比例在内的误差参数，并利用该得到的误差参数转换所述参考轮廓；e)重复步骤(d)直到所述得到的误差参数满足一个预定判据为止，该判据表示所述目标图像的线性转换因素；f)利用所述误差参数将所述参考图像转换为一最终参考图像；g)比较所述目标图像和该最终参考图像，以选择所述目标图像的像素，所述各像素的灰度强度与所述最终参考图像的对应像素相差一预定值或更大；和h)分析这样选择出的像素，以判断该目标图像是否不同于该参考图像，如果该目标图像与该参考图像不同则提供一缺陷信号。
2.一种用于外表检测的图像处理方法，所述方法包括下列步骤a)给一待检查的目标拍照片，以提供一目标图像，用于与一参考图像进行比较；b)提取所述目标图像的一轮廓，以建立一目标轮廓；c)提取所述参考图像的一轮廓，以建立一参考轮廓；d)根据一最小二乘法误差函数处理所述目标轮廓和所述参考轮廓的数据，以导出包括该目标轮廓相对于所述参考轮廓的位置、转角、比例在内的误差参数，并利用该得到的误差参数转换所述参考轮廓；e)重复步骤(d)直到所述得到的误差参数满足一个预定判据为止，该判据表示所述目标图像的二次转换因素；f)利用所述误差参数将所述参考图像转换为一最终参考图像；g)比较所述目标图像和该最终参考图像，以选择所述目标图像的像素，所述各像素的灰度强度与所述最终参考图像的对应像素相差一预定值或更大；和h)分析这样选择出的像素，以判断该目标图像是否不同于该参考图像，如果该目标图像与该参考图像不同则提供一缺陷信号。
3.根据权利要求1或2所述的方法，其中所述参考图像是通过下列步骤得到利用一表示原始目标的标准参考图像；检查所述照片以确定一帧，在该帧中所述目标看上去与所述标准参考图像大体一致；将在所述帧内的目标与所述标准参考图像比较，以得到在该帧内的目标相对于所述原始参考图像的包括位置、转角、比例的初级误差参数；利用所述初级误差参数将所述标准参考图像转换为所述参考图像。
4.根据权利要求1或2所述的方法，其中所述目标轮廓和所述参考轮廓都是利用Sobe1滤波描绘一边缘而得到的，该边缘沿着具有局部最大强度的、且方向角θ为-45°到+45°的像素，其中所述方向角θ由公式θ＝tan-1(R/S)表示，式中R是该像素在x方向的一第一导数，S是该像素在y方向的一第二导数。
5.根据权利要求1或2所述的方法，其中所述目标轮廓和参考轮廓都由下列步骤而获得的使所述目标图像和所述参考图像平滑至不同程度，以建立一第一平滑图像和一第二平滑图像；区分该第一和第二平滑图像，以建立一不同数学符号的像素数组；拾取由所述数学符号的其中之一表示的、同时与由其他数学符号表示的至少一个像素相邻的像素，并描绘这样拾取的像素从而得到该轮廓。
6.根据权利要求1或2所述的方法，其中还包括步骤使该照片平滑至不同程度，以提供一第一照片和一第二照片；区分该第一和第二照片，以建立一不同数学符号的像素数组；和拾取相同符号的像素，以提供一仅由这样拾取的像素定义的检测区；所述目标图像仅在所述检测区与所述最终参考图像比较，以在该检测区内选择像素，所述各像素的灰度强度与所述最终参考图像的对应像素相差该预定值或更大。
7.根据权利要求1或2所述的方法，其中分析所述像素的步骤(h)包括下列子步骤定义一耦合区，在该耦合区中所述被选择的像素以互相邻接的关系排列；在所述耦合区内计算像素强度分布；检查所述耦合区的几何图形；根据该像素强度分布和所述耦合区的几何图形，将该耦合区分类为预定缺陷类型的其中之一，并且输出该得到的缺陷类型。
全文摘要
一种用于外表检测的方法，其利用参考图像和目标图像进行检测。在确定用于与目标图像直接进行比较的最终参考图像之前，提取参考图像和目标图像的轮廓，并根据一个表示目标图像的线性或二次变形的误差函数处理这些轮廓，从而导出目标图像相对于参考图像的包括位置、转角、比例的误差参数。利用得到的误差参数转换该参考轮廓。重复进行更新该误差参数和转换该参考轮廓的步骤直到该更新后的误差参数满足一个关于该目标图像的线性或二次转换因素的预定判据为止。之后，用该最后更新的参数将参考图像转换为最终参考图像以便直接与目标图像比较。
文档编号G06T7/00GK1565000SQ0380121
公开日2005年1月12日 申请日期2003年7月24日 优先权日2002年7月26日
发明者桥本良仁, 池田和隆 申请人:松下电工株式会社