用于不规则表面边缘的增强型边缘检测工具的制作方法
【专利摘要】本发明涉及一种在机器视觉检测系统中对不规则表面的边缘进行增强边缘检测的方法。该检测系统包括边缘特征视频工具，边缘特征视频工具配置成基于多幅不同聚焦的图像确定边缘特征的轮廓数据。提供参照边缘的对准补偿，使沿定向滤波方向各个位置处边缘特征的相应偏移量最小，在针对边缘特征确定轮廓数据之前使用该定向滤波方向对多幅不同聚焦的图像进行定向滤波。可使用针对与多幅图像每一幅中的PFF基础像素位置相应的点所定义的定向滤波子区域(DFS)对多幅不同聚焦的图像进行定向滤波，每个DFS具有沿定向滤波方向的较长尺寸。
【专利说明】用于不规则表面边缘的增强型边缘检测工具
【技术领域】
[0001]本发明涉及一种用于不规则表面边缘的增强型边缘检测工具。
【背景技术】
[0002]精密机器视觉检测系统(或者简称为“视觉系统”)可用于获得被检测对象的精确的尺寸测量，并且用于检测多种其它对象特性。这种系统可以包括计算机，照相机和光学系统，以及可沿多个方向移动以允许工件检测的精密工作台。一种示例的现有技术系统，可以称其为通用“离线”精密视觉系统，该系统是可购自位于Aurora IL的Mitutoyo AmericaCorporation (MAC)的基于PC视觉系统的QUICK VISION?系列，和QVPAK?软件。例如在2003年I月出版的QVPAK3D CNC视觉测量机器用户指南和1996年9月出版的QVPAK3DCNC视觉测量机器操作指南中概括描述了 quick VISION?:视觉系统系列和QVPAK?.软件的特征和操作，各文献在此全文引作参考。这类系统能使用显微镜型光学系统，并移动工作台，从而能够以不同的放大率提供较小或者相对较大工件的检测图像。
[0003]通用精密机器视觉检测系统，诸如QUICK VISION?系统，通常也是可编程的，以提供自动视觉检测。第6，542，180号美国专利('180专利)教导了这种自动视觉检测的多个方面，该文献在此全文引作参考。正如，180专利中所教导的，自动视觉检测计量仪器通常具有编程能力，允许用户对每个特定的工件结构定义自动检测事件序列。这可以通过例如基于文本的编程，或者通过逐渐“学习”检测事件序列的记录模式，或者通过这两种方法的组合来实现，其中通过存储与用户借助图形用户界面执行的检测操作序列相应的机器控制指令序列来“学习”检查事件序列。这种记录模式通常称作“学习模式”或“训练模式”或“记录模式”。一旦在“学习模式”中定义了检测事件序列，那么在“运行模式”期间可使用该序列自动获取(另外分析或检测)工件的图像。
[0004]包括特定检测事件序列的机器控制指令(即如何获取每个图像，以及如何分析/检测每个所获取的图像)通常存储为特定工件结构专门的“部件程序”或“工件程序”。例如，部件程序定义如何获取每个图像，诸如如何相对于工件定位照相机，处于何种照明级另O，以及何种放大级别等。另外，部件程序定义了如何分析/检测所获取的图像，例如通过使用一个或多个诸如边缘/边界检测视频工具的视频工具。
[0005]视频工具(或者简称为“工具”)包括⑶I特征和预先确定的图像分析操作，从而可通过非专家操作员进行操作和编程。用户可操作视频工具，完成手动检测和/或机器控制操作(在“手动模式”)。它们的设置参数和操作也可以在学习模式期间被记录下来，以便创建自动检测程序。示例的视频工具包括边缘位置测量工具，其可用于定位工件的边缘特征，并且可以包括称作“框体工具”(box tool)的工具配置，可使用“框体工具”隔离感兴趣区域中的边缘，然后自动确定边缘位置。例如，共同受让的美国专利7，627，162教导了框体工具的各种应用，该专利在此全文弓I作参考。
[0006]已知的边缘位置测量工具使用图像强度来确定边缘位置。沿着横跨边缘的扫描线分析强度梯度(包括像素亮度或强度值)。通常将最大梯度位置用作边缘位置。不过，在使用强度梯度方法时，难易可靠地定位“噪声”边缘，诸如不规则的或高度纹理化表面的边缘，或者通过锯或者激光切割所产生的不规则边缘。所产生的扫描线常常具有太多噪音，以至于不能支持可靠的边缘位置测量。
[0007]另一种已知类型的视频工具有时称作“多点工具”或“多点自动聚焦工具”视频工具。这种工具提供从该工具感兴趣区域内定义的X-Y坐标处多个子区域的“最佳聚焦”位置而得到的Z-高度测量或坐标(沿照相机系统的光轴和聚焦轴)，诸如，通过基于对比度的有时被称作聚焦点(PFF，point from focus)重建的“自动聚焦”方法来确定Z高度测量或坐标。这种X，Y和Z坐标的集合可以称为点云数据(point cloud data)，或者简称为点云。通常，根据现有技术的自动聚焦方法和/或工具，照相机沿Z-轴(聚焦轴)移动通过一定位置范围，并在每个位置处拍摄图像(称作图像栈)。对于所拍摄的每幅图像，基于该图像计算针对每个子区域的聚焦度量(focus metric)，聚焦度量与该幅图像拍摄时照相机沿Z-轴的相应位置有关。这样针对每个子区域产生聚焦曲线数据，可以简单地称作“聚焦曲线”或“自动聚焦曲线”。通过对聚焦曲线数据拟合一个曲线，并估计所拟合的曲线的峰值，可以找出与沿Z-轴的最佳聚焦位置对应的聚焦曲线的峰值。在本领域中公知多种这种自动聚焦方法。例如，在 ISIS Technical Report Series,第 17 卷,2000 年 11 月中，Jan-MarkGeusebroek 和 Arnold Smeulders 在“Robust Autofocusing in Microscopy，，中描述了一种已知的类似于前面概括描述的自动聚焦方法。在美国专利号5，790，710中描述了另一种已知的自动聚焦方法和设备，该专利在此全文引作参考。
[0008]有些方法因为后处理点云数据并识别点云中的边缘特征而公知。不过，这类方法与将前面概述的已知的基于强度的边缘定位测量工具(例如，框体工具等)并不相似，原因在于这类方法在理解和应用方面更加复杂，通常不适合相对而言不熟练的用户。此外，当确定工件表面和/或边缘上多个3D数据点，并尝试着使用所得到的3D数据点共同确定边缘的位置或Z轮廓时，可能会产生某些问题。在精密机器视觉检测系统中通常需要微米或亚微米范围内的精度。这对于边缘周围的Z高度测量而言非常有挑战性。围绕边缘的聚焦(PFF)重建所引发的一个特殊的问题是，每个图像像素周围的局部对比度(对应于点云X-Y坐标)通常基于以该位置为中心的邻近正方形(例如7X7像素)或正方形内的平均，以减小对比度曲线中的噪声，并且能进行可靠的Z深度重建。然而，通常，这使得点云数据中边缘轮廓发生畸变或“平滑”，降低边缘上轮廓的精度和分辨率。结果，对于某些类型的边缘例如“噪声边缘”，诸如不规则表面的边缘或者通过锯或激光切割所产生的不规则边缘，难以确定精确的轮廓和/或位置。期望允许非专业用户以改善的可靠性和/或可重复性确定这些边缘的视频工具和/或自动操作。。
【发明内容】
[0009]根据本发明的一个方面，提供了一种在机器视觉检测系统中用于确定边缘特征的轮廓数据的方法，该机器视觉检测系统包括:包括感兴趣区域定义部分的边缘特征视频工具，该边缘特征视频工具配置成基于对感兴趣区域的多幅不同聚焦的图像，确定针对该感兴趣区域中边缘特征的轮廓数据。该方法包括:将工件放置在机器视觉检测系统的视场内；操作该边缘特征视频工具，定义包括所获取的工件图像中的边缘特征的视频工具感兴趣区域；以及操作该边缘特征视频工具，以分析感兴趣区域中至少一个工件图像的图像数据，以便提供参照边缘的对准补偿，该对准补偿涉及基本上使沿着定向滤波方向在各个位置处的边缘特征的相应偏移量最小，该定向滤波方向在确定边缘特征的轮廓数据之前被用于对所述多幅不同聚焦的图像进行定向滤波。
[0010]根据本发明的确定边缘特征的轮廓数据的方法，所述参照边缘的对准补偿可用于调整所述定向滤波方向，使得在沿所述定向滤波方向的各个位置处的边缘特征的相应偏移量至少为以下之一:a)基本被消除，b)基本被补偿，和c)基本与在沿所述定向滤波方向的各个位置处的相应边缘特征的之前确定的相应偏移量相匹配。
[0011]根据本发明的确定边缘特征的轮廓数据的方法，还包括:操作所述边缘特征视频工具，以获取所述多幅不同聚焦的图像；施加所述参照边缘的对准补偿，调整所述定向滤波方向；在施加所述参照边缘的对准补偿后，对所述多幅不同聚焦的图像进行定向滤波，以及基于被定向滤波后的多幅不同聚焦的图像，确定边缘特征的轮廓数据。
[0012]根据本发明的确定边缘特征的轮廓数据的方法，对所述多幅不同聚焦的图像的定向滤波包括，使用相对于与所述多幅图像每一个中的PFF基础像素位置相应的点所定义的定向滤波子区域(DFS)，每个DFS沿定向滤波方向具有较长尺寸，该较长尺寸大于沿基本垂直于定向滤波方向的第二方向的较短尺寸。所述参照边缘的对准补偿被用于调整所述定向滤波方向，使得在执行定向滤波之前，沿定向滤波方向的边缘特征的偏移量至少为以下的一种:a)基本被去除,和b)基本被补偿。
[0013]根据本发明的确定边缘特征的轮廓数据的方法，所述较短尺寸至多为5个像素，所述较长尺寸至少为所述较短尺寸的3倍。
[0014]根据本发明的确定边缘特征的轮廓数据的方法，仅基于该DFS中所包含的像素，确定与DFS的PFF基础像素位置相关的Z高度或PFF度量其中之一。
[0015]根据本发明的确定边缘特征的轮廓数据的方法，所述边缘特征视频工具包括用户界面，该用户界面至少包括叠加在工件图像上的感兴趣区域指示符，该方法进一步包括，通过在用户界面中调整叠加在工件图像上的元素，提供所述参照边缘的对准补偿已经被提供的指示。
[0016]根据本发明的确定边缘特征的轮廓数据的方法，在用户界面中调整叠加在工件图像上的元素，包括调整感兴趣区域指示符、边缘方向指示符和定向滤波方向指示符的至少其中之一，来表示已经提供了所述参照边缘的对准补偿。
[0017]根据本发明的确定边缘特征的轮廓数据的方法，将所述边缘特征视频工具配置成与直线边缘特征相应，并且所述调整感兴趣区域指示符包括定位感兴趣区域指示符，从而使其一个轴垂直于边缘特征，所述调整边缘方向指示符包括定位边缘方向指示符，使其平行于边缘特征，所述调整定向滤波方向指示符包括定位定向滤波方向指示符，使其平行于或垂直于边缘特征。
[0018]根据本发明的确定边缘特征的轮廓数据的方法，将所述边缘特征视频工具配置成与圆形边缘特征和圆弧形边缘特征其中之一相应，并且所述调整感兴趣区域指示符包括，定位感兴趣区域指示符，使其边界近似与边缘特征同心，所述调整边缘方向指示符包括，定位边缘方向指示符，使其近似与边缘特征同心，所述调整定向滤波方向指示符包括，定位定向滤波方向指示符，使其近似与边缘特征同心。
[0019]根据本发明的确定边缘特征的轮廓数据的方法，在用户界面中调整叠加在工件图像上的元素包括以下之一:改变叠加在工件图像上的元素的性质，和增加叠加到图像上的参照边缘的对准补偿指示符。
[0020]根据本发明的确定边缘特征的轮廓数据的方法，该方法包括以下之一:a)选择边缘特征视频工具，使其为包括参照边缘的对准补偿操作的类型，b)选择包括参照边缘的对准补偿操作的边缘特征视频工具的参照边缘的对准补偿模式或选项，c)选择包括参照边缘的对准补偿操作的边缘特征视频工具的定向滤波模式或选项，d)选择提供参照边缘的对准补偿操作的参照边缘的对准补偿工具，所述参照边缘的对准补偿操作结合边缘特征视频工具进行操作。所述分析感兴趣区域中至少一个工件图像的图像数据以提供参照边缘的对准补偿包括，结合边缘特征视频工具的操作来执行所述参照边缘的对准补偿操作。
[0021]根据本发明的确定边缘特征的轮廓数据的方法，在机器视觉系统的学习模式期间执行该方法，并将相应操作记录到部分程序中。
[0022]根据本发明的确定边缘特征的轮廓数据的方法，在机器视觉系统的运行模式期间，通过执行记录在部分程序中的相应操作，执行该方法的至少部分步骤。
[0023]根据本发明的确定边缘特征的轮廓数据的方法，所述提供参照边缘的对准补偿包括，对沿与边缘特征视频工具相关的缺省方向各个位置处的边缘特征的相应偏移量进行特征化。
[0024]根据本发明的确定边缘特征的轮廓数据的方法，所述对沿缺省方向各个位置处边缘特征的相应偏移量进行特征化包括:操作所述边缘特征视频工具，获得感兴趣区域的多幅不同聚焦的图像；基于所获取的感兴趣区域的多幅不同聚焦的图像，确定针对边缘特征的初始轮廓数据；基于初始轮廓数据，使与边缘特征视频工具相关的线形对准边缘特征；以及对沿缺省方向各个位置处的所对准线形的相应偏移量进行特征化。
[0025]根据本发明的确定边缘特征的轮廓数据的方法，所述与边缘特征视频工具相关的线形为直线，所述对将沿缺省方向各个位置处的对准线形的相应偏移量进行特征化包括，确定所对准的直线与缺省方向之间的角度。
[0026]根据本发明的确定边缘特征的轮廓数据的方法，所述与边缘特征视频工具相关的线形包括圆的至少一部分，所述缺省方向沿着平行于缺省圆的方向，所述对沿缺省方向各个位置处的所对准线形的相应偏移量进行特征化包括，确定相对于缺省圆对准的至少一部分圆的相应偏移量。
[0027]根据本发明的确定边缘特征的轮廓数据的方法还包括:在机器视觉系统的学习模式期间操作边缘特征视频工具，以获取感兴趣区域的多幅不同聚焦的图像；确定横跨边缘特征的多个代表性的合成Z高度轮廓，其中每个代表性的合成Z高度轮廓基于在确定该代表性的合成Z高度轮廓之前，用于对多幅不同聚焦的图像进行定向滤波的相应的定向滤波方向；确定所述多个代表性的合成Z高度轮廓其中的一个，其基本上使得沿定向滤波方向各个位置处的边缘特征的相应偏移量最小，该定向滤波方向用于提供所述代表性合成Z高度轮廓；以及基于定向滤波方向确定参照边缘的对准补偿，该定向滤波方向与所述多个代表性的合成Z高度轮廓中的基本上使边缘特征的相应偏移量最小的那个代表性合成Z高度轮廓相应。
[0028]根据本发明的确定边缘特征的轮廓数据的方法，所述确定多个代表性的合成Z高度轮廓中的基本上使相应偏移量最小的一个包括，在所述多个代表性的合成Z高度轮廓中，确定表现出与所述代表性边缘特征相应的最大轮廓梯度的合成Z高度轮廓。
[0029]根据本发明的另一个方面，提供了一种用于确定边缘特征的轮廓数据的系统，包括:用于存储编程指令的存储器；以及处理器，配置成执行所编程的指令，以执行操作。所述操作包括:将工件放置在机器视觉检测系统的视场中；操作该边缘特征视频工具，定义包括所获取的工件图像中的边缘特征的视频工具感兴趣区域；以及操作该边缘特征视频工具，以分析感兴趣区域中至少一个工件图像的图像数据，以便提供参照边缘的对准补偿，该对准补偿涉及基本上使沿着定向滤波方向在各个位置处的边缘特征的相应偏移量最小，该定向滤波方向在确定边缘特征的轮廓数据之前被用于对所述多幅不同聚焦的图像进行定向滤波。
[0030]根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储可由处理器执行的执行，以执行以下操作:将工件放置在机器视觉检测系统的视场中；操作边缘特征视频工具，定义包括所获取的工件图像中的边缘特征的视频工具感兴趣区域；以及操作边缘特征视频工具，以分析感兴趣区域中至少一个工件图像的图像数据，从而提供与沿定向滤波方向各个位置处的边缘特征的相应偏移量有关的参照边缘的对准补偿，其中所述定向滤波方向在针对边缘特征确定轮廓数据之前用于对多幅不同聚焦的图像进行定向滤波。
【专利附图】
【附图说明】
[0031]图1表示通用精密机器视觉检测系统的多个典型部件。
[0032]图2是类似于图1的机器视觉检测系统的控制系统部分和视觉部件部分的框图，并且包括包含PFF方法的具有定向滤波和对准补偿的边缘特征工具。
[0033]图3表示正方形滤波子区域和定向滤波子区域(DFS)。
[0034]图4A和4B表示在水平和垂直特征上进行PFF轮廓化所用的定向滤波子区域。
[0035]图5表示使用对每个像素具有正方形滤波子区域的PFF算法重建的深度图。
[0036]图6表示使用对每个像素具有定向滤波子区域(DFS)的PFF算法重建的深度图。
[0037]图7A和7B表示用户界面视场内的直线边缘特征，并比较了图7A中对准时和图7B中未对准时沿示意地表示的DFS的边缘特征的偏移量，以及与实际的Z高度轮廓相应的相关因素。
[0038]图8A-8C表示PFF框体工具，设置成用于确定针对工件图像中直线边缘特征的PFF轮廓数据，包括多种视频工具用户界面实施例，表示与提供参照边缘的对准补偿相关的PFF框体工具状态，根据此处披露的原理，参照边缘的对准补偿基本上消除了 DFS/边缘偏移。
[0039]图9A-9C表示PFF弧形工具，设置成用于确定针对工件图像中的圆形边缘特征的PFF轮廓数据，包括多种视频工具用户界面实施例，表示与提供参照边缘的对准补偿相关的PFF弧形工具状态，根据此处披露的原理，参照边缘的对准补偿基本上消除了 DFS/边缘偏移。
[0040]图10A-10C表示PFF框体工具，设置成用于确定针对工件图像中的直线边缘特征的PFF轮廓数据，包括多种视频工具用户界面实施例，表示与提供参照边缘的对准补偿相关的PFF框体工具状态，根据此处披露的原理，参照边缘的对准补偿基本上补偿了 DFS/边缘偏移。
[0041]图11A-11C表示PFF弧形工具，设置成用于确定针对工件图像中的圆形边缘特征的PFF轮廓数据，包括多种视频工具用户界面实施例，表示与提供参照边缘的对准补偿相关的PFF弧形工具状态，根据此处披露的原理，参照边缘的对准补偿基本上补偿了 DFS/边缘偏移。
[0042]图12是机器视觉检测系统中用于对不规则表面的边缘进行增强边缘检测的方法的流程图。
[0043]图13是基于定向滤波针对边缘特征确定PFF轮廓数据的方法的流程图。
[0044]图14是利用针对基于PFF的像素位置定义的定向滤波子区域进行定向滤波的方法的流程图。
【具体实施方式】
[0045]此处披露了一种在机器视觉检测系统中对不规则表面的边缘进行增强边缘检测的方法。该机器视觉检测系统可包括包含感兴趣区域定义部分的边缘特征视频工具，其中，该边缘特征视频工具配制成基于感兴趣区域的多幅不同聚焦的图像，确定感兴趣区域中边缘特征的轮廓数据。该方法包括将工件设置在机器视觉检测系统的视场内，操纵边缘特征视频工具，定义包含该工件的所获取图像中边缘特征的视频工具感兴趣区域。操纵边缘特征视频工具，分析感兴趣区域中至少一幅工件图像的图像数据，以便提供参照边缘的对准补偿，基本上可使沿定向滤波方向各个位置处边缘特征的偏移量最小化，其中，在确定边缘特征的轮廓数据之前，利用定向滤波方向对多幅不同聚焦的图像进行定向滤波。应当理解，使用参照边缘的对准补偿，试图使边缘特征相对于定向滤波方向的相应偏移量最小或近似最小。然而，计算成本或者图像中工件特征的“噪声量”或者这两者，使得在一些实施例中确定一种折衷的方式，从而充分但并非完美地实现这一目的。
[0046]在多个实施例中，可使用与边缘为参考的对准补偿调整定向滤波方向，从而沿定向滤波方向各个位置处边缘特征的相应偏移量至少为以下之一:a)基本被消除，b)基本被补偿，和c)基本与之前确定的沿定向滤波方向各个位置处相应边缘特征的相应偏移量相匹配。应当理解，调整定向滤波方向可以采用多种数学方式，可获得基本相同的结果。在一种方式中，实际上可以将定向滤波方向调整成尽可能地(或实际上)平行于边缘特征。在另一种方式中，可使用沿定向滤波方向各个位置处边缘特征的相应偏移量，调整或补偿与缺省或一般定向滤波方向相应的缺省或一般像素位置集合相关的地址或位置，实际上旋转和/或对图像数据进行重新取样，从而在定向滤波操作中使用与边缘特征平行对准的像素数据。这些操作特点在于消除了第一种情形中的偏移量，并补偿了第二种情形中的偏移量，具有基本相同的结果。两者都可以导致使用近似平行于边缘特征对准的像素数据进行定向滤波操作，从而使定向滤波操作方向指向边缘特征外形的标称“对比度高度轮廓线”。如果满足这一条件，则提供近似边缘的Z高度确定的定向滤波或者平均聚焦度量(focusmatric)，将基于这样的图像数据，这些图像数据将与实际高度有小的偏离，导致更加可重复的、精确的和有代表性的Z高度确定，如下面更详细描述的。为此，实际中此处可以将提供基本相似结果的、参照边缘的对准补偿称为“调整定向滤波方向”。
[0047]在多个实施例中，操纵边缘特征视频工具，获得多幅不同聚焦的图像。施加参照边缘的对准补偿，调整定向滤波方向。在施加参照边缘的对准补偿之后，对多幅不同聚焦的图像进行定向滤波。基于对多幅不同聚焦图像的定向滤波，确定边缘特征的轮廓数据。
[0048]在有些实施例中，多幅不同聚焦图像的定向滤波可以包括，使用针对与多幅图像中每一幅图像中的PFF基础像素位置相应的点定义的定向滤波子区域(DFS)，每个DFS沿定向滤波方向具有较长尺寸，其大于沿基本垂直于定向滤波方向的第二方向的较短尺寸。可使用参照边缘的对准补偿，调整定向滤波方向，从而使沿定向滤波方向的边缘特征的偏移量至少为以下之一:a)基本被消除，b)在执行定向滤波之前基本被补偿。在有些实施方式中，较短尺寸至多为5个像素，较长尺寸至少3倍于第二尺寸。在有些实施方式中，仅仅基于DFS中包含的像素来确定PFF度量，PFF度量用于确定与该DFS的PFF基础像素位置相关的Z高度轮廓。
[0049]应当理解，使用沿定向滤波方向具有较长尺寸的DFS，提供了优于现有技术方法的优点，现有技术方法中仅利用正方形滤波子区域。更特别地，根据聚焦(PFF)重建的传统观点，将正方形滤波子区域(例如7X7像素)中每个图像像素周围的局部对比度求平均，以减小对比度曲线中的噪声，并且能在该像素位置处进行可靠的Z深度重建。因此，通过正方向滤波子区域，所重建的3D深度图的X-Y分辨率在X和Y方向被相同程度地减小。相反，通过利用沿定向滤波方向具有较长尺寸、在横向于较长尺寸方向具有较窄尺寸的DFS，在沿横向于定向滤波方向的较窄方向有选择地增大X-Y分辨率。
[0050]作为一个具体示例，可以利用沿定向滤波方向具有较长尺寸的DFS (例如，49个像素宽，I个像素高)，而非利用正方形滤波子区域(例如7X7像素)，每个像素产生相同数量的对比度数值(例如49)，不过基于使用沿DFS方向的49个像素，Y(垂直)分辨率增大到I像素，并减小X分辨率。在一个实施方式中，可以如同传统上实施的PFF算法那样，计算平均的DFS (例如，多次重叠非正方形平均DFS，每个像素一个DFS，并且将点云X-Y位置定义为DFS的中心)。在一种可选的实施方式中，可以将轮廓重建区域(即感兴趣的PFF工具重建区域)分成非正方形平均子区域，轮廓重建区域的每行或者每列为一个子区域。
[0051]利用前面概括描述的定向滤波子区域，在沿DFS较窄方向的方向，可以产生横跨边缘的相当精确的高分辨率轮廓(“横截面”)。然而，必须满足一定的要求。要求较长定向滤波方向应当近似平行于边缘特征对准，从而指向边缘特征外形的标准“对比度高度轮廓线”。如果满足了这一条件，则针对该DFS提供Z高度确定的定向滤波或者平均聚焦度量将基于这样的图像数据，这些图像数据将与实际高度有小的偏离，导致在该DFS的中心处更加可重复的、精确的和有代表性的Z高度确定。相反，如果不满足该条件，则针对该DFS提供Z高度确定的定向滤波或平均聚焦度量将基于与边缘成角度的图像数据，从而与实际高度有较大的偏离，在该DFS的中心处产生更小可重复的、更小精度和可能没有代表性的Z高度。
[0052]应当理解的是，假设较长定向滤波方向近似平行于边缘特征对准，则前面概括描述的边缘PFF技术对于某些应用特别有益，诸如对于某些类型的边缘，例如“噪声”边缘如不规则表面的边缘或者通过锯或激光切割所产生的不规则边缘，用于确定精确的轮廓和标称位置。在有些应用中，为了保证较长定向滤波方向近似平行于边缘特征对准，可提供参照边缘的对准补偿，如下面更详细描述的。在有些实施例中，可以自动或者半自动地提供参照边缘的对准补偿，从而相对而言非专业的用户，尽管缺乏对处理关键方面的了解，也能获得对噪声边缘的可靠测量。在有些实施例中，参照边缘的对准补偿可以包含在边缘特征视频工具或视频工具模式的操作和/或用户界面中，以便实施PFF方法确定边缘位置和/或边缘轮廓。
[0053]在有些实施例中，边缘特征视频工具包括用户界面，该用户界面包括叠加在工件图像上的至少一个感兴趣区域指示符，该方法还包括通过调整用户界面中叠加在工件图像上的元素，提供指示表明已经进行了参照边缘的对准补偿。在有些实施例中，调整用户界面中叠加在工件图像上的元素包括，改变叠加在工件图像上的元素的性质，和增加一个叠加在图像上的参照边缘的对准补偿指示符其中之一。
[0054]在有些实施例中，调整用户界面中叠加在工件图像上的元素包括，调整感兴趣区域指示符、边缘方向指示符和定向滤波方向指示符其中的至少一个，以表示已经进行了参照边缘的对准补偿。可以理解，在多个【具体实施方式】中，边缘方向指示符或者定向滤波方向指示符可以是用户界面的常规边缘形状线。
[0055]在一些实施例中，边缘特征视频工具构造成与直线边缘特征相应，调整感兴趣区域指示符包括将感兴趣区域指示符定位，使其一个轴垂直于边缘特征，调整边缘方向指示符包括将边缘方向指示符定位，使其平行于边缘特征，调整定向滤波方向指示符包括将定向滤波方向指示符定位，使其平行或垂直于边缘特征。在某些其他实施例中，边缘特征视频工具构造成与圆形边缘特征和圆弧边缘特征其中之一相应，调整感兴趣区域指示符包括将感兴趣区域指示符定位，使其边界近似与边缘特征同心，调整边缘方向指示符包括将边缘方向指示符定位，使其近似与边缘特征同心，调整定向滤波方向指示符包括将定向滤波方向指示符定位，使其近似与边缘特征同心。
[0056]在多个实施例中，该方法的实现包括以下之一:a)选择边缘特征视频工具，使其为包括参照边缘的对准补偿操作的类型，b)选择包括参照边缘的对准补偿操作的边缘特征视频工具的参照边缘的对准补偿模式或选项，c)选择包括参照边缘的对准补偿操作的边缘特征视频工具的定向滤波模式或选项，和d)选择提供参照边缘的对准补偿操作的参照边缘的对准补偿工具，与边缘特征视频工具一起工作。对感兴趣区域中至少一幅工件图像处的图像数据进行分析，以提供参照边缘的对准补偿，包括在边缘特征视频工具操作的同时，执行参照边缘的对准补偿操作。
[0057]在有些情形中，在机器视觉系统的学习模式期间执行该方法，并且将相应的操作记录到部件程序(part program)中。在其它情形中,在机器视觉系统的运行模式期间,通过执行记录在部件程序中的相应操作，至少执行该方法的某些步骤。
[0058]在有些实施例中，提供参照边缘的对准补偿包括，将沿对多幅不同聚焦图像进行定向滤波所使用的定向滤波方向各个位置处边缘特征的相应偏移量特征化。在某些实施方式中，可使用查询表存储与每个相应位置对应的相应的偏移量。
[0059]在有些实施例中，将沿定向滤波方向各个位置处边缘特征的相应偏移量特征化包括:操作边缘特征视频工具，获取感兴趣区域的多幅不同聚焦的图像；根据所获取的感兴趣区域的多幅不同聚焦的图像，确定边缘特征的初始轮廓数据；基于初始轮廓数据，将与边缘特征视频工具相关的线形对准边缘特征；并将沿定向滤波方向各个位置处的对准线形的相应偏移量特征化。在某些这类实施例中，与边缘特征视频工具相关的线形为直线，将沿定向滤波方向各个位置处的对准线形的相应偏移量特征化包括，确定对准直线与定向滤波方向之间的角度。在某些这类实施例中，与边缘特征视频工具相关的线形包括圆的至少一部分，定向滤波方向沿着与滤波方向圆平行的方向，并且将沿定向滤波方向各个位置处的对准线形的相应偏移量特征化包括，确定相对于滤波方向圆对准的至少一部分圆的相应偏移量。
[0060]在一些实施例中，该方法包括操作边缘特征视频工具，在机器视觉系统的学习模式期间获取感兴趣区域的多幅不同聚焦的图像，并基于所获取的感兴趣区域的多幅不同聚焦的图像，确定沿定向滤波方向各个位置处的学习模式边缘轮廓。此外，提供参照边缘的对准补偿包括，基于多个有贡献的学习模式边缘轮廓确定学习模式合成边缘轮廓，其中多个有贡献的学习模式边缘轮廓包括学习模式期间沿定向滤波方向各个位置处有代表性的学习模式边缘特征的相应偏移量，并将与该方法相应的操作存储于部件程序中，包括存储学习模式合成边缘轮廓的代表。在一些实施方式中，该方法还包括在机器视觉系统的运行模式期间执行该部件程序，其中运行模式包括在运行模式期间，根据基于多个运行模式有贡献的边缘分布确定运行模式合成边缘轮廓，提供参照边缘的对准补偿。所述的轮廓包括运行模式期间与沿定向滤波方向各个位置处的代表性的学习模式边缘特征相应的运行模式边缘特征的相应偏移量，其中，基于近似最大化地匹配运行模式合成边缘轮廓与学习模式合成边缘轮廓，调整运行模式定向滤波方向。在某些这类实施例中，在学习模式期间调整学习模式定向滤波方向，使得与学习模式中代表性的边缘特征相应的轮廓梯度近似被最大化。
[0061]下面描述本发明的多个实施例。为了充分理解并且能描述这些实施例，下面的描述给出了具体细节。不过，本领域技术人员将理解，即便没有这些众多的细节，本发明也能实施。此外，某些公知的结构或功能可能没有被详细地表示或描述，以避免不必要地干扰各实施例的相关描述。下面的描述中所使用的术语意在按照其最宽的合理方式进行解释，即使其在使用时结合了本发明某些特定实施例的详细描述也是如此。
[0062]图1为根据此处所述的方法可使用的一种示例性机器视觉检测系统10的框图。机器视觉检测系统10包括视觉测量机器12，其与控制计算机系统14操作连接，与其交换数据和控制信号。控制计算机系统14还操作连接监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标26，并与它们交换数据和控制信号。监视器或显示器16可以显示用户界面，适于对机器视觉检测系统10的操作进行控制和/或编程。
[0063]本领域技术人员将理解，控制计算机系统14通常可由任何计算系统或装置组成。适当的计算系统或装置包括个人计算机、服务器计算机、微计算机、主机计算机、分布式计算环境等，其中分布式计算环境包括前面的任意一些。这种计算系统或装置可包括一个或多个处理器，执行软件实现此处所述的功能。处理器包括可编程通用或专用微处理器、可编程控制器、专用集成电路(ASIC)、可编程逻辑装置(PLD)等，或者这些装置的组合。软件可以存储到存储器中，诸如随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或者这些部件的组合。软件还可以存储在一个或多个存储装置中，诸如磁盘或光盘、闪存装置，或者用于存储数据的任何其他类型的非易失存储介质。软件可以包括一个或多个程序模块，包括例程、程序、对象、部件、数据结构等，执行特定任务或者实现特定摘要数据类型。在分布式计算环境中，程序模块的功能可以被组合或者分布到多个计算系统或装置上，并且通过服务呼叫来访问。
[0064]视觉测量机器12包括可移动工件台32和光学成像系统34，光学成像系统可包括可变焦距透镜或可更换透镜。对于通过光学成像系统34提供的图像，可变焦距透镜或者可更换透镜通常提供多种放大率。机器视觉检测系统10通常类似于前面描述的QUICK VIS1N?系列视觉系统和QVPAR?软件，以及类似的现有技术中商业上可购得的精密机器视觉检测系统。在共同受让的美国专利号第7，454，053,7, 324，682,8, 111，905和8，111，938中也描述了机器视觉检测系统，这些专利在此全文引作参考。
[0065]图2是与图1的机器视觉检测系统10类似的机器视觉检测系统100的控制系统部分120和视觉部件部分200的框图。正如将要在下面更详细描述的，利用控制系统部分120控制视觉部件部分200。视觉部件部分200包括光学组件部分205，光源220、230和240，和具有中央透明部分212的工件台210。工件台210可沿着X轴和Y轴以可控方式移动，X轴和Y轴处于与放置工件20的工作台的表面大体平行的平面内。光学组件部分205包括照相机260，分束器291，可更换物镜250，并且可以包括具有透镜286和288的透镜旋转盘组件280。取代透镜旋转盘组件，可以包括固定的或可更换的放大率改变透镜，或者可变焦距透镜结构等。可手动或者自动更换可更换透镜。
[0066]通过使用可控马达294驱动致动器，沿Z轴移动光学组件部分205，以改变工件20的图像的焦点，光学组件部分205可以被控制沿着大体垂直于X轴和Y轴的Z轴方向移动。可控马达294通过信号线296连接输入/输出接口 130。
[0067]将要使用机器视觉检测系统100进行成像的工件20，或者保持多个工件20的托盘或夹具，被放置在工件台210上。工件台210可以在控制下相对于光学组件部分205移动，从而可更换物镜250在工件20上的位置之间和/或在多个工件20之间移动。一个或多个工作台光源220，同轴光源230和表面光源240 (例如环形光源)可以分别发射光源光222，232和/或242，照射工件20。光源230可以沿着包括反射镜290的路径发射光232。源光被反射或者透射成为工件光255，用于成像的工件光穿过可更换物镜250和透镜旋转盘组件280，被照相机260收集。来自照相机260的工件20的图像，通过信号线262输出至控制系统部分120。光源220，230和240可以分别通过信号线或总线221，231和241连接控制系统部分120。为了改变图像放大率，通过信号线或总线281，控制系统部分120可以围绕轴284旋转透镜旋转盘组件280，以选择一个转盘透镜。
[0068]如图2中所示，在多个示例的实施例中，控制系统部分120包括控制器125，输入/输出接口 130，存储器140，工件程序产生器和执行器170，以及电源部分190。这些部分中的每一个，以及下面所描述的附加部件，可以通过一个或多个数据/控制总线和/或应用程序接口而相互连接，或者在多个元件之间直接连接。
[0069]输入/输出接口 130包括成像控制接口 131，运动控制接口 132，照明控制接口133，和透镜控制接口 134。运动控制接口 132可包括位置控制单元132a，和速度/加速度控制单元132b，不过这些单元可以被组合和/或不加区分。照明控制接口 133包括照明控制单元133a-133n及133Π，其对于机器视觉检测系统100的各种相应的光源，控制例如选择、功率、通/断开关，如果适当的，还控制选通脉冲时序。
[0070]存储器140可包括图像文件存储部分141，工件程序存储部分142以及视频工具部分143，其中工件程序存储部分142可以包括一个或多个部件程序等。正如所述的，视频工具部分143包括有代表性的视频工具部分143a和143η，其针对相应视频工具中的每一个，确定⑶I，图像处理操作等。此外，视频工具部分143可以具体包括如下面更详细描述的具有定向滤波和对准补偿的边缘特征工具143eft，可包括在例如QVPAR3D CNC Vis1nMeasuring Machine Operation Guide (视觉测量机器操作指南)中针对“框体工具”和“弧形工具”所描述的边缘轮廓确定操作，可以包含实现此处所述方法的信号处理。具有定向滤波和对准补偿的边缘特征工具143eft可以包括参照边缘的对准补偿定义部分143eracd，其自动或者半自动地确定所需的补偿，如下面将更详细描述的。视频工具部分143还包括感兴趣区域(ROI)产生器143roi，其支持自动、半自动或者手动操作，以定义可在视频工具部分143中所包含的多个视频工具中操作的多个R0I。在一些实施例中，具有定向滤波和对准补偿的边缘特征工具143eft可以与感兴趣区域(ROI)产生器143roi的操作一起操作，或者对其进行追加操作，以便调整感兴趣区域的初始取向或位置，使视频工具感兴趣区域与边缘特征对准，改善边缘位置测量的可重复性，如下面更详细描述的。
[0071]在本说明书的内容中，如本领域普通技术人员所熟知的，术语视频工具通常指机器视觉用户通过相对简单的用户界面(例如图形用户界面，可编辑参数窗口，菜单等)可实现的自动或编程操作的相对复杂的集合，不产生视频工具中所包含的步进式操作序列，或者不采取通用的基于文本的编程语言等。例如，视频工具可包括图像处理操作和计算的复杂的预编程集合，在特定情形中通过调整控制操作和计算的少量变量或参数，可以应用和定制预编程集合。除了支持操作和计算之外，视频工具包括用户界面，允许用户针对视频工具的特定情形调整那些参数。例如，许多机器视觉视频工具允许用户使用鼠标通过简单的“手柄拖动”操作设置感兴趣图形区域(ROI)指示符，以便定义将要通过视频工具特定情形的图像处理操作进行分析的图像子集的位置参数。应当注意，可见的用户界面特征有时被称作视频工具，具有隐含的基础操作。
[0072]与许多视频工具和/或视频工具特征和操作一样，本说明的定向滤波和参照边缘的对准补偿主题包括用户界面特征和下层图像处理操作等，并且可以对相关的特征进行特征化为边缘特征视频工具的特征，在视频工具部分143具有或者包括定向滤波和对准补偿143eft。具有定向滤波和对准补偿的边缘特征工具143eft提供可用于自动提供定向滤波和参照边缘的对准补偿的操作，以确定边缘特征的轮廓，改善相关的边缘轮廓确定操作的可重复性。
[0073]在边缘特征工具143eft的学习模式操作期间所确定的多个工具参数和/或偏移特征，如下面更详细描述的，可以在学习模式期间被确定并存储到部件程序中。视频工具部分143还可以，或者取代地，包括传统的边缘测量视频工具，其根据已知的边缘检测或定位方法进行操作。在一个实施例中，参照边缘的对准补偿定义部分143eraCd可以连接，或者与这种工具一起起作用。例如，在一个实施例中，包含此处所披露的定向滤波和参照边缘的对准补偿操作，作为多模式边缘轮廓工具中的定向滤波和参照边缘的对准补偿模式，其中多模式边缘轮廓工具包括与已知的边缘工具类似的模式(例如，已知的框体工具，弧形工具，圆形工具等)。在一些实施例中，具有定向滤波和对准补偿的边缘特征工具143eft，与已知或传统的边缘工具可以是分离的工具，不过在有些实施例中它们可以是单个边缘工具的两种模式。在有些实施例中单个边缘工具具有两种模式，如下面进一步描述的，可基于手动和/或自动学习模式操作(例如，基于不规则或噪音边缘是怎样的，和/或其正常形状是否已知)，通过边缘工具选择特定的模式。
[0074]工作台光源220，同轴光源230和230’以及表面光源240的信号线或总线221，231和241，均分别连接于输入/输出接口 130。照相机260的信号线262以及可控马达294的信号线296，连接于输入/输出接口 130。除了传输图像数据以外，信号线262还传输控制器125的信号，启动图像获取。
[0075]一个或多个显示装置136(例如图1的显示器16)以及一个或多个输入装置138 (例如图1的操纵杆22，键盘24和鼠标26)，也可以连接于输入/输出接口 130。可使用显示装置136和输入装置138显示用户界面，用户界面可包括可用于进行检测操作，和/或用于创建或修改部件程序的多种图形用户界面(GUI)特征，以观察通过照相机260捕获的图像，和/或直接控制视觉系统部件部分200。
[0076]在多个实施例中，当用户利用机器视觉检测系统100创建针对工件20的部件程序时，用户通过在学习模式中操作机器视觉检测系统100，产生部件程序指令，提供所需的图像获取训练序列。例如，训练序列可包括在视场(FOV)中定位代表性工件的特定工件特征，设置光照等级，聚焦或自动聚焦，获取图像，并提供用于图像的检测训练序列(例如，在该工件特征上使用一个视频工具的实例(instance))。学习模式操作时，序列被获取或者记录并转换成相应的部件程序指令。当执行部件程序时，这些指令将使机器视觉检测系统再现经过训练的图像获取和检测操作，以自动地检测运行模式工件上的特定工件特征(其是相应位置中的相应特征)，运行模式工件与创建部件程序时所用的代表性工件相匹配。
[0077]图3的图表300表示叠加在图像像素(或像素位置)阵列310 (例如，与图像中的感兴趣区域部分相应)上面的正方形滤波子区域305，以及替代的定向滤波子区域304Ydfs和304Xdfs。正如下面将要更详细描述的，可提供边缘特征视频工具，用于确定边缘特征的轮廓数据和/或位置(例如，利用聚焦点技术)。在传统的聚焦点(PFF)重建中，将正方形子区域(例如正方形子区域305)中每个图像像素周围的局部对比度求平均。利用正方形滤波子区域(例如7X7像素)降低对比度曲线中的噪声，并且能够在该像素位置处进行可靠的Z深度重建。因此，通过正方形滤波子区域，所重建的3D深度图的X-Y分辨率在X方向和Y方向同等程度地减小。相反，正如下面将要更详细描述的，通过利用一个尺寸长于另一尺寸的定向滤波子区域(DFS)，可以沿一个较窄方向有选择地增大或者保持X-Y分辨率。作为一个具体示例，如图3中所示，可用DFS304Ydfs (例如49像素宽，I像素高)相对于Y方向得到良好的轮廓分辨率(即，得到沿Y方向的Z高度轮廓)，并且可以利用DFS304Xdf s (例如49像素高，I像素宽)相对于X方向获得良好的轮廓分辨率(即，得到沿X方向的Z高度轮廓)。
[0078]应当理解，DFS304Ydfs (用于Y方向轮廓化)和DFS304Xdfs (用于X方向轮廓化)与正方形子区域305具有相同的面积，不过其一个尺寸远小于另一尺寸，因而提供相同量的像素数据用于确定聚焦度量，同时沿较窄方向还提供了更好的轮廓化分辨率。在一个实施例中，针对每个DFS，在该DFS内利用已知种类的PFF操作计算Z深度，并作为该DFS的中央像素位置CP处的Z坐标，其具有与点云X-Y坐标相应的X-Y位置。
[0079]在一些实施例中，也可以将与沿其DFS较长尺寸方向彼此相邻的选定数量的点云X-Y像素位置相应的Z深度求平均，以进一步改善沿较窄尺寸方向的Z深度轮廓和/或边缘位置的再现性。在一个实施例中，根据这些方式，可以将定向滤波操作描述为确定“子”DFS的Z高度，“子”DFS是母DFS的一部分并且短于母DFS (例如，7，9，11个像素等)，并且将子DFS的Z高度求平均，以确定母DFS的整体Z高度。在一些实施例中，依然根据这些方式，将定向滤波操作描述为针对“子”DFS确定聚焦度量，其中子DFS是PFF栈的每幅图像中母DFS的一部分并且短于母DFS (例如，7，9，11个像素等)，并且将子DFS的聚焦度量或计算出的Z深度求平均，以确定母DFS的整体聚焦度量或平均Z深度，并基于所得到的母DFS的平均聚焦度量(聚焦曲线)或平均Z深度确定Z高度。应当理解，通常这种求平均进一步平滑了沿DFS较长尺寸方向的Z高度轮廓，可以认为其降低了沿该方向的轮廓分辨率。不过，在许多边缘测量应用中，这是无关紧要的。
[0080]图4A和4B的图表400A和400B更清楚地表示用于轮廓化和/或定位水平和垂直边缘的定向滤波子区域的应用。
[0081]图4A表示重叠在图像像素阵列(或像素位置)410上(例如，与图像中的一个感兴趣区域的一部分相应)的一组DFS404A。该组DFS404A中的阴影示意地表示下方工件的被成像表面结构，表明显示出“水平”表面特征(例如水平边缘)的表面沿Y方向具有可变的高度，沿X方向具有相对恒定的高度。为了前面参照图3概括描述的原因，确定DFS使其较长尺寸近似平行于水平表面特征。因此，可以将组404A的每个DFS理解为类似于前面参照图3概括描述的DFS304Ydfs (例如，具有相对较长的X尺寸和相对较窄的Y尺寸)，并且沿横跨表面特征的Y方向，可提供相对较高分辨率的Z轮廓。该组中每个DFS的X-Y坐标，可以与其中央像素或点CP相应。因此，针对每个DFS确定的Z坐标Zcp (例如，基于已知的PFF对比度或聚焦曲线方法)，可能沿着Y方向轮廓线404Aply形成。
[0082]图4A还表示Z轮廓Zply，S卩，沿着横跨水平表面特征的Y方向的Z轮廓。Z轮廓Zply包括为组404A中的每个DFS确定的表面高度Zcp，可将其用作相应的点云Z坐标。应当理解，如果将一个像素(或N个像素)定位在Y方向轮廓线404Aply的位置的左侧，则需要沿横跨表面特征的Y方向的Z轮廓，从而可以将类似组404A的一组DFS向左偏移一个像素(或N个像素)，并且针对该组DFS执行前面概括描述的流程。通常这种方式，如果需要的话，可以针对视频工具感兴趣区域中的每个像素确定Z高度。应当理解，如果被轮廓化和/或定位的水平特征延伸到ROI的全宽度，如果需要的话，则DFS的较长尺寸可以延伸到ROI的全宽度。或者，在一些条件下，对于沿X方向期望的相邻DFS的组，可以对Z坐标求平均，如果需要,使用平均Z坐标作为被平均组的中心处的Z坐标。
[0083]除了相关的表面特征是垂直而非水平以外，图4B类似图4A。该图表示一组DFS404B重叠在图像像素阵列(或像素位置)410B上(例如，与图像中感兴趣区域的一部分相应)。该组DFS404B中的阴影示意地表示下方工件的被成像表面结构，表明显示出“垂直”表面特征(例如垂直边缘)的表面沿X方向具有可变的高度，沿Y方向具有相对恒定的高度。确定DFS，使其较长尺寸近似平行于垂直表面特征。因此，可以将组404B的每个DFS理解为类似于前面参照图3概括描述的DFS304Xdf s，并且沿横跨表面特征的X方向，可提供相对较高分辨率的Z轮廓。该组中每个DFS的X-Y坐标，可以与其中央像素或点CP相应。因此，针对每个DFS确定的Z坐标Zcp可能沿着X方向轮廓线404Bply形成。
[0084]图4B还表示Z轮廓Zplx，S卩，沿着横跨垂直表面特征的X方向的Z轮廓。Z轮廓Zplx包括为组404B中的每个DFS确定的表面高度Zcp。应当理解，如果将N个像素定位在X方向轮廓线404Bplx的位置的上面或下面，则需要沿横跨表面特征的X方向的Z轮廓，从而可以将类似组404B的一组DFS适当偏移，并且针对该组DFS执行前面概括描述的流程。通常这种方式，如果需要的话，可以针对视频工具感兴趣区域中的每个像素确定Z高度。应当理解，如果被轮廓化和/或定位的垂直特征延伸到ROI的全宽度，如果需要的话，则DFS的较长尺寸可以延伸到RO的全高度。或者，在一些条件下，对于沿Y方向期望的相邻DFS的组，可以对Z坐标求平均，如果需要，使用平均Z坐标作为被平均组的中心处的Z坐标。
[0085]图5表示传统PFF操作的结果，与表示定向滤波PFF方法的结果的图6进行比较，其中此处披露的边缘轮廓化和/或定位系统和方法优选定向滤波PFF方法。图5的图表500表示对于每个像素使用具有正方形滤波子区域的已知PFF方法重建的轮廓或深度图510。图510中不同的阴影或颜色表示粗糙或噪声表面和边缘，图的白色区域表示数据和/或表面被认为太不规则或者噪声，以至于不能确定该位置处的可靠高度的区域。还表示出轮廓重建区域520 (例如视频工具的R0I)和窗口 530中的相应Z轮廓531。所示的轮廓重建区域520包括边缘特征522和524，边缘特征522和524是水平沟槽“噪声”边缘的示例(例如，诸如不规则表面的边缘，或者在基板上通过锯或者激光切割所产生的不规则边缘)。边缘特征522和524近似地位于Y位置512和514。基于沿横跨图510中轮廓重建区域510的X方向的平均Z值，确定水平沟槽的轮廓。由于这种全宽度求平均，认为轮廓曲线531对应于位于中央的Z高度轮廓线504ply。Z轮廓曲线531表示沟槽具有不规则的侧面轮廓532和534，可表示边缘特征522和524的垂直位置512和514，其表现为与沟槽底面的宽度一致。如下面参照图6更详细描述的，图5中利用正方形滤波子区域(例如5X5像素)，导致Z轮廓曲线531基于图中X方向和Y方向两者的数据平均或滤波，导致相对Y方向损失了分辨率，这对于沟槽边缘的轮廓化和/或定位是不合需要的。
[0086]图6的图表600表示针对每个中央像素位置使用定向滤波子区域(在此情形中，X方向为49个像素，Y方向为I个像素)重建的轮廓或深度图610，如前面概括描述的。与图5类似，图610中不同的阴影或颜色表示粗糙或噪声表面和边缘，图中的白色区域表示数据和/或表面被认为太不规则或者噪声，以至于不能确定该位置处的可靠高度的区域。比较图5中的图510与图6中的图610，表明正如所期望的，图6中的结果沿X方向具有更小的噪声，沿Y方向具有更高分辨率。在图6中被成像的水平沟槽类似于图5中被成像的水平沟槽。如图6中所示，还表示出轮廓重建区域620(例如，视频工具的R0I)以及窗口 630中相应的Z轮廓631。
[0087]所示的轮廓重建区域620包括边缘特征622和624，边缘特征622和624是水平沟槽的边缘。边缘特征622和624位于垂直位置612和614处。基于沿图610中横跨轮廓重建区域620的X方向的平均Z值，确定Z轮廓曲线631，其表示水平沟槽的轮廓。由于这种全宽度求平均，可以认为轮廓曲线631相应于位于中央的Z高度轮廓线604ply的位置。不过，应当理解，这种X方向求平均并非必要条件。例如，在减少或没有X方向平均的情况下，如果需要的话，可以针对例如与区域620中的每个像素列一致的多条高度轮廓线中的每一条建立Z轮廓曲线。
[0088]Z轮廓曲线631还表示沟槽侧面轮廓632和634，其表示出边缘特征622和624的Y位置612和614，与沟槽底面的宽度相一致。与图5不同的是，图6中利用定向滤波子区域，导致Z轮廓曲线631具有改善的Y轮廓分辨率。换言之，曲线631表现为“更尖锐”，具有更小噪声，更好分辨率，并且沿Y方向的Z轮廓具有更多细节。例如，曲线631表现出更小的圆滑性，更好地限定了沟槽底面的角部，使得与边缘特征622和624相应的边缘位置线612和614的位置的确定得到改善。如果目的是针对水平取向的沟槽获得沿Y方向的Z轮廓和/或边缘位置，那么由于定向滤波子区域的取向导致的在X(即水平)方向分辨率的相应的下降，被认为是可接受的。
[0089]如前面参照图3-6所述，可利用定向滤波子区域(DFS)获得边缘特征的更高分辨率Z轮廓和/或位置，并且特别适合于噪声边缘(例如，不规则表面的边缘或者通过锯或激光切割产生的不规则边缘)。此外，为了进一步抑制噪声，如果需要的话，结合定向滤波子区域，可以使用沿平行于边缘的方向的平均Z高度。在前面所述的示例中，感兴趣的表面特征(例如，边缘)与图像行或列对准，为此，DFS与图像行或列对准。然而，如前面概括描述的，更为普遍的要求是使较长定向滤波方向应当近似平行于边缘特征对准，从而使其指向边缘特征外形的标准“等高轮廓线”。如果满足该条件，则定向滤波或平均聚焦度量将以这样的图像数据为基础为该DFS提供Z高度确定，其中该图像数据针对实际高度具有小的偏差，在该DFS的中心处产生更加可重复性的、精确的和有代表性的Z高度。相反，如果不满足该条件，则为该DFS提供Z高度确定的定向滤波或平均聚焦度量将以这样的图像数据为基础，其中该图像数据与边缘成角度，并因此跨越实际高度的较大的偏差，在该DFS的中心处产生可重复性差、不太精确的以及可能没有代表性的Z高度。因此，如果感兴趣的边缘特征没有精确地对准图像列或图像行，则用于确定Z高度的定向滤波子区域必须仍然对准边缘特征，通常将不会对准构成原始图像的像素列或像素行。
[0090]为了保证较长定向滤波方向近似平行于边缘特征对准，如下面参照图7 —12将要更详细描述的，可提供参照边缘的对准补偿。在有些实施例中，可以自动或者半自动地提供参照边缘的对准补偿，从而相对而言不熟练的用户，尽管他们缺乏对处理关键方面的理解，也能获得噪声边缘的可靠的测量。在一些实施例中，参照边缘的对准补偿可以包含在实施PFF方法以确定边缘位置和/或边缘轮廓的边缘特征视频工具或视频工具模式的操作和/或用户界面中。
[0091]在2012年12月27日申请的、共同未决和共同受让的美国专利申请序列号13/728，842、题为“METHOD FOR IMPROVING REPEATABILITY IN EDGE LOCATION RESULTS OFA MACHINE VISION INSPECTION SYSTEM”中描述了参照边缘的对准补偿的多种技术，该文献在此全文引作参考。'842申请描述了一种基于强度梯度的边缘检测或测量技术，包括多种基于强度扫描线的参照边缘的对准补偿技术。此处所述的参照边缘的对准补偿技术改善了例如分辨密集边缘的可靠性。尽管'842申请没有描述此处所披露的、结合定向滤波使用参照边缘的对准补偿对噪声边缘进行基于PFF的边缘检测，不过通过利用'842申请描述的特征进行类比，参照图7A和7B所描述的以及下面进一步描述的参照边缘的对准补偿技术是可以被理解的。
[0092]例如，在基于PFF模式或方法的边缘特征视频工具中的Z高度轮廓线，诸如图4，5和6中所示的线404Aply,404plx,504ply和604ply,类似于'842申请中所示的强度扫描线。例如，在每种情形中，可使用扫描线的梯度或高度轮廓线的梯度来确定边缘位置，对于参照边缘的对准补偿目的而言，它们是极为相似的。
[0093]图7A和7B表示用户界面的视场700中的直线边缘特征725，并比较了沿示意表示为对准的DFS，DFSa的边缘特征725，与未读准的DFS，DFSaj的偏移量，DFSa与图7A中对准的视频工具705相关，DFSa’与图7B中的视频工具705’相关，并表示相应高度轮廓中的相关效果。图7A表示包括(例如，通过照相机260成像的)工件20的图像的视场窗口700，其可以包含在机器视觉检测系统(例如，机器视觉检测系统100)的用户界面中。在图7A中，为了说明，用点划线表示图像中边缘725的边缘取向E0。感兴趣区域ROI定义了边缘725的相关部分，如感兴趣区域指示符ROIin所示。在一个实施例中，感兴趣区域产生器143roi可以和边缘特征工具143eft —起工作，以定义感兴趣区域ROI。为了说明，图7A还表示出两条示例性的平行的高度轮廓线La和Lb，在多个实施例中，高度轮廓线实际中可以显示或者不显示在边缘工具用户界面中。还表示出边缘选择器ES，在有些实施例中，用户可以定位边缘选择器ES,以表示或标记希望被检测的边缘。图7A中还表示出第二边缘726。
[0094]图7A的下部为图表710，其表示在沿着与对准的DFS，DFSa的中心点(例如，X-Y坐标)相应的中央轮廓线704pl的像素位置处(例如，像素数)，理想或实际Z高度轮廓Zpact和相应的Z高度梯度轮廓ZG(沿轮廓线Z高度的改变率)。应当理解，在一个实施例中，工作在此处所述的PFF模式的边缘特征定位视频工具，将发生最大Z高度梯度的位置(例如，在框体712中的极值处)，识别为沿Z高度轮廓线的边缘点或位置。图7A表示一个示例，其中示例的DFS，DFSa与边缘725对准。由于这种对准，并且假定边缘725在其整个长度上近似是直的并且是均匀的(例如，沿线La，704pl和Lb，理想的Z高度轮廓相同)，从而DFSa在相同Z高度处，同与每个像素相应的各Z高度轮廓相交，如图所示，DFSa的每个像素沿线PROJall对准投影到相应的高度点Zdfsa。这表明边缘725在沿DFSa的一个像素位置处相对于另一像素位置没有“偏移”，即，在沿DFSa的一个位置处，边缘相对于另一位置的偏移量Oab基本为零，由此，在DFsa内的所有像素处，实际的图像聚焦高度将基本相同(除了不可避免的表面高度和/或图像噪声)，并且相关的对比度或聚焦度量将精确地反映出标准高度Zdfsa，标准高度Zdfsa是与DFSa相关的正确的Z高度(例如，在沿轮廓线704pl位置的DFSa位置处测量的Z高度)。由于同样的原因，同样通过ROI对准的DFSa将具有相似的精度，所产生的Z高度轮廓将以良好的逼真度、以及沿DFSa较窄方向(例如，与边缘725横切的方向)较高的分辨率，指示边缘725的位置。
[0095]与图7A不同的是，图7B表示包括工件20的图像的视场窗口 700，其中感兴趣区域R0I’和/或代表性的DFS，DFSa’相对于边缘725被旋转或者“未对准”。
[0096]图7B的下部为图表720，图表720表示前面参照图7A所述的理想或实际Z高度轮廓Zpact。图7B表示一个示例，其中示例性的DFS，DFSa’与边缘725未对准。由于这种未对准，并且假定边缘725在其整个长度上近似是直的并且是均匀的(例如，沿线La’，704pl’和Lb’，理想的Z高度轮廓相同)，从而DFSa’在不同Z高度处，同与DFSa’中每个像素相应的各Z高度轮廓相交，如图所示，DFSa’的“顶端”像素沿线Projendl对准投影到相应的高度点Zdfsa’ LDFSa'的“底端”像素沿线Projend2对准投影到相应的高度点Zdfsa’2。这表明边缘725在沿DFSa’的一个像素位置处相对于另一位置发生“偏移”，即，在沿DFSa的一个位置处，相对于另一位置边缘725的偏移量可能高达Oab’，如图所示。由此,在DFSa’内所有像素处，实际图像聚焦高度通常将并不相同，如图所示，具有Z高度范围Zrange-dfsa’，如图表720中所示。这意味着相关的对比度或聚焦度量将包含不同聚焦的图像部分，从而不能精确地反映出DFSa’的中点CP处的标准高度(例如，如图7A中所示，Zdfsa是沿轮廓线704pl’的CP位置处的正确Z高度)。实际上，在图7B所示的示例中，可以看出DFSa’将包括明显低于DFSa’中点CP处正确Z高度的Z高度图像部分，这将导致DFSa’的对比度或聚焦度量(以及测得的Z高度)不正确地偏低。从另一观点看，我们可以说，由于DFSa’未对准，因而其较长滤波方向部分地横跨边缘725，在边缘725上提供了某种程度的定向滤波，其平滑并且畸变了围绕边缘725的高度信息，从而丢失了其真正的轮廓。基于同样的原因，同样通过ROI’未对准的DFSs将具有相似的不精度性，所产生的Z高度轮廓将以较差的精度和/或分辨率指示边缘725的位置。
[0097]如图7A和7B中所示，期望边缘视频工具采用DFSs和PFF技术提供参照边缘的对准补偿，以消除或者补偿偏离Oab’ (例如，与图7B中的未对准角度MA相应)，等等，使得整个DFS的图像数据(或者其他定向滤波技术所使用的平均数据的整个集合，以改善噪声边缘的检测或预测位置)具有近似相同的标准聚焦高度。如图7A所示，这样可以增强这种边缘视频工具提供所需Z高度精度和分辨率的能力。对于具有大致已知形状的边缘(例如，检测系统的用户已知的、和/或特定视频工具类型或参数反映出的直线或圆形形状)而言，参照边缘的对准补偿是尤为可能的并且是所期望的，如下面更详细描述的。
[0098]为了补偿沿边缘特征一个DFS像素相对于另一个的偏离(如果存在的话)，使得DFS的相应像素具有适当组合的内容(例如，具有类似的标准Z高度)，通过包括平均或滤波操作的分析，可使用多种方法来识别相对于初始方向的偏移，初始方向可以另外被描述为原始、参考或缺省方向，并且也可以被描述和/或用作初始定向滤波方向。例如，在一个实施例中，可以针对基于ROI的正方形对比度内核(kernel)(例如，正方形子区域305)确定初始Z高度图。然后，在该高度图中，针对多条横过边缘并且沿边缘分布的平行线，确定Z高度轮廓。在一些实施例中，例如，如同图7B中的轮廓线La’和Lb’，这些初始轮廓线可以基于ROI的整体对准(例如，与ROI的侧边垂直)。可以沿每一条这种轮廓线，将与待参考的边缘相应的初始边缘点定位(例如，相应于Z高度梯度峰值位置)。在一些实施例中，由于图像数据和/或下层表面是有噪声的，可使用数条轮廓线。在直线边缘的情形中(如图7A和7B中所示)，可以将这些边缘点拟合成一条线，并确定该拟合线相对于该ROI和/或该ROI的初始或缺省DFS方向的失配角(例如，在图7B中的角度MA)。在沿DFS的两个位置处，拟合线与示例DFS方向的偏移距离的差值，将等于sin (MA) *两个位置之间的距离。更一般地说，在多个实施例中，边缘测量视频工具是框体工具，圆形工具和弧形工具其中之一，将沿相应DFS的边缘特征的相应偏移量特征化包括,检测边缘点,针对边缘点拟合与视频工具相关的线形，并将沿视频工具定向滤波所使用的初始或缺省定向滤波方向的多个位置处的拟合线的相应偏移量特征化。当视频工具为框体工具时，与视频工具相关的线形为直线，将沿初始定向滤波方向的多个位置处的拟合线的相应偏移量特征化，包括确定拟合线与该ROI的初始或缺省DFS方向之间的夹角。当边缘测量视频工具为圆形工具时，初始轮廓线均沿着从圆形工具的中心延伸的半径，与视频工具相关的线形为圆形，将沿相应的初始轮廓线的拟合线的相应偏移量特征化，包括确定所拟合的圆形在何处与初始轮廓线相交。在任何情况下，应当理解，一旦针对直线边缘特征化出失配角(或者对于圆形工具或弧形工具，对所拟合出的圆形边缘相对于初始“DFS圆或弧”进行更加复杂的特征化)，则可以根据前面概括描述的原则，将工具中DFS的方向调整成与边缘严格对准)。在一个实施例中，当边缘测量视频工具是圆形工具或弧形工具时，各个DFS弧均是“同心” DFSs，与从圆形工具或弧形工件的中心延伸的半径垂直，与视频工具相关的线形可以是圆形(或者圆形的一部分)，可以相对于圆形工具或弧形工具的中心或者扫描线中心确定拟合圆的中心。然后，可以将工具中心调整成与拟合圆的中心一致，并且可以计算调整后的半径以及相关的弧形形状的DFS位置。
[0099]应当理解，取代直线边缘，工件和照相机可以相对于彼此发生旋转，从而使用照相机的像素行或列来定义DFS方向，并且沿相对于工件上边缘平行的方向取向，不过在许多机器视觉系统中，这样做是耗时的或者是不可能的选择，从而在这些系统中这样做不是优选的。在两者之中的任一种情形中，调整DFS方向使其精确地平行于边缘，都被认为是参照边缘的对准补偿。
[0100]应当理解，DFS中的所有像素不可能都与图像像素位置严格一致。在此情形中，可根据多种已知的方法，通过基于周围图像像素的插值来确定用于PFF操作的DFS中一个“像素”位置处的图像值。例如，在Ding的第7，567，713号美国专利中给出了基于之前获得的图像数据，沿期望的线和/或方向计算插值图像强度的教导，该文献在此全文引作参考。
[0101]确定失配的另一种可替代的方式包括，在X-Y平面内执行搜索，改变与视频工具相关的代表性的DFS或一组DFS的取向和/或位置，并且对于每个取向和/或位置，将沿与每个取向和/或位置相关的定向滤波方向的Z高度的分布特征化。分布的宽度，实质上表示出相关的定向滤波方向的偏离或失配。然后，可以将DFS取向和/或位置设置为在DFS或一组DFS中提供最窄Z高度分布(例如，最小标准偏差)的取向和/或位置，可以将其视作参照边缘的对准补偿。
[0102]确定失配的另一种可替代的方式包括，在X-Y平面内执行搜索，改变与视频工具相关的代表性的一组DFS的取向和/或位置，并且对于该组DFS的每个取向和/或位置，形成至少一个横跨边缘的初始Z高度轮廓。在一个这种实施方式中，按照这样的方式定义和/或使用DFS，导致基于DFS的整个代表性的集合，产生代表平均高度轮廓的单个代表性的合成边缘轮廓(即，横跨边缘的Z高度)。在任何情况下，对所产生的初始Z高度轮廓作出评价。表征所产生的轮廓特征的边缘的锐度，实质上表示出相关定向滤波方向的偏移或失配的特征。特别是，在Z高度轮廓中提供最窄边缘和/或最窄梯度峰值和/或最高边缘梯度的取向和/或位置，是最佳对准的取向和/或位置，并且定义了参照边缘的对准补偿和/或可供使用的定向滤波方向。换一种方式讲，在其相应的Z高度轮廓中提供最窄边缘和/或最窄梯度峰值和/或最高边缘梯度的取向和/或位置，相当于参照边缘的对准补偿，其基本上使沿着提供该Z高度轮廓所使用的定向滤波方向各个位置处边缘特征的相应偏移量最小。在学习模式和/或运行模式期间可使用前面所述的过程。在一些实施例中，在学习模式期间确定的最佳Z高度轮廓(相应于最佳的参照边缘的对准补偿)被保存到部件程序中，并且在运行模式期间，在大致上使相应运行模式Z高度轮廓与所存储的学习模式Z高度轮廓最大匹配的基础上，调整运行模式定向滤波方向。在本说明书公开内容的基础上，其他可替代的对DFS方向提供参照边缘的对准补偿，对于本领域普通技术人员来说是显而易见的。
[0103]应当理解，在创建部件程序时，表征将要通过边缘检测视频工具定位的特定工件边缘特征的参数(也称作“学习的”边缘参数)，基于视频工具对准和DFS参数，因为在学习模式期间它们相对于边缘取向。相反，在运行模式期间执行部件程序，以自动检测不同工件上相应的边缘时，工件边缘相对于已编程的视频工具有可能旋转或者平移一个微小的不同角度或位置，这样在运行模式期间，很可能使学习的边缘参数与边缘特性不相匹配。应当理解，对于实际中的噪声边缘，可靠的边缘检测具有固有的难度，并且错误容限极小。从而，为了增加此类情形中边缘检测的可靠性，希望保证相对于边缘特征的运行模式DFS取向，尽可能与学习模式DFS取向相同，这将增大部件程序中包含的学习的边缘参数与运行模式期间观察到的边缘特征之间相匹配的可能性。在此情形中，在一个实施例中，调整DFS方向使其实际平行于学习模式和/或运行模式期间的边缘，可以将其视作参照边缘的对准补偿。在另一实施例中，可以在学习模式期间确定并记录DFS方向相对于边缘的实际取向，或者DFS方向的另外的特征(例如，Z高度轮廓或者沿DFS方向产生的Z高度分布)，然后可以调整相对于边缘的运行模式DFS取向，从而与学习模式期间所记录的实际DFS取向或其他特征最佳地匹配。在此情形中，调整相对于边缘的运行模式DFS取向，从而与学习模式期间所记录的相应边缘的DFS取向或其他DFS特征相匹配(例如，基于相关分析或其他公知的数据/轮廓比较技术)，可以将其视作参照边缘的对准补偿。在某些这种实施例中，在学习模式和/或运行模式期间可以调整DFS方向，使得沿垂直于DFS较长尺寸的方向，与基于DFS数据确定的Z高度轮廓中的边缘特征相应的梯度大致被最大化。在任何情况下，前面概述的处理可以增大在运行模式期间将部件程序应用于类似工件时，针对学习模式工件所确定并记录在部件程序中的边缘检测参数的可靠性。
[0104]如前面概述的，应当理解在某些实施例中，可以相对于视频工具(例如，视频工具感兴趣区域)定义DFS方向，并且DFS方向的调整和/或补偿包括调整感兴趣区域的元素或特征。因而，应当理解，在多个实施例中可以直接(例如，通过与DFS直接相关的视频工具参数)或者间接(例如，通过影响DFS的相关的视频工具特征或参数)地调整和/或补偿DFS方向。
[0105]图8A-8C表示所设置的用于确定工件图像中直线边缘特征825的轮廓和/或边缘位置数据的PFF框体工具800，包括各种视频工具用户界面实施例，用于指示与根据此处披露的原则提供参照边缘的对准补偿相关的框体工具状态，其基本上消除了 DFS/边缘偏离。如图8A-8C中所示，框体工具包括用户界面，该用户界面包括叠加在工件图像上的至少一个感兴趣区域指示符ROIin，其提供了叠加在用户界面中工件图像上的一个指示，表明已经进行了(或者还没有进行)参照边缘的对准补偿。在某些这种实施例中，调整用户界面元素包括，改变叠加在工件图像上的一个或多个元素的性质(例如，其颜色或者线形，等)，或者增加或调整叠加在图像上的参照边缘的对准补偿指示符(例如，以边缘为参考指示符ERin图标或微件)。如图8A中所示，尚未提供参照边缘的对准补偿(例如，在学习模式或手动模式中尚未运行或训练该工具)。结果，视频工具CTI显示为初始状态(例如，未训练状态)。在某些实施例中，在某一状态下可以显示可选的以边缘为参考指示符ERin，表示尚未提供参照边缘的对准补偿。在其他实施例中，视频工具GUI简单地显示为其初始状态。
[0106]如图SB和SC中所示，已经提供了参照边缘的对准补偿(例如，该工具在学习模式或手动模式中已经被运行或者训练)。在这种特定实施例中，视频工具的内部操作已经消除了沿定向滤波方向各个位置之间的偏移(例如，如前面概述的，通过基于初始失配角度确定来调整DFS方向)。结果，在有些实施例中，可以在某一状态下显示可选的以边缘为参考指示符ERin，表示已经提供了参照边缘的对准补偿。在其他实施例中，根据已经提供了参照边缘的对准补偿的建议，视频工具GUI相对于其初始状态调整其一个元素。例如，在图SB中，视频工具800为框体工具，通过旋转感兴趣区域指示符，使其一个轴垂直于边缘特征，而另一轴代表定向滤波方向并且平行于边缘特征，从而调整用户界面。在图8C中，视频工具800提供和/或旋转一个或多个边缘方向指示符EDin，使其平行于边缘特征825。在一个实施例中，可以将其中一个边缘方向指示符EDin确定为与边缘特征对准的“线形”，并且如图所示，可以相对于原始或缺省定向滤波方向(例如，如感兴趣区域指示符ROIin的垂直边缘所示)旋转某一角度而取向。因而，可使用边缘方向指示符EDin与感兴趣区域指示符ROIin的一个垂直边缘之间的夹角，对沿原始或缺省定向滤波方向(例如，如感兴趣区域指示符ROIin的垂直边缘所示)各个位置处所对准的线形(例如，边缘方向指示符EDin)的相应偏移量特征化。
[0107]图9A-9C表示PFF弧形工具900，设置成用于确定工件图像中圆形边缘部分925的轮廓和/或边缘位置数据，PFF弧形工具900包括多种视频工具用户界面实施例，用于指示根据此处披露的原则，与提供参照边缘的对准补偿相关的弧形工具状态，其中对准补偿基本上消除了 DFS/边缘偏移。图9A-9C类似于图8A-8C，并且可以同样地理解，从而将仅进行简要的描述。弧形工具900包括用户界面，该用户界面包括叠加在工件图像上的感兴趣区域指示符ROIin。如图9A中所示，尚未进行参照边缘的对准补偿。结果，视频工具CTI显示为其初始状态(例如，未训练状态)。在有些实施例中，在某种状态下可以显示可选的以边缘为参考指示符ERin,表示尚未提供参照边缘的对准补偿。在其他实施例中，视频工具GUI简单地显示为其初始状态。
[0108]如图9B-9C中所示，已经提供了参照边缘的对准补偿(例如，在学习模式或手动模式中该工具已经被运行或者训练)。在该特定实施例中，视频工具的内部操作已经消除了沿圆形/切向定向滤波方向边缘与各位置之间的偏移(例如，如前面概述的，通过基于初始失配确定，调整DFS方向和或位置)。结果，在一些实施例中，在某种状态下可以显示可选的以边缘参考指示符ERin,表示已经提供了参照边缘的对准补偿。在其他实施例中，根据已经提供了参照边缘的对准补偿的建议，视频工具GUI相对其初始状态调整其一个元素。例如，在图9B中，通过定位感兴趣区域指示符ROIin使其弧形边界与边缘特征925近似同心，视频工具900调整用户界面。在图9C中，视频工具900提供和/或定位边缘方向指示符EDin，使其与边缘特征近似同心。在一个实施例中，可以将其中一个边缘方向指示符EDin确定为与边缘特征对准的“线形”，并且如图所示，可以相对于原始或缺省定向滤波方向将其旋转某一角度而取向(例如，如感兴趣区域指示符ROIin的弧形边缘所示)。因而，可使用边缘方向指示符EDin与感兴趣区域指示符ROIin的一个弧形边缘之间的夹角，对沿原始或缺省定向滤波方向(例如，如感兴趣区域指示符ROIin的弧形边缘所示)各个位置处所对准的线形(例如，边缘方向指示符EDin)的相应偏移量特征化。应当理解，圆形工具的各个实施例具有与图9A-9C中所示弧形工具实施例相似的特征。
[0109]图9A表示一个示例性的可选搜索区域指示符SA，其可以包含在各种视频工具的用户界面中，用于指示如前所述的用于对准补偿的搜索过程所使用的搜索区域。在一些实施例中，用户可以调整搜索区域的尺寸(例如，通过拖曳侧边或角部)，以便更快地搜索(例如，较小搜索面积)，或者更粗的搜索(例如，较大搜索面积)。
[0110]如前面概述的，在有些实施例中，参照边缘的对准补偿确定了沿定向滤波方向各个位置处的相应偏移量，并使用偏移量调整数据，从而如前所述使沿定向滤波方向各个位置处边缘特征的相应偏移量基本上得到补偿。在这类实施例中，调整用户界面元素包括，调整感兴趣区域指示符，边缘方向指示符和代表检测出边缘点的显示其中至少之一，以便用符号表示各个偏移量。图10A-10C和图11A-11C表示这类实施例中可使用的用户界面特征。
[0111]图10A-10C大体上类似于图8A-8C，可以做同样的理解，从而将仅进行简要的描述。框体工具1000包括用户界面，该用户界面包括叠加在工件图像上的感兴趣区域指示符ROIin。如图1OA中所示，尚未提供参照边缘的对准补偿。结果,视频工具⑶I显示为其初始状态(例如，未训练状态)。在某些实施例中，可以在某种状态下显示以边缘为参考指示符ERin，表示尚未提供参照边缘的对准补偿。在其他实施例中，视频工具GUI简单地显示其初始状态。
[0112]如图1OB和IOC中所示，已经提供了参照边缘的对准补偿(例如，在学习模式或者手动模式中该工具已经被运行或者训练)。在这种特定实施例中，视频工具的内部操作已经确定了沿定向滤波方向各个位置处的偏移(例如，使其可以如前概述的通过计算被补偿)。结果，在某些实施例中，可以在某种状态下显示可选的以边缘为参考指示符ERin，表示已经提供了参照边缘的对准补偿。在其他实施例中，根据已经提供了参照边缘的对准补偿的建议，视频工具GUI相对其初始状态调整其一个元素。例如，在图1OB中，提供和/或定位边缘方向指示符EDin,使其平行于边缘特征1025,和/或表示边缘特征1025与表示原始或缺省定向滤波方向的直线(例如，将其表示成平行于感兴趣区域指示符ROIin的垂直边缘)之间的夹角。在图1OC中，提供和/或定位检测的边缘点代表DEP，或者大致沿边缘特征将检测的边缘点拟合成一条线。在某些实施例中，可使用对检测的边缘点拟合的线，表示与原始或缺省定向滤波方向(例如，将其表示成平行于感兴趣区域指示符ROIin的垂直边缘)的夹角，和/或可使用检测的边缘点代表DEP与代表定向滤波方向的直线之间的水平距离，将沿原始或缺省定向滤波方向各个位置处(例如，在每个检测的边缘点代表DEP处)的相应偏移量特征化。
[0113]图11A-11C大体上类似于图9A-9C，可以做同样的理解，从而将仅进行简要的描述。弧形工具1100包括用户界面，该用户界面包括叠加在工件图像上的一个感兴趣区域指示符ROIin。如图1lA中所示，尚未提供参照边缘的对准补偿。结果，视频工具CTI显示为其初始状态(例如，未训练状态)。在某些实施例中，在某种状态下可显示可选的以边缘为参考指示符ERin,表示尚未提供参照边缘的对准补偿。在其他实施例中,视频工具GUI简单地显示其初始状态。
[0114]如图1lB和IlC中所示，已经提供了参照边缘的对准补偿(例如，在学习模式或者手动模式下该工具已经被运行或者训练)。在这种特定实施例中，视频工具的内部操作已经确定了沿定向滤波方向各个位置处的偏移(例如，使其可以如前概述的通过计算被补偿)结果，在一些实施例中，在某种状态下可以显示可选的以边缘为参考指示符ERin，表示已经提供了参照边缘的对准补偿。在其他实施例中，根据已经提供了参照边缘的对准补偿的建议，视频工具CTI相对其初始状态调整其一个元素。例如，在图1IB中，提供和/或定位边缘方向指示符EDin,使其曲线与边缘特征1125近似是同心的,和/或表示边缘特征1125与表示原始或缺省定向滤波方向(例如，将其表示成与感兴趣区域指示符ROIin同心)的直线之间的夹角。在图1lC中，近似沿边缘特征提供和/或定位检测的边缘点代表DEP，或者将检测的边缘点拟合成一条线。在某些实施例中，可使用针对检测的边缘点拟合的直线表示相对于原始或缺省定向滤波方向(例如，将其表示成与感兴趣区域指示符ROIin的弧形边缘同心)的角度，和/或可使用每个检测的边缘点代表DEP与代表定向滤波方向的直线之间的距离，将沿原始或缺省定向滤波方向各个位置处(例如，在每个检测的边缘点代表DEP处)的相应偏移量特征化。
[0115]在各个实施例中，此处披露的参照边缘的对准补偿的实施包括以下之一:a)选择边缘特征视频工具，使其为包括参照边缘的对准补偿操作的类型，b)选择包括参照边缘的对准补偿操作的边缘特征视频工具的参照边缘的对准补偿模式或选项，c)选择包括参照边缘的对准补偿操作的边缘特征视频工具的定向滤波模式或选项，和d)选择在边缘特征视频工具操作的同时提供参照边缘的对准补偿操作的参照边缘的对准补偿工具。在这些实施例中，对于沿定向滤波方向多个相应位置进行分析以便提供参照边缘的对准补偿的步骤，包括在边缘特征视频工具的操作的同时，执行参照边缘的对准补偿操作。
[0116]在有些情况下，在机器视觉系统的学习模式期间执行所述方法，并将相应的操作记录到部件程序中。在其他情况下，在机器视觉系统的运行模式期间，通过执行记录在部件程序中的相应操作，至少执行该方法的部分步骤。
[0117]在某些实施例中，该方法可进一步包括施加参照边缘的对准补偿，以调整定向滤波方向，使得沿定向滤波方向各个位置处边缘特征的相应偏移量至少是以下的一种:a)基本被消除，b)基本被补偿，和c)基本与之前确定的沿定向滤波方向各个位置处相应边缘特征的相应偏移量相匹配。
[0118]应当理解，图8-11中所示的这些参照边缘的对准补偿状态指示符仅是示例性，并非限定性的。
[0119]图12为方法1200的流程图，该方法1200用于在机器视觉检测系统中对不规则表面的边缘进行增强的边缘检查。在方块1210处，提供包括感兴趣区域定义部分的边缘特征视频工具。边缘特征视频工具配置成，基于感兴趣区域的多幅不同聚焦的图像确定该感兴趣区域中边缘特征的轮廓数据。在一个特定实施方式中，可由聚焦点(PFF)操作得到这些图像。
[0120]在方块1220处，将工件放置到机器视觉检测系统的视场内。在方块1230处，操作边缘特征视频工具，在所获取的工件图像中定义一个包括边缘特征的视频工具感兴趣区域。在方块1240处，操作边缘特征视频工具，分析感兴趣区域中至少一个工件图像的图像数据，以提供参照边缘的对准补偿。参照边缘的对准补偿涉及到，基本上使沿定向滤波方向各个位置处边缘特征的相应偏移量最小，其中在确定边缘特征的轮廓数据之前，使用定向滤波方向对多幅不同聚焦的图像进行定向滤波。
[0121]图13为方法1300的流程图，方法1300用于基于定向滤波确定边缘特征的轮廓数据。在方块1310处，操作边缘特征视频工具，获得多幅不同聚焦的图像。在方块1320处，施加参照边缘的对准补偿，调整定向滤波方向。在方块1330处，在施加参照边缘的对准补偿之后，对多幅不同聚焦的图像进行定向滤波。在方块1340处，基于对多幅不同聚焦图像的定向滤波，确定针对边缘特征的轮廓数据。
[0122]图14为方法1400的流程图，方法1400利用针对聚焦点(PFF)基础像素位置定义的定向滤波子区域，执行定向滤波。在方块1410处，使用相对与多个图像的每一个中PFF基础像素位置相应的点定义的定向滤波子区域(DFS)，对多幅不同聚焦的图像进行定向滤波。将每个DFS整形，使其沿定向滤波方向具有较长尺寸，该较长尺寸大于沿基本垂直于定向滤波方向的第二方向的较短尺寸。在方块1420处，使用参照边缘的对准补偿调整定向滤波方向。在执行定向滤波之前执行所述的调整，从而使沿定向滤波方向的边缘特征的偏移量至少为以下之一:a)基本被消除和b)基本被补偿。
[0123]根据前面所述，应当理解此处为了说明的目的描述了本发明的特定实施例，不过在不偏离本发明范围的情况下可以进行多种变型。因而，本发明不限于所附权利要求。
【权利要求】
1.一种在机器视觉检测系统中用于确定边缘特征的轮廓数据的方法，该机器视觉检测系统包括: 包括感兴趣区域定义部分的边缘特征视频工具，该边缘特征视频工具配置成基于对感兴趣区域的多幅不同聚焦的图像，确定针对该感兴趣区域中边缘特征的轮廓数据； 该方法包括: 将工件放置在机器视觉检测系统的视场内； 操作该边缘特征视频工具，定义包括所获取的工件图像中的边缘特征的视频工具感兴趣区域；以及 操作该边缘特征视频工具，以分析感兴趣区域中至少一个工件图像的图像数据，以便提供参照边缘的对准补偿，该对准补偿涉及基本上使沿着定向滤波方向在各个位置处的边缘特征的相应偏移量最小，该定向滤波方向在确定边缘特征的轮廓数据之前被用于对所述多幅不同聚焦的图像进行定向滤波。
2.根据权利要求1的方法，其中，所述参照边缘的对准补偿可用于调整所述定向滤波方向，使得在沿所述定向滤波方向的各个位置处的边缘特征的相应偏移量至少为以下之一:a)基本被消除，b)基本被补偿，和c)基本与在沿所述定向滤波方向的各个位置处的相应边缘特征的之前确定的相应偏移量相匹配。
3.根据权利要求1的方法，进一步包括: 操作所述边缘特征视频工具，以获取所述多幅不同聚焦的图像； 施加所述参照边缘的对准补偿，调整所述定向滤波方向； 在施加所述参照边缘的对准补偿后，对所述多幅不同聚焦的图像进行定向滤波，和 基于被定向滤波后的多幅不同聚焦的图像，确定边缘特征的轮廓数据。
4.根据权利要求3的方法，其中 对所述多幅不同聚焦的图像的定向滤波包括，使用相对于与所述多幅图像每一个中的PFF基础像素位置相应的点所定义的定向滤波子区域(DFS)，每个DFS沿定向滤波方向具有较长尺寸，该较长尺寸大于沿基本垂直于定向滤波方向的第二方向的较短尺寸；以及 所述参照边缘的对准补偿被用于调整所述定向滤波方向，使得在执行定向滤波之前，沿定向滤波方向的边缘特征的偏移量至少为以下的一种:a)基本被去除，和b)基本被补\-ΖΧ ο
5.根据权利要求4的方法，其中，所述较短尺寸至多为5个像素，所述较长尺寸至少为所述较短尺寸的3倍。
6.根据权利要求5的方法，其中，仅基于该DFS中所包含的像素，确定与DFS的PFF基础像素位置相关的Z高度或PFF度量其中之一。
7.根据权利要求1的方法，其中，所述边缘特征视频工具包括用户界面，该用户界面至少包括叠加在工件图像上的感兴趣区域指示符，该方法进一步包括，通过在用户界面中调整叠加在工件图像上的元素，提供所述参照边缘的对准补偿已经被提供的指示。
8.根据权利要求7的方法，其中，在用户界面中调整叠加在工件图像上的元素，包括调整感兴趣区域指示符、边缘方向指示符和定向滤波方向指示符的至少其中之一，来表示已经提供了所述参照边缘的对准补偿。
9.根据权利要求8的方法，其中，将所述边缘特征视频工具配置成与直线边缘特征相应，并且所述调整感兴趣区域指示符包括定位感兴趣区域指示符，从而使其一个轴垂直于边缘特征，所述调整边缘方向指示符包括定位边缘方向指示符，使其平行于边缘特征，所述调整定向滤波方向指示符包括定位定向滤波方向指示符，使其平行于或垂直于边缘特征。
10.根据权利要求8的方法，其中，将所述边缘特征视频工具配置成与圆形边缘特征和圆弧形边缘特征其中之一相应，并且所述调整感兴趣区域指示符包括，定位感兴趣区域指示符，使其边界近似与边缘特征同心，所述调整边缘方向指示符包括，定位边缘方向指示符，使其近似与边缘特征同心，所述调整定向滤波方向指示符包括，定位定向滤波方向指示符，使其近似与边缘特征同心。
11.根据权利要求7的方法，其中，在用户界面中调整叠加在工件图像上的元素包括以下之一:改变叠加在工件图像上的元素的性质，和增加叠加到图像上的参照边缘的对准补偿指示符。
12.根据权利要求1的方法，其中: 该方法包括以下之一:a)选择边缘特征视频工具，使其为包括参照边缘的对准补偿操作的类型，b)选择包括参照边缘的对准补偿操作的边缘特征视频工具的参照边缘的对准补偿模式或选项，c)选择包括参照边缘的对准补偿操作的边缘特征视频工具的定向滤波模式或选项，d)选择提供参照边缘的对准补偿操作的参照边缘的对准补偿工具,所述参照边缘的对准补偿操作结合边缘特征视频工具进行操作； 所述分析感兴趣区域中至少一个工件图像的图像数据以提供参照边缘的对准补偿包括，结合边缘特征视频工具的操作来执行所述参照边缘的对准补偿操作。
13.根据权利要求1的方法，其中，在机器视觉系统的学习模式期间执行该方法，并将相应操作记录到部分程序中。
14.根据权利要求1的方法，其中，在机器视觉系统的运行模式期间，通过执行记录在部分程序中的相应操作，执行该方法的至少部分步骤。
15.根据权利要求1的方法，其中，所述提供参照边缘的对准补偿包括，对沿与边缘特征视频工具相关的缺省方向各个位置处的边缘特征的相应偏移量进行特征化。
16.根据权利要求15的方法，其中，所述对沿缺省方向各个位置处边缘特征的相应偏移量进行特征化包括: 操作所述边缘特征视频工具，获得感兴趣区域的多幅不同聚焦的图像； 基于所获取的感兴趣区域的多幅不同聚焦的图像，确定针对边缘特征的初始轮廓数据； 基于初始轮廓数据，使与边缘特征视频工具相关的线形对准边缘特征；以及 对沿缺省方向各个位置处的所对准线形的相应偏移量进行特征化。
17.根据权利要求16的方法，其中，所述与边缘特征视频工具相关的线形为直线，所述对将沿缺省方向各个位置处的对准线形的相应偏移量进行特征化包括，确定所对准的直线与缺省方向之间的角度。
18.根据权利要求16的方法，其中，所述与边缘特征视频工具相关的线形包括圆的至少一部分，所述缺省方向沿着平行于缺省圆的方向，所述对沿缺省方向各个位置处的所对准线形的相应偏移量进行特征化包括，确定相对于缺省圆对准的至少一部分圆的相应偏移量。
19.根据权利要求1的方法，该方法还包括: 在机器视觉系统的学习模式期间操作边缘特征视频工具，以获取感兴趣区域的多幅不同聚焦的图像； 确定横跨边缘特征的多个代表性的合成Z高度轮廓，其中每个代表性的合成Z高度轮廓基于在确定该代表性的合成Z高度轮廓之前，用于对多幅不同聚焦的图像进行定向滤波的相应的定向滤波方向； 确定所述多个代表性的合成Z高度轮廓其中的一个，其基本上使得沿定向滤波方向各个位置处的边缘特征的相应偏移量最小，该定向滤波方向用于提供所述代表性合成Z高度轮廓；以及 基于定向滤波方向确定参照边缘的对准补偿，该定向滤波方向与所述多个代表性的合成Z高度轮廓中的基本上使边缘特征的相应偏移量最小的那个代表性合成Z高度轮廓相应。
20.根据权利要求19的方法，其中，所述确定多个代表性的合成Z高度轮廓中的基本上使相应偏移量最小的一个包括，在所述多个代表性的合成Z高度轮廓中，确定表现出与所述代表性边缘特征相应的最大轮廓梯度的合成Z高度轮廓。
21.一种用于确定边缘特征的轮廓数据的系统，包括: 用于存储编程指令的存储器； 处理器，配置成执行所编程的指令，以执行以下操作，包括: 将工件放置在机器视觉检测系统的视场中； 操作该边缘特征视频工具，定义包括所获取的工件图像中的边缘特征的视频工具感兴趣区域；以及 操作该边缘特征视频工具，以分析感兴趣区域中至少一个工件图像的图像数据，以便提供参照边缘的对准补偿，该对准补偿涉及基本上使沿着定向滤波方向在各个位置处的边缘特征的相应偏移量最小，该定向滤波方向在确定边缘特征的轮廓数据之前被用于对所述多幅不同聚焦的图像进行定向滤波。
22.根据权利要求21的系统，其中，所述的操作还包括: 操作所述边缘特征视频工具，以获取所述多幅不同聚焦的图像； 施加所述参照边缘的对准补偿，以调整所述定向滤波方向； 在施加所述参照边缘的对准补偿后，对所述多幅不同聚焦的图像进行定向滤波，以及 基于被定向滤波后的多幅不同聚焦的图像，确定边缘特征的轮廓数据。
23.根据权利要求22的系统，其中: 对所述多幅不同聚焦的图像的定向滤波包括，使用相对于与所述多幅图像每一个中的PFF基础像素位置相应的点所定义的定向滤波子区域(DFS)，每个DFS沿定向滤波方向具有较长尺寸，该较长尺寸大于沿基本垂直于定向滤波方向的第二方向的较短尺寸；以及 所述参照边缘的对准补偿被用于调整所述定向滤波方向，使得在执行定向滤波之前，沿定向滤波方向的边缘特征的偏移量至少为以下的一种:a)基本被去除，和b)基本被补\-ΖΧ ο
24.一种计算机可读存储介质，其上存储可由处理器执行的执行，以执行以下操作: 将工件放置在机器视觉检测系统的视场中；操作边缘特征视频工具，定义包括所获取的工件图像中的边缘特征的视频工具感兴趣区域；以及 操作边缘特征视频工具，以分析感兴趣区域中至少一个工件图像的图像数据，从而提供与沿定向滤波方向各个位置处的边缘特征的相应偏移量有关的参照边缘的对准补偿，其中所述定向滤波方向在针对边缘特征确定轮廓数据之前用于对多幅不同聚焦的图像进行定向滤波。
25.根据权利要求24的计算机可读存储介质，其中，所述的操作还包括: 操作所述边缘特征视频工具，以获取所述多幅不同聚焦的图像； 施加所述参照边缘的对准补偿，以调整所述定向滤波方向； 在施加所述参照边缘的对准补偿后，对所述多幅不同聚焦的图像进行定向滤波，以及 基于被定向滤波后的多幅不同聚焦的图像，确定边缘特征的轮廓数据。
26.根据权利要求25的计算机可读存储介质,其中: 对所述多幅不同聚焦的图像的定向滤波包括，使用相对于与所述多幅图像每一个中的PFF基础像素位置相应的点所定义的定向滤波子区域(DFS)，每个DFS沿定向滤波方向具有较长尺寸，该较长尺寸大于沿基本垂直于定向滤波方向的第二方向的较短尺寸；以及 所述参照边缘的对准补偿被用于调整所述定向滤波方向，使得在执行定向滤波之前，沿定向滤波方向的边缘特征的偏移量至少为以下的一种:a)基本被去除，和b)基本被补偿。
【文档编号】G01B11/24GK104075666SQ201410182723
【公开日】2014年10月1日 申请日期:2014年3月28日 优先权日:2013年3月28日
【发明者】R·K·布里尔 申请人:株式会社三丰