用于部件程序的机器视觉系统的编辑环境的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请是于2011年11月15日提交的美国专利申请号13/297, 220的部分继续申 请，通过引用将其公开的全部内容结合于此。
技术领域
[0003] 本公开一般涉及机器视觉检测系统，特别涉及在此类系统中包括连续高速图像获 取的部件程序的编辑环境。
【背景技术】
[0004] 精密机器视觉检测系统（或简称为"视觉系统"）可用于获取被检测物体的精确尺 寸测量以及检测各种其它物体特征。此类系统可包括计算机、摄像头和光学系统，以及可在 多个方向移动以允许摄像头扫描被检测工件特征的精密平台。市售的一个示例性现有技术 系统为位于伊利诺斯州奥罗拉的美国三丰公司（MAC)销售的QUICKVIS丨ON_?系列的基 于个人计算机（PC)的视觉系统和软件。例如，在2003年1月出版的QVPAK3D CNC视觉测量机的用户指南，以及于1996年9月出版的QVPAK3DCNC视觉测量机的操作 指南，中对QUICKVISION?系列的视觉系统和QVPAK：?软件的特征和操作进行一般描 述，其全部内容据此通过引用的方式并入本文。例如，以QV-302Pro型号例证的产品能够使 用显微镜型光学系统以按不同放大倍数提供工件的图像，并按需要移动平台以使工件表面 横越任何单个视频图像的限制。典型地，单个视频图像仅包含被观察或检测的工件的一部 分，其给出此类系统所需的放大倍数、测量分辨率和物理尺寸限制。
[0005] 机器视觉检测系统一般使用自动化视频检测。美国专利号6, 542, 180对此类自动 化视频检测的各方面给出了教导，且其全部内容通过引用的方式并入本文。如在' 180专利 所教导的，自动化视频检测计量仪通常具有编程能力，其允许用户针对每个特定工件配置 而定义自动检测事件序列。这可以通过基于文本的编程而实现，例如，或通过借助于图形用 户界面存储与用户执行的检测操作的序列相对应的机器控制指令序列而逐渐"学习"检测 事件序列的记录模式而实现，或通过这两种方法的组合而实现。这种记录模式通常被称为 "学习模式"或"训练模式"。一旦在"学习模式"中定义了检测事件序列，则可以使用此序列 在"运行模式"中自动获取（以及另外分析或检测）工件的图像。
[0006] 可手动使用视频工具（或简称为"工具"）和其它图形用户界面特征以完成人工检 测和/或机器控制操作（在"手动模式"中）。也可在学习模式中记录其设置的参数和操 作，以便创建自动检测程序，或"部件程序"。例如，视频工具可包括边缘/边界检测工具、自 动对焦工具、形状或模式匹配工具、尺寸测量工具等。其它图形用户界面特征可包括与数据 分析相关的对话框、步骤和重复循环编程等。例如，此类工具通常用于各种市售机器视觉检 测系统中，如上面所讨论的QUICKVISION?系列的视觉系统和相关的QVPAK?.软件。
[0007] 包括特定检测事件序列（即，如何获取每个图像以及如何分析/检测所获取的每 个图像）的机器控制指令通常存储为针对特定工件配置特定的"部件程序"或"工件程序"。 例如，部件程序定义如何获取每个图像，例如如何以什么照明水平、什么放大级别等相对于 工件来定位摄像头。进一步地，部件程序定义如何分析/检测所获取的图像，例如，通过使 用一个或多个视频工具，如边缘/边界检测视频工具。创建带有按预定顺序进行检测操作 的指令的部件程序的能力可提供多个益处，包括提供增强的检测可重复性，以及在一个或 多个兼容的机器视觉检测系统上重复地自动执行同一部件程序的能力。
[0008] 对于用于可迅速编程多种工件的通用机器视觉检测系统，如前面提及的 QUICKVISKJN?系列的基于PC的视觉系统，传统地，图像获取操作与对最近所获取的图 像进行的图像分析操作和/或特征检测操作穿插进行（在本文中称为"穿插"型操作）。然 而，对于使通用机器视觉检测系统提供更高吞吐量的需求日益增长。根据一种方法，可在 利用摄像头和工件平台之间的连续性相对运动的同时通过进行图像获取来满足所述需求 (与间歇性地停止和启动相对运动相反，此为穿插型操作所需），从而显著提高检测的吞吐 量。此类操作在此被称为连续运动型操作。这将有利于使此类系统包括闪光灯照明以在连 续运动中协助图像获取，而不会使图像模糊。
[0009] 用于高速生产线的高速"成直线的"视觉检测系统提供了连续运动型图像获取。然 而，这样成直线的视觉系统通常是专用于单个生产线并可多次反复获取"同样"的图像，例 如在传送系统上用于连续的工件。在这种情况下，对于每个图像，运动速度和闪光灯照明参 数等均为相同的。此外，工件配置和/或图像获取参数等很少会发生改变。因此，此类系统 的编程方法无法帮助相对不熟练的用户对无限的多种工件、摄像头位置、图像获取参数等 进行快速编程。
[0010] 相反地，经验表明通用机器视觉检测系统须帮助相对不熟练的用户能对无限的多 种工件、摄像头位置、图像获取参数等进行快速编程。用于通用机器视觉检测系统的之前的 编程方法并不能使连续运动型操作的编程足够简单或快速。此外，之前的编程方法未使与 穿插型操作相结合的连续运动型操作的编程足够简单或快速。可以单独或组合使用来克服 这些问题和缺点的编程系统和方法是理想的。
[0011] 在美国专利号7, 590, 276中例示了可以克服这些问题和缺点中的某些问题和缺 点的一个示例性现有技术方法，该专利的全部内容据此通过引用的方式并入本文。如' 276 专利所述，其提供了一种部件编程的方法，其允许用户容易地定义多个图像获取操作，其 中，所述图像获取操作在学习模式操作中以自然和可直观理解的关系穿插有相关图像分析 操作。然后，在所得到的部件程序中，可自动将用于至少一些图像的图像获取操作重新排列 成连续运动图像获取顺序，其以"非穿插"的方式获取图像并存储图像，以便增加机器视觉 检测系统的吞吐量。
[0012] 但是，如' 276专利中所示，某些之前的编程方法的一个缺点是通常通过分析在学 习模式中由用户输入的各种操作、使用"重组"的编程表示和语法改变或"重组"其在部件 程序中的顺序已经实现了连续流的图像获取操作，从而可将图像获取指令分组到一起，以 使用连续运动获取多个图像，并改变或"重组"其相应图像分析指令以遵循图像获取指令， 以使所述图像分析操作在连续运动中未穿插或中断高速图像获取。因此，当再调用部件程 序指令用于编辑或查看时，可将图像分析指令与获取指令分离以用于其相应图像。这已证 明会引起此类系统用户的困惑，这是因为相关图像获取和分析指令是通过干预"无关的"图 像获取和图像处理指令而分离的，当用户试图读取或编辑"重新排列的"部件程序指令时， 这是不直观的并会导致效率低下和错误。换句话说，用于在部件程序中将图像获取操作分 组到一起的重新排列的编程表示和语法使此类部件程序的编程和编辑对于用户而言变得 更难。因此，需要能克服这些和其它不足的部件编程语法和编辑操作及功能，从而实现用于 精密机器视觉检测系统的连续图像获取部件程序的更高效、直观和灵活的编程和编辑。
【发明内容】
[0013] 提供了本发明概要，以简单的形式介绍概念的选择，且这些概念将在下面的说明 书中进一步说明。本概要的目的既不是用以识别所要求保护的主题的关键特征，也不是用 作确定所要求保护的主题范围的辅助手段。
[0014] 在各种实施例中，提供了一种精密机器视觉系统的编辑环境，其中在运行模式中 进行连续或不间断的连续流图像获取操作。精密机器视觉检测系统包括成像部分、用于承 载在所述成像部分的视野（F0V)中的一个或多个工件的平台、控制部分、显示器以及用户 界面。
[0015] 在各种实施例中，机器视觉检测系统还包括学习模式，其可操作来接收用户输入 以控制机器视觉检测系统的操作并记录与受控操作相应的指令，以便创建部件程序。学习 模式还可操作来编辑部件程序，并根据执行的编辑模式执行之前记录的部件程序指令。在 一些实施例中，学习模式可以包括用户界面功能，例如用户可控制流模式指令元件和部件 程序指令的可编辑部件程序表示。用户可控制流模式指令元件可用于指定流模式段，其中， 所述流模式段包括指定用于流模式执行的部件程序段。在各种实施例中，流模式执行可包 括在连续运动序列中按相继顺序进行图像获取操作，其中平台和成像部分彼此相对连续或 大致连续移动以获取至少两个图像。可编辑部件程序表示包括与图像获取操作相应的图像 获取指令表示、与图像分析操作相应的图像分析指令表示，并且在一些实施例中可以包括 流模式段表示。
[0016] 在各种实施例中，所述机器视觉检测系统包括运行模式，其可操作来执行之前创 建的部件程序。所述运行模式一般包括用于执行所述部件程序指令中的至少一些的执行的 流模式。在一些实施例中，其中，流模式段被定义在部件程序中，所述运行模式可以包括用 于执行不位于定义的流模式段中的部件程序指令的非流模式，以及用于执行位于定义的流 模式段中的部件程序指令的流模式。在一些实施例中，执行的所述非流模式执行不位于流 模式段中的所述第一多个部件程序指令的图像获取指令和相应图像分析指令以按与所述 第一顺序一致的方式执行所述图像获取操作和相应图像分析操作。
[0017] 在各种实施例中，配置学习模式以使可编辑部件程序表示可按第一顺序表示包括 图像获取的第一多个部件程序指令及相应图像分析指令，其中，所述第一顺序与用以创建 部件程序而进行的相应受控操作的顺序相对应。此外，可进一步配置学习模式以使执行的 编辑模式执行第一多个部件程序指令的部件程序图像获取指令和相应图像分析指令以按 与第一顺序一致的方式进行图像获取操作和相应图像分析操作，且不论第一多个部件程序 图像获取和相应图像分析指令是否包括在流模式段中（如果定义了）。
[0018] 在各种实施例中，配置运行模式，使得在第一多个部件程序图像获取和相应图像 分析指令包括在流模式段中时，使流模式根据第二顺序（例如，默认地，或在一些实施例 中，当其被包括在定义的流模式段中时）执行指令。在一个实施例中，第二顺序包括执行第 一多个部件程序图像获取指令以按相继顺序执行其相应图像获取操作，而无需依赖于执行 相应图像分析操作。另外，第二顺序还可包括执行第一多个部件程序图像分析指令以在获 取其相应图像后进行其相应图像分析操作。在一个实施例中，在获取其相应图像后的图像 获取操作的执行是在在相继顺序的图像获取操作中完成的。
[0019] 在一些实施例中，其中，所述机器视觉检测系统包括闪光灯照明或其它方法以允 许快速的图像曝光而不模糊，按相继顺序的所述图像获取操作的执行是在真正连续的运动 序列期间完成的，其中所述平台和所述成像部分相对于彼此连续移动（例如，所述平台相 对于所述成像部分连续移动）。在一些配置中，平台运动可操作以在水平面（例如，X-Y平 面）中物理移动工件，而不移动成像部分，然而，平台运动也可操作以在垂直方向（例如， Z方向）移动成像部分，而不移动工件。在其它配置中，平台运动可操作以在一个水平方向 (例如，X方向）物理移动工件，而不移动成像部分，然而，平台运动也可操作以在不同的水 平方向（例如，Y方向）和垂直方向（例如，Z方向）移动成像部分，而不移动工件。在各种 实施例中，可以连续运动序列对至少两个图像进行图像获取操作。在其它实施例中，其中， 所述机器视觉检测系统缺少闪光灯照明，或者需要减慢或者暂时停止相关运动以限制图像 模糊，按相继顺序的所述图像获取操作的执行是在大致连续的运动序列期间完成的。所述 大致连续的运动序列可以包括防止图像模糊的运动操作（例如，如由图像获取要求所命令 的减慢或暂时停止否则是连续的运动），但不包括与执行图像分析等相关的运动延迟。
[0020] 在各种实施例中，在获取其相应图像后的图像分析操作的执行至少部分地是在图 像获取操作的相继顺序中执行的。
[0021] 在一些实施例中，配置学习模式，使得在再调用包括流模式段的部件程序用于编 辑时，按第一顺序显示可编辑部件程序表示，且执行的编辑模