定位带有已知图形的基准点的系统和方法
【专利说明】
[0001] 相关申请
[0002] 本申请要求于2013年10月16日提交的，标题为定位具有已知图形的基准点的美 国临时申请号61/891，446的权益，其全文通过引用并入本文中。
技术领域
[0003]本发明涉及在图像化场景中定位图形的机器视觉系统和方法。
【背景技术】
[0004] 机器视觉系统，又名〃视觉系统〃，在本文中用于在生产环境中执行多种不同的任 务。通常说来，一个视觉系统由一个或者多个具有图像传感器（或者〃成像器"）的摄像机 组成，获取含有生产中目标的场景的灰度或者彩色图像。对目标图像进行分析以为用户提 供数据/信息，并将目标图像与生产过程相关联。由图像生成的数据典型地由视觉系统在 一个或者多个视觉系统处理器中进行处理，这些视觉系统处理器可以是专用的，或在通用 计算机（例如PC、笔记本电脑、平板电脑或智能手机）的一个或多个软件的一部分中处理。 由视觉系统执行的一些类型的任务可包括，目标和表面的检查，和/或处于移动中的动作 阶段的目标（也称"工件"）的定位，该定位包括沿一个或多个正交的轴线或以旋转伺服该 动作阶段。
[0005] 工件的对准通常要求对一预定图形的辨识和定位，该预定图形可称为〃基准点〃。 作为对准处理的一部分，在图像上识别基准点，以及确定其二维（2D)或三维（3D)中的〃姿 态〃。基于对姿态的确定，该工件可对齐以执行一生产操作，例如部件的装配。
[0006] 通常，基准点的图形（例如十字架）被训练入视觉系统，作为其初始设置的一部 分。该训练基于基准点一个合成的或者实际的成像。应认识到，基准点可以被扭曲。这样 的扭曲可以是由生成该图形/基准点的流程导致的。例如，十字架的基准点的印刷可引起 流程变动，其导致该十字架描边宽度的变化。在十字架和圆的情形中，描边宽度可改变而圆 的一部分可变平，结果是出现限定椭圆形或样条线（spline)的边缘。尽管搜索仿射变换 (affinetransformation)(即一般在2D中的比例变化、旋转、平移和扭曲）的视觉系统应 用可以相对有效率地识别和定位（确定基准点的姿态）基准点，但结合仿射变换而加入的 扭曲，可使确定基准点姿态的处理更具挑战和带来较小的可靠度/效率。
【发明内容】
[0007]本发明克服现有技术的缺陷，提供一种用于确定图形的姿态的系统和方法，该图 形为视觉系统所知，该视觉系统以增加效率和可靠性的方式，同时采用仿射变换和形变来 确定图形的姿态。在一说明性的实施例中，该系统和方法获取具有基准点的目标图像。根 据仿射参数的粗略评估、用于仿射自由度〇)〇Fs)的搜索范围和搜索步长，来指定该基准点 (图形）。同样地，其包括具有关联的DOFs和步长的一个或多个扭曲控制点。该系统和方法 对每一 2D仿射参数的搜索范围和扭曲控制点的自由度（D0F)进行采样。对于以上采样的 每一个组合，该系统和方法变换该粗略指定的基准点，并计算出对应图像中的变换的基准 点图形的一匹配度量。该计算的结果是一计分表面。在该计分表面上计算出一组顶点。这 些顶点为图像中的潜在候选者。然后，说明性地，通过使用爬山法，对每一候选者进行精化， 在该爬山法中，反复地修改对参数的粗略评估，直到匹配度量为最大。在超过一预定（例如 用户指定的）分数时，返回该候选者的精化表示。一个或多个该精化的表示可指示运行时 图像中的一个或多个基准点的位置。可替代地，具有最佳分数的一个或多个该精化的表示 可用于对粗略指定的合成的训练基准点进行精化。该精化的训练基准点可用于训练随后的 运行时姿态测定流程。
[0008] 在一说明性的实施例中，提供了一种利用视觉系统自动确定图形姿态的系统和方 法，该图形经历均匀形变和非线性形变，该系统和方法具有关联的处理和处理步骤。该系统 和方法采用一相机总成和关联的视觉系统处理器/进程以获取包含图形的目标的图像。该 系统和方法典型地通过搜索由用户指定搜索范围的仿射参数和非直线失真参数，来执行该 图形的粗略定位，以识别和选择匹配预定图形的至少一个图形候选者。仿射参数和非直线 失真参数对应一个或多个（至少一个）最佳匹配候选者而精化，并生成精化的最佳匹配候 选者的图形表示。通常在训练图形中采用该结果，用于随后的通过视觉系统的运行时姿态 测定处理。扭曲信息的加入，提高了系统在定位基准点时的稳定性。
[0009] 说明性地，通过一个或多个2D仿射自由度来限定均匀形变，以及通过描边宽度和 样条翅曲（splinewarp)中的至少一个来限定非线性形变。执行粗略定位包括，在基于预 定步长的多个步级和搜索范围上，将相对于预定图形的至少一个控制点反复地从一标称位 置移动至多个控制点配置。对于每一控制点配置，该系统和方法可在基于预定步长的多个 步级和对应至少一个D0F的搜索范围上反复地计算相对于预定图形的仿射变换。在通过 该系统和方法分析基准点/图形的各种示例中，该图形限定：(a)具有正交朝向的臂的十字 架，每一臂限定一描边宽度和至少一个控制点，该控制点由位于两臂交叉角的单个点来限 定-其中该控制点位于相对于该臂的预定象限中，从而限定有效的图形；(b)与该十字架结 合的圆或环，且还包括另一控制点，分别地位于该圆或环的每一边缘上。
[0010] 在说明性的实施例中，该系统和方法可采用层级分析法，其中基准点/图形（例如 十字架、具有十字架的圆，或具有十字架的环）按照基于预定层级的处理顺序分解为较基 本的分图形。在该层级分析法中，根据本发明的系统和方法，在基于预定步长的多个步级和 搜索范围上，将相对于每一较基本的图形的至少一个控制点，反复地从一标称位置移动至 多个控制点配置。对于每一控制点配置，该系统和方法还可在基于预定步长的多个步级和 对应至少一个D0F的搜索范围上反复地计算相对于该较基本的图形的仿射变换。说明性 地，基准点渲染器将图形分解为更基本的图形，以及该层级包括从具有最大周界的图形至 具有最小周界的图形的顺序。通常本发明的系统和方法使用的步长可基于用户参数或自动 处理来限定。
[0011] 本发明的系统和方法说明性地计算出对应多个控制点配置和仿射变换组合中的 每一个的分数，并从该计算中提供一计分表面，该计分表面位于由仿射DOFs和控制点DOFs 界定的空间中。然后，本发明的系统和方法在该计分表面上选定一组顶点并精化每一顶点。 该选定和精化可进一步包括对图像中的图形表示或图形的多个实例的定位的组合的一个 或多个最高分数的选定。对分数的计算还可以包括，生成一梯度图像，并限定沿该梯度图像 边缘的探针，且对分数的计算可基于在梯度图像中的相应位置的探针和内插的梯度值之间 的点积的平均值。另外，通过本发明的系统和方法的对分数的计算可包括，使用爬山法对该 分数进行极大化。通过执行粗略定位以及通过在反复的逐步更精细的步长下对仿射参数和 非直线失真参数的精化，可获得准点/图形的子采样（subsampled)表示，至子像素精度。该 图形表示用作运行时基准点定位操作和/或合成的基准点图像模范的生成中的一个或两 个的模范图像。本发明的系统和方法可建立围绕图形的边界和相对于该边界的单元图形。 说明性地，该图形表示可用于在视觉系统的运行时操作期间对一个或多个基准点/图形的 定位，或用于，基于训练视觉系统工具所用的基准点/图形图像来精化一合成的图形。
【附图说明】
[0012] 以下参考附图对本发明进行说明，其中：
[0013] 图1为根据一说明性的实施例的视觉系统的示意图，其获取场景的图像，该场景 包含动作段和具有示例性的十字架基准点的工件，其中该视觉系统设置为操作一基准点查 找器进程/处理器以定位该示例性的十字架基准点；
[0014] 图2为示例性的十字架基准点的示意图，其具有位于示例性的边界方框内的相对 未扭曲的臂，该示意图显示了与图1的基准点查找器关联的控制点和相对的图像轴线的操 作；
[0015] 图3为示例性的具有变窄的水平臂的十字架基准点的示意图，其显示了图2所述 的控制点的再定位，以适应这样的臂的描边宽度的改变；
[0016] 图4为示例性的具有变窄的垂直臂的十字架基准点的示意图，其显示了图2所述 的控制点的再定位，以适应这样的臂的描边宽度的改变；
[0017] 图5为根据一实施例的示例性的具有十字架基准点的环（内圈和外圈）的示意 图，其显示了用于表征圆的额外的控制点；
[0018] 图6为根据一实施例的不例性的具有十字架基准点的环（内圈和外圈）的不意 图，其中宽度对比图5所述的发生了变化，该示意图显示了对应三个用于表征圆和十字架 元素的控制点的新的配置；
[0019] 图7为根据一说明性实施例的系统的整个基准点查找进程的流程图；
[0020] 图8为示例性的具有十字架基准点的圆的示意图，其具有一控制点以控制十字架 的水平臂和垂直臂的宽度；
[0021] 图9为示例性的具有十字架基准点的菱形的示意图，其具有一控制点以控制十字 架的水平臂和垂直臂的宽度；
[0022] 图10为另一示例性的具有十字架基准点的圆的变种，其具有一控制点以控制十 字架的水平臂和垂直臂的宽度，以及具有第二控制点以控制圆的半径；
[0023] 图11为一基准点的图像的示意图，该基准点由基于一候选图形的进程生成，其中 对应十字架图形的控制点位于臂交叉的不正确的象限中，该示意图显示了可由查找进程丢 弃的无效