根据直线特征执行视觉系统平面手眼校准的系统和方法
【技术领域】
[0001]本发明涉及一种在机器视觉系统应用中所使用的校准系统和方法以及校准物体。
【背景技术】
[0002]在机器视觉系统(本文称为“视觉系统”)中，一个或多个摄像机被用于对成像场景中的物体或表面执行视觉系统处理。这些处理可以包括检查、符号解码、调整以及各种其它的自动化任务。更具体地讲，视觉系统可用于检测成像场景中穿过的一个平面工件。场景通常由一个或多个视觉系统摄像机成像，这些摄像机(一个或多个)可以包括操作相关视觉系统处理以产生结果的内部或外部视觉系统处理器。通常需要校准一个或多个摄像机以使它/它们有足够的精度和可靠性来执行视觉任务(多个)。校准板可用于校准摄像机。
[0003]校准物体(通常是一个“板”的形式)通常以在其表面带有特色图案的平板状物体的形式提供。特色图案通常经过精心设计，从而使用户能够很容易地从一个相机捕获的校准板图像中识别出每个可见特征。一些示例性的图案包括但不限于:点网格，线网格，或者大致的蜂窝图案，三角形棋盘图案等等。每个可见特征的特点可由(面)板的设计(比如相对于设计内部隐含定义的一个参考位置和/或坐标系的位置或方向)推知。
[0004]由交叉线和修饰图形镶嵌排列而成的棋盘图案设计，提供了在即便透视系数和镜头畸变、图案部分损坏、不均匀光照等非理想条件下执行校准时在精度和鲁棒性方面的一些优点。更具体地说，在一个静止物体的二维(2D)校准时，通过校准棋盘边缘确定单个棋盘块的各个角的相对位置，一般对于确定视觉系统的精度是足够的，并且视情况而定，向相机处理器提供适当的校正系数以便运行时物体在考虑这些校正系数的条件下得到测量。
[0005]通过进一步了解校准原理可知:对于一个刚体，比如一个校准板，一种运动可由一对姿态来表征:运动前的初始姿态、运动后的终止姿态——“姿态”在此定义为用于描述在任意特定瞬间、当前坐标系下物体状态的一组数值——物体的一种虚拟特性。例如，在二维空间，一个刚体可用三个数字表征:x平移，Y平移和旋转R。校准板前后的姿态描述了当相机(多个)和校准板间存在相对运动时校准板如何呈现给相机(多个)。典型地，按所谓的“手眼校准”标准，一个校准板以许多不同的姿态呈现给相机(多个)，而每个相机获取校准板在每个姿态下的一幅图像。对于机器视觉的手眼校准，典型情况下，校准板被移动到多个预定姿态，而相机(多个)获取所述校准板的特定图像。此种手眼校准的目标是在“运动坐标系”中确定相机(多个)和校准板的刚体姿态。该运动坐标系可以用多种方式来定义。姿态的数目(指定校准板和/或这些相机在空间中的位置)必须在一个适当的坐标系中解释。一旦单一的统一坐标系被选定，则姿态和运动均在该全局坐标系中描述/解释。这个选定的坐标系被常称作“运动坐标系”。典型地，“运动”由一个能够完成物理运动的实际设备来提供，比如一个机器人手臂，或者一个运动台站，比如一台起重机架。请注意，校准板既可以相对于一个或多个固定相机运动，相机(多个)也可以相对固定校准板运动。此种运动执行装置的控制器使用数值(即姿态)命令装置执行任何想要的运动，而那些数值在适合该装置的本地坐标系中被解释。注意:尽管可以选定任意运动坐标系以提供一个相对于运动执行装置与相机(多个)的通用的全局坐标系，但通常希望选择运动执行装置的本地坐标系作为整体的运动坐标系。
[0006]因此，手眼校准通过运动的执行(或者移动校准板，或者移动相机)针对运动坐标系校准系统，并在运动之前和之后获取图像以确定该运动对于一个运动物体的作用效果。通过进一步的背景延伸，这不同于典型的内在的和外在的相机校准，这种校准不包括(即“免于”)在一个运动坐标系中确定相机的外在姿态。在这种情况下，相机(多个)通常都使用所捕获的一个处于所有相机视野内特定位置的校准板的图像相对于校准板自身的坐标系得到校准。机器视觉校准软件根据每台相机捕获的校准板图像推导出每台相机的相对位置。这种校准被称作“针对校准板的校准相机”，而一个手眼校准被称作“针对运动坐标系的校准相机”。
[0007]当机器视觉系统使用手眼校准时，其软件通过把图像中观察到的运动效果和受控运动(其受控运动数据是已知的)相关联来求解各个姿态。校准的另一个结果是在相机图像中的每个像素位置和运动坐标系中一个物理位置建立映射，因此在图像空间找到一个位置后，在运动坐标系中该位置可被解出，并且运动执行装置可据之执行命令。
[0008]在各种制造过程中，希望对齐一个扁平工件或更一般地，对齐一个所关注特征位于通常相互平行的离散平面上的工件。更具体地，组装应用中，一个工件与另一个工件对齐。一个示例性的处理是需要把一部蜂窝电话或一台平板电脑的复盖玻璃插入其壳体内。另一个示例性的处理涉及打印应用，其中工件与处理设备对齐，比如丝网印刷移动电话、平板电脑或平板显示器的复盖玻璃的时候。
[0009]机器视觉手眼校准的标准技术(例如在以上描述的复盖玻璃安装布置时就要求移动一个特殊的校准目标，例如棋盘校准板)可能在操作方面比较麻烦(例如，工作区域的空间约束，特殊安装固定和/或用于握持目标的抓取装置)。这就使得自定义校准板和/或固定件的使用成为必需的，会增加成本和安装时间。
【发明内容】
[0010]通过移动一个典型的(运行时刻)工件(其下面的部件/物体处理装置，比如一个机器人和/或运动平台，被设计为在其计划的、运行时刻制造过程中进行处理)而提供一种用于执行平面的(即2D)手眼校准的系统和方法，本发明克服了先前技术的不足。该系统和方法可在手眼校准中降低对某个特定校准目标的视觉系统的依赖。具体地，示例性实施例通过在台体运动时察看对于一个物体/工件的一个或多个直线特征保证手眼校准的性能。本系统和方法有望使范围广泛的视觉系统应用获得足够的校准精度水平。该系统和方法通过工件随平台运动期间仅仅察看一个或多个直线特征即可示例性地执行手眼校准，并使用这些特征建立一个坐标系，以便视觉系统作为参照。该系统和方法利用单一的全局(和/或运动)坐标系便可应用于单个或多个相机配置。
[0011]在一个示例性实施例中，提供了一种用于视觉系统(利用具有至少一个特征的所制物体)的平面的(2D)手眼校准的系统和方法。该特征可以是线性特征，并且物体在一运动台体上至少在一个自由度上以平移或旋转方式运动。该系统还包括至少一第一视觉系统相机和图像处理器。该第一视觉系统相机可按多种参数校准，这些参数可以是(或不是)相机本身具有的，以及安排用于获取所制物体第一线性特征的图像并响应于运动台体在至少一个平移自由度上的运动而跟踪第一线性特征的运动。一处理/处理器识别一个二维(2D)平面上至少两个不同位置的第一线性特征，并基于至少两个位置，计算出第一相机像素坐标系中的像素位置与运动坐标系中物理位置间的映射关系。线性特征为一边缘、一支架和一有明显对比度差异的区域中的至少一个。可选地，可提供第二视觉系统相机(也可经过校准)。另外，在进一步实施例中，可布置提供可选的视觉系统相机(例如第三个，第四个，等等)。第二视觉系统相机可适当布置以便识别并分别跟踪所制作物体的至少一个第二线性特征。做为选择，两个或更多相机中的每一个(第一相机，第二相机等等)可跟踪同一个第一(等)特征(例如来自视域的不同点)。运动台体包括至少一将所制物体沿X轴移动的第一滑道，和一将所制物体沿I轴移动的第二滑道，y轴在2D平面通常大致与X轴正交。运动台体可包括升降机，所述升降机布置为沿一个与2D平面正交的z轴移动所制物体。该系统可以进一步包括转台，可使所制物体至少能绕X轴，y轴和z轴之一旋转。第一滑道、第二滑道和升降机中至少有一个由包括转动导螺杆和受控电机的致动器驱动。示例性的旋转台体旋转所制物体。运动台体可包括导螺杆驱动的滑道和可操作地连接至该导螺杆的受控电机。电机可包括伺服电机或步进电动机中的至少一个。运动台体包括滑道和可操作地与之相连的受控线性电机。
【附图说明】
[0012]本发明以下描述参考下列附图，其中:
[0013]图1是一个示意图，表示一个示例性的制造布置，使用了一个或多个机器视觉系统相机和相关的处理部件，用于按照此处图示的实施例的校准系统和方法；
[0014]图2是一个含多个视觉系统相机视域的示意图，每个视域指向一个包括单个线性边缘特征物体的分立区域；
[0015]图3是一个过程流程图，该过程利用附加到一个运动台体上的运行时刻物体的线性特征执行一个或多个相机的手眼校准；
[0016]图4是一个示意性的平面图，说明在一个示例性实施例中用于其视觉系统的一个单轴运动台体；
[0017]图5是一个示意性的平面图，说明在一个示例性实施例中用于其视觉系统的一个带有旋转的三轴运动台体；
[