三维标定视觉系统的系统及方法与流程

三维标定视觉系统的系统及方法
1.相关申请
2.本技术要求享有申请日为2020年03月18日、申请序列号为us 62/991,430、名称为“system and method for three
‑
dimensional calibration of avision system”的共同待审美国专利申请的权益，其教导通过引入归并本文。
技术领域
3.本发明涉及标定系统和方法以及用于机器视觉系统应用的标定对象(目标)。


背景技术：

4.在机器视觉系统(本文中又称为“视觉系统”)中，一个或多个相机用于对成像场景内的对象或表面执行视觉系统过程。这些过程可包括检查、符号系统解码、对准以及其他各种自动化任务。更具体地，视觉系统可用于检查驻留在成像场景中的工件或引导机器人末梢执行器在位置之间移动。该场景通常由一个或多个视觉系统相机成像，该相机可包括内部或外部视觉系统处理器，这些处理器操作相关联的视觉系统过程生成结果。为了使视觉系统能够以足够的准确度和可靠性执行视觉任务，一般期望通过在一个或多个相机与成像场景内的对象或表面之间建立空间关系来标定系统。在这一过程中可采用标定对象或目标来表示待标定的对象或表面的空间特性(例如，位置和取向)。举例而言，工件的图像可由二维(2d)图像像素数据(例如x和y坐标)、三维(3d)图像数据(x、y和z坐标)或混合的2.5d图像数据来表征，其中多个xy坐标平面基本平行并由可变的z高度来表征。
5.标定对象或目标(常呈“板块”形式)通常以其表面可见的独特图案(原图)的扁平结构形式来提供。通常精心地精确设计该独特图案，以便用户能够简单地标识由相机采集的目标图像中的每个可见特征。一些示例性图案包括但不限于正方形嵌格棋盘，棋盘在整个图案内具有周期性间隔的附加嵌入代码，它们指定特征位置、点格、线格、蜂窝图案、棋盘格三角形、其他多边形等。从目标的设计中了解到每个可见特征的特点，诸如相对于设计内隐含定义的参考位置和/或坐标系的位置和/或旋转。
6.典型棋盘图案设计的特征为交叉线的嵌格排列，在执行标定时提供某些准确性和鲁棒性方面的优势。更具体地，在静止对象的二维(2d)标定中，通过标定棋盘的边缘确定各个棋盘瓦角的相对位置，通常足以确定视觉系统的准确性，并酌情为相机的处理器提供校正因子，以便根据此类校正因子来测量运行时对象。
7.作为进一步的背景，视觉系统相机的标定涉及将相机传感器的像素映射到预定的坐标系。目标可提供定义坐标系的特征(例如，一系列棋盘的xy轴排列)，诸如嵌入特征图案中的2d代码(又称为“条形码”)或者以其他方式定义图案坐标系的独特基准点。通过将特征映射到相机像素，将系统标定到目标。在使用多个相机来采集全部或部分标定目标的图像的情况下，全部相机皆映射到可由目标特征指定的公共坐标系(例如，x和y沿着目标平面，z(高度)在xy平面中绕z轴旋转))或其他坐标系(例如全局坐标系)。标定目标一般可用于数种不同类型的标定操作。举例而言，典型的内在和外在相机标定操作需要由一个或多个相
机采集目标的图像，并使用在全部相机的整体视场的至少一部分内的特定位置所采集的一个目标图像相对于标定目标本身的坐标系进行标定。视觉处理器内的标定应用从一个或多个相机所采集的目标图像中推断出该相机的相对位置。目标上的基准点可用于使相机相对于目标在其各自视场内取向。这种标定据称是“将相机标定到板块上”。
8.现有的用于将3d视觉(例如立体视觉)系统成像应用于场景的设置程序一般需要使用准确但通常耗时的预标定过程，该过程中必须准确地在所有三个维度上测量3d标定目标的特征。这一过程可能成本过高，需要专业人员才能完成。此外，为了确保视觉系统的准确性和正确功能，预标定的参数应在基础3d标定设备的整个使用寿命中保持不变，这意味着该设备必须在其整个操作寿命内维护得当且不受干扰，从而确保预标定的稳定性。在工厂环境中，这种级别的保养和维护成本也很高。准确的视觉系统设置和运行状况监视是工厂车间实现高质量生产的关键因素。许多设置/监视方法都需要3d标定设备，因此上述内容代表与此类3d标定设备相关的某些主要不便之处。还应指出，准确的3d标定设备需要微米级的制造精度，这样的代价极高。
9.此外，在工厂车间，目前还不存在用于测量工作平面的取向可重复性的实用技术。同样地，机器人末梢执行器平面与组装平面的平行度通常需要手动设置，同时需要进行通常既耗时又可能不准确的主观评估(例如，基于压感纸)。


技术实现要素：

10.本发明提供了使用多层(至少两层)3d标定目标来标定3d视觉系统的系统和方法，对于工作空间(例如制造)布置系统的初始设置及此布置的后续运行状况监视，所述系统和方法既不要求对3d目标的准确预标定，也不要求繁琐的维护，从而能够克服现有技术中的劣势。所述系统和方法在不同的空间位置和不同的时间采集多层3d标定目标的图像，并计算3d标定目标在两次采集之间的取向差。本技术可用于执行基于视觉的单平面取向可重复性的检查和监视。通过将本技术应用于组装工作平面，所述系统和方法能够执行基于视觉的组装工作平面取向重复性的检查和监视。结合移动的机器人末梢执行器，本技术可用来提供基于视觉的机器人末梢执行器取向(又称为“视觉引导机器人(vgr)”)可重复性检查和监视。同样地，能够达成对两个平面的视觉引导调整，以实现平行度。所述系统和方法能够操作为执行精确vgr设置，以实现机器人末梢执行器与组装工作平面的平行度(即机器人调谐)。
11.在各种实施例中，本发明提供一种用于使视觉系统相对于3d工作空间标定的系统和方法。所述系统和方法采用多层3d标定目标，该多层3d标定目标在各自多个互不相同的位移处具有多个表面，并且这多个表面上各自具有离散的标定图案。这些表面之一可以呈“主表面”的形式，主表面上置有其他面积更小的离散表面。接收包含3d标定目标的图像数据，并将视觉系统工具应用于该图像数据。使用视觉工具来分析图像数据以计算第一空间位置处的位移与第二空间位置处的位移之差而提供结果。说明性地，所述系统和方法可将3d标定目标定位在机器人末梢执行器上，该机器人末梢执行器向视觉系统提供运动反馈，并可布置为vgr系统。举例而言，3d标定目标包括近似矩形的主表面，具有四个角以及与这四个角中各个角位置相邻的四个矩形板块。另举例而言，矩形板块的侧面定位成相对于主表面的侧面成非正交角度。离散的标定图案各自在多个表面中的每个表面上可包括棋盘图
案，该棋盘图案中内嵌的一个或多个id代码均包含有关标定图案内的位置的信息。可使用视觉工具来分析图像数据以计算第一空间位置处的位移与另一个第二空间位置处的位移之差而提供结果。所述系统和方法可基于结果和/或基于结果确定的预期时间间隔内对象平面在工作空间中的空间取向可重复性来验证第一平面与第二平面之间的平行度。说明性地，设置光学组件，该光学组件作为生成图像数据的相机组件的一部分或附接到该相机组件。光学组件可为远心或非远心的光学组件。当所设置的光学组件为非远心时，所述系统和方法移动3d标定目标并在移动3d标定目标之前和之后应用闭环2d对准过程。
附图说明
12.下面结合附图对本发明予以详述，图中：
13.图1是根据某一示例性实施例的使用标定目标和关联存储的标定目标特征关系数据进行标定过程的整体视觉系统布置图；
14.图2是与图1所示的系统配合使用的二级3d标定目标的俯视图；
15.图3是图1所示的二级3d标定目标的侧视图；
16.图4是示出根据某一示例性实施例的利用固定或移动的标定目标来验证对象平面可重复性的程序的流程图；以及
17.图5是示出根据某一示例性实施例的利用固定或移动标定目标来确定平行度的程序的流程图。
具体实施方式
18.i.系统概述
19.图1示出根据某一示例性实施例的视觉系统布置100，它由一个或多个(复数个)相机1
‑
n(110、112)组成，这些相机1
‑
n(110、112)采集标定目标120的至少一侧的图像。相机110和112布置为采集整个场景中的一些或全部标定目标120的图像。在相机110和112的视场(fov)内显示目标120。目标120由定位于运动设备(诸如多轴机械臂124)末端的移动机器人末梢执行器122来支持。末梢执行器的取向和夹持配置可能高度可变。在本例中示出使用吸盘或其他可拆式固定机构(未示出)接合目标表面，将末梢执行器122部分地覆盖目标120。机械臂124由适当的控制器128(如下所述)来控制。该机械臂124的运动由适当的坐标空间130来限定，该坐标空间130定义正交的x轴、y轴和z轴以及相关联的旋转θ
x
、θ
y
和θ
z
。在替选布置中，相机110和112的数目以及它们相对于成像场景的坐标空间(130)的取向高度可变。在各种实施例中，机器人末梢执行器122和运动设备124可替换为一种或多种其他类型的工作平面和运动设备，包括但不限于由其他机构(诸如传送带和/或升降工具和/或夹持工具)支持的组装平面。在各种实施例中，3d标定目标120到工作平面的附接可发生在其主表面180的顶部(如图所示)或底部(如下所述)。应当指出，术语“主表面”应广义理解为包括例如任何支持一个或多个投影到该主表面上方(或下方)的离散的、不同高度的小面积表面的适当表面布置。在其他替选实施例中，所描绘的离散单光学相机110和112可替换为一种或多种其他类型的相机，包括但不限于激光位移传感器、立体相机、基于lidar的相机(尤其测距相机)、飞行时间相机等。
20.相机110和112均包括图像传感器s，该图像传感器s将图像数据传输到一个或多个
内部或外部视觉系统处理器140，这些视觉系统处理器140使用功能性的模块、过程和/或处理器来执行适当的2d、2.5d和/或3d视觉系统过程。举非限制性示例，模块/过程可包括一组查找且分析图像中特征的示例性视觉系统工具142，诸如巡边器和对比工具、斑点分析器、卡尺、测距器等。视觉系统工具142与标定模块/过程144进行互操作，该标定模块/过程144执行标定并在3d目标与一个或多个相机之间建立在公共坐标空间(例如，所描绘的坐标空间130)中呈现的3d关系。应当指出，所描绘的场景的坐标空间130可根据沿着相关联的正交x轴、y轴和z轴(以及如上所述的旋转)的笛卡尔坐标来定义。在替选实施例中，可采用其他类型的坐标系(诸如极坐标)来表征3d图像空间。视觉系统过程(处理器)140也可包括id/代码查找与解码模块146，它使用常规或定制的技术来定位且解码各种类型和标准的条形码和/或其他id。下文进一步定义这些id代码，尤其是包括嵌入标定目标120中的那些id代码。
21.处理器140可在定制电路中实例化，或可如图所示在通用计算设备150中作为硬件和软件提供。该计算设备150可为云计算装置、服务器、pc、膝上型计算机、平板型计算机、智能电话和/或任何其他可接受的数据处理实施方案。该计算设备可包括用户界面，例如键盘152、鼠标154和/或显示器/触摸屏156。计算设备150可使用有线和/或无线链路驻留在适当的通信网络(例如wan、lan)上。该网络可连接到一个或多个数据处理设备，包括机器人/末梢执行器控制器160以及供其所用的适当视觉系统接口148。控制器160可在标定和运行时间期间与视觉系统数据交换信息，以向视觉系统提供有关末梢执行器位置的运动反馈(使用来自例如步进器、编码器等的机器人运动数据)162，并允许视觉系统在视觉上引导末梢执行器进入3d空间。
22.ii.3d标定目标
23.示例性布置的标定目标120是本发明设想的多种实施方案之一。进一步参照图2和图3，目标120可包括平坦表面，该表面具有相关联的原图(artwork)/标定图案(例如，嵌格明暗正方形的棋盘)。在图绘示例中，标定目标120还包括主平面180上的多个凸板块170、172、174和176。这些凸板块170、172、174和176也包括标定图案。应当指出，在本例中，板块170
‑
176的顶面上的标定图案和主表面180上的标定图案未被末梢执行器122遮挡，这样它们就可被相机清晰成像。板块170
‑
176可限定正方形、矩形、多边形或任何其他适当形状的周边。同样地，这些板块可相对于主表面180的边缘以任何适当的角度ap取向，例如与之互相平行或互不平行。在本例中，所应用的标定图案是大小相等的正方形的精确黑白棋盘。在替选实施例中，可提供其他预定图案。主表面180和凸板块170
‑
176上的图案在每个正交方向上以给定的间隔被id代码(例如常规的2d条形码182)打断，其中包含有关标定图案元素的相对位置和排列的信息。该id代码排列允许视觉系统处理器140经由id读取器/解码器146来确定相机fov内的相邻标定特征的位置。在标定目标120占据多个(可能重叠的)fov的情况下，使用id代码允许协调相邻fov中的特征，从而协助多个相机共同操作。
24.将标定图案施加于目标表面180上的方法为高度可变，例如，可采用丝网印刷法或光刻法。一般而言，定义特征边界的线及其交点的清晰度足以生成可接受的分辨率水平，这取决于整体场景的大小，可以微米、毫米等为单位进行测量。如图3所示，凸板块170
‑
176在板块主表面180和板块顶表面310之间限定高度h，该高度h对于全部板块170
‑
176可能相似，或者也可能逐板块变化。因此，每个板块或板块组可定义不同的离散高度。因此，在本示例性实施例中，每个板块的高度h不等，以便在相对于主表面180的不同位置处(例如，四个角
中的每个角处)限定不同的位移。在某一示例性实施例中，高度h为高度可变，例如1
‑
50毫米。一般而言，每个凸板块170
‑
176的高度信息都事先以相对精确的方式获知，并可以打印的条形码182进行编码。在各种实施例中，某些或全部表面310可与主表面180互相平行或互不平行。成像时，每个图案中的标定特征(板块主表面180和较小的板块凸表面310)相对于相机部署在离散的(例如z轴)空间高度上。
25.目标120可以各种方式组装在一起。在非限制性示例中，使用适当的粘合剂(氰基丙烯酸酯、环氧树脂等)将小面积的板块170
‑
176以所描绘的成角度取向(相对于主板块的xy轴)粘附到相邻的主板块表面180，与该表面180上四个相邻角中的每一个角相邻。在本例中，无需精确地控制表面180和310之间的平行度，也无需小板块在大板块上的xy放置。关于处理器140，可将来自本文描述(下述)程序中的标定信息存储在数据集190中。
26.申请日为2018年4月17日、申请序列号为us 15/955,510、名称为high
‑
accuracy calibration system and method的共同受让美国专利申请描述了使用具有两个带图案侧面的标定目标的系统和方法，每个侧面具有相关联的凸板块，其教导通过引入归并本文作为有用的背景信息。该申请描述了用于标定3d视觉系统并采用嵌入图案内的id代码来取向相邻fov中的特征的技术。这种方法涉及使用预标定，而下述程序中并不需要预标定，从而简化了标定过程，避免了需要存储相对于3d标定目标的特定于数据的预标定数据。
27.iii.基于视觉的单平面取向可重复性检查和监视
28.请参照图4的程序400。该程序400的操作条件是，存在包括对象平面(例如，组装工作平面或机器人末梢执行器平面)以及对该平面成像的相机的设置。对于末梢执行器，相机不会对平面本身成像，而是可在末梢执行器拾取或以其他方式安装(例如永久性、半永久性/可拆性等)3d设备(即标定目标120)后对其成像。应当指出，可对相机采用标准的2d标定程序。在程序400中，采用将图案(又称为有效层)置于相机fov内的方式将目标120(图1和图2)放置在对象平面上(步骤410)。然后，在步骤412中，采集目标及其有效层的一个或多个图像。在步骤414中，将视觉系统工具(图1中的142)应用于图像，以在目标中的离散层上的2d图案之间建立第一空间关系。然后，在步骤420
‑
424中建立第二空间关系。在步骤420中，在一定时间间隔之后，将3d设备再次呈现给相机，在该时间间隔期间，对象平面可能已经历运动(例如，通过机械臂或通过组装平面的支持工具)，并可能已返回到其在相机fov内的位置，则3d设备可能已移开，并再放回到对象平面上。在步骤422中，采集3d设备的一个或多个图像，并在步骤424中，将视觉系统工具(图1中的142)应用于图像，以建立离散层上2d标定图案之间的第二空间关系。
29.然后，在程序400的步骤430中，使用位移(第一关系与第二关系之间的差异)连同每个关系中各层之间的已知高度差来计算第一与第二位置/放置之间的平面取向变化。这样生成的结果可存储为标定数据的一部分(步骤450，经由判定步骤440)，并用于验证该布置的长期标定和可重复性。为了进一步验证结果和/或可重复性，判定步骤440分支回步骤420、422和424，并使用所存储的第一关系与另一组板块之间新的第二关系来重新计算结果(步骤430)。这样重复步骤420
‑
430可以几分钟、几日、几周等时间间隔进行，以验证对象平面的取向可重复性。
30.可以构想，上述程序400与作为远心布置的附接或集成的相应相机光学组件(图1中的o1、o
n
)配合使用。如果光学组件o1、o
n
为非远心组件，则存在一些特殊的考虑因素，需要
应用额外的步骤。在可移动对象平面(例如机器人末梢执行器)的情形下，在每次放置目标以建立第一或第二空间关系之后，再指令末梢执行器在平面内移回到其首次放置的位置。这一点能够通过提供标准2d闭环对准的视觉系统工具来实现。这样的对准工具可获自例如马萨诸塞州纳蒂克的cognex corporation公司。替选地，如果对象平面不可移动(例如，夹紧的组装平面)，则可使用机械固位技术将目标放置在受限区域中。
31.iv.视觉引导两个平面调整以实现平行度
32.参照图5的程序500，该布置采用定义两个离散平面(例如，机器人末梢执行器以及组装平面或工作平面)的设置，其中相机对这两个平面进行成像(步骤510)。程序500的目标是实现这两个平面之间的平行关系。在某一示例性实施方案中，一个平面(例如机器人末梢执行器)的取向可调节。可使用标准的2d标定方法借助运动系统对相机进行初始标定。根据程序500，在步骤510中，将3d目标定位在第一平面上。然后，在步骤522中，由相机在第一空间位置处取围绕其中两层的关注区域采集3d目标的一个或多个图像。在步骤530中，由相机在第二空间位置处采集目标的一个或多个图像。使用适当的视觉工具获取目标不同层上的2d图案之间的空间关系。然后，在步骤540中，使用已知位移(基于已知高度信息的两个关系之间的差异)以及层间高度差来计算两个平面的取向差。然后，在步骤550中，基于来自步骤540的取向差来调整一个平面(例如，机器人末梢执行器)的取向，以消除这个计算出的取向差。在机器人的情形下，可将适当的运动命令传输到其控制器以解决差异。
33.可经由判定步骤560以闭环方式执行程序500的步骤530
‑
550，直至该过程完成为止，此时程序结束(步骤570)。更具体地，在首次调整之后(步骤550)，判定步骤560分支回步骤530以采集3d标定目标的另一图像，并使用来自步骤550的新位移来重新计算取向差(步骤540)。再次用这个新取向差进行调整(步骤550)。在循环中(经由判定步骤560)重复步骤530
‑
550的过程，直至计算出的取向差足够小为止。此时，该过程经由判定步骤560和结束步骤570而视为完成。调整信息可适当存储。
34.再次指出，上述程序500假定使用包括远心透镜的相机光学组件o1、o
n
。如果相机使用的透镜为非远心透镜，则程序500也会采用特殊考虑。根据这些特殊程序步骤，两个平面应处于相同的高度(即相对于相机处于相同的工作距离)。在将3d标定目标放置在第二平面上(和每次调整)之后(步骤550)，将目标在平面内移动(例如，通过指令机器人)到在第一平面上测量3d设备的位置(步骤522)。此结果可使用标准的2d闭环对准过程来实现。
35.在上述每个程序中，本领域技术人员应能理解用于获得结果的特定计算。这样的计算一般采用已知的三维几何原理应用于数字计算环境。
36.v.综述
37.应当理解，上述系统和方法有效地消除了对高成本且较耗时的预标定程序的需求，这可能不受终端用户的控制。所述系统和方法维持了类似于该布置的预标定状态的准确性能，从而有效地解决了有关基础制造布置的长期维护问题。更具体的，所述系统和方法确保工作空间中平面的长期可重复性和平行度。所述系统和方法允许在特征不处于相同高度且相机安装不精确的情况下以快速、直接又经济的方式进行计量/测量。
38.前文已经详细描述了本发明的说明性实施例。在不背离本发明的精神和范围的情况下，可以作出各种修改和添加。每个上述各种实施例中的特征可与其他所述实施例中的特征适当组合，以便在相关联的新实施例中提供多样性的特征组合。另外，尽管前述内容描
述了本发明的设备和方法的数种单独的实施例，但本文描述的内容仅为本发明原理的应用说明。例如，如本文所用，术语“过程”和/或“处理器”应广义理解为包括多种基于电子硬件和/或软件的功能和部件(并替选地可称为功能“模块”或“元素”)。此外，所描绘的过程或处理器可与其他过程和/或处理器组合，或者可分为各种子过程或子处理器。根据本文所述的实施例，这些子过程和/或子处理器可以进行各种组合。同样可明确设想，可使用电子硬件、由程序指令的非暂时性计算机可读介质组成的软件或者硬件与软件的组合来实施本文所述的任何功能、过程和/或处理器。附加地，如本文所用，诸如“垂直”、“水平”、“上”、“下”、“底”、“顶”、“侧”、“前”、“后”、“左”、“右”等各种方向性和布置性术语仅用作相对约定，而不用作关于固定坐标空间的绝对方向/部署，诸如重力作用方向。附加地，在关于给定的测量、值或特性采用术语“基本上”或“近似”的情况下，它是指在正常操作范围内达成预期结果的数量，但由于系统允许公差范围内的固有不准确和误差而具有一定可变性(例如1％
‑
5％)。据此，本说明书仅旨在举例说明，而非以其他方式限定本发明的保护范围。