用于校准的机器人系统和方法
【技术领域】
[0001] 本发明涉及用于对象识别单元的坐标系至机器人单元的坐标系的校准的技术。
【背景技术】
[0002] 照相机可以用来在诸如寻找和抓握对象等的不同任务中帮助机器人。照相机于是 起到针对机器人的视觉传感器的作用。然而，为了能够使照相机所感测到的与机器人的动 作协调，照相机的坐标系与机器人的坐标系之间的关系必须是已知的。这可以通过将照相 机校准至与机器人的坐标系共用的坐标系来完成。
[0003] 校准问题可以看作确定照相机的内在和外在的参数。内在参数定义照相机的焦距 和宽高比、即照相机中的摄像元件的宽度与高度之间的比率，以及倾斜。照相机的外在参数 是描述照相机的坐标系与机器人的坐标系之间的几何关系的参数。该几何关系也可以在数 学上被称作位姿。
[0004] 用来确定照相机的外在参数的传统途径是将照相机朝向2D(二维）棋盘格校准。 接着通过首先定义出机器人TCP(工具中心点）并接着将指向工具轻推至棋盘格的定义工 作对象的点而手动地指出相应框架。接着可以确定照相机的坐标系与机器人的坐标系之间 的关系。该手动照相机校准具有多个缺点。例如，往往难以在棋盘格上指出精确的TCP并 且也难以指出精确的工作对象。过程花费很长时间并且往往给出较差结果。用户也难以知 道最终结果是否精确，因为没有关于所得到的精度的反馈。由于校准基于2D棋盘格，所以 未给出3D(三维）信息；并因此不能使用用于3D应用的校准结果。
[0005] 从2003年10月在内华达州拉斯维加斯关于智能机器人与系统的2003IEEE/RSJ 国际会议的会议记录第1037页至1043页由Malm等人提出的"用于机器人视觉的简化的内 在照相机校准与手眼校准"，说明了一种校准照相机的方法。内在照相机校准与手眼校准是 在安装于机器人的工具法兰上的两个照相机的立体声头配置上进行。该方法使用棋盘格来 进行机器人的直接位姿估计。如果相反具有固定的照相机，则棋盘格必须被附接至工具法 兰。棋盘格必须具有相当大的尺寸以给出良好的校准精度。因为校准优选地应该周期性地 完成以确认校准，并且因为它应该能够在新的条件出现时重新进行校准，所以期望它具有 被恒定地附接至工具法兰的棋盘格使得操作者不必在每次将要校准时将棋盘格重新附接 至工具法兰。然而，具有被恒定地附接至工具法兰的大的棋盘格变得不实际。还有，对于具 有被附接至工具法兰的一个或几个照相机的情况，具有永久地放置在机器人的工作区域中 的大的棋盘格不总是合理的。
[0006] 因此存在着一种利用可以没有困难地恒定附接至机器人的小标记进行工作的替 代校准方法的需要。特别地，该方法应该利用适用于仅位置测量的标记、因此是2D标记进 行工作。
[0007] 因此本发明的目的是提供一种使用2D标记将视觉照相机校准至机器人的校准方 法。特别地，该方法应该基本上在不用手动干涉的状态下进行。
【发明内容】
[0008] 根据一个方面，目标通过根据第一独立权利要求的一种用于将机器人单元的第一 坐标系Rf与对象识别单元的第二坐标系Cf校准的方法来实现。机器人单元包括具有末端 执行器的机器人臂并且对象识别单元包括照相机单元。末端执行器进一步包括校准标记。 方法包括：
[0009] -使末端执行器移动至多个第一目标点，其中第一目标点被选择成包括末端执行 器的在机器人单元的第一坐标系Rf的所有三个轴中的移动，并且其中末端执行器在对于各 第一目标点利用对象识别单元产生在第一坐标系Rf中的位置测量和在用于校准标记的图 像平面坐标系IPf中的位置测量的同时维持相同的定向；
[0010] -基于在Rf和IPf中的测量来计算出照相机单元的内在参数Cint和对象识别单元 的第二坐标系Cf的旋转部分；
[0011] -使末端执行器移动至多个第一定向，并且在维持末端执行器的相同第一定向并 产生识别平移模式的在Rf和IPf中的位置测量的同时，对于这些第一定向中每一个使末端 执行器在平移模式中移动；
[0012] -基于识别平移模式的位置测量，计算出对于各第第一定向的从照相机单元至校 准标记的深度值Z;
[0013] -基于深度值Z和Cint将IPf中的像素上的位置测量变换成在第二坐标系Cf中的 位置值；
[0014] -基于第一定向之间的平移和重新定向计算出对象识别单元的第二坐标系Cf的平 移部分；和
[0015] -使用旋转部分和平移部分来存储Rf与Cf之间的关系以使得能够实现机器人单 元与对象识别单元之间的协作。
[0016] 利用该方法实现了对象识别单元至机器人单元的快速且精确的校准。校准可以利 用可永久附接至机器人的二维校准标记来完成。不再有针对可能花费一小时来完成的针对 棋盘格的工具中心点、TCP的耗时的示教的需要。所描述的校准方法可以在几分钟内完成 并且可以在不用必须将校准标记重新附接至机器人的同时周期性地执行。校准标记的位置 不是必须预先已知。因此即使校准标记在末端执行器上具有不同的放置，校准也可以对于 不同末端执行器精确地完成。还有，如果末端执行器包括诸如衬垫等的软质部分，则校准标 记的放置可能会在工作期间改变或不可能预先已知。然而，因为校准标记的放置不需要预 先已知，所以这不会是问题。
[0017] 所使用的照相机可以配置成在像素值U和V上测量，并且照相机单元的真实内在 参数不需要预先已知。因此，各种照相机单元可以与该方法一起使用，使得方法更加有用。
[0018] 根据一个实施例，计算出第二坐标系Cf的平移部分的步骤包括求解手眼方程式 A*x=b，其中A是描述了机器人单元的在第一定向中的不同位姿之间的旋转的矩阵，并且 其中b是描述了对于不同位姿的在Cf中的平移与Rf中的平移之间的差异的矩阵。可以使 用最小二乘法求解手眼方程式。
[0019] 根据一个实施例，使用关系（X。，Y。，Zc) = (Cint) 1 ? (u，v，1) ?Z将u和V图像坐 标变换成对象识别单元的第二坐标系Cf中的笛卡尔值X。，Y。，Z。
[0020] 根据一个实施例，Z是从方程式Z= 导出的，其中f?是照相机单元的焦 距、|u，v|是图像中的长度并且m是沿着平移模式的移动的长度。
[0021] 根据一个实施例，方法包括在使末端执行器移动至多个第一目标点之前，教导机 器人单元多个第一目标点的子集。因此，机器人单元可以被教导第一目标点的平台并基于 这些教导的第一目标点计算出第一目标点的其余部分。
[0022] 根据一个实施例，方法包括使末端执行器移动至至少三个第一定向，其中末端执 行器在所述第一定向中的每一个中具有不同的定向。通过进行该程序，能够导出照相机单 元的外在参数。
[0023] 根据一个实施例，平移模式基本上正交于照相机单元的光轴。
[0024] 根据第二方面，目的至少部分地通过一种配置成执行所描述的方法的步骤中的任 一个的机器人控制器来实现。
[0025] 根据第三方面，目的至少部分地通过一种包括对象识别单元的机器人单元来实 现，其中机器人单元配置成执行所描述的方法的步骤中的任一个。根据一个实施例，目的通 过机器人单元的使用来实现。
[0026] 根据第四方面，目的至少部分地通过一种与机器人系统有关的计算机程序P来实 现，其中计算机程序P包括配置成引起计算机单元执行根据方法的步骤中的任一项的步骤 的计算机指令。
[0027] 根据第五方面，目的至少部分地通过一种包括计算机指令的计算机产品来实现， 计算机指令被存储在计算机可读介质上，以当在计算机单元中执行计算机指令时执行根据 方法的步骤中的任一项的方法步骤。
[0028] 根据第六方面，目标至少部分地通过一种机器人系统来实现，该机器人系统包括： 定义第一坐标系Rf的机器人单元，其中机器人单元包括具有末端执行器的机器人臂。机器 人系统进一步包括：定义第二坐标系Cf的对象识别单元，其中对象识别单元包括照相机单 元；在末端执行器上的校准标记；计算机单元，具有编程单元和存储可操作以引起编程单 元进行如下操作的指令的计算机可读存储介质，操作包括：
[0029] -使末端执行器移动至多个第一目标点，其中第一目标点被选择成包括末端执行 器的在机器人单元的第一坐标系Rf的所有三个轴中的移动，并且其中末端执行器在对于各 第一目标点利用对象识别单元产生在第一坐标系Rf中的位置测量和在用于校准标记的图 像平面坐标系IPf中的位置测量的同时维持相同的定向；
[0030] -基于在Rf和IPf中的测量来计算出照相机单元的内在参数Cint和对象识别单元 的第二坐标系Cf的旋转部分；
[0031] _使末端执行器移动至多个第一定向，并且在维持末端执行器的相同第一定向并 产生识别平移模式的在Rf和IPf中的位置测量的同时，对于这些第一定向中每一个使末端 执行器在平移模式中移动；
[0032] -基于识别平移模式的位置测量，计算出对于各第一定向的从照相机单元至校准 标记的深度值Z;
[0033] -基于深度值Z和Cint将IPf中的像素上的位置测量变换成在第二坐标系Cf中的 位置值；
[0034] -基于第一定向之间的平移和重新定向计算出对象识别单元的第二坐标系Cf的平 移部分；和
[0035] -使用旋转部分和平移部分来存储Rf与Cf之间的关系以使得能够实现机器人单 元与对象识别单元之间的协作。
[0036] 优选实施例陈述在从属权利要求和详细描述中。
【附图说明】
[0037] 下面将参照附图详细地描述发明，其中：
[0038] 图1图示出根据发明的一个实施例的机器人系统。
[0039] 图2图示出针孔照相机的模型。
[0040] 图3图示出图2中的