针孔照相机模型的图像平面。
[0041] 图4是用于将机器人单元的第一坐标系Rf与对象识别单元的第二坐标系Cf校准 的方法的流程图。
【具体实施方式】
[0042] 图1图示出包括定义第一坐标系Rf的机器人单元1和定义第二坐标系Cf的对象 识别单元2的机器人系统14的示例。机器人单元1包括具有末端执行器4的机器人臂3。 机器人单元1是关节机器人单元1并且具有六个自由度。机器人臂3还设置有定义第三坐 标系TOf的工具法兰21。末端执行器4被附接至工具法兰21。第一、第三坐标系Rf与TOf 之间的关系是已知关系。
[0043] 机器人单元1和对象识别单元2位于工作站20处。机器人单元1配置成在工作 站20进行工作。
[0044] 机器人单元1包括配置成借助于控制机器人臂3上的多个电动机来控制机器人臂 3的移动的机器人控制器9。机器人控制器9包括编程单元10、例如计算机编程单元（CPU)、 计算机可读存储介质11和驱动单元12。编程单元10配置成执行位于计算机可读存储介质 11上的机器人程序，其中机器人臂3使用多个机器人位姿被移动至多个位置。驱动单元12 配置成依赖于所执行的机器人程序来控制机器人臂3的电动机。机器人单元1被进一步配 置成使用机器人单元1的关节的角度测量和机器人单元1的直接运动学模型来测量工具法 兰坐标系TOf的位姿。
[0045] 对象识别单元2包括照相机单元5和信息处理单元6。照相机单元5配置成被导 向至机器人单元1的工作站20。信息处理单元6包括编程单元7、例如CPU和计算机可读 存储介质8。信息处理单元6配置成从照相机单元5接收呈工作站20处的一个或多个对象 的图像的形式的信息。照相机单元5配置成测量对象的在照相机单元5的图像平面19 (图 2)的图像坐标系统IPf中的图像坐标的u值和V值。图像坐标可以或者是原始像素数据 或者是被变换成棋盘格框架的数据，因为将在下面描述的校准方法很好地用于两种数据工 作。来自不同坐标系的数据将给出照相机单元5的不同种类的内在参数。照相机单元5的 外在参数和校准结果因此将会是同样的。因此，没有必要知道照相机单元5是否已经被事 先校准至例如棋盘格，这使校准方法简化。信息处理单元6配置成处理图像信息使得借助 于对象辨识算法来辨识对象并在第二坐标系Cf中确定对象的位置。特别地，对象识别单元 2配置成测量末端执行器4上的校准标记13的u和v值。校准标记13因此位于末端执行 器4上。在与工具法兰21有关的末端执行器4上的校准标记13的确切位置Tf不需要预 先知道。结果，校准标记13不需要被永久地附接在末端执行器4上，而是它可以为了校准 的目的而被临时附接，并且它可以采取可去除的贴纸、磁体或类似物的形式。在图1中，在 末端执行器4的放大图中以"ABB"贴纸的形状示出了校准标记13。然而校准标记13可以 具有另一外观。
[0046] 基于所辨识的对象的位置，机器人单元1配置成使机器人臂3移动至对象的该位 置并且在对象上进行诸如拾取、焊接、喷涂、组装等的工作。于是，机器人单元1和对象识别 单元2在工作站20处工作时联合操作。
[0047] 为了使得照相机与机器人之间能够联合操作，机器人单元1的第一坐标系Rf与对 象识别单元2的第二坐标系Cf之间的关系必须是已知的。因此，必须在进行工作站20处 的工作之前借助于校准方法使坐标系彼此校准。应该理解的是，校准包括将第一、第二坐标 系Rf、Cf中的一个与第一、第二坐标系Rf、Cf中的另一个校正。
[0048] 机器人系统14进一步包括具有编程单元17、例如CPU和计算机可读存储介质16 的计算机单元15。计算机可读存储介质16可以存储计算机程序P，其中计算机程序P包括 配置成引起计算机单元15进行根据方法的步骤中的任一个的校准方法的计算机指令。计 算机指令因此可以由编程单元17执行，由此将进行该方法。
[0049] 计算机单元15例如配置成产生末端执行器4待通过机器人臂3被移动所至的多 个位姿。位姿因此包括末端执行器4的定向和位置两者。计算机单元15进一步配置成在 使末端执行器4的定向保持恒定的同时引起末端执行器4进行多个平移移动。计算机单元 15还配置成使信息处理单元6与机器人单元1协调，使得例如机器人单元1的位姿和利用 信息处理单元6做出的测量可以彼此有关。此外，计算机单元15配置成进行将在下面描述 的计算等。
[0050] 计算机可读存储介质8、11、16在这里被图示为独立的存取区域，但可以所有都实 施为一个计算机可读存储介质。以相同方式，编程单元7、10、17可以实施为一个编程单元。
[0051] 为了理解校准方法如何工作，现在将参照图2和图3说明针孔照相机的模型。在 该公开中的照相机单元5基本上根据该模型工作。模型图示出3D点"p"与在照相机单元 5的图像平面19上的其2D投影"p"的坐标之间的关系。
[0052] 第二坐标系Cf定义了Xe轴、Ye轴、Z^轴和原点"0"。原点"0"的位置也是对象识 别单元2的照相机单元5的照相机光圈所在的位置。因此，当提及信息处理单元6的第二坐 标系Cf时，它同样意味着照相机单元5的坐标系统。Ze轴定义了照相机单元5的光轴18。 在图2中，因此沿着照相机单元5的光轴18图示出图像平面19的横向颠倒版本。图像平 面19平行于&和Ye轴并且位于沿着光轴18与原点0相距距离f处。"f"是沿着照相机 单元5的光轴18的照相机单元5的焦距。
[0053] 照相机单元5测量像素参数值u和V中的投影点p'（x，y)的在图像平面19中的 位置。图像平面19具有在图像平面19的一个角部的其原点0,0。投影p'在这里被定义为 图像平面坐标系IPf中的坐标x，y，该图像平面坐标系的原点是在光轴18和图像平面19的 交叉点"c"处，并且其X轴和y轴平行于&和Ye轴。u。，V。表示图像平面19与光轴19之 间的交叉点C。交叉点C称作主点或图像中心。参数U。因此是主点处的U像素坐标，并且 参数V。是主点处的V像素坐标。在图2中第一坐标系Rf也图示出具有XjtYJ^轴、Zj由。
[0054] 在图3中，图示出图像平面19中的像素坐标与坐标系IPf中的投影p'的位置之间 的关系。如本领域技术人员已知的，图像平面19与坐标系IPf之间的不对称性可以用倾斜 角0来表达，并且如果像素坐标系IPf中的像素是非正方形则该不对称性可以用a和0 来表达，如方程式（4)中所示。
[0055] Cf与Rf之间的关系可以表达为：
[0059] 其中g代表IPf中的图像像素坐标的齐次向量，P是透视投影矩阵，Cin是代表照相 机单元5的内在参数的矩阵，Crait是代表照相机单元5的外在参数的矩阵，R是包括关于旋 转的外在参数的矩阵，T是包括关于平移的外在参数的矩阵，并且是机器人单元坐标Rf的 齐次向量。利用这里所使用的表示，这可以表达如下：
[0063] 其中s代表照相机单元5的倾斜，并且a和P和是标量值。对于正方形像素a 将等于0。
[0064] 内在参数是与照相机单元5自身有关的参数，沿着u轴和V轴的缩放（a和0)、 U轴和V轴的偏移（U。和V。）和U轴与V轴之间的倾斜0。外在参数是描述对象识别单元 2的第二坐标系Cf与机器人单元1的第一坐标系Rf之间的几何关系的参数。该关系可以 在数学上被代表为R与T表示的方程式（3)中的位姿。R是描述了从Rf到Cf的定向的旋 转矩阵，并且T是描述了Rf与Cf之间的平移的平移矩阵。
[0065] 考虑到以上关系，校准问题可以用公式表示为确定Cint与C使得点p的投影p' 的IPf中的u,V测量可以被转化成Rf中的X。YpZj直，假定照相机单元5与点p之间的深 度值Z是已知的。
[0066] 在校准开始之前，优选地进行确保对象识别单元2可以将校准标记13定位在图像 中并且提取标记13的u，V位置。标记13的u，V位置例如是标记13的角部。优选地还确 保照相机单元5的焦点和快门被设置成近似值使得标记13可以在用于校准中使用的区域 的图像中发现。
[0067] 现在将参照图4的流程图来描述用于校准机器人单元1的第一坐标系Rf与对象识 别单元2的第二坐标系Cf的方法。方法包括第一部分，在其中确定照相机单元5的内在参 数和确定照相机单元5的外在参数的第一方案。在下面的第二部分中，校正第一部分中的 外在参数的所确定出的第一方案。在这里假定校准标记13在照相机单元5的视野中可见。 如果不是，则如将在方法的结束时所说明的进行自动校正程序。
[0068] 第一部分
[0069] 方法包括使末端执行器4移动至多个第一目标点，其中第一目标点被选择成包括 末端执行器4的在机器人单元1的第一坐标系Rf的所有三个轴中的移动，并且其中末端执 行器4维持相同的定向（Al)。可以在使末端执行器5移动至第一目标点之前将这些第一目 标点的子集首先教导给机器人单元1，以定义出机器人单元1应该在哪里执行校准的第一 部分。还将基本上垂直于子集中的第一位置的方向教导给机器人单元1以定义出近似的z 轴。基于这些教导的第一目标点和z轴，机器人单元1可以配置成计算出多个第一目标点 中的其余部分。优选地，将末端执行器4移动至在至少两个平面中的至少六个目标点，因此 是其中不是所有目标点的六个目标点在相同平面中。例如，教导的目标点可以定义在第一 平面中的矩形的四个角部。机器人单元1、例如计算机单元15可以接着配置成计算出定义 了在z方向上平行于第一平面的第二、第三平面中的矩形的角部的第一目标点。以该方式 将进行末端执行器4的在第一坐标系Cf的所有三个轴中的移动。也可以计算出定义了矩形 的中心的第一目标点。这些第一目标点可以例如存储在计算机单元15的计算机可读存储 介质16中。机器人单元1接着被控制成在产生机器人单元1的在第一坐标系Rf中的位置 测量的同时移动至各第一目标点。根