专利名称：基于视觉定位的工业机器人控制系统及其控制方法
技术领域：
本发明涉及机器人领域，尤其是基于视觉定位的工业机器人控制系统及其控制方法。
背景技术：
工业机器人在各工业领域中获得了广泛应用，如机器人焊接、机器人喷漆、机器人 搬运等。在这些领域中工业机器人代替人工做出可重复的精确的运动，从而保证了产品质 量的一致性。机器人要完成特定动作必须沿特定轨迹运动，目前有两种方式规划机器人的 运动轨迹，一是在线示教，二是离线编程示教。在线示教是通过机器人的手控操纵盒控制机器人运动，在线示教的过程包括使机 器人上安装的工具，如喷枪、焊枪等的末端运动到其操作部位，并记录下在这个位置机器人 的坐标；根据需要控制机器人运动到多个位置，并记录这些轨迹；然后机器人沿示教时记 录的轨迹自主运动，完成特定的操作任务。这种示教方法的优点是对机器人的模型精度要 求低，使用机器人的理论模型即可；另外，不需标定机器人的工具坐标系。该方法的缺点是 (1)机器人的在线示教编程不但过程繁琐、效率低、占用宝贵的生产时间，而且使机器人系 统成为一个相对独立的单元，难以实现与其他系统或生产过程的无缝集成；( 示教的精 度完全靠示教者的经验目测决定，精度较低，对于复杂焊缝等难以获得令人满意的示教效 果；C3)示教过程中，人工控制机器人运动到一特定点，操作过程复杂，示教人员容易疲劳， 而且还处于机器人工作空间的危险环境下。因此该方法仅适用于运动轨迹简单，即示教点 数少、精度要求不高的场合，不能满足当今小批量、多品种的柔性生产的需要。对复杂运动轨迹的示教通常采用离线编程方式。离线编程示教是基于精确的机器 人模型，并建立工具坐标系，将工具末端的坐标精确地变换到机器人基准坐标系下，根据操 作工件的CAD模型规划出实际操作时工具末端的连续运动轨迹。该方式的实现对机器人模 型的精度，以及机器人工具坐标系的确定都有很高的精度要求。机器人模型是表示机器人末端在机器人基准坐标系下的方位，通常是指机器人的 理论模型，理论模型也是机器人的设计模型，即设计时所确定的杆长和各关节之间的关系。 而机器人的实际制造和安装过程会产生误差，造成机器人的实际模型与理论模型有很大差 异，以理论模型作为实际模型来使用必然造成机器人末端的位置误差。为了获得机器人的 真实的模型就必须对机器人进行标定，即确定真实的关节关系和杆长。目前，常用的标定方 法是用三坐标测量机、关节臂测量机或激光跟踪仪来测量各个关节的转动情况，从而确定 各关节的轴线方向和位置，以此来重建机器人模型。通常将标记点固定在机器人的一个关 节的臂上，机器人绕该关节可转动到多个位置，利用测量机或激光跟踪仪测量该标记点的 位置，利用同一个标记点在不同位置下的坐标拟合圆可得圆心坐标和圆的法线方向，圆的 法线方向可表示该关节的轴线方向。测量机和激光跟踪仪的误差会带来标记点的位置误 差，从而造成关节轴线误差。因此，现有标定方法对机器人的标定精度没有大的提高，经过 标定后的机器人的位置误差仍然会大于1毫米。
机器人末端安装不同的操作工具都要将工具末端的坐标转换到机器人基准坐标 系中，根据上述方法已经确定机器人模型，只需将工具坐标系转换到机器人末端坐标系中 即可。目前常用的方法是三点法，该方法是手工控制机器人与空间三个点接触从而实现工 具坐标系的标定。然而，在实际操作中难以使操作工具末端完全与空间固定点接触，要么没 有完全接触上，存在间隙，要么两者的接触量过大，发生碰撞。因此，对工具坐标系参数的求 解必然存在误差。综上所述，现有机器人示教方式存在以下问题(1)在线示教操作过程繁琐，效率 和精度都比较低，仅适用于操作轨迹较简单，且精度要求不高的场合；(2)离线编程示教对 机器人模型的精度和工具坐标系参数的求解精度要求很高，而目前对机器人模型的标定精 度和工具坐标系参数的标定精度较低，因此，离线编程生成的路径精度不高，不能满足高精 度复杂轨迹的操作需要。
发明内容
本发明的目的在于提出了一种基于视觉定位的工业机器人控制系统及其控制方 法，其安全性好，对于操作工具的运动状态更加容易监控，并做到实时处理、精度高，可拓展 机器人的应用领域。本发明是采用以下的技术方案实现的一种基于视觉定位的工业机器人控制系 统，该系统包括机器人和机器人控制器，机器人的末端设有操作工具，其中，该系统还包括 视觉测量装置，机器人通过机器人控制器与视觉测量装置连接，操作工具上固定有至少四 个发光标记点，其中第一发光标记点、第二发光标记点之间的连线与第三发光标记点、第四 发光标记点之间的连线相垂直并交于一点，且第一标记点、第二标记点与交点的距离不同， 其余的发光标记点沿第一发光标记点与第二发光标记点的连线、以及第三发光标记点、第 四发光标记点的连线设置。本发明中，所述的视觉测量装置可以为双目视觉测量装置，该装置由两个摄像机 组成，两摄像机之间相距1.0-2. 0m，且两摄像机之间的夹角为10° -25°。所述的视觉测量 装置也可以采用单目视觉测量装置或三目视觉测量装置。所采用的摄像机可以是工业数字 相机。所述的机器人为六轴机器人，七轴机器人或并联机器人。所述操作工具上可以固定有五个发光标记点，其中第五个发光标记点设置在交点 上。所述操作工具上也可以固定有六个发光标记点，其中第六个发光标记点设置在第二个 发光标记点的正下方。本发明还包括一种基于视觉定位的工业机器人控制方法，该方法包括以下步骤(1)对视觉测量装置进行建模与标定对视觉测量装置的每个摄像机建立针孔成像模型，利用同一个平面网格靶标同时 对每个摄像机进行标定，求出各个模型中的未知参数，并确定由各摄像机测量空间点构成 的视觉测量装置坐标系owxwywzw，视觉测量装置所测的空间点的三维坐标均在该坐标系中；(2)发光标记点的识别与三维坐标的确定各摄像机分别拍摄发光标记点，识别发光标记点在各幅图像中的位置，并分别匹 配，将各个单目视觉模型联立求解可得到每个发光标记点在视觉测量装置坐标系owxwywzw中的三维坐标；(3)操作工具末端三维坐标的确定在发光标记点平面内建立二维坐标系OtXtYt，即以过第三发光标记点、第四发光标 记点的连线为&轴，过第一发光标记点、第二发光标记点的连线为\轴，然后将操作工具的 末端放在锥孔内，使操作工具绕该锥孔转动，至少旋转到四个位置，这样操作工具末端的位 置不变，而发光标记点的位置发生了变化，在每个位置下根据各发光标记点的三维坐标可 确定Ot的坐标，根据至少四个位置下的Ot的坐标拟合得到球心坐标Os，该球心坐标即为操 作工具末端在视觉测量装置坐标系owxwywzw下的三维坐标；(4)人工示教过程将操作工具从机器人末端取下，用人手手持灵活运动，走出实际工作时需要的运 动轨迹，如焊缝的轨迹，在该过程中用视觉测量装置实时记录操作工具上每个发光标记点 的运动轨迹，该运动轨迹是在视觉测量装置坐标系owxwywzw下的三维离散点；由发光标记点 的运动轨迹按照(3)中的方法可确定操作工具末端的运动轨迹和姿态；(5)机器人学习过程人工示教结束后，再将操作工具固定在机器人的末端，通过控制机器人运动使操 作工具再次走出人工示教时走出的轨迹，该过程中，通过视觉测量装置观测发光标记点的 位置，并输入到机器人控制器中，机器人控制器根据发光点的位置可计算出操作工具末端 的位置和操作工具的姿态，以操作工具末端的当前位置与人工示教过程操作工具末端的位 置的差、以及操作工具的当前姿态与操作工具人工示教过程的姿态的差作为机器人控制的 反馈信息，通过定位运动控制和定方向运动控制的过程交替使操作工具的末端沿人工示教 时机器人末端的轨迹运动，同时在每个末端位置下使操作工具的姿态与人工示教过程时的 姿态相同。本发明中，所述的定位运动控制过程中，将操作工具末端的当前位置定义为当前 点，使操作工具末端从当前点出发向目标点靠近，当前点和目标点的坐标都是在视觉测量 装置坐标系owXwywzw下，根据机器人的理想模型，利用其第一至第三轴可建立沿三个方向做 直线运动的模型，即通过第一至第三轴的转动实现沿三个方向的直线运动控制带有操作 工具的机器人的第一至三轴使机器人沿Z方向运动，并实时计算操作工具末端的位置，求 出末端当前位置与目标位置之间的差，当操作工具末端离目标点最近时，记下这时Z坐标； 然后控制机器人的第一至三轴的转动使机器人沿X向运动，并记录判断操作工具末端到目 标点的距离，记录距离最小时的X坐标，接下来使机器人沿Y向运动，记录沿Y向运动后工 具末端离目标点最近时的Y坐标。经过上几步可使操作工具末端较接近目标点。所述的定方向运动控制过程中，以Yt的方向表示操作工具的方向即姿态，从当前 点出发，先绕机器人的第四轴旋转，当Yt与目标点的矢量方向夹角最小时记下第四轴的角 度；再绕第五轴旋转，当Yt与目标点的矢量方向夹角最小时记下第五轴的角度；最后绕第 六轴旋转，当Yt与目标点的矢量方向夹角最小时记下第六轴的角度，这时Yt的方向接近目 标点的方向。定位运动控制过程每进行一步会使操作工具末端接近目标点，同样定方向运动控 制过程每进行一步也会使操作工具的姿态接近人工示教的姿态，因此定位运动控制和定方 向运动控制的过程交替进行使机器人的位置和姿态都接近人工示教的位置和姿态。当操作工具末端的位置和操作工具的方向与人工示教时的偏差在允许范围内时记录下机器人六 个轴的当前角度，这样机器人就完成了一个位置的学习，以同样方法机器人可进行其他位 置的学习。将人工示教时的连续轨迹离散成若干个位置，机器人只要完成对这些位置的学 习就可以走出与人工示教时相同的轨迹；机器人完成学习后的运动是重复学习时记录的位 置，运动过程中不再需要视觉测量装置对其进行监控。本发明的有益效果是第一，本发明所述的控制系统结构简单，操作方便，效率和 精度都很高；第二，本发明所述控制方法的人工示教过程、定位运动控制过程和定方向运动 控制过程中，对发光标记点或操作工具末端的定位都是在视觉测量装置坐标系owxwywzw之 下的，因此对机器人的运动控制精度没有要求，对工具坐标系与机器人坐标系的相对位置 关系没有要求，只要按照机器人的理论模型通过第一轴至第三轴转动实现直线运动，第四 轴至第六轴转动实现旋转运动即可，从根本上避免了常规的离线编程示教时对机器人模型 的精度和工具坐标系标定精度的极其严格的要求；第三，机器人模型相对简单，完全以机器 人设计时的理论模型做控制模型，而不需要对机器人的精度进行特别调试；第四，视觉测量 装置可以多台机器人共用，通过定位运动控制过程和定方向运动控制过程形成稳定的运动 路径后，只要机器人具有较好的重复性，以及操作工具固定可靠，没有位置变化就可以沿该 路径反复运动完成同一个任务，因此可以实现多台机器人共用双目视觉测量装置，节省成 本；第五，该方法对工件定位和摆放位置具有很强的适应性，只要工件放在机器人的工作范 围内即可，克服了离线编程示教需要精确确定初始点的缺点；第六，该方法以视觉测量体系 为基础，在最高层次上对机器人进行闭环控制，大大降低了对机器人模型、工具坐标系参数 等中间环节的精度要求，可拓展机器人的应用领域；第七，该方法安全性高，对于工具的异 常状态更加容易监控，并做到实时处理，减少因为控制或者配合故障导致的经济损失。综上 所述，本发明操作过程简单，效率和精度高，能够满足高精度复杂轨迹的操作要求。
图1是基于视觉定位的工业机器人控制系统的结构示意图；图2是实施例1中发光标记点的分布示意图；图3是操作工具末端三维坐标确定的结构示意图；图4是实施例1中操作工具末端在标记点三维坐标系OtXtYJt下的坐标；图5是实施例1中定位运动控制过程操作工具末端的运动轨迹；图6是实施例1中定向运动过程操作工具的运动轨迹；图7是实施例2中发光标记点的分布示意图；图8是实施例3中发光标记点的分布示意图。
具体实施例方式下面结合附图对本发明做进一步说明。实施例1图1至图6为实施例1所述的基于视觉定位的工业机器人控制系统及其控制方 法。所述的工业机器人控制系统如图1所示，该系统包括机器人1、机器人控制器2和视觉 测量装置，所述的视觉测量装置为双目视觉测量装置3，机器人1采用六轴机器人，末端设有操作工具5，机器人1通过机器人控制器2与双目视觉测量装置3连接，机器人控制器2 以双目视觉测量装置3的定位信息作为反馈信息。发光标记点4固定在机器人的操作工具 5上，双目视觉测量装置3对发光标记点4进行实时测量，通过对发光标记点的测量就可以 确定机器人末端操作工具的运动轨迹。双目视觉测量装置3将测得的操作工具5末端的位 置输入机器人控制器2内，机器人控制器2根据机器人理论模型进行逆解，传送给机器人1， 并控制机器人1运动。所述操作工具上固定有平板，平板上设有四个发光标记点4，即第一 发光标记点4A、第二发光标记点4B、第三发光标记点4C和第四发光标记点4D，其中第一发 光标记点4A、第二发光标记点4B之间的连线与第三发光标记点4C、第四发光标记点4D之 间的连线相垂直并交于一点即0点，且第一发光标记点4A、第二发光标记点4B与0点之间 的距离不同。双目视觉测量装置3由两个摄像机组成，两摄像机之间相距l_2m，且两摄像机 之间的夹角为15-25°。利用上述系统实现实现工业机器人运动控制的方法如下所述(1)对双目视觉测量装置进行建模与标定利用这两个摄像机测量空间点的三维坐标必须首先对其进行标定，对每个摄像机 建立针孔成像模型，模型如下
权利要求
1.一种基于视觉定位的工业机器人控制系统，该系统包括机器人(1)和机器人控制器 0)，机器人(1)的末端设有操作工具(5)，其特征在于该系统还包括视觉测量装置，机器 人(1)通过机器人控制器( 与视觉测量装置连接，操作工具( 上固定有至少四个发光 标记点G)，其中第一发光标记点(4A)、第二发光标记点GB)之间的连线与第三发光标记 点(4C)、第四发光标记点GD)之间的连线相垂直并交于一点，且第一标记点(4A)、第二标 记点GB)与交点的距离不同，其余的发光标记点沿第一发光标记点(4A)与第二发光标记 点GB)的连线、以及第三发光标记点(4C)、第四发光标记点GD)的连线设置。
2.根据权利要求1所述的基于视觉定位的工业机器人控制系统，其特征在于所述 的视觉测量装置为双目视觉测量装置C3)，该装置由两个摄像机组成，两摄像机之间相距 Ι-aii，且两摄像机之间的夹角为15-25°。
3.根据权利要求1所述的基于视觉定位的工业机器人控制系统，其特征在于所述的 视觉测量装置为单目视觉测量装置或三目视觉测量装置。
4.根据权利要求1所述的基于视觉定位的工业机器人控制系统，其特征在于所述的 机器人(1)为六轴机器人、七轴机器人或并联机器人。
5.根据权利要求1所述的基于视觉定位的工业机器人控制系统，其特征在于所述操 作工具( 上固定有五个发光标记点G)，第五个发光标记点GE)设置在交点上。
6.一种利用权利要求1所述基于视觉定位的工业机器人控制系统的控制方法，其特征 在于该方法包括以下步骤(1)对视觉测量装置进行建模与标定对视觉测量装置的每个摄像机建立针孔成像模型，利用同一个平面网格靶标同时对各 个摄像机进行标定，求出各个模型中的位置参数，并确定由各摄像机测量空间点构成的视 觉测量装置坐标系owxwywzw ；(2)发光标记点的识别与三维坐标的确定各摄像机分别拍摄发光标记点，识别发光标记点在各幅图像中的位置，并分别匹配，将 各个单目视觉模型联立求解可得到每个发光标记点在视觉测量装置坐标系owxwywzw中的三 维坐标；(3)操作工具末端三维坐标的确定在发光标记点平面内建立二维坐标系OtXtYt，即以过第三发光标记点GC)、第四发光标 记点(4D)的连线为&轴，过第一发光标记点(4A)、第二发光标记点(4B)的连线为Yt轴， 然后将操作工具的末端放在锥孔内，使操作工具末端的位置固定，操作工具绕该锥孔旋转， 至少旋转到四个位置，在每个位置下根据各发光标记点的三维坐标可确定Ot的坐标，根据 至少四个位置下的Ot的坐标拟合得到球心坐标0S，该球心坐标即为操作工具末端在视觉测 量装置坐标系owxwywzw下的三维坐标；(4)人工示教过程将操作工具从机器人末端取下，用人手手持灵活运动，走出实际工作时需要的运动轨 迹，在该过程中用视觉测量装置实时记录操作上每个发光标记点的运动轨迹，该运动轨迹 是在视觉测量装置坐标系owxwywzw下的三维离散点，由发光标记点的轨迹确定操作工具末 端的运动轨迹以及操作工具的姿态；(5)机器人学习过程人工示教结束后，再将操作工具( 固定在机器人(1)的末端，通过控制机器人(1)运 动使操作工具( 再次走出人工示教时走出的轨迹，该过程中，通过视觉测量装置观测发 光标记点⑷的位置，并输入机器人控制器⑵中，机器人控制器⑵根据发光标记点的位 置实时计算操作工具(5)末端的位置以及操作工具(5)的姿态，以操作工具(5)末端的当 前位置与人工示教过程操作工具( 末端的位置的差、以及操作工具(5)的当前姿态与人 工示教过程操作工具(5)的姿态的差作为机器人控制的反馈信息，通过定位运动控制和定 方向运动控制的过程交替使操作工具(5)的末端沿人工示教时机器人末端的轨迹运动，同 时在每个末端位置下使操作工具(5)的姿态与人工示教过程时的姿态相同。
7.根据权利要求6所述的基于视觉定位的工业机器人控制方法，其特征在于所述的 定位运动控制过程中，将操作工具末端的当前位置定义为当前点，使操作工具末端从当前 点出发向目标点靠近，当前点和目标点的坐标都是在视觉测量装置坐标系owxwywzw下，控制 带有操作工具(5)的机器人(1)的第一至三轴转动使机器人沿Z方向运动，并实时计算操 作工具末端的位置，求出末端当前位置与目标位置之间的差，当工具末端离目标点最近时， 记下这时Z坐标；然后控制机器人的第一至三轴转动使机器人沿X向运动，并记录判断操作 工具末端到目标点的距离，记录距离最小时的X坐标，接下来使机器人的第一至三轴转动 机器人沿Y向运动，沿Y向运动后操作工具末端最接近目标点。
8.根据权利要求6所述的基于视觉定位的工业机器人控制方法，其特征在于所述的 定方向运动控制过程中，以Yt的方向表示操作工具的方向即姿态，从当前点出发，先绕机器 人的第四轴旋转，当Yt与目标点的矢量方向夹角最小时记下第四轴的角度；再绕第五轴旋 转，当Yt与目标点的矢量方向夹角最小时记下第五轴的角度；最后绕第六轴旋转，当Yt与目 标点的矢量方向夹角最小时记下第六轴的角度，这时Yt的方向接近目标点的方向。
全文摘要
本发明涉及机器人领域，尤其是基于视觉定位的工业机器人控制系统及其控制方法。该控制系统结构简单，操作方便，效率和精度高；该控制方法的人工示教过程、定位运动控制过程和定方向运动控制过程中，对发光标记点或操作工具末端的定位都是在视觉测量装置坐标系owxwywzw之下的，因此对机器人的运动控制精度没有要求，对工具坐标系与机器人坐标系的相对位置关系没有要求，只要按照机器人的理论模型通过第一轴至第三轴转动实现直线运动，第四轴至第六轴转动实现旋转运动即可，从根本上避免了常规的离线编程示教时对机器人模型的精度和工具坐标系标定精度的极其严格的要求，能够满足高精度复杂轨迹的操作要求。
文档编号G05D1/02GK102135776SQ201110026529
公开日2011年7月27日 申请日期2011年1月25日 优先权日2011年1月25日
发明者于浩源, 王旭, 解则晓 申请人:于浩源, 王旭, 解则晓