专利名称：机器人的视觉实时纠偏系统和纠偏方法
技术领域：
本发明涉及一种利用视觉系统对机器人进行实时纠偏的系统和方法，尤其是一种用于焊接机器人的在焊接过程中对焊缝进行识别、跟踪与纠偏的焊缝视觉实时纠偏系统和纠偏方法。
背景技术：
工业机器人已经广泛应用于汽车、工程机械等行业，主要完成焊接、装配及搬运等作业。在这其中，焊接机器人占主导地位，应用最为广泛。目前的焊接机器人大多为可编程的示教再现机器人，这种机器人在其工作空间内可以精确地完成示教的轨迹和动作。在机器人焊接过程中，由于各种因素的影响，实际的焊接条件经常发生变化。例如，由于强烈的弧光辐射、高温、烟尘、飞溅、坡口状况、加工误差、 夹具精度、表面状态和工件热变形等影响会使焊枪偏离焊缝，从而造成焊接质量下降甚至失败。焊接条件的这种变化要求焊接机器人能够实时检测出焊枪与焊缝间的偏差，并调整焊接路径和焊接参数，保证焊接质量的可靠性。因此，焊接机器人的焊缝纠偏方法得到了广泛的研究。在焊缝纠偏系统中，传感器是一个至关重要的设备，用于焊缝位置信息的获取。焊缝传感器可分为直接电弧式、接触式和非接触式三大类。直接电弧式传感器结构简单，响应速度快，但只能针对特定的焊缝形状，应用范围有限。接触式传感器由于与工件接触，难适用于高速焊接场合。非接触传感器主要有电磁传感器、光电传感器、超声波传感器、红外传感器及视觉传感器等，其中，视觉传感器应用最为广泛。视觉传感器有着灵敏度高、精度高， 抗电磁干扰，与工件无接触，获得焊缝信息丰富等优点，得到广泛的关注与应用。根据机器人末端传感器的位置与焊缝位置的偏差信息来控制机器人末端执行器 (末端工具)位姿的方法有两类。一类是宏-微控制方式，即在原有机器人末端增加一个微动装置。由于这种方式中机器人运动控制与微动控制是解耦的，所以控制较为简单，但缺点是增加了成本，而且由于微动装置是安装在机器人末端的，所以现场应用布线复杂，同时也为机器人增加了额外的载荷。另外一类是自调节方式，即不增加额外装置，直接利用机器人的关节位移补偿来实现机器人末端位姿的微动调节。这样做的好处是不需要为机器人增加额外的装置。有些国外工业机器人，如日本安川的M0T0MAN-UP6系列机器人和德国CLOOS 公司的R0MAT76AW型弧焊工业机器人，提供了电压模拟量输入接口，以实时控制机器人末端执行器沿直角坐标方向的偏移量，达到焊缝跟踪的目的，就是属于这一类，但内部实现方法未见报道。国内的一些学者正是利用机器人这一功能，实现了焊接机器人的焊缝跟踪和纠偏。但是这种方法尚存在有许多不明因素，在提供给焊接机器人模拟量输入后，纠偏功能是如何实现的，实时性如何，如何才能保证其控制精度，这些都是未公开的。
发明内容
(一 )要解决的技术问题
5
本发明所要解决的技术问题是克服现有机器人纠偏系统在实时性、控制精度等方面不可靠的缺点，提供一种实时性好、控制精度高的机器人实时纠偏系统。( 二 )技术方案为了解决上述技术问题，本发明提出一种机器人视觉实时纠偏系统，所述机器人包括机器人本体和连接于该本体末端的一末端工具，该末端工具用于完成机器人的作业任务，其中，所述系统包括视觉模块和机器人控制器，所述视觉模块电性连接于机器人控制器，用于实时获取目标图像信息，对获取的目标图像信息进行处理，以得到所述末端工具与目标之间的位置偏差信息，并将该位置偏差信息发送给机器人控制器；所述机器人控制器电性连接于机器人本体，用于根据来自视觉模块的位置偏差信息，产生控制所述末端工具的实时伺服命令，并将该实时伺服命令发送给机器人本体，以对末端工具进行实时纠偏。本发明还提出一种机器人视觉实时纠偏方法，所述机器人包括机器人本体和连接于该本体末端的一末端工具，该末端工具用于完成机器人的作业任务，其特征在于，所述方法包括如下步骤第一步获取目标图像，并将所获取的目标图像进行处理以得到目标位置信息，从而得到基于图像坐标系的目标位置偏差信息；第二步将所述基于图像坐标系的目标位置偏差信息转换为笛卡尔空间的目标位
置偏差信息；第三步根据用户运动命令和示教轨迹，产生示教关节空间信息；第四步根据示教关节空间信息及所述笛卡尔空间的目标位置偏差信息产生实时伺服命令，以对目标进行实时跟踪，并对所述末端工具进行实时纠偏。(三)有益效果本发明具有以下有益效果(I)所发明的系统连接简单，视觉模块通过串行总线与机器人控制器连接，传送末端工具与目标间的偏差信息，简化了系统结构，实际应用中方便快捷；(2)无需添加任何额外的设备，通过关节位移补偿就可达到实时控制机器人的末端作小尺度位姿调整，实现了目标跟踪，相比于宏一微方式的机器人纠偏系统，降低了制造成本和控制复杂度；(3)机器人位姿微调方法中的偏差信息可由传感器通过串行总线直接传给机器人控制器，而无需像现有的Μ0Τ0ΜΑΝ机器人一样，要先把位置偏差信息通过D/A器件转化成电压，然后传给机器人控制器进行处理。因此本发明不仅节省了所述转化环节和转化时间，更重要的是减少了数据失真，提高了控制精度。(4)本发明的系统能够快速地对位置偏差信息进行处理，完成对机器人末端工具的位置调整，实时性好。
图I是本发明的视觉实时纠偏机器人的模块示意图；图2是本发明的机器人视觉实时纠偏系统一个具体实施例的模块示意图；图3是本发明的一个实施例的用于焊接机器人的焊缝视觉实时纠偏系统的功能示意图；图4是本发明的一个实施例的工业用的六关节焊缝视觉实时纠偏焊接机器人的结构示意图；图5是本发明的一个实施例的焊缝视觉实时纠偏焊接机器人的主控制器22的模块组成示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。根据本发明，由视觉模块和机器人控制器构成机器人视觉实时纠偏系统。机器人包括机器人本体和安装在本体末端的末端工具，视觉模块安装于末端工具的前端，并与末端工具刚性连接，以保证视觉模块与末端工具之间有固定的位置关系。机器人控制器由主控制器、运动控制卡、电源板及输入输出接口板组成。主控制器主要完成笛卡尔空间轨迹生成、关节空间轨迹转化、位置偏差信息转换及纠偏所需数据的运算。运动控制卡主要完成关节空间轨迹的插补、关节空间位置偏差的运算，并发送实时伺服命令给驱动器。根据本发明的机器人视觉实时纠偏系统的工作流程是视觉模块包括图像采集单元和图像处理单元，用于完成目标信息的获取和处理。图像采集单元例如可为一摄像头，当摄像头在采集到图像信息后，传输给图像处理单元，由图像处理单元进行数字化图像处理， 得到目标的特征点。利用特征点的位置，可以形成末端工具与目标间的位置偏差数据，传送给机器人控制器。视觉模块与机器人控制器通过串行总线相连，用以传输位置偏差数据。这种方式连接方便，节省了数据的转化环节和转化时间，传输速度快，减少了数据失真。主控制器接收所述位置偏差信息，此位置偏差信息为图像坐标系下的位置偏差信息，经主控制器的计算对其进行坐标变换，转换为机器人笛卡尔空间坐标系下的位置偏差信息。所述主控制器可以为一微处理器芯片，例如ARM公司出品的处理器。主控制器将计算得到的机器人笛卡尔空间坐标系下的位置偏差信息及相应的雅可比矩阵发送至运动控制卡中，运动控制卡实时计算出机器人本体的关节空间中各个关节相应的位置偏差值。将各个关节相应的位置偏差值与示教轨迹计算得到的关节轨迹叠加， 得到实时的伺服命令，完成目标实时纠偏。所述运动控制卡可以由处理器芯片构成，例如是一个数字信号处理器(DSP)。图I是根据本发明的视觉实时纠偏机器人的模块示意图。如图I所示，视觉实时纠偏机器人包括示教盒I、机器人控制器2、视觉模块3、机器人本体4及末端工具5。机器人本体4是机器人进行作业的主体部件，也属于被控制的对象。机器人本体 4具有一个末端，其通过机器人控制器2的控制，能够以期望的轨迹进行运动。机器人本体4由若干运动副和杆件连接而成，这些杆件称为连杆，连接相邻两个连杆的运动副称为关节。每个关节包括一个固定件和一个活动件，活动件包括驱动器(图中未标出)，在驱动器的作用下，做相对固定件的一维运动，多个关节同步运动，使机器人本体的末端以一定轨迹进行运动。本发明的视觉实时纠偏机器人还包括末端工具5，其连接于机器人本体4的末端， 用于完成机器人的各种作业任务。例如，当机器人是焊接机器人时，该末端工具5可以是该焊接机器人完成焊接作业所需的必备构件，包括焊枪、送丝机、焊接电源等。
示教盒I是机器人进行人机交互的重要设备，其能够与机器人控制器2建立通讯连接，用于机器人的示教操作，例如在线编程、示教程序的回放、显示机器人的工作状态信息等。视觉模块3与机器人控制器2建立电性连接，主要功能是实时获取目标图像信息， 对获取的目标图像信息进行处理，以得到末端工具5与目标之间的位置偏差信息，并将该位置偏差信息发送给机器人控制器2。视觉模块3安装在焊接机器人本体4的末端，与末端工具5形成刚性连接，保证视觉模块3与末端工具5之间有固定的位置关系。机器人控制器2是焊接机器人的核心部件，其电性连接于机器人本体4。机器人控制器2根据来自视觉模块3的位置偏差信息，产生用于控制所述末端工具5的实时伺服命令，并将该实时伺服命令发送给机器人本体4，以对末端工具5进行实时纠偏。所述实时伺服命令产生包括轨迹规划、逆运动学求解、运动轨迹插补、机器人状态信息的获取与反馈等，这将在下文中详细描述。此外，根据具体的机器人应用环境，该机器人控制器2也可以用于完成其他功能。图2是本发明的机器人视觉实时纠偏系统的模块示意图。如图2所示，本发明的机器人视觉实时纠偏系统包括以上所述的视觉模块3和机器人控制器2两部分。视觉模块3包括图像获取单元31和图像处理单元32。图像获取单元31固定连接于机器人本体的末端，用于获取目标图像，并将所获取的目标图像传送至图像处理单元32。 图像处理单元32对包含目标图像信息的目标图像进行处理，得到目标位置信息，从而得到基于图像坐标系的目标位置偏差信息。由于目标图像在计算机内被存储为M*N数组，M行 N列的图像中的每一个元素(称为像素，pixel)的数值即是图像点的亮度(或称灰度)，因此可以定义图像坐标系，每个像素的坐标分别为该像素位于数组中的列数和行数。通过处理得到图像中焊枪与焊缝的图像坐标值，计算得到焊枪与焊缝在图像中的偏差。机器人控制器2包括总线板21、主控制器22、若干运动控制卡(在图2显示的实施例中为第一运动控制卡23、第二运动控制卡24、第三运动控制卡25)、电源板26及输入输出接口板27。总线板21是机器人控制器2进行内部信息和电源传送的通道，各板卡均插接在总线板21上，通过总线板21相互通信，获取所需信息及电源。总线板21例如是一个包括数据总线、控制总线、电源线，并且带有多个标准插槽接口的总线背板，但也可以是其他任何能够实现总线式数据通信的总线背板构成，例如PCI总线背板。主控制器22与示教盒I及视觉模块3连接，并且通过总线板21与第一、第二、第三运动控制卡23、24、25以及电源板26、输入输出接口板27连接。主控制器22例如通过串行总线与示教盒I建立通讯连接，以获取示教盒I的示教程序，并依据示教程序给出的示教点进行轨迹的规划、插补、逆运动学求解等运算，并将运算得到的关节空间轨迹插补信息通过总线板21传送至运动控制卡23、24、25。同时，主控制器22也可通过串行总线与视觉模块3连接，以获取视觉模块3的输出的位置偏差信息，该位置偏差信息是数字量的位置偏差信息。视觉模块检测到的偏差信息为数字量，直接传送至机器人控制器2，而无需像现有的 Μ0Τ0ΜΑΝ机器人方法一样,先把偏差信息通过D/A器件转化成电压,然后传给机器人控制器进行处理。本发明不仅节省了转化环节和转化时间，更重要的是减少了数据失真，提高了控制精度。
主控制器22对该数字量的位置偏差信息进行处理，得到机器人本体4的各关节的位置偏差信息，根据各关节的位置偏差信息形成一控制信号，并将该控制信号传送至第一、 第二、第三运动控制卡23、24、25。有关主控制器22的具体信息处理步骤将在下文中详细描述。主控制器22可以是一个微处理器芯片，例如ARM系列的微处理器芯片。三块运动控制卡23、24、25与总线板21相连，通过总线板21获取主控制器22传来的控制信号，产生实时的伺服命令。三块运动控制卡23、24、25还与机器人本体4的各关节的驱动器相连，将所述实时伺服命令传送至各驱动器，实现对机器人本体的各关节的运动控制。第一、第二、第三运动控制卡23、24、25可以由微处理器芯片构成，例如是一个数字信号处理器(DSP)。并且，本发明的运动控制卡的数目并不限于三个，而是可以根据机器人的关节数目设定为所需的其它数目。电源板26用于提供总线板21上插接的各块板卡所需的电源。输入输出接口板27插接在总线板21上，提供机器人进行作业所需的各种DI、 D0(数字输入输出)信号，提供抱闸电源开关信号等。为便于介绍本发明的机器人视觉实时纠偏系统的工作原理，现以工业用的六关节焊接机器人及其中的机器人视觉实时纠偏系统为例进行说明。但本发明并不限于此，本发明也可以应用于其他的需要进行实时纠偏的机器人中，本发明所应用的机器人的关节数也不仅限于六个，具有其它数目的关节的机器人也同样适用。图3是根据本发明的一种用于焊接机器人的焊缝视觉实时纠偏系统的功能示意图。如图3所示，所述焊接机器人具有如前所述的结构，包括示教盒I、机器人控制器2、视觉模块3。上述各个部件的功能与组成亦与前述相同。根据本发明，当焊接机器人接受一项作业任务后，首先由示教盒I将示教程序发送至主控制器22，所述示教程序包括了焊接机器人在焊接作业时所需的位置、速度、轨迹等信息。视觉模块3通过其图像获取单元获取焊缝的图像信息，并通过图像处理单元对所获取的焊缝的图像信息进行处理后，得到焊缝图像中焊缝与焊枪之间的位置偏差，并将此位置偏差信息将被发送至机器人控制器2的主控制器22中。在该实施例中，图像获取单元为一摄像机，图像处理单元为一微型计算机。图4是根据本发明的一种包括上述焊缝视觉实时纠偏系统的工业用的六关节焊缝视觉实时纠偏焊接机器人的结构示意图。如图所示，焊接机器人的机器人本体包括六个关节。如前所述，机器人本体4由若干运动副和杆件连接而成，这些杆件称为连杆，连接相邻两个连杆的运动副称为关节。每个关节是一个运动副，即包括一个固定件和一个活动件， 该活动件包括驱动器(图中未标出)，并在驱动器的作用下可做相对固定件的一维运动。关节的位置用q表不，速度用4表不，加速度用0表不。第一关节41的固定件固定在机器人基座上，而基座固定在大地上，大地坐标系为0-xyz 40。第一关节41的活动件通过连杆与第二关节42固定件连接，所述连杆例如是传动轴，本发明并不限于此，也可以由齿轮实现连杆的功能。第二关节42的活动件通过连杆和第三关节43的固定件连接；第三关节43的活动件通过连杆和第四关节44的固定件连接；第四关节44的活动件通过连杆和第五关节45的固定件连接；第五关节45的活动件通过连杆和第六关节46的固定件连接；第六关节46的活动件通过连杆和机器人的末端工具5连接，所述末端工具5例如为一焊枪。末端工具5上附有一个坐标系Ot-xyz 48,称为工具坐标系，其原点和称作 TCP (Tool Center Point)的末端工具中心点相重合。工具坐标系48随末端工具5—同运动，可用来表示末端工具5的在笛卡尔空间坐标系，即大地坐标系0-xyz 40下的位姿、速度和加速度。一种常用的机器人末端工具位姿表示方式是齐次位姿矩阵
权利要求
1.一种机器人视觉实时纠偏系统，所述机器人包括机器人本体(4)和连接于该本体末端的一末端工具(5)，该末端工具用于完成机器人的作业任务，其中，所述系统包括视觉模块(3)和机器人控制器(2)，其特征在于所述视觉模块(3)电性连接于机器人控制器(2)，用于实时获取目标图像信息，对获取的目标图像信息进行处理，以得到所述末端工具(5)与目标之间的位置偏差信息，并将该位置偏差信息发送给机器人控制器(2);所述机器人控制器(2)电性连接于机器人本体(4)，用于根据来自视觉模块(3)的位置偏差信息，产生控制所述末端工具(5)的实时伺服命令，并将该实时伺服命令发送给机器人本体(4)，以对末端工具(5)进行实时纠偏。
2.如权利要求I所述的视觉实时纠偏系统，其特征在于，所述视觉模块(3)包括图像获取单元(31)和图像处理单元(32)，所述图像获取单元(31)用于获取目标图像，并将所获取的目标图像传送至图像处理单元(32)；所述图像处理单元(32)用于对目标图像进行处理以得到目标位置信息，从而得到基于图像坐标系的目标位置偏差信息。
3.如权利要求2所述的视觉实时纠偏系统，其特征在于，所述目标位置偏差信息为数子里。
4.如权利要求2所述的视觉实时纠偏系统，其特征在于，所述机器人本体(4)包括多个关节，关节之间由连杆连接，每个关节包括一个固定件与一个活动件，该活动件由一驱动器驱动。所述机器人控制器(2)包括主控制器(22)和运动控制卡(23、24、25)，所述主控制器(22)与所述运动控制卡(23、24、25)以及视觉模块(3)电性连接，并且用于从用户接收一示教程序，并对该示教程序进行解释，获取用户运动命令和示教轨迹，接收视觉模块(3)传送的基于图像坐标系的目标位置偏差信息，并将其转换为笛卡尔空间的目标位置偏差信息，根据所述用户运动命令和示教轨迹，产生示教关节空间信息，并且该示教关节空间信息及所述笛卡尔空间的目标位置偏差信息发送给所述运动控制卡；所述运动控制卡(23、24、25)用于根据示教关节空间信息及所述笛卡尔空间的目标位置偏差信息产生实时伺服命令，并发送给机器人本体(4)的关节的驱动器，以对目标进行实时跟踪，并对所述末端工具(5)进行实时纠偏。
5.如权利要求4所述的视觉实时纠偏系统，其特征在于，所述机器人控制器(2)通过串行总线与视觉模块(3)进行通信。
6.如权利要求4所述的视觉实时纠偏系统，其特征在于，所述视觉模块(3)安装在焊接机器人本体(4)的末端，与末端工具(5)形成刚性连接，使得该视觉模块(3)与末端工具(5)之间有固定的位置关系。
7.如权利要求4所述的视觉实时纠偏系统，其特征在于，所述运动控制卡(23、24、25) 根据雅可比矩阵及笛卡尔空间的目标空间位置偏差信息计算出各关节偏差信息，将关节偏差信息与示教关节运动信息综合，进行关节空间的插补运算，发送运动控制命令以实现末端工具(5)作小尺度位姿调整。
8.如权利要求7所述的视觉实时纠偏系统，其特征在于，所述主控制器(22)包括轨迹协调器(51)和与该轨迹协调器(51)相连接的笛卡尔空间轨迹生成器(52)、关节空间轨迹转化器(54)、关节空间偏差转换器(55)、笛卡尔空间偏差转换器(56)和关节空间轨迹插补器(57)，其中所述笛卡尔空间轨迹生成器(52)用于根据所述用户运动命令生成笛卡尔空间下的轨迹节点数据并发送给所述轨迹协调器(51)；所述轨迹协调器(51)用于将返回的笛卡尔空间的轨迹节点数据发送到关节空间轨迹转化器(54)；所述关节空间轨迹转化器(54)根据所述笛卡尔空间的轨迹节点数据生成机器人各关节空间的轨迹节点数据；所述笛卡尔空间偏差转换器(56)用于将图像坐标系下的目标位置偏差信息转换为笛卡尔空间的位置偏差信息并发送给所述轨迹协调器(51)；所述轨迹协调器(51)还用于将返回的笛卡尔空间的位置偏差信息发送到关节空间偏差转换器(55)；所述关节空间偏差转换器(55)用于接收轨迹协调器(51)发送来的笛卡尔空间的位置偏差信息，将其转换为关节空间的位置偏差信息；关节空间轨迹插补器(57)进行关节空间的插补运算，产生关节空间轨迹插补命令。
9.如权利要求8所述的视觉实时纠偏系统，其特征在于，所述关节空间偏差转换器 (55)还用于接收轨迹协调器(51)发送来与笛卡尔空间的位置偏差信息相应的雅可比矩阵，以生成关节空间的位置偏差信息。
10.如权利要求8所述的视觉实时纠偏系统，其特征在于，所述轨迹协调器(51)还连接有机器人参数数据库(53)，所述机器人参数数据库53用于存储当前机器人本体的物理参数信息。
11.一种机器人视觉实时纠偏方法，所述机器人包括机器人本体(4)和连接于该本体末端的一末端工具(5)，该末端工具(5)用于完成机器人的作业任务，其特征在于，所述方法包括如下步骤第一步获取目标图像，并将所获取的目标图像进行处理以得到目标位置信息，从而得到基于图像坐标系的目标位置偏差信息；第二步将所述基于图像坐标系的目标位置偏差信息转换为笛卡尔空间的目标位置偏差/[目息;第三步根据用户运动命令和示教轨迹，产生示教关节空间信息；第四步根据示教关节空间信息及所述笛卡尔空间的目标位置偏差信息产生实时伺服命令，以对目标进行实时跟踪，并对所述末端工具(5)进行实时纠偏。
12.如权利要求11所述的机器人视觉实时纠偏方法，其特征在于，所述机器人本体(4) 包括多个关节，各关节之间由连杆连接；在第四步中，根据雅可比矩阵及笛卡尔空间的目标空间位置偏差信息计算出各关节偏差信息，将关节偏差信息与示教关节运动信息综合，进行关节空间的插补运算，以产生伺服命令。
13.如权利要求12所述的机器人视觉实时纠偏方法，其特征在于，所述第四步包括如下步骤根据所述用户运动命令生成笛卡尔空间下的轨迹节点数据；根据所述笛卡尔空间的轨迹节点数据生成机器人各关节空间的轨迹节点数据；将所述笛卡尔空间的位置偏差信息转换为关节空间的位置偏差信息；进行关节空间的插补运算，产生关节空间轨迹插补命令，以产生伺服命令。
全文摘要
本发明公开了一种机器人视觉实时纠偏系统，所述机器人包括机器人本体(4)和连接于该本体末端的一末端工具(5)，所述系统包括视觉模块(3)和机器人控制器(2)，所述视觉模块(3)电性连接于机器人控制器(2)，用于实时获取目标图像信息，对获取的目标图像信息进行处理，以得到所述末端工具(5)与目标之间的位置偏差信息，并将该位置偏差信息发送给机器人控制器(2)；所述机器人控制器(2)电性连接于机器人本体(4)，用于根据来自视觉模块(3)的位置偏差信息，产生控制所述末端工具(5)的实时伺服命令，并将该实时伺服命令发送给机器人本体(4)，以对末端工具(5)进行实时纠偏。
文档编号B23K37/00GK102581445SQ201210027078
公开日2012年7月18日 申请日期2012年2月8日 优先权日2012年2月8日
发明者强艳辉, 戚玉函, 景奉水, 李恩, 杨超, 梁自泽, 谭民, 贾鹏霄 申请人:中国科学院自动化研究所