专利名称：一种基于立体视觉伺服的机械臂系统及其实时校准方法
技术领域：
本发明属于机器人技术领域，具体涉及机器人的机械臂校准技术，特别是一种基于立体视觉伺服的机械臂及其实时校准方法。本发明能够简单而高精度地通过立体视觉定位位于机械臂末端的视觉标记物来进行机械臂的即时校准，适用于低成本、高精度要求的机械臂系统。
背景技术：
在现有技术中，按照机器人的应用环境分类，机器人包括制造环境下的工业机器人和非制造环境下的服务与仿人形机器人，其中服务机器人是指除从事工业生产以外的一大类半自主或全自主工作的机器人。其中基于视觉伺服的精确的机械臂抓取、操纵功能是服务机器人的重要功能之一，而手眼协调技术是其中的关键技术之一。手眼协调技术包括基于“手眼一体”的技术和基于“手眼分离”技术。其中，对于基于“手眼分离”技术的机器人的机械臂系统，其包括用于目标识别与定位的视觉设备和机械臂，机械臂末端包括用于抓取、操纵的执行器，所述视觉设备与机械臂是独立安装在机器人上的。比如，视觉设备安装在服务机器人的头部，机械臂安装在机器人本体上，安装位置例如机器人的肩膀或者机器人的底座。在这样的机械臂系统中，要完成对目标物体的精确抓取或操纵，就需要将视觉设备的坐标空间与机械臂末端的坐标空间进行对齐，消除两者间的偏差，或者说将机械臂的末端执行器的位姿换算到视觉设备的坐标系中，从而使得抓取或操纵的目标物体与末端执行器的相对位姿是准确的，进而保证抓取、操纵任务的有效完成。在这样的机械臂系统中，要完成这种准确的对齐，需要满足如下条件(I)对机械臂相对于机器人的头部的相对位置做准确的测量；(2)对机器人的头部与机械臂上相邻关节的相对位移做准确的测量；(3)保证机器人的头部与机械臂上的各关节的角度值准确。其中，条件(I)和(2)是由机器人的机械结构决定的，可以通过手工的测量方法直接得到精确的值；条件(3)则存在关节安装(或重启动)的零位置偏差和关节间隙两个因素导致的从关节传感器得到的关节角度值与实际值不符合的问题。对于零位置偏差，有两种情况一种是关节使用绝对编码器来获取关节位置的情况，这个需要在机械手系统安装好之后对各关节进行一次系统的零位置校准；另一种是关节使用相对编码器来计算关节位置的情况，这需要机械手系统每次启动时做一次各关节的零位置校准。至于关节间隙，主要是由驱动电机和轴承间的传动系统(即减速器)产生的。使用谐波减速器几乎可以做到零间隙，因而不会影响到机械臂的精度，但是谐波减速器的造价高昂，使得机械臂的成本难以控制；而使用造价低的行星减速器，则不可避免的因齿轮间隙导致的关节间隙，且间隙会随着关节的使用而逐渐变大，有间隙的关节，对于由编码器获得的某个关节角度值，关节的实际值是可以在这个关节角度值附近、关节间隙的范围内变动的，这种不可控的关节间隙严重影响机械臂的精度。为了获得机械臂的高精度，现有的机械臂系统一般都是使用谐波减速器来避免关节间隙，并在安装之初和机械臂系统在重启时作系统的零位置校准来完成。也就是说，现有的机械臂系统在精度高的同时成本也高，而成本低的话则精度不高。但是业内更希望有一种低成本、高精度的机械臂系统
发明内容
(一 )要解决的技术问题本发明要解决的技术问题是通过立体视觉和特定的视觉标记物来实现机器人的机械臂系统的实时精确校准，以在控制成本的同时保证机械臂操作时的高精度。( 二 )技术方案为解决上述技术问题，本发明提出一种机械臂系统，用于对目标物体进行操作，并且所述机械臂系统包括机械臂、视觉设备和主控设备，该机械臂具有多个关节，且在所述机械臂的末端安装有视觉标记物，并且，所述视觉标记物位于所述视觉设备的视觉范围内，作为识别和定位所述机械臂末端的标记；所述视觉设备和机械臂相互独立地安装，用于获取目标物体与该视觉标记物的图像，以识别和定位所述视觉标记物相对于目标物体的位姿；所述主控设备用于根据所述视觉标记物的图像计算所述机械臂的各个关节的角度，以控制所述机械臂对所述目标物体进行操作。本发明还提出一种机械臂系统的实时校准方法，所述机械臂系统用于对目标物体进行操作，并且所述机械臂系统包括机械臂，该机械臂具有多个关节，其特征在于，所述方法包括如下步骤Tl、采集所述目标物体的实时图像，根据该实时图像计算该目标物体彩色深度图像，从而确定该目标物体在视觉坐标系中的位置，所述视觉坐标系是基于视觉设备的坐标系；T2、在所述视觉坐标系中，根据所述目标物体的位置计算出一个停靠位置，该并控制机械臂的末端移动到该停靠位置，所述停靠位置是指机械臂在操作目标物体之前进行停靠的位置；Τ3、在所述机械臂的末端设置视觉标记物，采集该视觉标记物的实时图像，并根据该视觉标记物的实时图像计算该视觉标记物的彩色深度图像，由此识别和定位该视觉标记物，并确定其位姿；Τ4、根据所述视觉标记物的位姿计算所述机械臂的各关节的角度，从而对该机械臂进行校准。本发明还提出一种机器人，其包括所述的机械臂系统。(三)有益效果本发明的机械臂系统及其校准方法能够对机械臂进行实时校准，特别是当机械臂上的关节存在间隙时，本发明也能进行精确校准，从而使得机械臂系统能够完成精确的操作任务。
图I是本发明的一个实施例的机械臂系统的整体结构示意图；图2是图I所示的本发明实施例的机械臂系统的视觉标记物的具体结构示意图；图3是本发明的机械臂系统校准方法的流程图；图4是图3所示的方法中的步骤Τ3的流程图；图5是本发明的根据所述视觉标记物的位姿计算机械臂的各关节的角度的方法的示意图。
具体实施例方式本发明的机械臂系统是机器人的一部分，用于对目标物体进行操作，机器人具有一个本体，而该机械臂系统包括机械臂、视觉设备和主控设备。其中，机械臂包括多个连杆和连杆之间的关节，并且还包括用于固定在机器人本体上的固定装置。由于各个连杆之间的关节具有运动自由度，从而使得该机械臂具有多个运动自由度。并且，上述各关节均包括关节控制器，用于对关节的运动位置进行控制。此外，在机械臂的末端具有一个执行器，该执行器相对于机械臂的臂关节的位置和角度由一个机械臂坐标系来标定。该机械臂坐标系的原点位于该机械臂与机器人本体的固定装置处。本发明的视觉设备同样安装在机器人本体上，但与机械臂之间在结构上不相关联，即相互间独立地安装。视觉设备也可以进行运动，例如通过与本体之间的连接关节进行旋转和俯仰等。并且视觉设备包括有图像采集装置和图像采集控制器(两者可以是各自独立的装置或是集成装置)，图像采集装置用于采集图像，图像采集控制器用于对图像的采集、传输进行控制。并且，在本发明的机械臂系统中，机械臂的各个关节具有关节控制器，关节控制器用于控制各个关节进行转动，视觉设备的图像采集控制器和机械臂的各个关节控制器均电性连接于一个主控设备，该主控设备根据图像设备采集的关于机械臂末端的执行器与目标物体的图像，并通过关节控制器控制机械臂对目标物体进行精确地操作。如上所述，视觉设备用于采集目标物体与机械臂末端的执行器实时图像，控制设 备由该实时图像识别和定位机械臂的末端的执行器与目标物体之间的相对位置和相对角度。但是，由于机械臂与视觉设备是独立安装的，视觉设备所采集的图像中的物体的位置和角度是基于不同于机械臂坐标系的视觉坐标系的，该视觉坐标系是基于视觉设备的坐标系，其原点例如位于安装视觉设备的一个云台的旋转与俯仰关节的轴线的交点上。前面提到了机械臂坐标系和视觉坐标系，在此需要说明的是，这两个坐标系之间是可以相互换算的，根据这两个设备在机器人本体上的安装位置和我们对这两个坐标系的原点和轴向的定义，我们可以得到这两个坐标系间的换算关系。比如要控制机械臂抓取物体时，我们可先得到物体在视觉坐标系中的位置，然后将此位置换算到机械臂坐标系中，再以此计算出机械臂末端的夹持器要到达该位置机械臂各关节所对应的位置和角度。为了实时、精确地识别与定位机械臂末端的执行器，本发明在机械臂的末端固定一个视觉标记物，通过使用视觉设备对该视觉标记物在视觉坐标系上的空间位姿(位置和角度)进行识别和定位，从而计算得到机械臂末端的执行器在视觉坐标系下的空间位姿，进而通过逆运动学计算出当前机械臂上各个关节的真实角度值，完成机械臂的实时校准。事实上，即使机械臂的各关节之间有间隙，但由于重力的作用，关节轴承会比较稳定地停靠在间隙范围的某一端，也就是说，只要机械臂运动过程中，这一状态不改变，关节间隙的不可控性就不会表现出来，实时校准过后其精确性能保持到状态的改变。为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。图I是本发明的一个实施例的机械臂系统的整体结构示意图。如图所示，该实施例的机械臂系统是一个机器人的一部分，该机器人还包括本体I和安装在本体上的头部2，而该机械臂系统包括机械臂3、视觉设备4和主控设备5。具体来说，在该实施例中，本体I是一个双轮差动的移动机器人底座，其上部是一个平整表面，用以搭载其他设备。我们约定图I中向左为移动底座的正方向，底座表面左边部分称为前端，底座表面右边部分称为后端。机器人的头部2是通过一个支架6安装在底座I上的后端，而机械臂系统的视觉设备4是安装在该头部上的。机械臂系统的机械臂3则直接固定在底座I的前端。机械臂和视觉设备4的安装一前一后，机械臂末端在视觉设备的视野范围内，符合手眼协调的需求。同时，在进行抓取、操纵任务时，先要通过视觉系统搜索、定位目标物体，这时暂不涉及机械臂，所以视觉设备4和机械臂也是相互独立的。本发明的机械臂系统也可以应用于其它结构的机器人上，只要机器人能机械上安装该系统(如果是移动机器人的话则要保证安装该系统后仍保持运动的平稳性)。另外，视觉设备4和机械臂3在机器人上的安装位置也可以做各种变化，但是须保证其是独立安装，且机械臂末端能够位于视觉设备可达的视野范围内。
如图I所示，本实施例的机械臂3是一个简易的机械臂，机械臂坐标系Ck的原点在其与底座接触面的中心，该坐标系为右手系，往前是X轴的正方向，往上是Y轴的正方向。该机械臂3只在Y、Z两个维度上有自由度，从靠近机器人本体到远离机器人本体的顺序依次是第一个关节上有两个自由度，绕Z轴旋转、绕Y轴俯仰；第二个关节上有一个自由度，绕Y轴俯仰；第三个关节上有一个自由度，绕Y轴俯仰，第四个关节有一个自由度，绕Z轴旋转。上述各个关节均包括有关节控制器，关节控制器可以对关节的运动位置进行控制。在机械臂3的末端连接有一个作为末端执行器的夹持器7,其可被驱动以在一个自由度上张开和闭合，以便于夹持目标物体。根据本发明，在该机械臂3的末端固定一个视觉标记物8，该视觉标记物8的作用是作为所述视觉设备4用于识别和定位机械臂末端的一个标记，以便视觉设备4实时校准机械臂末端相对于目标物体的位姿(位置和角度)。根据本发明的优选实施方式，视觉标记物8呈片状的长方形，该视觉标记物8粘附在机械臂3的最后一节连杆的靠近连杆末端的正上表面位置，并且该片状视觉标记物的平面与机械臂3的最后一节连杆相垂直。根据本发明的优选实施方式，视觉标记物8具有特征颜色，所谓特征颜色是指用于视觉识别的系统(视觉设备和主控设备)中能够进行识别和标定的颜色，特征颜色可以形成一个色块，并使具有色块的部分位于所述视觉设备4的视野范围内。本领域技术人员应当理解的是，该实施例中所示的机械臂3是一种比较简单的情况，本发明也可用于其它更加复杂的机械臂结构中，例如在第三个关节处加一个绕Z轴旋转的自由度，但其前提是要使得机械臂在使用过程中视觉标记物能暴露在视觉设备的视野中，且能够通过视觉标记物8在机械臂坐标系Ck中的空间位姿，根据机械臂的结构约束来直接获得机械臂3上各个关节的角度。图2是图I所示的本发明实施例的机械臂系统的视觉标记物8的具体结构示意图。如图2所示，视觉标记物8为一约2. 5cmX9cm的长方形薄片(例如由铁片或铝片制成)，在沿长边方向的一端，且在距短边Icm处，沿平行于短边的一条线折成90度角，使得该视觉标记物包括相互垂直的两部分，其中面积较小的一部分用于将该视觉标记物8固定在机械臂的末端，固定方式可以是粘附或螺丝固定等多种方式。
该实施例中，该视觉标记物8的面积较大的一部分从机械臂3的末端的最后一节连杆的表面垂直向外支出。由于该部分具有两个面，可使其中一个面朝向视觉设备4。并且，为了便于视觉设备4进行识别和定位，对该朝向视觉设备的一面进行颜色设置如下整个面设置一种背景颜色(例如白色)，然后预留一定宽度(例如4mm)的边框，并将边框包围的内部区域设置为另一种与背景颜色差异较大的颜色(即前面所述的特征颜色，例如深橙色，在图2中以阴影线表示)。根据本发明，在设置内部区域的颜色时，根据所述视觉设备的类型进行不同的处理。例如，若是视觉设备是普通双目摄像头，则可尽可能让颜色块内多一些纹理，若是基于红外结构光的立体视觉(如体感外设Kinect，该设备是微软公司生产的XB0X360外设，能实时提供彩色-深度图像信息)，则可以设置成纯色。如上所述地设置背景颜色和内部区域颜 色，是为了让色块上的每个像素点都尽可能地保有深度信息，同时使色块不与环境中相似的色块粘连在一起，便于识别和定位色块。在该实施例中，机器人的头部由一个安装在支架6的顶端的云台实现，云台具有与支架连接的旋转、俯仰两个关节，云台上固定着所述视觉设备4。在该实施例中，视觉设备4是一个体感外设Kinect。在其他的实施方式中，其也可以是其他形式的立体视觉设备，如双目立体视觉设备等，只要它满足下面的特征它能提供对齐的彩色-深度图像(在该实施例中为RGB-D图像，在图像的某些像素或区域，不同的立体视觉设备会有着不同程度的深度信息缺失)，RGB-D图像的每个像素不仅有RGB的颜色信息，而且有在参照视觉坐标系CH下XYZ的空间位置信息，其图像采集、深度计算、深度-彩色图像对齐分别由相应的软、硬件实现。根据本发明，所述视觉设备4的图像采集控制器和机械臂3的各关节传感器均与一个主控设备5连接，视觉设备用于采集图像，并将采集的图像通过图像采集控制器传送到主控设备5中，主控设备5是一个具有图像处理能力的数字处理装置。在该实施例中，主控设备5是一个具有与图像采集控制器连接的接口的计算机。该计算机接收由视觉设备采集的实时图像，通过立体视觉算法对视觉标记物和目标物体进行识别与定位，进而对机械臂末端的执行器与目标位置进行识别和定位，并通过机械臂的各关节控制器进行控制，从而对机械臂进行实时校准，然后控制校准好的机械臂完成操作任务。下面通过对上述实施例中的机械臂末端的执行器与目标位置进行识别和定位的算法进行详细说明，以使本发明的机械臂系统的校准方法更加清楚。图3是基于本发明的机械臂系统的校准方法的流程图。如图3所示，本发明的校准方法包括如下步骤Tl :获取目标物体的实时图像，根据该实时图像计算目标物体彩色深度图像，从而确定目标物体在视觉坐标系CH中的位置，所述视觉坐标系CH是基于视觉设备的坐标系。在该实施例中，彩色深度图像为实时RGB-D图像，视觉坐标系CH的原点位于安装视觉设备的云台的旋转与俯仰关节的轴线的交点上。首先需要视觉设备采集目标位置的实时图像。在该实施例中，视觉设备4的图像采集装置为多个摄像头，该实时图像为该多个摄像头采集的图像。接着，通过图像采集控制器将这些实时图像传送到主控设备5中，主控设备5根据这些实时图像来计算出实时RGB-D图像，并在此基础上以识别和定位所述视觉标记物8相对于目标物体的位姿。在本领域中，不同立体视觉设备的RGB-D图像的获得均有成熟的方法，基于RGB-D图像的物体识别、定位也已有不少实用的方法，因此在此不再赘述。T2:在所述视觉坐标系中，根据所述目标物体的位置计算出一个停靠位置，并控制机械臂的末端移动到该停靠位置，所述停靠位置是指机械臂在操作目标物体之前进行停靠的位置。根据本发明的具体实施方式
，该停靠位置距离物体有一定的距离，该距离的大小要使得该距离的大小使得所述目标物体和所述视觉标记物的图像能够同时被采集，同时也应留有足够的余量避免出现碰撞，例如在该实施例中，该距离大小为5 10厘米。在该实施例中，在计算所述停靠位置时，可以直接从最终目标位置开始，沿指向机 械臂坐标系Ck原点的方向但保持同样的高度回退5 10厘米而得到停靠位置。加上机械臂的最后一节连杆应保持水平的约束，便可以计算出机械臂上各个关节需要到达的角度。然后，主控装置5向各个机械臂3的各个关节控制器发送控制信号，使各个关节控制器控制各个关节达到相应的角度，从而使机械臂的末端移动到该位置。需要注意的时，在这一步骤完成之后，机械臂的各关节角度可能是不准确的，但是能保证其误差是在一个相对较小的范围内。T3:在所述机械臂的末端设置所述视觉标记物，采集该视觉标记物的实时图像，并根据该视觉标记物的实时图像计算该视觉标记物的彩色深度图像，由此识别该定位该视觉标记物，并确定其位姿，所述位姿指的是位置和角度。图4是识别该定位该视觉标记物并确定其位姿的方法的流程图。该方法的输入是根据视觉设备采集的实时图像计算得到的对齐的彩色深度图像。在该实施例中，其是RGB-D图像。我们假设视觉标记物8在视觉设备所采集的实时图像中呈现出具有特征颜色的色块，则该方法的具体步骤如下T31 :将所述彩色深度图像转换到HSV颜色空间，然后用一个颜色阈值对该图像的像素进行分类，将其分为色块像素和非色块像素，得到一幅二值图。所述颜色阈值通常预先通过训练的方法得到，也可以直接设定。接着，根据该二值图去除明显不属于色块的像素，得到候选色块。T32:根据所述候选色块中的所有像素对应的空间位置计算该候选色块在空间中的大小、形状和位姿。T33:根据所述候选色块在空间中的大小、形状和位姿，滤除噪声色块，选出对应视觉标记物的色块。该步骤是一个可选步骤。因为可能存在的环境的不确定性，除了视觉标记物的色块外，图像中可能还有别的物体具有相似的颜色，因此图像中会有噪声色块。我们通过下面的步骤滤除噪声色块首先，从候选色块中滤除与视觉标记物的大小、形状不相符合的色块区域。然后，通过机械臂的先验关节角度和正运动学计算视觉标记物的先验位姿，滤除与先验位姿相差超过一定范围的色块区域。所谓先验关节角度是指未进行校准前所获得的关节角度，正运动学指的是已知关节变量和连杆几何参数，求解机械臂末端相对于机械臂坐标系Ck的位姿，并将其转换到视觉坐标系中的方法，所计算得到的位姿在此称之为先验位姿。所述一定范围是指包括最大空间距离和最大空间角度差异，其值机械臂的误差的上界有关，例如在该实施例中，分别为12厘米和40度。
最后，若还剩下的候选色块区域的个数大于或等于两个，则选择与先验位姿的相似度最高的色块。相似度的计算方式d+fX Θ，其中d为色块与先验位姿的空间距离，Θ为空间角度差异，f为权重系数。在该实施例中f设为O. 5。最后留下的色块区域的位姿将最终作为视觉标记物8的位姿。T4 :根据所述视觉标记物的位姿计算机械臂的各关节的角度，从而对该机械臂进行校准。图5是根据所述视觉标记物的位姿计算机械臂的各关节的角度的方法的示意图。如图5所示，A点表示机械臂坐标系的原点，即机械臂与机器人本体相互固定的固定装置的中心；B点表示从所述固定装置起始，沿着机械臂的第一个关节中心；C点为第二个关节中心；D点为第三个关节中心出点是视觉标记物8与最后一节连杆的接触点；P点为视觉标记物的中心。
根据前面的步骤，现在已知视觉标记物8的中心点P在视觉坐标系中的位姿，即空间位置和角度，由于中心点P固定在机械臂3的末端，D点的空间位置便可以求得；由事先工作测量标定的机械臂和机器人头部的相对空间位置关系，我们可以直接得到A、B两点在视觉坐标系中的位置，故BD的长度可以求出来，又BC、CD的长度已知，故可得到角BCD的角度，再加上A、B、C、D、E均处在同一个平面，由此便可以计算出各个关节所实际处于的角度值(可预先设定当整个机械臂3竖直向上时各关节处于零角度)。以上的计算方法仅为本发明的一种示例，事实上，当本发明实施为各种不同结构的机械臂时，在已知视觉标记物在视觉坐标系中的位姿时，根据几何算法均可以计算出机械臂各关节实际的角度值。根据该步骤计算的角度值是符合实际的值。将各个关节设置为该角度时，可用于后续的精确操作，此即本发明所指的机械臂实时校准。按照一般方式控制校准好的机械臂操纵目标物体。由于已根据本发明的校准方法进行校准过，在运动轨迹设计时机考虑到机械臂以相对平滑的轨迹运动，实践证明，即便机械臂的关节有间隙，机械臂的运动控制在接下来的一段运动中，各关节的角度控制都是很准确的。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种机械臂系统，用于对目标物体进行操作，并且所述机械臂系统包括机械臂(3)、视觉设备(4)和主控设备(5)，该机械臂(3)具有多个关节，其特征在于，在所述机械臂(3)的末端安装有视觉标记物(8)，并且， 所述视觉标记物(8)位于所述视觉设备(4)的视觉范围内，作为识别和定位所述机械臂末端的标记； 所述视觉设备(4)和所述机械臂相互独立地安装，用于获取目标物体与该视觉标记物(8)的图像，以识别和定位所述视觉标记物(8)相对于目标物体的位姿； 所述主控设备(5)用于根据所述视觉标记物的图像计算所述机械臂(3)的各个关节的角度，以控制所述机械臂对所述目标物体进行操作。
2.如权利要求I所述的机械臂系统，其特征在于，所述机械臂具有多个连杆，该多个连杆通过所述多个关节相连接，并且所述视觉标记物(8)固定于所述机械臂末端的最后一节连杆上。
3.如权利要求2所述的机械臂系统，其特征在于，所述视觉标记物(8)固定于所述最后一节连杆的末端，并与该连杆垂直。
4.如权利要求2所述的机械臂系统，其特征在于，所述视觉标记物(8)具有特征颜色，所述特征颜色是所述视觉设备(4)和主控设备(5)能够进行识别和标定的颜色。
5.如权利要求4所述的机械臂系统，其特征在于，所述特征颜色形成色块，且该色块位于所述视觉设备(4)的视野范围内。
6.如权利要求4所述的机械臂系统，其特征在于，所述视觉标记物(8)为片状，所述特征颜色位于该片状的一面，将该具有特征颜色的一面朝向所述视觉设备(4)。
7.如权利要求I所述的机械臂系统，其特征在于， 所述视觉设备(4)包括图像采集装置和图像采集控制器，所述图像采集装置用于采集图像，所述图像采集控制器用于对图像的采集、传输进行控制； 所述机械臂(3)的各关节具有关节控制器，其用于控制各个关节进行转动； 所述图像采集控制器和所述关节控制器均电性连接于所述主控设备，所述主控制备接收所述图像采集控制器输入的图像，并通过所述关节控制器控制各个关节的运动。
8.如权利要求7所述的机械臂系统，其特征在于，所述图像采集装置是多个摄像头，所述图像采集控制装置用于将所述多个摄像头采集的实时图像传送至所述主控设备(5)。
9.如权利要求8所述的机械臂系统，其特征在于，主控设备(5)根据所述多个摄像头采集的实时图像计算彩色深度图像，并根据该彩色深度图像识别和定位所述视觉标记物(8)相对于目标物体的位姿。
10.一种机械臂系统的实时校准方法，所述机械臂系统用于对目标物体进行操作，并且所述机械臂系统包括机械臂，该机械臂具有多个关节，其特征在于，所述方法包括如下步骤 Tl、采集所述目标物体的实时图像，根据该实时图像计算该目标物体彩色深度图像，从而确定该目标物体在视觉坐标系中的位置，所述视觉坐标系是基于视觉设备的坐标系； T2、在所述视觉坐标系中，根据所述目标物体的位置计算出一个停靠位置，该并控制机械臂的末端移动到该停靠位置，所述停靠位置是指机械臂在操作目标物体之前进行停靠的位置；T3、在所述机械臂的末端设置视觉标记物，采集该视觉标记物的实时图像，并根据该视觉标记物的实时图像计算该视觉标记物的彩色深度图像，由此识别该定位该视觉标记物，并确定其位姿； Τ4、根据所述视觉标记物的位姿计算所述机械臂的各关节的角度，从而对该机械臂进行校准。
11.如权利要求10所述的机械臂系统的实时校准方法，其特征在于，所述视觉标记物具有特征颜色，所述特征颜色是能够进行识别和标定的颜色。
12.如权利要求10所述的机械臂系统的实时校准方法，其特征在于，在所述步骤Tl和Τ3中，所述彩色深度图像是RGB-D图像。
13.如权利要求10所述的机械臂系统的实时校准方法，其特征在于，在所述步骤Τ2中，该停靠位置距离所述目物体有一定的距离，该距离的大小使得所述目标物体和所述视觉标记物的图像能够同时被采集。
14.如权利要求10所述的机械臂系统的实时校准方法，其特征在于，所述步骤Τ3包括如下步骤 Τ31、将所述彩色深度图像转换到HSV颜色空间，然后用一个颜色阈值对该图像的像素进行分类，将其分为色块像素和非色块像素，得到一幅二值图，根据该二值图去除明显不属于色块的像素，得到候选色块； Τ32、根据所述候选色块中的所有像素对应的空间位置计算该候选色块在空间中的大小、形状和位姿。
15.如权利要求14所述的机械臂系统的实时校准方法，其特征在于，在所述步骤Τ32之后还包括步骤Τ33，即根据所述候选色块在空间中的大小、形状和位姿，滤除噪声色块，选出对应所述视觉标记物的色块。
16.如权利要求15所述的机械臂系统的实时校准方法，其特征在于，所述步骤Τ33包括如下步骤 从所述候选色块中滤除与所述视觉标记物的大小、形状不相符合的色块区域； 通过所述机械臂的先验关节角度和正运动学计算所述视觉标记物的先验位姿，滤除与该先验位姿相差超过一定范围的色块区域，所述先验关节角度是指未进行校准时所获得的关节角度； 若剩下的候选色块区域的个数大于或等于两个，则选择与先验位姿的相似度最高的色块。
17.—种机器人,其特征在于,包括权利要求1-9中任一项所述的机械臂系统。
18.如权利要求17所述的机器人，所述机器人包括本体(I)，所述机械臂系统的机械臂(3)和视觉设备(4)相互独立地安装于所述本体(I)上。
全文摘要
本发明公开了一种机械臂系统及其校准方法，机械臂系统包括机械臂、视觉设备和主控设备，在所述机械臂的末端安装有视觉标记物，并且使视觉标记物位于视觉设备的视觉范围内；视觉设备和机械臂相互独立地安装，用于获取目标物体与该视觉标记物的图像，以识别和定位所述视觉标记物相对于目标物体的位姿；主控设备用于根据所述视觉标记物的图像计算所述机械臂的各个关节的角度，以控制所述机械臂对所述目标物体进行操作。本发明能够在机械臂上的关节存在间隙时对机械臂进行校准，使机械臂系统能够完成精确的操作任务。
文档编号B25J19/00GK102922521SQ20121027917
公开日2013年2月13日 申请日期2012年8月7日 优先权日2012年8月7日
发明者王 锋, 陈小平, 靳国强, 程敏, 陈凯, 谢炯坤 申请人:中国科学技术大学