一种七自由度机械臂组件抓取目标物体的方法与流程

本发明涉及机器人技术领域，特别是指一种七自由度机械臂组件抓取目标物体的方法。

背景技术：

随着作业环境的复杂化以及空间的狭窄化，不适合人类或大型装备进入以开展工作。因此，机器人越来越多的应用于非结构化环境下的自主作业的特殊场合中。仿生机器臂就是模拟人类手臂的结构，分配与人类手臂类似的各个关节，包括肩关节、肘关节和腕关节，以实现类似人类的手臂的功能。

目前，7自由度对于需要避障和回避内部奇异的机器人来说是最少的自由度数，由于具有冗余的自由度，其除了能够在三维空间中实现末端点的预期的位姿之外，还具有较强的灵活性和避障能力。因此，急需提出一种适合七自由度机械臂在狭小空间中对目标物体抓取的方法。

技术实现要素：

本发明要解决的技术问题是提供一种七自由度机械臂组件抓取目标物体的方法，以满足在狭小空间中对目标物体的识别和抓取。

为解决上述技术问题，本发明实施例提供一种七自由度机械臂组件抓取目标物体的方法，所述机械臂组件包括第一摄像头和第二摄像头；其中，所述第一摄像头安装在所述机械臂组件的机器人本体上，所述第二摄像头安装在所述机械臂的末端；所述方法包括：对所述七自由度机械臂建立运动学模型；对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数；根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间，并根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内；根据所述第二标定参数对所述目标物体进行识别和定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取。

其中，所述对所述七自由度机械臂建立运动学模型包括：采用标准d‐h建模法对所述七自由度机械臂建立运动学模型。

其中，所述对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数包括：采用张正友标定法分别对所述第一摄像头和所述第二摄像头进行单目和/或双目标定，以分别确定所述第一标定参数和所述第二标定参数；其中，所述标定参数至少包括内参、外参和重投影矩阵。

其中，所述根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间包括：当所述第一摄像头对环境进行扫描时，采用sgbm半全局立体匹配算法计算每次扫描所得的点云，以根据所述第一标定参数建立所述第一摄像头坐标系下的环境空间的三维模型，并确定所述作业空间；相应的，所述根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内包括：根据所述机械臂的运动学模型确定所述第一摄像头和所述机器人的基座的位置关系，将所述第一摄像头坐标系下的环境空间的三维模型转变为所述机器人的基座坐标系下的环境空间的三维模型，进而对机械臂进行路径规划使其进入到所述作业空间内。

其中，所述根据所述第二标定参数对所述目标物体进行识别和定位这个步骤之前，还包括：关闭所述第一摄像头，并开启所述第二摄像头；

相应的，所述根据所述第二标定参数对所述目标物体进行识别包括：所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体。

其中，所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体包括：

判断扫描的每帧图像中是否存在与预设颜色一致的物体；

若一致，将疑似物体分割出来，并将分割出的疑似物体的投影面积与预设面积阈值进行比较；

若所述投影面积大于或等于所述预设面积阈值，则将分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值和预设比值范围进行比较；

若所述计算比值在所述预设比值范围内，则从该帧图像中截取roi感兴趣区域，并将所述roi与模板图像进行直方图相似性对比；

若对比结果满足相似度判断阈值，则确定所述roi为所述目标物体。

其中，所述将所述roi与模板图像进行直方图相似性对比包括：

将所述roi和所述模板图像均进行bgr三通道的分离，并对每个通道分别计算所述roi和所述模板图像的直方图，并对计算得到的直方图都进行归一化；

对每个通道的所述roi和所述模板图像的归一化的直方图进行相似度对比；

将三通道的对比结果进行与运算，当三通道的对比结果都满足相似度判断阈值时，则确定所述roi为所述目标物体。

其中，所述方法还包括：

若，所述扫描的每帧图像中不存在与所述预设颜色一致的物体，和/或，

所述分割出的疑似物体的投影面积小于所述预设面积阈值，则认为所述目标物体不在视场范围内。

其中，所述预设比值范围设置为0.9‐1.1；相应的，若所述分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值在0.9‐1.1之间，从该帧图像中截取roi。

其中，根据所述第二标定参数对所述目标物体进行定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取，包括：

针对所述roi，通过surf加速健壮特征算法获取匹配的特征点，并保存所述匹配的特征点的像素坐标；

基于所述匹配的特征点的像素坐标，通过视差测距法获取所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息；

根据所述机械臂的运动学模型确定所述第二摄像头和所述机器人的基座的位置关系，并基于该位置关系将所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息转换为在所述基座坐标系下的三维坐标信息，且计算所述目标物体在所述基座坐标系的姿态；

根据所述目标物体在所述基座坐标系的位姿，对所述机械臂进行无碰撞路径规划，通过can总线控制机械臂和末端完成对所述目标物体的抓取。

其中，所述第一摄像头和所述第二摄像头均为固定在一块控制板上的两个cmos互补金属氧化物半导体摄像头；

所述第一摄像头和所述第二摄像头通过拨码开关来切换单目摄像头和双目摄像头。

本发明的上述技术方案的有益效果如下：

通过对机械臂进行运动学模型的建立，根据第一摄像头建立环境空间的三维模型，指导冗余自由度机械臂通过合适的路径进入到作业空间中；进入到作业空间后，前几个关节保持不动，手腕处的两个关节带动第二摄像头进行行和列的扫描寻找目标物体；发现目标物体后停止扫描，对包含目标物体的该帧图像进行处理，获取该目标物体相对于机械臂基座的位姿。进而根据目标物的位姿，求运动学逆解，并进行无碰撞路径规划，控制机械臂运动完成目标物的抓取，最终满足在狭小空间中对目标物体的识别和抓取。

附图说明

图1为本发明实施例提供的七自由度机械臂组件的结构示意图；

图2为本发明实施例提供的七自由度机械臂组件抓取目标物体的方法流程图；

图3为本发明实施例提供的识别目标物体的方法流程图；

图4为本发明实施例提供的识别目标物体的又一方法流程图；

图5为本发明实施例提供的定位目标物体的方法流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对机械臂对狭小空间目标物体的识别和抓取难的问题，提供一种七自由度机械臂双目视觉目标识别与抓取的方法及系统。

实施例一

参看图1所示，本发明实施例提供的一种七自由度机械臂组件抓取目标物体的方法，所述机械臂组件包括第一摄像头和第二摄像头；其中，所述第一摄像头安装在所述机械臂组件的机器人本体上，所述第二摄像头安装在所述机械臂的末端。

所述七自由度机械臂的特点包括：七个自由度第一关节为移动关节，其他6个为旋转关节，分为一个类肩关节(3自由度)，包括一个移动关节和两个旋转关节，其中心轴交于一点，一个肘关节(1自由度)和一个腕关节(3自由度)，包括3个相互垂直的旋转关节，其中心轴交于一点，类似于人的手臂，且各自由度关节轴相互垂直，各关节的初始角度为零时，各关节位于同一条线上。其中，移动关节的设置可以增大机械臂的操作范围。

安装在机器人本体上的第一摄像头可以形象地称为eye‐to‐hand摄像头，相当于人的双眼，用于获取环境信息，建立环境空间的三维模型，进而指导机械臂进入到操作空间中；安装在机械臂末端的第二摄像头可以形象地称为eye‐in‐hand摄像头，用于进行近距离识别定位目标并指导机械臂末端执行器完成目标物的抓取。

一般的，使用双目摄像头可以确定环境的深度信息，有利于实现对环境的重构。但是双目摄像机最大的问题就是标定，标定是为了获取目标物的相对位置。如果两个摄像头不固定在一块，一旦两个摄像头的相对位置发生变化就需要重新进行标定。因此，在本实施例中，所述第一摄像头和所述第二摄像头可以均为固定在一块控制板上的两个cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)摄像头，这样可以实现离线标定，并且只需要标定一次。所述第一摄像头和所述第二摄像头通过拨码开关来切换单目摄像头和双目摄像头。其中，单目分辨率可以为640*480，双目分辨率可以为1280*480。

如图2所示，针对图1中所示的七自由度机械臂组件抓取目标物体的方法包括如下步骤：

s201：对所述七自由度机械臂建立运动学模型；

优选的，可以采用标准的d‐h建模法(denavit和hartenberg在1955年提出一种通用的方法，这种方法在机器人的每个连杆上都固定一个坐标系，然后用4×4的齐次变换矩阵来描述相邻两连杆的空间关系)对所述七自由度机械臂进行运动学模型的建立，分析各连杆之间的齐次变换矩阵，通过依次变换可最终推导出末端执行器相对于基坐标系的位姿，方便之后对机械臂进行路径和轨迹规划以及确定双目摄像头与机械臂的关系。

s202：对所述第一摄像头和所述第二摄像头分别进行标定以获取第一标定参数和第二标定参数；

采用张正友标定法分别对所述第一摄像头和所述第二摄像头进行单目和/或双目标定，以分别确定所述第一标定参数和所述第二标定参数；其中，所述标定参数至少包括内参、外参和重投影矩阵。

所述标定参数可以保存在.xml文件中，方便之后调用进行环境空间的三维重构和计算目标物的三维坐标。

s203：根据所述第一标定参数建立环境空间的三维模型以确定所述目标物体所在作业空间，并根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内；

当所述第一摄像头对环境进行扫描时，采用sgbm(semi‐globalblockmatching，半全局立体匹配算法)计算每次扫描所得的点云，以根据所述第一标定参数建立所述第一摄像头坐标系下的环境空间的三维模型，并确定所述作业空间；

相应的，所述根据所述机械臂的运动学模型控制所述机械臂运动至所述作业空间内包括：

根据所述机械臂的运动学模型确定所述第一摄像头和所述机器人的基座的位置关系，将所述第一摄像头坐标系下的环境空间的三维模型转变为所述机器人的基座坐标系下的环境空间的三维模型，进而对机械臂进行路径规划使其进入到所述作业空间内。

s204：根据所述第二标定参数对所述目标物体进行识别和定位，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取。

所述机器人运动至作业空间后，首先对目标物体进行识别；当确认所述目标物体后，进而对该目标物体进行定位。

在步骤s204之前，所述七自由度机械臂组件抓取目标物体的方法还可以包括：

s205：关闭所述第一摄像头，并开启所述第二摄像头。

优选的，根据所述第二标定参数对所述目标物体进行识别的方式可以为：所述机械臂带动所述第二摄像头进行行和列的扫描以识别所述目标物体。进行行和列的扫描的原则为：首先控制机械臂第6自由度关节(俯仰角)为其旋转范围的最大值，并控制机械臂的第7自由度关节(偏航角)在其旋转范围内从小到大的旋转，若寻找到目标则停止扫描，否则减小俯仰角的大小重新进行扫描以实现对环境空间的全方位扫描来寻找目标物体。识别到目标物体后，对目标物进行检测，确定目标物的位姿。

具体的，在采用上述“行和列的扫描”的过程中，识别每一帧图像是否为目标物体的方法，如图3所示：

s301：判断扫描的每帧图像中是否存在与预设颜色一致的物体；

若一致，则进行步骤s302；若不一致，则认为所述目标物体不在视场范围内。

s302：将疑似物体分割出来，并将分割出的疑似物体的投影面积与预设面积阈值进行比较；

若所述投影面积大于或等于所述预设面积阈值，则进行步骤s303；若不一致，则认为所述目标物体不在视场范围内。

s303：将分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值和预设比值范围进行比较；

若所述计算比值在所述预设比值范围内，则进行步骤s304；若所述计算比值不在所述预设比值范围内，则结束此帧图像的判断，进行下一帧图像的识别。

s304：从该帧图像中截取roi(regionofinterest，感兴趣区域)，并将所述roi与模板图像进行直方图相似性对比；

在实际应用中，所述预设比值范围可以优选设置为0.9‐1.1；相应的，若所述分割出的疑似物体的轮廓面积与最小外接矩形面积的计算比值在0.9‐1.1之间，从该帧图像中截取roi。

若对比结果满足相似度判断阈值，则进行步骤s305；若不满足，则结束此帧图像的判断，进行下一帧图像的识别。

s305：确定所述roi为所述目标物体。

如图4所示，优选的，所述将所述roi与模板图像进行直方图相似性对比(即步骤s304)可以包括如下子步骤：

s401：将所述roi和所述模板图像均进行bgr三通道的分离，并对每个通道分别计算所述roi和所述模板图像的直方图，并对计算得到的直方图都进行归一化；

s402：对每个通道的所述roi和所述模板图像的归一化的直方图进行相似度对比；

s403：将三通道的对比结果进行与运算，当三通道的对比结果都满足相似度判断阈值时，则确定所述roi即为所述目标物体。

如图5所示，根据所述第二标定参数对所述目标物体进行“定位”，并根据所述机械臂的运动学模型控制所述机械臂对所述目标物体进行抓取，包括如下步骤：

s501：针对所述roi，通过surf(speededuprobustfeatures，加速健壮特征)算法获取匹配的特征点，并保存所述匹配的特征点的像素坐标；

surf算法广泛应用于实时性要求高的物体检测领域，为了减少surf的计算时间，本实施例仅针对图像中的感兴趣区域进行特征点提取。具体的，采用轮廓与surf算法相结合的方法进行特征点的提取和匹配，同时，为了匹配目标物的中心点，将之前检测的轮廓的中心点与surf算法提取的特征点合并，并计算特征点的特征向量。进一步的，根据特征向量的描述符采用flann(fastlibraryforapproximatenearestneighbors，快速最近邻)算法进行匹配粗选出匹配点，并将最近邻欧式距离与次近邻欧式距离之比作为删选匹配点的依据，剔除大量的误匹配点对。最后，采用ransac(randomsampleconsensus，随机抽样一致性)算法剔除误匹配点，并将剩余的匹配点对的像素坐标保存，以用于之后计算三维坐标。

s502：基于所述匹配的特征点的像素坐标，通过视差测距法获取所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息；

s503：根据所述机械臂的运动学模型确定所述第二摄像头和所述机器人的基座的位置关系，并基于该位置关系将所述目标物体相对于所述第二摄像头中任一摄像头的三维坐标信息转换为在所述基座坐标系下的三维坐标信息，且计算所述目标物体在所述基座坐标系的姿态；

s504：根据所述目标物体在所述基座坐标系的位姿，对所述机械臂进行无碰撞路径规划，通过can总线控制机械臂和末端完成对所述目标物体的抓取。

本发明实施例所述的一种七自由度机械臂双目视觉目标识别与抓取的方法，通过标定双目摄像头的参数、建立机械臂的运动学模型，根据eye‐to‐hand双目摄像头建立环境空间的三维模型，指导冗余自由度机械臂通过合适的路径进入到作业空间中；进入到作业空间后，前几个关节保持不动，手腕处的两个关节带动eye‐in‐hand双目摄像头进行行和列的扫描寻找目标物体；摄像头每获取一帧图像进行目标分割，判断与目标物的形状是否相同，截取感兴趣区域与模板进行三通道直方图相似度对比，直到发现目标物体；发现目标物体后停止扫描，对包含目标物体的该帧图像进行处理，计算目标物体相对于左摄像机的三维坐标；根据机械臂的运动学模型参数和摄像机之间的坐标关系，将获得的相对于左摄像机的三维坐标转换为相对于世界坐标系的三维坐标并获得其姿态，最终转换为相对于机械臂基座的位姿。根据目标物的位姿，求运动学逆解，并进行无碰撞路径规划，控制机械臂运动完成目标物的抓取。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。