一种智能排爆机器人五指灵巧手控制方法与流程

文档序号:15639959发布日期:2018-10-12 21:56阅读:435来源:国知局

本发明属于机械手自动抓取技术领域,具体涉及一种智能排爆机器人五指灵巧手控制方法。



背景技术:

随着全球化的发展和反恐工作的深入,与恐怖分子的矛盾进一步激化,各国都存在不法分子安放炸弹的威胁。通过放置炸弹来制造爆炸恐怖活动,是恐怖主义进行恐怖主义活动的惯用手段。虽然排爆工作从未停止,排爆技术也在日益提升,从曾经的人工排爆到如今的机器人排爆,但目前世界上仍存在大量的未爆物,且由于未爆物的形状多样性,机器人排爆仍需人工操作,这无疑为排爆工作增加了难度,更严重威胁着排爆人员和社会人民的生命安全。

近年来,机器人行业发展迅速,机器人涉及的领域在日益增多,功能也在日趋完善,多种类型的机器人已陆续问世,其中包括安防巡视机器人、采摘机器人、仿人机器人、排爆机器人等。机器人通过其机械臂的末端执行器协助人类完成各种繁琐甚至高危困难的作业,但机器人的自主性仍是机器人界的一大难题。目前已有排爆机器人的末端执行器多为单自由度的夹持器,由于驱动器、传感器以及控制策略等各方面的技术限制,抓取能力有限。而少有的以多指灵巧手作为末端执行器的机器人,由于其缺少自主性而需要人机交互实现对未爆物的抓取。在实际排爆中,由于未爆物的质量状况和引信状态未知,所属形状和所处姿势的随机性较大,在移动过程中存在随时爆炸的可能,因此,通过人交互完成排爆任务会对工作人员造成极大的安全隐患。



技术实现要素:

针对上述现有机器人末端执行器功能的局限性,本发明提出以仿人的多自由度五指灵巧手作为机器人的末端执行器,通过使用神经网络训练,现灵巧手对不同未爆物自主规划抓取方法,独立完成抓取任务。

为解决上述技术问题,本发明所采用的技术方案如下:一种智能排爆机器人五指灵巧手控制方法,步骤如下:

s1,构建排爆机器人五指灵活手的抓取模式知识库。

s1.1,建立五指灵活手的手掌和手指间的运动模型。

以手掌坐标系为参考系,并以灵巧手的五个手指和手掌伸直时,各指关节共面的平面为手掌平面。

s1.1.1,建立食指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,i表示食指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.2,建立中指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,m表示中指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.3,建立无名指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,r表示无名指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.4,建立小指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,l表示小指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.5,建立拇指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,t表示拇指,d表示手掌的长度,ds表示手掌的宽度;

s1.2,构建抓取模式模型。

s1.2.1,给定初始参数。

在三维空间中物体的几何特征定义为物体的高度h,宽度w,厚度d,并设dmax=max(h,d,w),dmin=min(h,d,w),抓取平面为(dmax,dmin)组成的截面。

s1.2.2,基于目标物体相对于手掌的尺寸大小,设定不同的抓取模式。

按照人手的抓取原理,将五指灵巧手的抓取分为三种基本模式:抓、握、捏。

s1.2.2.1,比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小。

当抓取平面的dmin>dx,不能实行抓取,当dmin≤dx时,进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小,规划使用不同的手指数进行抓取。

s1.2.2.2,若dmax小于或等于一指宽,则使用拇指和食指两根手指采用捏的方式。

若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式。

若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式,其他尺寸采用抓的方式。

s1.2.3,根据物体的形状规划不同的抓取方式。

当目标物体具有球体的几何特征或大多数面为曲面时,以过质心的截面与曲面的相交点为拇指的接触点,与该接触点所在面相对的面为其他手指接触点所在面,且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上。

当目标物体的大多数面为平面且相对面近似平行,dmax>>ds,ds表示手掌的宽度,且dmin<dx时,以dmax所在面的中点为拇指接触点,与其相对面为其他手指接触点所在面,拇指沿手掌横向伸展与物体接触,四指在与拇指垂直方向弯曲,使手掌和四指与物体完全接触。

s1.3,确定接近方向。

以手掌为参考坐标系,手指相对于物体的方向向量为以物体为参考坐标系,物体相对于手指的方向向量为

当五指灵巧手抓取目标物体时,保证灵巧手的抓取接近方向和物体的抓取接近方向重合,即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段。

s1.4,确定灵巧手工作空间。

以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度,以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间。

s1.5,采用神经网络对五指灵巧手的抓取模式进行训练,形成抓取知识库。

采用基函数为高斯函数的rbf神经网络规划抓取模式的知识库,按照步骤s1.2所述分类对待抓物体及与其匹配的抓取模式进行训练:以待抓取物体的形状和位姿为神经网络的输入,预期输出为与输入相匹配的抓取模式。

rbf神经网络的输入层、隐含层、输出层的节点数分别为n,l,m;节点的高斯核函数为:

式中,x为输入模式样本向量,фj为隐层第j个单元的输出,cj为第j个高斯单元的中心,бj为方差。

则rbf神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和:

式中,ωkj为j神经元和输出层k神经元之间的权值。

该rbf神经网络的学习参数有rbf的中心cj,方差бj和输出单元的权值ωkj;

其中节点的中心cj采用k均值算法:

式中,nj是第j聚类数据,隐含层和输出层之间的权值ωkj采用最小二乘法确定。

训练步骤为:s1.5.1,选择比较小的随机数初始化ωkj。

s1.5.2,输入五指灵巧手的参数,物体的几何特征,计算rbf网络的输出。

s1.5.3,求输出神经元的误差:ek=dk-yk,其中dk为输出神经元k的期望输出。

s1.5.4,计算高斯核函数фj,并更新权值其中η为学习效率。

s1.5.5,根据步骤s1.2所述物体分类与抓取模式设定进行一次训练,完成一次训练后返回步骤s1.5.2再次训练,直至训练结束。

训练过程为:基于灵巧手当前相对于目标物体的位置,根据规划的接近方向,灵巧手朝着目标物体移动,当移动到目标物体处于灵巧手的可抓取空间时,停止移动,再根据采用的不同抓取模式,形成预抓取姿势,并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置:若使用两只手指捏取物体,以与手掌相连的基指节为第一指节,则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内;若使用三只手指捏取物体,则目标物体处于弯曲的三指形成的c形范围内;若使用全部手指抓或握时,各手指的第二关节弯曲,目标物体位于拇指和其他四指组成的半封闭球形内;

s1.5.6,已分类物体与相匹配的抓取模式训练完成后,终止训练过程,完成知识库的搭建。

s2,目标物识别。

s2.1,基于五指灵巧手的视觉系统采集待抓物体的rgb图像和深度图像;

s2.2,基于图像中存在噪声,采用二维中值滤波方法对获得的rgb图像和深度图像进行图像平滑处理;

s2.3,对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割;

s2.4,对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓;

s2.5,通过图像信息像素点之间连线的长度获取目标物体的大小,并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征;

s3,模式匹配。

将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较,搜索有无类似物体,如有则仿照抓取知识库中所列物体的抓取规划方法,确定接触点和抓取模式;

如果不是知识库中存在的抓取规划模型,通过从2根手指到5根手指的抓、握、捏的方式试探抓取,并更新抓取知识库。

s4,实施抓取。

抓取模式规划完毕之后,进行力规划,通过手指指端缓慢收紧的同时抬起被抓物体,当被抓物体能够被稳定抓起时不再收紧指端的方法,获取抓取物体的最佳抓取力度。

本发明基于对不同形状、不同位姿的物体采用不同抓取方式的训练,采用rbf神经网络构建抓取模式的知识库。在实际抓取过程中,基于灵巧手的视觉系统,采集目标未爆物的视觉场景图,通过特征提取、图像处理等方法对采集的图像信息与构建的抓取模式知识库中的物体信息进行匹配,根据匹配结果进行分类处理,实现自主规划抓取方式,完成抓取任务。本发明以仿人的多自由度五指灵巧手作为机器人的末端执行器,能够完成对多种不同形状、不同位姿的物体的抓取,打破了以单自由度夹持器作为机器人末端执行器抓取物体的局限性;且灵巧手具有自主性,能够自主完成抓取动作,在抓取未爆物时,相比通过人工操作完成抓取的机械手来说,极大的保障了工作人员的生命安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明的流程图。

图2是本发明抓取模式知识库构建流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,一种智能排爆机器人五指灵巧手控制方法,步骤如下:

s1,构建排爆机器人五指灵活手的抓取模式知识库,如图2所示。

s1.1,建立五指灵活手的手掌和手指间的运动模型。

以手掌坐标系为参考系,并以灵巧手的五个手指和手掌伸直时,各指关节共面的平面为手掌平面。

s1.1.1,建立食指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,i表示食指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.2,建立中指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,m表示中指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.3,建立无名指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,r表示无名指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.4,建立小指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,l表示小指,d表示手掌的长度,ds表示手掌的宽度。

s1.1.5,建立拇指的基坐标系与掌系的坐标变换关系:

其中,p表示手掌,t表示拇指,d表示手掌的长度,ds表示手掌的宽度;

s1.2,构建抓取模式模型。

s1.2.1,给定初始参数。

在三维空间中物体的几何特征定义为物体的高度h,宽度w,厚度d,并设dmax=max(h,d,w),dmin=min(h,d,w),抓取平面为(dmax,dmin)组成的截面。

s1.2.2,基于目标物体相对于手掌的尺寸大小,设定不同的抓取模式。

按照人手的抓取原理,将五指灵巧手的抓取分为三种基本模式:抓、握、捏。

s1.2.2.1,比较手掌和手指的总体长度dx与抓取平面的最小长度dmin的大小。

当抓取平面的dmin>dx,不能实行抓取,当dmin≤dx时,进行下一步根据物体抓取平面的dmax与五指灵巧手的手指宽度的相对大小,规划使用不同的手指数进行抓取。

s1.2.2.2,若dmax小于或等于一指宽,则使用拇指和食指两根手指采用捏的方式。

若dmax大于一指宽小于或等于三指宽使用拇指、食指和中指三只手指采用捏的方式。

若dmax大于三指宽且dmin小于或等于两指宽时使用全部手指采用握的方式,其他尺寸采用抓的方式。

s1.2.3,根据物体的形状规划不同的抓取方式。

当目标物体具有球体的几何特征或大多数面为曲面时,以过质心的截面与曲面的相交点为拇指的接触点,与该接触点所在面相对的面为其他手指接触点所在面,且除拇指外的其他手指均匀的分布在与拇指所在面相对的面上。

当目标物体的大多数面为平面且相对面近似平行,dmax>>ds,ds表示手掌的宽度,且dmin<dx时,以dmax所在面的中点为拇指接触点,与其相对面为其他手指接触点所在面,拇指沿手掌横向伸展与物体接触,四指在与拇指垂直方向弯曲,使手掌和四指与物体完全接触。

s1.3,确定接近方向。

以手掌为参考坐标系,手指相对于物体的方向向量为以物体为参考坐标系,物体相对于手指的方向向量为

当五指灵巧手抓取目标物体时,保证灵巧手的抓取接近方向和物体的抓取接近方向重合,即灵巧手抓取的接近方向为手掌坐标系的原点与物体坐标系原点间的有向线段。

s1.4,确定灵巧手工作空间。

以手指完全伸直并相对打开的宽度为灵巧手工作空间的最大宽度,以五个手指从第二关节弯曲所构成的近似半球形为灵巧手的最大工作空间。

s1.5,采用神经网络对五指灵巧手的抓取模式进行训练,形成抓取知识库。

采用基函数为高斯函数的rbf神经网络规划抓取模式的知识库,按照步骤s1.2所述分类对待抓物体及与其匹配的抓取模式进行训练:以待抓取物体的形状和位姿为神经网络的输入,预期输出为与输入相匹配的抓取模式。

rbf神经网络的输入层、隐含层、输出层的节点数分别为n,l,m;节点的高斯核函数为:

式中,x为输入模式样本向量,фj为隐层第j个单元的输出,cj为第j个高斯单元的中心,бj为方差。

则rbf神经网络第k个输出节点的输出为隐层各节点的输出的线性加权和:

式中,ωkj为j神经元和输出层k神经元之间的权值。

该rbf神经网络的学习参数有rbf的中心cj,方差бj和输出单元的权值ωkj;

其中节点的中心cj采用k均值算法:

式中,nj是第j聚类数据,隐含层和输出层之间的权值ωkj采用最小二乘法确定。

训练步骤为:s1.5.1,选择比较小的随机数初始化ωkj。

s1.5.2,输入五指灵巧手的参数,物体的几何特征,计算rbf网络的输出。

s1.5.3,求输出神经元的误差:ek=dk-yk,其中dk为输出神经元k的期望输出。

s1.5.4,计算高斯核函数фj,并更新权值其中η为学习效率。

s1.5.5,根据步骤s1.2所述物体分类与抓取模式设定进行一次训练,完成一次训练后返回步骤s1.5.2再次训练,直至训练结束。

训练过程为:基于灵巧手当前相对于目标物体的位置,根据规划的接近方向,灵巧手朝着目标物体移动,当移动到目标物体处于灵巧手的可抓取空间时,停止移动,再根据采用的不同抓取模式,形成预抓取姿势,并根据灵巧手的预抓取姿势调整灵巧手和目标物体间的相对位置:若使用两只手指捏取物体,以与手掌相连的基指节为第一指节,则移动手掌使目标物体位于拇指和食指的第二指节和第三指节范围内;若使用三只手指捏取物体,则目标物体处于弯曲的三指形成的c形范围内;若使用全部手指抓或握时,各手指的第二关节弯曲,目标物体位于拇指和其他四指组成的半封闭球形内;

s1.5.6,已分类物体与相匹配的抓取模式训练完成后,终止训练过程,完成知识库的搭建。

s2,目标物识别。

s2.1,基于五指灵巧手的视觉系统采集待抓物体的rgb图像和深度图像;

s2.2,基于图像中存在噪声,采用二维中值滤波方法对获得的rgb图像和深度图像进行图像平滑处理;

s2.3,对平滑处理后的图像利用图像空间区域信息和光谱信息的图像分割方法进行图像阈值分割;

s2.4,对阈值分割后的图像通过膨胀和腐蚀相结合的数学形态学处理方法提取目标物体的轮廓;

s2.5,通过图像信息像素点之间连线的长度获取目标物体的大小,并基于获取的目标物体的轮廓信息通过轮廓的圆度和不变矩获得目标物体的形状特征;

s3,模式匹配。

将获得的目标物的大小、形状特征信息与抓取知识库中所存物体的信息进行比较,搜索有无类似物体,如有则仿照抓取知识库中所列物体的抓取规划方法,确定接触点和抓取模式;

如果不是知识库中存在的抓取规划模型,通过从2根手指到5根手指的抓、握、捏的方式试探抓取,并更新抓取知识库。

s4,实施抓取。

抓取模式规划完毕之后,进行力规划,通过手指指端缓慢收紧的同时抬起被抓物体,当被抓物体能够被稳定抓起时不再收紧指端的方法,获取抓取物体的最佳抓取力度。

本发明首先通过建立灵巧手的手指和手掌的运动关系模型,根据手指末端要到达的目标位置,规划抓取路径;再基于视觉系统采集的待抓物体的物理信息和其所处的位姿、环境,规划接触点,通过与灵巧手相对比,规划抓取模式;最后在抓取过程中基于力的封闭性约束规划抓取力度,完成抓取任务。

上面所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1