一种多机器人协作分拣运输方法及系统与流程

文档序号:19408545发布日期:2019-12-13 23:51阅读:来源:国知局

技术特征:

1.一种多机器人协作分拣运输方法,其特征在于,包括以下步骤:

s1,构建图像采集单元

所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头,用于对工作场地进行监控,多个所述网络监控摄像头分别与交换器连接,并经由路由器受控于中央处理服务器;

s2,构建任务控制执行单元

所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台,所述运输机器人和分拣机器人上均贴设有artag码,所述运输机器人用于搬运物料,所述分拣机器人用于分拣物料,所述运输机器人和分拣机器人均在工作场地的监控区域内移动,并受控于中央处理服务器;

s3,通过图像采集单元采集工作场地图像;

s4,进行相机标定及相机与物料台位置标定,得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系,并建立世界坐标系,同时判断标定是否成功,若是,则进入步骤s5,反之,则返回步骤s3;

s5,通过图像采集单元采集下一帧工作场地图像;

s6,利用图像采集单元采集的所有帧工作场地图像,分别对工作场地内的各机器人、物料识别与定位,具体步骤如下:

s61,分别对工作场地内各机器人贴设的artag码进行检测与识别,并判断是否检测识别成功,若是,则进入步骤s62,反之,则返回步骤s5;

s62,对识别到的artag码进行筛选、解码并匹配到目标机器人,得到在不同相机上机器人的artag码的像素中心坐标和世界坐标系下的姿态信息;

s63,根据得到的机器人artag码像素位置信息以及各相机的内参数,去除网络监控摄像头的延时影响,再通过多相机融合定位算法,实时识别并定位世界坐标系中的机器人位置;

s64,识别和定位物料台上的物料,并判断物料是否识别和定位成功,若是,则进入步骤s7,反之,则返回步骤s5;

s7,输出机器人位姿信息和物料位置信息,并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配;

s8,根据工作场地内已知障碍物位置,完成各机器人的路径规划;

s9,中央处理服务器根据得到的机器人、物料位置信息作为参考信号,使用pid闭环控制算法控制各机器人按照步骤s8中规划好的路径完成分拣运输工作。

2.根据权利要求1所述的多机器人协作分拣运输方法,其特征在于,步骤s4中相机标定及相机与物料台位置标定的具体过程如下:

s41,同一相机对不同位置、角度的同一标定拍摄多张图片进行图像采集,提取标定板内角点的世界坐标和像素坐标;

s42,通过张正友相机标定法,得到各个相机参数标定;

s43,通过步骤s41中建立的世界坐标和像素坐标,对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量;

s44,将artag码作为标定码,放置于物料台的边角处,多个摄像头同时采集一帧图像;

s45,对图像进行artag码检测识别,得到该码四个角的像素坐标并更新相机外参数;

s46,判断相机是否被移动,若是,则返回步骤s44,反之,则进入步骤s47;

s47,以该标定码中心为参考坐标系原点、物料台平面为xy平面建立参考坐标系,根据artag码识别结果,得到多个摄像头与该参考坐标系的转换矩阵。

3.根据权利要求1所述的多机器人协作分拣运输方法,其特征在于,步骤s61中artag码进行检测与识别的具体过程如下:

s611,将采集到的所有帧工作场地图像进行阈值化,得到二值图像,接着进行轮廓检测;

s612,经过滤波筛选,定位得到有效的artag码所在图像中的区域;

s613,对步骤s612定位得到的区域进行仿射变换,得到artag码中的图案轮廓,接着读取比特位进行解码,得到图像中artag码对应的id号和四个角的像素坐标,计算可得中心坐标;

s614,对每个码进行pnp解码,得到每个artag码在图像中的姿态;

s615,判断pnp解码是否成功,若是,则进入步骤s616;反之,则返回步骤s5;

s616,输出artag码id号、中心像素坐标和artag码姿态。

4.根据权利要求3所述的多机器人协作分拣运输方法,其特征在于,步骤s63中多相机融合定位算法根据多个相机的内外参数和artag码世界坐标中心点投影在多个相机上的像素坐标点,计算得到该artag码世界坐标中心点的世界坐标,具体表现为:

s631,推导相机、世界坐标系映射公式,相机标定的映射公式如下:

式中,p为artag码世界坐标中心点,n为摄像头的相机数量zc1、zc2、…zcn分别为p对于相机1、2、...n在投影点的深度信息,m1、r1、t1,m2、r2、t2,...mn、rn、tn分别为相机1、2、...n的相机参数;

s632,移项、代换得到向量h,h表示为:

式中,i为3*3的单位矩阵,k1、k2、kn均为中间变量,其中,

式中,r1-1、r2-1、rn-1分别为相机外参旋转矩阵r1、r2、rn的逆矩阵,m1-1、m2-1和mn-1分别为相机内参矩阵m1、m2和mn的逆矩阵;

s633,对向量h进行svd分解,h表示为:

h=uσv*(11)

式中,u、v表示酉矩阵,σ为半正定对角矩阵;

s634,通过如下公式计算得到artag码世界坐标中心点的世界坐标

式中,h+为h的伪逆矩阵,q为中间变量,其表达式如下:

其中,b1、b2和bn均为中间变量:

式中,0为三维零向量。

5.根据权利要求4所述的多机器人协作分拣运输方法,其特征在于,所述步骤s63中通过运动补偿算法去除网络监控摄像头的延时影响,具体表现为:

(a)在完成artag码识别与多相机融合定位得到机器人在ts秒之前的位置artag码世界坐标中心点p的前提下,通过机器人上的陀螺仪传感器实时采集机器人ts秒内的线速度v(t)与角速度ω(t),其中,t∈[0,ts];

(b)机器人当前实际位置为:

p'=p+δx(14)

其中,δx为ts秒时间段内机器人的位移,即:

其中,rv(t)表示机器人在ts秒内某时刻的线速度矢量,复数形式为:

rv(t)=v(t)ejθ(t)(16)

式中,θ(t)为机器人在ts秒内某时刻的角度,且其表达式如下:

(c)上述为理想情况下时间连续的形式,实际上通过如下时间公式对v(t),ω(t)进行抽样:

式中,n为正整数,则:

(d)完成运动补偿,得到当前时刻机器人的真实位置。

6.根据权利要求5所述的多机器人协作分拣运输方法,其特征在于,所述步骤s64中识别和定位物料台上的物料,具体步骤如下:

s641,使用最靠近物料台的摄像头采集图像,并对采集到的图像进行高斯滤波预处理;

s642,根据物料台位置标定结果和物料台实际大小,对图像去背景化,并截取待检测的物料台区域图像;

s643,将待检测图像输入已经训练好的基于tensorflow的卷积神经网络模型,进行物料的检测与识别;

s644,判断是否识别到物料,若是则进入步骤s645,反之,则返回步骤s641;

s645,在图像中框出并计算得到物料的中心点像素坐标,输出物料类别和中心点像素坐标;

s646,通过使用标定后已知的相机像素坐标系与物料台平面上的世界坐标系的转换关系,点对点定位得到物料中心点在世界坐标系下的坐标;

s647,最终完成物料的识别、分类与定位。

7.根据权利要求6所述的多机器人协作分拣运输方法,其特征在于,步骤s643中基于tensorflow的卷积神经网络模型为retinanet模型,构建方法如下:

s6431,使用相机从不同角度、距离采集所有待检测的物料图像1000张,以物料台区域为主要部分对这1000张图片截取得到大小为500*500的待检测图像;

s6432,将每张图像中的物料目标进行标定,绘制方框与类标签,制作得到标定好的1000张原始数据集;

s6433,通过水平镜像、垂直镜像、水平垂直镜像和伽马变换等数据集增强方式,得到大小为12000张图像的数据集;

s6434,将步骤s6433得到的数据集输入到retinanet网络中进行训练。

8.根据权利要求7所述的多机器人协作分拣运输方法,其特征在于,步骤s6434中数据集输入到retinanet网络中进行训练的具体过程如下:

(a)数据集图像输入主网络进行卷积特征提取;

(b)输入并行的分类、方框回归全卷积子网络,通过概率预测得到目标标签和标签框;

(c)对预测值与实际值使用焦点损失函数进行损失计算,计算角点损失,所述焦点损失函数为:

fl(pt)=-αt(1-pt)γlog(pt)(20)

其中,pt是不同类别的分类概率,γ是个大于0的值,at是个[0,1]间的小数;

(d)利用反向传播算法调整各层间连接权值;

(e)根据更新的模型参数和网络结构推算逐层输出,并判断训练周期是否结束,若是,则得到强泛化性的retinanet网络进行物料的检测与识别,反之,则返回步骤(a)。

9.根据权利要求1~8中任一项所述的多机器人协作分拣运输方法,其特征在于,步骤s8中所述机器人的路径规划根据工作场地内已知的障碍物位置,采用静态的a*算法对机器人的运动路径进行规划,具体步骤如下:

s80,根据物料台的大小和位置,通过中央处理服务器为已经完成任务分配的各机器人的运动设定固定的目标点:上料点、运输目的地终点等;

s81,在工作场地建立场地网格图:将机器人移动的工作场划分为多个方格;

s82,根据机器人所在初始位置初始化起点,并将起点放入开启列表,置空关闭列表,计算起点的启发函数f:

f=g+h(21)

其中,f为从初始点经由指定点到达目标点的代价估计,g为目前的实际代价函数即从初始点到指定点所要行走的距离,h为指定点和目标点的欧几里得距离:

式中,(x’,y’)为指定点的坐标,(x,y)为目标点的坐标;

s83,判断开启列表是否为空,若是,则寻路失败,反之,则进入步骤s84;

s84,遍历开启列表取出拥有最小f的点作为预处理点,将该预处理点放入关闭列表,并对预处理点周围八个点进行扩展;

s85,判断扩展点是否为目标点,若是,则寻路成功,从目标点到起始点推导路径,并输出路径;若否,则进入步骤s86;

s86,判断扩展点是否为障碍物或者在关闭列表中,若是,则忽略该扩展点,返回步骤s83;若否,则进入步骤s87;

s87,判断扩展点是否在开启列表中,若是则进入步骤s88,若否则将扩展点放入开启列表中,记录f值后返回步骤s83;

s88,判断经由预处理点扩展点是否小于经由扩展点父节点到扩展点的g值,若是,则更新扩展点的父节点,更新f值和g值后,返回步骤s83;若否,则直接返回步骤s83;

s89,重复步骤s83至s88,最终得到一条通往目标点的最优路径,完成各机器人的路径规划。

10.一种多机器人协作分拣运输系统,其特征在于,包括图像采集单元和任务控制执行单元;

所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头,对工作场地进行监控,多个所述监控摄像头分别与交换器连接,并经由路由器受控于中央处理服务器;

所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台,所述运输机器人用于搬运物料,所述分拣机器人用于分拣物料,所述运输机器人和分拣机器人上均贴设有artag码,所述运输机器人和分拣机器人均在监控区域内移动,并受控于中央处理服务器,所述中央处理服务器采用权利要求1~9中任一项所述的多机器人协作分拣运输方法,控制运输机器人、分拣机器人协作完成分拣运输工作。


技术总结
本发明公开了一种多机器人协作分拣运输方法及系统,包括提出ARtag码识别、多相机融合定位和运动补偿相结合的方法完成对多移动机器人的实时识别与定位;同时采用卷积神经网络模型对目标物料进行识别分类,并通过相机定位获得目标的位置信息;接着根据实际需求和物料目标的类别以及位置信息完成分拣机器人、运输机器人的任务分配,最后通过路径规划算法、TCP协议驱动和PID闭环控制算法实时无线控制机器人协作完成分拣运输工作,极大提高了分拣运输效率,并在相对复杂的环境下也有良好的稳定性,具有识别定位准确、分拣效率高且搬运能力强的优点。

技术研发人员:毛建旭;彭永志;王耀南;刘彩苹;朱青;邹智强;张猛;杨琴;代扬
受保护的技术使用者:湖南大学
技术研发日:2019.09.02
技术公布日:2019.12.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1