一种应用于参数化零件的视觉机械臂抓取方法及装置与流程

文档序号:21020227发布日期:2020-06-09 19:39阅读:来源:国知局

技术特征:

1.一种应用于参数化零件的视觉机械臂抓取方法,其特征在于,包括以下步骤:

s1、获取待抓取的参数化零件的场景点云,通过预处理去除背景信息获得目标点云;

s2、将目标点云输入训练好的参数化点云深度神经网络,依据由所述参数化点云深度神经网络生成的描述子映射函数d,将目标点云映射为特征向量空间中的目标点;

s3、根据预先在所述特征向量空间中建立的代表不同类别零件族的流形,通过计算流形表面距离所述目标点最近的特征点,获取目标物体的具体参数值以及对应的目标模板;

s4、依据所述目标模板,通过对齐算法,获取所述参数化零件的6d位姿信息;

s5、将该参数化零件的6d位姿信息传递给机器人控制系统,以控制机器人完成对参数化零件的抓取任务。

2.如权利要求1所述的方法,其特征在于,步骤s1中,当所述机器人接收到针对所述参数化零件的抓取指令后,通过深度相机获取参数化零件的场景点云。

3.如权利要求1至2任一项所述的方法,其特征在于,步骤s1中,所述场景点云包含待抓取的参数化零件的目标点云和环境背景点云,通过将所述场景点云减去预先存储的背景点云,得到所述参数化零件的目标点云。

4.如权利要求3所述的方法,其特征在于,步骤s1中,以所述预先存储的背景点云中的每个点作为树节点来构建kd树,以所述场景点云中的每个点作为查找点,搜索半径小于设定阈值的最近邻点,搜索结束后,将最近邻点减去对应的树节点,实现背景点云的去除。

5.如权利要求1至4任一项所述的方法,其特征在于,步骤s2中,所述参数化深度神经网络生成描述子映射函数d,使得所述目标点云在经过所述描述子映射函数d后,在特征向量空间内同类型的零件距离较近,而不同类型的零件相距较远;

其中,所述参数化深度神经网络的数据集生成过程包括:

(1)通过三维建模获得一系列零件族obj模板库;

(2)依次在零件族obj模型表面进行固定点数均匀采样和最远点采样,获得一系列零件族点云模板库,零件族点云模板库中的每个点云文件均属于模板点云;

(3)将单个零件族obj文件添加至blender渲染引擎,使用仿真相机进行多角度拍摄,获得blender渲染深度图;

(4)通过仿真相机的内参与外参转换,将渲染深度图转化为点云图,并进行最远点采样,获得仿真多视角点云图;

(5)点云模板库和仿真多视角点云图共同构成参数化深度神经网络的数据集。

6.如权利要求1至5任一项所述的方法,其特征在于,所述参数化深度神经网络的训练过程中的总体损失函数包括分类损失函数和对比损失函数,其中所述分类损失函数用于零件族的分类,所述对比损失函数用于实现在特征向量空间内,同类型的零件相距较近,不同类型的零件相距较远,所述对比损失函数的表达式如下:

其中,k表示样本对个数,di表示两个描述子之间的欧式距离,yi表示第i对样本的标签是否匹配,yi=1表示匹配,yi=0表示不匹配,margin表示设定的距离阈值;

网络训练完成后获得描述子映射函数d,在特征向量空间中,通过该映射函数可线下构建不同参数化零件族的流形。

7.如权利要求1至6任一项所述的方法,其特征在于,步骤s3中,每个流形代表一种零件族,流形表面上的每个点均代表该零件族的一个具体参数化零件,包含零件参数信息。

8.如权利要求1至7任一项所述的方法,其特征在于,步骤s4中,根据所述目标点云和所述目标模板,采用最近点迭代算法进行配准,具体包括以下过程:

a1)搜索初始点云中每个点在模板点云中的距离最近点,其中所述模板点云是基于三维建模获得的零件obj文件,通过在所述零件obj文件表面均匀采样和最远点采样后获得的点云文件;

a2)使用方向向量阈值剔除错误点,并计算平移向量ti和旋转矩阵ri;

a3)寻找一个使得目标点云和目标模板的对应点距离均方误差最小的平移向量ti和旋转矩阵ri;

a4)按照平移向量ti和旋转矩阵ri旋转平移旋转初始点云后,如果达到阈值要求或者迭代次数达到上限则结束,否则返回a1)继续迭代。

9.如权利要求1至8任一项所述的方法,其特征在于,步骤s5中,根据所述参数化零件的6d位姿信息,所述机器人控制系统通过逆运动学算法求解机器人运动轨迹,其中,将抓取时的末端位姿从笛卡尔空间中转化为机械臂关节空间内,然后通过运动规划算法计算机器人机械臂在关节空间中初始位姿与末端位姿的连接轨迹,控制机械臂末端沿连接轨迹到达目标位姿,闭合夹爪并将参数化零件放置指定位置。

10.一种应用于参数化零件的视觉机械臂抓取装置,其特征在于,其特征在于,包括至少一个存储器以及至少一个处理器;

所述存储器,包括存储于其中的至少一个可执行程序;

所述可执行程序在由所述处理器执行时,实现如权利要求1至9中任一项所述的方法。


技术总结
一种应用于参数化零件的视觉机械臂抓取方法及装置,该方法包括:S1、获取参数化零件的场景点云,去除背景信息获得目标点云;S2、将目标点云输入参数化点云深度神经网络,依据参数化点云深度神经网络生成的描述子映射函数,将目标点云映射为特征向量空间中的目标点;S3、根据预先在所述特征向量空间中建立的代表不同类别零件族的流形,通过计算流形表面距离目标点最近的特征点,获取目标物体的具体参数值及对应的目标模板;S4、依据目标模板,通过对齐算法,获取参数化零件的6D位姿信息;S5、将参数化零件6D位姿信息传递给机械臂控制系统,实现参数化零件抓取。本发明适用对不同零件族的零件进行抓取,且节省大量计算时间,并具有极强的鲁棒性和通用性。

技术研发人员:曾龙;林垟钵;董至恺;俞佳熠;赵嘉宇
受保护的技术使用者:清华大学深圳国际研究生院
技术研发日:2020.01.16
技术公布日:2020.06.09
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1