计算机装置、控制机械手臂夹取和放置物件的方法与流程

文档序号:25875366发布日期:2021-07-16 17:37阅读:来源:国知局

技术特征:
1.一种控制机械手臂夹取和放置物件的方法,其特征在于,所述方法包括:获取机械手臂的深度摄像机所拍摄的多组图像,其中,每组图像包括一张rgb图像和一张深度图像,由此所述多组图像包括多张rgb图像和多张深度图像;将每组图像所包括的rgb图像与深度图像建立关联;利用预设的图像处理算法处理所述多张rgb图像;将经过处理的所述多张rgb图像与所述多张深度图像作深度信息融合,从而获得多张融合图像;基于所述多张融合图像构建三维地图;及控制所述机械手臂基于所述三维地图夹取和放置物件。2.如权利要求1所述的控制机械手臂夹取和放置物件的方法,其特征在于,所述利用预设的图像处理算法处理所述多张rgb图像包括:对所述多张rgb图像作第一次处理,由此获得经过所述第一次处理的多张rgb图像,该第一次处理包括:利用surf算法对所述多张rgb图像中每相邻的两张rgb图像作特征点匹配;对经过所述第一次处理的多张rgb图像作第二次处理,由此获得经过所述第二次处理的多张rgb图像,该第二次处理包括:利用ransac算法,确认经过所述第一次处理的多张rgb图像中的每相邻的两张rgb图像是否正确匹配特征点,并剔除匹配错误的特征点;及对经过所述第二次处理的多张rgb图像作第三次处理,由此获得经过所述第三次处理的多张rgb图像,该第三次处理包括:利用ransac算法,对经过所述第二次处理的多张rgb图像中每相邻的两张rgb图像计算图形角度差异,并基于计算得到的图形角度差异对应修正每相邻的两张rgb图像中的一者,使得任意相邻的两张rgb图像的图形角度相同。3.如权利要求1所述的控制机械手臂夹取和放置物件的方法,其特征在于,所述基于所述多张融合图像构建三维地图包括:计算所述多张融合图像中的每张融合图像的每个像素点在实体空间的三维坐标;及将所述每张融合图像与该每张融合图像的每个像素点在实体空间的三维坐标建立关联,并缝合所述多张融合图像,由此获得所述三维地图。4.如权利要求3所述的控制机械手臂夹取和放置物件的方法,其特征在于,所述每张融合图像的每个像素点p1在实体空间的三维坐标为(x1,y1,z1),其中,z1=d/s;x1=(xx1-cx)*z1/fx;y1=(yy1-cy)*z1/fy;其中,xx1为像素点p1在融合图像中的横坐标,yy1为像素点p1在融合图像中的纵坐标,d为像素点p1在融合图像中的竖坐标,fx为所述深度摄像机在所述实体空间所在的坐标系的x轴上的焦距;fy为所述深度摄像机在所述实体空间所在的坐标系的y轴上的焦距;cx为该深度摄像机的光圈中心到所述x轴的距离,cy为该深度摄像机的光圈中心到到所述y轴的距离;s为所述深度摄像机的缩放值。5.如权利要求4所述的控制机械手臂夹取和放置物件的方法,其特征在于,所述控制所述机械手臂基于所述三维地图夹取和放置物件包括:当已经获得所述三维地图时,基于所述三维地图定位所述机械手臂的位置坐标;读取目标物件的第一位置坐标,该第一位置坐标为所述目标物件当前所在位置的坐标;控制所述机械手臂基于该机械手臂的位置坐标以及所述目标物件的第一位置坐标抓
取所述目标物件;读取所述目标物件的第二位置坐标,该第二位置坐标为所述目标物件需要放置的位置所在的坐标;及控制所述机械手臂基于所述目标物件的所述第二位置坐标放置所述目标物件。6.如权利要求5所述的控制机械手臂夹取和放置物件的方法,其特征在于,所述控制所述机械手臂基于所述三维地图夹取和放置物件还包括:于控制所述机械手臂基于该机械手臂的位置坐标以及所述目标物件的第一位置坐标抓取所述目标物件后,确定所述机械手臂是否成功抓取所述目标物件;当所述机械手臂抓取所述目标物件失败时,辨识所述目标物件,并测量所述目标物件的位置坐标;及控制所述机械手臂基于所测量的所述目标物件的位置坐标来抓取所述目标物件。7.一种计算机装置,其特征在于,所述计算机装置包括:存储器;处理器;以及多个模块,所述多个模块被存储在所述存储器中并被由所述处理器执行,所述多个模块包括:获取模块,用于获取机械手臂的深度摄像机所拍摄的多组图像,其中,每组图像包括一张rgb图像和一张深度图像,由此所述多组图像包括多张rgb图像和多张深度图像;执行模块,用于将每组图像所包括的rgb图像与深度图像建立关联;所述执行模块,还用于利用预设的图像处理算法处理所述多张rgb图像;所述执行模块,还用于将经过处理的所述多张rgb图像与所述多张深度图像作深度信息融合,从而获得多张融合图像;所述执行模块,还用于基于所述多张融合图像构建三维地图;及所述执行模块,还用于控制所述机械手臂基于所述三维地图夹取和放置物件。8.如权利要求7所述的计算机装置,其特征在于,所述利用预设的图像处理算法处理所述多张rgb图像包括:对所述多张rgb图像作第一次处理,由此获得经过所述第一次处理的多张rgb图像,该第一次处理包括:利用surf算法对所述多张rgb图像中每相邻的两张rgb图像作特征点匹配;对经过所述第一次处理的多张rgb图像作第二次处理,由此获得经过所述第二次处理的多张rgb图像,该第二次处理包括:利用ransac算法,确认经过所述第一次处理的多张rgb图像中的每相邻的两张rgb图像是否正确匹配特征点,并剔除匹配错误的特征点;及对经过所述第二次处理的多张rgb图像作第三次处理,由此获得经过所述第三次处理的多张rgb图像,该第三次处理包括:利用ransac算法,对经过所述第二次处理的多张rgb图像中每相邻的两张rgb图像计算图形角度差异,并基于计算得到的图形角度差异对应修正每相邻的两张rgb图像中的一者,使得任意相邻的两张rgb图像的图形角度相同。9.如权利要求7所述的计算机装置,其特征在于,所述基于所述多张融合图像构建三维地图包括:计算所述多张融合图像中的每张融合图像的每个像素点在实体空间的三维坐标;及
将所述每张融合图像与该每张融合图像的每个像素点在实体空间的三维坐标建立关联,并缝合所述多张融合图像,由此获得所述三维地图。10.如权利要求9所述的计算机装置,其特征在于,所述每张融合图像的每个像素点p1在实体空间的三维坐标为(x1,y1,z1),其中,z1=d/s;x1=(xx1-cx)*z1/fx;y1=(yy1-cy)*z1/fy;其中,xx1为像素点p1在融合图像中的横坐标,yy1为像素点p1在融合图像中的纵坐标,d为像素点p1在融合图像中的竖坐标,fx为所述深度摄像机在所述实体空间所在的坐标系的x轴上的焦距;fy为所述深度摄像机在所述实体空间所在的坐标系的y轴上的焦距;cx为该深度摄像机的光圈中心到所述x轴的距离,cy为该深度摄像机的光圈中心到到所述y轴的距离;s为所述深度摄像机的缩放值。11.如权利要求10所述的计算机装置,其特征在于,所述控制所述机械手臂基于所述三维地图夹取和放置物件包括:当已经获得所述三维地图时,基于所述三维地图定位所述机械手臂的位置坐标;读取目标物件的第一位置坐标,该第一位置坐标为所述目标物件当前所在位置的坐标;控制所述机械手臂基于该机械手臂的位置坐标以及所述目标物件的第一位置坐标抓取所述目标物件;读取所述目标物件的第二位置坐标,该第二位置坐标为所述目标物件需要放置的位置所在的坐标;及控制所述机械手臂基于所述目标物件的所述第二位置坐标放置所述目标物件。12.如权利要求11所述的计算机装置,其特征在于,所述控制所述机械手臂基于所述三维地图夹取和放置物件还包括:于控制所述机械手臂基于该机械手臂的位置坐标以及所述目标物件的第一位置坐标抓取所述目标物件后,确定所述机械手臂是否成功抓取所述目标物件;当所述机械手臂抓取所述目标物件失败时,辨识所述目标物件,并测量所述目标物件的位置坐标;及控制所述机械手臂基于所测量的所述目标物件的位置坐标来抓取所述目标物件。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1