基于机器视觉的醅料取料机器人快速取料方法与流程

文档序号:33034167发布日期:2023-01-24 18:34阅读:来源:国知局

技术特征:
1.一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,包括以下步骤:步骤1,对醅料取料机器人醅料取料安全作业区域进行规划;步骤2,对醅料取料量进行表征;步骤3,设计机器人末端取料装置预设取料点、取料方向和取料深度,规划机器人快速取料策略,实现传统地缸固态发酵生产过程中醅料出缸环节的全自动化作业。2.根据权利要求1所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤1的具体实现方式如下:步骤1.1,设计醅料取料机器人1:1数字化虚拟调试平台,最大程度上模拟实际工业物理环境下的机器人醅料取料作业;步骤1.2,根据机器人末端取料装置结构,对醅料取料机器人末端取料装置挖斗取料轨迹进行分析;步骤1.3,避免取料过程中取料装置与缸壁发生碰撞,根据挖斗结构和挖斗翻转取料轨迹,分析测量挖斗尺寸参数:包括挖斗斗长、斗深、斗宽和斗背长;步骤1.4,根据挖斗和地缸的尺寸参数,以及挖斗取料轨迹,在对缸壁边缘醅料取料和避免碰撞缸壁的前提下,对机器人醅料取料安全作业区域进行规划。3.根据权利要求2所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤1.2的具体过程为:首先,机器人控制末端取料装置到达取料点上方中间路径点,再控制末端取料装置使得挖斗竖直插入醅料中固定深度,然后,控制电缸使得挖斗翻转至水平,完成醅料取料工作,再控制末端取料装置使得挖斗竖直提出地缸至中间路径点,最后运行到运料车上方进行挖斗翻转放料,从而实现醅料取料放料过程;所述步骤1.4的具体过程为:基于醅料取料机器人取料轨迹和作业环境,在醅料取料机器人数字化虚拟调试平台中分析机器人安全作业条件,根据安全作业条件,将地缸内部构造视为圆台,使得挖斗前沿与缸壁留有一定的安全裕度,根据采集到的地缸深度图像,将醅料表面视为平面处理,即醅料取料平面,计算缸中醅料取料平面距离相机平面的距离h,计算得到此时地缸中醅料取料平面实际半径r,计算方式如下:式中,α为缸壁倾斜角;d
p
为地缸深度;r
m
为地缸缸口实际半径;r
b
为缸底实际半径;c
h
为相机离地缸口平面的距离;以挖斗斗长l
b
为基准,确定醅料取料安全作业区域,即保证安全取料作业过程中,取料点相对于此时醅料取料平面中心的距离b,计算方式如下:b=r-l
b
/sinα。4.根据权利要求1所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤2的具体过程为:步骤2.1,采用结构光深度相机作为醅料取料机器人的视觉感知系统,采集取料前、后地缸的rgb图和深度图;步骤2.2,对地缸rgb图像先进行预处理,然后进行边缘检测,提取地缸口内边缘轮廓近似拟合圆;
步骤2.3,求解地缸图像实际区域面元s;步骤2.4,对步骤2.1的地缸深度图像进行预处理:基于深度图中缸中醅料区域空洞点的邻域信息,以邻域信息中深度值最大值对缸中醅料区域空洞点进行填充,并将深度图对齐到彩色图像;步骤2.5,根据步骤2.2得到的地缸口内边缘轮廓近似拟合圆制作掩膜,对步骤2.2和2.4的地缸rgb图和深度图进行图像分割,提取地缸口区域内图像;步骤2.6,遍历分割得到的地缸口区域内深度图,对地缸口区域内进行点云重建,并根据rgb图进行颜色映射,依据的表达式如下:式中,d为地缸口区域内深度图中各像素点深度值,(u,v)对应的像素点坐标;(x,y,z)为相机坐标系下地缸口区域内深度图各点对应的坐标;f
x
、f
y
、c
x
、c
y
为相机内参;c为地缸口区域内深度图缩放因子;步骤2.7,为弥补机器人控制精度问题,通过图像配准将取料作业前、后的地缸口区域内点云数据统一到同一坐标系下;步骤2.8,对比取料作业前、后地缸中醅料表面分布点云数据变化情况,实现醅料取料量测算。5.根据权利要求3所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤3的具体实现方式为:步骤3.1,在图像采集位姿下采集取料前地缸rgb图和深度图,得到地缸口区域内点云,建立图像采集位姿下空缸点云模型,设置地缸空缸点云为目标点云,地缸口区域内点云为输入点云,设置两组点云中的对应点间允许的距离阈值,进行点云求差异,得到醅料点云;步骤3.2,提取记录醅料点云中的深度数据,并转化为以毫米为单位,进行直方图统计,以直方图最大值为基准,滤除掉缸壁黏着醅料,对剩余醅料数据统计分析,求取平均值h,将醅料表面视为平面处理,h为此时醅料取料平面距离相机平面的距离;步骤3.3,根据醅料取料平面深度,估计醅料余料高度,以挖斗斗长为基准设置醅料余料高度阈值,如果当前醅料余料高度低于阈值,则认为醅料取料作业结束,否则,继续进行取料作业;步骤3.4,根据步骤1.4确定醅料取料作业取料点相对于此时醅料取料平面中心的距离b,再进行比例转换得到图像中地缸像素坐标下的距离b
i
,比例转换依据的表达式如下:式中,为图像中地缸口内边缘直径;d为实际地缸口内边缘直径;步骤3.5,以挖斗对缸壁边缘处醅料取料为目标,设计四个预设取料点位置;根据地缸和挖斗尺寸参数、以及挖斗取料轨迹,设计挖斗取料方向为由醅料取料平面中心指向缸壁方向、取料深度为挖斗斗背长度;
步骤3.6,根据机器人末端取料装置挖斗取料轨迹,以挖斗与连杆连接点为坐标原点、挖斗与连杆连接轴线朝外方向为z轴正方向、连杆竖直向下方向为y轴正方向、垂直于连杆且背离挖斗方向为x轴正方向,建立挖斗运动坐标系;步骤3.7,在挖斗运动坐标系下,构建挖斗翻转取料过程中,挖斗前沿中点运动轨迹相应的函数,挖斗前沿每个点取料轨迹函数均使用前沿中点的取料轨迹函数,并将其转换到图像坐标系中,分别得到四个预设取料点对应的图像坐标系下取料轨迹函数;步骤3.8,计算预设取料点取料区域中各像素点相对于挖斗运动坐标系xoz平面的相对深度值,并找到预设取料点取料区域中各点在相应取料轨迹上的对应点;根据提出的醅料取料量表征方法,将各预设取料点取料区域中各像素点相对深度值与相应取料轨迹上对应点的相对深度值作差,分别预测四个预设取料点取料区域的取料量;步骤3.9,选择预测取料量最大的预设取料点作为最优取料点,机器人控制取料装置连杆末端点移动至最优取料点,进行取料作业,从而实现传统地缸固态发酵生产过程中机器人快速取料作业。6.根据权利要求4所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤2.1中取料前、后地缸的rgb图和深度图的采集过程为:采用眼在手上的方法,将结构光深度相机安装于醅料取料机器人末端法兰处,并对相机进行相机标定和手眼标定;醅料取料机器人移动至待进行取料作业的目标地缸前,控制深度相机采集地缸图像,图像处理识别地缸口圆心;以相机能采集到地缸口全貌图像为目标,机器人控制深度相机移动至地缸口圆心正上方固定高度处,镜头正对地缸口平面,设置此位姿为图像采集位姿,采集醅料取料作业前地缸rgb图和深度图;机器人进行醅料取料作业,取料完成后,机器人控制深度相机移动至图像采集位姿,采集醅料取料作业后地缸rgb图和深度图。7.根据权利要求4所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤2.2的具体过程为:采用双边滤波进行滤波降噪,采用加权平均法将地缸图像转化为灰度图,灰度化依据的表达式如下:gray=0.299r+0.587g+0.114b式中,r、g、b分别为地缸rgb图中三个颜色分量;gray为灰度化后地缸图像各像素点对应灰度值;采用canny边缘检测算法对地缸灰度图进行边缘检测,再对检测结果进行形态学闭运算处理,遍历轮廓序列并进行椭圆拟合;构建几何约束,提取地缸口内边缘轮廓近似拟合圆,排除掉其它轮廓,并消除噪声干扰,构建的几何约束表达式如下:式中,long_axis、short_axis分别为每个轮廓拟合椭圆对应的长轴长度与短轴长度,ratio为长轴长度与短轴长度之比,r
min
、r
max
分别为地缸口内边缘近似拟合圆的低约束阈值和高约束阈值,与rgb-d相机镜头平面和地缸口所在平面的距离有关;r
max
为拟合椭圆的长轴长度与短轴长度之比的约束阈值。8.根据权利要求4所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征
在于,所述步骤2.3的具体过程为:基于图像采集位姿,构建比例转换关系,计算得到采集的地缸图像代表的实际区域s,将地缸图像代表实际区域以像素点个数等分得到的各个小区域定义为面元s,继而计算得到地缸图像实际区域的面元s;所述的比例转换关系表达式如下:式中,rows、cols分别为地缸图像宽度和长度;为图像中地缸口内边缘直径;d为实际地缸口内边缘直径;width、length分别为地缸图像代表实际区域的宽度和长度;所述的地缸图像实际区域面元s计算方式如下:s=width
×
lengths=s
÷
nums=width
×
length
÷
nums式中,nums为地缸图像中像素点个数。9.根据权利要求4所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤2.7的具体过程为:采用尺度不变特征变换提取取料前、后两幅地缸图像的特征点,并计算各个特征点的描述子,采用快速近似最近邻匹配算法对两幅地缸图像进行特征匹配,并基于4倍最小匹配距离筛选匹配对,采用随机抽样一致性算法求解取料前、后地缸图像间的运动关系,得到旋转向量r与平移向量t,最终实现取料前、后地缸口区域内点云数据坐标系的统一,依据的表达式如下:q
i
=r
×
p
i
+t式中,p
i
和q
i
分别为取料作业前、后地缸图像特征点;r和t分别为取料前、后地缸图像坐标系间的旋转矩阵和位移矢量;根据得到的r和t即可将取料前地缸口区域内点云数据转换到取料后地缸口区域内点云数据坐标系下,计算表达式如下:式中,[x'
i1
,y'
i1
,z'
i1
]为转换到取料后点云坐标系中,取料前地缸口区域内点云数据;[x
i1
,y
i1
,z
i1
]为取料前点云坐标系中,取料前地缸口区域内点云数据,z
i1
由取料前地缸口区域内深度图像提取的各点深度值d
i1
计算得到,根据z'
i1
即可计算得到取料后点云坐标系中,取料前地缸口区域内各点的深度值d'
i1
。10.根据权利要求4所述的一种基于机器视觉的醅料取料机器人快速取料方法,其特征在于,所述步骤2.8的具体实现步骤如下:2.81根据采集到的醅料取料前、后地缸俯视图,将地缸中醅料区域按像素点划分为一个个细小的参数已知的小长方体醅料,2.82比较取料前、后地缸口区域内同一坐标下深度值的变化情况,得到相应面元处此次醅料取料作业的取料深度h
i
,计算方式如下:h
i
=d
i2-d'
i1
式中,d'
i1
、d
i2
分别为同一坐标系下取料前、后地缸口区域内同一像素点的深度值;2.83结合地缸图像实际区域面元s,即可对相应面元处的醅料取料量进行表征;2.84根据高等数学积分求和计算原理,对所有面元处的醅料取料量相加,最终实现对此次取料作业醅料取料量m的表征,计算方式如下:

技术总结
本发明涉及白酒和醋的酿造技术领域,公开了一种基于机器视觉的醅料取料机器人快速取料方法,包括醅料取料机器人醅料取料安全作业区域规划、醅料取料量表征和机器人快速取料策略三部分。本发明提供的方法实现了传统地缸固态发酵生产过程中醅料出缸作业自动化,降低了工人劳动强度,提高了取料效率。其可用于各种固态发酵生产行业中的醅料出缸作业,具有适用性广并可提高效益的优点。性广并可提高效益的优点。性广并可提高效益的优点。


技术研发人员:田建艳 田淮锐 王素钢 李济甫 尉小雪 李丽宏
受保护的技术使用者:山西万立科技有限公司
技术研发日:2022.10.11
技术公布日:2023/1/23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1