基于机器视觉的机械手入库智能拆码垛控制系统及装置的制作方法

文档序号:44460003发布日期:2026-01-23 18:25阅读:17来源:国知局
技术简介:
本发明针对软包装箱料干扰机器视觉导致机械手拆码垛控制不精准的问题,提出三模块协同控制方案:通过夹取监测模块实时分析点云数据偏差,量化软包装对视觉识别的影响;夹取效果量化模块结合点云特征与夹取成功率评估,优化抓取点选择;夹持力控制模块动态调整夹持力度,提升抓取稳定性。技术核心在于通过多维度数据融合与补偿策略,解决软包装物体表面不规则导致的视觉识别误差和抓取失败问题。
关键词:软包装箱垛识别,机械手夹持力控制

本发明涉及图像数据处理,特别是指基于机器视觉的机械手入库智能拆码垛控制系统及装置。


背景技术:

1、现有的基于机器视觉的智能码垛/拆垛系统,是多种技术的融合系统,包括3d(three-dimensional,三维)视觉感知(点云结合深度图)、ai(artificial intelligence,人工智能)智能识别与姿态估计、抓取点规划结合路径优化、码垛/拆垛策略与任务管理系统、力控结合容错机制以及系统控制集成结合工业通讯;通过3d视觉感知采集堆垛区域的点云和图像,重建货物表面,精确定位物体的中心、姿态和抓取面,以及识别货物种类(箱子、包裹、袋装);通过ai智能识别与姿态估计在多个可能抓取面中选择最优(抗遮挡、稳定性高),对异形、软包装、带反光材料的物体也能精确识别夹点,自动调整机械手末端执行器姿态;通过抓取点规划结合路径优化则根据抓取点和目标点动态规划机械臂路径,并避开障碍物(码垛货物、传送带、货架等)以及控制机械手柔顺运动,实现精准抓放;码垛/拆垛策略与任务管理系统则生成最优拆垛顺序(如从上至下,从外到内),并管理入库/出库的fifo(first in,first out,先进先出)/lifo(last in,first out,后进先出)顺序,还需跟踪货物状态:位置、是否已搬运、放置在哪个货架位;力控结合容错机制不仅实现了软包装或不规则物体抓取时避免变形或掉落,还实现了“刚接触就停止”机制,避免碰撞,实时感知夹取失败/滑落,触发重抓逻辑;系统控制集成结合工业通讯则用于与输送线、立库、仓储wms(warehouse management system,仓库管理系统)/wcs(warehouse control system,仓库控制系统)系统对接,以及多机器人协作调度。

2、例如授权公告号为:cn110322457b的中国发明专利公开的一种2d与3d视觉结合的拆垛方法,包括:立体视觉装置和中间相机,拆垛方法包括:步骤1,利用立体视觉装置,获取堆垛的3d点云数据,并根据3d点云数据,确定堆垛的高度分布图;步骤2,利用中间相机,获取堆垛上表面的2d图像,利用边缘检测算法,确定物体在2d图像中的边缘线;步骤3,根据边缘线在2d图像中的位置关系,确定物体的中心坐标,并根据中心坐标、中心坐标在高度分布图中的纵向高度以及3d点云数据,生成机械手抓取物体的抓取信息。

3、例如授权公告号为:cn111524184b的中国发明专利公开的一种基于3d视觉的智能拆垛方法及拆垛系统,包括:s1、采集箱垛的图像信息并进行预处理;s2、根据预处理后的图像信息获取码放箱垛的顶层区域并设定拆垛顺序;s3、根据设定的拆垛顺序获取至少包含一个箱子的候选框,并分别利用传统图像处理方法和深度学习方法判断待抓取箱子的摆放姿势;s4、综合两种方法的判断结果确定候选框中待抓取箱子的摆放姿势;s5、计算抓取机械手的旋转角度,并控制机械手抓取箱子拆垛。

4、上述技术至少存在如下技术问题:

5、在现有技术中,3d视觉能提供形状和姿态信息,但对于软包装、易变形或表面不平整的物体,夹爪抓取仍易失败,由于软包装物体表面可能出现褶皱、鼓包、变形等非规则形状,导致生成的点云数据不光滑、不连续,使得点云“跳动”或稀疏,给出的表面法线和抓取位置不可靠,并且软物体放置后会因受力产生形变,视觉系统看到的“姿态”可能是瞬时状态,识别出的中心位置、法向量、边缘信息无法真实反映其可抓取性,导致加持力无法精确控制或者抓取点选择不合适,存在软包装箱料干扰机器视觉扫描结果导致机械手拆码垛控制准确性低的问题。


技术实现思路

1、为了解决现有技术存在的软包装箱料干扰机器视觉扫描结果导致机械手拆码垛控制准确性低的技术问题,本申请实施例提供了基于机器视觉的机械手入库智能拆码垛控制系统及装置。技术方案如下:

2、一方面,提供了基于机器视觉的机械手入库智能拆码垛控制系统,该系统包括:机械手入库夹取监测模块、机械手夹取效果量化模块和机械手夹持力控制模块;其中,机械手入库夹取监测模块用于在机械手入库对指定软包装箱垛进行智能拆码垛时,实时监测指定软包装箱垛对点云数据的影响情况以选择是否采取软包装影响补偿措施;机械手夹取效果量化模块用于对机械手抓取指定软包装箱垛的夹取效果进行量化以判断是否进行对应的夹取点矫正调节,夹取点矫正调节用于提高机械手对指定软包装箱垛的夹取点选择的准确性;机械手夹持力控制模块用于对预设抓取周期内的抓取成功率进行合格性判断以确定是否采取夹取力控制调整策略,夹取力控制调整策略用于提高机械手对指定软包装箱垛施加的夹持力的准确性。

3、另一方面,提供了基于机器视觉的机械手入库智能拆码垛控制装置,应用基于机器视觉的机械手入库智能拆码垛控制系统,该装置包括:视觉感知结构、机械手与夹持结构以及控制决策模块;视觉感知结构主要包括安装于机械手末端的工业相机,辅助视觉识别的光源系统,以及用于图像处理与点云分析的视觉计算单元;机械手与夹持结构为一种多自由度工业机器人,用于支撑拆垛、旋转以及搬运动作,配备有抓取检测传感器以判断是否抓取成功,以及配备各类夹具,具体包括真空吸盘夹具、电动夹爪以及气动夹爪;控制决策模块用于运行视觉识别与抓取路径规划算法,与机器人本体配套,控制机械臂动作。

4、本申请实施例提供的技术方案带来的有益效果至少包括:

5、1、在机械手入库对指定软包装箱垛进行智能拆码垛时,实时监测指定软包装箱垛对点云数据的影响情况以选择是否采取软包装影响补偿措施,降低了软包装特性对机械视觉的干扰程度,接着对机械手抓取指定软包装箱垛的夹取效果进行量化以判断是否进行对应的夹取点矫正调节,确保了机械手能够更加准确地选择夹取点,最后对预设抓取周期内的抓取成功率进行合格性判断以确定是否采取夹取力控制调整策略,从而对指定软包装箱垛施加更加精确的夹持力,进而提高了机械手拆码垛控制的准确性。

6、2、首先从预设数据库获取软包装点云影响比例与预设深度值,为后续数据分析提供了数据基础,并将点云z方向深度值与预设深度值进行偏离程度量化得到对应的深度偏离影响量,初始量化了点云z方向深度值的偏离程度,接着将深度偏离影响量、点云曲率、点云跳动频率以及点云重叠率与对应的软包装点云影响比例进行赋权运算后耦合,最后得到点云数据-夹取影响量,量化了软包装特性对机器视觉识别的干扰程度,有助于及时采取对应的措施以提高机器视觉识别的准确程度。

7、3、首先实时获取夹取效果分析数据并进行数据归一化处理,保证数据量纲统一,接着从预设数据库中提取夹取效果分析比重以准确分析各夹取效果分析数据对夹取效果量化值的影响程度,最后将夹取效果分析数据与对应的夹取效果分析比重进行赋权运算后耦合得到夹取效果量化值,从而准确量化了机械手选取的指定软包装箱垛的夹取点的准确程度,进而及时采取对应的措施以保证选取的夹取点的准确性。


技术特征:

1.基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,包括:机械手入库夹取监测模块、机械手夹取效果量化模块和机械手夹持力控制模块;

2.根据权利要求1所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述实时监测指定软包装箱垛对点云数据的影响情况以选择是否采取软包装影响补偿措施,具体步骤如下:

3.根据权利要求2所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述点云数据-夹取影响量的具体获取方式如下:

4.根据权利要求2所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述采取软包装影响补偿措施的具体过程如下:

5.根据权利要求1所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述对机械手抓取指定软包装箱垛的夹取效果进行量化以判断是否进行对应的夹取点矫正调节,具体步骤如下:

6.根据权利要求5所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述夹取效果量化值的具体获取方式如下:

7.根据权利要求5所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述进行对应的夹取点矫正调节的具体内容为:

8.根据权利要求1所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述对预设抓取周期内的抓取成功率进行合格性判断以确定是否采取夹取力控制调整策略,具体过程如下:

9.根据权利要求8所述的基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,所述夹取力控制调整策略的具体内容如下:

10.基于机器视觉的机械手入库智能拆码垛控制装置,用于实现如权利要求1-9任一项所述基于机器视觉的机械手入库智能拆码垛控制系统,其特征在于,包括:视觉感知结构、机械手与夹持结构以及控制决策模块;


技术总结
本发明公开了基于机器视觉的机械手入库智能拆码垛控制系统及装置,涉及图像数据处理技术领域。该基于机器视觉的机械手入库智能拆码垛控制系统,包括以下模块:机械手入库夹取监测模块、机械手夹取效果量化模块和机械手夹持力控制模块。本发明在机械手入库对指定软包装箱垛进行智能拆码垛时监测其对点云数据的影响情况,选择是否采取软包装影响补偿措施,接着对机械手抓取指定软包装箱垛的夹取效果进行量化以判断是否进行夹取点矫正调节,最后对抓取成功率进行合格性判断以确定是否采取夹取力控制调整策略,提高了机械手拆码垛控制的准确性,解决了现有技术中存在软包装箱料干扰机器视觉扫描结果导致机械手拆码垛控制准确性低的问题。

技术研发人员:郭德斌,陈荣,童昭辉,李啸
受保护的技术使用者:湖南德荣医链数智科技有限公司
技术研发日:
技术公布日:2026/1/22
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!