一种基于视觉伺服的复合机器人动态抓取方法及系统与流程

本发明主要涉及机器人控制，尤其是涉及一种基于视觉伺服的复合机器人动态抓取方法及系统。

背景技术：

1、不同于传统工业机械臂工作在固定区域且对已知对象进行重复的抓取操作，复杂环境下的复合机器人动态抓取涉及了环境感知与处理、感知信息到机械臂操作空间的映射、机械臂手眼协调控制等多个具有挑战的研究领域。因此研究复合机器人动态抓取作业具有重要的意义。复合机器人动态抓取操作包括物体识别与定位、位姿计算、复合机器人抓取规划、机器人控制等多个环节。随着视觉传感器的制造水平持续提高，视觉算法研究不断深入，视觉系统成为复合机器人感知环境的重要途径，有效地拓展了机器人的感知能力，提高了机器人自主化、智能化水平。复合机器人的运动规划有别于传统固定机械臂的抓取规划，移动平台扩大了机器人工作空间，但同时给系统建模和运动控制带来了难度。

2、目前大多数移动机械臂的运动规划研究，将移动平台和机械臂的运动分开规划，少部分研究将移动机械臂作为一个整体进行运动规划，但并没有考虑移动平台和机械臂之间的差异。与移动平台相比，机械臂响应更快，精确度更高。因此如何协调移动平台和机械臂之间的运动，是复合机器人抓取作业面临的一个难题，具有重要的研究价值和实际意义。

技术实现思路

1、本发明所要解决的技术问题

2、提供一种基于视觉伺服的复合机器人动态抓取方法及系统，解决目前的复合机器人在进行目标抓取时，移动平台和机械臂的响应速度不同导致平台和机械臂运动不协调，影响机械臂的抓取精度的问题。

3、本发明解决上述技术问题所采用的技术方案

4、一种基于视觉伺服的复合机器人动态抓取方法，应用于包括移动底盘和机械臂的复合机器人，包括，

5、实时采集复合机器人在行进方向上的深度图像，基于深度图像的深度信息与待抓取物在图像中的位置获取待抓取物的坐标信息和复合机器人当前的位姿；

6、根据复合机器人当前的位姿信息与待抓取物的坐标信息计算复合机器人下一时刻的位姿信息；

7、根据复合机器人的位姿信息控制复合机器人运动，并确定复合机器人在世界坐标系中的位置；

8、根据待抓取物的坐标信息和复合机器人的世界坐标进行待抓取物坐标估计，对待抓取物进行抓取。

9、进一步的，设置多个拍摄角度，从不同角度获取复合机器人在行进方向上的深度图形，对不同拍摄角度的深度图像进行融合，从融合后的深度图像中提取图像的深度信息。

10、进一步的，基于采集的复合机器人行进方向上的深度图像与待抓取物在图像中的位置获取待抓取物的坐标信息具体包括，

11、采用直方图对采集的深度图像进行自动曝光修正，使画面的平均亮度与极大极小值均满足预设的亮度范围；

12、从曝光修正后的图像中提取当前帧图像，采用均值池化法对图像进行降采样；

13、将深度图像中的深度值转换为世界坐标系中的实际距离，得到物体到图像采集设备光心平面的真实距离。

14、进一步的，所述根据当前复合机器人位姿与待抓取物体的坐标信息计算下一时刻复合机器人的位姿参数具体包括；

15、计算出期望待抓取点与当前复合机器人速度方向的偏转角；

16、根据复合机器人的底盘期望速度计算复合机器人到达可抓取区域范围的时间。

17、进一步的，根据待抓取物的坐标信息和复合机器人的世界坐标进行抓取物体的坐标估计具体包括，

18、在设置的抓取时间内将复合机器人视为直线运动，结合待抓取点与当前复合机器人速度方向的偏转角和复合机器人到达可抓取区域的时间预估待抓取物体在机械臂坐标系下的位置；

19、采用基于位置的视觉伺服计算待抓取物的坐标信息，连续更新复合机器人的预估抓取位置；

20、控制复合机器人的机械臂到达预估抓取位置，对待抓取物进行抓取。

21、进一步的，获取当前环境下复合机器人行走区域的环境图像，将采集的环境图像输入至经过训练的神经网络模型，神经网络模型输出为待抓取物种类，根据待抓取物的种类设置不同的抓取姿势。

22、进一步的，在将rgb图像输入神经网络模型进行待抓取物种类判断对采集的环境图像进行自动曝光修正，使画面的平均亮度与亮度极大值和极小值在预设范围内，并采用均值池化方法对曝光修正后的图像机进行降采样。

23、进一步的，所述期望待抓点为待抓取物体距离机械臂末端夹爪10cm。

24、基于所述于视觉伺服的复合机器人的动态抓取方法，本发明还提供一种基于视觉伺服的复合机器人动态抓取系统，所述系统包括数据采集装置、计算平台和复合机器人平台，

25、所述数据采集装置，用于实时采集复合机器人行进方向上的rgb图像和深度图，并发送给计算平台；

26、所述计算平台，用于动态识别环境内的待抓取物体

27、所述复合机器人平台包括移动底盘和机械臂，用于对待抓取物进行抓取。

28、进一步的，所述数据采集装置设置在机械臂夹爪上，所述数据采集装置为深度相机。

29、本发明的有益效果

30、本发明所述的一种基于视觉伺服的复合机器人动态抓取方法，能够针对灵活自主的移动物体极性抓取，设计了一个移动平台和机械臂分级协调规划的方案。针对移动平台提出了一个先整体后局部的规划策略，在机械臂上设深度相机，基于深度相机拍摄的深度图像获取待抓取物的坐标信息和复合机器人当前位姿，并计算出复合机器人下一时刻的我位姿，根据计算的复合机器人的位姿信息计算复合机器人在世界坐标系中的位置，最后根据待抓取物的坐标信息和复合机器人的世界坐标进行待抓取物坐标估计，对待抓取物进行抓取。

31、为了提高对体积较小的物体的检测，建立神经网络模型对深度摄像头拍摄图像进行分类，根据不同的物体种类设置不同的抓取姿态，提高待抓取物的抓取效率。

技术特征：

1.一种基于视觉伺服的复合机器人动态抓取方法，应用于包括移动底盘和机械臂的复合机器人，其特征在于，包括，

2.根据权利要求1所述的一种基于视觉伺服的复合机器人动态抓取方法，其特征在于，基于采集的复合机器人行进方向上的深度图像与待抓取物在图像中的位置获取待抓取物的坐标信息具体包括，

3.根据权利要求1所述的一种基于视觉伺服的复合机器人动态抓取方法，其特征在于，所述根据当前复合机器人位姿与待抓取物体的坐标信息计算下一时刻复合机器人的位姿参数具体包括；

4.根据权利要求3所述的一种基于视觉伺服的复合机器人动态抓取方法，其特征在于，根据待抓取物的坐标信息和复合机器人的世界坐标进行抓取物体的坐标估计具体包括，

5.根据权利要求1所述的一种基于视觉伺服的复合机器人动态抓取方法，其特征在于，获取当前环境下复合机器人行走区域的rgb图像，将采集的环境图像输入至经过训练的神经网络模型中，神经网络模型识别待抓取物种类，根据待抓取物的种类设置不同的抓取姿势。

6.根据权利要求5所述的一种基于视觉伺服的复合机器人动态抓取方法，其特征在于，在将rgb图像输入神经网络模型进行待抓取物种类判断对采集的环境图像进行自动曝光修正，使画面的平均亮度与亮度极大值和极小值在预设范围内，并采用均值池化方法对曝光修正后的图像机进行降采样。

7.根据权利要求3所述的一种基于视觉伺服的复合机器人动态抓取方法，其特征在于，所述期望待抓点为待抓取物体距离机械臂末端夹爪10cm处。

8.一种基于视觉伺服的复合机器人动态抓取系统，用于实现权利要求1-7任意一项所述的一种基于视觉伺服的复合机器人的动态抓取方法，其特征在于，所述系统包括数据采集装置、计算平台和复合机器人平台，

9.根据权利要求8所述的一种基于视觉伺服的复合机器人动态抓取系统，其特征在于，所述数据采集装置设置在机械臂末端，所述数据采集装置为深度相机。

技术总结
本发明主要涉及机器人控制技术领域。为了解决目前的复合机器人在进行目标抓取时，移动平台和机械臂的响应速度不同导致平台和机械臂运动不协调，影响机械臂的住抓取精度的问题，本发明提供一种基于视觉伺服的复合机器人动态抓取方法及系统，实时采集复合机器人在行进方向上的深度图像，基于深度图像的深度信息与待抓取物在图像中的位置获取待抓取物的坐标信息和复合机器人当前的位姿；根据复合机器人当前的位姿信息与待抓取物的坐标信息计算复合机器人下一时刻的位姿信息；确定复合机器人在世界坐标系中的位置；根据待抓取物的坐标信息和复合机器人的世界坐标进行待抓取物坐标估计，对待抓取物进行抓取。

技术研发人员：刘孟红,刘艳娇,黄瑞,穆逢君,展华益
受保护的技术使用者：四川启睿克科技有限公司
技术研发日：
技术公布日：2024/1/22