一种适用于小目标的无人车机械臂自主抓取系统及方法与流程

本发明属于智慧工厂机械臂控制及机器视觉，具体涉及一种适用于小目标的无人车机械臂自主抓取系统及方法。

背景技术：

1、随着无人车技术的发展，无人车机械臂自主抓取方法逐渐成为研究的热点。无人车机械臂自主抓取是指在无人车上搭载机械臂，通过自主感知和决策，实现对目标物体的抓取操作。传统的无人车机械臂自主抓取，主要是通过使用深度学习算法，实现对目标物体的实时检测盒识别，从而实现对小目标的抓取。

2、在工业生产领域，机械臂的自主抓取能力对于执行各种任务至关重要，但是由于小目标往往具有较小的外形，因此针对小目标的自主抓取一直是一个挑战。为了解决这一问题，近几年来也存在有结合传感器和机器视觉技术来实现对小目标的抓取，但是当前目标识别算法对小目标的检测精度较差，可能会出现误检或者漏检的情况，导致机械臂无法准确的抓取小目标；再者，使用深度学习模型进行目标检测和识别可能需要较大的计算资源，而在工业边缘计算平台上部署大型模型的计算成本较高。此外早期的机械臂自主抓取方法，多是示教方法，但机械臂受限于高度重复的环境下，不具备自适应抓取能力，抓取物体具有较多的限制条件，机械臂无法灵活移动，应用场景较为局限。

3、基于上述问题，设计出一种适用于工业计算边缘平台的小目标无人车机械臂抓取方法尤为重要。

技术实现思路

1、本发明提供一种适用于小目标的无人车机械臂自主抓取系统及方法，用于解决传统机械臂缺乏移动灵活性、抓取小物体精度差、控制系统复杂等问题，该方法具有通用性强、计算效率高及抓取精度高等特点。

2、本发明解决其技术问题所采用的方案是：一种适用于小目标的无人车机械臂自主抓取系统及方法，包括无人车、机械臂控制模块、目标识别模块、ros操作系统，所述无人车用于承载目标物，并由ros操作系统控制；所述机械臂控制模块包括机械臂、视觉感知模块以及机械臂运动学模块；所述视觉感知模块包括图像采集机构，该图像采集机构固定安装在机械臂末端，并与ros操作系统连接，通过ros操作系统控制双目结构光相机获取视野范围内的图像信息，并将获取的图像信息以及与之匹配的深度信息利用ros操作系统中的话题通信机制传递至目标识别模块；所述目标识别模块用于与视觉感知模块相结合以识别小目标的三维坐标，并将获取到的小目标三维坐标传递至机械臂运动学模块，从而利用ros操作系统来控制机械臂抓取目标物。

3、进一步地，所述图像采集机构为双目结构光相机，所述双目结构光相机在使用前需要经过棋盘格标定获取相机的内参，从而确定世界坐标映射到像素坐标的转换关系。

4、进一步地，所述机械臂运动学模块中配置有机械臂运动学算法，用于设置运动学求解器和运动规划器，从而实现机械臂建模，获取机械臂底座的空间坐标。

5、进一步地，所述目标识别模块中配置有gs-yolov5算法，为改进的适用于小目标检测的gs-yolov5算法，利用该算法来识别指定的小目标。

6、进一步地，所述gs-yolov5是由yolov5检测模型结合gsconv新型卷积模块改进的小目标检测算法，其中gs-yolov5目标检测网络主要包括输入端、主干网络、颈部和检测头；其中输入端和检测头依赖yolov5原始网络模块。

7、进一步地，所述ros操作系统主要用于视觉感知模块、机械臂、上位机及无人车驱动模块之间的联动控制，包括master节点、机械臂驱动节点、双目相机节点、gs-yolov5，无人车驱动节点、动态tf坐标转换发布节点以及动态tf坐标转换订阅节点，各节点之间通过master节点协调信息交互，从而完成系统的逻辑控制。

8、本发明还提供一种适用于小目标的无人车机械臂自主抓取方法，包括以下步骤：启动机械臂双目相机节点后，获取到相机视野范围内的图像及深度信息，并将该信息以话题方式传递给ros操作系统的gs-yolov5节点，同时启动gs-yolov5目标检测算法进行预测，输出预测到的目标框的像素坐标；再结合双目相机标定的结果计算出目标的三维坐标，并将目标的三维坐标发送至机械臂驱动节点，机械臂驱动节点利用gs-yolov5节点识别到的小目标分类信息和位姿信息来控制机械臂运动。

9、与现有技术相比，本发明的有益效果是：

10、本发明提供的一种适用于小目标的无人车机械臂自主抓取系统及方法，利用双目结构光相机获取目标物的图像信息和深度信息，并通过ros系统的通信机制将图像信息和深度信息传递给目标识别模块，利用目标识别算法识别指定的小目标，再利用上述双目相机的标定结果计算出目标的三维坐标，机械臂运动学模块利用得到的目标三维坐标，利用机械臂逆运动学方法计算出夹爪抓取目标时各关节移动所需的角度坐标，从而控制机械臂准确抓取识别到的小目标。

11、本发明基于机器视觉、无人车与机械臂联动等方法，旨在解决传统机械臂抓取模式固定、灵活性较差、小目标识别抓取精度差等问题，通过将无人车与机械臂联动，提高机械臂抓取目标物体的灵活性，通过改进的适用于工业计算边缘计算平台的小目标gs-yolov5检测算法，提高小目标的检测精度，从而更加精准的控制机械臂抓取目标物体。

12、本发明以gsconv为基础引入gsbottleneck模块，并使用一次性聚合方法设计跨级部分网络模块vov-gscsp，极大程度的降低了计算成本和网络结构的复杂性，同时保持了模型检测精度，使其更加适用于工业边缘计算平台对小目标的检测能力。

技术特征：

1.一种适用于小目标无人车机械臂自主抓取系统，其特征在于：包括无人车、机械臂控制模块、目标识别模块、ros操作系统，所述无人车用于承载目标物，并由ros操作系统控制；所述机械臂控制模块包括机械臂、视觉感知模块以及机械臂运动学模块；所述视觉感知模块包括图像采集机构，该图像采集机构固定安装在机械臂末端，并与ros操作系统连接，通过ros操作系统控制双目结构光相机获取视野范围内的图像信息，并将获取的图像信息以及与之匹配的深度信息利用ros操作系统中的话题通信机制传递至目标识别模块；所述目标识别模块用于与视觉感知模块相结合以识别小目标的三维坐标，并将获取到的小目标三维坐标传递至机械臂运动学模块，从而利用ros操作系统来控制机械臂抓取目标物。

2.根据权利要求1所述的适用于小目标无人车机械臂自主抓取系统，其特征在于：所述图像采集机构为双目结构光相机，所述双目结构光相机在使用前需要经过棋盘格标定获取相机的内参，从而确定世界坐标映射到像素坐标的转换关系。

3.根据权利要求1所述的适用于小目标无人车机械臂自主抓取系统，其特征在于：所述机械臂运动学模块中配置有机械臂运动学算法，用于设置运动学求解器和运动规划器，从而实现机械臂建模，获取机械臂底座的空间坐标。

4.根据权利要求1所述的适用于小目标无人车机械臂自主抓取系统，其特征在于：所述目标识别模块中配置有gs-yolov5算法，为改进的适用于小目标检测的gs-yolov5算法，利用该算法来识别指定的小目标。

5.根据权利要求4所述的适用于小目标无人车机械臂自主抓取系统，其特征在于：所述gs-yolov5是由yolov5检测模型结合gsconv新型卷积模块改进的小目标检测算法，其中gs-yolov5目标检测网络主要包括输入端、主干网络、颈部和检测头；其中输入端和检测头依赖yolov5原始网络模块。

6.根据权利要求1所述的适用于小目标无人车机械臂自主抓取系统，其特征在于：所述ros操作系统主要用于视觉感知模块、机械臂、上位机及无人车驱动模块之间的联动控制，包括master节点、机械臂驱动节点、双目相机节点、gs-yolov5，无人车驱动节点、动态 tf坐标转换发布节点以及动态 tf 坐标转换订阅节点，各节点之间通过master节点协调信息交互，从而完成系统的逻辑控制。

7.一种适用于小目标的无人车机械臂自主抓取方法，应用上述权利要求1-6任一项所述的适用于小目标无人车机械臂自主抓取系统，其特征在于：启动机械臂双目相机节点后，获取到相机视野范围内的图像及深度信息，并将该信息以话题方式传递给ros操作系统的gs-yolov5节点，同时启动gs-yolov5目标检测算法进行预测，输出预测到的目标框的像素坐标；再结合双目相机标定的结果计算出目标的三维坐标，并将目标的三维坐标发送至机械臂驱动节点，机械臂驱动节点利用gs-yolov5节点识别到的小目标分类信息和位姿信息来控制机械臂运动。

技术总结
本发明公开了一种适用于小目标的无人车机械臂自主抓取系统及方法，涉及智慧工厂机械臂控制及机器视觉技术领域，包括以下过程：启动机械臂双目相机节点后，可以获取相机视野范围内的图像及深度信息，将该信息以话题方式传递给GS‑YOLOV5节点并启动GS‑YOLOV5目标检测算法进行预测，输出预测到的目标框的像素坐标，再结合双目相机标定的结果计算出目标的三维坐标，并将目标的三维坐标传递给机械臂驱动节点，机械臂驱动节点利用GS‑YOLOV5节点识别到的小目标分类信息和位姿信息控制机械臂运动。本发明方法通用性强、计算效率高及对于小目标的抓取精度高。

技术研发人员：冯敬培,宋贵科,朱鹏浩,朱朋飞,高阳,韦金阳,李丹,王珺
受保护的技术使用者：郑州煤机智控技术创新中心有限公司
技术研发日：
技术公布日：2024/4/7