一种基于深度学习的网球拾取服务型机器人

本发明涉及机器人，具体是一种基于深度学习的网球拾取服务型机器人。

背景技术：

1、现如今，机器人技术已经成为衡量国家创新能力的重要指标，各国纷纷推出相关的政策以加大对机器人产业的支持力度。近年来，随着技术的突破以及核心零部件成本的下降，服务型机器人正在朝着多样化和智能化的方向迅速发展，其功能涵盖运输、清洁、安防、急救、娱乐等多个方面，而智能化程度是机器人的重要评判标准。深度学习作为人工智能最前沿的一个分支，其突破性发展促进了人工智能领域的爆发性增长，已广泛应用于机器人的告知、决策和控制等相关领域。深度学习技术与机器人的有机结合，能够设计出具有高工作效率、高实时性、高精确度的智能机器人。

2、目前市面上出现的许多传统网球收集装置，它们之间在结构上存在一定的相同点。装置的核心是由金属杆构成的滚筒，杆件自检合理的间距，使得滚筒在转动时，能够把沿途的网球收集到滚筒内部。由于传统的网球收集装置往往需要配合人力使用，因此自动化程度不高，捡球效率低下。考虑到传统网球收集装置需要大量人力的投入，许多研究人员将网球拾取机构与机器人相结合，例如设计了一款借助叶轮捡球的网球机器人，但是由于传统视觉技术且缺少路径规划模块，智能化程度低，网球拾取机器人的感知、识别、规划、执行等方面的能力仍然需要进一步提升，针对以上问题，提出了一种基于深度学习的网球拾取服务型机器人。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的网球拾取服务型机器人，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于深度学习的网球拾取服务型机器人，包括上位机、控制主板、双目相机、机器人底盘以及网球拾取机构，所述网球拾取机构与机器人底盘插接，所述上位机基于yolov5s识别算法和极线约束的立体匹配算法，上位机针对网球拾取任务中的路径，基于多目标a*捡球路径规划算法进行路径规划，并且上位机并基于视觉伺服运动控制算法和pid控制算法对机器人进行捡球运动控制。

4、作为本发明进一步的方案：所述上位机、控制主板和双目相机安装在网球拾取机构上，网球拾取机构底部安装有万向轮，网球拾取机构对称的固定连接有插槽，机器人底盘对称的设置有与插槽相适配的插销杆，插销杆与插槽相连接，机器人底盘顶部设置有收纳筐，收纳筐处在网球拾取机构的出口下方。

5、作为本发明再进一步的方案：所述yolov5s识别算法和极线约束的立体匹配算法是基于双目视差原理对目标的三维坐标进行计算，利用双目相机对目标进行定位。

6、作为本发明再进一步的方案：所述yolov5s识别算法以cspdarknet53作为主干网络，spp模块作为辅助网络，以提高模型的感受力和特征提取能力，yolov5s识别算法还采用了包括mosaic数据增强、自适应学习率，以提高模型的鲁棒性和泛化能力。

7、作为本发明再进一步的方案：所述极线约束的立体匹配算法采用局部搜索匹配的策略，保证了极线约束的立体匹配算法的实时性。

8、作为本发明再进一步的方案：所述yolov5s识别算法和极线约束的立体匹配算法根据双目视差原理，计算出了网球目标在相机坐标系下的三维坐标，结合双目相机在本机器人上的安装特点，采用三点法原理对坐标进行转化，从而获得网球目标在机器人坐标系或者世界坐标系下的真实位置。

9、作为本发明再进一步的方案：所述多目标a*捡球路径规划算法为机器人规划出一条较为高效和合理的捡球路径。

10、作为本发明再进一步的方案：所述视觉伺服运动控制算法和pid控制算法的配合使用，使得机器人在网球拾取阶段能够很好地矫正航向偏差，并且能够利用双目相机对局部范围内的网球目标进行识别，跟踪偏离预定位置的目标网球。

11、与现有技术相比，本发明的有益效果是：

12、1.本发明通过基于yolov5s识别算法和极线约束的立体匹配算法，进一步地基于双目视差原理对目标的三维坐标进行计算，提高网球拾取服务型机器人对网球识别稳定性更高，并且其精度和速度表现也非常优秀。

13、2.本发明通过基于多目标a*捡球路径规划算法的捡球路径规划方案，为机器人规划出一条较为高效和合理的捡球路径，该算法会考虑到球场上实际存在的障碍物，使得规划出的路径较为合理，确保机器人在捡球阶段不会撞到障碍物。

14、3.本发明通过视觉伺服运动控制算法和pid控制算法的配合使用，使得机器人在网球拾取阶段能够很好地矫正航向偏差，并且能够利用双目相机对局部范围内的网球目标进行识别，跟踪偏离预定位置的目标网球。

15、4.本发明中网球拾取机构通过插槽与机器人底盘连接的插销杆插接，方便网球拾取机构和机器人底盘的拆装，方便与不同的机器人底盘连接，且通过在网球拾取机构底部设置万向轮，增加装置的稳定性。

技术特征：

1.一种基于深度学习的网球拾取服务型机器人，包括上位机(7)、控制主板(9)、双目相机(8)、机器人底盘(1)以及网球拾取机构(3)，其特征在于：所述网球拾取机构(3)与机器人底盘(1)插接，所述上位机(7)基于yolov5s识别算法和极线约束的立体匹配算法，上位机(7)针对网球拾取任务中的路径，基于多目标a*捡球路径规划算法进行路径规划，并且上位机(7)并基于视觉伺服运动控制算法和pid控制算法对机器人进行捡球运动控制。

2.根据权利要求1所述的一种基于深度学习的网球拾取服务型机器人，其特征在于：所述上位机(7)、控制主板(9)和双目相机(8)安装在网球拾取机构(3)上，网球拾取机构(3)底部安装有万向轮(4)，网球拾取机构(3)对称的固定连接有插槽(5)，机器人底盘(1)对称的设置有与插槽(5)相适配的插销杆(6)，插销杆(6)与插槽(5)相连接，机器人底盘(1)顶部设置有收纳筐(2)，收纳筐(2)处在网球拾取机构(3)的出口下方。

3.根据权利要求1所述的一种基于深度学习的网球拾取服务型机器人，其特征在于：所述yolov5s识别算法和极线约束的立体匹配算法是基于双目视差原理对目标的三维坐标进行计算，利用双目相机对目标进行定位。

4.根据权利要求1所述的一种基于深度学习的网球拾取服务型机器人，其特征在于：所述yolov5s识别算法以cspdarknet53作为主干网络，spp模块作为辅助网络，以提高模型的感受力和特征提取能力，yolov5s识别算法还采用了包括mosaic数据增强、自适应学习率，以提高模型的鲁棒性和泛化能力。

5.根据权利要求1所述的一种基于深度学习的网球拾取服务型机器人，其特征在于：所述极线约束的立体匹配算法采用局部搜索匹配的策略，保证了极线约束的立体匹配算法的实时性。

6.根据权利要求3所述的一种基于深度学习的网球拾取服务型机器人，其特征在于：所述yolov5s识别算法和极线约束的立体匹配算法根据双目视差原理，计算出了网球目标在相机坐标系下的三维坐标，结合双目相机在本机器人上的安装特点，采用三点法原理对坐标进行转化，从而获得网球目标在机器人坐标系或者世界坐标系下的真实位置。

7.根据权利要求1所述的一种基于深度学习的网球拾取服务型机器人，其特征在于：所述多目标a*捡球路径规划算法为机器人规划出一条较为高效和合理的捡球路径。

8.根据权利要求1所述的一种基于深度学习的网球拾取服务型机器人，其特征在于：所述视觉伺服运动控制算法和pid控制算法的配合使用，使得机器人在网球拾取阶段能够很好地矫正航向偏差，并且能够利用双目相机对局部范围内的网球目标进行识别，跟踪偏离预定位置的目标网球。

技术总结
本发明公开了一种基于深度学习的网球拾取服务型机器人，包括上位机、控制主板、双目相机、机器人底盘以及网球拾取机构，所述网球拾取机构与机器人底盘插接，所述上位机基于Yolov5s识别算法和极线约束的立体匹配算法，通过基于Yolov5s识别算法和极线约束的立体匹配算法，进一步地基于双目视差原理对目标的三维坐标进行计算，提高网球拾取服务型机器人对网球识别稳定性更高，并且其精度和速度表现也非常优秀，通过基于多目标A<supgt;*</supgt;捡球路径规划算法的捡球路径规划方案，为机器人规划出一条较为高效和合理的捡球路径，该算法会考虑到球场上实际存在的障碍物，使得规划出的路径较为合理，确保机器人在捡球阶段不会撞到障碍物。

技术研发人员：朱正,王雅婷,赵学进,陈茂森,周镕鑫,王永凯,张森,石璨,郭小宝,田凤军,张杨
受保护的技术使用者：哈尔滨工程大学
技术研发日：
技术公布日：2024/1/15