一种基于深度视觉的自主捡网球机器人的制作方法

本发明涉及人工智能机器视觉技术领域，尤其涉及一种基于深度视觉的自主捡网球机器人。

背景技术：

当今世界智能化，自动化逐渐渗透到各种领域，各个方面。人工智能也逐渐多样化，通过人工智能与机器视觉，控制算法等的综合运用，能制造具备丰富功能的智能机器人，大大便利了人们的生活。根据调查了解，如今网球运动员训练场，会在场地上杂乱无章的掉落许多网球，而数目过多会造成网球训练的困扰，而利用人工拾取网球，效率则会非常低。并且目前市面上拾取网球的方案大多成本过高。本项目利用机器视觉，实现了对环境分析识别，定位当下环境中的网球，并对网球进行拾取的功能。

因此，有必要提供一种新的基于深度视觉的自主捡网球机器人解决上述技术问题。

技术实现要素：

为解决上述技术问题，本发明提供一种基于深度视觉的自主捡网球机器人，简化了网球的拾取方式，增加了机器人在拾取网球过程中运动的灵活性，解决了网球场散落网球拾取麻烦的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度视觉的自主捡网球机器人，基于深度视觉的自主捡网球机器人，包括底座，所述底座的顶面前端两侧均固定安装有支撑柱，所述支撑柱的顶面均安装有步进电机，所述步进电机通过输出轴与泡沫转板相传动连接，所述支撑柱侧壁上均安装有摄像头，所述底座的后端安装有收集箱，所述泡沫转板与收集箱之间设置有若干挡板，所述挡板固定在底座的顶面上，若干挡板围成网球传输通道，泡沫转板接下的网球通过网球传输通道送至收集箱储存；

所述底座的底面分别固接有三个固定块，三个所述固定块的侧壁均安装有直流电机，所述直流电机均通过输出轴分别与前轮、左后轮和右后轮相传动连接；

所述底座的前端安装有导向板，导向板的一端与底座转动连接，另一端上下转动至贴近地面或贴合在底座上；

所述底座的内部安装有控制系统，所述摄像头与控制系统输入端通讯连接，所述导向板、步进电机和直流电机与控制系统的输出端通讯连接。

进一步优选地，所述控制系统包括移动电源、主控制器、副控制器、pc机、步进电机驱动芯片和直流电机驱动芯片，所述主控制器通过串口分别与pc机和副控制器通讯连接，所述直流电机驱动芯片通过串口与主控制器通讯连接，所述步进电机驱动芯片通过串口与副控制器通讯连接，所述移动电源分别与主控制器和副控制器电性连接。

优选地，所述主控器和副控制器均采用stm32f407vet6型号。

优选地，所述直流电机驱动芯片采用btn7971b型号芯片，所述步进电机采用高集成度的lv8731v型号芯片。

优选地，所述直流电机驱动芯片与直流电机通讯连接，所述步进电机驱动芯片与步进电机通讯连接。

优选地，所述前轮正转角度为90°，所述左后轮正转角度为330°，所述右后轮正转角度为210°。

本发明的基于深度视觉的自主捡网球机器人的识别方法，包括网球识别和障碍识别，其中：

网球识别方法为：

使用opencv开源视觉库，先将摄像头(13)的rgb模型转为hsv或hsi模型，选出在设定范围内的像素之后进行开运算消除噪声点，然后寻找轮廓面积最大的块，计算其重心为网球重心点，保存网球的像素坐标，传给控制系统(11)；

障碍识别方法为：

使用左右两个红外通道摄像头，运用双目立体视觉，得到深度图像，则可知道距离前方障碍物的距离，将数据传给控制系统(11)进行避障。

本发明的基于深度视觉的自主捡网球机器人的控制方法，其特征在于，

当开始工作时，控制系统(11)通过步进电机(5)控制泡沫转板(6)开始旋转，寻找到网球时，控制系统(11)控制机器人前进，并由摄像头(13)反馈回来的网球坐标进行pd转向控制，视角内没有网球时，则原地旋转，直到找到下一个网球为止；

控制系统(11)控制三个轮的直流电机(14)的计算方法为：

对底盘三个omniwheel的电机电流分配：定义前轮为a，左后轮为b，右后轮为c，前进角度为φx＝0°，向右角度为φy＝90°；那么a轮正转角度为φa＝90°，b轮正转角度为φb＝330°，c轮正转角度为φc＝210°，控制器输出电流为ix和iy，用三角函数分配到三个电机上得到的电流分别为：

a电机：

b电机：

c电机：

与相关技术相比较，本发明提供的基于深度视觉的自主捡网球机器人具有如下有益效果：

通过该发明中的新型机械结构，以及三个omniwheel的电机驱动方式，能够使机器人更加灵活地运动和更加高效率低成本地拾取网球。经过反复的实验，捡球的效果已经可以达到预期的效果，能够很好地识别并捡取网球，在实验中能够成功完成回收网球的工作。同时，在背景复杂的环境下只需简单微调色域的参数，即可适应场地进行作业，这项设计更能服务于社会，减少人力资源消耗，投入日常使用。

附图说明

图1为本发明的整体结构示意图；

图2为本发明底座底面的结构示意图；

图3为本发明的视觉系统框图；

图4为本实用新的视觉选择控制系统框图；

图5为本发明的控制系统框图。

图中标号：1、底座；2、挡板；3、支撑柱；4、左后轮；5、步进电机；6、泡沫转板；7、导向板；8、固定块；9、前轮；10、右后轮；11、控制系统；12、收集箱；13、摄像头；14、直流电机。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1-5所示的一种基于深度视觉的自主捡网球机器人，包括底座1，底座1的前端转动安装有导向板7，底座1的顶面前端的两侧均固定安装有支撑柱3，支撑柱3的顶面均安装有步进电机5，两步进电机5通过输出轴与泡沫转板6传动连接，支撑柱3上均安装有摄像头13，底座1的后端安装有收集箱12，泡沫转板6与收集箱12之间设置有若干挡板2，挡板2固定在底座的顶面上，若干挡板围成网球传输通道；底座1的底面分别固接有三个固定块8，三个固定块8的侧壁均安装有直流电机14，直流电机14均通过输出轴分别与前轮9、左后轮4和右后轮10相传动连接，底座1的内部安装有控制系统11，控制系统11包括移动电源、主控制器、副控制器、pc机、步进电机驱动芯片和直流电机驱动芯片，主控制器通过串口分别与pc机和副控制器相通信连接，直流电机驱动芯片通过串口与主控制器相通信连接，步进电机驱动芯片通过串口与副控制器相通信连接，移动电源分别与主控制器和副控制器相电性连接，为了通过控制系统对直流电机14和步进电机5进行控制，主控器和副控制器均采用stm32f407vet6型号，直流电机驱动芯片采用btn7971b型号芯片，步进电机5采用高集成度的lv8731v型号芯片，直流电机驱动芯片与直流电机14相通信连接，步进电机驱动芯片与步进电机5相通信连接，为了能够通过直流电机驱动芯片和步进电机驱动芯片分别对直流电机14和步进电机5进行，使用opencv开源视觉库，先将摄像头13的rgb模型转为hsvhsi模型，即色度、饱和度、明度，选出在范围内的像素为1，不在范围内的像素为0，之后进行开运算先腐蚀再膨胀来消除噪声点，之后寻找轮廓面积最大的块，计算其重心为网球重心点，保存网球的像素坐标，传给控制系统11，通过支撑柱3上的左右两个摄像头，运用双13目立体视觉，得到深度图像，则可知道距离前方障碍物的距离，将数据传给控制系统11进行避障，前轮9正转角度为90°，左后轮4正转角度为330°，右后轮10正转角度为210°，为了使机器人在待命时，能够旋转，通过摄像头13对环境进行检测，进而便于发现网球。

本发明提供的基于深度视觉的自主捡网球机器人的工作原理如下：

当开始工作时，通过硬件电路和软件算法的设计，搭建对应的机械结构，并且将机器人放置在作业环境中，打开开关，机器人即可在作业环境中进行网球的识别以及拾取，支撑柱3侧壁上的左右两个摄像头13，运用双目立体视觉，得到深度图像，则可知道距离前方障碍物的距离，将数据传给控制系统11进行避障，然后使机器人通过烘步进电机驱动芯片和副控制器对步进电机5控制，使步进电机5通输出轴让泡沫转板6旋转起来，然后通过主控制器和直流电机驱动芯片分别对直流电机14进行控制，再通过直流电机14分别前轮9、左后轮4和右后轮10进行驱动，使机器人能够移动，在前方有网球的时候，网球从导向板进入泡沫转板6旋转区域，泡沫转板6旋转将网球击打沿网球传输通道推入机器人的收集箱12中，视角内没有网球时，则原地旋转，直到找到下一个网球为止。在环境中网球拾取完毕之后，机器人会原地等待，此时只需关闭机器人电源，即可停止作业。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。