一种多途径的捡球和发球机器人控制系统的制作方法

本发明属于自动控制领域，具体设计一种多途径的捡球和发球机器人控制系统。

背景技术：

目前尚无全自动捡球、发球机器人控制方案，现有捡球器材为辅助型器材，需要使用者走至球跟前使用该器械辅助捡球，相比手工捡球更加省力，但无法实现自主捡球；现有发球器材为固定位置式发球机，无法自主移动，可以实现一定范围内可调角度、可调力度的发球，但需要人工调整其位置和姿态，且具有笨重、响应慢且不易携带的特点。

基于此，目前急需设计一种多途径的捡球和发球一体化机器人，实现全自动、智能化的捡球和发球。

技术实现要素：

有鉴于此，本发明提供了一种多途径的捡球和发球机器人控制系统，能够通过多途径完成捡球和发球任务，为人工带来了诸多便利。

实施本发明的具体方案如下：

一种多途径的捡球和发球机器人控制系统，该系统包括网页控制模块、语音语义识别模块、机器视觉模块和控制器；网页控制模块包括网页服务器和人机交互页面；机器视觉模块包括摄像头和视觉检测部分；网页服务器和人机交互页面连接，基于网页控制模块、语音语义识别模块和机器视觉模块，控制器按照接收信息的优先级对机器人发送指令驱动机器人执行对应的运动；

优先级从高到低为：网页控制模块、语音语义识别模块、机器视觉模块。

优选地，网页控制模块、语音语义识别模块、机器视觉模块的优先级从高到低具体为：若网页控制模块有信息传递进来时，则优先执行该命令，当实施网页控制模块作用时，通过人机交互页面将控制指令i经过网页服务器发送到控制器上，控制器接收控制指令i控制机器人的移动机构、发球机构或捡球机构执行控制指令i对应的动作；若网页控制模块无信息传递时，则判断语音语义识别模块是否有信息传递，当语音语义识别模块有信息传递进来时，则优先执行该命令，语音语义识别模块将监听到的语音信息解析为控制指令ii，并将制指令ii发送到控制器上，控制器接收控制指令ii控制机器人的移动机构、发球机构或捡球机构执行控制指令ii对应的动作；若网页控制模块和语音语义识别模块均无信息传递时，则机器视觉控制模块在控制器的控制下启动并利用摄像头捕获图像，摄像头将捕获到的图像信息传送到视觉检测部分，视觉检测部分分析所述图像信息获取目标位置并判断下一步机器人的走向信息，将目标位置和走向信息发送到控制器上，控制器接收目标位置和走向信息后发送控制指令iii控制机器人的移动机构、发球机构或捡球机构执行控制指令iii对应的动作。

优选地，该机器人包括移动机构、捡球机构和发球机构；移动机构包括运动电机、驱动机构、运动底盘和车轮；捡球机构包括传送带、减速电机、储球筐和传送机架；发球机构包括发球电机、摩擦轮和发球管道；其中，传送机架的顶端设有出球槽，传送机架的底端设有进球槽，运动电机与驱动机构连接并均置于运动底盘上，驱动机构与车轮连接，运动底盘的支撑架分别与捡球机构的传送机架、发球机构的发球管道和储球筐固联；传送带和减速电机均固定在传送机架上，减速电机与传送带连接；摩擦轮内置在发球管道上，并由固定在发球管道上的发球电机驱动，储球筐的出球口与发球管道的进球口固联，储球筐的进球口与传送机架的出球槽对接。

优选地，语音语义识别模块为讯飞开放平台。

优选地，控制器设有pid调速器，机器人通过无线协议wifi与控制器通讯，若控制器接收的控制指令i、控制指令ii或控制指令iii为发球指令，控制器通过无线协议wifi远程控制机器人的驱动机构驱动发球机构执行发球；若控制器接收的控制指令i、控制指令ii或控制指令iii为运动指令，控制器使用pid调速器对机器人的运动电机油门进行控制，控制器通过无线协议wifi远程控制机器人运动到球的位置；若控制器接收的控制指令i、控制指令ii或控制指令iii为捡球指令，控制器通过无线协议wifi远程控制机器人的驱动机构驱动捡球机构执行捡球。

优选地，视觉检测部分具体功能为：

捕获摄像头图像，并将图像的rgb色彩空间转换为hsv色彩空间；通过颜色阈值对hsv色彩空间进行色调分割，获得可能为目标的色块；对色块进行圆形轮廓检测，当目标轮廓为圆形；对确定为圆形的区域进行中值滤波，然后采用霍夫变换算法对滤波后的圆形进行高精度的圆形检测，检测到的轮廓即为所求目标；当目标轮廓为其他形状，重复捕获摄像头图像并处理，直到确定所求目标，然后将目标在摄像头中的位置信息换算为球相对机器人的位置，根据该位置判断出机器人下一步的行进方向信息，将该行进方向信息作为指令发送至控制器。

优选地，所述对色块进行圆形轮廓检测为：

提取目标轮廓色彩的掩码，对提取后的掩码再进行轮廓提取，对轮廓的周长c和面积进行检测，根据周长c和面积的关系判断提取的轮廓是否为圆形；

其中，若目标轮廓为圆形，则它的半径为：

然后根据此半径值得到该轮廓的面积理论值at：

at＝π×r²

根据面积理论值at和实际值as判断是否为圆形：当70％at<as<130％at，则该轮廓为圆形，当as<70％at或as>130％at，则该轮廓不是圆形。

优选地，网页服务器采用flask搭建。

优选地，该系统进一步包括语音合成模块，当控制器收到控制指令i、控制指令ii或控制指令iii，由语音合成部分合成语音“收到指令”并播放；当控制器未收到控制指令i、控制指令ii或控制指令iii，由语音合成部分合成语音“指令无效”并播放。

有益效果：

1、本发明通过建立从高到低的优先级，使得该控制系统能够通过多途径完成捡球和发球任务，为人工带来了诸多便利。

2、本发明网页搭建的网页交互平台，使机器人的控制系统具有轻量级、响应速度快的优点。

3、应用在本发明的机器人，能够通过多途径、全自动完成捡球和发球任务。

4、本发明使用的讯飞开放平台，具有识别率高，转换速度快的优点。

5、本发明的控制器设有的pid调速器，能够使得机体运行速度平滑变化，防止突变和抖动。

附图说明

图1为本发明的总控制流程；

图2为本发明的机器人示意图；

图3为本发明的机器视觉算法流程；

图4为本发明的语音交互流程；

图5为本发明的网页交互流程。

其中，1-移动机构,2-捡球机构,3-发球机构,4-储球筐。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本申请人同日提出了一件发明名称为“一种智能网球机器人”的专利申请，该机器人包括移动机构1、捡球机构2和发球机构3；移动机构1包括运动电机、驱动机构、运动底盘和车轮；捡球机构2包括传送带、减速电机、储球筐4和传送机架；发球机构3包括发球电机、摩擦轮和发球管道；其中，传送机架的顶端设有出球槽，传送机架的底端设有进球槽，运动电机与驱动机构连接并均置于运动底盘上，驱动机构与车轮连接，运动底盘的支撑架分别与捡球机构的传送机架、发球机构的发球管道和储球筐4固联；传送带和减速电机均固定在传送机架上，减速电机与传送带连接；摩擦轮内置在发球管道上，并由固定在发球管道上的发球电机驱动，储球筐的出球口与发球管道的进球口固联，储球筐的进球口与传送机架的出球槽对接。

为了实现上述智能网球机器人的有效控制，本发明提供了一种用于智能网球机器人的多途径控制系统，该系统包括网页控制模块、语音语义识别模块、机器视觉模块、控制器和机器人；网页控制模块包括网页服务器和人机交互页面；机器视觉模块包括摄像头和视觉检测部分；网页服务器和人机交互页面连接，基于网页控制模块、语音语义识别模块和机器视觉模块，控制器按照接收其发送信息的优先级对机器人发送指令驱动机器人执行对应的运动；

优先级从高到低为：网页控制模块、语音语义识别模块、机器视觉模块，若网页控制模块有信息传递进来时，则优先执行该命令，当实施网页控制模块作用时，通过人机交互页面将控制指令i经过网页服务器发送到控制器上，控制器接收控制指令i控制移动机构1、发球机构2或捡球机构3执行控制指令i对应的动作；若网页控制模块无信息传递时，则判断语音语义识别模块是否有信息传递，当语音语义识别模块有信息传递进来时，则优先执行该命令，语音语义识别模块将监听到的语音信息解析为控制指令ii，并将制指令ii发送到控制器上，控制器接收控制指令ii控制移动机构1、发球机构2或捡球机构3执行控制指令ii对应的动作；若语音语义识别模块无信息传递时，则机器视觉控制模块自动启动并利用摄像头捕获图像，摄像头将捕获到的图像信息传送到视觉检测部分，视觉检测部分分析所述图像信息并获取目标位置并判断下一步机器人的走向信息，将目标位置和走向信息发送到控制器上，控制器接收目标位置和走向信息后发送控制指令iii控制移动机构1、捡球机构2或捡球机构3执行相关指令执行控制指令iii对应的动作,如当收到有效指令之后，由语音合成部分合成语音“收到指令”并播放；收到无效指令后，由语音合成部分合成语音“指令无效”并播放。实现与用户交互的功能。

该系统可以加入语音合成模块，当控制器收到控制指令i、控制指令ii或控制指令iii，由语音合成部分合成语音“收到指令”并播放；当控制器未收到控制指令i、控制指令ii或控制指令iii，由语音合成部分合成语音“指令无效”并播放，实现与用户交互的功能。

上述的系统中各个部件的具体功能如下：

目前广泛使用的计算机视觉库为opencv，具有跨平台、效率高的特点，本发明使用将其作为平台实现网球识别；flask是一个网络应用框架，具有轻量级、响应速度快的优点，本发明使用其搭建交互网页；讯飞开放平台是一个中文语音语义识别平台，识别率高，转换速度快，本发明使用其进行语音交互；ros是一个控制器，本发明使用它来进行多节点的信息通讯；pid是一种闭环控制算法，将它用于运动控制可以使得机体运行速度平滑变化，防止突变和抖动，本发明使用它来进行速度调控。

本发明通过计算机视觉自主导航、网页端用户交互和语音用户交互的方式对机器人进行控制，如图1所示，通过控制器的pid调速控制电机机器人运动底盘上执行运动命令，控制捡球机构执行捡球指令，控制发球机构执行发球指令。该控制方式可用于网球、乒乓球、高尔夫球等运动当中，完成全自动并可随时人工干预的捡球发球控制方式。

一种控制流程，统筹自动导航、网页控制、语音控制三种控制方式进行机器人运动控制指令下达并使用pid进行指令执行。其中，自动导航使用计算机视觉技术实现，使用该技术处理出摄像头中网球的位置坐标，判断下一步机器人的前进方向，再将该信息打包给控制器；网页服务器监听用户的按键操作，当有控制键按下时，网页服务器将其转化为下一步机器人的前进方向，将该信息打包发送给控制器；语音识别节点随时通过麦克风收集声音，过滤掉背景噪音之后识别语义，转化为机器人前进方向信息发送给控制器。控制器按照一定的优先级对收集的机器人前进方向信息进行统筹，处理得到最终控制方式后发送给执行器执行该运动。执行器在接收到最终运动方式之后将目标速度、之前速度传递给pid调速器，由pid调速器计算出运动电机油门量，执行运动。若需要发球，则控制发球机构执行发球命令；若需要捡球，则控制捡球机构执行捡球命令。

机器人使用计算机视觉技术检测网球。如图2所示，使用的关键算法:hsv颜色空间阈值化、轮廓提取即圆形轮廓检测、霍夫(hough)变换、中值滤波。机器人提取到摄像头图像信息后将图像由rgb色彩空间转化到hsv色彩空间，进行通道分离，并对三个通道分别进行阈值化操作，获得可能为目标的色块。下一步进行圆形轮廓检测。先将色彩提取后的掩码进行轮廓提取，并且对轮廓的面积、周长进行检测并判断是否为近似圆形，若为圆形则检测到网球并返回圆形圆心位置和大小，与真实网球大小作比较即可得到网球平面坐标和距离。根据提取出的轮廓的周长和面积，接下来根据周长和面积的关系判断提取的轮廓是否为圆形。

然后可以根据此半径值得到该轮廓的面积理论值at：

at＝π×r²

根据面积理论值和实际值判断是否为圆形：当70％at<as<130％at，则该轮廓为近似圆形，当as<70％at或as>130％at，则该轮廓不是圆形；由于轮廓边界可能存在锯齿或是不甚完整，因此若实际面积在理论面积。周围一定范围内即认定为是圆形。

进行完之后网球区块即被提取出来，但同时也会有一些小的噪点被误判提取，因此需要进行滤波，本发明选用中值滤波。在滤波结束之后，使用霍夫变换算法进行高精度的圆形检测，检测到的轮廓即为所求目标。将这一目标在摄像头中的位置信息换算为网球相对机器人的位置，即可判断出机器人下一步的行进方式，将该信息作为指令发布至控制器。

语音语义识别平台通过讯飞开放平台搭建，如图3所示，在识别到用户说出关键词，如“开始”、“停止”、“直行”等命令后，将其作为指令发布至控制器。

控制器设有pid调速器，机器人设有无线协议wifi，无线协议wifi与控制器连接，若控制器接收的控制指令i、控制指令ii或控制指令iii均为发球指令，控制器将发球命令通过无线协议wifi远程控制机器人的驱动机构驱动发球机构执行发球；若控制器接收的控制指令i、控制指令ii或控制指令iii均为运动指令，控制器使用pid调控器对机器人的电机油门进行控制，控制器通过无线协议wifi远程控制机器人运动到目标位置；若控制器接收的控制指令i、控制指令ii或控制指令iii均为捡球指令，控制器将发球命令通过无线协议wifi远程控制机器人的驱动机构驱动捡球机构执行捡球。

直流电机通过油门百分比来控制电机的输出功率百分比，而电机的实际转速除了和油门有关外，也和当前机器的负重、道路的坡度等变量有关。这种电机在独立使用的情况下由于没有反馈，给定相应的油门百分比之后控制器无法得知电机的实际转速，在重心不匀，或是下坡、上坡等情况下可能出现运动方向不定、过快或是过慢的情况，因此需要引入当前速度测量值进行反馈。pid通过比例、积分、微分的方式进行速度调控，使得电机转速均匀变化。

网页控制器通过flask搭建，如图4所示，该控制器同样接入控制器中，在监视到用户的按键行为后，将不同按键对应的运动方式同样作为指令发布至控制器。

通过这种方式，捡球机、发球机可以良好地配合工作，二者可以完成集自动和人工干预的捡球发球任务。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。