一种基于图像处理的智能球童系统及其调度方法与流程

本发明涉及一种运动场地辅助捡球系统，具体地，用于网球或者其他球类运动，特别涉及一种基于图像处理的智能球童系统及其调度方法。

背景技术：

随着球类运动，比如网球的普及，人们在打网球过程中掉落在地的网球随着时间逐渐积累， 如果不加以捡取便可能导致运动者发生扭脚意外，所以打球时需要定期捡球。但捡球是一项枯燥漫长的工作，目前，国内还没有专门从事智能网球拾取机器人的服务及产品，国外出现的智能捡球机器人大多是单个机器人进行捡球，而且并没有对整个球场进行系统的监控，使得捡球工作尚有不足，且经常出现视觉死角，漏检网球。而且捡球机器人工作性能单一，不能满足运动者除了捡球外的其他需求。目前，我国有网球场约85475所，网球运动人口864万，且运动人口数量每年以10%～12%的速度增长，人们对网球运动的消费需求日益增强，市场潜力巨大。如果不尽快解决这种现状，比如会妨碍网球这种运动的普及。

技术实现要素：

本发明的目的是：提供一种功能丰富的球童系统及其调度方法，解决目前球类运动还欠缺系统化智能化服务的窘境。

本发明解决其技术问题的解决方案是：第一方面，提供一种基于图像处理的智能球童系统，包括：中央控制系统、捡球系统和递球机器系统，所述中央控制系统包括数据处理装置和图像采集装置，所述数据处理装置设有人体姿态识别单元、OPENCV图像识别处理单元和A*路径规划算法单元，单元之间两两可通讯地相连，所述图像采集装置位于球场平面上方，所述图像采集装置与所述数据处理装置可通讯地连接，所述人体姿态识别单元、OPENCV图像识别处理单元和A*路径规划算法单元用于处理所述图像采集装置采集的图像信息，所述捡球系统包括视觉识别装置和捡球装置，所述视觉识别装置位于球场四周且位于所述图像采集装置的下方，所述视觉识别装置分别与所述捡球系统和数据处理装置可通讯地相连，所述递球系统分别与所述视觉识别装置和所述数据处理装置可通讯地相连。

作为上述技术方案的进一步改进，所述捡球系统包括若干个一体式结构的捡球机器人，所述递球系统包括若干个一体式的递球机器人。

作为上述技术方案的进一步改进，所述捡球机器人为4个，且分别位于球场外围的边界角。

作为上述技术方案的进一步改进，所述图像采集装置为具有航拍功能的无人机。

作为上述技术方案的进一步改进，所述数据处理装置为个人电脑。

作为上述技术方案的进一步改进，所述人体姿态识别单元的识别算法为高斯背景分离技术差分算法。

本发明的有益效果是：提供一种基于图像处理的智能球童系统，其包括中央控制系统、捡球系统和递球机器人，中央控制系统具有在球场上方鸟瞰的图像采集装置，通过图像采集装置实时将球场的动态传送给数据处理装置，数据处理装置通过分析并调动捡球系统和递球机器人完成捡球、递球和递水等工作。实现了球场的智能化自动化服务，推动了球类运动特别是网球类运动的普及。

第二方面，本发明提供了一种基于图像处理的智能球童系统的调度方法，其特征在于，包括：智能自动捡球过程、自动递球过程和自动卸球过程，所述自动捡球过程包括步骤：

A1) 对采集到的球场的俯视图像进行高斯滤波，灰度均匀化，降低光线的干扰，基于高斯背景分离算法分离出球，再对图像进行二值化获取球的特征值，结合HSI模型计算出球体的二维坐标；

A2） 将得到的二维坐标化为数据传输给捡球系统，捡球系统根据坐标数据对球进行拾取；

所述自动递球过程包括步骤：

B1）通过高斯背景分离算法，参数化运动者的姿态；

B2）识别运动者的姿态；

B3）通过A*路径规划算法规划出离运动者最近的递球机器人到运动者之间的路线，并调动递球机器人进行递球；

所述自动卸球过程包括步骤：

C1）捡球系统判断承载的球是否达到额定数量；

C2）当球的数量达到额定值时，递球机器人对捡球系统进行卸球动作。

本发明的有益效果是：提供一种基于图像处理的智能球童的调度方法，通过以“高斯背景分离算法”、“A*路径规划算法”为核心的图像处理技术对球场上的图像进行合理识别再进行合理调度。实现了球场的智能化自动化服务，推动了球类运动特别是网球类运动的普及。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。

图1是智能球童系统的结构示意图；

图2是捡球过程的流程图；

图3是递球过程的流程图；

图4是自动卸球过程的流程图；

图5是智能球童系统的系统框图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各项技术特征，在不互相矛盾冲突的前提下可以交互组合。

实施例1

参考图1和图5所示，本实施例从一种基于图像处理的智能球童系统角度进行描述，球童系统包括：电脑7和航拍无人机8组成的中央控制系统，捡球机器人1、2、3、4组成的捡球系统，递球系统由递球机器人5、6组成，所述捡球机器人1、2、3、4分别在球场外围的4个边界角，所述航拍无人机8升空在球场的上方对球场进行鸟瞰采集图像数据，所述图像数据以视频流的方式通过无线Wi-Fi传送到电脑7中，其中电脑7集成了OPENCV图像处理单元71、A*路径规划算法单元72和人体姿态识别单元73，两两互相可通讯地连接。OPENCV图像处理单元71从视频流中获取各角点特征值对网球场进行标定，整合网球场的二维结构信息进行二维网球场环境地图的构建，并结合图像处理技术的高斯背景分离算法分离出场上的网球，机器人和运动者并进行定位。OPENCV图像处理单元71根据捡球机器人的位置对球场环境地图进行分区，这里可以将球场合理分为等份分为4个矩形区域，捡球机器人控制所在边界角所在的区域。当网球11落入到捡球机器人1所在的区域中，该区的捡球机器人1收到电脑7通过Wi-Fi发送的捡球指令，此时捡球机器人1的主控芯片Cortex-M3芯片接收信息，命令打开机器人自身携带的USB摄像头获取前方图像，此时捡球机器人1开始工作，由主控芯片Cortex-M3控制打开USB摄像头，USB 摄像头采集前方图并通过Wi-Fi 通讯传输回电脑7，参考图2的流程图，OPENCV图像处理单元71对实时获取的图像进行高斯滤波，灰度化，二值化，查找图像轮廓并进行圆绘制来识别定位网球，结合球的HSI模型确定球的二维坐标，并且得到待捡网球与捡球机器人的相对位置信息，比如说角度信息，电脑7再结合鸟瞰图像得到捡球机器人1与网球的距离信息，根据这两个信息得到待捡网球的坐标，并将坐标信息传送给A*路径规划算法单元72，A*路径规划算法单元72，为捡球机器人1规划好路线，再通过Wi-Fi 无线通讯把坐标信息和路线信息传输给 捡球机器人1的Cortex-M3 主控芯片，Cortex-M3 主控芯片根据接受到信息进行控制，基于麦克纳姆技术由麦克纳姆轮调整好小车朝向角度，根据路径规划行驶，完成捡球。

所述捡球机器人1包括：视觉部分、控制部分、传感信息部分、远程控制部分、执行部分和电源部分这几大部分组成。

视觉部分包括： USB摄像头；

控制部分包括 Cortex-M3 主控芯片、PWM 驱动模块、直流电机驱动模块、步进电机驱动模块、Wi-Fi 模块，Cortex-M3 主控芯片通过Wi-Fi 模块与电脑7连接；

传感信息部分系统包括加速度计陀螺仪模块、霍尔测速模块、霍尔传感器模块、红外传感模块和物理碰撞模块；传感信息部分可以协助执行部分进行智能控制，实现机器人移动、捡球和卸球工作。

远程控制部分包括安卓终端 APP 和蓝牙无线模块；远程控制部分可以使运动者通过手机等数字终端对机器人的控制。

执行部分由码垛型机械臂、直流减速电机、麦克纳姆轮和网球装置箱；

电源部分包括电池组和稳压电源模块。

参考图3，自动递球/递水过程：递球机器人5、6在没有接受到递球指令时原地等候捡球机器人1、2、3、4，当收到递球或递水指令时，递球机器人打开自身的摄像头，跟捡球机器人追踪网球一样，递球机器人可以追踪运动者进行递球或者递水工作。与捡球机器人捡球工作不同的是，递球机器人在接收信息之前，人体姿态识别单元73会对运动者的姿态进行识别，从而判断运动者的递球或者递水的需求，人体姿态识别单元73通过事先对运动者姿态的学习，通过高斯背景分离算法，参数化运动者的姿态，并对参数化的姿态进行保存，当运动者做出相应的姿态动作时，将保存的参数化姿态动作与之对比，从而识别出运动者的需求。

参考图4，自动卸球过程：捡球机器人通过传感部分识别出网球装置箱的网球数量，当网球数量达到饱和值时，捡球机器人根据传感信息部分中的红外传感模块自动计算返回递球机器人的最佳路径进行智能自动卸球，由递球机器人进行装卸。捡球机器人除了依靠自身的红外传感自动计算返回递球机器人的最佳路径以外，还可以依靠电脑7的A*路径规划算法单元72的协助进行自动装卸，协助的方法与捡球机器人捡球的方式类似，这里就不再加以描述了。

其中，递球机器人由ARM的主控芯片，无线模块，光电编码器，PCA9685芯片，陀螺仪，电机驱动电路，传送结构等组成。使得递球机器人具有一定的智能化。可以与电脑7和捡球机器人进行合理的协助。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。