基于机器视觉的球类智能机器人教练和裁判系统的制作方法

本发明属于机器视觉领域，特别是涉及一种基于机器视觉的球类智能机器人教练和裁判系统。

背景技术：

机器视觉(Machine vision)是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

目前，顶级职业比赛球场配备价值昂贵的鹰眼系统，用于职业比赛辅助判罚，但是由于成本过于高昂，对场地要求高，鹰眼系统无法普及。同时，随着球类运动在国内的普及，现有的裁判员和教练员无法满足日益增长的需求，急切需要一种能够满足比赛执法和辅助训练的智能球类系统。

技术实现要素：

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于机器视觉的球类智能机器人教练和裁判系统。

为实现上述目的，本发明提供了一种基于机器视觉的球类智能机器人教练和裁判系统,包括机器视觉子系统、录像子系统、比赛子系统、训练子系统、人 机交互子系统、云存储子系统和客户端子系统；

所述人机交互子系统分别与所述比赛子系统和训练子系统双向连接；所述比赛子系统分别与机器视觉子系统和录像子系统双向连接；所述训练子系统分别与所述机器视觉系统和录像子系统双向连接；所述云存储子系统分别与所述比赛子系统、训练子系统和客户端子系统双向连接；

所述机器视觉子系统用于捕捉球类运动的连续图像，并计算球类的运动轨迹及相关事件，用于提供球类的三维空间位置、速度及时间信息；

所述录像子系统用于录制球类运动的视频信息，根据训练或比赛模式智能剪辑录像视频，并上传至所述云存储子系统；

所述比赛子系统用于根据比赛模式输入、记录球类比赛的计分及判罚；

所述训练子系统用于提供各种训练科目和训练效果统计分析；

所述人机交互子系统用于提供声音提示，以及可触摸屏幕用于客户端操作；

所述云存储子系统用于上传、下载和播放录像视频；

所述客户端子系统用于在移动设备上回看录像、查看训练效果统计分析和查看比赛技术统计。

较佳的，所述机器视觉子系统包括相机标定模块、场景重建模块、球类跟踪模块和事件标注模块；

所述相机标定模块用于获取相机参数，矫正相机畸变；对于每个半场，用双目相机采集标定板图像，通过算法计算获的相机的内参数，畸变系数以及双目相机的相对位置关系，利用畸变系数矫正拍摄的图像；

所述场景重建模块用于重建球场三维平面，获取以球场中心为原点的世界三维坐标系；通过利用相机标定模块获取的双目标定结果，匹配双目相机拍摄 的图像的特征点并通过计算获取深度信息来重构球场平面的三维坐标；

所述球类跟踪模块用于跟踪球类并获取球类三维飞行轨迹；对相机拍摄的图像，利用背景差法提取运动目标，并通过算法规则分割获得图像中的球类，计算获得二维坐标；利用三维重建算法，通过双目相机分别获取的球类二维坐标重建获得球类在空间坐标系下的三维轨迹坐标；

所述事件标注模块用于对球类的运动状态用原子事件标注，提供给比赛子系统利做比赛得分判定；对于相机拍摄的图像，通过球类跟踪模块获取每一帧中球的三维位置信息和球速，通过规则划分为不同的原子事件，包括击球、触网、落地、出界。

较佳的，所述球类跟踪模块为了保证一定的精度，对每个半场分别用两个相机跟踪，当球飞过网时，算法切换另外一个半场的相机跟踪。

较佳的，所述客户端子系统基于HTML5技术。

本发明的有益效果是：本发明能够满足球类比赛中球类轨迹的精准判断，便于比赛裁判，同时数据统计分析和训练水平分析更加方便实用。

附图说明

图1是本发明一具体实施方式的示意图。

图2是机器视觉子系统的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

如图1、图2所示，一种基于机器视觉的球类智能机器人教练和裁判系统,包括机器视觉子系统1、录像子系统2、比赛子系统3、训练子系统4、人机交互子系统5、云存储子系统6和客户端子系统7；

所述人机交互子系统5分别与所述比赛子系统3和训练子系统4双向连接；所述比赛子系统3分别与机器视觉子系统1和录像子系统2双向连接；所述训练子系统4分别与所述机器视觉系统和录像子系统2双向连接；所述云存储子系统6分别与所述比赛子系统3、训练子系统4和客户端子系统7双向连接；

所述机器视觉子系统1用于捕捉网球运动的连续图像，并计算网球的运动轨迹及相关事件，用于提供网球的三维空间位置、速度及时间信息；

所述录像子系统2用于录制网球运动的视频信息，根据训练或比赛模式智能剪辑录像视频，并上传至所述云存储子系统6；

所述比赛子系统3用于根据比赛模式输入、记录网球比赛的计分及判罚；

所述训练子系统4用于提供各种训练科目和训练效果统计分析；

所述人机交互子系统5用于提供声音提示，以及可触摸屏幕用于客户端操作；

所述云存储子系统6用于上传、下载和播放录像视频；

所述客户端子系统7用于在移动设备，如手机、平板电脑上回看录像、查看训练效果统计分析和查看比赛技术统计。

本实施例中，所述机器视觉子系统1包括相机标定模块101、场景重建模块102、网球跟踪模块103和事件标注模块104；

所述相机标定模块101用于获取相机参数，矫正相机畸变；对于每个半场，用双目相机采集标定板图像，通过算法计算获的相机的内参数，畸变系数以及双目相机的相对位置关系，利用畸变系数矫正拍摄的图像；

所述场景重建模块102用于重建球场三维平面，获取以球场中心为原点的世界三维坐标系；通过利用相机标定模块获取的双目标定结果，匹配双目相机 拍摄的图像的特征点并通过计算获取深度信息来重构球场平面的三维坐标；

所述网球跟踪模块103用于跟踪网球并获取网球三维飞行轨迹；对相机拍摄的图像，利用背景差法提取运动目标，并通过算法规则分割获得图像中的网球，计算获得二维坐标；利用三维重建算法，通过双目相机分别获取的网球二维坐标重建获得网球在空间坐标系下的三维轨迹坐标；

所述事件标注模块104用于对网球的运动状态用原子事件标注，提供给比赛子系统利做比赛得分判定；对于相机拍摄的图像，通过网球跟踪模块获取每一帧中球的三维位置信息和球速，通过规则划分为不同的原子事件，包括击球、触网、落地、出界。

本实施例中，所述网球跟踪模块103为了保证一定的精度，对每个半场分别用两个相机跟踪，当球飞过网时，算法切换另外一个半场的相机跟踪。

本实施例中，所述客户端子系统7基于HTML5技术。

本实施例中，录像子系统在网球场地两端中线后部署两个高清网络IP摄像头，并用两个摄像头录制视频。

录像子系统根据机器视觉子系统的输出，确定开始和停止录制时间，用于减少无效视频。

录像子系统支持实时上传视频至云存储子系统，用于在互联网上保存视频。

录像子系统支持检测网络状态，当网络发生拥堵或者断开连接时，可将视频在本地存储；当网络恢复时，可将本地存储的视频及时上传至云存储子系统。

比赛子系统支持单打比赛和双打比赛两种比赛项目，其中包括男子、女子、混合双打等。

比赛子系统支持进行六局抢七、四局抢七、抢七等多种模式的比赛，分别 按照相应模式的规则，自动进行每一局的开始和结束，以及每一盘的结束。比赛开始前，使用者可以选定场地任意一侧，同时登录系统账号作为系统识别其数据的标识，并设定初始发球人。

使用者设定开始比赛后，机器视觉子系统即自动开始识别球的所有轨迹，并分析判定出比赛中事件，包括发球(一发、二发、ACE球等)、擦网、得分、界内、出界等。比赛子系统会在比赛进行中实时判定得分；发球后显示相应的发球球速、界内/界外、擦网等提示。比赛子系统还支持针对上一分进行修正，包括取消得分、对方得分，查看视频回放功能。

比赛结束后，比赛子系统会统计出相应的网球技术统计项，作为使用者本盘网球的总结。比赛子系统支持查看比赛的视频回放，按照每次得分的观看视频回放。比赛子系统会自动分析得出本盘比赛的精彩片段，支持观看本盘比赛中的精彩片段的视频。系统支持查看比赛的技术分析，针对使用者本盘比赛中的发球落点、击球点等进行二维图或三维图的形式进行直观展示。

比赛子系统中观看比赛视频回放，支持全屏观看；支持拖动到任意时间点开始播放观看；支持慢速，即以正常播放速度的N分之一进行播放(N为正整数)，以供使用者更方便地看清楚比赛中球的轨迹、落点、位置、动作等。视频回放过程中，会同步显示相应的比分、发球速度、界内、出界等提示。

训练子系统支持发球、接发球、正手击球、正手直线、正手斜线、反手击球、反手直线、反手斜线、截击等网球训练项目。使用者进入本系统后，可以选择在场地的任意侧进行训练，并登录自己的系统账号，作为系统识别其数据的标识。

训练子系统支持选择每次训练的难度或者目标项，以适应不同水平的使用 者进行训练。不同难度，与训练过程中的目标项相对应。训练子系统支持选择每次训练组模式，包括若干分钟模式、若干拍模式以及随意练模式。

训练进行中，训练子系统会根据机器视觉子系统计算结果，实时提示使用者是否将球击入目标区域，并计算和显示相关的技术参数。

人机交互子系统支持使用者通过图像的方式，直观的获取操控整个系统的界面信息，以便使用者根据需要作出相应的操作。

人机交互子系统支持使用者使用触摸的方式，进行点击界面上某一元素、拖动界面上某一元素到另一位置、滑动等交互方式，进行相应的操作，作出设置或者获取相应的信息。

人机交互子系统支持通过声音的方式，在比赛过程中或者训练过程中，对使用者进行相应的提示。

云存储子系统会将使用者比赛过程中所有数据自动同步至云端服务器中，进行存储和进一步的分析处理，以便使用者在客户端子系统中使用这些数据或者更加高级的数据分析结果。

云存储子系统会将使用者训练过程中所有数据自动同步至云端服务器中，进行存储和进一步的分析处理，以便使用者在客户端子系统中使用这些数据或者更加高级的结果。

云存储子系统会将录像子系统中录制的视频实时上传至云端服务器，同时根据客户端子系统的不同使用场景，进行针对性的优化和处理。

客户端子系统支持使用者在任何地方任何时间使用手机、平板电脑、PC等访问客户端或者web网页，来获取所有的训练、比赛记录以及相关详细信息。

客户端子系统支持获取所有训练的列表，查看训练的视频回放，查看训练 技术统计项，查看针对训练的网球技术分析(以文字、图表、二维示意图、三维示意图等形式)。

客户端子系统支持将网球比赛或训练的相关信息，分享到社交网络、媒体平台等，包括但不限于微信、微博、邮件、短信等。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。