一种基于机器视觉的球类比赛球出界自动裁判系统的制作方法

1.本发明涉及生活用品技术领域，具体来说，涉及一种基于机器视觉的球类比赛球出界自动裁判系统。


背景技术：

2.目前，球类运动如网球、羽毛球、排球等的高水平比赛中普遍运用即时回放系统以便修正比赛中裁判员由于球体积小、速度快、距离远等原因出现的错误，保障比赛的公平性。
3.现有的即时回放系统依赖多台高速摄像机通过计算机将比赛场地空间分割成小单元，利用高速摄像头从不同角度同时捕捉球飞行轨迹的基本数据；再通过电脑计算，将这些由多个摄像头记录的数据生成三维图像；最后利用成像技术，由大屏幕清晰地呈现出球的运动路线及落点，其存在以下缺点：
4.1、该方法成本高昂，高速摄像机以及处理由多台高速摄像机产生数据流的计算设备价格昂贵、繁多且不易部署，每个场地部署费用都需要大量资金。
5.2、该方法运算时间长，高速摄像机每秒产生上百兆字节的数据，计算系统计算处理并得到最终结果超过十秒，无法持续实时使用，影响比赛节奏。
6.检索中国发明专利cn108568086b公开了一种基于物联网的羽毛球比赛自动裁判平台，包括比赛地面上端安装有球网，球网一侧设置有主裁判椅，比赛地面一侧安装有轨道，轨道上端安装有移动装置，移动装置上端安装有摄像装置，比赛地面一侧安装有底板，底板通过支撑固定装置与液晶显示屏相连；本发明通过设置的羽毛球轨迹运动模块和判分处理模块，可以通过羽毛球的轨迹运动的最终位置是否出界或者掉在地面等情况，而对情况进行物联网预处理，对标识的羽毛球进行识别地理位置，通过视频信息的取证，最终通过判分处理模块对胜利方或者失败方进行自动判分，整体有序进行，通过物联网技术只需要在裁判的监督观察下便可进行，省去不要的人员麻烦。但其存在一定局限性，其球轨迹运动中并未提出任何具体的球轨迹自动计算方法，且误差较大，另外铺设成本较大。
7.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

8.针对相关技术中的问题，本发明提出一种基于机器视觉的球类比赛球出界自动裁判系统，通过较低成本的环境部署，而且对硬件设施规格要求较低，且识别精准度高，自动裁判公正度高，适应性强，满足不同场景的应用需求，以克服现有相关技术所存在的上述技术问题。
9.本发明的技术方案是这样实现的：
10.一种基于机器视觉的球类比赛球出界自动裁判系统，包括以下步骤：
11.通过设置在场地边上的摄像设备采集数据信息，其中包括场地边界信息和场地空间信息；
12.基于采集的数据信息进行场地图像分割，获取场地边界特征信息；
13.进行采集球类数据信息并进行识别，包括确定当前采集图像数据的摄像设备是否处于固定状态；
14.进行对处理后的球类数据信息拟合并找出图像中球运动的曲线方程，确定初次地面碰撞点；
15.基于场地边界特征信息对获取的初次地面碰撞点进行判断，确定初次地面碰撞点位置信息；
16.对初次地面碰撞点位置信息进行呈现。
17.进一步的，所述基于采集的数据信息进行场地图像分割，包括以下步骤：
18.获取摄像设备采集数据信息的图像数据，其中包括手动标注或计算自动获取图像中的场地边界数据；
19.将rgb图像进行灰度处理，并将图像转换成黑白二值图，使得边界图像与场地图像区分开来；
20.用滤波算法减少此过程中产生的噪点图像，并通过直线检测算法获得当前二值图中的直线集合，获取rgb图像中的场地边界折线。
21.进一步的，所述确定当前采集图像数据的摄像设备是否处于固定状态，包括标定当前采集图像数据的摄像设备为固定状态，包括以下步骤：
22.基于获取图像中的场地边界数据，进行将帧图像中的点分为界内与界外两个集合；
23.在摄像设备采集的帧图像上进行对当前帧图像中的球进行识别并返回坐标，并将当前位置储存；
24.基于储存中的坐标判断当前球的运动状态，当计算出球在下落过程中有明显方向改变时以此为界将坐标集合划分为多个集合并对依次储存的前两个集合进行曲线拟合，通过集合计算出轨迹曲线方程，其中，两曲线的交点即为球与场地的初次碰撞反弹点坐标；
25.基于球与场地的碰撞反弹点坐标，确定当前交点是否存在于界内或界外。
26.进一步的，所述确定当前采集图像数据的摄像设备是否处理固定状态，包括标定当前采集图像数据的摄像设备为移动状态，包括以下步骤：
27.基于摄像设备采集的帧图像中的场地边界数据，将帧图像中的点分为界内与界外两个集合；
28.在当前帧图像中的球进行识别并返回坐标，并将该位置储存；
29.基于储存中的坐标判断当前球的运动状态，当计算出球在下落过程中有明显方向改变时以此为界将坐标集合划分为多个集合并对依次储存的前两个集合进行曲线拟合，通过集合计算出轨迹曲线方程，其中，两曲线的交点即为球与场地的初次碰撞反弹点坐标；
30.基于球与场地的碰撞反弹点坐标，确定当前交点是否存在于界内或界外。
31.进一步的，还包括以下步骤：
32.球的曲线轨迹通过在帧图像上绘制进行可视化保存计算结果，并进行呈现。
33.本发明的有益效果：
34.本发明基于机器视觉的球类比赛球出界自动裁判系统，通过设置在场地边上的摄像设备采集数据信息，基于采集的数据信息进行场地图像分割，获取场地边界特征信息；基
于采集的数据信息对球类图像数据进行识别，进行对处理后的球类数据信息拟合并找出图像中球运动的曲线方程，确定初次地面碰撞点，对获取的初次地面碰撞点进行判断，确定初次地面碰撞点位置信息；进行呈现，不仅实现较低成本的环境部署，而且对硬件设施规格要求较低，且识别精准度高，自动裁判公正度高，适应性强，满足不同场景的应用需求。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是根据本发明实施例的一种基于机器视觉的球类比赛球出界自动裁判系统的流程示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
38.根据本发明的实施例，提供了一种基于机器视觉的球类比赛球出界自动裁判系统。
39.如图1所示，根据本发明实施例的基于机器视觉的球类比赛球出界自动裁判系统，包括以下步骤：
40.通过设置在场地边上的摄像设备采集数据信息，其中包括边界信息和场地空间信息；
41.基于采集的数据信息进行场地图像分割，获取场地边界特征信息；
42.进行对采集到的球类数据信息进行识别，包括确定当前采集球类数据信息摄像设备是否处于固定状态；
43.进行对处理后的球类数据信息拟合并找出图像中球运动的曲线方程，确定初次地面碰撞点；
44.基于场地边界特征信息对获取的初次地面碰撞点进行判断，确定初次地面碰撞点位置信息；
45.对初次地面碰撞点位置信息进行呈现。
46.其中，所述基于采集的数据信息进行场地图像分割，包括以下步骤：
47.获取摄像设备采集数据信息的图像数据，其中包括手动标注或计算自动获取图像中的场地边界数据；
48.将rgb图像进行灰度处理，并将图像转换成黑白二值图，使得边界图像与场地图像区分开来；
49.用滤波算法减少此过程中产生的噪点图像，并通过直线检测算法获得当前二值图中的直线集合，获取rgb图像中的场地边界折线。
50.其中，所述确定当前采集球类数据信息摄像设备是否处于固定状态，包括标定当前采集图像数据的摄像设备为固定状态，包括以下步骤：
51.基于获取图像中的场地边界数据，进行将帧图像中的点分为界内与界外两个集合；
52.在摄像设备采集的帧图像上进行对当前帧图像中的球进行识别并返回坐标，并将当前位置储存；
53.基于储存中的坐标判断当前球的运动状态，当计算出球在下落过程中有明显方向改变时以此为界将坐标集合划分为多个集合并对依次储存的前两个集合进行曲线拟合，通过集合计算出轨迹曲线方程，其中，两曲线的交点即为球与场地的初次碰撞反弹点坐标；
54.基于球与场地的碰撞反弹点坐标，确定当前交点是否存在于界内或界外。
55.其中，所述确定当前采集球类数据信息摄像设备是否处于固定状态，包括标定当前采集图像数据的摄像设备为移动状态，包括以下步骤：
56.基于摄像设备采集的帧图像中的场地边界数据，将帧图像中的点分为界内与界外两个集合；
57.在当前帧图像中的球进行识别并返回坐标，并将该位置储存；
58.基于储存中的坐标判断当前球的运动状态，当计算出球在下落过程中有明显方向改变时以此为界将坐标集合划分为多个集合并对依次储存的前两个集合进行曲线拟合，通过集合计算出轨迹曲线方程，其中，两曲线的交点即为球与场地的初次碰撞反弹点坐标；
59.基于球与场地的碰撞反弹点坐标，确定当前交点是否存在于界内或界外。
60.其中，还包括以下步骤：
61.球的曲线轨迹通过在帧图像上绘制进行可视化保存计算结果，并进行呈现。
62.借助于上述技术方案，基于机器视觉的球类比赛球出界自动裁判系统，通过设置在场地边上的摄像设备采集数据信息，基于采集的数据信息进行场地图像分割，获取场地边界特征信息；进行采集球类数据信息并进行识别，进行对采集到的球类数据信息拟合并找出图像中球运动的曲线方程，确定初次地面碰撞点，对获取的初次地面碰撞点进行判断，确定初次地面碰撞点位置信息；进行呈现，不仅实现较低成本的环境部署，而且对硬件设施规格要求较低，且识别精准度高，自动裁判公正度高，适应性强，满足不同场景的应用需求。
63.另外，具体的，对于上述场地图像分割来说，还包括：
64.手动标注：用鼠标等输入设备在场地边缘用由直线连接的多个点拟合场地边界信息。
65.自动标注：由于场地边线图像与场地图像存在明显差别，因此可以通过计算机视觉方法自动地识别场地边界的边缘，具体的，
66.1)将rgb图像转成灰度图后，根据一定的阈值将图像转换成黑白二值图，使得边界图像与场地图像区分开来。用滤波算法减少此过程中产生的噪点图像。通过直线检测算法获得当前二值图中的直线集合，根据不同球类场地特点以及安装的摄像设备在场地的不同位置，筛选出图像中的场地边界折线。
67.2)使用实现图像分割功能(实例分割、语义分割、全景分割)的神经网络，通过对实现采集的样本图像进行标注对神经网络进行训练得到在不同场景、不同视角下正确分割不同球类规则下界内与界外场地的网络权重文件，神经网络通过使用该权重文件将图像分割
成界内与界外两个区域，即将图像矩阵中的点分割成界内与界外两个集合。
68.根据场景的复杂程度、摄像设备以及计算系统的不同使用不同的标注方法。对于使用非神经网络方法拟合场地边界图像时，当前折线无法与图像边缘形成封闭区域时，将折线末端线段延长至图像边缘，将图像分割成界内与界外两个区域，即将图像矩阵中的点分割成界内与界外两个集合。
69.此外，其球类物体识别方法为：
70.在比赛过程中，在摄像设备采集的帧图像上使用实现目标识别或分割功能的神经网络单一识别当前球类比赛所用的球，通过对采集的样本图像进行标注对神经网络进行训练得到在不同场景、不同视角下识别该球类的网络权重文件，神经网络通过使用该权重文件将当前帧图像中的球进行识别并返回坐标，当前帧中不含有球时，网络不返回结果；
71.具体的，如图1所示，包括以下步骤：
72.其中，如图1所示，当摄像头固定时，如下：
73.s1，提取在比赛开始前视频数据中含有场地边界信息的一帧图像，通过场地图像分割，将帧图像中的点分为界内与界外两个集合；
74.s2，在比赛过程中，在摄像设备采集的帧图像上使用球类物体识别方法，对当前帧图像中的球进行识别并返回坐标，将当前位置结果储存；
75.s3，通过计算储存中的坐标，判断当前球的运动状态，当计算出球在下落过程中有明显方向改变时以此为界将坐标集合划分为多个集合并对依次储存的前两个集合进行曲线拟合，通过集合中有价值的点计算出轨迹曲线方程，其中，两曲线的交点即为球与场地的初次碰撞反弹点坐标；
76.s4，通过计算球与场地的碰撞反弹点坐标存在于s2中的界内或者界外集合中即可得出当前球是否出界，并通过不同方式告知场地上的运动员和裁判员；
77.s5，将步骤四中计算得出的两个曲线轨迹方程通过在帧图像上绘制或通过三维模型动画等可视化方法保存计算结果；
78.s6，若视频数据结束，系统停止；当视频数据未结束时，重复步骤s2～s6。另外，如图1所示，当摄像头未固定，视频图像可能存在移动时，如下：
79.s1，在视频数据中帧图像上，通过场地图像分割，将帧图像中的点分为界内与界外两个集合；
80.s2，在当前帧图像上使用球类物体识别方法，对当前帧图像中的球进行识别并返回坐标，将当前位置结果储存；
81.s3，通过计算储存中的坐标，判断当前球的运动状态，当计算出球在下落过程中有明显方向改变时以此为界将坐标集合划分为多个集合并对依次储存的前两个集合进行曲线拟合，通过集合中有价值的点计算出轨迹曲线方程，其中，两曲线的交点即为球与场地的初次碰撞反弹点坐标；
82.s4，通过计算球与场地的碰撞反弹点坐标存在于s2中的界内或者界外集合中即可得出当前球是否出界，并通过不同方式告知场地上的运动员和裁判员；
83.s5，将步骤四中计算得出的两个曲线轨迹方程通过在帧图像上绘制或通过三维模型动画等可视化方法保存计算结果；
84.s6，若视频数据结束，系统停止；当视频数据未结束时，重复步骤s1～s6。
85.综上所述，借助于本发明的上述技术方案，通过设置在场地边上的摄像设备采集数据信息，基于采集的数据信息进行场地图像分割，获取场地边界特征信息；进行采集球类数据信息并进行识别，进行对采集球类数据信息拟合并找出图像中球运动的曲线方程，确定初次地面碰撞点，对获取的初次地面碰撞点进行判断，确定初次地面碰撞点位置信息；进行呈现，不仅实现较低成本的环境部署，而且对硬件设施规格要求较低，且识别精准度高，自动裁判公正度高，适应性强，满足不同场景的应用需求。
86.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。