基于深度学习技术进行运动目标检测的球类运动项目通用训练方法及辅助裁判系统与流程

1.本发明涉及图像处理领域，尤其涉及一种基于深度学习技术进行运动目标检测的球类运动项目通用训练方法及辅助裁判装置。


背景技术：

2.利用固定台数相机部署到运动场周围，建立具体要检测的球或人的人工模型，在运动比赛或训练时获取球的落点，供比赛场上的运动员、裁判员进行辅助裁判。
3.现有技术都是建立专用系统，只能服务于某个单独运动项目，尚没有能自动扩展、可通用的解决方案。
4.采用人工模型，就是深度学习和常规图像检测差异，普适性差。
5.网格化运动指标模型，目前还没有，该模型必须配合检测手段才有效果。
6.在球类运动检测技术方面，现有技术对于球类运动图像检测主要使用传统人工建模方式，没有使用深度学习等现代先进检测技术，检测误差较大，场地适应性较差，需要人工干预的工作较多。
7.在多项运动通用方面，现有技术还停留在专场专用，无法在多种球类运动实现通用。
8.在训练技术方面，没有建立统一的网格化模型，只能针对具体的球类项目进行专门的网格建模，无法通用一套网格模型，适用多种球类训练项目。
9.在多相机集成方面，没有建立统一自适应的接入方式，所有的相机接入都需要专门的接口进行匹配，多相机的兼容性差。
10.在装置构成方面，没有建立统一标准，当某节点出问题时，整个节点都会停止工作。


技术实现要素：

11.鉴于上述问题，本发明提出了一种基于深度学习技术进行运动目标检测的球类运动项目通用训练方法及辅助裁判装置以克服上述问题或者至少部分地解决上述问题。
12.一种基于深度学习技术进行运动目标检测的球类运动项目通用训练方法，包括：
13.步骤1，建立基础权重参数，通过深度学习训练的模型进行深度学习，建立训练后的权重参数；
14.步骤2、特定运动场景的参数优化，当基础权重参数出现误差时，通过设计参数优化模块，采集实际运动场景图像，进行优化训练，建立特定场景的优化权重参数。
15.进一步，其中，所述权重参数用于实际运行时实时对运动图像进行分析，识别运动目标，检测运动目标的三维坐标，重建运动轨迹，结合时间信息，检测运动速度的运动指标。
16.进一步，其特征在于，其中，所述误差是因为深度学习训练的样本还不够预定量，当出现这种情况时，将现场数据建立样本，进行增量训练，重新建立权重。
17.进一步，其特征在于，其中，所述深度学习训练的模型包括：网格化运动指标模型，在网格上叠加某时刻的运动状态指标，形成网格位置、时间、运动状态的统一模型。
18.进一步，其特征在于，其中，网格化运动指标模型包括建立网格模型、建立运动状态指标模型。
19.进一步，其特征在于，其中，建立网格模型具体为建立九宫格模型，这个模型可以根据实际运动场地进行调整，使之适应运动场地；所述建立运动状态指标模型建立人的运动状态模型、球的运动状态模型和网格运动指标模型。
20.进一步，其特征在于，其中，所述人的运动状态模型包括：人运动轨迹、人运动速度、人运动距离、人运动意识。
21.进一步，其特征在于，其中，所述球的运动状态模型包括球运动轨迹、球运动速度、球起点、球落点、球的旋转速度和方向。
22.进一步，其特征在于，其中，所述网格运动指标模型包括网格指标统计表。
23.本方面还提供一种采用基于深度学习技术进行运动目标检测的球类运动项目通用训练方法方法的辅助裁判系统，包括：人机交互系统主机用于对各项指标的分析和统计，并进行显示控制，分别经显示控制器或电视接口呈现到操作员显示器、运动现场大屏幕、裁判席显示屏、电视控制中心。
24.本发明实施例中提供的技术方案，至少具有如下技术效果或优点：
25.利用先进的计算机图像识别技术(深度学习技术)进行运动目标精确识别和定位，获取目标的基本运动参数(目标识别、目标的三维定位、目标的运动速度、目标的运行轨迹、目标的重心)，结合运动比赛训练规则，建立网格化运动指标参数，训练或比赛时实时反馈网格运动指标变化，辅助教练员根据网格运动指标变化，优化或改进训练效果。可以任意叠加扩展的多相机的集成技术既可以用于比赛时的辅助裁判(var)，也可以在训练时回放任意视角的高速高清影像帮助运动员分析动作姿态等。
26.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
27.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
28.图1(a)示出了最小处理组网单元结构；
29.图1(b)示出了最小处理组网单元的布局；
30.图2(a)示出了标准组网单元组结构；
31.图2(b)示出了标准组网单元组的布局；
32.图3(a)示出了最大可扩充4组标准组网单元组结构；
33.图3(b)示出了最大可扩充4组标准组网单元组的布局；
34.图4示出了最大可支持组网模型；
35.图5示出了运动场地的摄像机布局；
36.图6示出了建立基础权重参数的流程；
37.图7示出了特定运动场景的参数优化流程；
38.图8示出了九宫格模型；
39.图9示出了将九宫格适应到羽毛球场地的示意图；
40.图10(a)示出了基于深度学习技术进行运动目标检测的球类运动项目辅助裁判(var)系统结构；
41.图10(b)示出了基于深度学习技术进行运动目标检测的球类运动项目辅助裁判(var)系统布局。
具体实施方式
42.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
43.可扩展的高速高清相机通用集成技术根据相机多少分为最小处理组网单元、标准组网单元组、最大可扩充4组标准组网单元组、最大可支持组网。
44.视频采集系统基本组成单元图，也称为最小处理组网单元，图1(a)为结构示意图，图1(b)为现场布局示意图，相机1、相机2采集的图像，经千兆网、万兆交换机、万兆网、传输到图像处理终端，由现场交互及显示控制系统进行数据处理。
45.标准组网单元组，一组可以根据覆盖场地情况增加最多8台相机，图2(a)为结构示意图，图2(b)为现场布局示意图，相机1—相机8采集的图像，经万兆交换机传输到图像处理终端，由现场交互及显示控制系统进行数据处理。
46.最大可扩充4组标准组网单元组，图3(a)为结构示意图，图3(b)为现场布局示意图，4组相机1—相机8采集的图像，分别经各组对应的千兆网、万兆交换机传输到图像处理终端，由各组对应的现场交互及显示控制系统进行数据处理。
47.最大可支持组网模型如图4所示，来自组网单元1—组网单元4的数据经万兆交换机传输到图像处理终端服务器，由现场交互及显示控制系统进行数据处理。
48.运动场地的摄像机布局如图5所示。
49.深度学习技术对球类目标和人员目标进行识别和精确定位的方法如下：
50.深度学习的流程是首先获取样本数据，然后选择合适的网络结构，如cnn、rnn等等，使用深度学习框架进行样本训练，最后获得的训练结果就是权重参数。本发明设计建立一个基础运动场景权重参数管理模块，通过该模块，可以快速对多种运动场景的训练结果进行管理，形成基础权重参数库。当系统运行在特定的运动场景时，可以选择直接使用基础权重进行测试，如果发现基础权重参数的精度不够，则可以调用优化权重参数模块，进行权重优化，优化后再进行测试，直到得到满意的权重参数。
51.采用深度学习技术的方法实施例如下：
52.一种基于深度学习技术进行运动目标检测的球类运动项目通用训练方法，包括：
53.步骤1，建立基础权重参数。即通过深度学习训练的模型进行深度学习，建立训练后的权重参数，该权重参数用于实际运行时实时对运动图像进行分析，识别运动目标，检测
运动目标的三维坐标，重建运动轨迹，结合时间信息，还可以检测运动速度等运动指标，如图6所示。
54.步骤2、特定运动场景的参数优化。在实际情况下，基础权重可能会出现误差较大的情况，通过设计参数优化模块，采集实际运动场景图像，进行优化训练，建立特定场景的优化权重参数。误差是因为深度学习训练有可能样本还不足够多，当出现这种情况时，可以将现场数据建立样本，进行增量训练，重新建立权重，如图7所示。
55.以排球运动为例，在排球场地周边安装摄像头，采集运动视频，对运动视频进行分析，采用深度学习方法进行图像分析，相比于传统建模，效果更好。提取球员跑动的三维坐标(x\y\z)并把这些三维坐标连起来，即可得到球员的跑动轨迹以及跑动速度。同理，获取球的三维坐标，即可得到球的飞行轨迹、速度、落地点坐标等数据，这些数据以排球运动的规则进行分析，则可以得出排球运动状态指标，例如，球员的平均速度，最高速度，跑动距离，发球速度、球落点等等运动状态指标。因为每一个状态指标都是有其坐标位置，当我们把场地划分为九宫格，则可以把运动指标都对应到某个网格，若干网格又可以构成进攻区、防守区、发球区等等运动战术区域。当球员训练时，系统可以自动识别出每个球是在进攻区还是防守区，击球效果用以判断是否达到设定的速度、落点、时间等要求，以这样的方式进行训练，可以更加准确地对运动效果进行评估。
56.深度学习训练的模型包括：网格化运动指标模型。
57.具体而言，网格化运动指标模型，包括：
58.(一)建立网格模型，即建立九宫格模型，网格模型是球类运动训练时的一个参考系，比如训练球要落到某个目标区域，就用网格来表示。通过设定网格，建立球的落点模型，对落点模型进行检测和统计，可以得出训练的效果，比如球落在网格区域的成功次数、失败次数，网格区域的大小、位置可以作为权重，进行成功率、失败率的计算。这个模型可以根据实际运动场地进行调整，使之适应运动场地，九宫格模型如图8所示。
59.建立一个九宫格，为每个格子编码，顺序按照1-9进行编号。
60.例如：将上述九宫格适应到羽毛球场地，则如图9所示。
61.(二)建立运动状态指标模型，运动状态指标模型包括：
62.(1)人的运动状态模型，包括：
63.人运动轨迹：人在运动过程中的轨迹，通过深度学习在图像上获取到人的位置坐标，连续时间段内的坐标集合就是人的运动轨迹，用二维坐标来表示，p(x1,y1,x2,y2...xn,yn),
64.人运动速度：连续时间段内，人的运动速度，可以用v＝s/t进行计算得到，
65.人运动距离：连续时间段内，人经过的距离，求取所有点的距离和即可得到，
66.重心：通过深度学习，检测图像上人的姿态动作，跟据姿态动作识别出人的重心位置，用前、后、左、右、左前、右前、左后、右后表示重心位置的8个方向，重心是通过深度学习训练得到的。
67.人运动意识：运动意识包括进攻、防守、攻防、无意识四个状态。通过人的跑位结合球的落点判断出运动意识，对当人由底线向中线或对方方向跑动且球的速度较快时，可以判断为进攻，反之，则为防守。攻防则时介于二者之间。当人持续在某个位置击球时且球速和方向都处于较小的波动范围，则认为时无意识状态。
68.反应时间：是人运动时的参数，是根据球到达时间减去球返回的起始时间。
69.(2)球的运动状态模型，包括：
70.球运动轨迹：球的飞行轨迹，通过深度学习在图像上获取到球的位置坐标，连续时间段内的坐标集合就是球的运动轨迹，用三维坐标来表示，b(x1,y1,z1,x2,y2,z2...xn,yn,zn)，
71.球运动速度：连续时间段内，球的运动速度，可以用v＝s/t进行计算得到，
72.球起点：人击球或身体触球时球的点位，用三维坐标表示为b(x,y,z)，
73.球落点：球落地时球的点位，用三维坐标表示为b(x,y,z)，
74.球的旋转速度和方向：球在飞行时的旋转方向和旋转速度。
75.旋转、加速度、轨迹、落点是通过本项目的若干台相机采集图像，使用基于神经网络深度学习训练，最后得到神经网络模型，基于神经模型即可计算得到球的运动参数。
76.上述网格化运动指标模型，在网格上叠加某时刻的运动状态指标，形成网格位置、时间、运动状态的统一模型。
77.网格指标统计表
[0078][0079]
采用辅助训练与辅助裁判人机交互技术的一种基于深度学习技术进行运动目标检测的球类运动项目辅助裁判(var)系统，如图10所示。
[0080]
图10(a)为系统结构示意图，图10(b)为现场布局示意图。人机交互系统主机(控制交互服务器)可以实现对各项指标的分析和统计，并进行显示控制，分别经显示控制器(矩阵)或电视接口呈现到操作员显示器(图10(b)未图示未图示)、(运动)现场大屏幕、裁判席显示屏(图10(b)未图示)、电视控制中心等等。
[0081]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0082]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0083]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领
域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。