基于计算机视觉检测的羽毛球发球高度违例判别方法

本发明涉及基于计算机视觉的目标检测领域，尤其涉及一种基于计算机视觉检测的羽毛球发球高度违例判别方法。

背景技术：

1、在羽毛球运动比赛中，对于羽毛球发球高度是否违规(或称违例)具有明确的定量规则，即要求运动员在发球时，当球拍击中羽毛球的瞬间，羽毛球的任何部分局均不能高于1.15米。因此，羽毛球运动比赛场地中会设置绘制有横线的亚力克板，横线相对场地地面的高度为1.15米。羽毛球运动比赛场的裁判依靠该亚力克板上的横线来判断运动员在发球一瞬间的发球高度。一旦观察到的发球高度超过了亚力克板上的横线高度，就人为判定羽毛球发球高度违规；否则，判定羽毛球发球高度合规。但是，通过人工方式观察发球一瞬间的发球高度与亚力克板上横线高度的比较来判定发球高度是否违规，存在很大的局限性，难以确保每次判定结果的准确性。

2、中国发明专利cn110711373b公开了一种基于图像处理的羽毛球发球时击球点的高度检测方法，包括：步骤s1：视频数据采集模块拍摄羽毛球比赛视频，采集羽毛球比赛视频的同时将羽毛球比赛视频传送给数据处理模块；步骤s2：数据处理模块运行羽毛球发球时击球点的高度检测程序，高度检测程序通过图像处理技术对羽毛球比赛视频的图像数据进行计算处理，获得羽毛球发球时击球点的高度，将羽毛球发球时击球点的高度传送给数据显示模块；步骤s3：数据显示模块输出羽毛球发球时击球点的高度，将羽毛球发球时击球点的高度与规定高度进行比较，判断发球是否犯规；其中，在执行步骤s2时，采取了：步骤s21：判断深度传感器是否正确开启；步骤s22：若深度传感器正确开启，获取羽毛球比赛视频的图像数据，消除静态像素，保留动态像素，否则返回至步骤s21；步骤s23：逐帧叠加所述动态像素，识别并拟合所述动态像素之中动态物体的运动轨迹，若所述运动轨迹呈现为抛物线，判定动态物体为羽毛球，大于所述抛物线的轨迹之中最大像素块宽度的像素块与所述抛物线的轨迹的相接点为所述羽毛球发球时击球点，记录羽毛球发球时击球点的深度值；步骤s24：搜索所述深度传感器的深度图像之中与所述羽毛球发球时击球点具有相同深度的地面，获得所述地面在图像帧之中的竖直距离；步骤s25：根据三角形相似定理，结合所述深度传感器的图像帧的宽度像素值和所述深度传感器的垂直视角，计算所述羽毛球发球时击球点的离地高度；步骤s26：将所述羽毛球发球时击球点的高度传送给数据显示模块。如此，本发明消除了静态像素，能够精确地检测羽毛球发球时击球点的高度，为裁判判定发球是否失误提供客观依据。

3、另外，中国发明专利cn109684919b公开了一种基于机器视觉的羽毛球发球违例判别方法，包括：采集运动员发球时的视频图像帧序列，进行运动检测预处理；通过建立羽毛球图像数据集并提取lbp数字图像特征进行分类器训练，确定出发球时羽毛球的位置；利用opencv计算出发球时球拍的相对角度的正负来判断是否发球过手，发球过手违例的具体细则：在发球过程中，当球击中球拍时，发球员的球拍应该指向下方，使得整个球拍的首部低于握拍手部，那么，发球过手违例为在发球过程中球拍不能处于与地面平行的位置或是球拍首部指向上的位置，当运动员位于球网左端，一共有四种可能：球拍与地面平行t1、球拍首部指向地面位置t2、球拍首部指向上位置t3、球拍垂直于地面t4，判断标准为：t1、t3、t4都是发球过手的违例行为；负角度虽然不利于判定的直观展示，但能够很好的作为违例和不违例的区分，将t1和t4分别判定为90°和0°，t2和t3则根据角度的正负加以区分，判断的依据是矩形框较长边与y轴的角度，区别是t2判定的是较长边与y轴的负角度，t3判定的是较长边与y轴的正角度；建立羽毛球顶部图像点h与垂足图像点p之间的关系方程。该方案主要将图像处理技术应用到了羽毛球赛场中，具有检测简单和实用的特点。

4、不过，现有的上述两种针对羽毛球发球高度的检测及羽毛球发球违例判别方法存在不足：中国发明专利cn110711373b公开的基于机器视觉的羽毛球发球违例判别方法虽然能够快速识别，但是需要依靠抛物线来判定动态物体为羽毛球会存在误判情况发生的可能；中国发明专利cn109684919b公开的基于机器视觉的羽毛球发球违例判别方法对复杂环境下的羽毛球检测存在冗余度不够大的缺陷。

技术实现思路

1、本发明所要解决的技术问题是针对上述现有技术提供一种基于计算机视觉检测的羽毛球发球高度违例判别方法。

2、本发明解决上述技术问题所采用的技术方案为：基于计算机视觉检测的羽毛球发球高度违例判别方法，其特征在于，包括如下步骤：

3、步骤1，将图像采集装置固定在比赛场地内任一侧羽毛球网柱预定高度处；其中，该任一侧羽毛球网柱为比赛场地内左侧羽毛球网柱和右侧羽毛球网柱中的一个；

4、步骤2，采用高度标定杆标定图像采集装置的纵向高度，使得该图像采集装置的取景界面水平分割线刚好经过该高度标定杆的预定高度处；其中，高度标定杆的预定高度与固定图像采集装置的羽毛球网柱预定高度等值，该取景界面水平分割线平行于比赛场地所在平面方向；

5、步骤3，由图像采集装置采集运动员进行羽毛球发球时的羽毛球发球动作图像以及从羽毛球发球动作图像中提取羽毛球图像，分别得到羽毛球发球动作图像集合和羽毛球图像集合；其中，羽毛球发球动作图像为显示有运动员全身像的运动员发球动作图像；

6、步骤4，在羽毛球发球动作图像集合中的各羽毛球发球动作图像中标注出羽毛球位置，且由标注好的所有羽毛球位置数据形成羽毛球位置训练数据集合；以及在羽毛球图像集合中的各羽毛球图像中标注出羽毛球头位置，且由标注好的所有羽毛球头位置数据形成羽毛球头位置训练数据集合；

7、步骤5，对所得羽毛球位置训练数据集合做训练处理得到羽毛球头检测网络模型；以及对所得羽毛球头位置训练数据集合做训练处理得到羽毛球头检测网络模型；

8、步骤6，在比赛裁判方给出发球指令后，按照预设时间间隔获取比赛场地内羽毛球的羽毛球头横向运动速度；其中，该羽毛球头横向运动速度为羽毛球头沿平行于比赛场地所在平面方向的速度；

9、步骤7，根据所得羽毛球头横向运动速度做出判断处理：

10、当该羽毛球头横向运动速度大于预设横向运动速度阈值时，判定该羽毛球在当前时刻被运动员发出，转入步骤8；否则，转入步骤6；

11、步骤8，将当前时刻作为羽毛球的发球时刻，且将羽毛球头在当前时刻所处位置作为羽毛球发球位置；

12、步骤9，计算羽毛球发球位置到图像采集装置的取景界面水平分割线的高度差值；其中，该高度差值为羽毛球发球位置的纵向高度值减去取景界面水平分割线所处高度值的差值；

13、步骤10，根据所得高度差值做出判断处理：

14、当该高度差值大于零时，判定羽毛球发球高度符合羽毛球发球高度规定；否则，判定羽毛球发球高度不符合羽毛球发球高度规定。

15、改进地，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，所述图像采集装置的取景界面包含所述比赛场地的左侧发球区和右侧发球区；其中，该取景界面的上半部位于所述高度标定杆的预定高度的上方，该取景界面的下半部位于所述高度标定杆的预定高度的下方。

16、再改进，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，在步骤3中，所述羽毛球图像从同一时刻采集的羽毛球发球动作图像中提取得到。

17、进一步地，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，所述羽毛球发球动作图像包含的运动员发球动包括多种发球方式。

18、改进地，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，在步骤5中，对所述羽毛球位置训练数据集合做训练处理的过程包括如下步骤：

19、步骤a1，将所述羽毛球发球动作图像集合中含有静止阶段的羽毛球发球动作图像删除掉，得到筛选后羽毛球发球动作图像集合；其中，静止阶段为羽毛球发球动作图像中未包含运动员的阶段；

20、步骤a2，利用标注软件在筛选后羽毛球发球动作图像集合中的各羽毛球发球动作图像中标注出羽毛球位置，且由标注好的所有羽毛球位置数据形成羽毛球位置训练数据集合；

21、步骤a3，对所得羽毛球位置训练数据集合做数据增量处理，得到增量后羽毛球位置训练数据集合。

22、再进一步地，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，在步骤5中，对所述羽毛球头位置训练数据集合做训练处理的过程包括如下步骤：

23、步骤b1，从所述筛选后羽毛球发球动作图像集合中的每一个羽毛球发球动作图像中提取出羽毛球图像，且由提取得到的所有羽毛球图像形成初选羽毛球图像集合；

24、步骤b2，将初选羽毛球图像集合中成像质量低的全部羽毛球图像剔除，得到剔除处理后羽毛球图像集合；

25、步骤b3，计算已被剔除掉的羽毛球图像剔除数量，且重新采集与该羽毛球图像剔除数量等值的羽毛球图像，由所得剔除处理后羽毛球图像集合和该重新采集后的所有羽毛球图像一起形成羽毛球头位置训练数据集合；

26、其中，对羽毛球图像的重新采集过程包括如下步骤：将羽毛球放置在距离图像采集装置预设距离处，使得该羽毛球占满图像采集装置的整个取景界面；以及，再利用图像采集装置采集位于当前预设距离处的羽毛球图像。

27、再改进，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，在步骤4中，所述羽毛球头位置的标注过程如下：

28、将每一个所述羽毛球图像中的羽毛球头利用虚线矩形框框出，得到线框标注后羽毛球头；

29、将该虚线矩形框的左下顶点所在位置作为羽毛球头位置；其中，该左下顶点所在位置包括横坐标和纵坐标，该左下顶点所处坐标系由所述图像采集装置的取景界面水平分割线和垂直分割线形成，水平分割线和垂直分割线的交点为该坐标系的原点。

30、进一步地，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，利用yolov5s网络对所述羽毛球位置训练数据集合训练处理，得到羽毛球检测网络模型；以及利用yolov5s网络对羽毛球头位置训练数据集合训练处理，得到羽毛球头检测网络模型。

31、改进地，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，在步骤6中，所述羽毛球头横向运动速度的获取过程如下：

32、获取发球时刻所采集羽毛球图像中的羽毛球头位置；其中，羽毛球头位置包括羽毛球头的横坐标和纵坐标；

33、获取发球后的后一时刻所采集羽毛球图像中的羽毛球头位置；其中，该后一时刻为自发球时刻起采集完毕预设帧数羽毛球图像时所对应的时刻，该预设帧数至少一帧；

34、计算后一时刻与发球时刻之间的时刻差值；

35、计算后一时刻所对应羽毛球头位置与发球时刻所对应羽毛球头位置之间的横坐标差值；

36、将所得横坐标差值与所得时刻差值之间的比值作为羽毛球头横向运动速度。

37、进一步地，在所述基于计算机视觉检测的羽毛球发球高度违例判别方法中，所述羽毛球网柱预定高度为距离比赛场地所处水平面1.15m。

38、与现有技术相比，本发明的优点在于：

39、首先，该发明的基于计算机视觉检测的羽毛球发球高度违例判别方法通过将图像采集装置固定到比赛场地内羽毛球网柱预定高度处，并利用高度标定杆标定图像采集装置的纵向高度，使得图像采集装置的取景界面水平分割线刚好经过高度标定杆的预定高度处，而后由图像采集装置采集得到羽毛球发球动作图像集合和羽毛球图像集合后，再分别标记各羽毛球发球动作图像中的羽毛球位置和羽毛球图像集合后中各羽毛球头位置，并训练得到羽毛球头检测网络模型和羽毛球头检测网络模型，且在比赛裁判方给出发球指令后获取比赛场地内羽毛球的羽毛球头横向运动速度，并基于该羽毛球头横向运动速度大于预设速度阈值后，将当前时刻作为羽毛球发球时刻并将羽毛球当前时刻所处位置作为羽毛球发球位置，一旦该羽毛球发球位置到图像采集装置取景界面水平分割线的高度差值大于零，即判定羽毛球发球高度符合羽毛球发球高度规定，否则判定羽毛球发球高度不符合羽毛球发球高度规定。该发明的羽毛球发球高度违例判别方法无需人工目测观察羽毛球发球高度，整个过程更加智能化和自动化，检测到的羽毛球发球高度更为准确可靠，提高了羽毛球发球高度是否违规的判断准确率；

40、其次，该发明的基于计算机视觉检测的羽毛球发球高度违例判别方法在判定过程中，采集了大量的关于羽毛球发球动作的图像，这样更加有利于后续对发球动作情况进行溯源观察和分析；

41、再次，该发明的基于计算机视觉检测的羽毛球发球高度违例判别方法通过以检测到羽毛球头在x轴上的横向移动速度超过预设速度阈值时的时刻作为羽毛球发球时刻，这样检测到的羽毛球发球时刻更加准确可靠；该发明不需要检测出羽毛球击球瞬间的具体高度数值，而是根据羽毛球头是位于取景界面水平分割线以上区域还是以下区域即可判断发球高度违例与否，大大增加了系统的鲁棒性；

42、最后，该发明的基于计算机视觉检测的羽毛球发球高度违例判别方法针对羽毛球的目标检测包括了两次目标检测，第一次是检测羽毛球发球图像中的羽毛球，第二次是检测羽毛球图像中的羽毛球头，并以羽毛球头的横向运动来判断发球点，进一步降低了误判概率。