一种基于机器视觉的羽毛球发球违例判别方法与流程

本发明涉及图像处理、人工智能领域，特别是涉及一种基于机器视觉的羽毛球发球违例判别方法。

背景技术：

在羽毛球竞技中，对运动员的所有动作都有明文规定，并要求裁判员按照比赛规则进行判罚。但是裁判员的判罚行为可能受到运动员自身对比赛的胜负欲和个人习惯等众多因素的影响，这就导致了部分裁判员可能不会遵守比赛的规则进行判罚，出现误判、错判甚至黑哨等情形。基于计算机视觉的违例判罚利用一种不受主观因素限制的第三方机制帮助裁判进行辅助判罚，将在今后视频图像相关领域起到越发明显的作用。

现有的一些羽毛球赛场辅助设备并不能达到上述的要求，鹰眼，又称即时回放系统，其原理是由多个高清摄像头捕捉图像，通过多个高性能的计算机计算后借助虚拟技术重建回放球体的运动轨迹，在羽毛球赛场中仅用作判断是否发球出界。另外两种技术，数字检测系统和线审辅助装置，数字检测系统主要是利用光学实时跟踪捕捉设备、数据信息处理系统、数字显示设备实现对羽毛球的捕捉，并计算出相应的坐标来判断是否出界，缺点是要求比赛用球经过红外喷涂且易受到场外红外干扰，对球体坐标的计算也存在较大的误差。线审辅助装置是通过在球场边界铺设两边带有正、负导线的条状带绝缘基板，并在羽毛球球体附着导电材质，利用球体触地时与边线产生电感应实现对球落点的判定，这类装置的缺点是精度容易受到潮湿天气和运动员汗水的影响，还需要改变羽毛球的标准构造。

综上所述，目前的几种辅助判罚手段均用于判定球体是否出界，而不能用作判断违例行为，无法完成在羽毛球比赛中对发球违例的判罚。

技术实现要素：

本发明提供了一种基于机器视觉的羽毛球发球违例判别方法，其目的是为了解决目前羽毛球赛场上发球违例判罚过于主观且缺乏相应的辅助判罚手段的问题。

为了解决上述的问题，本发明提供了一种基于机器视觉的羽毛球发球违例判别方法，它包括：

采集运动员发球时的视频图像帧序列，通过运动检测预处理，达到提高系统效率的目的；

通过建立羽毛球图像数据集并提取lbp数字图像特征进行分类器训练，确定出发球时羽毛球的位置；

利用opencv计算出发球时球拍的相对角度的正负来判断是否发球过手；

建立羽毛球顶部图像点与垂足图像点之间的关系方程，计算出发球点的离地高度用以判断是否发球过腰。

进一步的，所述运动检测预处理的步骤包括：

提取录入视频序列的静止部分作为背景模型；

将所述背景模型与所述视频序列的当前帧图像进行图像差分；

通过设定阈值将所述差分图像进行二值化处理，判断是否存在运动物体。

进一步的，所述通过建立羽毛球图像数据集并提取lbp数字图像特征进行分类器训练的步骤包括：

自建处于不同状态下的仅包含羽毛球的图像数据集作为正样本，并对正样本进行灰度化和统一尺寸为40×40的处理；

将所述经过处理的样本利用opencv提取lbp特征进行分类器的训练，所述分类器的训练级数为20，每级最低命中率为0.998，误检率为0.5。

进一步的，所述利用opencv计算出发球时球拍的相对角度的正负来判断是否发球过手的步骤包括：

根据opencv对角度检测判断为[-90,0)的特性，规定运动员位于球网左端时判断的标准，当运动员位于球网右端，判定标准只需取反即可；

对所述发球时的球拍进行轮廓检测，对找到的轮廓创建可倾斜的矩形框，并通过设定阈值，滤除掉由羽毛球拍自身结构生成的影响判断的多余矩形框，对过滤后的矩形框进行角度判别。

进一步的，由发球过手违例的具体细则：在发球过程中，当球击中球拍时，发球员的球拍应该指向下方，使得整个球拍的首部低于握拍手部，那么，发球过手违例可以理解为在发球过程中球拍不能处于与地面平行的位置或是球拍首部指向上的位置，当运动员位于球网左端，一共有四种可能：球拍与地面平行、球拍首部指向地面位置、球拍首部指向上位置、球拍垂直于地面，所述判断的标准为：第一，第三和第四种状态都是发球过手的违例行为。负角度虽然不利于判定的直观展示，但能够很好的作为违例和不违例的区分，将第一种和第四种状态分别判定为90°和0°，第二种和第三种状态则根据角度的正负加以区分，判断的依据是所述矩形框较长边与y轴的角度，区别是第二种状态判定的是较长边与y轴的负角度，第三种状态判定的是较长边与y轴的正角度。

进一步的，对现实生活中的羽毛球拍实现轮廓检测构建矩形框会由于其结构，构建出多个过大或过小的矩形框影响判断流程，通过将矩形框的面积大小设定为阈值，可以很好的过滤过大或是过小的矩形框。

进一步的，所述建立羽毛球顶部图像点与垂足图像点之间的关系方程，计算出发球点的离地高度用以判断是否发球过腰的步骤包括：

通过羽毛球识别，所述羽毛球顶部图像点近似等于识别后的中心点；

所述垂足图像点为过图像中羽毛球的一条到地直线与地面的交点，该点与羽毛球顶部图像点、垂直消影点共线，同时也与运动员双足的图像点共线，通过这一特性可以构建关系方程，确定出垂足图像点；

所述的离地高度可由空间平面与图像平面的关系求出。

进一步的，所述垂直消影点为空间中垂直于地平面上的直线在无穷远处的点在像平面的投影点，所述运动员双足的图像点可以通过在运动检测时对运动员双脚进行建模得到。

进一步的，所述空间平面与图像平面的关系为：在摄像机模型下，空间中任意一点h与图像上的点p的关系如下：

其中k为摄像头内参矩阵，[rt]为外参矩阵，λ为非零尺度因子，为齐次坐标形式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

图1为一种基于机器视觉的羽毛球发球违例判别方法的流程图；

图2为运动物体检测流程图；

图3为分类器训练流程图；

图4为发球过手检测流程图；

图5为离地高度测量方法流程图；

图6为发球过腰检测流程图。

图7为一种基于机器视觉的羽毛球发球违例判别系统框架图。

具体实施方式

为了是本发明的目的、方案及优点能够更为清晰易懂，以下将结合附图和实例对本发明作进一步的说明。

如图1为本发明提供了基于机器视觉的羽毛球发球违例判别方法流程图，包含了如下步骤：

步骤s1：采集运动员发球时的视频图像帧序列，通过运动检测预处理，达到提高系统效率的目的。

通过具有摄像功能的设备，例如摄像机、摄像头等，实时的采集羽毛球赛场上发球过程的图像，并利用运动检测甄别出发球时的图像帧，达到提高系统运行效率的目的，运动检测流程图如图2所示。

步骤s2：通过建立羽毛球图像数据集并提取lbp数字图像特征进行分类器训练，确定出发球时羽毛球的位置。

根据应用场景的需求，需要在比赛的发球阶段完成对羽毛球的检测识别，以便于进行后续违例判断。可以通过训练分类器完成对羽毛球的识别，下面将介绍lbp特征的提取和分类器的训练。

1.lbp特征提取

对于一副图像某个区域任意像素p(xz,yz)，假设其灰度为gz，那么，在一个数量为w的窗口中除去中心点，其余的点的灰度可以描述为g0,...,gw-1，则中心像素与相邻像素的相对关系可以描述为：(gz-g0,...,gz-gw-1)，以中心像素灰度值为阈值，进行二值化：[b(gz-g0),...,b(gz-gw-1)]，其中b(x)定义如下：

通过这样的方法，得到一个二进制数，进行加权后即得到相应的lbp特征值，表示成数学公式如下：

当图像中的所有像素都计算得到一个lbp值之后，即得到图像的lbp矩阵，再通过统计处理，就是我们需要的图像特征。

2.分类器的训练

分类器的训练流程图如图3所示，分为以下几个过程：

获取训练样本集，包括正样本集，即羽毛球图像样本集和负样本集，即非羽毛球图像样本集，负样本应该覆盖羽毛球赛场情景可能发生的各种情况。

完成对正样本的处理，包括灰度化和尺寸统一缩放为40×40大小，负样本不做处理。

提取正负样本的lbp特征值，并进行分类器的训练，分类器的训练级数为20，每级最低命中率为0.998，误检率为0.5，完成训练后将羽毛球的lbp特征和非羽毛球的lbp特征进行保存，作为分类依据。

通过上述方式得到羽毛球分类器后，即可采用该分类器完成对羽毛球的识别。

步骤s3：利用opencv计算出发球时球拍的相对角度的正负来判断是否发球过手。

通过如图4所示发球过手检测流程图可以更好的理解发球过手的检测流程。在完成了运动检测和羽毛球识别后，可以对羽毛球拍进行轮廓检测，通过该轮廓创建可倾斜的矩形框，进一步对该矩形框进行角度检测，实现发球过手的判别。

步骤s4：建立羽毛球顶部图像点与垂足图像点之间的关系方程，计算出发球点的离地高度用以判断是否发球过腰。

要判断发球是否过腰，根据国际羽联的最新规定，发球时的击球点不应超过1.15米。为了完成这一判别，则问题可以转化为在完成羽毛球的识别后，判断该击球点的实际高度是否小于等于1.15米，发球点的高度测量方法流程图如图5所示。

具体的发球过腰检测流程如图6所示，在完成了运动检测、羽毛球识别等前序处理后，通过提取特征点，建立关系方程得到所需的垂足图像点，再由空间平面与图像平面的关系，得出垂足空间点，即所求的离地高度。

值得注意的是，本发明的实例中步骤s3和步骤s4并不限定于按照上述的顺序执行，只要在前两步完成后，发球中存在发球过手或是发球过腰的违例行为，都能得到检测，本发明实例并不对此加以限制。

本发明还提供了一种基于机器视觉的羽毛球发球违例判别系统，如图7所示，为本发明的羽毛球发球违例判别系统框架图。分为视频获取模块、处理模块、结果判决模块；

视频获取模块主要用于视频序列的获取，可以实摄像机、摄像头等具备视频获取的设备；

处理模块主要是依靠处理机，完成对运动检测、羽毛球识别、发球过手检测、发球过腰检测的处理设备；

结果判决模块是通过处理后得到相应的判决结果，将结果通过声或光的形式表现的设备。

以上实例仅为本发明的示例性实施例，但如前所述，应理解本发明并非局限于此。对于本技术领域的普通技术人员而言，在本发明所披露的技术范围内，对本发明做出改动和变换，都应该在本发明的保护范围之内。