一种基于图像处理的球类发球行为评定方法与流程

本发明属于图像处理领域，尤其涉及一种基于图像处理的球类发球行为评定方法。

背景技术：

基于视频的人体运动分析是计算机视觉领域的一个重要研究方向，它是从视频序列中检测出运动物体，提取出人体关键部位，获得人体运动的有用信息，实现对人体动作、姿态等的进一步分析和识别。

传统的网球发球训练模式已经根深蒂固的存在于现在的训练之中。对于运动员来说，要想熟练地掌握技术动作要领就必须根据教练员的指导意见进行长时间的，反复的练习。长时间的采用以经验为主的训练方法，单凭借教练员对运动员技术动作进行指导和监督，具有主观性，这种情况严重制约了网球水平的提高。

为了提高培训效果，也有研究者提出了一些发球训练装置，例如公开号为cn203469419u的专利文献公开了羽毛球发球训练系统，涉及一种羽毛球训练系统。是为了适应羽毛球发球机动性、准确性的智能训练的需求。阵列式指示灯分布在羽毛球球场的一侧，阵列式指示灯的控制信号输入端与控制电路的控制信号输出端连接；红外信号接收电路的红外信号输出端与控制电路的红外信号输入端连接；红外信号接收电路用于接收红外信号发射电路发射的红外信号；阵列式按键的按键信号输出端与红外信号发射电路的按键信号输入端连接；摄像机用于采集发球落点的图像；摄像机的图像信号输出端与控制电路的图像信号输入端连接；控制电路的控制信号输出端与摄像机的控制信号输入端连接。该发明适用于羽毛球发球训练过程中。

但是上述的发球训练机构存在结构复杂、使用不便以及测试不准确等问题，是因此，针对该问题，提出一种基于图像处理的网球发球行为评定方法，实现网球训练的客观、有效的指导十分必要。

技术实现要素：

本发明提供了一种基于图像处理的球类发球行为评定系统，通过图像处理技术来研究球类中的平击发球技术，能提高球类训练效率，辅助球类训练。

一种基于图像处理的球类发球行为评定方法，包括以下步骤：

步骤1：对发球手臂的关节点进行颜色标记，采集球类发球图像；

步骤2：由步骤1采集的球类发球图像构造字典，重构出无干扰的发球图；

步骤3：针对步骤2获得的发球图，进行运动前景提取；

步骤4：针对步骤3操作后的运动前景提取出标记点，并进行标记点轮廓查找，用最小圆包围轮廓，返回圆心坐标作为关节点坐标；

步骤5：通过步骤1～4提取的关节点坐标数据进行训练，实现对发球轨迹的分类，评定出球类发球是成功发球还是失败发球，建立评定系统；

步骤6：通过步骤1～4的方法采集待测的发球坐标，输入步骤(5)得到的评定系统进行评定。

球类可以是网球、羽毛球或者排球等。

优选的，步骤1中，对发球手臂的关节点进行颜色标记。对每个运动员的发球手臂上关节点进行人为标记，能在提取目标点时更明确目标点的颜色特征，从而能依据目标点颜色特征更好的将不同颜色的干扰去除，且咨询过专业运动员后，确定标记点的存在对球类发球技术动作没有实质性的影响，采集球类发球图像的具体步骤如下：

1-1选择红色作为关节点的标记颜色，在挥拍臂上标记三个点a、b和c，a代表手腕靠近球拍部分的标记点，b代表手肘部的标记点，c代表发球手臂靠近肩部的标记点；

1-2将高速摄像机放在实验对象右侧，距离发球点4m～6m，高度为1.0m～1.6m处采集球类发球图像。

优选的，步骤2中，由步骤1采集的一系列含有噪声的球类发球图构造字典，依据稀疏表示重构出无干扰的发球图。依据稀疏表示重构的方法去噪能有效实现去噪的同时保留待检测目标的边缘信息，虽然稀疏表示重构过程中字典的重建比较耗时，但依据稀疏表示理论可知一张图像训练出的字典能表征同类其他图像，考虑到发球动作的快速性，为了使训练出的字典更具代表性，可选择截取一次发球运动中的n(30≥n≥10)帧图片训练发球动作的字典，之后可以把字典应用于整个视频流中，通过稀疏表示重建去噪，而不需要重复训练字典，解决了稀疏表示重构去噪实时性差的问题。具体步骤如下：

2-1初始化：使x＝y、初始字典d由dct生成；

上述x表示待求解的去除噪声后的图像，将其初始值设为y，y为被噪声污染的图像，x、y的大小为n×n×3(3表示彩色图像的三原色即红色、绿色、蓝色子矩阵对应的维数，x、y均为彩色图像)，将y分成m个图像子块子图像块zj大小为且图像子块满足三元组(ε,s,d)的稀疏模型zj＝dα，即子图像块zj重建误差为ε，编码系数稀疏度为s，字典为d∈r^3n×k，x∈r³ⁿ为待处理信号zj重新排列成的一维列向量，α是zj在字典d上的稀疏表示。

子图像块zj的去噪图像块估计模型如式(1)所示：

式中μj为控制稀疏度与重建误差的权重。

对式(1)稍作修改得到整幅图像的去噪图像估计模型如式(2)所示：

式(2)中x为恢复出的干净图像(即去噪后的图像)，其子块xij＝rijx，rij∈r^n×n是在第(i,j)个图像块中提取的矩阵。第一项约束其恢复干净图与噪声图之间的相似度，第二项为稀疏度先验约束，第三项为子块重建误差约束。

2-2固定字典d，化公式(2)为公式(3)，求解每个子块的编码系数：

2-3固定步骤2-2求解的系数αij，将式(2)化为式(4)，求解字典d：

利用k-svd算法求解字典d：先寻找d中原子dl(l＝1,..,k)对应系数αij非零元素下标集合ωl＝{(i,j)|αij(l)≠0}，然后计算下标集合ωl中每个下标的残差，如式(5)：

由残差集合的列向量构成残差矩阵el，对其进行svd分解为uδv^t。即u第一列更新原子dl，v第一列与δ第一个奇异值相乘更新系数最终得到自适应字典d。

2-4依据公式(6)恢复干净图像x：

优选的，步骤3中，采用混合高斯背景建模进行运动前景提取。混合高斯背景建模是建立在像素样本统计信息的基础上的一种背景描述方法，它使用像素点的概率密度等统计信息(如：各模式的期望和标准差、模式的数量等)在相当长的一段时间内的样本值来表示背景。然后，通过统计差分法(如3σ原则，σ为标准差)来确定目标像素，因此依据混合高斯背景建模提取前景的方法不依赖于物体的运动速度，能适应快速运动物体的提取，很适合快速球类发球动作的提取。

优选的，步骤4中，针对步骤3操作后的发球图提取出标记点，并进行标记点轮廓查找，用最小圆包围轮廓，返回圆心坐标作为关节点坐标。标记点是人为选择的，颜色已知，利用颜色信息将标记点提取出来，能进一步消除图像噪声，而用标记点轮廓构成的最小圆的圆心来作为关节点坐标能更准确的表征标记点位置，因为圆心是由位于圆上的若干个轮廓点一起确定的，更具有排他性，最小圆能保证进行圆心提取的轮廓点更可能处于标记点上。具体步骤如下：

4-1遍历步骤3获得的前景图像中的每一个像素点的rgb值，对于满足标记点颜色范围内的予以保留，获得二值化图像f；

4-2对二值图像f进行轮廓查找获得轮廓图像f1；

4-3对图像f1通过hough变换获得分别包含步骤1-1中给出的a、b、c三个标记的轮廓点的半径最小的三个圆，这三个圆的圆心即为所需要的标记点。

优选的，步骤4-1中，遍历步骤3获得的前景图像中的每一个像素点的rgb值，对于满足标记点颜色范围内的予以保留。依据已知的标记点颜色信息，遍历整幅图像能将步骤3处理后遗留的噪声进一步去除干净。获得二值化图像f的具体步骤如下：

4-1-1对前景图像中所有像素点的三原色像素值进行计算：i＝2r-g-b，并将计算获得的值i存为一个新的矩阵z，即新的图像z；

4-1-2计算矩阵z中所有i的平均值记为a；

4-1-3矩阵i中所有大于a的像素值置为255，所有小于等于a的像素值置为0，获得二值化图像f。

优选的，步骤5中，对步骤4提取的关节点坐标进行训练，实现对发球轨迹的分类，评定出球类发球是成功发球还是失败发球。发球轨迹表征了手臂的运动轨迹，能表征发球姿势是否正确，所以可按发球轨迹判定是成功发球还是失败发球。具体步骤为：

5-1分别顺序存储发球视频a、b、c三个标记在各帧图像中的标记点的x、y坐标，存储的坐标即为标记点的运行轨迹；

5-2通过步骤1到步骤4获得n+m(n≥150，m≥50)组运动轨迹，其中发球成功轨迹ni+mi组，发球失败运动轨迹nj+mj组，ni+nj＝n，ni＞nj，mi+mj＝m，mi＞mj；

5-3利用步骤5-2的n组数据对支持向量机进行训练，然后用步骤5-2的m组数据进行测试，如果发球成功标记为1，发球失败标记为-1，完成发球轨迹分类。

通过稀疏表示算法和混合高斯背景建模方法的应用，能有效克服球类发球图像中不同颜色噪声的影响，有效提高目标检测准确度。

本发明的有益效果：

本发明方法实现网球运动员发球时的技术动作分析，帮助教练员和运动员发现不规范的动作或是错误动作，提高体育训练效率，改进运动技术，从而达到辅助训练的目的。

附图说明

图1为本发明方法的流程线框图。

图2为发球手臂标记点的图像。

图3为用于演示处理效果的视频帧图像。

图4为稀疏去噪图。

图5的a～c为混合高斯背景建模进行运动的三张前景提取图。

图6的a和b为对运动前景图进行处理后获得的标记点的二值图和轮廓图。

具体实施方式

如图1所示，本实施例的基于图像处理的网球发球行为评定系统的建立方法，包括以下步骤：

步骤1：对发球手臂的关节点进行颜色标记，通过高速摄像机采集网球发球视频，具体如下：

对运动员发球手臂上的关节点用红色进行标记，如图2所示，a点代表手腕靠近球拍部分的标记点，b点代表手肘部的标记点，c点代表发球手臂靠近肩部的标记点。将ioindustries公司的flare2m360ccl高速摄像机放在实验对象右侧，距离发球点4m～6m，高度为1.0m～1.6m处采集发球视频。

步骤2：由采集的一系列含有噪声的网球发球图构造字典，依据稀疏表示重构出无干扰的发球图；选取采集的网球发球视频中的一帧(为采集的选定组网球发球视频序列的第187帧)图像作为处理过程演示图，选取的帧图像如图3所示。采用稀疏去噪后得到处理结果图，如图4所示。

由采集的一系列含有噪声的网球发球图构造字典，依据稀疏表示重构出无干扰的发球图的具体操作如下：

2-1初始化：使x＝y、初始字典d由dct生成；

上述x表示待求解的去除噪声后的图像，将其初始值设为y，y为被噪声污染的图像，x、y的大小为n×n×3(3表示彩色图像的三原色即红色、绿色、蓝色子矩阵对应的维数，x、y均为彩色图像)，将y分成m个图像子块子图像块zj大小为且图像子块满足三元组(ε,s,d)的稀疏模型zj＝dα，即子图像块zj重建误差为ε，编码系数稀疏度为s，字典为d∈r^3n×k，x∈r³ⁿ为待处理信号zj重新排列成的一维列向量，α是zj在字典d上的稀疏表示。

子图像块zj的去噪图像块估计模型如式(1)所示：

式中μj为控制稀疏度与重建误差的权重。

对式(1)稍作修改得到整幅图像的去噪图像估计模型如式(2)所示：

式(2)中x为恢复出的干净图像(即去噪后的图像)，其子块xij＝rijx，rij∈r^n×n是在第(i,j)个图像块中提取的矩阵。第一项约束其恢复干净图与噪声图之间的相似度，第二项为稀疏度先验约束，第三项为子块重建误差约束。

2-2固定字典d，化公式(2)为公式(3)，求解每个子块的编码系数：

2-3固定步骤2-2求解的系数αij，将式(2)化为式(4)，求解字典d：

利用k-svd算法求解字典d：先寻找d中原子dl(l＝1,..,k)对应系数αij非零元素下标集合ωl＝{(i,j)|αij(l)≠0}，然后计算下标集合ωl中每个下标的残差，如式(5)：

由残差集合的列向量构成残差矩阵el，对其进行svd分解为uδv^t。即u第一列更新原子dl，v第一列与δ第一个奇异值相乘更新系数最终得到自适应字典d。

2-4依据公式(6)恢复干净图像x：

步骤3：针对步骤2获得的发球图，采用混合高斯背景建模进行运动前景提取，提取后的运动前景图如图5所示。

图5的a、b和c分别为选定组网球发球视频图像的第5帧、第201帧、第575帧的处理效果。

步骤4：通过颜色特征提取出二值化的标记点，并进行标记点轮廓查找，用最小圆包围轮廓，返回圆心坐标作为关节点坐标，具体操作如下：

4-1遍历步骤3获得的前景图像中的每一个像素点的rgb值，对于满足标记点颜色范围内的予以保留，获得二值化图像f；

4-1-1对前景图像中所有像素点的三原色像素值进行计算：i＝2r-g-b，并将计算获得的值i存为一个新的矩阵z，即新的图像z；

4-1-2计算矩阵z中所有i的平均值记为a；

4-1-3矩阵i中所有大于a的像素值置为255，所有小于等于a的像素值置为0，获得二值化图像f；

4-2对二值图像f进行轮廓查找获得轮廓图像f1；

4-3对图像f1通过hough变换获得分别包含a、b、c三个标记的轮廓点的半径最小的三个圆，这三个圆的圆心即为所需要的标记点。

获得的二值图及轮廓图如图6的a和b所示。

步骤5：采用支持向量机对提取的关节点坐标进行训练，实现对发球轨迹的分类，评定出网球发球是成功发球还是失败发球，具体如下：

5-1分别顺序存储发球视频a、b、c三个标记在各帧图像中的标记点的x、y坐标，存储的坐标即为标记点的运行轨迹；

5-2通过步骤1到步骤4获得n+m(n≥150，m≥50)组运动轨迹，其中发球成功轨迹ni+mi组，发球失败运动轨迹nj+mj组，ni+nj＝n，ni＞nj，mi+mj＝m，mi＞mj；

5-3利用步骤5-2的n组数据对支持向量机进行训练，然后用步骤5-2的m组数据进行测试，如果发球成功标记为1，发球失败标记为-1，完成发球轨迹分类。