视频羽毛球运动检测与跟踪方法与流程

本发明涉及一种视频羽毛球运动检测与跟踪方法，用于数字图像分析与理解。属于智能信息处理技术领域。

背景技术：

随着竞技体育技术水平的不断提高，日益要求科学、完善的训练方法和高效智能的技战术分析与决策机制以提高竞技体育技术水平，而羽毛球运动作为一项具有高对抗、快速、灵活等特点的竞技体育运动项目，更加需要科学、完善的训练方法和高效智能的技战术分析与决策机制，以满足其灵活、复杂的技战术体系要求。其中，在羽毛球比赛与训练中，由于羽毛球飞行速度快，线路和落点变化多样，因此，如何提高羽毛球技战术水平与成绩，关键在于如何有效智能在线检测与跟踪视频场景中的羽毛球运动位置。

由于羽毛球形态变化多样，飞行速度快，线路和落点变化多样，且视频场景变化复杂多样，导致在线有效智能的视频羽毛球运动检测与跟踪十分困难。目前主要采用监督式的人工方法进行羽毛球运动目标的检测与定位，因此，容易导致羽毛球运动目标的检测与定位结果受人为主观因素影响，且工作强度高，费时费力。

技术实现要素：

本发明的目的在于针对现有视频羽毛球运动检测与跟踪方法实时可靠性能低，检测与跟踪结果受动态场景变化敏感、噪声干扰大，难满足羽毛球运动技战术及时分析要求，提供一种视频羽毛球运动检测与跟踪方法，通过对羽毛球正、负目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定羽毛球目标，并基于羽毛球色彩特征的差异性，采用粒子滤波器，实现多种条件下的羽毛球运动目标的有效跟踪。

为达到上述目的,本发明的构思是：根据小波变换在时域和空域均具有优异的局部化特征，基于视频帧间差，利用小波多尺度特性，提取前景运动对象，通过对羽毛球正、负目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定羽毛球目标，并基于羽毛球色彩特征的差异性，采用粒子滤波器，对羽毛球进行跟踪。

根据上述发明构思，本发明采用下述技术方案：

一种视频羽毛球运动检测与跟踪方法，采用由摄像机连接计算机构成的羽毛球运动检测与跟踪图像采集系统进行操作，其特征在于具体步骤如下：

1)启动羽毛球运动检测与跟踪图像采集系统：采集视频图像；

2)前景运动对象分割

由摄像机采集的当前帧图像与上一帧图像相减，采用小波变换方法分割出前景运动对象区域；

3)样本学习与训练；

4)羽毛球运动目标检测；

5)羽毛球运动目标跟踪。

上述步骤2)的具体操作步骤如下：

(1)当前帧图像I_t(x,y)与上一帧图像I_t-1(x,y)相减，得到差分图像D(x,y)：

D(x,y)＝I_t(x,y)-I_t-1(x,y)；

(2)差分图像多尺度小波变换：

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，为卷积；

(3)前景运动对象区域的确定：确定差分图像多尺度小波变换E的阈值T₁，将E值高于T₁的所有像素组成的区域，确定为前景运动对象区域。

上述步骤3)的具体操作步骤如下：

(1)按照步骤2)，采集不同视频场景下的羽毛球Haar特征，构成羽毛球训练样本的数据集合D_i＝{H_i}，以及非羽毛球类别的Haar特征，构成非羽毛球的标记集合C_i＝{T_i}；

(2)选择分类器，对上述数据集合D_i和标记集合C_i构成的样本集合(D_i，C_i)进行监督学习，并调整分类器中参数，使分类效果达到最佳。

上述步骤4)的具体操作步骤如下：

(1)按照步骤2)，采集前景运动对象的Haar特征，构成测试数据集合AD_i＝{AH_i}；

(2)根据步骤3)所确定的分类器及其参数，对测试数据集合AD_i进行分类判别，确定羽毛球运动目标。

上述步骤5)的具体操作步骤如下：

(1)彩色空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中，

V＝max(R,G,B)

(2)羽毛球特征直方图构建：根据步骤4)所确定的羽毛球运动目标，采用HSV色彩空间中的色调分量H、饱和度分量S，建立各分量m级的色彩直方图并采用HSV色彩空间中的亮度分量V，建立n级灰度梯度直方图进而建立融合色彩(H、S)直方图和亮度(V)灰度梯度直方图的羽毛球运动目标特征直方图q^r：

其中，C为规一化系数，

(3)羽毛球运动目标跟踪：根据步骤(2)构建的羽毛球运动目标特征直方图q^r，采用粒子滤波器，对视频场景中的羽毛球运动目标进行跟踪。

本发明的原理如下：在本发明的技术方案中，根据小波变换在时域和空域均具有优异的局部化特征，基于视频帧间差，利用小波多尺度特性，提取前景运动对象，通过对羽毛球正、负目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定羽毛球目标，并基于羽毛球色彩特征的差异性，采用粒子滤波器，对羽毛球进行跟踪。

设某一时刻，分别获得相邻两帧图像f(t_n-1,x,y)，f(t_n,x,y)，将两幅图像逐象素求差值，得差分图像Diff(x,y)：

DiffR(x,y)＝|fR(t_n,x,y)-fR(t_n-1,x,y)|

DiffG(x,y)＝|fG(t_n,x,y)-fG(t_n-1,x,y)|

DiffB(x,y)＝|fB(t_n,x,y)-fB(t_n-1,x,y)|

其中，DiffR，DiffG，DiffB分别对应差分图像红、绿、蓝三分量，|f|为f的绝对值。

基于上述相邻帧差，采用小波变换，分割出前景运动对象区域。根据二维图像I(x,y)在尺度2^j和k方向上的小波变换：

则在x，y方向上的小波函数可表示为：

式中，θ(x,y)为平滑滤波函数。

由此可确定图像I(x,y)经函数θ(x,y)平滑滤波后，在不同尺度下的小波变换为：

若梯度幅度沿下列梯度方向达到局部极大，则图像中该点(x,y)为多尺度边缘点

据此，可确定不同尺度下的边缘点。由于噪声对尺度变化敏感，因此，采用上述寻求局部幅度极大值，不能有效压制噪声。为有效克服这一影响，通过寻求梯度幅度高于某阈值方法，替代寻求局部幅度极大值，确定不同尺度的边缘点。

其中，h，v分别为水平、垂直方向上的滤波算子，T₁为阈值，为卷积算子。

考虑羽毛球特征模式空间X，包含m个模式x_i的训练集以及相应的类别标签ω_i，并假定为两类分类问题。在每一层k中，样本的重要性采用权重集合D_k(i)反映，并满足

在二分类问题中，弱分类器的学习使目标函数ε_k最小化：

其中，P[.]为基于训练样本观测的经验概率。

按下式更新权重D_k(i)：

其中，Z_k为归一化因子，满足

最终的分类器由所有k个弱分类器在考虑其权重α_k后加权投票的多数决定。

基于上述分类器所确定的羽毛球目标位置，采用HSV色彩空间中的色调分量H、饱和度分量S，建立各分量m级的色彩直方图并采用HSV色彩空间中的亮度分量V，建立n级灰度梯度直方图在此基础上，建立融合色彩(H、S)直方图和亮度(V)灰度梯度直方图的羽毛球特征直方图q^r：

其中，C为规一化系数，

设X_t，Z_t分别为t时刻的羽毛球目标状态和观测值，则将羽毛球跟踪问题转化为求解后验概率p(X_t|Z_1:t)，其中，Z_1:t＝(Z₁,…,Z_t)为到t时刻为止所获得的羽毛球目标观测值。

采用一组带有权重的粒子近似逼近后验概率p(X_t|Z_1:t)，其中，为粒子，表示可能的羽毛球目标状态，为粒子的权重。

新的粒子由重采样函数产生，该函数依赖于羽毛球目标状态和观测值，即

采用如下权重对新的粒子进行更新：

且新的粒子由如下状态变换函数产生：

X_t＝F_t(X_t-1，U_t)

其中，U_t为系统噪声，F_t为羽毛球目标的运动状态。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明根据小波变换在时域和空域均具有优异的局部化特征，基于视频帧间差，利用小波多尺度特性，提取前景运动对象，通过对羽毛球正、负目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定羽毛球目标，并基于羽毛球色彩特征的差异性，采用粒子滤波器，对羽毛球进行跟踪，运算简便、灵活，容易实现，解决了视频羽毛球运动检测与跟踪时，要求繁重的人工劳动，且限定检测与跟踪对象单一，对动态场景变化敏感、噪声干扰大、运算复杂，以及特定的硬件支持以及场景条件约束；提高了视频羽毛球运动检测与跟踪的鲁棒性，可适应各种复杂背景条件下的视频羽毛球运动检测与跟踪。

附图说明

图1是本发明方法的操作程序框图。

图2是本发明一个实施例的视频原始当前帧图像。

图3是图2示例中分割出的二值前景运动对象区域图像。

图4是图2示例中分割出的前景运动对象区域图像。

图5是图4示例中的羽毛球检测结果(矩形方框)。

图6是图2示例中的羽毛球跟踪结果(矩形方框)。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施一：

参见图1～图6，本视频羽毛球运动检测与跟踪方法，采用由摄像机连接计算机构成的羽毛球运动检测与跟踪图像采集系统进行操作，其特征在于具体步骤如下：

1)启动羽毛球运动检测与跟踪图像采集系统：采集视频图像；

2)前景运动对象分割

由摄像机采集的当前帧图像与上一帧图像相减，采用小波变换方法，分割出前景运动对象区域；

3)样本学习与训练；

4)羽毛球运动目标检测；

5)羽毛球运动目标跟踪。

实施例二：

本优选实施例是：视频羽毛球运动检测与跟踪方法的操作程序如图1所示。本例的原始当前帧图像如图2所示，对图2所示的图像进行相邻帧差分，并进行小波多尺度变换，进行前景运动对象分割，获取二值前景运动对象区域如图3所示，通过对羽毛球正、负目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定羽毛球目标，并基于羽毛球色彩特征的差异性，采用粒子滤波器，对羽毛球进行跟踪；具体操作步骤如下：

1)启动羽毛球运动检测与跟踪图像采集系统：采集视频图像；

2)前景运动对象分割：具体操作步骤如下：

(1)由摄像机采集的如图2的当前帧图像I₁(x,y)与上一帧图像I₂(x,y)相减，得到差分图像D(x,y)：

D(x,y)＝I_t(x,y)-I_t-1(x,y)；

(2)差分图像多尺度小波变换：

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，为卷积；

(3)前景运动对象区域的确定：确定差分图像多尺度小波变换E的阈值T₁，将E值高于T₁的所有像素组成的区域，确定为前景运动对象区域。

图3为经上述所得的二值前景运动对象区域，图4为分割出的前景运动对象。

3)样本学习与训练：采集不同视频场景下的羽毛球Haar特征，构成羽毛球训练样本的数据集合D_i＝{H_i}，以及非羽毛球类别的Haar特征，构成非羽毛球的标记集合C_i＝{T_i}，采用支持向量机并选择径向基核函数，对上述数据集合D_i和标记集合C_i构成的样本集合(D_i，C_i)进行学习和训练，不断修改径向基核函数中的惩罚因子参数γ，使正确识别率达到最高。

4)羽毛球运动目标检测：对图3所示的前景运动对象，采集Haar特征，构成测试数据集合AD_i＝{AH_i}，采用已确定的惩罚因子参数γ进行基于径向基核函数的支持向量机分类判别，确定羽毛球运动目标。图5中的矩形方框所示为经上述所得的羽毛球位置。

5)羽毛球运动目标跟踪

具体操作步骤如下：

(1)彩色空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中，

V＝max(R,G,B)

(2)羽毛球特征直方图构建：对图5示例的羽毛球目标，采用HSV色彩空间中的色调分量H、饱和度分量S，建立H和S分量各8级的色彩直方图并采用HSV色彩空间中的亮度分量V，建立8级灰度梯度直方图进而建立融合色彩(H、S)直方图和亮度(V)灰度梯度直方图的羽毛球特征直方图q^r：

其中，C为规一化系数，

(3)羽毛球目标跟踪：根据所构建的羽毛球特征直方图q^r，采用粒子滤波器，对场景中的羽毛球目标进行跟踪。图6中的矩形方框所示为经上述所得的羽毛球跟踪结果。