基于时空局部模式的体育视频战术行为识别方法
【专利摘要】本发明涉及一种基于时空局部模式的体育视频战术行为识别方法，属于视频内容理解【技术领域】。使用局部时空模式实现体育视频中团队协作比赛的战术视频行为识别。区别于当前以轨迹特征作为战术行为识别的方法。对视频帧序列图像，提出改进时空局部回归核作为特征检测子检测运动显著性区域，直接使用运动显著性区域作为特征单词构建视觉特征词袋模型，用于战术行为识别。克服了多目标轨迹提取过程中由于复杂背景等因素对于多目标轨迹提取的影响，利用局部时空模式特征及其时空分布作为战术表示，降低识别方法复杂性，同时提高方法的实用性。针对视频大数据量，有效提高检测算子的检测效率。
【专利说明】基于时空局部模式的体育视频战术行为识别方法
【技术领域】
[0001] 本发明涉及视频内容理解【技术领域】，具体涉及为对于体育视频的战术行为识别， 尤指一种基于时空局部模式的体育视频战术行为识别方法。
【背景技术】
[0002] 伴随视频技术的飞速发展和消费需求的提升，基于语义的多媒体信息分析、理解 和检索相关技术具有广阔的需求发展空间。作为主要的多媒体视频内容之一，体育视频由 于其具有巨大的商业价值、娱乐功能和庞大的受众群体，因此针对体育视频中诸如射门、投 篮等精彩事件的检测、语义理解和标注技术受到广泛关注，并取得了大量的研究成果。
[0003] 综合来看，体育视频中精彩事件的检测与标注仅能满足普通观众的娱乐要求，对 于职业观众、球员和专业技术人员通过视频进一步深入理解和挖掘比赛中的战术模式和比 赛策略，从而有针对性地制定己方的训练计划和战术策略，则意义甚微。当前体育专业人员 为了有效获取比赛过程中战术分析结果，多采用人工分析标注的方式，这样耗费大量的人 力物力，同时又受人员自身专业知识的限制，因此提出一种利用视频自身数据自动实现视 频中竞技双方的战术识别与分析对于满足体育视频相关产业未来的发展具有重要的意义。
【发明内容】
[0004] 本发明的目的在于提供一种基于时空局部模式的体育视频战术行为识别方法，解 决了现有技术存在的上述问题。本发明使用局部时空模式实现体育视频中团队协作比赛的 战术视频行为识别。区别于当前以轨迹特征作为战术行为识别的方法。对视频帧序列图像， 提出改进时空局部回归核作为特征检测子检测运动显著性区域，区别于当前主要利用光流 评估方法检测运动显著性区域的方法。直接使用运动显著性区域作为特征单词构建视觉特 征词袋模型，用于战术行为识别。本发明区别于当前体育事件识别方法利用轨迹作为战术 行为模式特征表述的方法，针对体育视频事件，提出一种改进时空局部回归核对视频监控 区域内的运动显著性区域进行检测与定位，将运动显著性区域与参与比赛活跃度较高的对 阵双方球员相对应。针对检测得到的运动显著性区域构建具备时空模式分布表示的视觉特 征词带模型，实现对视频中特定战术行为的表示，结合聚类方法实现对视频中战术行为的 自动分析与识别，识别结果以简要说明形式反馈给用户。
[0005] 本发明的上述目的通过以下技术方案实现：
[0006] 基于时空局部模式的体育视频战术行为识别方法，包括以下步骤：
[0007] S1 :体育视频输入，选取精彩体育事件视频段，包括进球事件、攻防事件，作为输入
[0008] S2 :视频分割，对输入体育视频实施等时间长度分割，得到若干等长子视频段；
[0009] S3 :战术信息提取，用于提取表示战术行为的特征，步骤如下：首先，提出改进时 空局部回归核判定子视频段上帧图像像素点的显著性，构建子视频段上的运动显著性区 域；然后，应用球场分割区域标号对显著性区域进行标识，统计子视频段上对应标号显著性 区域出现频次，构建特征直方图；最后，按照时序串联子视频段特征直方图作为战术行为特 征；
[0010] S4 :对S3提取的战术行为进行分类识别；
[0011] S5 :以简要说明反馈给用户视频事件中的战术行为。
[0012] 所述的战术信息提取，用于提取表示战术行为的特征，具体是：
[0013] S31 :场地区域检测识别，通过视频帧图像内球场场地线，包括球门线、边线、越位 线、禁区弧线、中圈线，检测和交点定位，实现场景从视频帧图像到真实坐标系图像的映射， 同时结合场地线实现球场区域的划分并对划分区域进行标号识别；
[0014] S32 :视频运动显著性区域检测，应用改进时空局部回归核实现像素点运动显著性 判定，构建运动显著性图检测视频中的运动显著性区域；该特征检测子检测方式为各自空 间正交平面检测值的加权线性融合作为该空间像素点显著性检测结果值；
[0015] S33 :显著性区域特征词袋模型构建，在子视频段上利用S31实现的球场区域识别 标号作为S32提取的运动显著性区域对应标识，利用显著性区域出现频次构建子视频段上 的特征直方图，按照子视频时序串联子视频段上构建的特征直方图，实现体育视频事件战 术行为的特征表示。
[0016] 所述的基于时空局部模式的体育视频战术行为识别方法不仅适用进球视频中的 战术行为识别，也适用于团队协作竞技项目视频中其他战术行为模式识别。
[0017] 本发明中球场区域分割采用对应子视频段第一帧图像对应真实投影图像，该子视 频段后续帧图像均映射在该真实投影图像上。战术行为的局部特征如方法中的运动显著 性区域及类似特征描述。特征检测子为改进时空局部回归核，用于判定视频帧图像像素点 显著性。该特征检测子检测方式为各自空间正交平面检测值的加权线性融合作为该空间像 素点显著性检测结果值。使用子视频段检测的运动显著性区域作为特征单词构建特征直方 图，按时序串联的归一化直方图作为战术行为的特征描述方式。
[0018] 本发明的有益效果在于：本发明技术方案设计思想依据于，在团队协作比赛中战 术行为的执行一般与活跃度较高的队员相关度较高，活跃度较高的球员一般都直接或间 接的参与到战术行为的执行过程中；反之，活跃度较低的球员对于战术执行的贡献度相对 较小。因此，在固定摄像机摄录的体育视频中，利用提出的改进时空局部回归核作为特征检 测算子，构建视频中的运动显著性区域，用以对应活跃度较高的球员，通过统计不同时间段 内运动显著性区域在球场内的分布，以实现战术行为的表示并用于识别。本发明创新点在 于，当前描述体育视频战术行为的特征多以球员轨迹为主，本发明克服多目标轨迹提取过 程中由于复杂背景、遮挡、目标匹配等因素对于多目标轨迹提取的影响，利用局部时空模式 特征及其时空分布作为战术表示，降低识别方法复杂性，同时提高方法的实用性。同时，发 明中提出的时空局部模式特征检测算子一时空局部回归核，针对视频大数据量，有效提 高检测算子的检测效率。
【专利附图】
【附图说明】
[0019] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0020] 图1为本发明的流程图；
[0021] 图2为本发明的运动场区域分割标识示意图；
[0022] 图3为本发明的时空局部模式特征检测算子示意图；
[0023] 图4为本发明的S6时空局部模式算子检测效果示意图。
[0024] 图中：VI、球场边线；V2、越位线；V3、垂直方向禁区线及其延伸线H1、球场边线； H2、水平方向禁区线及其延伸线；R1、中圈线；S6 :时空局部模式特征检测子，一种改进时空 局部回归核，即由同心三个正交面XY，XT, YT上各自使用2-D局部回归核显著性检测结果融 合作为中心值；S7 :视频段转化的视频帧图像序列。
【具体实施方式】
[0025] 下面结合附图进一步说明本发明的详细内容及其【具体实施方式】。
[0026] 参见图1至图4所示，本发明的基于时空局部模式的体育视频战术行为识别方法， 包括如下步骤：
[0027] S1 :体育视频输入。对于体育比赛的拍摄视频分成远距、中距和近距视频，而远距 视频不但占据拍摄视频的大部分比例，而且该视频可以从全局角度体现赛场上的信息。因 此，选取精彩体育事件的远距拍摄视频段（进球事件、攻防事件）转化为视频帧图像作为输 入。
[0028] F = {f" f2,…，f" …，fN}
[0029] 其中F表示特定体育时间对应的视频段，4 i = 1，2, 3, "·Ν表示第i帧视频图像， N表示输入视频段转化成视频帧图像的帧数。
[0030] S2:视频分割，对输入体育视频实施等时间长度分割，得到若干等长子视频段，其 中子视频段的时间跨度如果较短，则对后续战术行为识别表述越细致。该步骤得到的子视 频段为S3提供战术信息提取的基本单元。
[0031] F = {Fi, F2, F3, *··, Fm}
[0032] Fj = {fj" fj2,…，fj(1，…，fjm}且 jm = pm, j 关 p, j, p = 1，2,…M, q = 1，2,…，m
[0033] 其中Fj，j = 1，2, "·Μ表示视频分割后的第j个子视频段，fjq表示第j个子视频 段中的第q帧图像，Μ分割子视频段数量。
[0034] S3 :战术信息提取，用于提取表示战术行为的特征，此步骤可以细分为三个执行 子步骤，顺次为场地区域检测识别、运动显著性区域检测和战术行为特征表述。
[0035] S31 :场地区域检测识别。
[0036] 比赛中的球员、事件都发生在球场区域范围内，因此对于球场场地区域的检测与 识别对于后续S32和S33的处理，包括战术行为识别在内的众多视频事件分析与处理尤为 必要。首先针对球场内部众多标识线（球门线、边线、禁区弧线和中圈线）为白色的特征， 以及草皮经过相异方向修剪产生视觉色差形成的越位线，使用数字图像处理技术中的线与 圆检测算法检测出上述标识线及其延伸线，实现区域的定位与分割。然后利用检测出的线 与线交点计算相机标定矩阵，从而实现从运距相机采集的视频图像坐标系到真实空间坐标 系的转换，为S32运动显著性区域提供真实空间坐标系标定。对于球场区域划分越细致将 会对于时空局部模式空间分布表示越具体，则对于战术模式区分度更高，识别更精确。
[0037] 参见图2所示，以左侧半场的区域划分与识别为例，使用数字图像处理技术中的 线和圆检测算法确定视频图像中球场区域内的标识线及其延伸线，计算垂直方向标识线与 水平方向标示线的交点坐标，通过相机标定方法计算视频图像坐标系与实际空间坐标系的 标定矩阵，将视频图像映射到真实空间坐标系中，映射方式采用将子视频匕的帧图像fjq，q =2, 3, ···，!!!映射到该子视频第一帧&对应真实空间坐标系图上，并实现对该真实图像 球场区域的划分。对于划分后的分割区域利用数字进行标识，如附图2所示。依次利用 {1，2, 3, 4}和{13, 14, 15, 16}分别对应右边路和左边路，{5, 6, 7, 8}和{9, 10, 11，12}分别 对应右中路和左中路。标识后的区域结果用于对S32检测的运动显著性区域进行定位与标 识。
[0038] S32 :视频运动显著性区域检测。
[0039] 应用改进时空局部回归核作为运动显著性特征检测算子，构建运动显著性图，检 测定位运动显著性区域，为S33使用。具体实施如下：
[0040] S321 :着重详细论述改进时空局部回归核特征检测子，如附图3所示，本发明点基 本思想为，针对有效检测视频帧图像构成的时空序列，用XY表示空间维度，用XT，YT表示时 间维度，利用2-D局部回归核在同心处XY，XT，YT各自坐标面上计算中心点的显著性概率 值，然后融合各自计算值从而获取该时空点处的显著性值，从而实现视频帧序列上的时空 局部运动显著性特征检测。具体实现步骤如下：
[0041] 1.确定视频像素点的显著性判别函数。具体函数表达式如下： 「_以 p. P Pix,Ai)-.P(PiXuA>)=\\F)>ih
[。。42] = other
[0043] 其中Pix^Q) = (x, y, ?」)，i = 1，2,…I，j = 1，2,…!!!表示视频巾贞图像像素点坐 标，PixVal⑴第i个像素点为显著性点赋值1，否则赋值0。
[0044] 判定依据由P(PixVal(i) = 1 |F)彡th确定，计算在特征F下，PixVal(i) = 1的概 率值是否大于某一预先设定的域值th。概率值计算具体表达式如下：
[0045] P(PixVal(i) = l|F) =P(PixVal(i) = 11Fusion(F^, FXT, FYT))
[0046] = P (PixVai (i) = 11 (a1FXY+a2max (FXT, FYT)))
[0047] = a1P(PixVal(i) = 11F^)+a2max (P (PixVal (i) = l|FXT),
[0048] P(PixVal(i) = 11FYT)))
[0049] = Β^Βχ(Ρ(Ρ?χν3?(?) = 1 |FE), P(PixVal(i) = l|FG),
[0050] P(PixVal(i) = 1 |FE))+a2max(P(PixVal(i) = l|FG),
[0051] P(PixVal(i) = 1 |Fb)))
[0052] s. tF = [Fu F2, ···, Fff]
[0053] Fxy = max (FE, FG, FB), FXT = FYT = Fgray,
[0054] ax+a2 = 1
[0055] 其中Fusion (FXY, FXT, FYT)表示以Pixt。。⑴=(x, y, tj)为心三个相互正交面 XY，XT, YT上特征融合函数，F表示在邻域窗口内提取的特征向量矩阵，其他F标识代表相同 意义，加入下角标后进一步限定其使用范围，W表示邻域窗口尺度。F XY，FXT，FYT表示在三个 正交面上各自提取的特征，FXY特征用XY坐标面上视频帧图像对应R/G/B三色信道上的特 征融合值表不，ap a2为权值。
[0056] 本发明中XY坐标面上视频帧图像特征提取采用R/G/B三色信道上的特征融合方 法为有效区别前景目标中球员于背景球场，而在XT，YT坐标面上只提取视频帧沿时间轴T 灰度信道特征，是考虑在时间轴T上灰度值变化可以有效表示像素点描述区域运动显著性 的变化
[0057] 2.求解条件概率通式
[0058] 本发明中对于上述提出的显著性判别函数的求取集中于对于条件概率的求解，求 解步骤简要说明如下 ：
[0059] (1)贝叶斯定理框架求解条件概率
[0060] = F)=
【权利要求】
1. 一种基于时空局部模式的体育视频战术行为识别方法，其特征在于：包括以下步 骤： 51 :体育视频输入，选取精彩体育事件视频段，包括进球事件、攻防事件，作为输入 52 :视频分割，对输入体育视频实施等时间长度分割，得到若干等长子视频段； 53 :战术信息提取，用于提取表示战术行为的特征，步骤如下：首先，提出改进时空局 部回归核判定子视频段上帧图像像素点的显著性，构建子视频段上的运动显著性区域；然 后，应用球场分割区域标号对显著性区域进行标识，统计子视频段上对应标号显著性区域 出现频次，构建特征直方图；最后，按照时序串联子视频段特征直方图作为战术行为特征； 54 :对S3提取的战术行为进行分类识别； 55 :以简要说明反馈给用户视频事件中的战术行为。
2. 根据权利要求1所述的基于时空局部模式的体育视频战术行为识别方法，其特征在 于：所述的战术信息提取，用于提取表示战术行为的特征，具体是： 531 :场地区域检测识别，通过视频帧图像内球场场地线，包括球门线、边线、越位线、禁 区弧线、中圈线，检测和交点定位，实现场景从视频帧图像到真实坐标系图像的映射，同时 结合场地线实现球场区域的划分并对划分区域进行标号识别； 532 :视频运动显著性区域检测，应用改进时空局部回归核实现像素点运动显著性判 定，构建运动显著性图检测视频中的运动显著性区域；该特征检测子检测方式为各自空间 正交平面检测值的加权线性融合作为该空间像素点显著性检测结果值； 533 :显著性区域特征词袋模型构建，在子视频段上利用S31实现的球场区域识别标号 作为S32提取的运动显著性区域对应标识，利用显著性区域出现频次构建子视频段上的特 征直方图，按照子视频时序串联子视频段上构建的特征直方图，实现体育视频事件战术行 为的特征表示。
3. 根据权利要求1或2所述的基于时空局部模式的体育视频战术行为识别方法，其特 征在于：所述的基于时空局部模式的体育视频战术行为识别方法不仅适用进球视频中的战 术行为识别，也适用于团队协作竞技项目视频中其他战术行为模式识别。
【文档编号】G06K9/00GK104102910SQ201410384978
【公开日】2014年10月15日 申请日期:2014年8月7日 优先权日:2014年8月7日
【发明者】温长吉, 王生生, 于合龙, 徐亚静, 万保成, 李健, 刘鹤, 张羽 申请人:吉林农业大学