专利名称：一种基于视频分析的足球越位自动判别系统和方法
技术领域：
本发明属于运动技术领域，尤其涉及一种基于视频分析的足球越位自动判别系统和方法。
背景技术：
在足球比赛中，是否越位主要由助理裁判来判断。在对越位的判别上是以传球瞬间为依据，并不是以足球落地的那一刻来判断。人工裁判受到自身注意力、反应能力、身体机能、个人素质各方面的限制，仅靠人工裁 判不能对越位的判断做到客观公正，所以利用计算机技术设计相应自动判别越位的算法是十分必要的。目前，国际上大部分体育视频内容分析系统集中于网球、篮球和棒球领域，而在足球方面更多的人员热衷于分析智能机器人的颜色识别和策略实施。国内主要研究热点集中在视频语义对象的提取，包括球场的检测、球和球员的检测以及场景的三维重建，这些技术都集中在视频分析而没有体现在判罚比赛上。
发明内容
本发明实施例的目的在于提供一种基于视频分析的足球越位自动判别系统和方法，旨在解决目前国际上大部分体育视频内容分析系统集中于网球、篮球和棒球领域，而在足球方面更多的人员热衷于分析智能机器人的颜色识别和策略实施。国内主要研究热点集中在视频语义对象的提取，包括球场的检测、球和球员的检测以及场景的三维重建，这些技术都集中在视频分析而没有体现在判罚比赛上的问题。本发明实施例是这样实现的，一种基于视频分析的足球越位自动判别的方法，该方法包括首先采集视频中的图像，提取足球场地并进行运动员与足球的检测；提取球场特征线，对球场平面进行坐标重建；完成足球比赛视频中越位的自动判别。进一步，采集视频图像，提取足球场地并进行运动员与足球检测的实现方法如下通过提取的足球场地具体算法，得到足球的场地图像；通过区域分析将球场以外的区域去除，在此背景模型下进行球员的提取；用类似球员提取的方法提取足球图像。进一步，用类似球员提取的方法提取足球图像的实现方法首先设计一个5*5的高斯模板，引出一个对足球进行估计的评价函数，提取出足球候选区域。定义为R = A(i, j)/B(i, j)+k其中A(i，j)是以高斯模板对图像求和，其值越大表明此目标有可能是足球；B(i，j)定义为足球的吻合度评价函数，以高斯模板为大小对图像每个像素点求方差，差值越大表明目标越不是足球；k为常数项。通过此足球评价函数评估图像中的目标是不是足球。最后算法对图像进行归一化。进一步，对球场平面进行坐标重建的实现方法对采集到的标定图像进行预处理，利用球场探测技术反投影提取足球场地，滤除球场外地干扰；利用Canny边缘检测，通过膨胀、闭合等图像处理方 法加强图像中禁区边界线和球场边线这些球场特征线。利用Hough变换检测直线，得到直线方程求解边界线的交点坐标，即为球场特征点的图像坐标。利用线型摄像机模型的摄像机标定方法求解投影矩阵。进一步，越位自动判别的实现方法包括将每一时刻赛场中的信息保存下来，信息包括两队22名球员的位置、球的位置和归属；根据国际足联对越位位置的定义结合球场平面模型，得到判断规则假设蓝方队员向左进攻，红方为防守方，若排序数组中蓝方队员坐标大于中线X坐标，则该队员不处于越位位置，即越位要在对方半场发生；如果排序数组中进攻的蓝方队员前面有两个或两个以上的防守队员，则该队员不处于越位位置；如果进攻方最靠前球员的坐标与两名以上防守球员的坐标相等，则该队员也不处于越位位置；当进攻方一名球员位置上处于越位位置，如果没有得到利益，包括没有“卷入”己方的进攻或者射门，没有干扰对方门将，则不算越位。基于上述越位规则和算法，使用建立的模型，通关编程实现越位检测算法。进一步，球场场地的提取的实现方法如下读入视频图像，选取关键帧，将RGB颜色空间转换成HSV模型；提取图像的H分量，得到H分量的直方图；在直方图中寻找峰值点的位置，其峰值点的值为M1在峰值点周围查询数值大于k*Mi的像素点，k为比例因子，计算该部分，将这部分从直方图中去除，接着寻找下一个峰值点进行类似的操作；将去除的这些峰值部分进行比较，取最大部分的向量进行反投影变换，重建以RGB为颜色模型的图像，最终得到了足球的场地图像。进一步，球员提取的方法，该方法包括读入视频图像，运行球场检测与提取的算法，得到足球场地后对其二值化；对足球场地的二值化图像进行形态学处理，闭运算消除噪声，开运算提取球场；利用区域分析的方法将非球场区域去除，将获得的球场区域的二值图像与原图像相乘，获得球场区域的RGB图像；将球场区域的图像减去场地区域的图像；去除非球员区域，得到的结果会含有一些非球员区域，设区域举行的长和宽分别是H和W，区域内的像素个数为S，若满足H/W > 5或者H/W < O. 5并且S/ (H*W) < 0.3,则该删除区域；对于球员遮挡问题，设定每个球员参数W(宽度)，H(高度)，S(球员区域像素个数)，设定阈值T，当S小于一定值时则为噪声，去除，S大于一定值时则发生遮挡，对遮挡区域进行水平和垂直分割。本发明实施例的另一目的在于提供一种基于视频分析的足球越位自动判别系统，其特征在于，该判别系统包括摄像机，用于拍摄足球比赛的视频；主控计算机，用于通过数据连接线接收摄像机采集到的视频信息；进一步，主控计算机设有存储模块和图像信息处理模块，该存储模块用于把摄像机传输过来的视频中的场景和越位判别结果进行存储，该图像信息处理模块完成了对球场线、足球和球员的检测，并对整个球场进行坐标重建，然后通过足球越位自动判别算法进行越位位置判断和越位参与进攻意识判断。
本发明是以足球比赛视频为图像来源，图像采集方法简单有效，易于实时处理；由计算机进行图像处理来判定越位行为，速度快、结果准确，很大程度减轻了助理裁判的工作量和失误，并且大大的排除了人为控制比赛的因素，提高了判罚结果的可信度；将图像由RGB转换到了 HSV空间模型，更符合人么描述和解释颜色的方式，并且HSV模型具有把亮度信息和颜色信息分离开的优点；设计的越位检测算法是基于球员的平面坐标分，所以利用单个摄像机拍摄求解投影矩阵就可恢复球场的平面坐标，省去了多个摄像机分析的冗繁计笪
ο此方法可以更好的监测国际足球比赛中的越位情况，达到协助判罚、减少裁判工作量和失误的目的。
图I是本发明实施例提供的基于视频分析的足球越位自动判别系统和方法的流程图；图2是本发明实施例提供的采集视频图像，提取足球场地并进行运动员与足球检测的方法流程图；图3是本发明实施例提供的对球场平面进行坐标重建的方法流程图；图4是本发明实施例提供的越位自动判别的方法流程图；图5是本发明实施例提供的球场场地的提取方法流程图；图6是本发明实施例提供的球员的提取方法流程图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。图I示出了本发明实施案例提供的基于视频分析的足球越位自动判别的方法，该方法包括在步骤SlOl中，首先采集视频中的图像，提取足球场地并进行运动员与足球的检测。在步骤S102中，提取球场特征线，对球场平面进行坐标重建。在步骤S103中，完成足球比赛视频中越位的自动判别。
图2出了本发明实施案例提供的采集视频图像，提取足球场地并进行运动员与足球检测的方法，该方法包括在步骤SlOll中，通过提取的足球场地具体算法，得到足球的场地图像。在步骤S1012中，通过区域分析将球场以外的区域去除，在此背景模型下进行球员的提取。在步骤S1013中，用类似球员提取的方法提取足球图像。首先设计一个5*5的高斯模板，引出一个对足球进行估计的评价函数，提取出足球候选区域。定义为R = A(i, j)/B(i, j)+k 其中A(i，j)是以高斯模板对图像求和，其值越大表明此目标有可能是足球；B(i，j)定义为足球的吻合度评价函数，以高斯模板为大小对图像每个像素点求方差，差值越大表明目标越不是足球；k为常数项。通过此足球评价函数评估图像中的目标是不是足球。最后算法对图像进行归一化。图3示出了本发明实施案例提供的对球场平面进行坐标重建的方法，该方法包括在步骤S1021中，对采集到的标定图像进行预处理，利用球场探测技术反投影提取足球场地，滤除球场外地干扰。在步骤S1022中，利用Canny边缘检测，通过膨胀、闭合等图像处理方法加强图像中禁区边界线和球场边线这些球场特征线。在步骤S1023中，利用Hough变换检测直线，得到直线方程求解边界线的交点坐标，即为球场特征点的图像坐标。在步骤S1024中，利用线型摄像机模型的摄像机标定方法求解投影矩阵。图4示出了本发明实施案例提供的越位自动判别的方法，该方法包括在步骤S1031中，将每一时刻赛场中的信息保存下来，信息包括两队22名球员的位置、球的位置和归属。在步骤S1032中，根据国际足联对越位位置的定义结合球场平面模型，得到判断规则。假设蓝方队员向左进攻，红方为防守方，若排序数组中蓝方队员坐标大于中线X坐标，则该队员不处于越位位置，即越位要在对方半场发生；如果排序数组中进攻的蓝方队员前面有两个或两个以上的防守队员，则该队员不处于越位位置；如果进攻方最靠前球员的坐标与两名以上防守球员的坐标相等，则该队员也不处于越位位置；当进攻方一名球员位置上处于越位位置，如果没有得到利益，包括没有“卷入”己方的进攻或者射门，没有干扰对方门将，则不算越位。在步骤S1033中，基于上述越位规则和算法，使用建立的模型，通关编程实现越位检测算法。图5示出了本发明实施案例提供的球场场地的提取方法，该方法包括在步骤SlOlll中，读入视频图像，选取关键帧，将RGB颜色空间转换成HSV模型。在步骤S10112中，提取图像的H分量，得到H分量的直方图。在步骤S10113中，在直方图中寻找峰值点的位置，其峰值点的值为M1.
在步骤S10114中，在峰值点周围查询数值大于I^M1的像素点(k为比例因子)，计算该部分，将这部分从直方图中去除，接着寻找下一个峰值点进行类似的操作。在步骤S10115中，将去除的这些峰值部分进行比较，取最大部分的向量进行反投影变换，重建以RGB为颜色模型的图像，最终得到了足球的场地图像。图6示出了本发明实施案例提供的球员提取的方法，该方法包括在步骤S10121中，读入视频图像，运行球场检测与提取的算法，得到足球场地后对其二值化。在步骤S10122中，对足球场地的二值化图像进行形态学处理，闭运算消除噪声，开运算提取球场。在步骤S10123中，利用区域分析的方法将非球场区域 去除，将获得的球场区域的二值图像与原图像相乘，获得球场区域的RGB图像。在步骤S10124中，将球场区域的图像减去场地区域的图像。在步骤S10125中，去除非球员区域。得到的结果会含有一些非球员区域，设区域举行的长和宽分别是H和W，区域内的像素个数为S，若满足H/W > 5或者H/W < O. 5并且S/ (H*W) <0.3,则该删除区域；对于球员遮挡问题，设定每个球员参数W (宽度)，H (高度)，S (球员区域像素个数)，设定阈值T，当S小于一定值时则为噪声，去除，S大于一定值时则发生遮挡，对遮挡区域进行水平和垂直分割。足球越位中有两个非常重要的概念越位位置和越位。在防守方半场内，当进攻球员踢或触球的一刹那，同队队员较球更接近对方球门线，并且在他与对方球门线之间，防守方队员不足两人时，称为该队员处于越位位置。下列情况除外；I.该队员在本方半场内；2.至少有对方队员两人比该队员更接近于对方的球门线(是指头、躯干和脚的任何部分比球和对方最后第二名球员更接近球门线，手臂不包含在内，因为仅手臂在前是不能获利的)；当队员踢或触及球的一瞬间，同队队员处于越位位置时，若该队员有下列行为，则判为越位I.正在干扰比赛或干扰对方；2.企图从越位位置获得利益从而得球进攻。下列情况，队员不应被判为越位I.队员仅仅处在越位位置而并未卷入比赛，卷入比赛是指处在越位位置上的球员参与进攻触及到队员传递的足球，或者做出裁判认为有犯规行为的明显的移动或姿势干扰对方；2.队员直接接到球门球、角球或界外掷球时裁判员也无需判断越位。规定以同队队员将球传给进攻球员的一刹那的时刻进行判断，而不是他接球时，例如队员处在非越位位置，同队队员向他传出或踢出任意球时，该队员在球飞行时跑到前方也不构成越位。综上所述，判罚越位与否I. 一定要在对方半场发生；
2.进攻者的位置，是否在传球的一刹那最接近对方球门，他和球门端线之间的防守队员不足两名(一名或者没有人都是不足两名，而且不论该球员是否是门将)；3.即使进攻方一名球员位置上处于越位位置，如果没有得到利益，包括没有“卷入”己方的进攻或者射门，没有干扰对方门将，则不算越位。首先采集足球比赛视频中的图像，从足球视频中分割出非草坪区域，找出多帧图像中足球目标点，提取出球员目标点；对球场场地、球门等特征点进行检测和提取，滤除球场外地干扰；求出联系图像坐标系与欧氏世界坐标系的投影矩阵，把足球和球员在图像坐标系下的坐标代入投影矩阵，得到足球和球员的欧氏世界坐标；保存每一时刻两队22名球员的位置、球的位置和归属；对实际球场进行一定比例缩放得到球场二维俯视模型，方块和三角分别代表蓝方和红方队员；根据球场刻度尺得到球员坐标并以一维数组格式进行存储；按照队员的X坐标值进行排序，X随着比赛时间的变化而变化；根据规则进行图像 中越位位置判断；最后根据越位规则和算法，使用建立的模型，通过编程实现越位检测算法。本发明实施例提供的基于视频分析的足球越位自动判别系统和方法，首先采集足球比赛视频中的图像，从足球视频中分割出非草坪区域，找出多帧图像中足球目标点，提取出球员目标点；对球场场地、球门等特征点进行检测和提取，滤除球场外地干扰；求出联系图像坐标系与欧氏世界坐标系的投影矩阵，把足球和球员在图像坐标系下的坐标代入投影矩阵，得到足球和球员的欧氏世界坐标；保存每一时刻两队22名球员的位置、球的位置和归属；对实际球场进行一定比例缩放得到球场二维俯视模型，方块和三角分别代表蓝方和红方队员；根据球场刻度尺得到球员坐标并以一维数组格式进行存储；按照队员的X坐标值进行排序，X随着比赛时间的变化而变化；根据规则进行图像中越位位置判断；最后根据越位规则和算法，使用建立的模型，通过编程实现越位检测算法。为实现上述目的，本发明的判别系统包括摄像机和主控计算机，其中摄像机是用于拍摄足球比赛的视频，然后通过数据连接线把采集到的视频信息传输到主控计算机当中；主控计算机中，设有存储模块和图像信息处理模块，该存储模块用于把摄像机传输过来的视频中的场景和越位判别结果进行存储，该图像信息处理模块完成了对球场线、足球和球员的检测，并对整个球场进行坐标重建，然后通过足球越位自动判别算法进行越位位置判断和越位参与进攻意识判断。本发明是以足球比赛视频为图像来源，图像采集方法简单有效，易于实时处理；由计算机进行图像处理来判定越位行为，速度快、结果准确，很大程度减轻了助理裁判的工作量和失误，并且大大的排除了人为控制比赛的因素，提高了判罚结果的可信度；将图像由RGB转换到了 HSV空间模型，更符合人么描述和解释颜色的方式，并且HSV模型具有把亮度信息和颜色信息分离开的优点；设计的越位检测算法是基于球员的平面坐标分，所以利用单个摄像机拍摄求解投影矩阵就可恢复球场的平面坐标，省去了多个摄像机分析的冗繁计笪
ο此方法可以更好的监测国际足球比赛中的越位情况，达到协助判罚、减少裁判工作量和失误的目的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本 发明的保护范围之内。
权利要求
1.ー种基于视频分析的足球越位自动判别的方法，其特征在于，该方法包括 首先采集视频中的图像，提取足球场地并进行运动员与足球的检测； 提取球场特征线，对球场平面进行坐标重建； 完成足球比赛视频中越位的自动判別。
2.如权利要求I所述的方法，其特征在于，采集视频图像，提取足球场地并进行运动员与足球检测的实现方法如下 通过提取的足球场地具体算法，得到足球的场地图像； 通过区域分析将球场以外的区域去除，在此背景模型下进行球员的提取； 用类似球员提取的方法提取足球图像。
3.如权利要求2所述的方法，其特征在于，用类似球员提取的方法提取足球图像的实现方法 首先设计ー个5*5的高斯模板，引出ー个对足球进行估计的评价函数，提取出足球候选区域。定义为R = A(i, j)/B(i, j)+k 其中A(i，j)是以高斯模板对图像求和，其值越大表明此目标有可能是足球；B(i，j)定义为足球的吻合度评价函数，以高斯模板为大小对图像每个像素点求方差，差值越大表明目标越不是足球；k为常数项。通过此足球评价函数评估图像中的目标是不是足球。最后算法对图像进行归一化。
4.如权利要求I所述的方法，其特征在干，对球场平面进行坐标重建的实现方法 对采集到的标定图像进行预处理，利用球场探测技术反投影提取足球场地，滤除球场外地干扰； 利用Canny边缘检测，通过膨胀、闭合等图像处理方法加强图像中禁区边界线和球场边线这些球场特征线。
利用Hough变换检测直线，得到直线方程求解边界线的交点坐标，即为球场特征点的图像坐标。
利用线型摄像机模型的摄像机标定方法求解投影矩阵。
5.如权利要求I所述的方法，其特征在于，越位自动判别的实现方法包括 将每ー时刻赛场中的信息保存下来，信息包括两队22名球员的位置、球的位置和归属； 根据国际足联对越位位置的定义结合球场平面模型，得到判断规则 假设蓝方队员向左进攻，红方为防守方，若排序数组中蓝方队员坐标大于中线X坐标，则该队员不处于越位位置，即越位要在对方半场发生；如果排序数组中进攻的蓝方队员前面有两个或两个以上的防守队员，则该队员不处于越位位置；如果进攻方最靠前球员的坐标与两名以上防守球员的坐标相等，则该队员也不处于越位位置；当进攻方一名球员位置上处于越位位置，如果没有得到利益，包括没有“卷入”己方的进攻或者射门，没有干扰对方门将，则不算越位。
基于上述越位规则和算法，使用建立的模型，通关编程实现越位检测算法。
6.如权利要求I所述的方法，其特征在于，球场场地的提取的实现方法如下 读入视频图像，选取关键帧，将RGB颜色空间转换成HSV模型；提取图像的H分量，得到H分量的直方图； 在直方图中寻找峰值点的位置，其峰值点的值为M1 在峰值点周围查询数值大于WM1的像素点，k为比例因子，计算该部分，将这部分从直方图中去除，接着寻找下一个峰值点进行类似的操作； 将去除的这些峰值部分进行比较，取最大部分的向量进行反投影变换，重建以RGB为顔色模型的图像，最終得到了足球的场地图像。
7.如权利要求I所述的方法，其特征在于，球员提取的方法，该方法包括 读入视频图像，运行球场检测与提取的算法，得到足球场地后对其ニ值化； 对足球场地的ニ值化图像进行形态学处理，闭运算消除噪声，开运算提取球场； 利用区域分析的方法将非球场区域去除，将获得的球场区域的ニ值图像与原图像相乘，获得球场区域的RGB图像； 将球场区域的图像减去场地区域的图像； 去除非球员区域，得到的结果会含有ー些非球员区域，设区域举行的长和宽分别是H和W，区域内的像素个数为S，若满足H/W > 5或者H/W < 0. 5并且S/(H*W) <0.3,则该删除区域；对于球员遮挡问题，设定每个球员參数W(宽度)，H(高度)，S (球员区域像素个数)，设定阈值T，当S小于一定值时则为噪声，去除，S大于一定值时则发生遮挡，对遮挡区域进行水平和垂直分割。
8.ー种基于视频分析的足球越位自动判别系统，其特征在于，该判别系统包括 摄像机，用于拍摄足球比赛的视频； 主控计算机，用于通过数据连接线接收摄像机采集到的视频信息。
9.如权利要求8所述的判别系统，其特征在干，主控计算机设有存储模块和图像信息处理模块，该存储模块用于把摄像机传输过来的视频中的场景和越位判别结果进行存储，该图像信息处理模块完成了对球场线、足球和球员的检测，并对整个球场进行坐标重建，然后通过足球越位自动判别算法进行越位位置判断和越位參与进攻意识判断。
全文摘要
本发明公开了一种基于视频分析的足球越位自动判别的方法及系统，首先采集视频中的图像，提取足球场地并进行运动员与足球的检测；提取球场特征线，对球场平面进行坐标重建；完成足球比赛视频中越位的自动判别。本发明由计算机进行图像处理来判定越位行为，速度快、结果准确，很大程度减轻了助理裁判的工作量和失误，并且大大的排除了人为控制比赛的因素，提高了判罚结果的可信度；设计的越位检测算法是基于球员的平面坐标分，所以利用单个摄像机拍摄求解投影矩阵就可恢复球场的平面坐标，省去了多个摄像机分析的冗繁计算。此方法可以更好的监测国际足球比赛中的越位情况，达到协助判罚、减少裁判工作量和失误的目的。
文档编号H04N5/14GK102819749SQ201210253808
公开日2012年12月12日 申请日期2012年7月23日 优先权日2012年7月23日
发明者狄建, 杨萍, 董小龙, 权德庆, 邵晓鹏, 徐军, 刘德连, 刘鑫, 郑宏斌, 张少辉, 潘泰陶, 王方 申请人:西安体育学院