专利名称：：基于特征线的体育视频镜头分类方法
技术领域：
：本发明属于图像处理
技术领域：
，涉及一种在足球视频中镜头分类的方法。
背景技术：
：镜头分类是体育视频分析的一项基础环节，对于体育视频中高级语义的提取和体育视频的检索具有重要的意义。足球视频分析中特定事件的检测如红黄牌、射门、比赛中断等和特定球员的检测都需要用到镜头分类的结果。一个准确快速的镜头分类方法对于后续分析性能的提高将产生极大的帮助。在足球比赛的转播视频中，通常可以将镜头分为三类远镜头、中镜头和近镜头或场外镜头。远镜头是对场地整体情况的描述，中镜头着眼于场地局部区域的某些球员和场景，近镜头或场外镜头是对某一个特定人物的半身的特写或是场外场景的描述。现有的区分以上三类镜头的方法主要是基于主颜色区域面积比率的方法。这类方法将镜头中出现最频繁的颜色确定为主颜色，然后再根据主颜色在镜头中占据的面积比率来判断该镜头所属的类别，并认为拥有较大的主颜色面积比率的镜头是远镜头，而较小主颜色面积比率的镜头是近镜头或场外镜头。由于该方法所用主颜色面积比率特征在中镜头和近镜头中受到背景颜色干扰大，影响了用其作为分类依据可靠性。另外该方法由于要统计镜头中所有象素点的分布情况，需要一定的运算量。
发明内容为了解决现有技术的问题，本发明的目的是为了提供一种对视频进行镜头分类的快速准确的方法，使对于给出的采样帧能自动进行所属镜头的分类。为了实现以上目的，本发明提供的一种基于特征线的视频镜头分类方法，包括以下步骤步骤l:利用待分类视频镜头，在采样帧局部区域的特征线上象素颜色的连续性来区分镜头种类；步骤2:在待分类视频镜头的采样帧中，根据场地、球员、观众在不同类别镜头中，在局部区域出现可能性的差异选择最能反映镜头类别差异的局部位置确定为特征线的位置；步骤3:在步骤2所确定的特征线上统计各条特征线上象素点颜色的均方误差值M化作为最终镜头分类的特征；步骤4:根据各特征线上象素点颜色的均方误差值来对采样帧所属镜头进行分类。根据本发明的实施例，所述特征线，采用了两条水平直线为第一条水平线和第二条水平线。根据本发明的实施例，所述第一条水平线位于采样帧顶端有一距离。根据本发明的实施例，所述第二条水平线位于采样帧底端有一距离。根据本发明的实施例，所述特征线位置的确定，步骤包括如下步骤2h选取两条特征线为水平直线；步骤22:将第一条水平线与采样帧顶端设置一距离，使第一条水平线位于黄金分割的位置，用于获得与第一条水平线重合的黄金分割线；步骤23:将第二条水平线与采样帧底端设置一距离，使第二条水平线接近采样帧的底边，用于获得与第二条水平线有一距离的底线。根据本发明的实施例，所述颜色的一致性，是采用场地区域与其它区域相比在颜色分布上具有很高的一致性的特点，并用特征线上象素的颜色均方误差来度量颜色的一致性。根据本发明的实施例，所述镜头的分类步骤包括步骤4h利用不同种类镜头中特征线所穿过区域对象的不同，获取不同种类镜头中特征线所穿过区域的颜色一致性的不同信息，用于设计镜头的分类；步骤42:选定镜头采样帧中的黄金分割线、底线，计算上述两条特征线上象素点颜色的均方误差值MM;步骤43:当黄金分割线的象素点颜色的均方误差值M化小于事先设定的阈值7;。/&时，将其判断为远镜头；步骤44:如果黄金分割线的象素点颜色的均方误差值M化大于阈值;,"，则需要借助采样帧底线作进一步分析；利用中镜头的底线象素点颜色的均方误差值MSE较近镜头或场外镜头小的特点，若黄金分割线的象素点颜色的均方误差值MM值大于阈值;。^的同时采样帧底线的象素点颜色的均方误差值MS^也大于另一设定阈值7;。,,。，则判断为近镜头或场外镜头，此外的其它情况均判断为中镜头。本发明的优点和技术效果从具体实施例可以看出本发明的优点和技术效果，针对足球视频中镜头的特点，利用特征线上象素点颜色的均方误差对镜头进行自动分类。本发明不仅克服了传统基于主颜色面积比率的镜头分类方法受背景影响的缺点，提高了分类准确性，同时还具有计算简单、效率高的有点。本发明不但适合于足球视频，对于其它类似的场地球类项目视频如橄榄球、曲棍球等同样适用。图1是本发明实施流程图2是本发明中特征线位置的示意图3是本发明中镜头分类判别决策树。具体实施例方式下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。图1是本发明实施流程图所示本发明实施例利用计算机和openCV视频分析库提取足球视频中的采样帧，对提取到的各采样帧帧利用足球视频中各类镜头的特点来确定出两条特征线的位置，并将上述两条特征线上象素颜色的均方误差MSE作为该采样帧帧所属镜头分类的依据，把镜头分为远镜头、中镜头和近镜头或场外镜头三类。本发明首先利用openCV库完成对足球视频中采样帧的提取，采样周期为5秒，将所提取各帧的特征作为对所在镜头分类的依据。由于属于不同类别镜头的帧中象素间颜色的连续性存在着差异，并且这些差异还与象素在帧中所处的局部区域位置有关，为了描述各类镜头中帧内象素在局部区域的连续性，本发明选择了两条特征线作为考察的局部区域，计算这两条特征线上象素的连续性。上述两条特征线均选为水平直线。第一条水平线称为黄金分割线，它距离顶端0.618倍的帧高度，正好处于黄金分割的位置；第二条水平线称作底线，它接近底边，距离底边0.05倍帧高度，如图2示出本发明中特征线位置的示意图。特征线位置的选择基于以下原则在通常的足球比赛视频中，黄金分割线所处的位置正好穿过镜头拍摄目标所处的区域，在远镜头中为场地，在中镜头中为局部的场地和球员，近镜头或场外镜头中则为球员或观众。底线在中镜头中通常穿过场地区域，而在近镜头或场外镜头中则为球员或观众的身体部分。利用这两条特征线在不同种类的镜头中穿过的区域不同，就可以对镜头的类别作出判断。特征线位置的确定步骤包括如下选取两条特征线为水平直线；将第一条水平线与采样帧顶端设置一距离，使第一条水平线位于黄金分割的位置，用于获得与第一条水平线重合的黄金分割线；将第二条水平线与采样帧底端设置一距离，使第二条水平线接近采样帧的底边，用于获得与第二条水平线有一距离的底线。本发明基于足球比赛视频的如下特点场地区域与其它区域相比在颜色分布上具有很高的一致性。特征线所在的局部区域象素颜色的一致性正好反映了该局部区域是属于比赛场地、球员还是场外观众。为镜头分类准备了依据。在确定完特征线的位置后，需要对特征线上的象素点颜色的一致性进行描述。本发明采用颜色均方误差MSE这一度量指标来描述象素间颜色的一致性。象素的颜色采用RGB颜色空间来表示，在RGB颜色空间中，某特征线的均方误差MM如下式表示層=[(、-、)2+(、-S)2+",-t)2]其中x,力、、^分别为某特征线上象素点,'的B、G、R分量，&、^、^分别为该特征线上象素点R、G、B颜色分量的均值，N为该特征线上象素点的数目，x,A、、、&、&、&、^各变量的取值范围均为0到255的整数。对采样帧所属镜头进行分类前，先按上式计算出该帧黄金分割线和底线的象素点颜色的均方误差值MM，作为分类的主要依据。本发明将体育视频中的镜头分为远镜头、中镜头和近镜头或场外镜头三类。远镜头是场地的全局镜头，镜头主题是场地；中镜头是场地某个小局部一名或几名球员的全身镜头，镜头主体是球员和场地局部；近镜头或场外镜头反映球员半身特写或场外观众的情况，镜头主体为球员或场外观众。利用不同种类镜头中特征线所穿过区域对象的不同，获取不同种类镜头中特征线所穿过区域的颜色一致性的不同信息，用于设计镜头的分类；由于黄金分割线在远镜头中贯穿区域绝大部分都是场地，而场地的颜色一致性很高，因此远镜头中黄金分割线拥有较小的象素点颜色的均方误差值MSE。当黄金分割线的象素点颜色的均方误差值MSE小于事先设定的阈值7;。,&时，可以将其判断为远镜头。反之，如果黄金分割线的MM值大于J;。^则需要借助底线作进一步分析。中镜头的底线象素点颜色的均方误差值mm较近镜头或场外镜头小，若黄金分割线的m朋值MSg。^大于rg。Wm的同时，底线的象素点颜色的均方误差值mse值m^A。^也大于另一设定阈值;。自，则可判断为近镜头或场外镜头。此外的其它情况均可判断为中镜头，如表l镜头分类的规则所示。该分类也可由图3决策树描述。在设定阈值rg。WCT和7;。,,。时，考虑到帧底部场地边缘噪声点的影响，通常j;。，的设定值大于7;。^。本实施例中;。^=200，uoo。表i<table>tableseeoriginaldocumentpage9</column></row><table>以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。权利要求1.一种基于特征线的体育视频镜头分类方法，包括步骤1利用待分类视频镜头，在采样帧局部区域的特征线上象素颜色的连续性来区分镜头种类；步骤2在待分类视频镜头的采样帧中，根据场地、球员、观众在不同类别镜头中，在局部区域出现可能性的差异选择最能反映镜头类别差异的局部位置确定为特征线的位置；步骤3在步骤2所确定的特征线上统计各条特征线上象素点颜色的均方误差值MSE作为最终镜头分类的特征；步骤4根据各特征线上象素点颜色的均方误差值来对采样帧所属镜头进行分类。2.如权利要求1所述的视频镜头分类方法，其特征在于，所述特征线，采用了两条水平直线为第一条水平线和第二条水平线。3.如权利要求2所述的视频镜头分类方法，其特征在于，所述第一条水平线位于采样帧顶端有一距离。4.如权利要求2所述的视频镜头分类方法，其特征在于，所述第二条水平线位于采样帧底边有一距离。5.如权利要求2所述的视频镜头分类方法，其特征在于，所述特征线位置的确定，步骤包括如下步骤21:选取两条特征线为水平直线；步骤22:将第一条水平线与采样帧顶端设置一距离，使第一条水平线位于黄金分割的位置，用于获得与第一条水平线重合的黄金分割线；步骤23:将第二条水平线与采样帧底端设置一距离，使第二条水平线接近采样帧的底边，用于获得与第二条水平线有一距离的底线。6.如权利要求l所述的视频镜头分类方法，其特征在于，所述颜色的一致性，是采用场地区域与其它区域相比在颜色分布上具有很高的一致性的特点，并用特征线上象素的颜色均方误差来度量颜色的一致性。7.如权利要求l所述的视频镜头分类方法，其特征在于，所述镜头的分类步骤包括步骤41:利用不同种类镜头中特征线所穿过区域对象的不同，获取不同种类镜头中特征线所穿过区域的颜色一致性的不同信息，用于设计镜头的分类；步骤42:选定镜头采样帧中的黄金分割线、底线，计算上述两条特征线上象素点颜色的均方误差值MSE;步骤43:当黄金分割线的象素点颜色的均方误差值MS五小于事先设定的阈值z;。^时，将其判断为远镜头；步骤44:如果黄金分割线的象素点颜色的均方误差值MM大于阈值则需要借助采样帧底线作进一步分析利用中镜头的底线象素点颜色的均方误差值MM较近镜头或场外镜头小的特点，若黄金分割线的象素点颜色的均方误差值M^值大于阈值i;。^的同时采样帧底线的象素点颜色的均方误差值MSE也大于另一设定阈值7;。。，则判断为近镜头或场外镜头，此外的其它情况均判断为中镜头。全文摘要本发明涉及一种基于特征线的体育视频镜头分类方法，在待分类视频镜头的采样帧中，根据场地、球员、观众在不同类别镜头中，在局部区域出现可能性的差异选择最能反映镜头类别差异的局部位置确定为特征线的位置；在确定的特征线上统计各条特征线上象素点颜色的均方误差值MSE作为最终镜头分类的特征；根据各特征线上象素点颜色的均方误差值来对采样帧所属镜头进行分类。不仅克服了传统基于主颜色面积比率的镜头分类方法受背景影响的缺点，提高了分类准确性，同时还具有计算简单、效率高的优点。本发明不但适合于足球视频，对于其它类似的场地球类项目视频如橄榄球、曲棍球等同样适用。文档编号G06T7/40GK101465003SQ20071017988公开日2009年6月24日申请日期2007年12月19日优先权日2007年12月19日发明者卢汉清,奕张申请人:中国科学院自动化研究所