专利名称：一种电视转播体育视频重放片段检测方法
技术领域：
本发明涉及一种视频重放片段检测方法，特别是涉及一种电视体育视频重放镜头检测方法。
背景技术：
基于内容的视频分析是一个热点问题，广泛应用于视频检索、视频标注和视频摘要等领域中。但是由于视频低层特征(如颜色，纹理等)所能表达的语义与视频高层语义(如视频中出现的各类事件)之间存在着巨大的差异。所以如何在二者之间产生一些中层的事件作为沟通二者的桥梁是现在广泛关注的问题。
电视转播体育视频中的重放镜头往往伴随体育视频中的精彩事件，如足球比赛视频中的射门、得分，跳水比赛中的运动员跳水动作等，这些是沟通低层特征和高层语义之间非常有代表的一类中层事件，所以检测重放镜头受到广泛的关注。
如何进行重放镜头的检测与重放镜头的摄制过程有着密切的关系。传统的重放视频由普通摄像机摄制。通过在摄制的视频中采用帧重复或场重复的方法生成重放视频。所以针对这种显著的帧重复特征，即可比较准确地识别重放镜头。
由于观众们对电视转播体育视频欣赏要求的不断提高和技术进步，现在已经广泛采用高速摄像机来拍摄体育比赛电视视频，从而在拍摄的时候可以用高于播放时的采样频率，在相同的时间段内比用普通摄像机采集到更多的视频数据。然后以正常速率播放，从而让观众能仔细地欣赏体育比赛中运动员的动作的更多细节。
对于采用高速摄像机摄制而制作的慢动作回放镜头，现在尚未见到直接有效的检测方法。但是大量的体育视频摄制过程中已经采用了这种更先进的方法。
更进一步，由于高速摄像机的成本比较高，所以在制作体育电视转播时，有可能同时采用传统的基于普通摄像机采集的重放视频制作方法和新的基于高速摄像机采集的制作方法。对于这样采用了两种重放视频制作方式的视频而言，如何识别重放镜头更缺乏有效的统一的解决方法。
发明内容
本发明的目的克服现有技术不能对高速摄像机采集制作的重放视频进行检测的缺点，提供一种对采用传统的基于普通摄像机采集制作和基于新的基于高速摄像机采集制作的重放视频的通用检测方法。
为了实现上述目的，本发明提供了一种电视转播体育视频重放片段检测方法，具体包括以下步骤1)、将电视转播体育视频经数字化采集设备转化为数字视频；2)、对步骤1)得到的数字视频进行内容分析，得到镜头切换的位置，根据该位置实现镜头分割，将视频分解为以镜头为单元的片段；3)、对步骤2)所切分的各个镜头作检测，判断镜头内是否含重放片段；4)、对步骤3)得到的重放片段定位初始位置和终止位置。
上述技术方案中，所述的步骤2)中，所述的进行内容分析，得到镜头切换位置的实现步骤包括2-1)、对数字视频中的各个帧构造RGB颜色直方图，并将颜色直方图量化为16级；2-2)、计算数字视频中各个相邻帧的直方图的欧氏距离的平方，所得到的结果作为相邻帧的帧差；2-3)、对步骤2-2)得到的数字视频中所有帧的帧差进行统计分析，得到均值A和均方差S，然后对均值A和均方差S求和，得到阈值G；2-4)、根据步骤2-3)得到的阈值G，对数字视频中的各个帧作判断，若两个相邻帧的帧差高于阈值G，则认为该帧差不是镜头内帧差，该帧差所在的相邻帧处于镜头的边界上，若相邻帧的帧差小于阀值G，则该帧差为镜头内帧差，该帧差所在的相邻帧在同一个镜头内；2-5)、对步骤2-4)得到的位于镜头边界的帧作统计，计算镜头边界的各个帧的帧差的均值a和均方差s，然后对均值a和均方差s求和，得到阈值g；2-6)、根据步骤2-5)得到的阀值g对镜头边界的各个帧作判断，若相邻帧的帧差高于阈值g，则该帧为切变边界帧，该帧所在的镜头边界为切变，根据切变可将数字视频分解为以镜头为单元的片段。
上述技术方案中，所述的步骤3)中，所述的对各个镜头做检测的方法具体包括以下步骤
3-1)、以两个切变之间的部分作为一个镜头，将一个镜头视为一个处理对象；3-2)、在镜头内检测渐变，根据镜头内包含的渐变数目，判断镜头内是否可能有重放片段，对可能含有重放片段的镜头执行步骤3-3)，对不可能有重放片段的镜头不再作任何操作；3-3)、从重放镜头的起始和终止点分别向中间寻找渐变，将检测到的第一个渐变计为F，检测到的最后一个渐变计为L；3-4)、判断第一个渐变F与最后一个渐变L之间的距离，若两者相差的帧数超过了一个预先指定的数目，则认为该镜头内包含重放片段，该镜头即为重放镜头。
所述的步骤3-2)中，在所述的镜头内检测渐变时，根据步骤2-3)和步骤2-5)得到的阈值G和阈值g，在切变镜头内检测位于阈值G和阈值g之间的帧，这些帧可能为渐变帧，当渐变帧连续出现时则认为出现了一个渐变，若一个镜头内包含两个或两个以上的渐变，则该镜头就是重放镜头，镜头内包含重放片段。
所述的步骤3-4)中，所述的预先指定的数目为100。
上述技术方案中，所述的步骤4)中，所述的对重放片段定位初始位置和终止位置具体包括以下步骤4-1)、对步骤3-3)得到的重放镜头的第一个渐变F与最后一个渐变L作为重放片段的初始起始点和终止点；4-2)、以当前帧为中心，取一个宽度为2M+1的窗口，计算当前帧前面的M帧的平均帧差D1和后面的M帧的平均帧差D2；4-3)、计算D1和D2的比值，若D1和D2的比值小于或等于1/2时，当前帧是一个渐变边界的开始帧；当这一比值大于或等于2时，当前帧是渐变边界的结束帧；若D1和D2的比值在1/2和2之间，则取下一帧为当前帧，并跳转到步骤4-2)，重新计算D1和D2的值；4-4)、当渐变边界的开始帧与渐变边界的结束帧之间相距小于30帧时，则认为存在一个渐变，并定位出渐变的起始点和终止点；4-5)、由上述步骤得到切变镜头内的各个渐变位置，两个相邻的渐变位置之间即为一个重放片段，第一个渐变的起始帧号和最后一个渐变的终止帧号即为重放片段的起始点和终止点的准确位置。
本发明的优点在于1、本发明的方法避免对帧重复特性的检测，从而对高速摄像机拍摄的重放片段能有效进行检测。
2、本发明的方法对基于普通摄像机采集制作和基于高速摄像机采集制作的重放视频均能用同一框架进行检测。
3、本发明的方法能在切变镜头之中利用检测到的渐变信息有效定位重放片段的起始和终止位置。
图1为本发明的电视转播体育视频重放片段检测方法的流程图。
具体实施例方式
下面结合附图和具体实施方式
，对本发明的方法做进一步说明。
如图1所示，本发明的电视转播体育视频重放片段检测方法包括以下步骤步骤10、将电视转播体育视频经数字化采集设备转化为数字视频，若电视转播体育视频本身就是数字视频则无需本步骤；步骤20、对步骤10得到的数字视频进行内容分析，得到镜头切换的位置，根据该位置实现镜头分割，将视频分解为以镜头为单元的片段，本步骤的具体实现如下步骤21、对数字视频中的各个帧构造RGB颜色直方图，并将颜色直方图量化为16级。在构造RGB颜色直方图时，对R、G、B三个颜色分量分别构造直方图。在量化颜色直方图时，R、G、B值分别除以16，所得到的商作为直方图量化结果。
设RGB各分量的值为V，则V经量化过后的值为V`，其计算公式如公式(1)V`＝V/16(1)其中V和V`均为整数，除法为整数除法，结果忽略小数部分。
步骤22、计算相邻帧的直方图的欧氏距离的平方，所得到的结果作为两个相邻帧的帧差。在计算相邻帧间直方图欧氏距离时，是计算直方图各量化级别上差值的平方和。设相邻两帧颜色直方图各分量的值分别为hi和h′i(其中i＝1，2，3...16)。直方图之间欧氏距离D的计算公式为D=Σi=116(hi-h`i)2]]>
步骤23、对数字视频中所有帧的帧差进行统计分析，得到均值A和均方差S，根据均值A和均方差S确定阈值G。所述的阈值G一般取均值A和均方差S的和。
步骤24、根据步骤23得到的阈值G对数字视频中的各个帧作判断，若两个相邻帧的帧差高于阈值G，则认为该帧差不是镜头内帧差，该帧差所在的相邻帧处于镜头的边界上，若相邻帧的帧差小于阀值，则该帧差为镜头内帧差，该帧差所在的相邻帧在同一个镜头内。
步骤25、对位于镜头边界的帧作统计，计算镜头边界的各个帧的帧差的均值a和均方差s，然后对均值a和均方差s求和，得到阈值g。
步骤26、根据步骤25得到的阀值g对镜头边界的各个帧作判断，若相邻帧的帧差高于阈值g，则该帧为切变边界帧，该帧所在的镜头边界为切变。根据切变可将数字视频分解为以镜头为单元的片段。
步骤30、对步骤20所切分的各个镜头作检测，判断该镜头内是否含重放片段。对镜头做检测的具体实现步骤如下。
步骤31、以两个切变之间的部分作为一个镜头，将一个镜头视为一个处理对象。
步骤32、在镜头内检测渐变，根据镜头内包含的渐变数目，判断镜头内是否可能有重放片段，对可能含有重放片段的镜头执行步骤33，对不可能有重放片段的镜头不再作任何操作。根据步骤23和步骤25得到的阈值G和阈值g，在切变镜头内检测位于阈值G和阈值g之间的帧，这些帧可能为渐变帧，它们可能是重放片段和普通视频片段之间的过渡帧。当这样的帧连续出现时则认为出现了一个渐变，若一个镜头内包含两个或两个以上的渐变，则该镜头就是重放镜头。此处所述的帧连续出现指帧连续出现10以上。
步骤33、对重放镜头的起始和终止点分别向中间寻找渐变，将检测到的第一个渐变计为F，检测到的最后一个渐变计为L。
步骤34、判断第一个渐变F与最后一个渐变L之间的距离，若两者相差的帧数超过了一个预先指定的数目，则认为该镜头内包含重放片段，对包含重放片段的重放镜头执行步骤40，对非重放镜头不再执行下面的操作。在本步骤中，预先指定的数目通常可选100。在步骤32中，对某个镜头是否是重放镜头做了判断，在本步骤中，再一次作判断，以提高准确性。
步骤40、对步骤30得到的重放片段的起始点和终止点的位置作精确定位。具体包含以下步骤。
步骤41、对步骤33得到的重放镜头的第一个渐变F与最后一个渐变L作为重放片段的初始起始点和终止点；步骤42、以切变镜头的第一帧为当前帧，以当前帧为中心，取一个宽度为2M+1的窗口，计算当前帧前面的M帧的平均帧差D1和后面的M帧的平均帧差D2；所述的M一般取10。
步骤43、计算D1和D2的比值，若D1和D2的比值小于或等于1/2时，当前帧可能是一个渐变边界的开始帧；当这一比值大于等于2时，则可能是渐变边界的结束帧；若D1和D2的比值在1/2和2之间，则取下一帧为当前帧，并跳转到步骤42，重新计算D1和D2。
步骤44、当渐变边界的开始帧与渐变边界的结束帧之间相距小于30帧时，则认为此处确实是一个渐变，而且可以定位出渐变的起始点和终止点。
步骤45、由上述步骤得到切变镜头内的各个渐变位置，两个相邻的渐变位置之间即为一个重放片段。切变镜头中的第一个渐变的起始帧号和最后一个渐变的终止帧号即为重放片段的起始点和终止点的准确位置。
权利要求
1.一种电视转播体育视频重放片段检测方法，具体包括以下步骤1)、将电视转播体育视频经数字化采集设备转化为数字视频；2)、对步骤1)得到的数字视频进行内容分析，得到镜头切换的位置，根据该位置实现镜头分割，将视频分解为以镜头为单元的片段；3)、对步骤2)所切分的各个镜头作检测，判断镜头内是否含重放片段；4)、对步骤3)得到的重放片段定位初始位置和终止位置。
2.根据权利要求1所述的电视转播体育视频重放片段检测方法，其特征在于，所述的步骤2)中，所述的进行内容分析，得到镜头切换位置的实现步骤包括2-1)、对数字视频中的各个帧构造RGB颜色直方图，并将颜色直方图量化为16级；2-2)、计算数字视频中各个相邻帧的直方图的欧氏距离的平方，所得到的结果作为相邻帧的帧差；2-3)、对步骤2-2)得到的数字视频中所有帧的帧差进行统计分析，得到均值A和均方差S，然后对均值A和均方差S求和，得到阈值G；2-4)、根据步骤2-3)得到的阈值G，对数字视频中的各个帧作判断，若两个相邻帧的帧差高于阈值G，则认为该帧差不是镜头内帧差，该帧差所在的相邻帧处于镜头的边界上，若相邻帧的帧差小于阀值G，则该帧差为镜头内帧差，该帧差所在的相邻帧在同一个镜头内；2-5)、对步骤2-4)得到的位于镜头边界的帧作统计，计算镜头边界的各个帧的帧差的均值a和均方差s，然后对均值a和均方差s求和，得到阈值g；2-6)、根据步骤2-5)得到的阀值g对镜头边界的各个帧作判断，若相邻帧的帧差高于阈值g，则该帧为切变边界帧，该帧所在的镜头边界为切变，根据切变可将数字视频分解为以镜头为单元的片段。
3.根据权利要求1所述的电视转播体育视频重放片段检测方法，其特征在于，所述的步骤3)中，所述的对各个镜头做检测的方法具体包括以下步骤3-1)、以两个切变之间的部分作为一个镜头，将一个镜头视为一个处理对象；3-2)、在镜头内检测渐变，根据镜头内包含的渐变数目，判断镜头内是否可能有重放片段，对可能含有重放片段的镜头执行步骤3-3)，对不可能有重放片段的镜头不再作任何操作；3-3)、从重放镜头的起始和终止点分别向中间寻找渐变，将检测到的第一个渐变计为F，检测到的最后一个渐变计为L；3-4)、判断第一个渐变F与最后一个渐变L之间的距离，若两者相差的帧数超过了一个预先指定的数目，则认为该镜头内包含重放片段，该镜头即为重放镜头。
4.根据权利要求3所述的电视转播体育视频重放片段检测方法，其特征在于，所述的步骤3-2)中，在所述的镜头内检测渐变时，根据步骤2-3)和步骤2-5)得到的阈值G和阈值g，在切变镜头内检测位于阈值G和阈值g之间的帧，这些帧可能为渐变帧，当渐变帧连续出现时则认为出现了一个渐变，若一个镜头内包含两个或两个以上的渐变，则该镜头就是重放镜头，镜头内包含重放片段。
5.根据权利要求3所述的电视转播体育视频重放片段检测方法，其特征在于，所述的步骤3-4)中，所述的预先指定的数目为100。
6.根据权利要求1所述的电视转播体育视频重放片段检测方法，其特征在于，所述的步骤4)中，所述的对重放片段定位初始位置和终止位置具体包括以下步骤4-1)、对步骤3-3)得到的重放镜头的第一个渐变F与最后一个渐变L作为重放片段的初始起始点和终止点；4-2)、以切变镜头的第一帧为当前帧，然后以当前帧为中心，取一个宽度为2M+1的窗口，计算当前帧前面的M帧的平均帧差D1和后面的M帧的平均帧差D2；4-3)、计算D1和D2的比值，若D1和D2的比值小于或等于1/2时，当前帧是一个渐变边界的开始帧；当这一比值大于或等于2时，当前帧是渐变边界的结束帧；若D1和D2的比值在1/2和2之间，则取下一帧为当前帧，并跳转到步骤4-2)，重新计算D1和D2的值；4-4)、当渐变边界的开始帧与渐变边界的结束帧之间相距小于30帧时，则认为存在一个渐变，并定位出渐变的起始点和终止点；4-5)、由上述步骤得到切变镜头内的各个渐变位置，两个相邻的渐变位置之间即为一个重放片段，第一个渐变的起始帧号和最后一个渐变的终止帧号即为重放片段的起始点和终止点的准确位置。
7.根据权利要求1所述的电视转播体育视频重放片段检测方法，其特征在于，在所述的步骤4-2)中，所述的M为10。
全文摘要
本发明公开了一种电视转播体育视频重放片段检测方法，包括将电视转播体育视频经数字化采集设备转化为数字视频；对数字视频进行内容分析，得到镜头切换的位置，根据该位置实现镜头分割，将视频分解为以镜头为单元的片段；对各个镜头作检测，判断镜头内是否含重放片段；对重放片段定位初始位置和终止位置。本发明的优点在于避免对帧重复特性的检测，从而对高速摄像机拍摄的重放片段能有效进行检测；对基于普通摄像机采集制作和基于高速摄像机采集制作的重放视频均能用同一框架进行检测；能在切变镜头之中利用检测到的渐变信息有效定位重放片段的起始和终止位置。
文档编号H04N9/64GK1992913SQ20051013549
公开日2007年7月4日 申请日期2005年12月31日 优先权日2005年12月31日
发明者潘雪峰, 张勇东, 李锦涛 申请人:中国科学院计算技术研究所