专利名称：体育视频中数字时钟的识别方法
技术领域：
本发明属于信息识别技术领域，涉及一种在视频中定位及识别数字时钟的方法，尤其 涉及一种不采用OCR文字识别，直接通过对体育视频中时钟数字进行分析、建模和识别的 方法的设计。
背景技术：
在体育视频的分析领域中，精确的事件检测和场景分割是非常具有挑战性的研究课 题。体育视频分析和其他视频处理类似，有着底层特征与高级语义之间存在的语义间隔， 同时体育比赛有着特定的结构与规则，在体育比赛广播中所采用的后期编辑方法，也有助
于对视频的分析与理解。
体育比赛视频叠加层上的比赛时间信息，配合其他网络文字信息，可以实现精彩事件 的定位等应用。因此高效而精确的提取体育视频中的比赛时间信息，对于体育视频整体分 析和检索的正确性，具有至关重要的作用。
体育节目有很强的时间性，如果不能实时处理并得到分析结果，就有可能失去应用价
值。目前己有的方法往往不能在识别的效率和精确性两个方面，达到实际应用的要求
1. OCR文字识别
直接获取屏幕上的文字图像，利用已有的OCR技术来进行识别比赛时间，是一种很成 熟的方法。
不过，这种算法不能自动对于类似记分牌上的比赛数字时钟进行定位。即使能够非常 精确的找到并提取出视频中的文字信息，OCR识别的正确率，很大程度上依赖于提取图像 的质量，而具体应用中，非常细小的叠加层文字，加上有些叠加层的半透明背景带来的干 扰，更会使OCR识别的性能和效率大大降低。还有，需要对文字进行事先训练也是OCR算
法的一大弊病。
2. TNPS算法
Yiqun LI的TNPS算法是一种专门读取体育视频时钟信息的算法，这种算法利用比赛 时钟数字在视频时域上的周期性，有效地把一个模式识别问题，转化为一个模式变化的检 测问题，能够准确而高效的识别体育比赛的数字时钟。
4然而，Yiqun LI的方法强烈的依赖于以下两个条件
A. 体育比赛视频中的计分牌不能是透明或半透明的；
B. 体育比赛视频中的计分牌必须在比赛开始后的1分钟之内就出现在屏幕上，并且 从此以后再也不能消失。
这是两个非常强的假设，事实上，目前大部分电视台制作的体育比赛都采用半透明的 计分牌，并且计分牌在正常比赛中时而出现，时而消失。因此，单纯的TNPS算法在实际 应用中有着较大的限制。
一个实用的体育视频分析系统应该满足有效和高效两个能力。实时性要求我们采用更 有效的特征和更高效的算法。
发明内容
本发明的目的是为克服已有技术的不足之处，提出了一种体育视频中数字时钟的识别 方法，具有实现简单、应用范围广的特点，并能满足识别的效率和精确性两个方面的要求。
本发明的原理是通过对视频中的连续关键帧画面进行统计，算出可能是记分牌叠加层 的候选；根据视频中连续相邻帧在时钟数字区域的相似性和周期性，在记分牌候选上定位 组成时钟的四个数字；再根据时钟数字之间的模式变化关系，对0-9十个数字逐个建模； 利用这些数字模板和屏幕上时钟数字的位置，对4个时钟数字逐个识别；最后，连续识别 时间轴上多帧图像的时钟，对他们的结果进行孤立点删除校验，以提高识别的正确率。
本发明的特点和优势
本发明针对体育视频，提出了通用性较强的记分牌定位方法法，以及数字时钟定位、 建模和识别方法。主要的优势如下-
(1) 这是一个不需要事先进行机器学习的轻量级算法，可以在比赛直播的过程中实时运行。
(2) 对于不同颜色字体字号的数字时钟以及不同情况的背景环境都非常鲁棒，尤其对 于下面几种叠加层识别的难点上，体现出明显的优势
i. 体育比赛视频的记分牌叠加层时隐时现；
ii. 体育比赛视频的记分牌叠加层背景透明；
iii. 体育比赛视频本身由于压縮导致一些关键帧画面模糊。
本发明针对足球视频进行了实验，在经过孤立点去除校验之后，本发明的方法对足球 视频可以达到100%的正确率。
图1为本发明的方法总体流程框图。
图2为本发明的方法的识别结果校验点散图。
具体实施例方式
本发明提出的一种体育视频中数字时钟的识别方法，如图1所示，该方法包括对计分 牌定位，对计分牌上的时钟数字进行建模，根据建立的时钟数字模板对体育比赛时间进行
识别，包括以下步骤
(1) 在视频时间轴上定义一个长度为10秒以上的滑动时间窗口，该时间窗口的滑动 步长为1秒；
(2) 用所述的时间窗，按照1帧/秒的采样率从待识别的体育视频的开始端进行扫描， 在该时间窗的滑动过程中，对每一个时间窗口内的视频进行统计分析、査找候选 计分牌；如果找到候选记分牌，进入步骤(3)对候选记分牌进行分析；如果无 法找到候选记分牌，则将时间窗延时间轴移动1秒，继续扫描视频，直到找到候 选记分牌；
(3) 逐帧对候选记分牌图像进行预处理，然后在候选记分牌图像上寻找"秒"时钟数 字，弥果找到"秒"时钟数字，则将当前的候选记分牌标定为最终的记分牌，并 记录该记分牌上"秒"时钟数字的位置，进入步骤(4)，反之，回到步骤(2), 査找下一个候选记分牌；
(4) 根据数字时钟中"十秒"数字、"分"数字和"十分"数字与"秒"的位置关系， 从所述"秒"数字的位置向左，标定3个和"秒"数字区域大小基本一致，且位 置连续并排的区域，将该三个区域分别记录为"十秒"数字、"分"数字和"十 分"数字的位置，将已确定的4个时钟数字的位置进行保存(以便后面的比赛时 钟识别)；
(5) 根据"十秒"数字与"秒"数字的变化对应关系，提取"秒"数字的0-9十个数 字模板并保存；
(6) 对视频连续多个带有记分牌标记的图像帧，利用四个时钟数字的位置和0-9十个 数字模板，通过逐个匹配的方式进行识别，得到比赛时间序列；
(7) 对步骤(6)得到的比赛时间序列，使用孤立点删除的方法进行校验，去掉错误 的识别结果，得到最终的比赛时间序列。
6上述步骤(2)中对每一个时间窗口内的视频进行统计分析、査找候选计分牌，具体
包括以下步骤
(21) 按照1帧/秒的采样率，在时间窗口内对待识别的体育视频进行重采样(如果在 高性能计算机上，为了检测的准确性，也可以适当提高采样率)，得到关键帧 图像序列；
(22) 根据体育比赛视视频中记分牌位置的常识，对得到的图像序列中每个图像的记 分牌区域(例如足球视频的记分牌都出现在左上角或右上角，其他体育比赛 可能又有所不同，可以作相应调整)按照公式[l]，逐像素计算得到强度方差T
a2(x,y) = ^"、(x,y)-取y))2 [1]
上式中I(x，y)表示图像上的坐标(x，y)处像素的强度，I(x,y)表示图像上的坐标(x，y)
处像素的强度在T时间内的平均值，T表示图像序列的时间跨度，W(x,y)表示图 像上的坐标(x，y)处像素的方差；
(23) 对得到的强度方差图采用动态阈值的方法进行二值化过滤，得到该方差图对应 的二值图像；该动态阈值为方差图中每个像素周围某个区域内所有像素的平均 值。如公式[2]所示
上式中—(x，y)表示图像上的坐标(x,y)处像素的方差，W和H像素邻域的宽度 和高度，T表示计算出的动态阈值；
(24) 对该二值图像进行形态学处理后做连通域分析(CCA)，找到所有的连通域；
(25) 利用体育比赛的有关常规知识对得到的连通域进行过滤(即面积太小，如几个 或几十像素的连通域根本不可能容纳任何看得清的信息，因此不可能是计分 牌；而长宽比过于悬殊的连通域，位置不在屏幕角落的连通域，也被剔出掉)， 将得到的连通域进行标记，并记录该连通域的位置和在时间轴上的跨度，作为 候选计分牌。
上述步骤(3)中逐帧对候选记分牌图像进行预处理，然后在候选记分牌上寻找"秒"
时钟数字，具体包括以下步骤
7(31) 1使用动态阈值T，对记分牌图像进行二值化处理，得到二值化图像；
(32) 对得到的二值图像进行连通域分析(CCA),得到一系列有可能是"秒"时钟 数字的区域(ROI区域)；
(33) 如果同样大小、同样位置的ROI区域，出现在连续多帧中(一般不少于150帧)， 则把该ROI区域标记为一个候选时钟数字(在该步骤中，为了可以兼容一些由于压縮 产生的图像模糊和跳帧现象，l到2个像素的偏移，或1到2帧的空缺，也可以认为 连续多帧)；
(34) 利用体育比赛记分牌的常识，对该候选时钟数字作进一步的过滤(面积太大或 太小的区域要过滤掉；长宽比太大或太小的区域也不可能是数字，要过滤掉；如果一
个侯选区域，和它具有相同位置纵坐标，也具有连续横坐标间隔的其他候选连通域少
于3个，那么它本身也不可能是时钟数字，也要过滤掉)；
(35)用公式[3]计算过滤后得到的每一个候选时钟数字的时域相邻帧图案模式相似性
(TNPS)序列值
s(n) = 2fey)eI Bn—i(x,y) Bn(X,y) [3]
式中Bn(x,y)是视频第n个采样帧经过处理得到的二值图像中，坐标位置在(x，y)处的值，
I代表要考察的有可能是时钟数字的ROI区域；@是异或符号(当a和b的值相同的
时候，a b的值为0，当a和b的值不同的时候，a b的值为l);
(36)当所有候选时钟数字中的某个候选时钟数字的TNPS值每隔1秒或间断的每隔 1秒周期性地出现极大值，则将该候选时钟数字标记为"秒"数字(对于不同类型比 赛，TNPS周期性条件会有所不同对于比赛时间永远不停的体育比赛，例如足球比 赛，TNPS值连续每隔1秒周期性出现极大值；对于其它比赛，例如篮球，比赛时钟 有时会停止，TNPS值有间断的每隔1秒周期性出现极大值)。 上述步骤(5)提取"秒"数字的0-9十个数字作为模板包括如下步骤
(51) 在记分牌存在时域内，计算"十秒"时钟数字区域连续250帧的TNPS值，把 TNPS取得最大值的那一帧，确定为"十秒"数字变化帧；
(52) 以该"十秒"数字变化帧在视频中的位置为起点，提取其后连续250帧"秒" 数字位置的二值图案，作为0-9是个数字的模板，其中第1-25帧为数字1的模 板，第26-50帧为数字2的模板，以此类推，得到的0-9每个数字的25个模板;(53)采用叠加求平均值的方法，把每个数字的25个模板合并为1个，得到"秒"
数字的0-9十个数字模板。 上述步骤(6)具体包括如下步骤
(61) 对"秒"时钟数字位置的图像用动态阈值的方法进行二值化；
(62) 用十个数字模板的二值图像，逐个和"秒"时钟数字二值图像进行匹配，得到 的IO个匹配值S(O)、 S(l) 、 S(2) 、 S(3) S(9)，匹配算法采用公式[4]:
S(i) = Max(i;一Ti(x,y) @ D(x,y)) [4]
式中，Ti(x，y)数字i模板二值图像在坐标(x,y)位置的值，D(x,y)带识别区域二值
图像在坐标(x，y)位置的值，^是异或符号；
(63) 从上述10个匹配值中，找到一个最小的S(t)，其对应的数字t就是当前帧"秒" 时钟数字的取值；
(64) 对"十秒""分"和"十分"位置的图像，进行(61) - (63)的匹配操作，得 到当前帧的完整比赛时间。
上述步骤(7)使用孤立点删除的方法进行校验，包括如下步骤
(71) 将步骤(6)得到的连续帧识别结果序列，分别用公式[5]转化为秒
T = (m X 10 + n) X 60 + s X 10 +1 [5]
式中，m、 n、 s和t分别代表"十分""分""十秒"和"秒"数字的值，T是 计算出的转化为秒的结果；
(72) 画一个比赛时间识别结果T相对视频帧序号的散点图，如图2;
(73) 从图2中可以看出大部分识别结果呈一条缓慢上升的台阶线，每25帧上一个 步长为1秒的台阶(例如1-25帧的识别结果是801,26-50帧的识别结果是802)。 将脱离了这条台阶线的孤立点作为误差(由于关键帧图像模糊造成的)去除掉。
9
权利要求
1、一种体育视频中数字时钟的识别方法，其特征在于，该方法包括对计分牌定位，对计分牌上的时钟数字进行建模，根据建立的时钟数字模板对体育比赛时间进行识别，具体包括以下步骤(1)在视频时间轴上定义一个长度为10秒以上的滑动时间窗口，该时间窗口的滑动步长为1秒；(2)用所述的时间窗，按照1帧/秒的采样率从待识别的体育视频的开始端进行扫描，在该时间窗的滑动过程中，对每一个时间窗口内的视频进行统计分析、查找候选计分牌；如果找到候选记分牌，进入步骤(3)对候选记分牌进行分析；如果无法找到候选记分牌，则将时间窗延时间轴移动1秒，继续扫描视频，直到找到候选记分牌；(3)逐帧对候选记分牌图像进行预处理，然后在候选记分牌图像上寻找“秒”时钟数字，如果找到“秒”时钟数字，则将当前的候选记分牌标定为最终的记分牌，并记录该记分牌上“秒”时钟数字的位置，进入步骤(4)，反之，回到步骤(2)，查找下一个候选记分牌；(4)根据数字时钟中“十秒”数字、“分”数字和“十分”数字与“秒”的位置关系，从所述“秒”数字的位置向左，标定3个和“秒”数字区域大小基本一致，且位置连续并排的区域，将该三个区域分别记录为“十秒”数字、“分”数字和“十分”数字的位置，将已确定的4个时钟数字的位置进行保存；(5)根据“十秒”数字与“秒”数字的变化对应关系，提取“秒”数字的0-9十个数字模板并保存；(6)对视频连续多个带有记分牌标记的图像帧，利用四个时钟数字的位置和0-9十个数字模板，通过逐个匹配的方式进行识别，得到比赛时间序列；(7)对步骤(6)得到的比赛时间序列，使用孤立点删除的方法进行校验，去掉错误的识别结果，得到最终的比赛时间序列。
2、 如权利要求l所述方法，其特征在于，所述步骤(2)中对每一个时间窗口内的视 频进行统计分析、查找候选计分牌，具体包括以下步骤(21)按照1帧/秒的采样率，在时间窗口内对待识别的体育视频进行重采样，得到 关键帧图像序列；根据体育比赛视视频中记分牌位置的常识，对得到的图像序列中每个图像的记分 牌区域，逐像素计算得到强度方差图；对得到的强度方差图采用动态阈值的方法 进行二值化过滤，得到该方差图对应的二值图像；该动态阈值为方差图中每个像 素周围某个区域内所有像素的平均值；(22) 对该二值图像进行形态学处理后做连通域分析，找到所有的连通域；(23) 利用体育比赛的有关常规知识对得到的连通域进行过滤，将得到的连通域进行标记，并记录该连通域的位置和在时间轴上的跨度，作为候选计分牌。
3、 如权利要求l所述方法，其特征在于，所述步骤(3)中逐帧对候选记分牌图像进行预处理，然后在候选记分牌上寻找"秒"时钟数字，具体包括以下步骤(31) 采用动态阈值的方法，对记分牌图像进行二值化处理，得到二值化图像；(32) 对得到的二值图像进行连通域分析，得到一系列有可能是"秒"时钟数字的区域ROI;(33) 如果同样大小、同样位置的ROI区域，出现在连续多帧中(一般不少于150帧)， 则把该ROI区域标记为一个候选时钟数字；(34) 利用体育比赛记分牌的常识，对该候选时钟数字作进一步的过滤；(35) 计算过滤后得到的每一个候选时钟数字的时域相邻帧图案模式相似性TNPS序 列值；(36) 当所有候选时钟数字中的某个候选时钟数字的TNPS值每隔1秒或间断的每隔1 秒周期性地出现极大值，则将该候选时钟数字标记为"秒"数字。
4、 如权利要求l所述方法，其特征在于，所述步骤(5)提取"秒"数字的0-9十个 数字作为模板包括如下步骤(51) 在记分牌存在时域内，计算"十秒"时钟数字区域连续250帧的时域相邻帧图 案模式相似性TNPS序列值，把TNPS值取得最大值的那一帧，确定为"十秒" 数字变化帧；(52) 以该"十秒"数字变化帧在视频中的位置为起点，提取其后连续250帧"秒" 数字位置的二值图案，作为0-9是个数字的模板，其中第1-25帧为数字1的 模板，第26-50帧为数字2的模板，以此类推，得到的0-9每个数字的25个 模板；(53) 采用叠加求平均值的方法，把每个数字的25个模板合并为1个，得到"秒" 数字的0-9十个数字模板。
5、 如权利要求l所述方法，其特征在于，所述步骤(6)具体包括如下步骤(61) 对"秒"时钟数字位置的图像用动态阈值的方法进行二值化；(62) 用十个数字模板的二值图像，逐个和"秒"时钟数字二值图像进行匹配，得到 的IO个匹配值；(63) 从上述10个匹配值中，找到一个最小的值，其对应的数字就是当前帧"秒" 时钟数字的取值；(64) 对"十秒""分"和"十分"位置的图像，进行(61) - (63)的匹配操作，得 到当前帧的完整比赛时间。
全文摘要
本发明体育视频中数字时钟的识别方法，属于信息识别技术领域，该方法包括对计分牌定位，对计分牌上的时钟数字进行建模，根据建立的时钟数字模板对体育比赛时间进行识别，具体包括用时间窗对待识别的体育视频进行扫描，查找候选计分牌；对候选记分牌图像进行预处理后，在候选记分牌图像上寻找“秒”时钟数字、“十秒”数字、“分”数字和“十分”数字四个位置，提取“秒”数字的0-9十个数字模板并保存；数字模板进行识别，得到比赛时间序列；本发明具有实现简单、应用范围广的特点，并能满足识别的效率和精确性两个方面的要求。
文档编号G06K9/00GK101464949SQ20091007710
公开日2009年6月24日 申请日期2009年1月16日 优先权日2009年1月16日
发明者孙立峰, 杨士强, 凡 部 申请人:清华大学