专利名称：一种视频中数字时钟的识别方法
技术领域：
本发明属于信息识别及视频分析领域，尤其涉及一种视频中数字时钟的识别方法。
背景技术：
数字时钟识别是体育视频以及监护视频分析中十分重要的一个内容。在视频分析中，时间信息不仅可以作为元数据用于视频索引及标注，同时也是实现多模态内容同步(如体育视频中同一事件对应的视频、音频、文本信息)的重要参照信息。利用数字时钟识别技术，我们可以更好地对视频中的事件进行检测和分析，例如在足球视频分析中可以将比赛日志中提供的事件发生时间与视频中的比赛时间进行同步，从而在更短的时间内更准确地检测比赛事件；数字时钟识别技术同样可以帮助我们定位监护视频中特定的时刻对应的片断，从而能够更方便地对监护状况进行分析；在篮球比赛中数字时钟能够反映比赛状态是进行中还是中断状态，因此对篮球视频中的时钟进行识别也可以很好地帮助我们进行篮球比赛事件的检测和分析。目前数字时钟识别主要有以下几种技术1、OCR即直接获取图像中的数字图像，然后利用OCR (Optical CharacterRecognition)技术对其进行识别。但是由于视频中的数字时钟往往分辨率很低，而且伴随有噪声和变形，因此直接利用OCR进行数字识别的准确率无法满足要求。同时OCR技术需要利用字符的局部特征匹配来进行识别，因此在速度上也无法满足视频分析的要求。2.基于图像处理的数字时钟识别方法这一类方法首先检测视频中的静态区域(static region),从中确定时钟区域,然后提取时钟区域中的连通域，并根据时钟数字的变化特点找出数字区域。然后对单个数字或数字序列进行匹配识别。这样的方法存在以下不足I)由于主要采用的是图像处理相关技术而没有充分利用时钟数字变化的规律，所以这种方法对于时钟位置的定位的效率较低，且易于出错。具体来说就是一方面视频中数字时钟区域的位置及大小并没有一个较为固定的规律可供参考，同时视频中的logo也会对时钟区域的检测产生干扰；另一方面在记分牌上也可能会有许多与时钟数字大小差不多的区域。这两点增加了基于图像处理的数字区域查找方法得出错误结果的可能性，同时由于要专门考虑如何排除这些干扰区域，从而也会限制数字区域查找的效率。2)由于视频中的时钟数字分辨率较低，因此会导致某些形状相似的数字分辨起来极其困难，如8、9、0，5、6等。这就意味着如果仅仅对单个数字进行模板识别，那么识别的鲁棒性会较低。
发明内容
本发明的目的在于提供一种视频中数字时钟的识别方法，该方法利用数字时钟本身变化规律来进行识别，提高了识别速率、准确度和鲁棒性。一种视频中数字时钟的识别方法，具体为(I)秒位数字粗选区域的初步定位在视频帧流中，确定满足秒钟数字变化周期性的秒位转换帧F及该帧F内的潜在秒位像素点，按照潜在秒位像素点的分布密度和面积越大则为秒位数字粗选区域的可能性越大的原则选取秒位数字粗选区域；所述秒钟数字变化的周期性是指秒位数字在某一帧发生变化，而在之前及之后的R帧都保持不变，R为视频的每秒传输帧数；(2)四个时钟数字区域的准确定位首先依据预定的时钟数字颜色和背景色在秒位数字粗选区域进一步精准确定秒位数字区域，再以秒位数字区域为基准，结合时钟数字颜色和背景色以及四个时钟数字间的位置和大小关系确定余下的十秒位、分位和十分位三个时钟数字区域；(3)秒位数字的识别预先构建0 9的数字序列模板，在视频帧流中标识11个连续的秒位转换帧，每两相邻秒位转换帧内任意提取一视频帧的秒位数字区域构成秒位待匹配视频帧序列，将秒位待匹配视频帧序列与0 9的数字序列模板进行匹配，从而识别视频帧的秒位数字；(4)十秒位数字的识别预先构建0 5的数字序列模板，在步骤(3)的识别结果中找到秒位数字为0的零秒视频帧，在视频帧流中标识6个连续的零秒视频帧，每两相邻零秒视频帧内任意提取一视频帧的十秒位数字区域构成十秒位待匹配视频帧序列，将十秒位待匹配视频帧序列与0 5的数字序列模板进行匹配，从而识别视频帧的十秒位数字；(5)分钟和十分钟位数字的识别利用步骤(3)识别出秒位数字的视频帧作为样本训练得到分类器，利用分类器分别对视频帧的分钟数字区域和十分钟数字区域进行分类，从而识别视频帧的分钟和十分钟数字。进一步地，所述步骤(I)具体为(11)在视频帧中提取连续10秒的10*R帧，搜索其中每一帧z的潜在转换像素q，所述第i帧中的潜在转换像素q满足条件
权利要求
1.一种视频中数字时钟的识别方法，具体为 (1)秒位数字粗选区域的初步定位在视频帧流中，确定满足秒钟数字变化周期性的秒位转换帧F及该帧F内的潜在秒位像素点，按照潜在秒位像素点的分布密度和面积越大则为秒位数字粗选区域的可能性越大的原则选取秒位数字粗选区域；所述秒钟数字变化的周期性是指秒位数字在某一帧发生变化，而在之前及之后的R帧都保持不变，R为视频的每秒传输巾贞数； (2)四个时钟数字区域的准确定位首先依据预定的时钟数字颜色和背景色在秒位数字粗选区域进一步精准确定秒位数字区域，再以秒位数字区域为基准，结合时钟数字颜色和背景色以及四个时钟数字间的位置和大小关系确定余下的十秒位、分位和十分位三个时钟数字区域； (3)秒位数字的识别预先构建(T9的数字序列模板，在视频帧流中标识11个连续的秒位转换帧，每两相邻秒位转换帧内任意提取一视频帧的秒位数字区域构成秒位待匹配视频帧序列，将秒位待匹配视频帧序列与O、的数字序列模板进行匹配，从而识别视频帧的秒位数字； (4)十秒位数字的识别预先构建(Γ5的数字序列模板，在步骤(3)的识别结果中找到秒位数字为O的零秒视频帧，在视频帧流中标识6个连续的零秒视频帧，每两相邻零秒视频帧内任意提取一视频帧的十秒位数字区域构成十秒位待匹配视频帧序列，将十秒位待匹配视频帧序列与(Γ5的数字序列模板进行匹配，从而识别视频帧的十秒位数字； (5)分钟和十分钟位数字的识别利用步骤(3)识别出秒位数字的视频帧作为样本训练得到分类器，利用分类器分别对视频帧的分钟数字区域和十分钟数字区域进行分类，从而识别视频帧的分钟和十分钟数字。
2.根据权利要求1所述的一种视频中数字时钟的识别方法，其特征在于，所述步骤(I)具体为 (11)在视频帧中提取连续10秒的10*R帧，搜索其中每一帧z的潜在转换像素q，所述第i帧中的潜在转换像素q满足条件
3.根据权利要求1所述的一种视频中数字时钟的识别方法，其特征在于，所述步骤(2)具体为 (21)收集连续10秒视频帧的秒位粗选区域以及背景区域画面，分别构建像素值集合S和B ； (22)分别对像素值集合S和B构建直方图，并利用高斯混合模型确定数字和背景的颜色； (23)在秒位粗选区域中利用获得的数字和背景颜色精准定位秒位数字区域B1=Cr1, C1, W1, hj),, r1； C1, W1, Ii1分别表示秒位数字区域的左上角点的纵坐标、左上角点的横坐标、宽度和高度； (24)定义Bi= Cri, Ci, Wi, i = 2，3，4表示十秒位、分钟位和十分钟位区域，ri； Ci, W^hi分别表示Bi的左上角点的纵坐标、左上角点的横坐标、宽度和高度；通过Hough-1ike方法求解秒位区域B1与十秒位区域B2之间的距离Cl1以及十秒位区域B2与分钟位区域B3之间的距离d2，进而确定十秒位、分钟位和十分钟位区域，即
4.一种视频中数字时钟的识别系统，包括 秒位数字粗选区域的初步定位模块，用于在视频帧流中，确定满足秒钟数字变化周期性的秒位转换帧F及该帧F内的潜在秒位像素点，按照潜在秒位像素点的分布密度和面积越大则为秒位数字粗选区域的可能性越大的原则选取秒位数字粗选区域；所述秒钟数字变化的周期性是指秒位数字在某一帧发生变化，而在之前及之后的R帧都保持不变，R为视频的每秒传输帧数； 四个时钟数字区域的准确定位模块，用于首先依据预定的时钟数字颜色和背景色在秒位数字粗选区域进一步精准确定秒位数字区域，再以秒位数字区域为基准，结合时钟数字颜色和背景色以及四个时钟数字间的位置和大小关系确定余下的十秒位、分位和十分位三个时钟数字区域； 秒位数字的识别模块，用于预先构建O、的数字序列模板，在视频帧流中标识11个连续的秒位转换帧，每两相邻秒位转换帧内任意提取一视频帧的秒位数字区域构成秒位待匹配视频帧序列，将秒位待匹配视频帧序列与O、的数字序列模板进行匹配，从而识别视频帧的秒位数字； 十秒位数字的识别模块，用于预先构建(T5的数字序列模板，在秒位数字的识别模块的识别结果中找到秒位数字为0的零秒视频帧，在视频帧流中标识6个连续的零秒视频帧，每两相邻零秒视频帧内任意提取一视频帧的十秒位数字区域构成十秒位待匹配视频帧序列，将十秒位待匹配视频帧序列与0飞的数字序列模板进行匹配，从而识别视频帧的十秒位数字； 分钟和十分钟位数字的识别模块，用于利用秒位数字的识别模块识别出秒位数字的视频帧作为样本训练得到分类器，利用分类器分别对视频帧的分钟数字区域和十分钟数字区域进行分类，从而识别视频帧的分钟和十分钟数字。
5.根据权利要求4所述的一种视频中数字时钟的识别系统，其特征在于，所述秒位数字粗选区域的初步定位模块包括 初步定位模块的第一子模块，用于在视频帧中提取连续10秒的10*R帧，搜索其中每一帧z的潜在转换像素q，所述第i帧中的潜在转换像素q满足条件
6.根据权利要求4或5所述的一种视频中数字时钟的识别系统，其特征在于，所述四个时钟数字区域的准确定位模块包括 准确定位模块的第一子模块，用于收集连续10秒视频帧的秒位粗选区域以及背景区域画面，分别构建像素值集合S和B ; 准确定位模块的第二子模块，用于分别对像素值集合S和B构建直方图，并利用高斯混合模型确定数字和背景的颜色； 准确定位模块的第三子模块，用于在秒位粗选区域中利用获得的数字和背景颜色精准定位秒位数字区域B1 = Cr1, c1；W1, Ii1), ,TijC1, W1, Ii1分别表示秒位数字区域的左上角点的纵坐标、左上角点的横坐标、宽度和高度； 准确定位模块的第四子模块，用于定义Bi = Cri, Ci, Wi, i = 2，3，4表示十秒位、分钟位和十分钟位区域,r” CiiWi, hi分别表示Bi的左上角点的纵坐标、左上角点的横坐标、宽度和高度；通过Hough-1ike方法求解秒位区域B1与十秒位区域B2之间的距离(I1以及十秒位区域B2与分钟位区域B3之间的距离d2，进而确定十秒位、分钟位和十分钟位区域，即
全文摘要
本发明公开了一种视频中数字时钟的识别方法，具体为依据秒钟数字变化周期性确定秒位转换帧和秒位数字粗选区域；在粗选区域内依据秒位数字和背景颜色精准确定秒位数字区域，并依据时钟数字位置关系确定余下三个时钟数字区域；每两相邻秒位转换帧内提取一视频帧构成秒位待匹配视频帧序列，将其与0~9的数字序列模板进行匹配，从而识别秒位数字；每两相邻零秒视频帧内提取一视频帧构成十秒位待匹配视频帧序列，将其与0~5的数字序列模板进行匹配，从而识别十秒位；利用秒位数字视频帧作为样本训练得到分类器，利用分类器分别对视频帧进行分类，从而识别分钟和十分钟数字。本发明利用数字时钟本身变化规律来进行识别，提高了识别速率、准确度和鲁棒性。
文档编号G06K9/62GK103065152SQ20121053368
公开日2013年4月24日 申请日期2012年12月10日 优先权日2012年12月10日
发明者余新国 申请人:华中师范大学