一种视频中文字的检测与提取方法
【专利摘要】一种视频中文字的检测与提取方法，包括：启动算法，将彩色图像转换为灰度图像；对其进行降采样处理；分别获取图像I（x，y）的小波综合图像和角点特征图像；分别从角点特征图像和小波综合图像提取7个统计特征，产生14维的特征向量并归一化；将特征向量放入k-means分类器中作分类；对角点特征图像进行二值化处理，再作形态学处理；根据二值图像的饱和度和方向两个特征作候选文字区域的筛选，对筛选后获得的文字区域做一次掩膜不超过N/2的膨胀；进行文字提取。本发明结合小波变换高频综合图像和角点特征图像，提取统计特征获取文字区域，并运用彩色空间和非监督分类器来提取文字像素。有较好的检测率和缺失率，无需训练样本，算法的复杂度相对较低。
【专利说明】一种视频中文字的检测与提取方法
【技术领域】
[0001]本发明涉及一种视频检测。特别是涉及一种视频中文字的检测与提取方法。
【背景技术】
[0002]随着宽带网络、通信器材、存储设备以及数字电视等多媒体载体及处理设备的快速发展，视频下载和传输的安全问题越来越突出。如何有效地对视频的内容进行监控，确保视频的内容安全成为了研究的热点。通过检测视频中的文字信息是否含有特定的词语，可以实现对视频内容的有效监控。在对视频内容进行归档或检索时，也可把视频中的文字信息作为一种重要依据。在这些应用场合中，从视频中检测并提取在画面中嵌入的文字是关键的处理步骤。
[0003]文字检测的方法可分为以下三大类:基于边缘和梯度的方法、基于纹理的方法和基于连通域的方法。文字字符与背景会形成比较明显的边缘，可以利用此特点来检测文字区域，但是在复杂背景的情况下，应用边缘来检测文字会产生很多误判。基于连通域的方法是在文字字符具有相同的颜色或者灰度级这一假设上提出的，对文字检测有很大的局限性。基于纹理的方法利用图像中的文本有着与背景不同的纹理特性来决定一个像素点或图像块是否属于文本区域，该方法可以提取不同分辨率图像中不同尺寸、不同语言和不同字体的文本，具有一定的通用性，但是，它存在着计算量大和定位精度不高的缺点。
[0004]现今虽已提出很多文字检测的方法，但各种方法都有自身的优点和不足，加上复杂的背景和文字不同的颜色尺寸字体等问题使得文字检测仍然很具挑战性。
【发明内容】
[0005]本发明所要解决的技术问题是，提供一种有较好的检测率和缺失率的一种视频中文字的检测与提取方法。
[0006]本发明所采用的技术方案是:一种视频中文字的检测与提取方法，首先进行文字检测，然后进行文字提取，具体包括如下步骤:
[0007]I)启动算法，将彩色图像转换为灰度图像；
[0008]2)对灰度图像进行降采样处理，设定图像宽度的阈值为tl，当图像的宽度> tl时，作降采样处理，当图像的宽度tl <时，不作任何处理，获取的图像设为I (x，y)；
[0009]3)分别获取步骤2)中得到的图像I (X，y)的小波综合图像和角点特征图像；
[0010]4)结合角点特征图像和小波综合图像的统计特征来作为区分文字和非文字区域的特性，分别从角点特征图像和小波综合图像提取7个统计特征，产生14维的特征向量并归一化；
[0011]5)将特征向量放入k-means分类器中作分类，设定k=2，分类后将连通的文字块区域的外接矩形作为候选的文字区域；
[0012]6)对步骤3)中的角点特征图像进行二值化处理，再对处理后的二值化图像作形态学处理；[0013]7)根据形态学处理后的二值图像的饱和度和方向两个特征作候选文字区域的筛选，对筛选后获得的文字区域做一次掩膜不超过N/2的膨胀；
[0014]8)进行文字提取，包括:
[0015](I)根据步骤7)获取的文字位置信息，获取彩色文字条；
[0016](2)在RGB彩色空间中对子通道图像分别运用大津法获得阈值作二值化处理，再合并三个二值图像，仅保留文字像素的交集，即候选文字像素区域；
[0017](3)只将候选的文字像素区域的灰度值放入k-means分类器中做分类，区分标记后获取最终的文字像素区域。
[0018]步骤3)中所述的获取图像I (x，y)的小波综合图像，是对图像I(x，y)运用二维小波一级变换，分解结果为LL低频子带、LH水平方向高频子带、HL垂直方向高频子带和HH对角线方向高频子带，综合小波的三个高频子带得到小波综合图像S (x，y)，小波综合图像S (X, y)的定义:
[0019]
【权利要求】
1.一种视频中文字的检测与提取方法，其特征在于，首先进行文字检测，然后进行文字提取，具体包括如下步骤: 1)启动算法，将彩色图像转换为灰度图像； 2)对灰度图像进行降采样处理，设定图像宽度的阈值为tl，当图像的宽度>tl时，作降采样处理，当图像的宽度tl <时，不作任何处理，获取的图像设为I (x，y)； 3)分别获取步骤2)中得到的图像I(X，y)的小波综合图像和角点特征图像； 4)结合角点特征图像和小波综合图像的统计特征来作为区分文字和非文字区域的特性，分别从角点特征图像和小波综合图像提取7个统计特征，产生14维的特征向量并归一化； 5)将特征向量放入k-means分类器中作分类，设定k=2，分类后将连通的文字块区域的外接矩形作为候选的文字区域； 6)对步骤3)中的角点特征图像进行二值化处理，再对处理后的二值化图像作形态学处理； 7)根据形态学处理后的二值图像的饱和度和方向两个特征作候选文字区域的筛选，对筛选后获得的文字区域做一次掩膜不超过N/2的膨胀； 8)进行文字提取，包括 : (1)根据步骤7)获取的文字位置信息，获取彩色文字条； (2)在RGB彩色空间中对子通道图像分别运用大津法获得阈值作二值化处理，再合并三个二值图像，仅保留文字像素的交集，即候选文字像素区域； (3)只将候选的文字像素区域的灰度值放入k-means分类器中做分类，区分标记后获取最终的文字像素区域。
2.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤3)中所述的获取图像I (X，y)的小波综合图像，是对图像I (X，y)运用二维小波一级变换，分解结果为LL低频子带、LH水平方向高频子带、HL垂直方向高频子带和HH对角线方向高频子带，综合小波的三个高频子带得到小波综合图像S (X, y),小波综合图像S (X, y)的定义:
S (X? y) = ViLH2 + HLi + HH2 β
3.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤3)中所述的获取图像I (X，y)的角点特征图像，是采用如下公式:
CR(x, y) = Ax2+2Cxy+By2
其中 A = W*(Ix)2
B = W* (Iy)2
C = ff*Ix*Iy
W(u, v) = exp- (u2+v2) /2 Ix, Iy分别为I (X，y)在X和y方向的边缘幅值，Ku, v)为光滑作用的高斯模板。
4.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤4)中所述的提取7个统计特征是，分别将步骤3)中的图像S (x，y)和CR (x，y)分割为NXN大小的块G (i, j)，其中N=10，高和宽都扩展至N的倍数，扩展区域填充为O，分类后只保留扩展前的部分，对每个NXN大小的块提取7个统计特征，统计特征分别为能量、熵、惯量、局部同态性、均值、二阶中心距和三阶中心距，共7个，具体公式如下:
5.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤4)中所述的产生14维的特征向量并归一化是，由于分别从角点特征图像和小波综合图像中提取7个特征，共得到14个特征，设F为这14维特征向量，对F作归一化处理，使特征值范围规范至O到1，算法为:
6.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤5)中，将特征向量放入k-means分类器中作分类，设定k=2，以文字块个数比非文字块个数小为准贝U，修改k-means的分类结果，使文字块为1，非文字块为O，对于同一行的块，若一非文字块位于两个文字块的中间，则也被定义为文字块。
7.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤6)所述的形态学处理是:先作闭运算，使角点响应较强的部分连通，再膨胀，形成区域，最后作开运算，为使区域和区域之间的小缝隙断开分别独立。
8.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤7)所述的饱和度和方向分别是: 饱和度:设Rs为角点区域饱和度，Re为候选文字区域内角点所占面积，Rb为该候选文字区域的面积，Rs=Rc/Rb,如果Rs〈a，则该文字区域判定为伪文字区域，阈值a设定在0.2-0.3 之间； 方向:设误差为5° ,如果角点区域的方向不是0°~5°或者85°~90° ,该候选文字区域则被判定为伪文字区域，这里使用的方向是角点区域逼近椭圆的方向。
9.根据权利要求1所述的一种视频中文字的检测与提取方法，其特征在于，步骤8)所述的只将候选的文字像素区域的灰度值放入k-means分类器中做分类，区分标记后获取最终的文字像素区域是，将k设定为2，分类后的结果是比较干净的文字像素和文字边缘及干扰，以边缘和干扰的分类结果图中的连通域个数明显比文字像素分类结果图中的连通域个数多作为判断准则，准确标记k-means分类后的结果,标记文字像素为1，边缘和干扰像素为0，即得到最终提取的二值图像。
【文档编号】G06K9/46GK103699895SQ201310689506
【公开日】2014年4月2日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】褚晶辉, 吕卫, 董越 申请人:天津大学