一种用于模糊视频文本信息增强的多光谱融合方法
【技术领域】
[0001] 本发明涉及一种文本信息的增强方法，特别是一种用于模糊视频文本信息增强的 多光谱融合方法。
【背景技术】
[0002] 在图像处理、模式识别和视频文档分析领域，视频文本检测和识别是当前研宄工 作中的一项新兴分支。这对于一些实时应用是很有用的，比如：基于语义的事件检索、突出 事件提取、盲人协助、安全驾驶、导航和监测。典型的算法有，鲁棒的二值化方法，超分辨率 方法和提取降级不变特征等。
[0003] 在视频文本检测和识别任务中，多种因素会影响检测和识别的结果，比如：光照、 遮挡和退化等。因此，一个鲁棒的文本信息增强算法对于退化的视频文本检测和识别工作 是很有必要的。
【发明内容】
[0004] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种用于模 糊视频文本信息增强的多光谱融合方法，从而使模糊视频帧中的文本信息得到增强。
[0005] 为了解决上述技术问题，本发明公开了一种用于模糊视频文本信息增强的多光谱 融合方法，包括以下步骤：
[0006] 步骤1，输入一个待增强文字信息的模糊视频帧作为目标视频帧，所述待增强文字 信息的模糊视频帧由模糊的文字和非文字构成；
[0007] 步骤2,将输入视频帧分别转化为四个通道图，分别是灰度图、R值图、G值图和B 值图，分别计算各幅图的局部最小值和局部最大值，通过局部最大值和局部最小值计算得 到四个通道图的简单增强图；
[0008] 步骤3,将灰度图、R值图、G值图和B值图的简单增强图按照最小值、最大值、和值、 均值、中值操作融合成五幅图；
[0009] 步骤4,将五幅融合图分别进行k = 2的k-means操作，得到五幅二值图；
[0010] 步骤5,将五幅二值图按照中值操作融合成增强图，完成增强工作。
[0011] 本发明步骤2中包括如下步骤：
[0012] 将输入视频帧转化为灰度图、R值图、G值图、B值图，分别记为Igray (X，y)，Ik(X，y)， Ic(x，y)和IB(x，y)，这里（X，y)代表图的像素点；
[0013] 对于灰度图Igray (X，y)，计算其局部最小值和局部最大值，分别记为Imin(X，y)和 Ux, y)，计算公式为：
[0014] Imin(x, y) = min ({I (xk, yk) : (xk, yk) e ff}),
[0015] Imax (x, y) = max ({I (xk, yk) : (xk, yk) e ff}),
[0016] 其中W表示以像素点（x，y)为圆心，两个像素为半径的圆形窗口，k表示窗口 W内 像素位置；
[0017] 计算灰度图IgMy(X，y)的增强图，公式为：
【主权项】
1. 一种用于模糊视频文本信息增强的多光谱融合方法，其特征在于，包括以下步骤： 步骤1，输入一个待增强文字信息的模糊视频帧作为目标视频帧，所述待增强文字信息 的模糊视频帧包含有模糊的文字； 步骤2,将目标视频帧分别转化为四个通道图，分别是灰度图、R值图、G值图和B值图， 分别计算各个通道图的局部最小值和局部最大值，通过局部最大值和局部最小值计算得到 四个通道图的简单增强图； 步骤3,将灰度图、R值图、G值图和B值图的简单增强图按照最小值、最大值、和值、均 值、中值操作融合成五幅图； 步骤4,将五幅融合图分别进行k = 2的k-means聚类处理，得到五幅二值图； 步骤5,将五幅二值图按照中值操作融合成增强图，完成增强工作。
2. 根据权利要求1所述的一种用于模糊视频文本信息增强的多光谱融合方法，其特征 在于，步骤2中包括如下步骤： 将输入的目标视频帧转化为灰度图、R值图、G值图、B值图，分别记为Igray (X，y)，Ικ(χ， y)，Ie(x，y)和ΙΒ(χ，y)，其中（X，y)代表目标视频帧的像素点； 对于灰度图IgMy(x，y)，计算其局部最小值和局部最大值，分别记为Imin(x，y)和I max(x， y)，计算公式为： Imin(x^) = min({I (xk, yk) ： (xk, yk) eff}), Imax (x，y) = max (Π (xk，yJ : (xk，yk) e w})， 其中W表示以像素点（x，y)为圆心，两个像素为半径的圆形窗口，k表示窗口 W内像素 位置； 计算灰度图Igray (X，y)的增强图Egray (X，y)，公式为：
其中，Umin和μ _分别表示局部最小值图Imin(X，y)的平均像素值和局部最大值图 Imax(x，y)的平均像素值，。_和〇眶分别表示局部最小值图Imin(x，y)的像素值的标准差 和局部最大值图I max(X，y)的像素值的标准差； 计算R值图IR(x，y)，G值图Ie(x，y)和B值图IB(x，y)的增强图，分别SE K(x，y)，Ec(x， y)和 EB(x，y):
3. 根据权利要求2所述的一种用于模糊视频文本信息增强的多光谱融合方法，其特征 在于，步骤3中，所述最小值fsMin(x，y)操作的计算方法如下： fsMin(x，y) = min({Ej(Xj，y』）：j = 1，2,3,4})， 其中1_(\，yp按照j取值从I到4分别表示灰度增强图、R值增强图、G值增强图、B 值增强图； 最大值fsMax(x，y)操作的计算方法如下： fsMax(x，y) =max({Ej(Xj，yj) :j = 1，2,3,4})， 和值fsSum(x，y)操作的计算方法如下： fsSum(x,y) = T]=i({Ej(xj,yj)}) ^ 均值fsAvg(x，y)操作的计算方法如下： fsAvg{x,y) = 中值fsMed(x，y)操作的计算方法如下： fsMed(x，y) =median({Ej(Xj，yj) :j = 1，2,3,4})〇
4. 根据权利要求3所述的一种用于模糊视频文本信息增强的多光谱融合方法，其特征 在于，步骤5中，所述中值F(x，y)操作的计算方法如下： F(x, y) = median ({Br(xr, yr) ：r = 1,2,3,4,5}), 其中4(^，^)按照r取值从I到5分别表示最小值融合图、最大值融合图、和值融合 图、均值融合图和中值融合图。
【专利摘要】本发明公开了一种用于模糊视频文本信息增强的多光谱融合方法，包括以下步骤：步骤1，输入一个待增强文字信息的模糊视频帧；步骤2，将输入视频帧分别转化为灰度图、R值图、G值图和B值图，并分别进行简单的增强操作；步骤3，将灰度图、R值图、G值图和B值图的增强图按照最小值、最大值、和值、均值、中值操作融合成五幅图；步骤4，将五幅融合图分别进行k等于2的k-means操作，得到五幅二值图；步骤5，将五幅二值图按照中值操作融合成增强图，完成增强工作。
【IPC分类】G06T5-20
【公开号】CN104835128
【申请号】CN201510186012
【发明人】路通, 翁炀冰
【申请人】南京大学
【公开日】2015年8月12日
【申请日】2015年4月17日