字幕提取方法及装置与流程

文档序号:12479280阅读:来源:国知局

技术特征:

1.一种字幕提取方法,其特征在于,所述方法包括:

对视频解码得到视频帧,对所述视频帧中的像素进行字幕排布方向的连通操作,得到所述视频帧中的连通域;

基于所述视频帧中的连通域确定包括相同字幕的视频帧,并基于所述包括相同字幕的视频帧中连通域的分布位置,确定所述包括相同字幕的视频帧中的字幕区域;

针对所述字幕区域的多个通道对应构造组件树,利用所构造的组件树提取对应每个通道的对比度极值区域;

对所述多个通道的对比度极值区域进行颜色增强处理,形成颜色增强对比度极值区域;

融合多个通道的颜色增强对比度极值区域。

2.如权利要求1所述的方法,其特征在于,所述对所述视频帧中的像素进行字幕排布方向的连通操作,包括:

根据所述视频的时长提取不同时间点的视频帧,对所提取的视频帧进行腐蚀和/或扩张操作;

对进行腐蚀和/或扩张操作后的视频帧进行左向和右向的连通操作。

3.如权利要求1所述的方法,其特征在于,所述基于所述视频帧中的连通域确定包括相同字幕的视频帧,包括:

对所提取的相邻的视频帧中连通域的像素作差,若差值低于差值阈值,则判定所提取的相邻的视频帧包括相同的字幕,若所述差值高于所述差值阈值,则判定所提取的相邻的视频帧包括不同的字幕。

4.如权利要求1所述的方法,其特征在于,所述基于所述视频帧中的连通域确定包括相同字幕的视频帧,包括:

对所提取的相邻的视频帧中连通域提取特征点,若相邻的视频帧中连通域中提取的特征点匹配,则判定所提取的相邻的视频帧包括相同的字幕,若不匹配,则判定所提取的相邻的视频帧包括不同的字幕。

5.如权利要求1所述的方法,其特征在于,所述基于所述包括相同字幕的视频帧中的连通域的分布位置,确定所述包括相同字幕的视频帧中的字幕区域,包括:

在所述包括相同字幕的各视频帧中,确定连通域的边缘区域的不同分布位置分别出现的次数,并确定出现次数最多的所述分布位置形成的区域为所述字幕区域。

6.如权利要求1所述的方法,其特征在于,所述针对所述字幕区域的多个通道对应构造组件树,利用所构造的组件树提取对应每个通道的对比度极值区域,包括:

从以下通道对所述视频帧的字幕区域对应构造由嵌套的节点形成的组件树:

灰度图;基于感知的光照不变PII的色调通道;PII的饱和度通道;其中,所述组件树的节点与所述字幕区域的字符对应;

当所述节点的面积变化率相对于邻接节点的面积变化率的小于面积变化率阈值时,则确定所述节点属于相应通道的对比度极值区域。

7.如权利要求1所述的方法,其特征在于,所述对所述多个通道的对比度极值区域进行颜色增强处理,形成颜色增强对比度极值区域,包括:

确定每个通道的对比度极值区域的主要颜色;

从每个通道的对比度极值区域中提取出跟所述主要颜色相似程度满足预设条件的像素,基于所提取的像素组成相应通道的颜色增强对比度极值区域。

8.如权利要求1所述的方法,其特征在于,所述方法还包括:

对所述融合的颜色增强对比度极值区域进行文本识别;

对所识别出的文本响应视频搜索、视频推荐、视频标记分类和字幕分享至少之一的操作。

9.一种字幕提取装置,其特征在于,所述装置包括:

解码单元,用于对视频解码得到视频帧;

连通单元,用于对所述视频帧中的像素进行字幕排布方向的连通操作,得到所述视频帧中的连通域;

定位单元,用于基于所述视频帧中的连通域确定包括相同字幕的视频帧,并基于所述包括相同字幕的视频帧中连通域的分布位置,确定所述包括相同字幕的视频帧中的字幕区域;

提取单元,用于针对所述字幕区域的多个通道对应构造组件树,利用所构造的组件树提取对应每个通道的对比度极值区域;

增强单元,用于对所述融合的多个通道的对比度极值区域进行颜色增强处理,形成滤除冗余像素和噪声的颜色增强对比度极值区域;

融合单元,用于融合多个通道的对比度极值区域。

10.如权利要求9所述的装置,其特征在于,

所述连通单元,还用于根据所述视频的时长提取不同时间点的视频帧,对所提取的视频帧进行腐蚀和/或扩张操作;对进行腐蚀和/或扩张操作后的视频帧进行左向和右向的连通操作。

11.如权利要求9所述的装置,其特征在于,

所述定位单元,还用于对所提取的相邻的视频帧中连通域的像素作差,若差值低于差值阈值,则判定所提取的相邻的视频帧包括相同的字幕,若所述差值高于所述差值阈值,则判定所提取的相邻的视频帧包括不同的字幕。

12.如权利要求9所述的装置,其特征在于,

所述定位单元,还用于对所提取的相邻的视频帧中连通域提取特征点,若相邻的视频帧中连通域中提取的特征点匹配,则判定所提取的相邻的视频帧包括相同的字幕,若不匹配,则判定所提取的相邻的视频帧包括不同的字幕。

13.如权利要求9所述的装置,其特征在于,

所述定位单元,还用于在所述包括相同字幕的各视频帧中,确定连通域的边缘区域的不同分布位置分别出现的次数,并确定出现次数最多的所述分布位置形成的区域为所述字幕区域。

14.如权利要求9所述的装置,其特征在于,

所述增强单元,还用于从以下通道对所述视频帧的字幕区域对应构造由嵌套的节点形成的组件树:

灰度图;基于感知的光照不变PII的色调通道;PII的饱和度通道;其中,所述组件树的节点与所述字幕区域的字符对应;

当所述节点的面积变化率相对于邻接节点的面积变化率的小于面积变化率阈值时,确定所述节点属于相应通道的对比度极值区域。

15.如权利要求9所述的装置,其特征在于,

所述增强单元,还用于确定每个通道的对比度极值区域的主要颜色;从每个通道的对比度极值区域中提取出跟所述主要颜色相似程度满足预设条件的像素,基于所提取的像素组成相应通道的颜色增强对比度极值区域。

16.如权利要求9所述的装置,其特征在于,所述装置还包括:

识别单元,用于对所述融合的颜色增强对比度极值区域进行文本识别;

响应单元,用于对所识别出的文本响应视频搜索、视频推荐、视频标记分类和字幕分享至少之一的操作。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1