运动字幕的去隔行方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理领域，具体而言，涉及一种运动字幕的去隔行方法及装置。
【背景技术】
[0002] 电视视频信号按隔行扫描的方式采集并发送。隔行扫描是在视频采集时，将先后 两个不同的时间点上采集的视频内容，按照按行交织的方式存储在同一帧中的技术。对于 隔行扫描信号源，将一帧图像中的所有奇数行像素抽取为顶场，将所有偶数行像素抽取为 底场，每一场为某一个时间点上完整的图像画面。在视频发送端（例如，电视台），依次对顶 场和底场视频内容进行编码和发送；在视频接收端（例如，机顶盒、电视机），依次对顶场和 底场进行接收、解码和显示。电视机所显示的视频中每一幅图像，都是一场图像而不是一帧 图像，每场图像经过电视的后处理后依次显示在屏幕上，连续播放形成视频。
[0003] 随着网络视频的兴起，通过互联网发送电视节目，通过个人电脑、移动终端等接收 并显示。电视节目的节目流按照隔行扫描方式采集和发送，而个人电脑、移动终端的显示设 备和视频播放软件不具备按场播放和后处理功能，通过个人电脑直接接收并显示电视节目 的节目流，按帧播放时就会出现明显的横向梳状条纹，这是由两个不同时刻的图像隔行拼 接形成的视觉效果。因此，在给个人电脑、移动终端等发送电视节目时，可以先对电视节目 流进行去隔行处理，再重新编码并发送。去隔行技术在视频编码端可以消除每一帧视频图 像中的横向梳状条纹，使每一帧图像看起来都像是某一个时刻完整的一幅画面，而不是由 两个不同时刻画面隔行拼接而成。
[0004] 运动字幕是一种在电视节目中很常见并且很重要的内容。运动字幕在生成时也考 虑到了电视视频信号的隔行特性，其奇数行像素和偶数行像素是对应不同显示时刻的，奇 数行和偶数行字幕像素运动所达到的位置不同。当机顶盒或电视机接收到这样的字幕时， 通过按场播放及后处理，可以清晰地显示运动字幕。
[0005] 相关技术中的去交错技术对自然物体能达到较好的去交错效果，但是对运动字幕 无法进行有效地处理。
【发明内容】
[0006] 针对相关技术无法对运动字幕进行有效的去隔行处理的问题，本发明提供了一种 运动字幕的去隔行方法及装置，以至少解决上述问题。
[0007] 根据本发明的一个方面，提供了一种运动字幕的去隔行方法，包括：读取隔行扫描 所得视频流的图像数据帧；检测所述图像数据帧中的字幕区域；确定字幕的运动方向；根 据所述运动方向移动所述字幕区域的顶场图像和/或所述字幕区域的底场图像。
[0008] 优选地，上述方法还包括：稽核移动后所述字幕区域的边缘区域是否存在形状残 缺；当稽核到所述边缘区域存在形状残缺时，对所述边缘区域进行平滑处理以减小所述形 状残缺。
[0009]优选地，确定字幕的运动方向，包括：所述字幕区域的长边对应的方向为所述运动 方向。
[0010] 优选地，根据所述运动方向移动所述顶场图像和/或所述底场图像，包括：根据所 述运动方向移动所述顶场图像和/或所述底场图像，以使移动后所述字幕区域的在所述运 动方向上的边缘强度最小。
[0011] 优选地，根据所述运动方向移动所述顶场图像和/或所述底场图像，包括：根据所 述运动方向按照不同移动距离矢量移动所述顶场图像和/或所述底场图像；计算按照所述 不同移动距离矢量移动所述字幕区域后对应的在所述运动方向上的边缘强度；选取取值最 小的边缘强度对应的移动距离矢量作为最优移动距离矢量；按照所述最优移动距离矢量移 动所述顶场图像和/或所述底场图像。
[0012] 优选地，上述方法还包括：获取所述不同移动距离矢量的取值范围和用于调整所 述不同移动距离矢量的步长。
[0013] 优选地，稽核移动后所述字幕区域的边缘区域是否存在形状残缺，包括：对所述边 缘区域移动前的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第 一数量的连通域；对所述边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线 进行连通处理，分割得到第二数量的连通域；如果所述第二数量大于所述第一数量，则存在 所述形状残缺；如果所述第二数量小于或等于所述第一数量，则不存在所述形状残缺。
[0014] 优选地，对所述边缘区域进行平滑处理以减小所述形状残缺，包括：根据基于运动 强度的自适应插值算法对所述边缘区域进行平滑处理，以减小所述形状残缺。
[0015] 优选地，检测所述图像数据帧中的字幕区域，包括：检测空间域上边缘强度与参考 帧相比大于第一预定值的第一像素点，其中所述参考帧为当前图像数据帧的前一帧；检测 时间域上与所述参考帧的像素点亮度值的差分大于第二预定值的第二像素点；检测所述图 像数据帧四周边缘预定范围内的第三像素点；按照像素点的亮度值和/或色度值对像素点 分类，确定同一所述像素点分类中位置集中的第四像素点；确定所述第一像素点、所述第二 像素点、所述第三像素点和所述第四像素点交集的像素点所在区域构成的矩形区域为所述 子辱区域。
[0016] 根据本发明的另一个方面，提供了一种运动字幕的去隔行装置，包括：读取模块， 用于读取隔行扫描所得视频流的图像数据帧；检测模块，用于检测所述图像数据帧中的字 幕区域；确定模块，用于确定字幕的运动方向；移动模块，用于根据所述运动方向移动所述 字幕区域的顶场图像和/或所述字幕区域的底场图像。
[0017] 优选地，上述装置还包括：稽核模块，用于稽核移动后所述字幕区域的边缘区域是 否存在形状残缺；处理模块，用于当稽核到所述边缘区域存在形状残缺时，对所述边缘区域 进行平滑处理以减小所述形状残缺。
[0018] 优选地，所述确定模块，用于确定所述字幕区域的长边对应的方向为所述运动方 向。
[0019] 优选地，所述移动模块，用于根据所述运动方向移动所述顶场图像和/或所述底 场图像，以使移动后所述字幕区域的边缘强度最小。
[0020] 优选地，所述移动模块包括：第一移动单元，用于根据所述运动方向按照不同移动 距离矢量移动所述顶场图像和/或所述底场图像；计算单元，用于计算按照所述不同移动 距离矢量移动所述字幕区域后对应的边缘强度；选取单元，用于选取取值最小的边缘强度 对应的移动距离矢量作为最优移动距离矢量；第二移动单元，用于按照所述最优移动距离 矢量移动所述顶场图像和/或所述底场图像。
[0021] 优选地，所述移动模块还包括：获取单元，用于获取所述不同移动距离矢量的取值 范围和用于调整所述不同移动距离矢量的步长。
[0022] 优选地，所述稽核模块包括：第一分割单元，用于对所述边缘区域移动前的图像数 据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第一数量的连通域；第二分 割单元，用于对所述边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线进行 连通处理，分割得到第二数量的连通域；第一确定单元，用于在所述第二数量大于所述第一 数量时，确定存在所述形状残缺；在所述第二数量小于或等于所述第一数量时，确定不存在 所述形状残缺。
[0023] 优选地，所述处理模块，用于根据基于运动强度的自适应插值算法对所述边缘区 域进行平滑处理，以减小所述形状残缺。
[0024] 优选地，所述检测模块包括：第一检测单元，用于检测空间域上边缘强度与参考帧 相比大于第一预定值的第一像素点，其中所述参考帧为当前图像数据帧的前一帧；第二检 测单元，用于检测时间域上与所述参考帧的像素点亮度值的差分大于第二预定值的第二像 素点；第三检测单元，用于检测所述图像数据帧四周边缘预定范围内的第三像素点；第四 检测单元，用于按照像素点的亮度值和/或色度值对像素点分类，确定同一所述像素点分 类中位置集中的第四像素点；第二确定单元，用于确定所述第一像素点、所述第二像素点、 所述第三像素点和所述第四像素点交集的像素点所在区域构成的矩形区域为所述字幕区 域。
[0025] 通过本发明，读取隔行扫描所得视频流的图像数据帧，检测该图像数据帧中的字 幕区域，确定字幕的运动方向，根据上述运动方向移动字幕区域的顶场图像和/或字幕区 域的底场图像，提高了字幕显示效果。
【附图说明】
[0026] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0027] 图1是根据本发明实施例的运动字幕的去隔行方法的流程图；
[0028] 图2是根据本发明实施例的运动字幕的去隔行装置的结构框图；
[0029] 图3是根据本发明实施例优选的运动字幕的去隔行方法的流程图；
[0030] 图4是根据本发明实施例优选的运动字幕的去隔行方法的示意图；以及
[0031] 图5是根据本发明实施例的亮度值聚类统计的示意图。
【具体实施方式】
[0032] 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的 情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0033] 图1是根据本发明实施例的运动字幕的去隔行方法的流程图，如图1所示，该方法 包括步骤S102至步骤S108。
[0034] 步骤S102,读取隔行扫描所得视频流的图像数据帧。
[0035] 步骤S104,检测上述图像数据帧中的字幕区域。字幕区域也称为字幕所在的区域。
[0036] 步骤S106,确定字幕的运动方向。
[0037] 步骤S108,根据上述运动方向移动字幕区域的顶场图像和/或字幕区域的底场图 像。
[0038] 通过本发明实施例，提高了隔行扫描所得视频流的字幕显示效果。
[0039] 在本发明实施例的一个实施方式中，步骤S108