专利名称：一种立体视频字幕检测方法及使用该方法的系统的制作方法
技术领域：
本发明涉及视频处理领域技术领域，特别涉及一种立体视频字幕检测方法及使用该方法的系统。
背景技术：
目前，全自动平面立体化转换技术可以在不需要人工参与的条件下实时地将平面视频转换为立体视频，可以满足立体片源不足的问题。但是，由于一些立体视频转换算法或者系统在字幕区域会出现明显的抖动，影响观看效果。有一种字幕检测方法是通过软件检测字幕，这种方法是针对软件设计的算法，从实时视频中检测字幕区域较为困难，应用到硬件中需要较多的资源。由于硬件资源的限制，特别是硬件实时视频与软件视频的区别，不能简单地将软件算法应用到硬件系统中。另一方面，可编程器件具有体积小、成本低、速度快、并行度高等优点，利用可编程器件编程检测字幕区域，具有高效、快速的优点。因此，设计 应用于硬件的字幕区域检测方法和系统，实现实时字幕检测是目前一个亟需解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种立体视频字幕检测方法及使用该方法的系统。为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种立体视频字幕检测方法，包括如下步骤SI :输入视频同步信号和视频数据；S2:从所述输入视频同步信号中提取视频格式信息，根据所述视频格式信息和视频选择模式确定字幕检测窗格尺寸nXm，所述n为字幕检测窗格的高度，所述m为字幕检测窗格的长度；S3:根据所述视频格式信息和视频选择模式对输入视频同步信号进行延迟处理，输出延迟视频同步信号；S4 :根据视频选择模式，计算视频数据X、Y方向的边缘的绝对值之和；S5 :根据视频选择模式，对所述步骤S4的结果求取行平均值和列平均值；S6 :将所述步骤S5的结果与阈值进行比较，确定所述列平均值对应的窗格是否属于字幕区域，输出判断结果。本发明采用可编程器件编程检测字幕区域，具有体积小、成本低、高效快速的优点，这种应用于硬件的字幕区域检测方法，能够实时检测出字幕，可以用于后续的字幕识另Ij、提取视频信息、改善立体转换效果等方面。为了实现本发明的上述目的，根据本发明的另一个方面，本发明提供了一种立体视频字幕检测系统，其包括延迟模块、求边缘模块、求平均值模块、确定字幕区域模块和存储单元阵列；所述存储单元阵列包括第一存储单元阵列、第二存储单元阵列和第三存储单元阵列，所述第一存储单元阵列与求边缘模块相连，所述第二存储单元阵列与求平均值模块相连，所述第三存储单元阵列与确定字幕区域模块相连；所述延迟模块接收输入视频同步信号，对所述输入视频同步信号进行延迟处理并输出延迟视频同步信号；所述求边缘模块接收输入视频同步信号和视频数据，利用第一存储单元阵列计算视频数据X、Y方向的边缘的绝对值之和并将结果传输给求平均值模块；所述求平均值模块利用第二存储单元阵列对视频数据X、Y方向的边缘的绝对值之和求取行平均值和列平均值并将结果传输给确定字幕区域模块；所述确定字幕区域模块利用第三存储单元模块确定该均值结果对应的窗格是否属于字幕区域，输出判断结果。本发明的立体视频字幕检测系统采用可编程器件 编程检测字幕区域，具有体积小、成本低、高效快速的优点。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中图I是本发明一种优选实施方式中立体视频字幕检测系统的结构图；图2是本发明一种优选实施方式中使能信号DEN的视频数据行长和有效数据行长的关系图；图3是本发明一种优选实施方式中延迟视频同步信号Xt的实现图；图4是本发明视频数据的行平均值求取工作流程图；图5是本发明第二存储单元阵列的读写操作时序图；图6是本发明对n行对应列的行平均值求取列平均值的工作流程图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。图I是本发明一种优选实施方式中立体视频字幕检测系统的结构图，从图中可见，该立体视频字幕检测系统包括延迟模块、求边缘模块、求平均值模块、确定字幕区域模块和存储单元阵列，该存储单元阵列包括第一存储单元阵列、第二存储单元阵列和第三存储单元阵列，该第一存储单元阵列与求边缘模块相连，该第二存储单元阵列与求平均值模块相连，该第三存储单元阵列与确定字幕区域模块相连。延迟模块接收输入视频同步信号，对该输入视频同步信号进行延迟处理并输出延迟视频同步信号；求边缘模块接收输入视频同步信号和视频数据，利用第一存储单元阵列计算视频数据X、Y方向的边缘的绝对值之和并将绝对值之和传输给求平均值模块；求平均值模块利用第二存储单元阵列对视频数据X、Y方向的边缘的绝对值之和求取行平均值和列平均值并将结果传输给确定字幕区域模块；确定字幕区域模块利用第三存储单元模块确定该均值结果对应的窗格是否属于字幕区域，输出判断结果。本发明的立体视频字幕检测系统采用可编程器件编程检测字幕区域，具有体积小、成本低、高效快速的优点。从图I中可见，该立体视频字幕检测系统对立体视频字幕进行检测时，求平均值模块还与输入视频同步信号和延迟视频同步信号相连，确定字幕区域模块还与延迟视频同步信号相连。本发明还提供了一种立体视频字幕检测方法，该立体视频字幕检测方法能够应用于本发明的立体视频字幕检测系统上，该立体视频字幕检测方法包括如下步骤SI :输入视频同步信号和视频数据；S2:从输入视频同步信号中提取视频格式信息，根据视频格式信息和视频选择模式确定字幕检测窗格尺寸nXm，其中，n为字幕检测窗格的高度，m为字幕检测窗格的长度；S3:根据视频格式信息和视频选择模式对输入视频同步信号进行延迟处理，输出延迟视频同步信号；S4 :根据视频选择模式，计算视频数据X、Y方向的边缘的绝对值之和；
S5 :根据视频选择模式，对步骤S4的结果求取行平均值和列平均值；S6 :将步骤S5的结果与阈值进行比较，确定列平均值对应的窗格是否属于字幕区域，输出判断结果。在本发明的一种优选实施方式中，该立体视频字幕检测方法的步骤具体为第一步，输入视频同步信号和视频数据，在本实施方式中，该视频同步信号XO包括使能信号DEN、行同步信号HSYNC和帧同步信号VSYNC。第二步，从输入视频同步信号中提取视频格式信息，根据视频格式信息和视频选择模式确定字幕检测窗格尺寸nXm，其中，n为字幕检测窗格的高度，m为字幕检测窗格的长度。在本实施方式中，所提取的视频格式信息包括视频数据行长、有效数据行长和视频有效数据行数；视频选择模式为平面视频、列交错立体视频或行交错立体视频之一。图2是使能信号DEN的视频数据行长和有效数据行长的关系图，结合图2所示，在本实施方式中，提取视频数据行长、有效数据行长信息的方法包括在使能信号DEN有效(即DEN值为I)时累加并在使能信号DEN无效(即DEN值为0)时更新有效数据行长并将计数器归零，这样就可以提取出有效数据行长信息。对使能信号DEN的两个上升沿时间间隔进行计数，若在两上升沿之间帧同步信号VSYNC没有跳变，则在使能信号DEN上升沿处更新视频数据行长并将计数器归零；若在两上升沿之间帧同步信号VSYNC信号有跳变，则只将计数器归零，这样就可以提取出视频数据行长信息。在帧同步信号VSYNC的下降沿处更新视频有效数据行数，将计数器归零，然后开始对使能信号DEN上升沿进行计数，这样就可以提取出视频有效数据行数信息。在本实施方式中，如果有效数据行长〈1040，则取字幕检测窗格长m=16，如果有效数据行长> 1040，则取字幕检测窗格长m=32 ;如果有效数据行数〈640，则取字幕检测窗格高n=16，如果有效数据行数> 640,则取字幕检测窗格高n=32。第三步，根据获取的视频格式信息和视频选择模式对输入视频同步信号进行延迟处理，并输出延迟视频同步信号。在本实施方式中，对输入视频同步信号中的行同步信号HSYNC延迟p周期。基于视频格式信息，对视频同步信号中的帧同步信号VSYNC重复n或n+1次延迟I行的操作，然后在此基础上再延迟p周期，具体是当选择模式为普通平面视频或列交错立体视频时，帧同步信号VSYNC重复n次延迟I行的操作，当选择模式为行交错立体视频时，帧同步信号VSYNC重复n+1次延迟I行的操作。基于视频格式信息，对视频同步信号中的使能信号DEN重复n或n+1次延迟I行的操作，在此基础上再延迟p周期，具体是当选择模式为普通平面视频或列交错立体视频时，使能信号DEN重复n次延迟I行的操 作，当选择模式为行交错立体视频时，使能信号DEN重复n+1次延迟I行的操作。在这一步骤中P为最长路径上的延迟周期。具体的实现图如图3所示，从图中可见，对于行同步信号HSYNC，可以直接延迟p周期。对于使能信号DEN，需要从DEN信号中提取视频数据行长、有效数据行长两个信息，对使能信号DEN延迟n行或n+1行，在此基础上再延迟p周期，其中，延迟n行或n+1行可以通过串联n个或n+1个延迟I行的操作实现，即将延迟I行的操作重复n次或n+1次。使能信号DEN延迟I行的具体方法是在使能信号DEN上升沿处开始计数，当计数值达到有效数据行长时，将延迟信号DEN_DELAY的值设为有效(即I)并继续计数，当计数值达到视频数据行长时，将延迟信号DEN_DELAY的值设为无效(即0)并继续计数。对于帧同步信号VSYNC，需要从使能信号DEN信号中提取视频数据行长信息，对帧同步信号VSYNC延迟n行或n+1行,在此基础上再延迟p周期,延迟n行或n+1行可以通过串联n个或n+1个延迟I行的操作实现，帧同步信号VSYNC延迟I行的具体方法是在帧同步信号VSYNC跳变处记下帧同步信号VSYNC跳变前后状态并开始计数，当计数值达到视频数据行长时，根据帧同步信号VSYNC跳变前后状态对延迟信号VSYNC_DELAY产生相同的跳变，并停止计数。第四步，根据视频选择模式计算视频数据X、Y方向的边缘的绝对值之和，在本实施方式中，利用sobel算子计算视频数据X、Y方向的边缘的绝对值之和。在这个过程中，需要利用个PXK1Mt的存储单元组成的第一存储单元阵列，利用sobel算子计算视频数据X、Y方向的边缘ax、ay的绝对值之和bu的公式为当选择模式为普通平面视频时，ax-2 (ai； j—丄)+ (aj_1； J+1+ai+1；j_「ai+1，J^1)ay-2 (ai+1，j) + (ai+1，j-i+ai+1；J+1)当选择模式为列交错的立体视频时，ax-2 (aj, j+2_ai；』_2) + (aj_1； j+2+ai+1； J-+2_ai_1, j_2_ai+1，j-2)ay_2 (ai+1 ’j) + (ai+1 ’ j_2+ai+1； j+2_ai_1； j-2~3-i-i, j+2)当选择模式为行交错的立体视频时，ax-2 (ai； j—丄)+ (aj_2; j+i+ai+2, j+i_ai-2, j-i_ai+2, j-i)
ay-2 (ai+2； j_ai_2; j) + (ai+2, j-i+ai+2； j+i~ai-2, j-i_ai-2, j+i)视频数据X、Y方向的边缘的绝对值之和为Aij=(Iax^IayI)A,其中，ai,」是0 255间的证书，表示视频帧第i行第j列的灰度值，A是缩放比例，用于限制最后结果的位数，Ql为行交错下求sobel边缘所需存取的数据数量，p为所处理视频最大宽度，K1为计算结果的位数。在本实施方式中，A的取值为4，ql的取值为4，视频最大宽度P取为2880，K1为9。在本实施方式中，计算式中减法计算的具体过程为减数转换为补码，然后再与被减数进行补码的加法运算，乘法除法转换为移位运算的和，对于图像边沿的点，超出图像的区域填充为O。第五步，根据视频选择模式，对视频数据X、Y方向的边缘的绝对值之和求取行平均值和列平均值，在计算过程中需要利用q2个PXK1Mt的存储单元组成的第二存储单元阵列，其中，q2为窗格最大高度，在本实施方式中，窗格最大高度q2取值为31，计算过程具体包括如下步骤首先，对视频数据X、Y方向的边缘的绝对值之和求取行平均值并存入存储单元，对于第i行第j列的绝对值之和bu，其行平均值的求取公式为当选择模式为平面视频或者行交错立体视频时，
权利要求
1.一种立体视频字幕检测方法，其特征在于，包括如下步骤 Si:输入视频同步信号和视频数据； s2:从所述输入视频同步信号中提取视频格式信息，根据所述视频格式信息和视频选择模式确定字幕检测窗格尺寸nXm，所述n为字幕检测窗格的高度，所述m为字幕检测窗格的长度； s3:根据所述视频格式信息和视频选择模式对输入视频同步信号进行延迟处理，输出延迟视频同步信号； s4:根据视频选择模式，计算视频数据X、Y方向的边缘的绝对值之和； s5:根据视频选择模式，对所述步骤S4的结果求取行平均值和列平均值； s6:将所述步骤S5的结果与阈值进行比较，确定所述列平均值对应的窗格是否属于字幕区域，输出判断结果。
2.如权利要求I所述的立体视频字幕检测方法，其特征在于，所述视频选择模式为平面视频、列交错立体视频或行交错立体视频之一。
3.如权利要求I所述的立体视频字幕检测方法，其特征在于，在所述步骤S2中，从所述输入视频同步信号中提取的视频格式信息包括视频数据行长、有效数据行长和视频有效数据行数，如果有效数据行长〈1040，则取字幕检测窗格长m=16，如果有效数据行长> 1040，则取字幕检测窗格长m=32 ;如果有效数据行数〈640，则取字幕检测窗格高n=16，如果有效数据行数> 640，则取字幕检测窗格高n=32。
4.如权利要求I所述的立体视频字幕检测方法，其特征在于，在所述步骤S3中，对所述输入视频同步信号中的行同步信号延迟P周期；基于所述视频格式信息，对输入视频同步信号中的帧同步信号重复n或n+1次延迟I行的操作，在此基础上再延迟p周期；基于所述视频格式信息，对所述输入视频同步信号中的使能信号重复n或n+1次延迟I行的操作，在此基础上再延迟P周期，其中，P为最长路径上的延迟周期。
5.如权利要求I所述的立体视频字幕检测方法，其特征在于，在所述步骤S4中，利用sobel算子计算视频数据X、Y方向的边缘的绝对值之和。
6.如权利要求1、2、5之一所述的立体视频字幕检测方法，其特征在于，在所述步骤S4中，利用ql个pXK1IdU的存储单元组成的第一存储单元阵列，sobel算子计算视频数据X、Y方向的边缘ax、ay的绝对值之和bu的公式为 当选择模式为普通平面视频时，
7.如权利要求I所述的立体视频字幕检测方法，其特征在于，在所述步骤S5中，利用q2个PXK1Mt的存储单元组成的第二存储单元阵列，其中，q2为窗格最大高度，对步骤S4的结果求取行平均值和列平均值具体包括如下步骤 551:对步骤S4的结果中求取行平均值并存入存储单元； 552:对存储单元中各行对应列的值求列平均值。
8.如权利要求7所述的立体视频字幕检测方法，其特征在于，在所述步骤S51中，对第i行第j列的绝对值之和bu，其行平均值的求取公式为 当选择模式为平面视频或者行交错立体视频时，
9.如权利要求7所述的立体视频字幕检测方法，其特征在于，在所述步骤S52具体包括对第i行第j列的行平均值cu，读出存储单元中前n-1行对应的第j列的行平均值 >求取列平均值(Iij,公式为 当选择模式为平面视频或者行交错立体视频时， 当选择模式为列交错立体视频时，
10.如权利要求I或2所述的立体视频字幕检测方法，其特征在于，在所述步骤S6中，利用q2个pXlbit的存储单元组成的第三存储单元阵列,所述步骤S6具体包括如下步骤 561:将步骤S5的结果Clij与阈值进行比较，比较结果记为eij，如果Clij大于阈值，则标记为字幕区域，eu=l，如果du不大于阈值，则标记为非字幕区域，eiJ=0 ； 562:读出第三存储单元阵列中前n-1行的第j列的值ei_n+1,」 eg,然后再将eu存入对应的第三存储单元阵列中第i行第j列； 563:对n个值 eij运算得到e1，对e1分别延迟I m_l个周期，得到e2 em，所述e1的计算公式为 当选择模式是平面视频或列交错立体视频时，
11.如权利要求I或10所述的立体视频字幕检测方法，其特征在于，所述阈值为上一帧的最大值的10/16。
12.—种立体视频字幕检测系统，其特征在于，包括延迟模块、求边缘模块、求平均值模块、确定字幕区域模块和存储单元阵列； 所述存储单元阵列包括第一存储单元阵列、第二存储单元阵列和第三存储单元阵列，所述第一存储单元阵列与求边缘模块相连，所述第二存储单元阵列与求平均值模块相连，所述第三存储单元阵列与确定字幕区域模块相连； 所述延迟模块接收输入视频同步信号，对所述输入视频同步信号进行延迟处理并输出延迟视频同步信号； 所述求边缘模块接收输入视频同步信号和视频数据，利用第一存储单元阵列计算视频数据X、Y方向的边缘的绝对值之和并将结果传输给求平均值模块； 所述求平均值模块利用第二存储单元阵列对视频数据X、Y方向的边缘的绝对值之和求取行平均值和列平均值并将结果传输给确定字幕区域模块； 所述确定字幕区域模块利用第三存储单元模块确定该均值结果对应的窗格是否属于字幕区域，输出判断结果。
全文摘要
本发明提出了一种立体视频字幕检测方法及使用该方法的系统。该立体视频字幕检测系统包括延迟模块、求边缘模块、求平均值模块、确定字幕区域模块和存储单元阵列。该立体视频字幕检测方法包括输入视频同步信号和视频数据;提取视频格式信息并确定字幕检测窗格尺寸；对输入视频同步信号进行延迟处理；计算视频数据边缘的绝对值之和并对结果求取行平均值和列平均值；将平均值结果与阈值进行比较，确定列平均值对应的窗格是否属于字幕区域。本发明采用可编程器件编程检测字幕区域，具有体积小、成本低、高效快速的优点，这种应用于硬件的字幕区域检测方法，能够实时检测出字幕，可以用于后续的字幕识别、提取视频信息、改善立体转换效果等方面。
文档编号H04N13/04GK102724384SQ201210208898
公开日2012年10月10日 申请日期2012年6月19日 优先权日2012年6月19日
发明者戴琼海, 李龙弢, 王瑞平 申请人:清华大学