字幕信息段检测方法、字幕信息段检测设备以及字幕信息段检测程序的制作方法

专利名称：字幕信息段检测方法、字幕信息段检测设备以及字幕信息段检测程序的制作方法
技术领域：
本发明涉及用于检测片头片尾字幕(credit-title)段(例如，用于显示版权持有者、演员表等的字卡(telop))的片头片尾字幕段检测方法、片头片尾字幕段检测设备以及片头片尾字幕段检测程序。具体地，本发明涉及实现对叠加在视频内容上的片头片尾字幕的高速且高精确度检测/识别的片头片尾字幕段检测方法、片头片尾字幕段检测设备以及片头片尾字幕段检测程序。
背景技术：
为了检测和识别叠加在视频内容上的字卡，已经提出了众多的技术，这些技术关注于从字卡周围的每帧图像的一部分提取的特征(例如，边缘成分)和该字卡的显示持续时间。专利文献1公开了从视频自动提取固定的字卡(其不在屏幕上移动)的字卡信息显示设备。专利文献1的字卡信息显示设备使用的字卡检测方法包括两个方法针对所输入的视频的所有帧的方法和专门针对在根据指定规则抽样的帧处的方法。在任一情况下， 相应地二进制化通过执行对抽样图像的边缘检测所产生的边缘图像，并在其后通过缩窄候选区域(字卡可以存在于其中)来进行用于提取固定字卡的提取过程，缩窄是通过利用不动的边缘图像实现的，该不动的边缘图像通过计算二进制化的图像的逻辑乘积而获得。在该检测方法中，即使当字卡存在于视频内容的最后阶段或者字卡高度集中地存在于视频内容的最后阶段时，也从打开视频起执行该检测过程。专利文献2公开了用于检测在屏幕上边移动边显示的字幕(credit)的字符(字母)的视频内字幕字符检测方法。在专利文献2的视频内字幕字符检测方法中，从当前时间段的视频中获取帧图像。从所获取的各个帧图像检测特征出现在屏幕的字符显示部分中的特征点，并在其后基于所检测到的特征点的空间分布，检测各个帧图像中字幕字符的出现。 然后，将帧图像的特征点(在其中已经检测到字幕字符的出现)与后续获取的帧图像的特征点相比较，从而计算所有字幕的移动距离(移动速度)。基于计算出的移动距离，对一个帧图像的坐标值进行转换，以使得该帧图像中的(在两个帧图像中公共显示的)所有字幕与另一个帧图像中的字幕空间上重叠，从而检测出字幕字符。同样地，在该检测方法(类似于针对专利文献1的字卡信息显示设备使用的检测方法)中，即使当字卡 高度集中地存在于视频内容的最后阶段时，也从视频的开始起执行该检测过程。此外，在该检测方法中，即使在帧图像中显示的字幕字符的密度显著改变时，也执行相同的检测处理。现有技术文献专利文献专利文献1 JP-A-2001-285716专利文献2 日本专利No. 343910
发明内容
本发明要解决的问题在专利文献1中描述的字卡检测方法和专利文献2中描述的字幕检测方法中，通过利用字卡/字幕的针对一定的时间段连续地显示字符的特性，以时间序列的顺序执行检测。如果使用这些方法来从广播节目的视频内容中检测片头片尾字幕(对应于用于显示版权持有者、演员表等的字卡)，则该检测过程花费很长的时间，因为是从节目的开始起执行对片头片尾字幕(具有很高的概率出现在节目的最后阶段)的搜索。此外，因为将所有类型的字卡作为检测目标进行检测，不可能从检测到的字卡中分离出片头片尾字幕。此外，在使用相同的参数统一执行的字卡检测过程中，字卡检测在片头片尾字幕的字符串密度为低的初始阶段或者最后阶段处容易失败，涉及不能检测到片头片尾字幕的概率。因此，本发明的主要目的是提供能够降低用于片头片尾字幕检测的处理时间、并且还实现了以高的精确度单独对片头片尾字幕进行选择性检测的片头片尾字幕段检测方法、片头片尾字幕段检测设备和片头片尾字幕段检测程序。解决问题的方式依照本发明的示例性方面的片头片尾字幕段检测设备是用于从视频内容中检测片头片尾字幕的显示段的设备。该片头片尾字幕段检测设备包括输入单元，用于输入视频内容的视频数据；搜索开始点确定单元，用于基于片头片尾字幕段中以高密度来显示字符的片头片尾字幕的高字符密度部分的存在概率确定开始点，该开始点表示开始片头片尾字幕搜索处理的时间位置；以及显示段判断单元，用于通过首先对开始点执行片头片尾字幕搜索处理，并在其后从开始点向前和向后连续扩展作为搜索处理的目标的段，从而判断片头片尾字幕的显示段。依照本发明的示例性方面的片头片尾字幕段检测方法是用于从视频内容中检测片头片尾字幕的显示段的方法。该片头片尾字幕段检测方法包括步骤输入视频内容的视频数据；基于片头片尾字幕段中以高密度来显示字符的片头片尾字幕的高字符密度部分的存在概率确定开始点，该开始点表示开始片头片尾字幕搜索处理的时间位置；以及通过首先对开始点执行片头片尾字幕搜索处理，并在其后从开始点向前和向后连续扩展作为搜索处理的目标的段，从而判断片头片尾字幕的显示段。依照本发明的示例性方面的片头片尾字幕段检测程序使得用于片头片尾字幕段检测设备的计算机执行包括以下步骤的处理，其中该片头片尾字幕段检测设备用于从视频内容中检测片头片尾字幕的显示段输入视频内容的视频数据；基于片头片尾字幕段中以高密度来显示字符的片头片尾字幕的高字符密度部分的存在概率确定开始点，该开始点表示开始片头片尾字幕搜索处理的时间位置；以及通过首先对开始点执行片头片尾字幕搜索处理，并在其后从开始点向前和向后连续扩展作为搜索处理的目标的段，从而判断片头片尾字幕的显示段。本发明的有利效果通过本发明，可以加速对叠加在视频内容上的片头片尾字幕的检测处理，并提高了该片头片尾字幕检测处理的精确度。


图1描述了对依照本发明的片头片尾字幕段检测设备的第一示例性实施例的一般配置进行示出的方框图。图2描述了对图1中示出的片头片尾字幕段检测设备所执行的处理进行示出的流程图。图3描述了对片头片尾字幕搜索开始点确定单元的配置示例进行示出的方框图。图4描述了对片头片尾字幕搜索开始点确定单元的另一配置示例进行示出的方框图。图5描述了对片头片尾字幕段判断单元的配置示例进行示出的方框图。图6描述了对包括片头片尾字幕的高确信段检测单元的配置示例进行示出的方框图。图7描述了对包括片头片尾字幕的高确信段检测单元的操作示例进行示出的流程图。图8描述了对用于确定包括片头片尾字幕的高确信段的开始点的处理进行示出的流程图。图9描述了对用于确定包括片头片尾字幕的高确信段的结束点的处理进行示出的流程图。图10描述了对片头片尾字幕段开始/结束点检测单元的配置示例进行示出的方框图。图11描述了对片头片尾字幕段开始/结束点检测单元的另一配置示例进行示出的方框图。图12描述了对依照本发明的片头片尾字幕段检测设备的第二示例性实施例的一般配置进行示出的方框图。图13描述了对图12中示出的片头片尾字幕搜索开始点确定单元的配置示例进行示出的方框图。图14描述了对图12中示出的片头片尾字幕搜索开始点确定单元的另一配置示例进行示出的方框图。图15描述了对头部信息分析单元的配置示例进行示出的方框图。图16描述了对头部信息分析单元的另一配置示例进行示出的方框图。图17描述了对依照本发明的片头片尾字幕段检测设备的主要部分进行示出的方框图。
具体实施例方式<第一示例性实施例> 下面将参考附图来描述依照本发明的片头片尾字幕段检测设备的第一示例性实施例(示例性实施例1)。图1是对依照本发明的片头片尾字幕段检测设备的第一示例性实施例的一般配置进行示出的方框图。第一示例性实施例的片头片尾字幕段检测设备包括输入单元11、片头片尾字幕搜索开始点确定单元12、片头片尾字幕段判断单元13和输出单元14。输入单元 11向片头片尾字幕段判断单元13输入图像数据，作为处理的目标。片头片尾字幕搜索开始点确定单元12确定对用于开始片头片尾字幕搜索处理的时间位置进行表示的开始点。片头片尾字幕段判断单元13针对片头片尾字幕搜索开始点确定单元12所确定的搜索开始点执行搜索处理。当在搜索开始点处不存在片头片尾字幕时，片头片尾字幕段判断单元13向片头片尾字幕搜索开始点确定单元12返回判断结果。当在搜索开始点处存在片头片尾字幕时，片头片尾字幕段判断单元13从搜索开始点向前和向后扩展搜索处理的目标，并从而判断片头片尾字幕的显示段。输出单元14输出关于片头片尾字幕段的判断结果。在输入单元11处，输入压缩视频或者通过对压缩视频解码而得到的视频来作为视频数据。当输入压缩视频时，只要解码是可能的，可以将任何压缩格式(MPEG、H. 264、 MJPEG (运动 JPEG)、WMV ( Windows Media Video)、RealVideo 等)用于压缩(编码)。当对从输入单元11输入的视频数据执 行片头片尾字幕搜索处理时，片头片尾字幕搜索开始点确定单元12确定搜索处理的开始点，并向片头片尾字幕段判断单元13输出代表搜索开始点的信息。当从片头片尾字幕段判断单元13返回指示不存在片头片尾字幕段的判断结果时，片头片尾字幕搜索开始点确定单元12再次确定搜索开始点。由例如加载有使用根据预设规则操作的程序的CPU实现片头片尾字幕搜索开始点确定单元12。稍后将描述片头片尾字幕搜索开始点确定单元12的细节。片头片尾字幕段判断单元13关于片头片尾字幕搜索开始点确定单元12确定的搜索开始点，对从输入单元11输入的视频数据执行搜索处理。当发现片头片尾字幕时，片头片尾字幕段判断单元13通过将搜索处理的目标从搜索开始点向前和向后扩展来判断片头片尾字幕段，并向输出单元14输出关于显示段(例如，开始帧和结束帧)的信息。相反，当没有发现片头片尾字幕时，片头片尾字幕段判断单元13向片头片尾字幕搜索开始点确定单元12返回判断结果，并在其后关于再次确定的搜索开始点进行片头片尾字幕段判断。由例如加载有使用根据预设规则操作的程序的CPU实现片头片尾字幕段判断单元13。稍后将描述片头片尾字幕段判断单元13的细节。当片头片尾字幕段判断单元13判断存在片头片尾字幕时，输出单元14输出关于片头片尾字幕的显示段的信息。例如，当将依照本发明的片头片尾字幕段检测方法实现为程序，并且经由存储器向用于执行后续处理的程序提供关于显示段的信息时，输出单元14 向该存储器输出关于显示段的信息。图2是对图1中示出的片头片尾字幕段检测设备所执行的处理进行示出的流程图。将参考图2解释图1的片头片尾字幕段检测设备所执行的处理的一般概要。在步骤Sll中，从输入单元11输入视频数据(步骤S101)。在步骤S12中，片头片尾字幕搜索开始点确定单元12确定对用于开始片头片尾字幕搜索处理的时间位置进行表示的开始点(步骤S102)。在步骤S13中，片头片尾字幕段判断单元13判断在该开始点处是否存在片头片尾字幕(步骤S103)。当在步骤S103中不存在片头片尾字幕时，片头片尾字幕段判断单元13 向片头片尾字幕搜索开始点确定单元12告知判断结果。在这种情况下，片头片尾字幕搜索开始点确定单元12再次确定片头片尾字幕搜索开始点(步骤S102)。当在步骤S103中存在片头片尾字幕时，片头片尾字幕段判断单元13通过将搜索的范围从搜索开始点向前和向后扩展，以确定片头片尾字幕开始/结束点(步骤S104)。在步骤S104中的片头片尾字幕开始/结束点确定之后的步骤S14中，输出单元14输出关于片头片尾字幕段的信息(步骤S105)，由此，处理结束。
图3和图4是对片头片尾字幕搜索开始点确定单元的配置示例进行示出的方框图。下面将参考图3和图4来说明作为片头片尾字幕搜索开始点确定单元12的配置示例的片头片尾字幕搜索开始点确定单元12a和12b。
图3中示出的片头片尾字幕搜索开始点确定单元12a包括视频学习结果存储单元 IOla和搜索开始点选择单元102。视频学习结果存储单元IOla存储与通过学习多个节目所获得的片头片尾字幕的特性有关的信息。特别地，图3中示出的视频学习结果存储单元 IOla累积通过从大量的节目获取时间位置信息(与片头片尾字幕的字符(字母)密度增大处的时间位置有关)而估计的高密度片头片尾字幕部分的出现概率信息，该获取时间位置信息是例如通过观看节目(视觉识别)来实现的。在通过除视觉识别之外的方法来进行节目学习的情况中，基于例如已经存在的字卡检测方法获得的在各个节目中的字卡检测结果，估计在各个节目中显示片头片尾字幕的时间段以及在该时间段中的字符密度。视频学习结果存储单元IOla中累积的信息可以是分别针对各种类型的片头片尾字幕(垂直移动片头片尾字幕，水平移动片头片尾字幕等)获得的，并取决于片头片尾字幕的类型进行切换。
在片头片尾字幕搜索开始点确定单元12a中，搜索开始点选择单元102从视频学习结果存储单元IOla中读取高密度片头片尾字幕部分的出现概率信息，基于该信息确定搜索开始点，并向片头片尾字幕段判断单元13输出表示搜索开始点的信息。例如，将高密度片头片尾字幕部分的出现概率的分布中概率值达到最大值的时间位置(帧)确定为搜索开始点。片头片尾字幕段判断单元13判断在该搜索开始点处是否存在片头片尾字幕。当从片头片尾字幕段判断单元13返回指示在搜索开始点处不存在片头片尾字幕的判断结果时，搜索开始点选择单元102将搜索开始点重新确定为在例如除了已经选择过一次的开始点之外的时间位置中，高密度片头片尾字幕部分的出现概率的分布中概率值达到最大值处的时间位置(帧)。然后，搜索开始点选择单元102向片头片尾字幕段判断单元 13输出指示搜索开始点的信息。在这种情况下，可以在排除已经选择过一次的开始点附近的时间位置的情况下重新确定搜索开始点。附带地，片头片尾字幕搜索开始点确定单元12a还可以不将搜索开始点确定为具体的时间位置(帧)，而是确定为具有一时间宽度的搜索开始段。在这种情况下，例如，搜索开始点选择单元102将一窗口(具有一定宽度)关于高密度片头片尾字幕部分的出现概率的分布逐渐地进行移动。搜索开始点选择单元102对各个窗口框中的概率值积分，并将使积分值最大的窗口区域确定为搜索开始段。当从片头片尾字幕段判断单元13返回指示搜索开始段中不存在片头片尾字幕的判断结果时，搜索开始点选择单元102将搜索开始段重新确定为在除了已经选择过一次的窗口之外的窗口中，使(窗口框中的概率值的)积分值最大的另一窗口区域，并向片头片尾字幕段判断单元13输出表示该搜索开始段的信息。备选地，搜索开始点选择单元102还可以考虑在高密度片头片尾字幕部分的出现概率的分布中概率值到达局部最大值处的点，并将搜索开始段确定为在局部最大值点周围具有一定宽度的时间区域。搜索开始点选择单元102还可以将搜索开始段确定为其中出现概率保持大于或等于指定值的连续的段。同时，图4中示出的片头片尾字幕搜索开始点确定单元12b包括视频学习结果存储单元101b、搜索开始点选择单元102和高密度片头片尾字幕部分的出现概率信息计算单元103。图4中的搜索开始点选择单元102的功能与图3中的搜索开始点选择单元102的功能相似，并从而省略对其的详细说明。视频学习结果存储单元IOlb存储内容内片头片尾字幕的出现概率信息和片头片尾字幕内高字符密度部分的出现概率信息。例如通过视觉识别来从大量的节目获取片头片尾字幕的显示开始/结束时间位置，以此对内容内片头片尾字幕的出现概率信息进行估计。内容内片头片尾字幕的出现概率信息是对表示片头片尾字幕中的具体位置的(时间) 点的出现概率进行指示的信息。例如，可以使用多份片头片尾字幕的开始点来获取内容内片头片尾字幕的出现概率信息。还可能替代开始点，使用预先确定的任意的点(结束点、中点等)。同时，例如通过视觉识别来从大量的节目中获取对片头片尾字幕进行显示的段中的字符密度变化，以此对片头片尾字幕内高字符密度部分的出现概率信息进行估计。片头片尾字幕内高字符密度部分的出现概率信息是指示在片头片尾字幕段中以高密度显示字符的(时间)点的出现概率的信息。还可以从大量的节目数据片段中获取片头片尾字幕内高字符密度部分的出现概率信息。当对片头片尾字幕进行显示的时间段的长度(连续的帧所形成的大量的片头片尾字幕的帧持续时间)改变时，可以通过对片头片尾字幕的长度进行归一化来确定片头片尾字幕内高字符密度部分的出现概率信息。可以通过例如将片头片尾字幕序列的长度(取决于节目数据而变化)映射到单位时间长度来实现字幕的归一化。视频学习结果存储单元IOlb中存储的信息可以是分别针对各种类型的片头片尾字幕(垂直移动片头片尾字幕、水平移动片头片尾字幕等)获得的，并取决于片头片尾字幕的类型进行切换。高密度片头片尾字幕部分的出现概率信息计算单元103从视频学习结果存储单元IOlb读出内容内片头片尾字幕的出现概率信息和片头片尾字幕内高字符密度部分的出现概率信息。例如，高密度片头片尾字幕部分出现概率信息计算单元103通过将片头片尾字幕内高字符密度部分的出现概率信息像窗口功能一样覆盖到内容内片头片尾字幕的出现概率信息上，对高密度片头片尾字幕部分的出现概率信息进行计算。备选地，高密度片头片尾字幕部分的出现概率信息计算单元103还从视频学习结果存储单元IOlb单独读出内容内片头片尾字幕的出现概率信息，并通过假定内容内片头片尾字幕的出现概率信息基本上在片头片尾字幕段的中心处具有其分布峰值，对高密度片头片尾字幕部分的出现概率信息进行计算。接下来，将详细解释片头片尾字幕段判断单元13。图5是对片头片尾字幕段判断单元的配置示例进行示出的方框图。图5中示出的片头片尾字幕段判断单元13包括高确信段(high confident segment)，该高确信段包括片头片尾字幕检测单元201和片头片尾字幕段开始/结束点检测单元202。向包括片头片尾字幕的高确信段检测单元201提供从输入单元11输入的视频数据和从片头片尾字幕搜索开始点确定单元12输入的搜索开始点信息。包括片头片尾字幕的高确信段检测单元201考虑包括搜索开始点并具有一定时间宽度的分析窗口，并通过使用分析窗口中的帧来判断片头片尾字幕的存在/不存在。当通过该判断确定存在片头片尾字幕时，包括片头片尾字幕的高确信段检测单元201前进到高可靠性的片头片尾字幕搜索处理。高可靠性的片头片尾字幕搜索处理是用于以高的可靠性对被判断为包含片头片尾字幕的段进行确定的处理。特别地，包括片头片尾字幕的高确信段检测单元201使分析窗口在时间上从分析窗口的初始位置向前和向后连续移动，并且还在各个分析窗口位置处对片头片尾字幕的存在/不存在进行判断。在这种情况下，将通过对判断为其中显示片头片尾字幕的分析窗口进行连接所形成的段视为其中显示片头片尾字幕的可靠性高的段，并且输出表示该段的信息，以作为高可靠性片头片尾字幕段信息。当在第一判断中判断在分析窗口位置处不存在片头片尾字幕时，包括片头片尾字幕的高确信段检测单元201向片头片尾字幕搜索开始点确定单元12返回判断结果。在从片头片尾字幕搜索开始点确定单元12输入的信息不是表示具体的时间点 (帧)的搜索开始点，而是具有一时间宽度的搜索开始段的情况下，包括片头片尾字幕的高确信段检测单元201检查在该搜索开始段中是否存在有效的搜索开始点，S卩，片头片尾字幕是否实际存在于该搜索开始段中。用于判断片头片尾字幕的存在/不存在的方法与输入搜索开始点的情况下的判断方法相似。在发现有效的搜索开始点后，包括片头片尾字幕的高确信段检测单元201前进到高可靠性片头片尾字幕搜索处理。后续处理与在从片头片尾字幕搜索开始点确定单元12输入搜索开始点的情况下的处理类似。当判断在搜索开始段中不存在有效的搜索开始点时，包括片头片尾字幕的高确信段检测单元201向片头片尾字幕搜索开始点确定单元12返回判断结果。附带地，在包括片头片尾字幕的高确信段检测单元201执行的片头片尾字幕搜索处理中进行对存在/不存在片头片尾字幕的判断。通过使用例如被判断为显示字卡的帧的连续性以及在执行字卡检测处理的情况下这种帧的数目与作为搜索处理的目标的分析窗口中的帧的比率，可以实现该判断处理。可以使用各种常规的字卡检测方法来执行字卡检测处理。在这种情况下，考虑到一开始已经确定分析窗口放置在的段有高的字符密度这一事实，不要求字卡检测有高精度(fineness)/精确度。稍后将解释包括片头片尾字幕的高确信段检测单元201的其他细节。向片头片尾字幕段开始/结束点检测单元202提供从输入单元11输入的视频数据以及从包括片头片尾字幕的高确信段检测单元201输入的高可靠性片头片尾字幕段信息。片头片尾字幕段开始/结束点检测单元202通过将搜索处理的目标从视频数据中包括片头片尾字幕的高确信段向前和向后连续扩展，来检测片头片尾字幕段的开始点和结束点。其后，片头片尾字幕段开始/结束点检测单元202输出由搜索处理获得的关于片头片尾字幕段的信息。例如，片头片尾字幕段开始/结束点检测单元202仅输出片头片尾字幕段的开始帧编号和结束帧编号。稍后将解释片头片尾字幕段开始/结束点检测单元202的其他细节。图6是对包括片头片尾字幕的高确信段检测单元的配置示例进行示出的方框图。 下面将参考图6详细解释包括片头片尾字幕的高确信段检测单元201。包括片头片尾字幕的高确信段检测单元201包括处理目标帧控制单元2001、文本叠加帧检测单元2002和片头片尾字幕存在/不存在判断单元2003。处理目标帧控制单元2001从片头片尾字幕搜索开始点确定单元12接收表示具体时间位置(帧)的搜索开始点或者具有一时间宽度的搜索开始段。当从片头片尾字幕搜索开始点确定单元12输入的信息是表示具体时间位置(帧)的搜索开始点时，处理目标帧控制单元2001利用片头片尾字幕段在很多情况下比其他字卡显示段长的特性，在包含搜索开始点的段中确定具有特定宽度的帧分析窗口。处理目标帧控制单元2001从所确定的分析窗口中包含的帧中选择作为字卡检测处理的目标的帧，并向文本叠加帧检测单元2002 输出所选择的帧的帧编号。当从片头片尾字幕搜索开始点确定单元12输入的信息是具有一时间宽度的搜索开始段时，处理目标帧控制单元2001通过将搜索开始段中的各个帧位置视为搜索开始点， 从分析窗口中包含的帧的集合中选择作为字卡检测处理的目标的帧。其后，处理目标帧控制单元2001向文本叠加帧检测单元2002输出所选择的帧的帧编号。例如，可以从帧集合中的最前面的帧开始根据时间序列的顺序，或者从帧集合中的最后一帧开始按逆时间方向， 选择作为处理目标的帧。向文本叠加帧检测单元2002提供从输入单元11输入的视频数据和处理目标帧控制单元2001输入的帧编号。文本叠加帧检测单元2002判断在视频数据中具有所输入的帧编号的帧中是否显示字卡，并向片头片尾字幕存在/不存在判断单元2003输出判断结果。 例如，文本叠加帧检测单元2002首先产生视频数据中具有该帧编号的帧的帧图像。当视频数据是压缩视频时，文本叠加帧检测单元2002通过解码与帧编号对应的数据来构建帧图像。随后，文本叠加帧检测单元2002通过向所产生的帧图像应用边缘检测滤波器(二维拉普拉斯滤波器、Canny滤波器等)，以产生帧边缘图像。在本文中，所产生的帧边缘图像是指示字卡存在候选区域的图像，因为通过来自存在字卡的部分进行的计算获得很多边缘成分。通过使用帧边缘图像来检测文本叠加帧。在文本叠加帧的检测中，也可以使用在专利文献2中描述的视频内字幕字符检测方法中所使用的边缘对特征量(edge pair feature quantity)。在这种情况下，可以从处理的开始点起的任意时间方向上执行该检测处理。片头片尾字幕存在/不存在判断单元2003从文本叠加帧检测单元2002接收文本叠加帧检测结果。片头片尾字幕存在/不存在判断单元2003通过检查文本叠加帧是否连续地出现在(处理目标帧控制单元2001所确定的帧的)分析窗口中并具有指定的比率或更高的比率，文本叠加帧是否以指定的比率或更高的比率存在于分析窗口中等，对是否存在片头片尾字幕进行判断。其后，片头片尾字幕存在/不存在判断单元2003向处理目标帧控制单元2001输出判断结果，以作为片头片尾字幕存在/不存在的判断结果。当从片头片尾字幕存在/不存在判断单元2003向处理目标帧控制单元2001输出指示存在片头片尾字幕的判断结果，以作为对从片头片尾字幕搜索开始点确定单元12输入的搜索开始点或搜索开始段所指定的帧执行的片头片尾字幕搜索处理的结果时，如下进行后续处理。片头片尾字幕存在/不存在判断单元2003使分析窗口在时间上从起始的帧位置(在搜索开始点处或者在搜索开始段中)向前或向后连续移动，并进一步判断各个分析窗口位置处的片头片尾字幕的存在/不存在。在从片头片尾字幕存在/不存在判断单元 2003输出指示不存在片头片尾字幕的判断结果的点处，处理目标帧控制单元2001将通过对已经被判断为显示片头片尾字幕的分析窗口进行连接而形成的段视为高可靠性片头片尾字幕段，并向片头片尾字幕段开始/结束点检测单元202输出表示该高可靠性片头片尾字幕段的信息，以作为高可靠性片头片尾字幕段信息。相反，当从片头片尾字幕存在/不存在判断单元2003向处理目标帧控制单元2001 输出指示不存在片头片尾字幕的判断结果，以作为对从片头片尾字幕搜索开始点确定单元12输入的搜索开始点或搜索开始段所指定的帧执行的片头片尾字幕搜索处理的结果时，处理目标帧控制单元2001向片头片尾字幕搜索开始点确定单元12发送判断结果，以作为片头片尾字幕存在/不存在的判断结果。图7是对包括片头片尾字幕的高确信段检测单元的操作示例进行示出的流程图。 下面将参考图7解释包括片头片尾字幕的高确信段检测单元201的操作示例。图7示出了向图6中示出的处理目标帧控制单元2001输入表示具体时间位置(帧)的搜索开始点的情况。首先，处理目标帧控制单元2001获取搜索开始点(搜索开始帧编号假定为“帧 I。”)(步骤S2001)。处理目标帧控制单元2001设置在搜索开始点附近具有窗口宽度2w+l 的帧分析窗口，并将分析窗口内部(假定为帧I1-I2)指定为搜索段(步骤S2002)。随后，处理目标帧控制单元2001将在步骤S2002中指定的搜索段中的最前面的帧(帧I1)指定为第一处理目标帧(步骤S2003)。文本叠加帧检测单元2002执行对处理目标帧的字卡检测处理(步骤S2004)。在该步骤S2004中，判断是否在该帧中显示字卡，并且当显示字卡时，将判断结果f (I)设置为l(f(I) = 1)或者当不显示字卡时，将判断结果f (I)设置为0(f(I) =0)。然后，文本叠加帧检测单元2002移动处理目标帧(图7中表达为“I++”)(步骤 S2005)并执行相同的处理。当完成字卡检测处理直至搜索段中的最后一帧(步骤S2006)， 即，当满足I》I2时，片头片尾字幕存在/不存在判断单元2003通过检查在搜索段中是否包括超过指定比率(Nth)的字卡检测帧，来判断是否存在片头片尾字幕(步骤S2007)。当判断不存在片头片尾字幕时，片头片尾字幕存在/不存在判断单元2003向片头片尾字幕搜索开始点确定单元12发送判断结果(步骤S2008)。当判断存在片头片尾字幕时，片头片尾字幕存在/不存在判断单元2003检测在其中显示片头片尾字幕的可靠性高的段的开始点 (Istart)和结束点(Iend)(步骤S2009)。其后，片头片尾字幕存在/不存在判断单元2003向片头片尾字幕段开始/结束点检测单元202输出通过检测处理获得的高可靠性片头片尾字幕段信息(步骤S2010)。稍后将解释步骤S2009的操作的另一详细示例。附带地，同样，当在步骤S2001中输入了具有一时间宽度的搜索开始段时，通过将搜索开始段中的点视为步骤S2002-2010的处理中的搜索开始点，可以在不进行改变的情况下使用步骤S2002-2010 的处理流程。图8是对用于确定包括片头片尾字幕的高确信段的开始点的处理进行示出的流程图，该处理包括在图7中的步骤S2009中。首先，处理目标帧控制单元2001通过在时间上向前移动(在图7的步骤S2002 中设置的)帧分析窗口，改变用于片头片尾字幕存在/不存在判断的段(步骤S2011)。文本叠加帧检测单元2002执行对新增加到分析窗口(假定为帧J1-J2)的帧(帧J1)的文本叠加帧检测处理(步骤S2003)。片头片尾字幕存在/不存在判断单元2003通过检查在分析窗口中是否包括超过指定比率的字卡检测帧，对是否存在片头片尾字幕进行判断(步骤 S2007)。当判断存在片头片尾字幕时，进一步向前移动帧分析窗口(图8中表达为“Λ-” 和“J2-”)(步骤S2012)并执行相同的处理。当判断不存在片头片尾字幕时，将在该点处的帧分析窗口的最前面的帧确定为高可靠性片头片尾字幕段的开始点(Istot)。虽然在本示例中将最前面的帧确定为开始点，还可能将与该最前面的帧距离指定帧数目的帧确定为开
17始点。例如，可能通过评估可靠性，在最前面的帧处采用小的余量M，并将帧J1+Μ确定为开始帧。图9是对用于确定包括片头片尾字幕的高确信段的结束点的处理进行示出的流程图，该处理包括在图7中的步骤S2009中。首先，处理目标帧控制单元2001通过在时间上向后移动(在图7的步骤S2002中设置的)帧分析窗口，改变用于片头片尾字幕存在/不存在判断的段(步骤S2014)。文本叠加帧检测单元2002执行对新增加到分析窗口的帧(帧K2)的文本叠加帧检测处理(步骤 S2003)。片头片尾字幕存在/不存在判断单元2003通过检查在分析窗口中是否包括超过指定比率的字卡检测帧，对是否存在片头片尾字幕进行判断(步骤S2007)。当判断存在片头片尾字幕时，进一步向后移动帧分析窗口 (图9中表达为‘％++”和“K2++”)(步骤S2015) 并执行相同的处理。当判断不存在片头片尾字幕时，将在该点处的帧分析窗口的结束帧确定为高可靠性片头片尾字幕段的结束点。虽然在本示例中将结束帧确定为结束点，还可能将与该结束帧距离指定帧数目的帧确定为结束点。例如，可能通过评估可靠性，在结束帧K2 处采用小的余量Μ,并将帧K2-M确定为结束帧。用于确定高可靠性片头片尾字幕段的开始点和结束点的处理(图8，图9)中的任何处理都可以首先执行。图10和图11是对片头片尾字幕段开始/结束点检测单元的配置示例进行示出的方框图。下面将参考图10和图11来说明作为片头片尾字幕段开始/结束点检测单元202 的配置示例的片头片尾字幕段开始/结束点检测单元202a和202b图10中示出的片头片尾字幕段开始/结束点检测单元202a包括片头片尾字幕段判断控制单元2101、包括视频内片头片尾字幕的高确信段分析单元2102、文本叠加帧检测单元2013以及片头片尾字幕存在/不存在判断单元2003。片头片尾字幕段判断控制单元2101从包括片头片尾字幕的高确信段检测单元 201接收高可靠性片头片尾字幕段信息。片头片尾字幕段判断控制单元2101从由高可靠性片头片尾字幕段信息指定的包括片头片尾字幕的高确信段的开始点或结束点毗邻的帧开始连续选择处理目标帧，并连续向文本叠加帧检测单元2103输出所选择的帧的帧编号。在本文中，与图6中示出的处理目标帧控制单元2001对帧分析窗口的设置类似，片头片尾字幕段判断控制单元2101设置具有一定宽度的帧分析窗口。片头片尾字幕段判断控制单元 2101所设置的帧分析窗口的窗口宽度可以等于或者不同于处理目标帧控制单元2001所确定的帧分析窗口的窗口宽度。向包括视频内片头片尾字幕的高确信段分析单元2102提供从输入单元11输入的视频数据和从包括片头片尾字幕的高确信段检测单元201输入的包括片头片尾字幕的高确信段信息。包括视频内片头片尾字幕的高确信段分析单元2102对包括片头片尾字幕的高确信段中的视频数据进行分析。包括视频内片头片尾字幕的高确信段分析单元2102向文本叠加帧检测单元2103输出分析结果，特别是利用片头片尾字幕中的字符(字母)的公共特征的分析结果，作为包括视频内片头片尾字幕的高确信段分析结果。执行该处理，以提取对文本叠加帧检测单元2103的检测精确度的提高做出贡献的信息。包括视频内片头片尾字幕的高确信段分析单元2102的分析所获得的信息可以包括各种信息，例如，如字符移动距离信息(专用于移动类型的片头片尾字幕)、字符字体信息(字符颜色、有/没有边缘、边缘颜色、字符笔画宽度、字符纵横比、字符大小、字符版式设计等)以及字符显示区域信息。在片头片尾字幕是移动类型的情况下，包括视频内片头片尾字幕的高确信段分析单元2102计算在包括片头片尾字幕的高确信段中的各个帧图像中的场间(inter-field) 字符移动距离(可以针对各个帧来计算)。利用片头片尾字幕中的字符一般具有在恒定方向上以恒定速度移动的特性这一事实，可以将本处理中在包括片头片尾字幕的高确信段中计算的场间字符移动距离的模式(最频繁的值)用作表示片头片尾字幕中的字符移动速度的数值。当关注字符字体(特别是字符颜色)时，特别地，包括视频内片头片尾字幕的高确信段分析单元2102首先计算包括片头片尾字幕的高确信段中的帧边缘图像，并将在连续的帧中以高密度出现边缘的区域确定为帧内高精确度字符显示区域。然后，包括视频内片头片尾字幕的高确信段分析单元2102获取在帧内高精确度字符显示区域中的从其提取出边缘的像素的颜色信息。考虑到在很多情况下片头片尾字幕使用相同颜色的字符这一特性，本文中所获取的颜色信息包括片头片尾字幕中的多数字符的颜色。同样地，当关注于除字符颜色之外的字符字体信息时，与关注于字符颜色的情况相似，包括视频内片头片尾字幕的高确信段分析单元2102可以通过首先确定帧内高精确度字符显示区域来获取信息。当关注于字符显示区域(字符显示于其中)时，包括视频内片头片尾字幕的高确信段分析单元2102通过利用片头片尾字幕在屏幕上的具体区域中连续显示一定长度的时间这一特性以及帧内高精确度字符显示区域在整个包括片头片尾字幕的高确信段上的连续性，确定片头片尾字幕中显示字符的概率高的区域。特别地，包括视频内片头片尾字幕的高确信段分析单元2102考虑具有特定宽度的分析窗口，使用分析窗口中的帧来计算帧内高精确度字符显示区域，以及在之后移动分析窗口并类似地执行对帧内高精确度字符显示区域的计算。针对包括片头片尾字幕的整个高确信段执行本处理。可以将交叠的帧内高精确度字符显示区域(在各个分析窗口位置处对各个区域进行计算)的数目最大的区域视为其中显示片头片尾字幕中的字符的概率高的区域。文本叠加帧检测单元2103执行与图6中示出的文本叠加帧检测单元2002所执行的字卡检测处理相类似的字卡检测处理，区别在于以下不同文本叠加帧检测单元2103从包括视频内片头片尾字幕的高确信段分析单元2102接收对包括片头片尾字幕的高确信段的视频分析结果，并通过使用该视频分析结果来执行字卡检测处理。例如，在从包括视频内片头片尾字幕的高确信段分析单元2102输入关于字符移动距离的信息，以作为对包括片头片尾字幕的高确信段的视频分析结果的情况下，文本叠加帧检测单元2103通过分析由执行与字符移动距离相对应的运动补偿而造成的帧图像中的边缘数目的改变，执行字卡检测处理。在输入关于字符颜色的信息的情况下，文本叠加帧检测单元2103还通过计算帧内高精确度字符显示区域中的字符颜色占有率，获取与帧内高精确度字符显示区域有关的信息并执行字卡检测处理。在输入字符显示区域的信息的情况下，文本叠加帧检测单元2103在对帧图像中的字符显示区域进行加权之后执行字卡检测处理。片头片尾字幕存在/不存在判断单元2003针对片头片尾字幕段判断控制单元 2101所设置的分析窗口对片头片尾字幕的存在/不存在进行判断，该判断通过检查文本叠加帧是否连续地出现在分析窗口中并具有指定的比率或更高的比率，文本叠加帧是否以指定的比率或更高的比率存在于分析窗口中等来进行。其后，片头片尾字幕存在/不存在判断单元2003向片头片尾字幕段判断控制单元2101输出判断结果，作为片头片尾字幕存在/ 不存在的判断结果。该功能与图6中示出的片头片尾字幕存在/不存在判断单元2003的功能相同。附带地，片头片尾字幕段开始/结束点检测单元20 能够按时间向前或者向后执行片头片尾字幕搜索处理。在按时间向前的搜索中，片头片尾字幕段开始/结束点检测单元20 使用分析窗口从高可靠性片头片尾字幕段(其最前面的帧已在图8中的步骤S2013 中确定，并已经输入到片头片尾字幕段开始/结束点检测单元20 )的开始点的前一帧的位置开始搜索。在按反向时间的搜索中，片头片尾字幕段开始/结束点检测单元20 使用分析窗口从高可靠性片头片尾字幕段(其结束帧已在图9中的步骤S2016中确定，并已经输入到片头片尾字幕段开始/结束点检测单元202a)的结束点的后一帧的位置开始搜索。 当从片头片尾字幕存在/不存在判断单元2003返回指示分析窗口中存在片头片尾字幕的判断结果，以作为关于分析窗口中的帧的片头片尾字幕存在/不存在的判断结果时，片头片尾字幕段开始/结束点检测单元20 连续移动分析窗口，并且还在各个分析窗口位置处执行片头片尾字幕存在/不存在的判断处理。在当返回指示不存在片头片尾字幕的判断结果时的点处，片头片尾字幕段开始/结束点检测单元20 将对已经被判断为显示片头片尾字幕的分析窗口进行连接而形成的段视为片头片尾字幕段，并向输出单元14输出表示片头片尾字幕段的信息。同时，图11中示出的片头片尾字幕段开始/结束点检测单元202b包括包括片头片尾字幕的高确信段的前/后相邻段的参数重新确定单元2104、文本叠加帧检测单元 2105、以及片头片尾字幕存在/不存在判断单元2003。包括片头片尾字幕的高确信段的前/后相邻段的参数重新确定单元2104具有包括图10中示出的片头片尾字幕段判断控制单元2101的功能在内的功能。包括片头片尾字幕的高确信段的前/后相邻段的参数重新确定单元2104从包括片头片尾字幕的高确信段检测单元201接收包括片头片尾字幕的高确信段信息，并重新确定处理目标帧以及关于与包括片头片尾字幕的高确信段的前端和后端相邻的段的参数值。特别地，与包括片头片尾字幕的高确信段检测单元201中执行的操作相比，包括片头片尾字幕的高确信段的前/后相邻段的参数重新确定单元2104在利于文本叠加帧检测的方向上改变用于边缘检测的参数值等。其后，包括片头片尾字幕的高确信段的前/后相邻段的参数重新确定单元2104向文本叠加帧检测单元2105输出已改变的参数值以及与处理目标帧有关的帧编号信息。文本叠加帧检测单元2105执行与图6中示出的文本叠加帧检测单元2002所执行的字卡检测处理相似的字卡检测处理，不同在于文本叠加帧检测单元2105使用包括片头片尾字幕前/后相邻段参数重确定单元2104重新确定的参数值来执行字卡检测处理。因此，为了简洁起见，省略对该处理的详细解释。片头片尾字幕存在/不存在判断单元2003 执行与图10中示出的片头片尾字幕存在/不存在判断单元2003所执行的片头片尾字幕存在/不存在判断处理相类似的判断处理。在第一示例性实施例的片头片尾字幕检测中，通过利用大量的节目实现了不是从视频数据的最前面的帧，而是从存在片头片尾字幕的概率高的区域开始检测处理，由此，使得对片头片尾字幕检测处理的加速成为可能。首先检测看起来在其中显示片头片尾字幕的概率高的段，并在其后对搜索和检测片头片尾字幕段的开始点和结束点的范围进行扩展， 这种两级处理实现了对片头片尾字幕段检测处理的精确度的提高。〈第二示例性实施例〉下面将参考附图来描述依照本发明的片头片尾字幕段检测设备的第二示例性实施例(示例性实施例2)。图12是对依照本发明的片头片尾字幕段检测设备的第二示例性实施例的一般配置进行示出的方框图。第二示例性实施例的一般配置与第一示例性实施例的一般配置的不同之处在于从输入单元21向片头片尾字幕搜索开始点确定单元22输入视频数据。其他组件与图1中示出的第一示例性实施例的一般配置的组件相等效，并从而省略对其的详细解释。片头片尾字幕搜索开始点确定单元22不是使用视频学习结果，而是通过从输入单元 21直接接收视频数据并使用该视频数据，来确定搜索开始点。下面将解释片头片尾字幕搜索开始点确定单元22的进一步细节。图13和图14是对图12中示出的片头片尾字幕搜索开始点确定单元的配置示例进行示出的方框图。下面将参考图13和图14来说明作为片头片尾字幕搜索开始点确定单元22的配置示例的片头片尾字幕搜索开始点确定单元2 和22b。图13中示出的片头片尾字幕搜索开始点确定单元2 包括帧图像产生单元111、 帧边缘图像产生单元112、内容内边缘数目分布分析单元113、以及搜索开始点选择单元 102。搜索开始点选择单元102等效于第一示例性实施例中的搜索开始点选择单元102，并从而省略对其的详细解释。帧图像产生单元111从输入单元21接收视频数据，并从视频数据产生各个视频图像。当视频数据是压缩视频时，帧图像产生单元111通过对压缩视频进行解码来构建帧图像。当视频数据是已经被解码的非压缩视频时，帧图像产生单元111通过提取来构建帧图像。在这种情况下，理想的是，不是将每个帧而是将在指定段处选择的帧作为处理目标帧来进行处理。帧边缘图像产生单元112从帧图像产生单元111接收帧图像，并通过使用边缘检测滤波器(二维拉普拉斯滤波器、Carmy滤波器等)从该帧图像产生帧边缘图像。内容内边缘数目分布分析单元113从帧边缘图像产生单元112接收帧边缘图像中的边缘的数目，并从帧图像产生单元111接收作为处理目标的帧图像的帧号，并因此计算高密度片头片尾字幕部分的出现概率信息。在边缘数目大的区域中(由预设的帧段处的帧组成)，该概率呈现出高的值，因为这种区域被判断为具有片头片尾字幕中的高的字符密度。相反，在边缘的数目小的区域中，该概率呈现出低的值。同时，图14中示出的片头片尾字幕搜索开始点确定单元22b包括头部信息提取单元121、头部信息分析单元122和搜索开始点选择单元102。搜索开始点选择单元102与第一示例性实施例中的搜索开始点选择单元102等效，并从而省略对其的详细解释。头部信息提取单元121提取包含在从输入单元21输入的压缩视频中的头部信息。 例如，当输入以MPEG格式压缩的视频时，与针对各个宏块确定的运动矢量有关的信息包含在头部信息中。该信息由头部信息提取单元121所获取。头部信息还包含与在宏块的单元中使用的DCT模式(帧DCT或场DCT)有关的信息。该信息也由头部信息提取单元121获取。
21
头部信息分析单元122从头部信息提取单元121接收头部信息，并计算高密度片头片尾字幕部分的出现概率信息。下面将解释头部信息分析单元122的进一步细节。图15和16是对头部信息分析单元的配置示例进行示出的方框图。下面将参考图 15和16解释作为头部信息分析单元122的配置示例的头部信息分析单元12 和122b。可以通过帧内图像运动矢量分析单元1221来实现图15中示出的头部信息分析单元12加。然而，仅当片头片尾字幕是移动类型时，该配置才是可能的。在这种配置中，帧内图像运动矢量分析单元1221从头部信息提取单元121提取运动矢量信息和帧编号，并通过使用所提取的信息来计算高密度片头片尾字幕部分的出现概率信息。在帧图像中的运动矢量方向的一致性程度高并且在固定的帧段中运动矢量方向没有太大改变的区域中，该概率呈现出高的值，因为这种区域被判断为包括片头片尾字幕中的高字符密度区域。相反，在帧图像中的运动矢量方向的一致性程度低的区域中，该概率呈现出低的值。这些趋势是由在移动类型的片头片尾字幕中移动方向和移动速度是恒定的这一片头片尾字幕的特性所导致的。同时，可以通过帧内图像高频率组件存在/不存在分析单元1222来实现图16中示出的头部信息分析单元122b。然而同样地，仅当片头片尾字幕是移动类型时，该配置才是可能的。在这种配置中，帧内图像高频率组件存在/不存在分析单元1222从头部信息提取单元121提取关于所选择的DCT模式和帧编号的信息，并通过使用所提取的信息来计算高密度片头片尾字幕部分的出现概率信息。在帧图像中对场DCT进行多次选择并且在固定的帧段中继续该趋势的区域中，该概率呈现出高的值，因为这种区域被判断为具有片头片尾字幕中的高字符密度区域。相反，在对帧DCT进行多次选择的区域中，该概率呈现出低的值。这些趋势是由以下原因造成的。在片头片尾字幕所叠加到的段中，各个帧图像包括了其中在垂直方向上对齐的像素交替地呈现出高值和低值的大量区域。在这种段中，由于高频成分的增加，倾向于选择场DCT。在第二示例性实施例的片头片尾字幕检测中，首先粗略地检测存在片头片尾字幕的概率高的区域，并在其后从该区域开始检测处理。因此，在不需要从视频数据的最前面的帧开始检测处理的情况下，也可能加速片头片尾字幕检测处理。首先检测看起来其中显示片头片尾字幕的概率高的段，并在其后从该段起扩展搜索范围以及检测片头片尾字幕段的开始点和结束点，这种两级处理实现了对片头片尾字幕段检测处理的精确度的提高。图17是对依照本发明的片头片尾字幕段检测设备的主要部分进行示出的方框图。如图17中所示的，片头片尾字幕段检测设备1包括输入单元2(例如，图1中示出的输入单元11)，用于输入视频内容的视频数据；搜索开始点确定单元3 (例如，图1中示出的片头片尾字幕搜索开始点确定单元12)，用于确定开始点，该开始点表示基于片头片尾字幕段中以高密度来显示字符的片头片尾字幕的高字符密度部分的存在概率来开始片头片尾字幕搜索处理的时间位置；以及显示段判断单元4 (例如，图1中示出的片头片尾字幕段判断单元13)，用于通过首先对开始点执行片头片尾字幕搜索处理，并在其后从该开始点向前和向后对作为搜索处理的目标的段连续进行扩展，以此判断片头片尾字幕的显示段。在以上配置的片头片尾字幕段检测设备中，通过从高字符密度部分开始搜索，对片头片尾字幕的显示段进行判断(在高字符密度部分中，片头片尾字幕中的字符串密度高，并且检测到片头片尾字幕的概率高)，以及执行对该显示段中的片头片尾字幕的搜索。因此，可以加速对片头片尾字幕的检测，并且可以增大片头片尾字幕检测处理的精确度。以上示例性实施例还已公开了如下(1)-(16)所配置的片头片尾字幕段检测设备。(1)当在针对开始点执行的片头片尾字幕搜索处理中判断不存在片头片尾字幕时，显示段判断单元请求搜索开始点确定单元重新确定搜索处理的开始点，直至发现存在片头片尾字幕的时间位置，并在其后通过从作为已被判断为存在片头片尾字幕的位置的重新确定的开始点开始搜索处理，以此对片头片尾字幕的显示段进行判断(例如，由步骤 S102-S104实现)。在以上配置的片头片尾字幕段检测设备中，可以提高片头片尾字幕检测的速度。(2)片头片尾字幕段检测设备还可以包括学习结果存储单元(例如，图3中示出的视频学习结果存储单元101)，用于通过学习多个视频内容项目对片头片尾字幕的高字符密度部分的存在概率进行确定，并将所确定的概率信息存储为高密度片头片尾字幕部分的出现概率信息。搜索开始点确定单元(例如，由第一示例性实施例中的片头片尾字幕搜索开始点确定单元1 实现)，基于存储在学习结果存储单元中的高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。在以上配置的片头片尾字幕段检测设备中，基于之前已经学习和累计的与片头片尾字幕的特性有关的信息，搜索和确定搜索开始点。因此，可以提高片头片尾字幕检测的速度。(3)学习结果存储单元(例如，图4中示出的视频学习结果存储单元101b)，存储通过学习多个视频内容项目中的显示片头片尾字幕的段而计算出的内容内片头片尾字幕的出现概率信息，以及存储通过学习这种显示片头片尾字幕的段中的字符密度而计算出的片头片尾字幕内高字符密度部分的出现概率信息。学习结果存储单元包括出现概率信息计算单元，用于基于内容内片头片尾字幕的出现概率信息和片头片尾字幕内高字符密度部分的出现概率信息计算高密度片头片尾字幕部分的出现概率信息。搜索开始点确定单元(例如，由第一示例性实施例中的片头片尾字幕搜索开始点确定单元12b实现)基于出现概率信息计算单元计算出的的高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。在以上配置的片头片尾字幕段检测设备中，基于之前已经学习和累计的与片头片尾字幕的特性有关的信息，搜索和确定搜索开始点。因此，可以提高片头片尾字幕检测的速度。(4)学习结果存储单元将被认为在其中心部分附近具有高值的分布存储为片头片尾字幕内高字符密度部分的出现概率信息(例如，第一示例性实施例中的高密度片头片尾字幕部分的出现概率信息计算单元103所进行的处理示例中所描述的)。在如上配置的片头片尾字幕段检测设备中，可以提高用于计算高密度片头片尾字幕部分的出现概率信息的处理的速度(通过读出片头片尾字幕内高字符密度部分的出现概率信息来计算)。(5)搜索开始点确定单元(例如，由第二示例性实施例中的片头片尾字幕搜索开始点确定单元22所实现)通过使用分析所输入的视频内容的视频数据而获取的特征量，估计片头片尾字幕的高字符密度部分的存在概率，以此确定用于开始片头片尾字幕搜索处理的开始点。在上述配置的片头片尾字幕段检测设备中，首先粗略地检测片头片尾字幕的存在概率高的区域，并在其后从该区域开始检测处理，例如，由此可以消除从视频数据的最前面的帧执行检测处理的需要，并实现了对片头片尾字幕检测处理的加速。
(6)该特征量是边缘数目的分布。搜索开始点确定单元从输入的视频数据产生帧图像(例如，帧图像产生单元111)，通过计算所产生的帧图像的边缘成分来产生帧边缘图像(例如，帧边缘图像产生单元112)，通过分析内容中的帧边缘图像的边缘数目的分布来计算高密度片头片尾字幕部分的出现概率信息(例如，内容内边缘数目分布分析单元 113)，并基于所计算出的高密度片头片尾字幕部分的出现概率信息来确定用于开始片头片尾字幕搜索处理的开始点(例如，由第二示例性实施例中的片头片尾字幕搜索开始点确定单元2 实现)。在如上配置的片头片尾字幕段检测设备中，通过利用对边缘数目的分析， 可以提高用于确定片头片尾字幕搜索处理的开始点的处理的精确度，由此可以提高在所确定的开始点处片头片尾字幕的存在概率。(7)特征量是从头部信息获取的统计量，并且视频数据是压缩数据。搜索开始点确定单元提取所输入的压缩视频数据中包含的头部信息(例如，头部信息提取单元121)，通过分析所提取的头部信息来计算高密度片头片尾字幕部分的出现概率信息(例如，头部信息分析单元122)，并基于所计算出的高密度片头片尾字幕部分的出现概率信息来确定用于开始片头片尾字幕搜索处理的开始点(例如，由第二示例性实施例中的片头片尾字幕搜索开始点确定单元22b实现)。在如上配置的片头片尾字幕段检测设备中，通过使用头部信息，可以提高用于确定片头片尾字幕搜索处理的开始点的处理的精确度，由此可以提高在所确定的开始点处片头片尾字幕的存在概率。(8)统计量是针对各个宏块确定的运动矢量。搜索开始点确定单元通过分析帧图像中运动矢量方向的一致性程度，计算高密度片头片尾字幕部分的出现概率信息(例如， 帧内图像运动矢量分析单元1221)。在如上配置的片头片尾字幕段检测设备中，通过分析帧图像中运动矢量方向的一致性程度，可以提高用于确定片头片尾字幕搜索处理的开始点的处理的精确度，由此可以提高在所确定的开始点处片头片尾字幕的存在概率。(9)统计量是针对各个宏块确定的DCT模式。搜索开始点确定单元通过使用帧图像中的对场DCT的选择的频率或分布来分析高频成分的存在/不存在，由此计算高密度片头片尾字幕部分的出现概率信息(例如，帧内图像高频成分存在/不存在分析单元1222)。 在如上配置的片头片尾字幕段检测设备中，通过分析帧图像中高频成分的存在/不存在， 可以提高用于确定片头片尾字幕搜索处理的开始点的处理的精确度，由此可以提高在所确定的开始点处片头片尾字幕的存在概率。(10)显示段判断单元，通过首先将可以高可靠性地检测到片头片尾字幕的段检测为包括片头片尾字幕的高确信段，并在然后将作为片头片尾字幕搜索处理的目标的段从包括片头片尾字幕的高确信段向前和向后连续扩展，以此检测片头片尾字幕段的开始点和结束点(例如，由片头片尾字幕段开始/结束点检测单元202实现)。在如上配置的片头片尾字幕段检测设备中，首先检测看起来显示片头片尾字幕的可靠性高的段，并在其后扩展对片头片尾字幕段的开始点和结束点进行搜索和检测的范围，通过这样的两阶段处理可以提高片头片尾字幕段检测处理的精确度。(11)显示段判断单元通过首先对从输入单元输入的视频数据的片头片尾字幕段的开始点的候选点执行文本叠加帧检测处理，并在然后利用片头片尾字幕段在很多情况下比其他字卡显示段长的特性判断文本叠加帧的连续性，以此计算包括片头片尾字幕的高确信段信息(例如，由步骤S2001-2010实现)。在如上配置的片头片尾字幕段检测设备中，可以提高片头片尾字幕段检测处理的效率，因为基于文本叠加帧的连续性计算与存在片头片尾字幕的可靠性高的段有关的信息。(12)显示段判断单元，通过关于与包括片头片尾字幕的高确信段的前端和后端相邻的段来重新确定在文本叠加帧确定处理中使用的参数值，以便促进文本叠加帧检测(例如，包括片头片尾字幕的高确信段的前/后相邻段的参数重新确定单元2104)，并使用重新确定的参数值来执行文本叠加帧检测处理(例如，文本叠加帧检测单元210 ，以此判断片头片尾字幕段(例如，在片头片尾字幕段开始/结束点检测单元202b中包括的片头片尾字幕存在/不存在判断单元200 。在以上配置的片头片尾字幕段检测设备中，可以提高文本叠加帧检测处理的效率。(13)显示段判断单元，通过使用涉及字卡的特征量来分析与包括片头片尾字幕的高确信段的前端和后端相邻的段，以此判断片头片尾字幕段，其中该涉及字卡的特征量是通过针对从输入单元输入的视频数据，对包括片头片尾字幕的高确信段所指定的段执行视频分析而获取的(例如，包括视频内片头片尾字幕的高确信段分析单元2102)。在如上配置的片头片尾字幕段检测设备中，通过使用涉及字卡的特征量，可以提高文本叠加帧的检测精确度。(14)该涉及字卡的特征量是字卡的字符移动距离。显示段判断单元，通过分析因在与包括片头片尾字幕的高确信段的前端和后端相邻的段中执行与字符移动距离相对应的运动补偿所导致的帧图像中的边缘数目的变化，判断片头片尾字幕段(例如，在片头片尾字幕是移动类型的情况下，由包括视频内片头片尾字幕的高确信段分析单元2102的操作实现)。在如上配置的片头片尾字幕段检测设备中，通过使用涉及字卡的特征量，可以提高文本叠加帧的检测精确度。(15)该涉及字卡的特征量是在帧图像中具有显示字符串的高概率的区域中的字符颜色。显示段判断单元，通过分析帧图像中的该区域中的字符颜色在与包括片头片尾字幕的高确信段的前端和后端相邻的段中的占有率，判断片头片尾字幕段(例如，由包括视频内片头片尾字幕的高确信段分析单元2102当关注于字符颜色时的操作来实现)。在如上配置的片头片尾字幕段检测设备中，通过使用涉及字卡的特征量，可以提高文本叠加帧的检测精确度。(16)该涉及字卡的特征量是与字卡有关的显示区域信息。显示段判断单元，通过对由与包括片头片尾字幕的高确信段的前端和后端相邻的段中的显示区域信息所指定的帧图像中的区域进行加权后执行字卡检测处理，判断片头片尾字幕段(例如，由包括视频内片头片尾字幕的高确信段分析单元2102当关注字符显示区域时的操作来实现)。在如上配置的片头片尾字幕段检测设备中，通过使用涉及字卡的特征量，可以提高文本叠加帧的检测精确度。虽然以上已经参考示例性实施例和示例对本发明进行了描述，然而本发明不局限于具体的示意性示例实施例和示例。可以在本发明的范围内对本发明的配置和细节进行本领域技术人员能够理解的各种修改。本申请要求日本专利申请No. 2009-1172的优先权，该专利于2009年1月6日提交，其全部公开以参考方式并入本文。工业应用性
25
本发明实现了对在广播节目等等中使用的片头片尾字幕段(例如，用于显示版权持有者、演员表等的字卡)的检测，能够应用在用来提取与广播节目的二次使用的权利有关的信息的系统。参考符号列表1片头片尾字幕段检测设备2输入单元3搜索开始点确定单元4显示段判断单元11输入单元12，12a, 12b，22，22a, 22b片头片尾字幕搜索开始点确定单元13片头片尾字幕段判断单元14输出单元101，101a, IOlb视频学习结果存储单元102搜索开始点选择单元103高密度片头片尾字幕部分的出现概率信息计算单元111帧图像产生单元112帧边缘图像产生单元113内容内边缘数目分布分析单元121头部信息提取单元122，122a，122b头部信息分析单元201包括片头片尾字幕的高确信段检测单元202, 202a, 202b片头片尾字幕段开始/结束点检测单元1221帧内图像运动矢量分析单元1222帧内图像高频成分存在/不存在分析单元2001处理目标帧控制单元2002文本叠加帧检测单元2003片头片尾字幕存在/不存在判断单元2101片头片尾字幕段判断控制单元2102包括视频内片头片尾字幕的高确信段分析单元2103文本叠加帧检测单元2104包括片头片尾字幕的高确信段的前/后相邻段的参数重新确定单元2105文本叠加帧检测单元
权利要求
1.一种用于从视频内容中检测片头片尾字幕的显示段的片头片尾字幕段检测设备，包括输入装置，用于输入视频内容的视频数据；搜索开始点确定装置，用于基于片头片尾字幕段中的片头片尾字幕的高字符密度部分的存在概率确定开始点，所述开始点表示用于开始片头片尾字幕搜索处理的时间位置；显示段判断装置，用于通过首先针对所述开始点执行片头片尾字幕搜索处理，并在其后从所述开始点向前和向后连续扩展作为搜索处理的目标的段，以此判断所述片头片尾字幕的显示段。
2.根据权利要求1所述的片头片尾字幕段检测设备，其中，当在针对所述开始点执行的片头片尾字幕搜索处理中判断不存在片头片尾字幕时，所述显示段判断装置请求所述搜索开始点确定装置重新确定搜索处理的开始点，直至发现存在片头片尾字幕的时间位置， 并在其后通过从作为已被判断为存在片头片尾字幕的位置的重新确定的开始点开始搜索处理，判断所述片头片尾字幕的显示段。
3.根据权利要求1或2所述的片头片尾字幕段检测设备，还包括学习结果存储装置，用于通过学习多个视频内容项目确定片头片尾字幕的高字符密度部分的存在概率，并将所确定的概率信息存储为高密度片头片尾字幕部分的出现概率信息？其中，所述搜索开始点确定装置基于存储在所述学习结果存储装置中的高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
4.根据权利要求1或2所述的片头片尾字幕段检测设备，其中所述学习结果存储装置存储通过学习多个视频内容项目中显示片头片尾字幕的段而计算出的内容内片头片尾字幕的出现概率信息，以及存储通过学习这种显示片头片尾字幕的段中的字符密度而计算出的片头片尾字幕内高字符密度部分的出现概率信息，以及所述片头片尾字幕段检测设备还包括出现概率信息计算装置，用于基于所述内容内片头片尾字幕的出现概率信息和所述片头片尾字幕内高字符密度部分的出现概率信息，计算所述高密度片头片尾字幕部分的出现概率信息，以及所述搜索开始点确定装置基于所述出现概率信息计算装置计算出的高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
5.根据权利要求4所述的片头片尾字幕段检测设备，其中，所述学习结果存储装置将被认为在其中心部分附近具有高值的分布存储为所述片头片尾字幕内高字符密度部分的出现概率信息。
6.根据权利要求1或2所述的片头片尾字幕段检测设备，其中，所述搜索开始点确定装置通过使用分析所输入的视频内容的视频数据而获取的特征量，估计所述片头片尾字幕的高字符密度部分的存在概率，以此确定用于开始片头片尾字幕搜索处理的开始点。
7.根据权利要求6所述的片头片尾字幕段检测设备，其中所述特征量是边缘数目的分布，以及所述搜索开始点确定装置根据所输入的视频数据产生帧图像，通过计算所产生的帧图像的边缘成分来产生帧边缘图像，通过分析内容中的帧边缘图像的边缘数目的分布来计算所述高密度片头片尾字幕部分的出现概率信息，并基于所计算出的高密度片头片尾字幕部分的出现概率信息来确定用于开始片头片尾字幕搜索处理的开始点。
8.根据权利要求6所述的片头片尾字幕段检测设备，其中所述特征量是从头部信息获取的统计量，所述视频数据是压缩数据，以及所述搜索开始点确定装置提取所输入的压缩视频数据中包含的头部信息，通过分析所提取的头部信息来计算所述高密度片头片尾字幕部分的出现概率信息，并基于所计算出的高密度片头片尾字幕部分的出现概率信息来确定用于开始片头片尾字幕搜索处理的开始点ο
9.根据权利要求8所述的片头片尾字幕段检测设备，其中所述统计量是针对各个宏块确定的运动矢量，以及所述搜索开始点确定装置通过分析帧图像中运动矢量方向的一致性程度，计算所述高密度片头片尾字幕部分的出现概率信息。
10.根据权利要求8所述的片头片尾字幕段检测设备，其中所述统计量是针对各个宏块确定的DCT模式，以及所述搜索开始点确定装置通过使用帧图像中的对场DCT的选择的频率或分布来分析高频成分的存在/不存在，以此计算所述高密度片头片尾字幕部分的出现概率信息。
11.根据权利要求1或2所述的片头片尾字幕段检测设备，其中，所述显示段判断装置通过首先将能够高可靠性地检测到片头片尾字幕的段检测为包括片头片尾字幕的高确信段，然后将作为片头片尾字幕搜索处理的目标的段从所述包括片头片尾字幕的高确信段向前和向后连续进行扩展，以此检测片头片尾字幕段的开始点和结束点。
12.根据权利要求11所述的片头片尾字幕段检测设备，其中，所述显示段判断装置通过首先针对从所述输入装置输入的视频数据的片头片尾字幕段的开始点的候选点执行文本叠加帧检测处理，并在然后利用片头片尾字幕段在很多情况下比其他字卡显示段长的特性来判断文本叠加帧的连续性，以此计算所述包括片头片尾字幕的高确信段信息。
13.根据权利要求12所述的片头片尾字幕段检测设备，其中，所述显示段判断装置通过关于与所述包括片头片尾字幕的高确信段的前端和后端相邻的段来重新确定在文本叠加帧检测处理中使用的参数值，以便促进文本叠加帧检测，以及使用重新确定的参数值来执行文本叠加帧检测处理，以此判断片头片尾字幕段。
14.根据权利要求12所述的片头片尾字幕段检测设备，其中，所述显示段判断装置通过使用涉及字卡的特征量来分析与所述包括片头片尾字幕的高确信段的前端和后端相邻的段，以此判断片头片尾字幕段，其中所述涉及字卡的特征量是通过针对从所述输入装置输入的视频数据，对所述包括片头片尾字幕的高确信段信息所指定的段执行视频分析而获取的。
15.根据权利要求14所述的片头片尾字幕段检测设备，其中所述涉及字卡的特征量是字卡的字符移动距离，以及所述显示段判断装置通过分析因在与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中执行与所述字符移动距离相对应的运动补偿所导致的帧图像中的边缘数目的变化，判断片头片尾字幕段。
16.根据权利要求14所述的片头片尾字幕段检测设备，其中所述涉及字卡的特征量是在具有显示字符串的高概率的帧图像中的区域中的字符颜色，以及所述显示段判断装置通过分析所述帧图像中的区域中的字符颜色在与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中的占有率，判断片头片尾字幕段。
17.根据权利要求14所述的片头片尾字幕段检测设备，其中所述涉及字卡的特征量是与字卡有关的显示区域信息，以及所述显示段判断装置通过对由与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中的显示区域信息所指定的帧图像中的区域进行加权后执行字卡检测处理，判断片头片尾字幕段。
18.一种用于从视频内容中检测片头片尾字幕的显示段的片头片尾字幕段检测方法， 包括步骤输入视频内容的视频数据；基于片头片尾字幕段中的片头片尾字幕的高字符密度部分的存在概率确定开始点，所述开始点表示用于开始片头片尾字幕搜索处理的时间位置；通过首先针对所述开始点执行片头片尾字幕搜索处理，并在其后从所述开始点向前和向后连续扩展作为搜索处理的目标的段，以此判断所述片头片尾字幕的显示段。
19.根据权利要求18所述的片头片尾字幕段检测方法，其中，当在针对所述开始点执行的片头片尾字幕搜索处理中判断不存在片头片尾字幕时，重新确定搜索处理的开始点， 直至发现存在片头片尾字幕的时间位置，并在其后通过从作为已被判断为存在片头片尾字幕的位置的重新确定的开始点开始搜索处理，判断所述片头片尾字幕的显示段。
20.根据权利要求18或19所述的片头片尾字幕段检测方法，包括步骤通过学习多个视频内容项目来确定片头片尾字幕的高字符密度部分的存在概率；将所确定的概率信息存储为高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
21.根据权利要求18或19所述的片头片尾字幕段检测方法，包括步骤存储通过学习多个视频内容项目中显示片头片尾字幕的段而计算出的内容内片头片尾字幕的出现概率信息，以及存储通过学习这种显示片头片尾字幕的段中的字符密度而计算出的片头片尾字幕内高字符密度部分的出现概率信息；基于所述内容内片头片尾字幕的出现概率信息和所述片头片尾字幕内高字符密度部分的出现概率信息，计算高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
22.根据权利要求21所述的片头片尾字幕段检测方法，其中，将被认为在其中心部分附近具有高值的分布存储为所述片头片尾字幕内高字符密度部分的出现概率信息。
23.根据权利要求18或19所述的片头片尾字幕段检测方法，其中，通过使用分析所输入的视频内容的视频数据而获取的特征量，估计所述片头片尾字幕的高字符密度部分的存在概率，以此确定用于开始片头片尾字幕搜索处理的开始点。
24.根据权利要求23所述的片头片尾字幕段检测方法，其中所述特征量是边缘数目的分布，以及所述片头片尾字幕段检测方法包括步骤根据所输入的视频数据产生帧图像；通过计算所产生的帧图像的边缘成分来产生帧边缘图像；通过分析内容中的帧边缘图像的边缘数目的分布，计算高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
25.根据权利要求23所述的片头片尾字幕段检测方法，其中所述特征量是从头部信息获取的统计量，所述视频数据是压缩数据，以及所述片头片尾字幕段检测方法包括步骤 提取所输入的压缩视频数据中包含的头部信息；通过分析所提取的头部信息来计算高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
26.根据权利要求25所述的片头片尾字幕段检测方法， 其中所述统计量是针对各个宏块确定的运动矢量，以及通过分析帧图像中运动矢量方向的一致性程度，计算所述高密度片头片尾字幕部分的出现概率信息。
27.根据权利要求25所述的片头片尾字幕段检测方法， 其中所述统计量是针对各个宏块确定的DCT模式，以及通过使用帧图像中的对场DCT的选择的频率或分布来分析高频成分的存在/不存在， 计算所述高密度片头片尾字幕部分的出现概率信息。
28.根据权利要求18或19所述的片头片尾字幕段检测方法，包括步骤将能够高可靠性地检测到片头片尾字幕的段检测为包括片头片尾字幕的高确信段；以及通过将作为片头片尾字幕搜索处理的目标的段从所述包括片头片尾字幕的高确信段向前和向后连续进行扩展，检测片头片尾字幕段的开始点和结束点。
29.根据权利要求28所述的片头片尾字幕段检测方法，其中，通过首先针对所输入的视频数据的片头片尾字幕段的开始点的候选点执行文本叠加帧检测处理，并在然后利用片头片尾字幕段在很多情况下比其他字卡显示段长的特性来判断文本叠加帧的连续性，以此计算所述包括片头片尾字幕的高确信段信息。
30.根据权利要求29所述的片头片尾字幕段检测方法，其中，通过关于与所述包括片头片尾字幕的高确信段的前端和后端相邻的段来重新确定在文本叠加帧检测处理中使用的参数值，以便促进文本叠加帧检测，以及使用重新确定的参数值来执行文本叠加帧检测处理，以此判断片头片尾字幕段。
31.根据权利要求29所述的片头片尾字幕段检测方法，其中，通过使用涉及字卡的特征量来分析与所述包括片头片尾字幕的高确信段的前端和后端相邻的段，以此判断片头片尾字幕段，其中所述涉及字卡的特征量是通过针对所输入的视频数据，对所述包括片头片尾字幕的高确信段信息所指定的段执行视频分析而获取的。
32.根据权利要求31所述的片头片尾字幕段检测方法， 其中所述涉及字卡的特征量是字卡的字符移动距离，以及通过分析因在与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中执行与所述字符移动距离相对应的运动补偿所导致的帧图像中的边缘数目的变化，判断片头片尾字幕段。
33.根据权利要求31所述的片头片尾字幕段检测方法，其中所述涉及字卡的特征量是在具有显示字符串的高概率的帧图像中的区域中的字符颜色，以及通过分析所述帧图像中的区域中的字符颜色在与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中的占有率，判断片头片尾字幕段。
34.根据权利要求31所述的片头片尾字幕段检测方法，其中所述涉及字卡的特征量是与字卡有关的显示区域信息，以及通过对由与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中的显示区域信息所指定的帧图像中的区域进行加权后执行字卡检测处理，判断片头片尾字幕段。
35.一种片头片尾字幕段检测程序，使得用于片头片尾字幕段检测设备的计算机执行包括以下步骤的处理，所述片头片尾字幕段检测设备用于从视频内容中检测片头片尾字幕的显示段输入视频内容的视频数据；基于片头片尾字幕段中以高密度来显示字符的片头片尾字幕的高字符密度部分的存在概率确定开始点，所述开始点表示用于开始片头片尾字幕搜索处理的时间位置；通过首先针对所述开始点执行片头片尾字幕搜索处理，并在其后从所述开始点向前和向后连续扩展作为搜索处理的目标的段，以此判断所述片头片尾字幕的显示段。
36.根据权利要求35所述的片头片尾字幕段检测程序，其中，当在针对所述开始点执行的片头片尾字幕搜索处理中判断不存在片头片尾字幕时，重新确定搜索处理的开始点， 直至发现存在片头片尾字幕的时间位置，并在其后通过从作为已被判断为存在片头片尾字幕的位置的重新确定的开始点开始搜索处理，判断所述片头片尾字幕的显示段。
37.根据权利要求35或36所述的片头片尾字幕段检测程序，所述处理包括步骤 通过学习多个视频内容项目来确定片头片尾字幕的高字符密度部分的存在概率； 将所确定的概率信息存储为高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
38.根据权利要求35或36所述的片头片尾字幕段检测程序，所述处理包括以下步骤 存储通过学习多个视频内容项目中显示片头片尾字幕的段而计算出的内容内片头片尾字幕的出现概率信息，以及存储通过学习这种显示片头片尾字幕的段中的字符密度而计算出的片头片尾字幕内高字符密度部分的出现概率信息，以及基于所述内容内片头片尾字幕的出现概率信息和所述片头片尾字幕内高字符密度部分的出现概率信息，计算高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
39.根据权利要求38所述的片头片尾字幕段检测程序，其中，所述处理包括步骤 将被认为在其中心部分附近具有高值的分布存储为所述片头片尾字幕内高字符密度部分的出现概率信息。
40.根据权利要求35或36所述的片头片尾字幕段检测程序，其中，通过使用分析所输入的视频内容的视频数据而获取的特征量，估计所述片头片尾字幕的高字符密度部分的存在概率，以此确定用于开始片头片尾字幕搜索处理的开始点。
41.根据权利要求40所述的片头片尾字幕段检测程序， 其中所述特征量是边缘数目的分布，以及所述处理包括步骤根据所输入的视频数据产生帧图像；通过计算所产生的帧图像的边缘成分来产生帧边缘图像；通过分析内容中的帧边缘图像的边缘数目的分布，计算高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
42.根据权利要求40所述的片头片尾字幕段检测程序， 其中所述特征量是从头部信息获取的统计量，以及当所述视频内容已被压缩时，所述处理包括步骤 提取所输入的压缩视频数据中包含的头部信息；通过分析所提取的头部信息来计算高密度片头片尾字幕部分的出现概率信息；以及基于所述高密度片头片尾字幕部分的出现概率信息，确定用于开始片头片尾字幕搜索处理的开始点。
43.根据权利要求42所述的片头片尾字幕段检测程序， 其中所述统计量是针对各个宏块确定的运动矢量，以及通过分析帧图像中运动矢量方向的一致性程度，计算所述高密度片头片尾字幕部分的出现概率信息。
44.根据权利要求42所述的片头片尾字幕段检测程序， 其中所述统计量是针对各个宏块确定的DCT模式，以及通过使用帧图像中的对场DCT的选择的频率或分布来分析高频成分的存在/不存在， 计算所述高密度片头片尾字幕部分的出现概率信息。
45.根据权利要求35或36所述的片头片尾字幕段检测程序，所述处理包括步骤 将能够高可靠性地检测到片头片尾字幕的段检测为包括片头片尾字幕的高确信段；以及通过将作为片头片尾字幕搜索处理的目标的段从所述包括片头片尾字幕的高确信段向前和向后连续进行扩展，以此检测片头片尾字幕段的开始点和结束点。
46.根据权利要求45所述的片头片尾字幕段检测程序，所述处理包括步骤针对所输入的视频数据的片头片尾字幕段的开始点的候选点执行文本叠加帧检测处理；以及通过利用片头片尾字幕段在很多情况下比其他字卡显示段长的特性来判断文本叠加帧的连续性，计算包括片头片尾字幕的高确信段信息。
47.根据权利要求46所述的片头片尾字幕段检测程序，所述处理包括步骤关于与所述包括片头片尾字幕的高确信段的前端和后端相邻的段来重新确定在文本叠加帧检测处理中使用的参数值，以便促进文本叠加帧检测；以及通过使用重新确定的参数值来执行文本叠加帧检测处理，判断片头片尾字幕段。
48.根据权利要求46所述的片头片尾字幕段检测程序，其中，通过使用涉及字卡的特征量来分析与所述包括片头片尾字幕的高确信段的前端和后端相邻的段，以此判断片头片尾字幕段，其中所述涉及字卡的特征量是通过针对所输入的视频数据，对所述包括片头片尾字幕的高确信段信息所指定的段执行视频分析而获取的。
49.根据权利要求48所述的片头片尾字幕段检测程序， 其中所述涉及字卡的特征量是字卡的字符移动距离，以及通过分析因在与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中执行与所述字符移动距离相对应的运动补偿所导致的帧图像中的边缘数目的变化，判断片头片尾字幕段。
50.根据权利要求48所述的片头片尾字幕段检测程序，其中所述涉及字卡的特征量是在具有显示字符串的高概率的帧图像中的区域中的字符颜色，以及通过分析所述帧图像中的区域中的字符颜色在与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中的占有率，判断片头片尾字幕段。
51.根据权利要求48所述的片头片尾字幕段检测程序，其中所述涉及字卡的特征量是与字卡有关的显示区域信息，以及通过对由与所述包括片头片尾字幕的高确信段的前端和后端相邻的段中的显示区域信息所指定的帧图像中的区域进行加权后执行字卡检测处理，判断片头片尾字幕段。
全文摘要
字幕信息段检测设备包括输入装置，用于输入视频内容的视频数据；搜索开始点确定装置，基于以高密度显示文本的字幕信息高文本密度部分在字幕显示段中存在的概率，确定对用于开始字幕信息搜索处理的时间位置进行指示的开始点；以及显示段判断装置，在已经关于开始点执行字幕信息搜索处理之后，通过在开始点之前和之后扩展执行该搜索处理的段，确定字幕信息显示段。
文档编号G06T7/20GK102273193SQ20098015391
公开日2011年12月7日 申请日期2009年12月21日 优先权日2009年1月6日
发明者间濑亮太 申请人:日本电气株式会社