专利名称：用于检测视频片段间转换的设备和方法
技术领域：
本发明涉及用于检测视频片段间转换的设备和方法。特别地但不排 他性地，本发明涉及检测和验证节目和广告块之间的转换(或边界)。
背景技术：
简单的广告检测算法(例如利用黑帧(black-frame)和声压特征 (audio pressure features )来检测TV节目和广告块之间的转换的那些算 法)是公知的。已发现这些算法有时是不准确的，例如，新项目或节目 介绍可能被错判并归入到广告中。因此，与广告一样，部分节目也可能 被跳过。
许多频道在TV节目期间包含显示在屏幕角落的标志(logo)。这 些标志在广告期间并不出现。因此， 一些已知的广告块检测器利用标志 检测以确定节目和广告块之间的转换。由于在直播事件期间标志并不总 是被适当地叠加、边界未知、 一些频道不使用标志、白背景下不能检测 透明标志等，因而这些算法也被证明是不准确的。
为了改善这样的广告检测器的性能，利用标志存在性检测来抑制例如 其上带有标志的信封模式(letterbox)或黑帧的检测。然而，这些并不能 处理广播电台不适当叠加的标志或标志自身的错误检测。
发明内容
本发明旨在提供 一 种准确检测并因此验证视频片段之间的转换的技术。
根据本发明的第 一方面，这是通过一种用于检测第 一视频片段和第 二视频片段之间的转换的方法来实现的，该方法包括如下步骤通过第 一检测方法检测第 一视频片段和第二视频片段之间的第 一转换；通过第 二检测方法检测所述第 一视频片段和所述第二视频片段之间的第二转 换，所述第一检测方法与所述第二检测方法不同；通过比较所述第一转 换和所述第二转换，确定所迷第二方法是否可靠；如果所述第二方法被 确定为可靠的，则至少使用所述笫二转换确定最终转换，以及如果所述第二方法被确定为不可靠的，则不使用所述第二转换确定所述最终转换。
根据本发明的第二方面，这还通过一种用于检测第 一视频片段和第
二视频片段之间的转换的设备来实现，该设备包括第一检测器，其用于检测第 一视频片段和第二视频片段之间的第 一转换；第二检测器，其用于检测所述第 一视频片段和所述第二视频片段之间的第二转换，所述第一检测器不同于所述第二检测器；以及比较器，该比较器用于通过比较所述第一转换和所述第二转换，确定所述第二方法是否可靠，如果所述第二方法被确定为可靠的，则至少使用所述第二转换来确定最终转换，以及如果所述第二方法被确定为不可靠的，则不使用所述第二转换来确定所述最终转换。
某些方法能够很好地或者根本不能很好地检测某些内容中的转换，例如标志检测器。通过将利用这种方法检测的转换与利用另 一种方法检测的转换相比较，可以确定使用该第二方法来确定最终转换是否可取。
在本发明的实施例中，第二检测方法包括简单标志检测器并且通过与第 一 检测方法相结合，该系统可以容易地校正广电台不合适地叠加的标志或标志检测器的错误检测。如果标志检测是可靠的，那么可以利用标志和来自第 一检测方法的其他信息来调整边界从而获得更准确的边界。
如果所述第二方法被确定为可靠的，则所迷最终转换可以仅基于或主要地基于所述第二转换。
可以通过使用所述第二转换提炼所述第一转换来确定所述最终转换。
在本发明的实施例中，通过以下方式确定第二检测方法为可靠的比较由所述第 一 和所述第二检测方法所确定的所述第 一 和/或第二视频片段的开始和/或结束时间；确定所述第一和第二视频片段的对应的开始和/或结束时间之间的差的比值；并且如果所确定的差的比值低于阈值，则确定所述笫二检测方法为可靠的。
可替换地，通过以下方式确定第二4企测方法为可靠的确定由所述第二检测方法所检测的所述第 一 视频片段的校正的持续时间与第 一 和第二视频片段的视频流的总持续时间的比值；以及如果所确定的比值高于第二阈值，则确定所述第二检测方法为可靠的。可替换地，通过以下方式确定第二检测方法为可靠的确定由所述第二检测方法所检测的所述第 一视频片段的校正的持续时间与所述第 一检测方法检测的对应的第 一视频片段的持续时间的比值；并且如果所确定的比值高于第三阈值，则确定所述第二检测方法为可靠的。
所述第二检测方法的可靠性可以由上述比值中的任一个或其任意组合来确定。
为了更全面地理解本发明，参考下面的结合附图的描述，其中图1是根据本发明实施例的设备的简化示意图；图2是根据本发明实施例的比较器的流程图；以及图3 (a)、图3 (b)和图3 (c)是图l的设备中的检测器和比较器的输出的实例的图示。
具体实施例方式
参照图1,设备100包括输入终端101,该输入终端连接到解复用器103的输入。解复用器103的输出连接到第一检测器105和第二检测器107。第一检测器105和第二检测器107的输出连接到比较器109的相应输入。比较器109的输出连接到设备100的输出终端111。检测器105、107的输出可以被存储在存储设备或数据库中(此处未示出)以用于后面的比4交和/或处理。
下面将参照图2描述该设备的操作。音视频数据流在该设备100的输入终端101上被提供。该数据流被解复用器103解复用。音频和/或视频输出被馈送到第一检测器105。第一检测器105可以包括音频剪辑静默(cut-silence);险测器，在此情况下该音频的音频呈现时间戳以及信号功率被处理以提供音频特征数据。视频特征数据也被提取。基于所提取的音频和视频特征数据，在第一视频片段和第二视频片段之间的转换被检测。其他已知的用于4全测转换的技术也可以;故利用，例如黑帧枱r测，信封才莫式改变，单色帧和音频功率降(audio power drop)等。通过这种方式，第一检测器105基于黑帧、音频降(audio dr叩)等检测分隔点。这些分隔点可以在正常节目期间出现，还可以出现在正常节目和广告块之间的转换处。因此，为了确定这些分隔点实际上是否是正常节目和广告块之间的转换， 一组分隔点必须满足一定的要求。该组分隔点中的分隔点被合并并且导致两个转换点，该组中的表示广告块的开始和结束的
第一分隔点和最后分隔点，即正常节目和广告块之间的转换。第一^r测器105在输入数据流的视频片段之间产生多个候选转换，即节目和广告之间的转换(步骤201 )。
第二检测器107接收被解复用的视频呈现时间戳。第二检测器107将其分为多个帧。分析每个帧以检测诸如标志或识别的文本等图形对象。第二检测器107输出多个无标志插段(episode)，即图形对象(标志)的出现和/或消失之间的转换的指示(步骤201)。
当检测到数据流的结束(步骤203 )时，比较器组合检测器105、107的输出并产生每个视频片段的开始和结束时间(转换)的最终列表，即广告块的开始和结束时间的最终列表。
这通过估计第二检测检测器107的可靠性(步骤205 )来实现。如果第二检测器被确定为可靠的(步骤207),那么由第二检测器107发现的转换;故处理并输出(步骤209、 211、 215),并与由笫一检测器105所检测的转换进行组合。
如果第二检测器107被确定为不可靠的(步骤207),那么仅处理由第一检测器105所发现的转换(步骤213 ),并且将其输出(步骤215 )。
现在参考图3 (a)、图3 (b)和图3 (c)更详细地描述第二检测器107的可靠性的确定。
图3 (a)是第一检测器105的输出的图示；
图3 (b)是第二检测器107的输出的图示；
图3 (c)是图3 (a)和图3 (b)所示的输出的比较的图示。
如上所述，比较器首先检查第二检测器107 (标志检测器)是否可靠。在实施这种检查中，如果一些广播电台忘记在插播广告后，特别是在直播事件期间叠加标志，以及如果一些频道在插播广告过程中同样也(几乎)总是叠加标志，那么标志数据对于广告块检测是没有用处的。
由第一和第二检测器105、 107输出的图3 (a)和图3 (b)的转换
tll、 t12、 t13、 t14、 t21、 t22、 t23和t24是在第一和第二视频片段之间所检测
到的转换。例如，转换tu、 tn表示由第一检测器105检测到的广告块的开始；转换112、 t!4表示由第一检测器105检测到的广告块的结束；转换
t21、t"表示由第二检测器107检测到的无标志插段的开始；并且转换t22、t24表示由第二检测器107检测到的无标志插段的结束。
所检测的广告块之外的无标志插段t21到t22以及t23到t24的持续时
间与视频持续时间之间的比值如下计算
i a,z'o—爿=F几ogoFree/VbO群一 * / 00% / F^eoDz/ratow ( 1 )
即，由第 一检测器检测到的与由第二检测器所检测到的没有重叠的
广告块(无标志插段)与视频流的持续时间的比值。
一般而言，该比值很小(<5%),因为标志一般在广告块开始前仅
20秒消失并且在广告块结束后20秒出现。然而，如果标志检测器因为
静态内容或"白背景上不可见的透明标志"而短时段失效，那么该百分数
可以稍微更大。如果该比值超过15%，那么广播电台很可能在较长时段
内忘记叠加才示志。
接着，计算校正的无标志插段的总持续时间与视频持续时间的比
值
W加'o — 5 = Co^rZ/OgaFreeZ) /ra"'ow * 100% / P7afeoZ)wrahcw ( 2 )
其中0 ^r丄ogoF"eZ)wra"o"为校正的无标志插段持续时间，其中视 为太短或太长的持续时间被丢弃。
如果该比值非常小(小于3%),那么该标志很可能总是可见的， 即其在广告上也是可见的。或者，记录/广播不包含任何广告。
比较校正的无标志插段(第二检测器)的总持续时间与第一检测器 的才全测的总持续时间
C = CWZ^fyeeD訓加"*層o/o/CSF7Z)画"o" ( 3 )
其中Co厅丄ogoFreeZ)i/ra"o"为校正的无标志插段持续时间，其中— 见 为太短或太长的持续时间被丟弃，并且其中C^P7Dwra"ow为由第一检 测器所检测的广告块的持续时间(图3 (a))。
如果该比值小于45 % ,那么无标志插段显著地短于由第 一检测器所 检测的广告块。这在一些广告上叠加标志或者广告与许多带有标志的预 告片(trailer)交错时发生。
如果
一爿> NOOVERLAPRATIO)或者 (W 770 _万< VIDDURATIONRATIO)或者
(層o — C < CBVIRATIO) ( 4 )
那么无标志插段因而被认为是不可靠的，其中在上述特定例子中，NOOVERLAPRATIO等于15%, VIDDURATIONRATIO等于3 %并且 CBVIRATIO等于45%。可以理解的是，这些阈值百分数〗义仅是例子并 且可以适当地变化。否则，所检测的无标志插段被认为是可靠的并用于 精细调整由第 一检测器所检测的转换或至少用于验证所述转换。
由第 一检测器所检测的候选广告块可以用于验证标志检测的可靠 性。例如，无标志插段的总持续时间相对于由第一检测器所检测的候选 广告块的总持续时间，和/或将节目持续时间与插段的总持续时间相比 较，其中在无标志插段和由第一检测器所检测的候选广告块之间没有重叠。
如果第二检测器的标志检测被认为是不可靠的，那么由第一检测器 所检测的候选广告块变为最终转换以及所述设备的输出。如果第二检测 器的标志检测被认为是可靠的，那么由第一检测器所检测的转换通过使 用第二检测器的标志检测来调整。
虽然本发明的实施例在附图中#皮示出以及在前面的详细描述中#皮 阐明，但是应当理解的是，本发明并不限于所公开的实施例，而是能够 在不偏离如下面的权利要求书所阐述的本发明范围的情况下进行许多 修改。本发明存在于每一个新颖的特性特征以及特性特征的每一种组合 之中。权利要求中的附图标记并不限制其保护范围。动词"包括"及其 变化形式的使用并不排除权利要求书中未记载的元件的存在。元件之前 的冠词"一"的使用并不排除多个这样的元件的存在。
本领域技术人员应当清楚的是，"装置"意味着包括任何硬件(诸 如单独的或集成的电路或电子元件)或软件(诸如程序或程序的部分)， 其在操作中再现或被设计为再现指定的功能，无论其是单独的还是与其 他功能结合，无论其是孤立的还是与其他元件协作。本发明可以通过包 括若干不同元件的硬件以及通过适当编程的计算机来实施。在列举了若 干装置的设备权利要求中，这些装置中的一些可以由同 一个硬件项来实 现。"计算机程序产品"应当被理解为是指存储在诸如软盘等计算机可 读介质上的、可以通过诸如因特网等网络下载的或以任何其他方式可销 售的任何软件产品。
权利要求
1.一种用于检测第一视频片段和第二视频片段之间的转换的方法，该方法包括以下步骤通过第一检测方法检测第一视频片段和第二视频片段之间的第一转换；通过第二检测方法检测所述第一视频片段和所述第二视频片段之间的第二转换，所述第一检测方法与所述第二检测方法不同；通过比较所述第一转换和所述第二转换，确定所述第二方法是否可靠；以及如果所述第二方法被确定为可靠的，则至少使用所述第二转换确定最终转换，以及如果所述第二方法被确定为不可靠的，则不使用所述第二转换确定所述最终转换。
2. 如权利要求1所述的方法，其中如果所述第二方法被确定为可靠的，则所述最终转换仅基于或主要地基于所述第二转换。
3. 如权利要求2所述的方法，其中通过使用所述第二转换提炼所述 第一转换来确定所述最终转换。
4. 如权利要求1所述的方法，其中所述第二检测方法包括在检测到 预定项时检测第 一视频片段和第二视频片段之间的所述转换的步骤。
5. 如权利要求4所述的方法，其中所述预定项是图形对象。
6. 如权利要求1所述的方法，其中所述第一检测方法产生第一组多 个候选第 一视频片段；且所述第二检测方法产生第二组多个候选第 一视 频片段。
7. 如权利要求6所述的方法，其中确定所述第二检测方法的可靠性 的步骤包括如下步骤比较由所述第 一和所述第二检测方法所确定的所述笫 一和/或第二 视频片段的开始和/或结束时间；确定所述第一和第二视频片段的对应的所述开始和/或结束时间之 间的差的比值；如果所确定的差的比值低于阈值，则确定所述第二检测方法为可靠的。
8. 如权利要求6或7所述的方法，其中确定所述第二^r测方法的可 靠性的步骤包括如下步骤确定由所述第二检测方法所检测的所述第 一 视频片段的校正的持续时间与所述笫一和第二视频片段的视频流的总持续时间的比值；以及 如果所述确定的比值高于第二阈值，则确定所述第二检测方法为可靠的。
9. 如权利要求6-8中任一项所述的方法，其中确定所述第二^r测 方法的可靠性的步骤包括如下步骤确定由所述第二检测方法所检测的所述第 一视频片段的校正的持 续时间与由所述第 一检测方法检测的所述对应的第 一视频片段的持续 时间的比值；以及如果所述确定的比值高于第三阈值，则确定所述第二检测方法为可 靠的。
10. —种计算机程序产品，其包括用于执行根据前面任一项权利要 求所述的方法的多个程序代码部分。
11. 一种用于检测第 一视频片段和第二视频片段之间的转换的设 备，该i殳备包4舌第 一检测器，其用于检测第 一视频片段和笫二视频片段之间的第一 转换；第二检测器，其用于检测所述笫 一视频片段和所述第二视频片段之 间的第二转换，所述第一检测器不同于所述第二检测器；以及比较器，其用于通过比较所述第一转换和所述第二转换，确定所述 第二方法是否可靠，如果所述第二方法被确定为可靠的，则至少使用所 述第二转换来确定最终转换，以及如果所述第二方法被确定为不可靠的，则不使用所述第二转换来确定所述最终转换。
12. 如权利要求11所述的设备，其中所述第二检测器包括在检测到 预定项时检测第 一视频片段和第二视频片段之间的所述转换的装置。
13. 如权利要求11所述的设备，其中如果所述第二方法被确定为可 靠的，则所述比较器仅基于或主要地基于所述第二转换确定所述最终转 换。
14. 如权利要求13所述的设备，其中所述比较器通过使用所述第二 转换提炼所述第一转换来确定所述最终转换。
全文摘要
通过第一检测器(105)检测第一视频片段和第二视频片段之间的第一转换。第二检测器(107)检测第二转换。第一和第二检测器(105，107)彼此不同。比较(109)该第一和第二检测器(105，107)的输出。通过将由第一检测器(105)所检测的转换与由第二检测器(107)所检测的转换相比较，确定该第二方法的可靠性。如果该第二方法被确定为可靠的，则至少该第二转换被用于确定最终转换。如果该第二方法被确定为不可靠的，则该第二转换不被用于确定最终转换。
文档编号H04N5/14GK101682685SQ200880015201
公开日2010年3月24日 申请日期2008年5月5日 优先权日2007年5月8日
发明者G·C·兰格拉尔 申请人:皇家飞利浦电子股份有限公司