高效的基于内容的视频检索的制作方法
【专利说明】局效的基于内容的视频检索
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年8月29日提交的以色列专利申请号228204,标题为"高效的基于 内容的视频检索"，2014年1月22日提交的美国申请号14/161，355的优先权，其通过引用方 式以全文合并于此。
技术领域
[0003] 各种公开的实施方式涉及视频内容分析。
【背景技术】
[0004] 随着因特网的发展，视频内容的创建和分发急剧增加。对这些内容的分析和理解 的需求也同样增加。例如，对识别包含非法内容、侵犯艺术家版权、犯罪等的视频的需求日 益增加。为了执行这些检测，必须对视频内容进行处理和分析。不幸的是，庞大的视频数据 量和识别视频数据的相关部分的困难往往挫败这种尝试。在一些情况下，存在适当的工具 可以于执行分析，但仅在被执行的图像帧数较少时，分析才易于处理。如果将工具应用到整 个视频，这需要太长的时间才能收到结果。此外，一些工具相比其他在某些情况下更加合 适。如果不加区别地将这些工具适用于所有品质和特性的视频，那么这些工具可能会反馈 误报或误导一系列其他分析工具。
[0005] 因此，存在对将视频有效地分解为易处理的单元进行分析的系统和方法的需求。 特别地，存在有效地确定视频内容的边界的需求，以便在之后可以更有效地应用所适用的 工具和分析技术。需要这样的工具，以除去从搜索中检索的重复的视频，挖掘视频数据库的 内部结构，执行自动视频标记，进行对侵犯版权的自动检测等。存在对克服上述问题，并提 供额外益处的系统的需求。总体而言，本文中一些现有或相关系统的实施方式及其相关限 定是说明性的而非排他性的。经过阅读以下发明详述后，对于本领域技术人员而言，现存的 或现有的系统的其他限定将变得显而易见。
【附图说明】
[0006] 本公开的一个或多个实施方式通过实施例的方式示出，并且附图中类似的标号表 示类似的元件而非限制。
[0007] 图1是示意框图，描绘了可以在一些实施方式中实现的视频处理操作的各个方面， 包括镜头转换检测分析；
[0008] 图2是流程图，描绘了用于基于可以在一些实施方式中实现的逐帧画面分析，确定 视频中镜头转换的方法的各个步骤；
[0009]图3是流程图，描绘了镜头转换检测方法的各个步骤；
[0010]图4是示意框图，描绘了镜头转换检测方法的各个方面；
[0011] 图5是时间序列曲线图，描绘了视频序列中的各个镜头转换；
[0012] 图6是流程图，描绘了用于检测可以在一些实施方式中实现的不同转换类型的方 法的各个步骤;和
[0013] 图7是可以被用于实现一些实施方式的特征的计算机系统的框图。
[0014] 本领域技术人员会理解，本文所讨论的每一流程图和序列图中所示出的逻辑可以 以各种方式来改变。例如，可以重新排列逻辑的顺序，可以并行执行子框，可以省略示出的 逻辑，可以包括其他逻辑等。以所描绘的方式提供所描绘的实施方式仅是出于解释的目的， 并为读者的方便起见。
[0015] 发明详述
[0016] 以下描述和附图是说明性的，而不应被解释为限制。许多具体细节被描述以提供 对本公开的全面理解。然而，在某些情况下，为了避免使说明书显得模糊，不再对公知细节 进行描述。本说明书中提到的"一个实施方式"或"实施方式"是指该实施方式有关的所描述 的特定的特征、结构或特性被包括在本公开的至少一个实施方式中。出现在本说明书各处 的短语"在一个实施方式中"并不必然全部指代同一实施方式，也并非与单独的或替代的实 施方式相互排斥的其他实施方式。此外，所描述的各种特征可以由一些实施方式，而非其他 实施方式展示。类似地，描述的各种要求，可以是对一些实施方式，而非对其它实施方式的 要求。
[0017] 本说明书中所用的术语在本领域中、在本公开内容的语境内、在使用每个术语的 说明书语境中，通常具有其普通的含义。被用于描述本公开的某些术语将在下文或者说明 书中的其他地方进行讨论从而为实施者提供关于本公开的说明书的额外指导。为方便起 见，某些术语可能被突出显示，例如使用引号。突出显示的使用对术语的范围和含义没有影 响;在同样的情况下，无论它是否被高亮显示，术语的范围和含义是相同的。应当理解，相同 的事物能够以一个以上的方式进行叙述。将认识到的是"存储器"是"存储"的一种形式，而 且术语有时可以互换使用。
[0018] 因此，可以将替代语和同义词用于本文中所讨论的任意一个或多个术语，根据本 文是否阐述或讨论术语，任何特殊的意义不会被定义。提供了某些术语的同义词。一个或多 个同义词的陈述不排除其它同义词的使用。使用本说明书中的任何实施例，包括本文所讨 论的任何术语的实施例仅是说明性的，并且不旨在进一步限定本公开或任何实施例性术语 的范围和含义。同样地，本发明并不限于本说明书中给出的各个实施方式。
[0019] 在无意进一步限定本公开内容的范围的情况下，仪器、装置、方法和其相关结果， 根据本公开的实施方式在下文给出。注意，为读者的方便起见，可以以实施例形式使用标题 或副标题，但它们决不应限制本公开的范围。除非另有定义，否则本文使用的所有技术和科 学术语具有与本公开内容所属领域的普通技术人员的通常理解相同的含义。在冲突的情况 下，以包括定义的本文件为准。
[0020] 对所描述的技术的若干实施方式更详细的描述参见附图。可以在其上实现所描述 的技术的计算设备可以包括一个或多个中央处理单元、存储器、输入设备的（例如，键盘和 定点设备）、输出设备(例如，显示设备）、存储设备(例如，磁盘驱动器)和网络设备(例如，网 络接口）。存储器和存储设备是可以存储实现至少一部分所描述的技术的指令的计算机可 读存储介质。此外，可以经由数据传输介质，诸如通信链路上的信号，存储或传输数据结构 和消息结构。可以使用各种通信链路，诸如因特网、局域网、广域网或点对点拨号连接。因 此，计算机可读介质能够包括计算机可读存储介质（例如，"非临时性"介质）和计算机可读 传输介质。
[0021] 系统总览
[0022] 各种公开的实施方式涉及部分地基于检测镜头转换的视频内容分析。在一些实施 方式中，用于检测视频中镜头转换的方法和计算机系统被用于将视频序列分割成一系列具 有多个帧的"镜头"。这些镜头然后可以用于额外的处理，例如，视频帧内的内容检测。通常， 帧可以是数字视频的基本离散单位。每个帧可以是一个图像。
[0023] 图1是示意框图，描绘了可以在一些实施方式中实现的视频处理操作100的各个方 面，包括镜头转换检测分析。视频105可以包括帧110a-h的序列。这些帧110a-h可以包括像 素阵列、压缩帧，例如MPEG帧内帧，P帧等。
[0024]处理系统可以将帧110a-h组织为"镜头"115a_c。镜头是帧的集合。镜头可以是两 个转换(例如，擦除、切屏、溶解等)之间存在的帧的集合。在一些实施方式中，镜头通常包括 由表示在时间和空间上的连续动作的单个摄像机连续拍摄的相互关联的连续帧。在所描绘 的实施例中，镜头1 115a描绘了一名男子正在拉雪撬，镜头2 115b描绘了该男人正在调整 雪橇上的物品，以及镜头3 115c描绘了小屋的两个人物。在理想情况下，处理系统可以识别 适合用于后续分析的镜头。镜头可以被编入索引，例如，使用代表图像120a-c。然后，可以将 被编入索引的视频数据125提供给基于镜头的视频处理系统130用于进一步分析。例如，基 于镜头的视频处理系统130可以包括适于某些视频条件的多个工具。一种技术可以在描绘 了巨大开放空间的场景内进行目标识别，而另一种技术可以更适合于演员脸部的特写镜 头。因此，一些技术可能对于一些镜头比其他镜头更加成功。
[0025] 然而，适当地推导镜头115a_c之间的边界帧可能是困难的。不当地选择边界可能 减少基于镜头的处理130的效率，并且可能导致识别目标、受版权保护的材料等的失败。例 如，视频105的创建者可能已经非法合并了受版权保护的材料，但是执行了转换（例如，翻 转）以避免检测措施。在一些情况下，尽管存在转换，基于镜头的处理130依然能够检测侵权 材料，但仅在材料没有跨越镜头边界分割的情况下。因此，对镜头边界的准确识别与分析方 法相关。
[0026] 内容识别方法实施例
[0027] 图2是流程图，描绘了用于基于可以在一些实施方式中实现的逐帧画面分析，确定 视频中镜头转换的方法200的各个步骤。
[0028] 在框205中，系统接收视频数据。在框210中，系统可以设法确定视频数据中的镜头 和它们的边界。特别地，该系统可以分析该视频所考