成使用在视频序列中被检测和跟踪 的一个或多个感兴趣对象概况视频序列W得到视频概要。
[0049] 根据第=方面，提供了计算机可读介质，包括用于控制计算机系统执行根据本申 请的第一方面的用于在包括使用移动相机获取的若干个连续帖的视频序列中自动检测和 跟踪一个或多个感兴趣对象的方法的指令。
[0050] 根据第四方面，提供了计算机程序产品，包括计算机可执行指令，用于在程序在计 算机上被运行时执行根据本申请的第一方面的用于在包括使用移动相机获取的若干个连 续帖的视频序列中自动检测和跟踪一个或多个感兴趣对象的方法的指令。
[0051] 根据运里公开的实施方式的方法和设备的另外方面和优点将在【具体实施方式】、附 图和任意权利要求中部分提出，并部分从【具体实施方式】中得出。可W理解之前的概述和下 面的详细描述仅是示意性而不限制要求保护的发明。
【附图说明】
[0052] 参考附图描述方法和设备的示意性实施方式，其中：
[0053] 图1示意性示出了根据本公开的实施方式的方法的流程图； 阳054] 图2A示出了分割视频帖的示例； 阳化5] 图2B示意性示出了根据图2A的分割视频帖构建的区域邻近图的示例；
[0056] 图2C示出了包含图案的区域邻近图集合的示例；
[0057] 图2D示出了在图2C的区域邻近图集合中出现S次的图案；
[0058] 图3A示意性示出了包含图2B的图案的多个视频帖；
[0059] 图3B示出了对应于图3A中示出的图案出现的出现图；
[0060] 图4A示出了根据本公开的实施方式的用于执行该方法的聚集步骤的不相似测 量；
[0061] 图4B示意性示出了从根据本公开的实施方式的方法的聚集步骤得到的提取的频 繁时空图案的群集的集合的示例；W及
[0062] 图5示意性示出了根据本公开的实施方式的用于自动检测和跟踪视频中一个或 多个感兴趣对象的设备。
【具体实施方式】
[0063] 附图和W下描述示出了示意性实施方式。在不同附图中，具有相似结构和/或功 能的元件可W用相同附图标记来表示。 W64] 图1示出了示出用于自动检测和跟踪视频序列中一个或多个感兴趣对象的方法 的流程图。在第一个步骤30中接收的视频或视频序列包括在时间上彼此连续的一些帖1或 图像。使用移动相机获取帖1。在第二个步骤32中，该视频序列的每个帖1或图像被分割 成区域，由此产生多个分割帖1'或图像。每个帖1根据该帖的像素的颜色被分割。因此， 分割的帖1'的每个区域对应于一种颜色。为了执行该分割步骤32,可W使用颜色分割算 法。一种分割的视频帖1'的示例在图2A中示出。运里，分割的帖1包括四个区域3、5、7、 9,其中每个区域代表一种颜色。 W65] 参考图1，在第S个步骤34中，针对每个分割的帖1'建立图形11。该图像11也 称为区域邻近图像，因为其代表根据邻近区域对的分割的帖1'。图2B示意性示出了从图 2A的分割的视频帖1'推演出的区域邻近图形11的示例。该区域邻近图形11包括节点12 和边12'，其中每个节点12定义区域3、5、7、9且每个边12'连接分割的图像1'的邻近区 域3、5、7、9的两个节点12。每个区域中的节点可W位于该区域的质屯、中。每个节点12被 赋予代表该节点位于的区域的颜色的标签。从一些或所有连续帖1的分段图像1'推演出 的区域邻近图形11形成区域邻近图形集合。
[0066] 图2C示出了S个区域邻近图形、11"的集合的示例。运S个图形11、 11'、11"的每一个对应于视频序列的一个分割的帖。视频的分割的帖或图像W区域邻近 图形形式的表示允许图像的拓扑的建模。
[0067] 仍然参考图1，在第四个步骤36中，从区域邻近图形集合中提取频繁图案13。该 提取步骤36也可W称为数据挖掘步骤。此外，提取的图案可W称为频繁时空图案。
[0068] 例如，频繁时空图案13W及其他时空图案是在区域邻近图形的集合中预定数量 的区域邻近图形11中出现至少一次的图案。相同的图案还可W在一个区域邻近图形11中 出现多次。运在图2C中被示出，显示了示例区域邻近图形、11"集合，其中的两个 图形包含图案13,由此在该图中，第一图形11包含图案13两次，最后一个图形11"包含图 案13-次。在该示例中，图案13可W被认为是频繁的，因为其出现在=个图形中的两个中。 图2D示出了在图2C的区域邻近图形集合中出现=次的频繁时空图案13。
[0069] 在一些实施方式中，为了执行提取步骤36,针对每个时空图案13确定间隔两个不 同区域邻近图形11中两次连续出现时空图案13的欧几里得距离。确定的欧几里得距离低 于空间阔值的时空图案13然后被提取。示出运种处理方式的示例在图3A中示出。在图3A 中，示出了 5个连续帖1，其中的一些或全部包括两个时空图案13、13"的一个或两个。图 案13、13"被包含在区域邻近图形中，为了容易辨认在图3A中省略了该图形。图案13总 共出现6次，图案13"总共出现5次。标记为"A"的图案13的出现可W被认为满足空间 阔值的约束，因为它们从一个帖到另一个帖彼此接近，即图案13分别在帖ti和t3、帖t3和t4、W及帖t4和t5之间没有移动太远。运同样适用于标记为"D"的图案13的出现和标记 为"C"的图案13"的出现。欧几里得距离低于空间阔值的图案在图3A中用箭头连接。例 如，对于图案13,帖t冲的出现"A"没有连接到帖13中的出现叩"，因为它们彼此太远。
[0070] 根据运些实施方式中，在提取步骤36中可能丢弃其出现在区域邻近图形集合中 空间上离得太远的图案。实际上，空间上接近的图案更可能代表同一感兴趣对象的部分。
[0071] 在一些实施方式中，为了执行提步骤36,针对每个时空图案13确定在两个不同区 域邻近图形11中间隔时空图案13的两个连续出现的区域邻近图形11的数量。该数量可 W称为中间图形（或中间帖，因为一个图形对应于一个帖）。确定的区域邻近图形11的数 量低于时间阔值的时空图案13然后被提取。再次参考图3A，标记为"C"的图案13"的出 现可W被认为满足时间阔值的约束，因为在帖t2的区域邻近图形和t3的区域邻近图形中间 隔图案13"的两次连续出现的区域邻近图形11 (即帖）的数量为0。运同样适用于帖t3和 t4中的出现"C"。类似地，在帖11的区域邻近图形和13的区域邻近图形中间隔图案13的 两次连续出现的区域邻近图形11(即帖）的数量为1，运可W被认为满足时间约束。确定的 中间帖数量（或图形数量）低于时间阔值的图案在图3A中用箭头连接。例如，帖ti中标 记为"B"的出现没有连接到帖ts中标记为"E"的出现，因为它们在时间上彼此间隔。
[0072] 根据运些实施方式，在提取步骤36中可能丢弃其出现在时间上在区域邻近图形 集合中离得太远的图案。时间上，时间上接近的图案更可能代表同一感兴趣对象的部分。
[0073] 此外，可能的是W出现图形代表频繁时空图案，如图3B中所示。在出现图形17中， 每个节点（A-巧对应于频繁图案的出现。边由连接频繁图案的箭头表示，如果它们复合上 述的时间和空间约束，即如果它们在空间和时间上足够接近。因此，在出现图形17中，频发 时空图案由连接的节点示出。频繁时空图案（图3B中的A、D和C)的每个代表感兴趣对象 的部分。
[0074] 再次参考图1，在第五个步骤38中，确定在连续帖1之间的提取的频繁时空图案 13的轨迹之间的不相似度。在一些实施