用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备的制造方法
【技术领域】
[0001] 本发明设及应用于视频的图像处理领域。更特别地，本发明关于在使用移动相机 获取的视频序列中检测和跟踪一个或多个感兴趣对象。
[0002] 下面的术语"移动相机"用于指在稳定景象中移动的相机W及获取变化景象的相 机，即，其中背景或环境从一个景象或帖移动到另一个景象或帖。
【背景技术】
[0003] 视频序列中感兴趣对象的检测和跟踪，像电影中的主要人物或直播足球赛中最重 要的动作，考虑了了解视频中运些对象的位置和轨迹。运种了解对视频的自动概要是基本 的。视频概要有一些目的，例如在视频监控应用中、视频索引中、或需要视频内容的管理的 其他交互多媒体应用中。
[0004] 当处理使用不移动相机获取的视频时，能够使用背景减去技术来检测感兴 趣对象。运样的技术的示例公开在S.Conseil等人的"SuiviTridimensionnelen St紅6ovision"，GRETSI，2005中，其中背景被作为从所有帖中减去的参考图像W检测人手。
[0005] 但是，背景减去方法不适用于使用移动相机获取的视频序列的情况，因为背景易 于在景象或帖之间变化且不可W用作参考。存在一些用于跟踪使用移动相机获取的视频中 的对象的可替换方法和设备。下面描述其中的一些示例。
[0006] 根据第一技术，用户标记感兴趣对象，即用户经由图形用户界面（GUI)手动选择 帖中的目标感兴趣对象。然后使用运动和外观模型来跟踪穿过视频序列的被选择的对象W 知道其轨迹。
[0007] 第二种方式能够自动跟踪使用移动相机获取的视频序列中的对象，公开在US 5867584中，其需要用户指定包括该对象的窗口。该窗口然后与后续帖中的测试窗口进行比 较W找到与包含该对象的指定窗口最相似的最匹配窗口。
[0008] 在第=种方式中，需要跟踪对象的在先知识，例如W包含与对象相关联的特征的 数据库的形式。系统提前知道感兴趣对象的模型，由此使其能够在视频的帖内检测相似 的对象。系统的数据库包括多个训练样本，例如不同种类的人脸，W找到视频中的脸。之 后执行数据关联步骤W将对跨视频帖的相同对象的检测关联到轨迹或轨道。该第=方式 的不例可W在T.Ma,L.J.Latecki,"MaximumWrightCliqueswithmutexConstraints forObjectSegmentation",IEEEConferenceonComputerVisionandPattern Reco即ition(CVPR),June2012 中找到。
[0009] 使用上述技术，需要用户交互和/或感兴趣对象的在先知识，或可W被检测的对 象类型被限制了，例如被限制到系统已经被训练的对象类型。
[0010] 根据W上描述，需要不用输入在先知识并独立于知道模型所需的数据库的情况下 的改进的自动检测和跟踪使用移动相机获取的视频中的感兴趣对象。
【发明内容】
[0011] 本发明的实施方式提供用于检测使用移动相机获取的视频中的感兴趣对象的赶 紧的方法和改进的设备，其解决上述问题。
[0012] 根据第一方面，提供用于自动检测和跟踪包括使用移动相机获取的若干个连续帖 的视频序列中的一个或多个感兴趣对象的方法，该方法包括步骤：
[0013] 针对该视频序列中的每个帖：
[0014] 依据颜色将该帖分割成多个区域并产生分割的图像，
[0015] 从该分割的图像推演出区域邻近图形，包括节点和边界，其中每个节点定义区域 且每个边界连接该分割的图形的邻近区域的两个节点，
[0016] 其中针对所述若干个连续帖的从分割的图形推演出的区域邻近图形形成区域邻 近图形集合，
[0017] 从该区域邻近图形的集合提取频繁时空图案，
[001引确定连续帖之间的该提取的频繁时空图案的轨迹之间的不相似度，W及
[0019] 根据所确定的该轨迹的不相似度聚集（cluster)该频繁时空图案W产生对应于 所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集。
[0020] 在一些实施方式中，该提取步骤可W包括提取在该区域邻近图形集合中的预定数 量的区域邻近图形中出现至少一次的时空图案。
[0021] 在一些实施方式中，该提取步骤可W包括：
[0022] 针对每个时空图案确定两个不同区域邻近图形中间隔两次连续出现的时空图案 的欧几里得距离，W及
[0023] 提取确定的欧几里得距离低于空间阔值的时空图案。
[0024] 在一些实施方式中，该提取步骤可W包括： 阳0巧]针对每个时空图案，确定两个不同区域邻近图形中间隔时空图案的两次连续出现 的区域邻近图形的数量，化及
[0026] 提取确定的区域邻近图形的数量低于时间阔值的时空图案。
[0027] 在一些实施方式中，确定轨迹的不相似度的步骤可W包括：
[0028] 确定区域邻近图形中每个时空图案的图屯、（centroid)，
[0029] 确定对应于每个区域邻近图形中两个不同时空图案的两个不同图形之间的欧几 里得距离，W及
[0030] 计算若干个区域邻近图形上的两个不同图形之间的欧几里得距离的平均。
[0031] 优选地，确定轨迹的不相似度的步骤还可W包括：
[0032] 针对在两个不同区域邻近图形中间隔时空图案中的每一个时空图案的两次连续 出现的一个或多个区域邻近图形插入图屯、，化及
[0033] 计算所有区域邻近图形的两个图屯、之间的欧几里得距离的平均值。
[0034] 在一些实施方式中，聚集步骤可W包括聚集计算的两个不同图形之间的欧几里得 距离的平均低于不相似阔值的时空图案。
[0035] 有利地，聚集步骤还可W包括：
[0036] 聚集频繁时空图案W产生对应于多个感兴趣对象的分等级的群集集合，W及
[0037] 在该分等级的群集集合中仅选择不相似度低于预定阔值的群集。
[0038] 上述方面的任意还可W包括使用在视频序列中被检测和跟踪的一个或多个感兴 趣对象概括视频序列W得到视频概要。
[0039] 优选地，该概括步骤包括基于其轨迹的空间重叠来确定交互感兴趣对象。
[0040] 根据第二方面，提供了用于自动检测和跟踪包括使用移动相机获取的若干个连续 帖的视频序列中的一个或多个感兴趣对象的设备，该设备包括：
[0041] 帖提取器，被配置成依据颜色将视频序列的每一个帖分割成区域，并产生每个帖 的分割的图形，
[0042] 图形引擎，被配置成从该分割的图像推演出包括节点和边界的区域邻近图形，其 中每个节点定义区域且每个边界连接该分割的图形的邻近区域的两个节点，
[0043] 其中针对所述若干个连续帖的从分割的图形推演出的区域邻近图形形成区域邻 近图形集合， W44] 数据挖掘引擎，被配置成从区域邻近图形的集合中提取频繁时空图案，W及 W45] 聚集引擎，被配置成：
[0046] 确定连续帖之间的提取的频繁时空图案的轨迹之间的不相似度，W及
[0047] 根据所确定的该轨迹的不相似度聚集该频繁时空图案W产生对应于所述一个或 多个感兴趣对象中的一个感兴趣对象的至少一个群集。 W48] 有利地，该设备还可W包括概括引擎，被配置