用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备的制造方法_3

文档序号:9568682阅读:来源:国知局
方式中,确定轨迹的不相似度的步骤38包括W下步 骤。
[0075] 第一,确定区域邻近图形中的每个时空图案13、13'的图屯、。图4A示出了两个帖 1、1',对应于两个区域邻近图形(未示出),每个包括两个频繁时空图案13、13'。图案的 图屯、由黑点15、15'指示。帖(或图形)中的时空图案的图屯、对应于该帖(或图形)中的 该图案的所有出现的质屯、。在图4A中示出的示例中,为了容易辨认仅示出了图案13、13' 的每个的一个出现。
[0076] 第二,确定对应于每个区域邻近图形中两个不同时空图案13、13'的两个不同图 屯、15、15'之间的欧几里得距离Xt(图4A中t = 1,2)。
[0077] 第=,计算在一些区域邻近图形上的两个不同图形15、15'之间的欧几里得距离 Xi的平均值。
[0078] 由此,在上述的实施方式中,使用W下公式计算轨迹的不相似度dis:
[0080] 其中Xt对应于帖t中的两个时空图案的图屯、之间的欧几里得距离,且n是被考虑 的的帖数量。
[0081] 在一些实施方式中,为了执行步骤38的确定轨迹的不相似度,针对在两个不同区 域邻近图形中间隔时空图案的每一个的两次连续出现的一个或一些区域邻近图形插入图 屯、。实际上,一些频繁时空图案在连续帖(或区域邻近图形)的每一个中可W不出现,即它 们可W符合上述空间和时间约束,即使在它们的出现之间有一些帖。在该情况中,针对频繁 时空图案不出现的帖插入图屯、W能够计算帖(即区域邻近图形)的每一个中的图屯、之间的 欧几里得距离。然后可W计算所有区域邻近图形的两个不同图屯、之间的欧几里得距离。
[0082] 再次参考图1,在第六个步骤39中,频繁时空图案13根据确定的轨迹的不相似度 被聚集W产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集。
[0083] 在一些实施方式中,聚集步骤39可W有利地包括聚集计算出的两个不同图屯、之 间的欧几里得距离的平均值低于不相似性阔值的时空图案。可W使用等式(1)来计算两个 不同图屯、之间的欧几里得距离的平均值。
[0084] 在一些实施方式中,聚集步骤39包括W下步骤。
[00化]第一,频繁时空图案被聚集W产生对应于多个感兴趣对象的分级的群集集合。图 4B示出了提取的频繁时空图案F、G、H、K、L M、N的运样的群集25、26、27的集合200的示 例。坐标21表示该频繁时空图案F、G、H、Ka、M、N的轨迹之间的不相似度。对于给定的不 相似度,两个频繁时空图案一起被分组在一个群集中。得到的群集可W然后随着不相似度 增加与另一群集或另一频繁时空图案分组在一起。按照运样进行直到所有的频繁时空图案 被包含在单个群集中。在图4B的示例中,针对第一不相似度群集图案G和H,然后针对比第 一个不相似度大的第二不相似度将群集G、H与图案F进行聚集,W得到群集25。
[0086] 第二,在分级的群集集合200中仅选择不相似度低于预定阔值的群集。仍然参考 图4B,群集25、26、27被选择。群集25包含=个频繁时空图案F、G、H,群集26、27的每个包 含两个频繁时空图案,K、L和M、N。在该示例中,虚线23表示预定阔值,在该线23 W下的 所有群集被选择。
[0087] 根据运些实施方式,由于有了步骤38的确定频繁时空图案的轨迹的不相似度和 聚集步骤39,重组在提取步骤中找到的具有相似轨迹的对象部分是可行的。因此,可W W完 全自动的方式找到整个感兴趣对象。
[0088] 有利地,可W使用称为群集的寿命的量来设定图案轨迹的不相似度的阔值。群集 的寿命是形成群集的不相似度与该群集与另一群集或频繁时空图案组合的不相似度之间 的差。在图4B中,示意性示出了群集27的寿命29。然后可能的是考虑寿命最长的群集并 选择在低于被考虑的群集与另一群集或图案组合的不相似度的不相似度形成的群集。在图 4B的示例中,群集26可W被认为是具有最长寿命。
[0089] 再次参考图1,根据运里公开的实施方式的上述方法的任意还可W包括步骤40 : 使用在视频序列中检测和跟踪的一个或多个感兴趣对象来概括视频序列W得到视频概要 42。优选地,该概括步骤40可W包括基于其轨迹的空间重叠确定交互的感兴趣对象。概要 42可W例如包括视频序列集,显示在视频或电影中设及的主要对象及其交互。概要42还可 W包括文本、可扩展标记语言狂ML)文件等。
[0090] 视频概括是根据本公开的实施方式的方法的一种可能的实施示例。另一示例是视 频编辑,其中可W使用编辑器来检测和跟踪视频后期制作过程中的主要对象及其关系。
[0091] 本公开的一些实施方式还提供用于在视频序列中自动检测和跟踪一个或多个感 兴趣对象的设备,该视频序列包括使用移动相机获取的若干个连续帖。图5是运种设备的 示意性示出。
[0092] 设备100包括用于执行根据上述实施方式的方法的装置。特别地,设备100包括 帖提取器103,被配置成依据颜色将视频序列的每个帖分割成区域并针对每个帖产生分割 的图像。设备100还包括图形引擎105,被配置成从每个分割的图像推演出包括节点和边的 区域邻近图形。如之前所示,每个节点定义区域且每个边连接分割的图像的邻近区域的两 个节点,W及从所述若干个连续帖的分割的图像推演出的区域邻近图形形成区域邻近图形 集合。设备的数据挖掘引擎107被配置成从该区域邻近图形集合提取频繁时空图案。
[0093] 仍然参考图5,设备100还包括聚集引擎109。该聚集引擎109被配置成确定连续 帖之间的提取的频繁时空图案的轨迹之间的不相似度。聚集引擎109还被配置成根据确定 的轨迹的不相似度聚集频繁时空图案W产生对应于所述一个或多个感兴趣对象中的一个 感兴趣对象的至少一个群集。
[0094] 根据本公开的实施方式,用于自动检测和跟踪感兴趣对象的设备100还可W包括 概括引擎111,被配置成使用在视频序列中检测和跟踪的一个或多个感兴趣对象概括该视 频序列W得到视频概要。
[00巧]有利地,根据运里公开的实施方式的设备100还可W包括界面装置113、115、 117,被配置成将设备与用户或应用对接。例如,界面装置可W包括视频平台应用编程接口 (API)113,使得视频平台(例如化uTube)能够使用设备100的对象检测和跟踪和/或概括 功能,即识别可W在没有来自用户的交互的情况下被处理。可替换地,界面装置可W包括 GUI,例如被配置成允许用户上传其对其视频概要感兴趣的视频。视频可W例如从用户的本 地计算机硬盘119或从在线视频平台118被上传。界面装置还可W包括开放API117,其可 W基于网页服务。开放API117实现从任意应用(例如RESFT化1(表述性状态转移)网页 服务允许其他应用使用GET和POST请求方法发送超文本传输协议请求到网页服务)对接 设备100。
[0096] 本领域技术人员可W容易知道上述方法的实施方式的步骤能够由编程计算机来 执行。运里,一些实施方式用于包括程序存储设备,例如数字数据存储介质,其是机器可执 行的并编码机器可执行或计算机可执行的指令程序,其中所述指令执行运里所述的方法的 一些或所有步骤。程序存储设备可W例如是数字存储器、磁存储介质,例如磁盘或磁带、硬 盘,或光学可读数字存储介质。实施方式还用于包括被编程W执行运里所述的方法的所述 步骤的计算机。本领域技术人员可W理解附图的流程图和示意图表示过程的实施方式可W 基本上在计算机可读介质中被表述并因此由
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1