专利名称：有效存储视频中被跟踪目标的轨迹的方法
技术领域：
本发明涉及视频序列中目标的跟踪。本发明尤其涉及用于跟踪目标轨迹的坐标的存储。
背景技术：
在现有技术中，当在视频序列中跟踪目标时，通常为视频的每一帧产生轨迹坐标。考虑到这一点，例如，在每秒产生30帧的NTSC标准下，必须为每一帧产生并存储视频序列中每个目标的新位置或坐标。
该处理非常没有效率，并需要极大的存储量。例如，如果在视频序列中跟踪五个目标，存储一个小时的轨迹数据刚好将需要超过两兆字节的存储量。因此，所有轨迹的存储即使不是不切实际的也是昂贵的。
已经试图克服现有技术中无效率的缺陷。例如，为了节省空间，压缩每个视频帧的坐标。一个缺点是轨迹的压缩在处理过程中引入延迟。不管是不是压缩，仍然对每一帧生成坐标。另外，已试图根据视频帧的基于网格的分离，通过存储每个视频帧中运动位置的设备来回避轨迹的产生。这些设备仍然为每一帧存储数据，并且运动位置的精度不能与轨迹的产生相比。
发明内容
因此，本发明的一个目的是提供一种解决现有技术中的问题的方法和系统。
在本发明的第一方面，只在目标移动超过一个预定量时才存储坐标，而不是在每一帧过后存储它们的移动。
该特征允许在传统方法的基础上极大节省存储器或盘的使用。
一个视频内容分析模块自动识别视频帧中的目标，并且确定每个目标i的坐标(xi，yi)。当首次识别目标i时，每个目标i的参考坐标(xrefi，yrefi)被设为(xi，yi)。对于随后的帧，如果新的坐标(xnewi，ynewi)与参考坐标的距离小于一个给定的距离时，即如果‖(xnewi，ynewi)-(xrefi，yrefi)‖2＜ε，则忽略当前坐标。但是，如果目标移动超过距离ε，则当前坐标(xnewi，ynewi)存储在目标轨迹列表中，并且我们设置参考坐标(xrefi，yrefi)为目标的当前位置。该处理对随后的所有视频帧重复。所得到的压缩(compact)的轨迹列表接着能够在它们被产生的同时或在它们完成时被写入存储器或盘中。
本发明能够用于很多领域，包括跟踪在诸如大型购物中心等的特定区域中的运动的视频监视安全系统。传统上对于扫描/拍摄一个区域的诸如VCR的标准摄像机需要的存储量通常产生大量不想要的磁带库。另外，有这样的倾向，即快速重新使用磁带从而留出磁带存储区域，或者为其运输到别处而付费。本发明的压缩存储使得安全区域的固定存储更加实用，并且给调查人员提供观看特定地点是否由作坏事的人在执行随后的非法行动之前“踩点(case)”(例如，由作坏事的人在进行非法行动之前进行观察)的记录。
而且，在商业环境中，本发明能够应用于跟踪零售商店中的人，以查看他们在一个收款队伍中等待多长时间。
因此，一种用于存储视频中被跟踪目标的轨迹的方法，包括以下步骤(a)识别第一视频帧中的目标；(b)确定在第一视频帧中在步骤(a)中识别的每个所述目标的第一参考坐标(xrefi，yrefi)；(c)存储第一参考坐标(xrefi，yrefi)；(d)在第二视频帧中识别所述目标；(e)确定所述第二视频帧中所述目标的当前参考坐标(xnewi，ynewi)；和(f)如果对于特定目标满足满足以下条件，则在一个目标轨迹列表中存储特定目标的当前参考坐标，并用当前参考坐标(xnewi，ynewi)替换第一参考坐标(xrefi，yrefi)‖(xnewi，ynewi)-(xrefi，yrefi)‖2≥ε，其中ε是预定门限量，并且当不满足步骤(f)中的所述条件时，保持第一参考坐标(xrefi，yrefi)，以便与随后的视频帧进行比较。
该方法还可以包括(g)对视频序列中所述第二视频帧之后的所有视频帧重复步骤(e)和(f)，从而在每次满足步骤(f)中的所述条件时，用附加的坐标更新存储区，并用新的值更新当前参考坐标。
可选择的是，该方法可以包括以下步骤即使最新的坐标不满足条件(f)，也存储目标的最新坐标(即，恰好在目标消失和轨迹结束之前的坐标)。
在步骤(f)中存储的特定目标的目标轨迹列表可以包括一个处理器的临时存储器，和该方法可以选择性地包括以下步骤(h)在视频序列中所有的帧已经利用步骤(a)到(g)进行处理之后，从临时存储器中存储的所有坐标向固定存储器写入目标轨迹列表。
在步骤(h)中所提到的固定存储器可以包括磁盘、光盘和磁光盘或甚至磁带中的至少一个。或者，固定存储器能够被安排在网络服务器中。
在步骤(e)中当前参考坐标(xnewi，ynewi)的确定能够包括通过使用框限制(box bounding)技术对(i)基本上向着摄像机方向和(ii)基本上远离摄像机方向之一移动的目标的尺寸跟踪。框限制技术可以包括(i)确定特定目标i的参考限制框(wrefi，hrefi)，其中w表示特定目标的宽度，而h表示特定目标的高度；(ii)如果满足子步骤(ii)(a)和(ii)(b)中任何一个以下条件，存储当前的限制框(wi，hi)(ii)(a)|wi-wrefi|≥δw；(ii)(b)|hi-hrefi|＞δh，其中δw和δh是预定门限。
或者，框限制技术可以包括(i)确定特定目标的一个参考限制框(wrefi，hrefi)的面积arefi＝wrefi*hrefi，其中w表示特定目标的宽度，而h表示特定目标的高度；和(ii)如果当前限制框的面积δa＝|arefi-wi*hi|中的变化大于一个预定量，存储当前限制框(wi，hi)的坐标。
图1A-1C说明了本发明的第一方面，其中图1B相对于图1A中的运动不满足图1C中的表达式。
图2A-2C说明了本发明的第二方面，其中图2B相对于图2A中的运动满足图1C中的表达式。
图3A-3C说明了本发明涉及框限制技术的另一方面。
图4说明了根据本发明使用的一个系统的示意图。
图5A和5B是流程图，说明本发明的一个方面。
具体实施例方式
图1A-1C说明了本发明的第一方面。如图1A所示，一帧105包含一个目标100(在这种情况下，棍状图表示一个人)。为了便于理解，在帧中加入了X方向和Y方向上的数字刻度。注意到，能够例如通过使用目标像素的中心或在框限制技术(在下文中公开)的情况下通过使用目标限制框的中心获得x，y坐标。
本领域普通技术人员应当理解，刻度只是为了说明的目的，它们之间的间隔和/或数值不将要求保护的发明限制到此刻度上。在现在用作该特定目标的x和y参考点的位置(xrefi，yrefi)上识别目标100。
应当注意到识别的目标不一定例如是人，并能够包括房间中的非生命目标，比如桌子、椅子和办公桌。现有技术中已知，这些目标可以通过例如它们的颜色、形状、尺寸等识别。最好，使用背景去除技术来分离运动目标与背景。使用该技术的一种方式是通过获知背景场景的外观并接着识别与获知的背景不同的图像像素。这种像素通常对应于前景目标。参照以下文件作为背景材料合并应用，A.Elgammal，D.Harwood和L.Davis在Proc.European Conf.on Computer vision，2000的751-767页发表的“Non-parametric Model for Background Subtraction”，C.Stauffer，W.E.L Grimson在Proc.Computer Vision and Pattern Recognition，1999的246-252页发表的“Adaptive Background Mixture Models for Real-time Tracking”，作为对一些技术人员能够提供目标识别的方法提供的参考材料。在Stauffer的参考文献中，通过在新的帧中用与前一帧中最接近的目标相同的数字标记每个目标，根据距离简单地跟踪连续帧中的连接起来的目标。另外，能够通过分组前景像素，例如通过连接的成分算法识别目标，如在T.Cormen，C.Leiserson，R.Rivest在MIT Press，1990，22.1章的“Introduction to Algorithms”中所述的，其在这里被合并作为参考的背景材料。最后，能够跟踪目标，如公开在美国专利申请序列号09/xxx,xxx题目为“Computer Vision Method and System for Blob-BasedAnalysis Using a Probabilistic Network”，在2001年11月19日申请的美国序列号09/988,946中，因此其内容合并在此作为参考。
或者，目标能够被人工识别。如图1B所示，目标100移动到在第二帧110中获取的具有坐标(xnewi，ynewi)的一个新位置，这是远离第一帧105的(xrefi，yrefi)的距离。
技术人员能够意识到，虽然有很多种识别和跟踪目标的方法，但是不管目标识别和跟踪的特定类型如何，都能应用本发明。不管识别和跟踪的类型如何，存储器中的节省量是很重要的。
根据本发明的一个方面，不对每个目标和每一帧存储新的坐标，一种算法确定第二帧中目标100的运动是否大于某个特定量。在运动小于预定量的情况下，不存储图1B的坐标。在第一帧105中识别的参考坐标继续用于随后的帧。
图2A再次说明(为了读者的方便)帧105，它的坐标将用于跟踪第三帧210中的运动。第三帧中的目标100的运动量相对于第一帧105中的位置大于预定门限。因此，图2B中目标100的坐标现在成为新的参考坐标(在图中相对旧的(xrefi，yrefi)被识别为新的(xrefi，yrefi))。因此，目标100的轨迹包括帧1和3中的坐标，不需要保存帧2中的坐标。应当理解，例如由于诸如NTSC的标准每秒产生30帧，所以运动的预定量能够被设置，从而将不需要存储很大数量的坐标。该处理能够允许有迄今为止不知道的压缩效率。
用作预定门限的运动量能够为特殊应用定制，并包括能够动态计算或在分析处理期间修改门限。动态计算能够根据诸如平均目标速度、目标总尺寸、目标的重要性或视频的其他统计数字的因数来进行。
例如，在安全电影中，当被跟踪的目标非常有价值时只能够使用很少量的运动，与更大的门限量允许更有效的存储相反，根据存储器容量和/或成本，这是一个重要的需要考虑的问题。另外，门限量能够是应用特定的，从而坐标的轨迹接近于理想的实际运动。换句话说，如果门限量太大，不存储在不同方向上的运动。因此，运动的轨迹将只是保存的坐标之间的轨迹，当然这可以不必包括将在传统的跟踪和存储器中为每个单独帧确定精确路径。应当注意到，使用多种形式的压缩，通常有目标表示的一定程度的逐渐减少。
图3A到3C说明本发明涉及框限制技术的另一个方面。本领域普通技术人员能够理解到，在描述一个摄像机时，视频图像能够来自视频服务器、DVD、录像带等。当目标直接向摄像机移动或远离摄像机移动时，它们的坐标可能没有足够的改变来产生用于存储的新的轨迹坐标。框限制技术就是能够克服该问题的一种方式。例如，在目标直接向摄像机移动或远离摄像机移动的情况下，目标的尺寸将根据相对方向呈现得更大或更小。
图3A到3C说明使用尺寸跟踪的框限制技术。如图3A所示，限制框305表示第一帧310中目标307的宽度和高度。
如图3B中第二帧312所示，目标307的限制框310已经改变(由于这些图是用于解释的目的，所以它们不需要刻度)。
如图3C所示，如果随后的帧中限制框的宽度与前一帧参考框的宽度不同或者特定帧中限制框的高度与参考帧的限制框的高度不同，框限制技术将存储目标在第二帧312中的坐标；在每种情况下，该差超过预定门限。或者，也能够使用限制框的面积(宽度×高度)，所以如果限制框310的面积与参考限制框305的面积相差一个预定量，将存储第二帧的坐标。
图4说明了根据本发明的一个系统的一种实施例。应当理解到，所有元素之间的连接能够是有线、无线、光纤等的任意组合。如图4所示，摄像机405获取特定区域的图像并转发该信息到处理器410。处理器410包括一个视频内容分析模块415，它识别视频帧中的目标并确定每个目标的坐标。能够例如在RAM 420中存储每个目标的当前参考坐标，但应当理解能够使用其他类型的存储器。由于轨迹是一种路径，识别目标的初始参考坐标也将存储在固定存储区425。该固定存储区能够是磁盘、光盘、磁光盘、软盘、磁带等或任意其他类型的存储器。该存储器能够与处理器410位于同一单元中，或者也可以远程存储。存储器实际上能够是服务器430的一部分或被服务器430访问。每次视频内容模块确定一帧中的目标运动超过参考坐标值一个预定门限时，RAM 420中当前参考坐标将被更新并被固定存储425。由于系统只想存储超过某个门限量的运动，所以降低并在很多情况下消除了提供用于记录每一帧的存储器或足够的容量的需要。也应当注意到，存储器能够是录像带。
申请的图5A和5B说明了提供本发明的当前处理的概括的流程图。
在步骤500，识别第一视频帧中的目标。
在步骤510，确定第一视频帧中识别的每个目标的参考坐标。这些参考坐标的确定可以利用任意已知的方法例如使用目标限制框的中心或目标像素的质量中心来获知。
在步骤520，存储在步骤10中确定的第一参考坐标。通常，这些坐标能够存储在固定型的存储器中，它将记录目标的轨迹。但是，应当理解不需要在每个步骤后存储坐标。换句话说，坐标能够由表格中的处理器跟踪，并且在所有帧被处理之后，在那一时刻能够存储轨迹。
在步骤530，识别第二视频帧中的目标。
在步骤540，确定在第二视频帧中目标的当前参考坐标。这些坐标可以与第一帧中的相同，也可以与第一帧中的不同。如图5B所示，在步骤550，特定目标的当前参考坐标存储在目标轨迹列表中，并用于在特定目标满足以下条件‖(xnewi，ynewi)-(xrefi，yrefi)‖2≥ε时替换特定目标的第一参考坐标。但是，当不满足条件时，保留第一参考坐标，用于与接下来的视频帧相比较。处理连续进行直到已经用完所有视频帧为止。如前面所论述的，目标轨迹列表能够是一个表格，和/或以后在例如硬盘驱动器、可写入CD ROM、磁带、非易失电子存储器等上存储的处理器中的临时存储区。本领域普通技术人员能够在不脱离本发明的精神或随附的权利要求的范围的条件下，在本发明上作出各种修改。例如，用于识别视频帧中的目标的方法类型，用于确定另外的坐标和随后的帧的存储的门限可以在要求保护的发明的精神下由技术人员修改。另外，时间间隔能够引入到处理中，例如，在预定时间量之后，即使没有达到运动的预定门限也存储特定帧的坐标。而且，在本发明的精神和随附权利要求的范围内，技术人员能够理解，能够使用与x和y不同的坐标(例如，z)，或x，y坐标能够转换到另外的空间、平面或坐标系统，并将在新的空间内进行测量。例如，如果图像在测量之前进行透视转换。另外，测量的距离能够与欧氏距离不同，比如低计算强度测量，比如|xnew-xref|+|ynew-yref|≥ε。
权利要求
1.一种用于存储视频中被跟踪目标的轨迹的方法，包括以下步骤(a)识别第一视频帧(105)中的目标(100)；(b)对于第一视频帧中在步骤(a)中识别的每个所述目标，确定第一参考坐标(xrefi，yrefi)；(c)存储第一参考坐标(xrefi，yrefi)；(d)在第二视频帧(110)中识别所述目标(100)；(e)确定所述目标(100)在所述第二视频帧(110)中的当前参考坐标(xnewi，ynewi)；和(f)如果对于特定目标满足以下条件，则在一个目标轨迹列表中存储特定目标的当前参考坐标，并用当前参考坐标(xnewi，ynewi)替换第一参考坐标(xrefi，yrefi)‖(xnewi，ynewi)-(xrefi，yrefi)‖2≥ε，其中ε是预定门限量，并且当不满足所述条件时，保持第一参考坐标(xrefi，yrefi)，用于与随后的视频帧(210)进行比较。
2.根据权利要求1的方法，还包括(g)对于视频序列中所述第二视频帧之后的所有视频帧，重复步骤(e)和(f)，以便在每次满足步骤(f)中的所述条件时，用附加坐标更新存储区并用新的值更新当前参考坐标。
3.根据权利要求1的方法，其中当不满足步骤(f)的所述条件时，存储特定目标的当前坐标作为视频序列中所述随后视频帧之中最后一帧的最终坐标。
4.根据权利要求1的方法，还包括虽然不满足步骤(f)中的所述条件，但是在特定目标消失之前，存储当前坐标作为最终坐标，并且轨迹从视频序列中的随后视频帧结束。
5.根据权利要求1的方法，其中在步骤(f)中存储的特定目标的目标轨迹列表包括处理器的临时存储器，和(h)在视频序列的所有帧已经利用步骤(a)到(g)进行处理之后，将目标轨迹列表从临时存储器中存储的所有坐标写到固定存储器。
6.根据权利要求1的方法，其中步骤(e)中当前参考坐标(xnewi，ynewi)的确定包括通过使用框限制技术(310，312)对(i)基本上向着摄像机方向和(ii)基本上远离摄像机方向之一移动的目标的尺寸跟踪。
7.根据权利要求2的方法，其中步骤(e)中当前参考坐标(xnewi，ynewi)的确定包括通过使用框限制技术对(i)基本上向着摄像机方向和(ii)基本上远离摄像机方向之一移动的目标的尺寸跟踪。
8.根据权利要求5的方法，其中步骤(e)中当前参考坐标(xnewi，ynewi)的确定包括通过使用框限制技术对(i)基本上向着摄像机方向和(ii)基本上远离摄像机方向之一移动的目标的尺寸跟踪。
9.根据权利要求6的方法，其中框限制技术包括(i)确定特定目标的参考限制框(wref，href)，其中w表示特定目标的宽度，而h表示特定目标的高度；(ii)如果满足子步骤(ii)(a)和(ii)(b)中任何一个以下条件，存储当前的限制框(wi，hi)(ii)(a)|wi-wrefi|＞δw；(ii)(b)|hi-hrefi|＞δh。
10.根据权利要求6的方法，其中当前参考坐标是否达到一个门限ε的确定包括框限制技术和(xnewi，ynewi)与(xrefi，yrefi)中的差的组合。
11.根据权利要求8的方法，其中框限制技术包括(i)确定特定目标的参考限制框(wref，href)，其中w表示待定目标的宽度，而h表示特定目标的高度；(ii)如果满足子步骤(ii)(a)和(ii)(b)中任何一个以下条件，存储当前的限制框(wi，hi)(ii)(a)|wi-wrefi|＞δw；(ii)(b)|hi-hrefi|＞δh。
12.根据权利要求9的方法，其中框限制技术包括(i)确定特定目标的参考限制框(wrefi，hrefi)，其中w表示特定目标的宽度，而h表示特定目标的高度；(ii)如果满足子步骤(ii)(a)和(ii)(b)中的任何一个以下条件，存储当前的限制框(wi，hi)(ii)(a)|wi-wrefi|＞δw；(ii)(b)|hi-hrefi|＞δh。
13.根据权利要求7的方法，其中框限制技术包括(I)确定特定目标的一个参考限制框(wrefi，hrefi)的面积a＝wrefi*hrefi，其中w表示特定目标的宽度，而h表示特定目标的高度；和(ii)如果当前限制框的面积δa的变化大于一个预定量，存储当前限制框(wi，hi)的坐标。
14.根据权利要求8的方法，其中框限制技术包括(i)确定特定目标的一个参考限制框(wrefi，hrefi)的面积a＝wrefi*hrefi，其中w表示特定目标的宽度，而h表示特定目标的高度；和(ii)如果当前限制框的面积δa的变化大于一个预定量，存储当前限制框(wi，hi)的坐标。
15.根据权利要求9的方法，其中框限制技术包括(i)确定特定目标的一个参考限制框(wrefi，hrefi)的面积a＝wrefi*hrefi，其中w表示特定目标的宽度，而h表示特定目标的高度；和(ii)如果当前限制框的面积δa的变化大于一个预定量，存储当前限制框(wi，hi)的坐标。
16.根据权利要求1的方法，其中根据平均目标速度、特定目标的尺寸和特定目标的重要程度的指定之一动态计算特定目标的预定门限量ε。
17.一种用于存储视频中被跟踪目标的轨迹的系统，包括处理器(410)；视频输入端(405)，用于向处理器提供图像；视频内容分析模块(415)，用于跟踪提供给处理器(410)的图像中的目标的坐标；和用于存储目标轨迹的装置(425)；其中视频内容模块(415)给图像的第一参考帧中被识别的每个目标分配一个参考坐标值，并只在随后帧中目标的运动量相对于第一帧超过参考坐标值一个门限时，才将参考坐标值更新为随后帧的值。
18.一种用于存储视频中被跟踪目标的轨迹的方法，包括以下步骤(a)识别第一视频帧中的目标(500)；(b)对于第一视频帧中在步骤(a)中识别的每个所述目标，确定第一参考坐标(510)(xrefi，yrefi)；(c)存储(520)第一参考坐标(xrefi，yrefi)；(d)在第二视频帧中识别所述目标(530)；(e)确定所述目标在所述第二视频帧中的当前参考坐标(540)(xnewi，ynewi)；和(f)如果对于特定目标满足以下条件，则在一个目标轨迹列表中存储特定目标的当前参考坐标(550)，并用当前参考坐标(xnewi，ynewi)替换第一参考坐标(xrefi，yrefi)|xnewi-xrefi|+|ynewi-yrefi|≥ε，其中ε是预定门限量，并且当不满足所述条件时，保持第一参考坐标(xrefi，yrefi)，以便与随后的视频帧进行比较。
全文摘要
一种用于增强轨迹存储的方法和系统，其相对于传统的方法和系统降低存储要求。一个视频内容分析模块自动识别视频帧中的目标，并且确定每个目标i的坐标(x
文档编号G06T7/20GK1613017SQ02826107
公开日2005年5月4日 申请日期2002年12月10日 优先权日2001年12月27日
发明者R·A·科亨, T·布罗许 申请人:皇家飞利浦电子股份有限公司