专利名称：视频监视系统的制作方法
技术领域：
本公开涉及一种视频监视系统，其自适应地更新模型，用于确定异常行为检测的存在。
背景技术：
比以往任何时候更是如此，安全问题上升到国家重视的水平。为了确保人身财产安全，在危险区域或场所监控非常重要。传统上，保安人员可以监控场所。例如，在机场，安全官员可以监控安全检验点，安全检验点通常被建立来允许人从出口走出大门区域并且通过金属检测器和行李箱扫描仪进入大门区域。可以想象，如果保安人员暂时停止注意出口，则安全威胁就可能通过出口进入大门区域。一旦实现，当机场保安人员试图定位安全威胁时，这可能导致巨大延迟。而且，要被监控的每个场所都必须由至少一个保安人员监控，这 增加安全成本。监控场所的其他手段是以单个摄像机或多个摄像机监控一个场所或多个场所，并且使安全人员监控视频讯号。然而，由于保安人员观察视频输入可能分心或观测非相关视频讯号时可能忽略相关视频讯号，所以该方法还引入人为错误的问题。然而，随着视频监视系统变得更加自动化，现在使用预定义运动模型来监控场所。例如，安全顾问可以定义并且硬编码被标记为正常的轨迹，并且观测的运动可以与硬编码的轨迹进行比较，以确定所观测的运动是否异常。然而，该方法要求正常行为的状态定义。从而，在自动化视频监视系统技术方面需要用于定义运动模型和检测异常行为的自动化和/或自适应装置。本部分提供了关于本公开的不必然是现有技术的背景信息。
发明内容
在一个方面中，公开了一种视频监视系统，其具有生成对应于摄像机的视场的图像数据的摄像机。该系统包括模型数据库，其存储定义先前观测的对象的运动的多个运动模型。该系统还包括当前轨迹数据结构，其具有运动数据和至少一个异常得分，运动数据定义在摄像机的视场中移动的、观测的当前对象的时空轨迹，并且异常得分指示当前轨迹数据结构相对于多个运动模型的异常程度。该系统进一步包括向量数据库，其存储新近观测的轨迹的多个向量，每个向量对应于由摄像机新近观测的对象的运动；以及模型建立模块，其建立对应于当前轨迹数据结构的运动数据的新运动模型。该系统还包括数据库清除模块，其被配置成接收当前轨迹数据结构，并且基于向量的子集和当前轨迹数据结构之间的相似性的测量，从向量数据库中的多个向量中确定最类似于当前轨迹数据结构的特征的向量的子集。另外，数据库清除模块进一步被配置成，基于向量子集中的向量的量和从观测到向量的子集的新近观测的轨迹起的时间量，用新运动模型替换模型数据库中的运动模型中的一个。本部分提供了本公开的概述，并且不是其全部范围或其所有特征的全面公开。根据在此提供的说明，更多范围的适用范围将变得明显。在本发明内容中的描述和特定示例仅为了说明目的，并且不打算限制本公开的范围。
图I是示出示例性视频监视系统的框图；图2是示出监视系统的示例性组件的框图；图3A是示出摄像机的示例性视场(FOV)的图；图3B是示出摄像机的示例性FOV的图，在FOV上覆盖网格。图4是示例性轨迹向量的图；
图5是示出用于给轨迹评分的示例性方法的流程图；图6是示出元数据处理模块的示例性组件的框图；图7是示出被分为方向八分圆的数据单元的图；图8是示出异常行为检测模块的示例性组件的框图；图9是示出动态模型数据库和特征向量数据库的示例性实施例的图；图10是示出数据库清除模块的示例性组件的框图；图11是示出示例性哈尔(Haar)变换的图；图12是示出用于匹配轨迹的特征向量的示例性方法的流程图；图13是示出元数据处理模块的可选实施例的示例性组件的框图；图14是示出用于确定异常值的存在的示例性方法的流程图；图15是示出用于确定边界框尺寸中存在异常值的示例性方法的流程图；图16是示出用于确定被观测的速度中存在异常值的示例性方法的流程图；图17是示出用于确定在被观测的加速度中存在异常值的示例性方法的流程图；图18是示出用于执行异常值确认的方法的状态图；图19是示出哈尔滤波器的示例性组件的框图；图20A-图20C是示出增加和减小单元的八分圆的计数的多种手段的图形；以及图21是示出用于执行系数平滑的部分哈尔变换的图。在此绘制的附图仅用于所选实施例的说明目的并且不是所有都可能实现，并且不用于限制本公开的范围。贯穿图中的多个附图，对应的附图标记指示对应的部件。
具体实施例方式在此描述了自动视频监视系统的实施例。该系统接收视频流或者图像数据，并且检测被观测到正在摄像机的视场(FOV)内移动的对象，此后称为运动对象。处理图像数据，并且分析运动对象的位置。基于运动对象的分析生成运动对象的轨迹。然后，使用至少一个评分引擎对运动对象的轨迹评分，并且可以通过分级评分引擎来评分。评分引擎使用异常行为模型作为参考对被观测的轨迹进行评分。基于评分引擎的结果，可以检测异常行为。正常行为模型定义对应于期望的或接受的行为的对象的轨迹或运动模式，或者可能通常不上升到警报事件的等级的行为。例如，在正在监控停车场入口的情况下，车辆停在大门处短时间并且然后以较慢速率朝向停车场移动被认为是“正常”行为。然而，可以想到，在特定场所中，被认为是正常行为的事件在一天内可能改变多次。而且，在可能不期望特定轨迹的情况下，可能发生特殊事件，可能仍然是正常的。例如，在监控学校大楼的门口的情况下。通常，在上课期间，从大楼出来的例如学生的对象的被观测轨迹可以被分类为异常。然而，如果在特定时间，学生的班级为了特定课程走到外面，则学生的轨迹实际上是正常的。随着更多学生被观测到走出大楼时，系统可以获悉该轨迹并且随后存储对应于该轨迹的新正常运动模型。然而，当事件是特殊场合时，新的正常运动模型被从系统清除，由于这样的轨迹将不再正常。该新的正常运动模型将由对应于更新近观测的轨迹的更新运动模型替换。可以想到，系统基于所观测的类似轨迹的量和类似轨迹的最近行为判断什么是“正常”行为。一旦对于正常运动模型或其函数的类似轨迹的最近行为和量中的至少一个的指示符下降到阈值或被观测的轨迹的另一个集合的指示符之下，则特定的正常运动模型就可以被清除或从系统消失。可以想到，这不仅允许异常行为的准确检测，而且还可以最小化系统要求的存储量。参考图I,示出示例性自动视频监视系统10。该系统可以包括感测设备,例如,摄像机12a-12n、以及监视模块20。将想到，感测设备可以是其他类型的监视摄像机，诸如，红外摄像机等。为了说明的目的，感测设备在此被称为摄像机。而且，单个摄像机12a的参考 可以扩展至摄像机12b-12n。摄像机12a-12n监控场所并且生成关于摄像机的视场(FOV)和在FOV内观测的对象的图像数据，并且将图像数据传送至监视模块20。监视模块20可以被配置为处理图像数据，以确定运动事件是否发生。运动事件是在摄像机12a的FOV中何时观测到运动对象。一旦检测到运动对象，就可以通过监视模块20生成对应于运动对象的轨迹的运动的被观测的轨迹。监视模块20然后可以使用至少一个评分引擎对轨迹评分，其中，评分引擎使用正常运动模型作为参考。如果确定被观测的轨迹是异常的，则可以生成警报通知。然后可以将被观测轨迹的特征，包括对应于被观测的轨迹的一个或多个得分，与其他新近观测的轨迹的特征进行比较。如果相对大数量的新近观测的轨迹被类似地评分，则监视模块20更新正常运动模型，以包括对应于新近观测的轨迹的新的正常运动模型。监视模块20还可以管理视频保留策略，由此监视模块20决定哪个视频应该被存储以及哪个视频应该从系统清除。图2更详细地示出监视模块20的示例性组件。摄像机12生成对应于捕捉的视频的图像数据。示例性摄像机12包括元数据生成模块28，其生成对应于图像数据的元数据。可以预见，元数据生成模块28可以可选地包括在监视模块20中。元数据处理模块30接收元数据并且确定运动对象的被观测的轨迹。将想到，可以在摄像机的FOV中观测多于一个运动对象，并且从而可以通过元数据处理模块30生成多个被观测的轨迹。通过异常行为检测模块32接收被观测的轨迹。然后异常行为检测模块32将轨迹传送至一个或多个评分引擎34。评分引擎34从动态模型数据库44检索正常运动模型，并且相对于正常运动模型对被观测的轨迹评分。在一些实施例中，评分引擎是分级的，如随后论述的。各个评分引擎34将得分返回至异常行为检测模块32。然后异常行为检测模块32分析得分，以确定是否观测到异常行为。如果是，则警报事件可以被传送至警报生成模块36。而且，正常或异常的被观测的轨迹被传送至数据库清除模块38。数据库更新模块38自适应地学习和分析新近观测的轨迹，以确定是否发生了运动对象的运动模式的改变，例如运动对象的大致方向的改变。如果是，则数据库更新模块38生成对应于新的流模式的正常运动模型，并且将新的正常运动模型存储在动态模型数据库44中。而且，如果对应于正常运动模型的轨迹不再被观测到，则数据库更新模块38从动态模型数据库40中清除该模型。将想到，监视模块20可以被具体化为嵌入诸如RAM、R0MXD-R0M、硬盘驱动器等的计算机可读介质中的计算机可读指令。而且，指令可以由处理器与视频监视系统相关联地执行。而且，监视模块的组件或子组件中的一些可以被具体化为专用硬件。元数据生成模块28接收图像数据，并且生成对应于图像数据的元数据。元数据的示例可以包括但不限于运动对象标识符、运动对象周围的边界框、边界框上的特定点，例如左上角或中心点的(x，y)坐标、边界框的高度和宽度，以及帧号或时间戳。图3A示出摄像机FOV中的边界框310的示例。可以看出，左上角被用作边界框的参考点或位置。图中还示出了可以被提取的元数据的示例，包括边界框310的高度和宽度、(x，y)坐标。而且，FOV可以被划分为多个单元。图3B示出被划分为5X5网格，即，25个单元的示例性F0V。作为参考，还示出了边界框和运动对象。当FOV被划分为网格时，运动对象的位置可以由运动对象或边界框上的特定点所在的单元来参考。而且，用于摄像机的特定单元或区域的时间序列的元数据可以被格式化为数据立方体。另外，每个单元的数据立方体可以包含关于被观测的运动的统计和当运动对象通过这些单元时从它们获得的外观采样。可以想到，每次检测到运动事件，都可以使用时间戳或帧号对运动对象特征在时间上排序。在每个事件，可以对于特定的帧和时间戳产生元数据。例如，以下可以表示对应于运动对象的元数据，其中，根据以下<t,x,y,h,w, obj_id>格式化时间戳元数据<t15,5,4,2,1>，<t2，4，4，4，2，1>，· · · <t5,1，1，4，2，1>可以看出，在五个采样中，具有为I的id标签的运动对象从点(5，5)移动到点(1,1)，其中，该运动对象的边界框为四个单位高和两个单位宽。可以看出，运动对象由一组时空坐标定义。还将想到，从现在已知或者随后开发的图像数据生成元数据的任何装置都可以由元数据生成模块28来使用以生成元数据。元数据生成模块28将元数据传送至元数据处理模块30。元数据处理模块30从元数据生成用于运动对象的轨迹向量。例如，元数据处理模块30可以接收关于特定运动对象的多个数据立方体。从加时间戳的或另外的顺序的元数据，元数据处理模块30可以产生表示运动对象的运动的向量。表示轨迹的向量可以包括但不限于在特定时间边界框的位置、运动对象的速度、运动对象的加速度，并且可以具有用于在特定时间点轨迹的各种得分的字段。 图4示出轨迹的示例性向量表示。可以从向量看出，运动对象的轨迹可以容易地通过到评分引擎34，并且当轨迹被评分时，由SE指定的字段被设置为相应得分，由此指示异常程度。虽然公开了表示轨迹的向量，但是将想到，可以使用其他类型的数据结构表示轨迹。元数据处理模块30还可以被配置成从元数据去除异常值。例如，如果所接收的元数据与其余元数据不一致，则元数据处理模块30确定所接收的元数据是异常值并且在轨迹数据中标记。图6示出元数据处理模块30的示例性实施例的组件。元数据处理模块30从元数据生成模块28接收元数据。向量生成模块60接收元数据并且确定将生成的向量的量。例如，如果两个对象在单个场景中移动，则可以生成两个向量。向量生成模块60可以具有存储多达预定量的轨迹向量的向量缓冲器。而且，随着向量中的条目的量等于具有在此观测的运动对象的帧或加时间戳的帧的量时，向量生成模块60可以分配用于对应于运动对象的每个向量的合适量的存储器。在实时地执行事件向量生成的情况下，当接收新元数据时，向量生成模块可以分配额外的存储器用于轨迹中的新的点。向量生成模块60还将位置数据和时间数据插入轨迹向量中。从元数据数据立方体确定位置数据。可以在实际(x，y)坐标中或通过标识运动对象被观测的单元来列出位置数据。速度计算模块62计算在多个时间采样处轨迹的速度。将想到，在每个时间部分的速度都具有两个分量，速度向量的方向和幅度。幅度涉及运动对象的速率。在t。·处对于轨迹来说，速度向量的幅度或运动对象的速率可以计算为 V(f )-知( .:前)—X(r ^ )) + ((沖—)—))2 ⑴
V €mw Ctmr-iI * 或者，速度向量的幅度可以在其各个分量中表示，SP 办(〔胃)=歷和(2)
^ciutr ^Cmir-4^ rimt^将进一步想到，如果使用数据单元表示，即，运动对象的位置由在其中找到该运动对象的数据单元定义，则对应于该数据单元的预定(x，y)值可以代替实际位置。将想到，所计算的速度与摄像机的FOV有关，例如，每秒的像素。从而，尽管两个对象可以以相同或相似的速率移动的事实，但是更远的对象将比接近摄像机的对象看起来更慢。尽管预见可以使用相对速率，但是可以进行变换，使得速率是对象的实际速率或其近似。例如，在FOV的底部的运动对象可以缩放第一较小标量，在FOV的中部的运动对象可以缩放第二中间标量，并且接近FOV的顶部的对象可以缩放第三较大标量。在该示例中，假设在FOV的底部的对象比FOV的中部中的那些更近，FOV中部中的那些比接近FOV的顶部的那些更近。进一步预见，可以实施计算相对或实际速度的其他手段。速度向量的方法可以通过将每个数据单元划分为例如8个八分圆的预定子单元而在数据单元中表示关于其方向。图7示出被分为8个八分圆1-8的数据单元70的示例。取决于t。·和采样之间的轨迹的方向，可以通过确定轨迹可以落入哪个八分圆来近似方向。例如，在接近NNE的任何方向，例如，在基本向上方向并且稍微向右，上行进的轨迹可以被给予单个轨迹，如由附图标记72所示。从而，用于数据单元的任何速度向量可以由数据单元八分圆标识符和幅度表示。加速度计算模块64以与速度计算模块基本相同的方式操作。代替位置值，可以使用多种时间采样处的速度向量的幅度。从而，可以通过下式来计算加速度. ) {3)
CUrrit ~> 言' 、
” ,imr cmr- 》或者，加速度向量的幅度可以在其各个分量中表示，即
補-)=和捕·)=醒卜冗脸』......(4)
' mm . cmr-X)ν .ν α · ,fiiiw-i)关于方向，加速度向量的方向可以与速度向量的方向相同。然而，将理解，如果运动对象减速或转向，则加速度向量的方向不同于速度向量。
异常值检测模块66接收轨迹向量并且在多种时间采样处读取运动对象的值。异常值是与数据集合的剩余部分不一致的数据采样。例如，如果运动对象在采样tl和t3中的FOV的顶部左拐角处被检测到，但是在采样t2位于底部右拐角中，则异常值检测模块66可以确定对于时间t2的时间采样是异常值。将预见，可以在异常值检测模块66中实现检测异常值的任何手段。而且，如果检测到异常值，则异常值检测模块可以基于其他数据采样来插值运动对象的位置。这可以例如通过对直接在异常值数据点之前和直接在异常值数据点之后的数据点处的位置求平均得出。还可以使用插值数据的其他手段。例如，在插值中可以使用在前和在后数据点的加速度和速度，以得到更准确位置估计。注意，元数据处理模块30可以通过其他手段，包括以下论述的哈尔滤波器，计算运动对象的速度和加速度。另外，还可以实时地对轨迹向量评分，如以下论述的。在这些实施例中，当运动事件发生时，元数据处理模块30确定当前数据，并且将更新的轨迹向量传递至异常行为检测模块32。元数据处理模块30可以进一步配置为生成用于每个单元的数据立方体。数据立方体是多维阵列，其中，阵列中的每个元素对应于不同的时间。在特定单元中观测的每条运 动数据都在对应的时间。从而，在单元的数据立方体中，可以记录随着时间观测的多种运动对象的速度和加速度。而且，数据立方体可以包含运动对象的期望属性，诸如，最小边界框的尺寸。然后，对应于图像数据中被观测的运动对象的被观测的轨迹向量被传送至异常行为检测模块32。异常行为检测模块32接收被观测的轨迹向量，并且将轨迹向量传送至一个或多个评分引擎。评分引擎返回对于轨迹的异常得分。异常得分可以对应于轨迹向量中的特定事件，例如，对于轨迹向量中的每个时间戳，异常得分对应于运动对象的运动，直到时间可以返回为止。例如，对于每个时间戳，达到特定时间戳的轨迹向量由多种评分引擎评分。从而，如果轨迹向量开始为被评分为正常轨迹，则得分相对低，直到对象的运动偏离正常运动模型为止，在该点处，异常得分增加。图5示出可以通过异常行为检测模块32执行的示例性方法。异常行为检测模块32接收被观测的轨迹向量，如在步骤501中所示。被观测的轨迹向量可以包括表示在特定时间点轨迹的异常得分的多个未定义字段。从而，异常行为检测模块32将轨迹向量传送到多个评分引擎，如在步骤503处参考的。以下更详细地描述的评分引擎对多个时间点处的轨迹评分，并且将得分记录在轨迹字段的合适字段中。可以想到，一旦轨迹向量通过评分引擎被评分，则异常行为检测模块32将接收被评分的轨迹向量，如在步骤505处所示，并且然后可以确定是否检测到任何异常行为。该确定可以通过检验关于评分引擎的轨迹向量中的每行来实现。对于每行，如果连续的或接近连续的运行的得分具有大于预定阈值的异常得分，则可以假定在此连续运行期间，行为是异常的。如果检测到异常行为，则评分引擎可以可选地启动子评分引擎，如在步骤511处所
/Jn o一旦轨迹向量通过评分引擎34并且可能子评分引擎评分，并且从一个或多个评分引擎34检测到异常行为，则异常行为检测模块32就可以基于异常得分对运动对象的轨迹分类，如在步骤509处所示。而且，异常行为检测模块32可以被配置成基于异常得分对轨迹向量的独立片段分类。
现在更详细地描述示例性异常行为检测模块32和示例性评分引擎。一旦位置、速度和加速度数据被计算，则异常行为检测模块32就从元数据处理模块30接收轨迹向量。图8示出异常行为检测模块30的示例性组件。异常行为检测模块的示例性组件包括与多个评分引擎通信的得分累积模块82和基于累积得分对运动对象行为分类的行为分类模块84。得分累积模块82将轨迹向量传送至多个评分引擎86a-n。每个评分引擎被配置成关于定义特定期望的或接受的行为的一个或多个正常运动模型来评估轨迹向量。评分引擎在每个时间采样处返回得分，其指示与一个或多个模型的符合程度。从而，具有16个条目的轨迹向量可以具有从每个评分引擎返回的16个得分。然而，将想到，不是每次条目都要求对应的得分。评分引擎86a_n接收轨迹向量并且通过比较轨迹与存储在动态模型数据库44中的运动模型来对轨迹评分。如所述，评分引擎86a-n可以是分级的。超速评分引擎接收轨迹并且比较轨迹与定义“正常”行为的一个或多个模型。如果在轨迹中检测到超速，则轨迹可以被传送至多种子评分引擎，其所有都涉及检测不同类型的超速。例如，超速子评分引擎可以包括被配置成检测以下的评分引擎突发超速、恒定加速度超速、长距离超速，或 任何其他类型的超速。徘徊(wandering)子评分引擎可以检测闲逛或在周围停留。异常运动子评分引擎可以检测与交通流相反的运动、垂直于交通流的运动、之字形通过交通流，或交通中的U形转弯。在先前提交的申请中描述多种评分引擎，包括美国专利申请序列号No. 11/676，127，其通过引用结合于此。为了给读者提供环境，将描述示例性超速评分引擎和突发超速评分引擎。超速评分引擎接收轨迹向量。例如，可以接收{ ，[t
(i-l) J X(i-1) J Yi (-1) J V(i-l) J ] , [tp Xi, Y1,
Vi,...])的轨迹。在该示例中，在时间t(i_D和\处对于同一对象的观测(当前帧和先前帧)包括在轨迹数据中。而且，轨迹数据可以包括在t。，S卩，检测到对象的第一帧，开始的任何或所有观测。超速引擎然后从动态模型数据库44检索正常速度运动模型。虽然仅使用用于特定行为的单个模型描述超速评分引擎，但是评分引擎可以利用多个正常速度运动模型。从而，如果被观测的轨迹与至少一个模型匹配，即，当与特定正常运动模型相比时具有低的异常得分，则行为是正常的。如果得分都是异常的，则评分引擎可以以多种方式提供对于轨迹的得分，例如，平均异常得分、中间异常得分、最高异常得分或最低异常得分。速度运动模型可以包含期望速度)或期望速度分量(Ux)和(iiy)以及对于期望速度(O)、(Ox)和(Oy)的标准差。使用速度分量，在t处的原始超速得分(rawspeeding score)可以通过以下计算
权利要求
1.一种视频监视系统，所述视频监视系统具有摄像机，所述摄像机生成对应于所述摄像机的视场的图像数据，所述系统包括 模型数据库，所述模型数据库存储多个运动模型，其中，所述运动模型定义先前观测的对象的运动； 当前轨迹数据结构，所述当前轨迹数据结构具有运动数据和至少一个异常得分，其中，所述运动数据定义在所述摄像机的所述视场中移动的、观测的当前对象的时空轨迹，并且其中，所述异常得分指示所述当前轨迹数据结构相对于所述多个运动模型的异常程度； 向量数据库，所述向量数据库存储新近观测的轨迹的多个向量，每个向量对应于由所述摄像机新近观测的对象的运动； 模型建立模块，所述模型建立模块建立对应于所述当前轨迹数据结构的所述运动数据的新运动模型； 数据库清除模块，所述数据库清除模块被配置成基于向量的子集和所述当前轨迹数据结构之间的相似性的测量，从多个向量中确定最类似于所述当前轨迹数据结构的所述向量的子集；以及 所述数据库清除模块进一步被配置成基于子集向量中的向量的量和从观测到所述向量的子集的所述新近观测的轨迹起的时间量，用所述新运动模型替换所述模型数据库中的所述运动模型中的一个。
2.根据权利要求I所述的视频监视系统，其中，存储在所述向量数据库中的所述多个向量是特征向量，每个特征向量具有从所述新近观测的轨迹的异常得分得到的特征。
3.根据权利要求2所述的视频监视系统，其中，所述数据库清除模块包括 特征提取模块，所述特征提取模块被配置成接收所述当前轨迹数据结构并且通过对所述当前轨迹数据结构的所述至少一个异常得分执行特征提取来生成所述当前轨迹数据结构的特征向量； 特征向量匹配模块，所述特征向量匹配模块被配置成接收所提取的特征向量并且基于所述当前轨迹数据结构的所述特征向量和所述向量数据库中的所述特征向量之间的相似性测量来确定所述向量的子集； 数据库更新模块，所述数据库更新模块被配置成接收所述新运动模型，并且基于所述向量的子集中的向量的量和从观测到所述向量的子集的所述新近观测的轨迹起的时间量，替换所述模型数据库中的所述运动模型中的一个。
4.根据权利要求3所述的视频监视系统，其中，所述特征提取模块被配置成生成所述当前轨迹数据结构的哈尔变换并且从所述哈尔变换选择系数的预定子集。
5.根据权利要求3所述的视频监视系统，其中，所述特征向量匹配模块被配置成执行k最接近邻居搜索，以在所述向量数据库中找到k个与所述当前轨迹的所述特征向量最类似的特征向量。
6.根据权利要求5所述的视频监视系统，其中，所述向量的子集由具有与所述特征向量的相似性的测量低于预定阈值的特征向量构成。
7.根据权利要求3所述的视频监视系统，进一步包括评分引擎，所述评分引擎被配置成接收所述当前轨迹数据结构，并且基于所述当前轨迹数据结构的所述运动数据和所述模型数据库中的所述多个运动模型来生成所述当前轨迹数据结构的所述异常得分，其中，所述运动模型定义特定类型的运动，并且所述评分引擎被配置成检测所述特定类型的运动。
8.根据权利要求7所述的视频监视系统，进一步包括对应于所述评分引擎的子评分引擎，所述子评分引擎被配置成基于所述当前轨迹数据结构的所述运动数据、所述当前轨迹数据结构的所述异常得分以及所述多个运动模型中的至少一个来生成异常子得分，其中，所述子评分引擎被配置成检测所述特定类型的运动的子分类。
9.根据权利要求8所述的视频监视系统，其中，所述特征提取模块被进一步配置成对所述当前轨迹数据结构的所述异常子得分执行特征提取，并且基于所述当前轨迹数据结构的所述异常子得分来生成特征向量。
10.根据权利要求I所述的视频监视系统，其中，所述当前轨迹数据结构是向量。
11.一种用于维护模型数据库的方法，所述模型数据库存储多个运动模型，所述运动模型定义先前观测的对象的运动，所述方法包括 生成具有运动数据和至少一个异常得分的当前轨迹数据结构，其中，所述运动数据定义在摄像机的视场中的移动的、观测的当前对象的时空轨迹，并且所述异常得分指示所述当前轨迹数据结构相对于所述多个运动模型的异常程度； 建立对应于所述当前轨迹数据结构的所述运动数据的新运动模型； 从存储在向量数据库中的新近观测的轨迹的多个向量确定向量的子集，其中，每个向量对应于由所述摄像机新近观测的对象的运动，并且其中，所述向量的子集具有与所述当前轨迹数据结构最高量的相似性，其中，相似性的量基于相似性测量；以及 基于所述向量的子集中的向量的量和从观测到所述向量的子集的所述新近观测的轨迹起的时间量，用所述新运动模型替换所述模型数据库中的所述运动模型中的一个。
12.根据权利要求I所述的方法，其中，存储在所述向量数据库中的所述多个向量是特征向量，每个特征向量具有从所述新近观测的轨迹的异常得分得到的特征。
13.根据权利要求12所述的方法，进一步包括 对所述当前轨迹数据结构的所述至少一个异常得分执行特征提取； 从所述特征提取生成特征向量； 基于所述当前轨迹数据结构的所述特征向量和所述向量数据库中的所述特征向量之间的相似性测量来确定所述向量的子集。
14.根据权利要求13所述的方法，所述执行特征提取进一步包括对所述当前轨迹数据结构执行哈尔变换，并且从所述哈尔变换选择系数的预定子集。
15.根据权利要求3所述的方法，其中，所述从多个向量确定向量的子集进一步包括在所述向量数据库中执行k最接近邻居搜索，其中，所述向量的子集具有最多k个向量。
16.根据权利要求15所述的方法，其中，所述向量的子集由具有与所述特征向量的相似性的测量低于预定阈值的特征向量构成。
17.根据权利要求13所述的方法，进一步包括基于所述当前轨迹数据结构的所述运动数据和所述模型数据库中的所述多个运动模型来生成所述当前轨迹数据结构的所述异常得分，其中，所述运动模型定义特定类型的运动。
18.根据权利要求17所述的方法，进一步包括基于所述当前轨迹数据结构的所述运动数据、所述当前轨迹数据结构的所述异常得分以及所述多个运动模型中的至少一个来生成异常子得分。
19.根据权利要求18所述的方法，进一步包括对所述当前轨迹数据结构的所述异常子得分执行特征提取，并且基于所述当前轨迹数据结构的所述异常子得分来生成特征向量。
20.根据权利要求10所述的方法，其中，所述当前轨迹数据结构是向量。
全文摘要
公开了一种视频监视系统。该系统包括存储多个模型的模型数据库和存储新近观测的轨迹的多个向量的向量数据库。该系统包括模型建立模块，建立对应于当前轨迹数据结构的运动数据的新运动模型。该系统生成具有运动数据和异常得分的当前轨迹数据结构。该系统还包括数据库清除模块，被配置成基于向量的子集和当前轨迹数据结构之间的相似性的测量，确定最类似于当前轨迹数据结构的向量的子集。数据库清除模块被进一步配置成基于子集向量中的向量的量和向量的子集的最近行为，用新运动模型替换模型数据库中的运动模型中的一个。
文档编号H04N7/18GK102782734SQ201080064201
公开日2012年11月14日 申请日期2010年12月16日 优先权日2010年2月19日
发明者余鹃, 刘军, 刘礼斌, 哈桑·蒂穆钦·厄兹代米尔, 施项君, 朱男洙, 李国柱 申请人:松下电器产业株式会社