专利名称：用于提高异常行为检测的精确度和鲁棒性的系统和方法
技术领域：
本公开涉及监管系统，更具体地涉及用于提高视频监管系统中自动异常行为检测的精确度和鲁棒性的系统和方法。
背景技术：
典型的监管系统包括多个传感器，所述传感器可以基于预先确定的条件收集数据和/或监视安全威胁。仅作为示例，所述多个传感器可以包括视频相机。典型的视频监管系统可以包括监视大地理区域的多个视频相机。仅作为示例，大地理区域可以是仓库。所述多个视频相机中的每一个可以收集对应于监视区域的元数据。操作人员可能被要求同时监视来自多个视频相机的多个视频馈给，并且因此可能无法检测到一些安全威胁。因此，视频监管系统可以包括基于预先确定的条件监视区域的自动检测系统。例如，所述预先确定的条件可以被称作“正常活动模式”(参见Grimson-1998 :W. Ε. L. Grimson,Chris Stauffer,Lily Lee,Raquel Romano的“Using Adaptive Tracking to Classify and Monitor Activities in a Site，，,Proceedings IEEE Conf. on Computer Vision and Pattern Recognition,第 22-31 页，1998)。例如，所述自动检测系统可以基于所收集的元数据和正常运动模式检测“异常运动模式”(参见Grimson)。换句话说，所述自动检测系统可以在检测到异常行为时就潜在的安全威胁警告操作人员。操作人员可以分析所述潜在的安全威胁并且选择是否启动警报。 此外，所述自动检测系统可以在不通知操作人员的情况下启动警报。此外，所述自动检测系统可以存储对应于所述潜在安全威胁的元数据以用于预先确定条件的更新和/或未来对潜在安全威胁的分析。仅作为示例，美国专利号7088846公开了一种视频监管系统，其使用基于规则的推理和多假设的评分而基于对象移动和对象所发起的事件来检测预先确定的对象行为。所述系统基于对象的移动模式确定警告条件。所述警告条件可以通过特定事件的组合的发生来定义。仅作为示例，所述特定事件可以包括出现一个人，人向门的移动，或者人在读卡器挥动物体。所述系统可以确定是否已经发生了特定事件，并且可以确定每个特定事件的时间戳。所述系统接着可以基于预定规则确定是否已经出现了警告条件。例如，美国专利号6707486公开了一种警报系统，其自动监视预先确定的区域中的活动和定向运动。特别地，可以仅在所述系统检测到特定方向中的移动大于预先确定的阈值和/或视频相机所检测到的运动对象为特定大小的情况下才生成警报。可替换地，例如美国专利申请号ll/676127“Surveillance System and Methods”公开了一种监管系统，其通过利用从元数据在线定位的运动模型估计检测异常的局部运动以去除多种规则配置。然而，所述系统可能要求操作人员对整个规则集合进行配置。此外，所述系统可能要求特定事件要基于特定事件的特定顺序。因此，这些要求可能使得难以对中型至大型的规则集合全面定义异常行为的模型。此外，从视频运动检测和追踪所获得的元数据例如由于光线变化、突然的背景变化、阴影、静态遮蔽、自遮蔽、融合对象、划分对象而包括各种误差。对于具有透视视图的相机而言，误差可能由于运动类型而产生，诸如当对象从远场向相机移动或者从相机向远场移动时等。可以例如使用具有预定运动模型的Kalman滤波对对象位置误差进行补偿。当为了异常行为检测而对对象运动进行评估时，精确的位置信息对于防止错误警报是很重要的，而所述错误警报对于系统的目标将是有害的。为了弥补这些潜在的不精确位置读取，异常行为检测系统应当支持鲁棒的异常运动检测。鲁棒追踪可以包括两级误差处理一种针对所估计的追踪误差，而一种则针对以检测误差可能有所不同的相机视野的不同部分来捕捉位置检测误差的相机，所述不同部分诸如远场和近场位置。使用在先误差分布作为具有当前误差模式的反馈可以提供测量窗口的动态调整以产生移动对象速率的更为精确和鲁棒的估计。此外，可以基于以上位置检测误差对采样窗口以及用于确定移动对象的速率、速度、加速度的算法进行调整。这里所提供的背景技术描述是为了总体给出公开的背景。对于该背景技术部分中对工作描述的程度以及该描述在提交时可能不适合作为现有技术的方面而言，目前所署名的发明人的工作既非明确也非隐含地被承认作为相对于本公开的现有技术。
发明内容
该部分提供了本公开的总体概述，而并非是其完全范围或所有特征的全面公开。一种用于确定跨越空间的对象的异常行为的方法，包括接收其在所述空间中的移动被监视的对象的轨迹信息，其中所述轨迹信息指示监视对象的当前位置；获取对应于监视对象的当前位置的轨迹模型，其中所述轨迹模型定义当前位置的对象能够行进的可能方向，以及对于每个可能方向而言当前位置的对象将以相应的可能方向行进的可能性；基于所述模型所给出的可能方向中的两个或更多的可能性的加权平均值计算监视对象以一个方向行进的可能性，其中所述两个或更多可能方向是与监视对象的方向最接近的方向；并且基于所计算的可能性识别监视对象的异常行为。一种用于确定跨越空间的对象的异常行为的方法，包括接收其在所述空间中的移动被监视的对象的轨迹信息，其中所述轨迹信息指示监视对象的当前位置以及监视对象在先前的时间段期间已经行进的距当前位置的距离；获取对应于监视对象的当前位置的轨迹模型，其中所述轨迹模型定义当前位置的对象在先前的时间段期间本可行进的距当前位置的阈值距离；将所述距离与所述阈值距离进行比较；并且基于所述比较识别监视对象的异常行为。一种用于确定跨越空间的对象的异常行为的方法，包括接收其在所述空间中的移动被监视的对象的轨迹信息，其中所述轨迹信息指示监视对象的当前位置、监视对象行进的方向以及监视对象的速率；获取对应于监视对象的当前位置的轨迹模型，其中所述轨迹模型定义当前位置的对象能够行进的可能方向，以及对于每种可能方向当前位置的对象将要行进的速率；基于所述模型所给出的可能方向中的两个或更多的速率的加权平均值计算监视对象的速率阈值，其中所述两个或更多可能方向是与监视对象的方向最接近的方向； 并且基于监视对象的速率以及所计算的速率阈值识别监视对象的异常行为。一种提高跨越空间的监视对象的异常行为检测的精确度和鲁棒性的监管系统，包括元数据处理模块、模型构建模块和行为评估模块。所述元数据处理模块生成对应于监视对象的轨迹信息并且基于多个正常运动模型和动态时间窗口中的至少一个确定监视对象的属性，其中所述属性包括监视对象的估计速率，监视对象是否为离群点(outlier)，以及测量误差估计。所述模型构建模块基于监视对象的属性以及对应于监视对象的异常分值中的至少一个进行多个正常运动模型的生成和更新中的至少一个。所述行为评估模块基于多个异常行为检测方法中的一个生成对应于监视对象的异常行为分值。可应用的其它领域将从这里所提供的描述而变得显而易见。该发明内容部分中的描述和特定示例仅是为了说明而并非意在对本公开的范围进行限制。
这里所描述的附图仅是为了图示所选择的实施例而并非所有可能的实施方式，且并非意在对本公开的范围进行限制。图1是根据本公开的监管系统的功能框图；图2A和2B是图示根据本公开的示例性感应设备的示例性视场的示意图；图3是根据本公开的异常行为检测模块的功能框图；图4是根据本公开的元数据处理方法的流程图；图5是根据本公开的模型构建模块的功能框图；图6是根据本公开的行为评估模块的功能框图；图7A和7B是监视对象的示例性方向和示例性方向之间的相应可能性和角度差异以及示例性方向的图形表示；图8A是根据本公开的检测错误方向行为的方法的流程图；图8B是根据本公开的检测徘徊行为的方法的流程图；图8C是根据本公开的检测速度行为的方法的流程图；图9是根据本公开的监管系统操作方法的流程图。相应附图标记指示贯穿多幅附图的相应部分。
具体实施例方式以下描述在本质上仅是示例性的而并非以任何方式对本公开以及其应用和使用进行限制。出于简要的目的，将在附图中使用相同的附图标记来标识相似元素。如这里所使用的，短语A、B和C中的至少一个应当被理解为使用非排他的逻辑或来表示逻辑上的(A 或B或C)。应当理解的是，方法中的步骤可以在不改变本公开原则的情况下以不同顺序来执行。如这里所使用的，术语模块可以指包括执行一个或多个软件或固件程序的专用集成电路(ASIC)、电路、处理器(共享、专用或群组)和/或存储器(共享、专用或群组)，组合逻辑电路，和/或提供所描述功能的适当组件，或者作为其一部分。用来检测异常运动行为的典型系统和方法可以由多种因素来限定。更具体地，视频分析中的实质性工作量已经被集中于收集用户所指定的“感兴趣区域”(ROI)中的运动数据。接着可以使用用户指定的阈值将所收集的运动数据与输入对象的运动数据进行比较。 换句话说，可以将监视对象的运动轨迹与用户所定义的运动模式和距离阈值进行比较以检测这些运动模式。例如，一个限定因素可以是与用户设置和保持ROI追踪相关联的难度以及所有区域的阈值。例如，另一个限定因素可以是动态改变输入对象的行为。此外，另一个限定因素可以是具有非一致地表的区域中无法预见的遮蔽和光照条件。可能需要大量工作以将对象运动的二维QD)视频变换为三维(3D)的物理轨迹。 更具体地，可能需要实质性的相机校准以及2D投影视图中物理几何的实际测量。相机校准和物理几何的实际测量对于安全操作人员而言可能都是困难的，因此可能都易于产生多种类型的误差。例如，光照和遮蔽可能会导致监视对象的实际位置、大小和/或深度的测量误差。接下来，例如在地面不平整的情况下，监视对象的速率可能看上去以不同于实际速率的速率进行移动。此外，例如监视对象的位置的分辨率以及速率测量可能会受到相机角度以及监视对象的运动方向的影响，诸如监视对象远离或朝着相机进行移动。最后，例如对应于相机视场中不同位置的位置误差可能随时间而变化。参见图1，示出了示例性视频监管系统10。该系统包括感应设备12a-12n、异常行为检测模块20、图形用户界面(GUI) 22、音/视(A/V)警报M和记录存储模块26。感应设备记录与对象相关的运动或图像数据。感应设备均可以包括元数据生成模块30。例如，元数据生成模块30可以根据本领域已知的方法基于所记录的对象运动生成元数据。虽然示出了每个感应设备均包括元数据生成模块30，但是视频监管系统 10可以包括外部的元数据生成模块30 ( S卩，处于共享网络上)。此外，异常行为检测模块20 也可以包括元数据生成模块30。感应设备将元数据传输至异常行为检测模块20。异常行为检测模块20 可以基于所接收的元数据分析对象的行为。异常行为检测模块还可以对GUI 22、A/V警报 M和记录存储模块对中的至少一个生成警报消息。例如，所接收的元数据可以包括相机标识符、视场标识符、对象标识符、时间戳和/或对象在视场中的位置，但并不局限于此。对象的位置可以由包围监视对象(在图像中)所占据的区域的矩形进行描述。该矩形可以被称作“最小边界框(MBB) ”或“最小边界矩形(MBR) ”。所述矩形可以由该矩形左上角的坐标、 该矩形的宽度以及该矩形的高度所指定。对象的位置可以由所述MBR中所定义的二进制掩码所标识，并且表示哪些像素被监视对象所占据。所述元数据可以进一步包括监视对象的原始图像和/或代表监视对象的其它外观特征，诸如监视对象的颜色、形状、对象类型、合并/分割事件等等。在一个实施例中，感应设备可以是视频相机或可以捕捉运动的其它设备，诸如红外相机、热感相机、声纳设备或运动传感器。感应设备被配置为记录关于目标区域或设备视场内的网格的运动。仅出于示例的目的，所述目标区域和网格在图 2A-2B中示出并且在以下更为详细地描述。现在参见图2A，示出了感应设备12a-12n中的一个的示例性视场201。视场201 包括多个目标区域203A和20;3B。目标区域203A包括位于(xl，yl)的左上角点205A、高度 h和/或宽度W。因此，目标区域203A的中心可以从点(xl，yl)、高度h和宽度w所得出。 此外，目标区域20 包括额外信息，诸如相机ID编号、视场ID编号、目标ID编号和/或目标区域的名称(例如，休息室门(break room door))。例如，目标区域20 可以是门而区域205B可以是门的把手。应理解的是，也可以存储与目标区域相关的额外信息。应理解，可以使用其它形状来描述目标区域，诸如椭圆形、圆形等。目标区域信息可以存储在表中。以下提供了用于存储目标区域定义的示例性表格
权利要求
1.一种用于确定跨越空间的对象的异常行为的方法，包括接收其在所述空间中的移动被监视的对象的轨迹信息，其中所述轨迹信息指示所述监视对象的当前位置；获取对应于所述监视对象的所述当前位置的轨迹模型，其中所述轨迹模型定义在所述当前位置处的对象能够行进的可能方向，以及对于每个可能方向而言在所述当前位置处的所述对象将以相应的可能方向行进的可能性；基于所述模型所给出的所述可能方向中的两个或更多个的可能性的加权平均值计算所述监视对象以一个方向行进的可能性，其中所述两个或更多个可能方向是与所述监视对象的所述方向最为接近的方向；以及基于所计算的可能性识别所述监视对象的异常行为。
2.如权利要求1所述的方法，进一步包括基于从多个感应设备所接收的传感器数据生成所述监视对象的所述轨迹信息。
3.如权利要求2所述的方法，其中所述感应设备是视频相机。
4.如权利要求1所述的方法，进一步包括基于对象在所述空间中的过去的行为构建所述轨迹模型。
5.如权利要求4所述的方法，进一步包括基于所述监视对象的所述轨迹信息以及异常行为的标识中的至少一个更新所述轨迹模型。
6.如权利要求1所述的方法，其中计算所述监视对象以一个方向行进的可能性进一步包括确定所述监视对象的方向角度和所述可能方向的方向角度之间的差。
7.如权利要求6所述的方法，其中所述可能方向中的所述两个或更多个对应于最小的差。
8.如权利要求1所述的方法，其中计算所述监视对象以一个方向行进的可能性进一步包括基于每个所述可能方向的可能性生成多个原始异常性分值；以及对预定时间段期间的所述多个原始异常性分值取平均值。
9.如权利要求8所述的方法，其中基于所计算的可能性识别所述监视对象的异常行为进一步包括基于所计算的可能性以及预定阈值激活图形用户界面、音/视警报和记录存储模块中的至少一个。
10.一种用于确定跨越空间的对象的异常行为的方法，包括接收其在所述空间中的移动被监视的对象的轨迹信息，其中所述轨迹信息指示所述监视对象的当前位置以及所述监视对象在先前的时间段期间已经行进的距所述当前位置的距离；获取对应于所述监视对象的所述当前位置的轨迹模型，其中所述轨迹模型定义在所述当前位置处的对象在所述先前的时间段期间本可行进的距所述当前位置的阈值距离；将所述距离与所述阈值距离进行比较；以及基于所述比较识别所述监视对象的异常行为。
11.如权利要求10所述的方法，其中所述先前的时间段基于采样速率包括多个样本。
12.如权利要求11所述的方法，其中识别所述监视对象的异常行为进一步包括 将在所述多个样本中的每一个处的所述监视对象距所述当前位置的距离与所述阈值距离进行比较；以及当所述距离小于所述阈值距离时递增计数。
13.如权利要求12所述的方法，其中识别所述监视对象的异常行为进一步包括基于所述计数和计数阈值激活图形用户界面、音/视警报和记录存储模块中的至少一个。
14.如权利要求10所述的方法，其中识别所述监视对象的异常行为进一步包括基于在所述先前的时间段期间所述监视对象距所述当前位置的距离确定停留时间段， 其中所述停留时间段包括所述监视对象距所述当前位置何时小于所述阈值距离。
15.如权利要求14所述的方法，其中识别所述监视对象的异常行为进一步包括 基于所述监视对象的像素大小以及预定义的像素大小模型生成置信度因数。
16.如权利要求15所述的方法，其中识别所述监视对象的异常行为进一步包括基于所述先前的时间段、所述停留时间段和所述置信度因数激活图形用户界面、音/ 视警报和记录存储模块中的至少一个。
17.如权利要求10所述的方法，进一步包括基于从多个感应设备所接收的传感器数据生成所述监视对象的所述轨迹信息。
18.如权利要求17所述的方法，其中所述感应设备是视频相机。
19.如权利要求10所述的方法，进一步包括构建所述轨迹模型，其中所述阈值距离基于在所述先前的时间段期间所述监视对象的平均速度以及在所述先前的时间段期间所述监视对象的平均方向。
20.如权利要求19所述的方法，进一步包括基于所述监视对象的所述轨迹信息以及异常行为的标识中的至少一个更新所述轨迹模型。
21.一种用于确定跨越空间的对象的异常行为的方法，包括接收其在所述空间中的移动被监视的对象的轨迹信息，其中所述轨迹信息指示所述监视对象的当前位置、所述监视对象行进的方向以及所述监视对象的速率；获取对应于所述监视对象的所述当前位置的轨迹模型，其中所述轨迹模型定义在所述当前位置处的对象能够行进的可能方向，以及对于每种可能方向而言在所述当前位置处的对象将要行进的速率；基于所述模型所给出的可能方向中的两个或更多个的速率的加权平均值计算所述监视对象的速率阈值，其中所述两个或更多个可能方向是与所述监视对象的所述方向最为接近的方向；以及基于所述监视对象的速率以及所计算的速率阈值识别所述监视对象的异常行为。
22.如权利要求21所述的方法，进一步包括基于从多个感应设备所接收的传感器数据生成所述监视对象的所述轨迹信息。
23.如权利要求22所述的方法，其中所述感应设备是视频相机。
24.如权利要求21所述的方法，进一步包括基于对象在所述空间中的过去的行为构建所述轨迹模型。
25.如权利要求M所述的方法，进一步包括基于所述监视对象的所述轨迹信息以及异常行为的标识中的至少一个更新所述轨迹模型。
26.如权利要求21所述的方法，其中计算所述监视对象的速率阈值进一步包括 确定所述监视对象的方向角度和所述可能方向的方向角度之间的差。
27.如权利要求沈所述的方法，其中所述可能方向中的所述两个或更多个对应于最小的差。
28.如权利要求27所述的方法，其中计算所述监视对象的速率阈值进一步包括 基于相应的角度差对所述两个或更多个可能方向中的每一个生成权重因数。
29.如权利要求观所述的方法，其中计算所述监视对象的速率阈值进一步包括 基于对应于所述两个或更多个可能方向的速率和权重因数确定所述监视对象的预期速率。
30.如权利要求四所述的方法，其中计算所述监视对象的速率阈值进一步包括 基于所述监视对象的预期速率和所述速率生成多个原始异常性分值；和确定预定时间段期间所述多个原始异常性分值的中值。
31.如权利要求21所述的方法，其中基于所计算的可能性识别所述监视对象的异常行为进一步包括基于所述监视对象的所述速率和所计算的速率阈值激活图形用户界面、音/视警报和记录存储模块中的至少一个。
32.一种提高对跨越空间的监视对象的异常行为检测的精确度和鲁棒性的监管系统， 包括元数据处理模块，其生成对应于所述监视对象的轨迹信息并且基于多个正常运动模型和动态时间窗口中的至少一个确定所述监视对象的属性，其中所述属性包括所述监视对象的估计速率、所述监视对象是否为离群点以及测量误差估计；模型构建模块，其基于所述监视对象的所述属性以及对应于所述监视对象的异常分值中的至少一个进行所述多个正常运动模型的生成和更新中的至少一个；和行为评估模块，其基于多个异常行为检测方法中的一个生成对应于所述监视对象的所述异常行为分值。
33.如权利要求32所述的监管系统，进一步包括基于视频数据和元数据中的至少一个生成所述轨迹信息的多个感应设备。
34.如权利要求33所述的监管系统，其中所述多个感应设备是视频相机。
35.如权利要求33所述的监管系统，其中所述元数据处理模块、所述模型构建模块和所述多个感应设备适于经由开放接口接收所述行为评估模块的离群点处理功能的输出，其中所述开放接口支持可缩放的异常行为分值实现和可扩展的异常行为检测。
36.如权利要求33所述的监管系统，其中所述多个感应设备进一步包括运行时间异常行为检测模块，其按照需要安装并且开始处理所述元数据以生成新类型的异常行为检测特征。
37.如权利要求32所述的监管系统，其中所述监视对象的所述属性包括运动方向的变化、估计速率与估计平均速率的比率以及随机性因数，其中所述估计平均速率对应于所述多个正常运动模型中的一个，并且其中所述随机性因数基于在动态时间窗口内所行进的距离以及总体位置估计误差。
38.如权利要求37所述的监管系统，其中所述监视对象基于所述监视对象在所述动态时间窗口期间的像素大小变化、对应于所述监视对象的边界框在所述动态时间窗口期间的变化以及所述监视对象的位置在所述动态时间窗口期间的变化中的至少一个而被确定为尚群点。
39.如权利要求38所述的监管系统，其中所述异常行为分值的精确度基于所述监视对象是否为离群点、所述估计测量误差和所述随机性因数而增加。
40.如权利要求38所述的监管系统，其中所述异常行为分值的精确度基于所述估计速率与所述估计平均速率的比率而增加。
41.如权利要求38所述的监管系统，其中在所述监视对象的观察被确定为离群点时不利用对应于所述监视对象的速率信息更新所述正常运动模型。
42.如权利要求41所述的监管系统，其中所述速率信息包括水平和垂直方向中基于最小移位的速度、所述监视对象的方向、以及对应于所述监视对象的先前位置和所述监视对象的当前位置的运动方向的变化。
43.如权利要求42所述的监管系统，其中在所述水平和垂直方向中基于最小移位的速度在到所述监视对象的当前位置的距离大于最小距离时可用，其中所述最小距离基于所述监视对象的像素大小和外部追踪算法。
44.如权利要求32所述的监管系统，进一步包括警报生成模块，其基于所述异常行为分值和分值阈值激活图形用户界面、音/视警报和记录存储模块中的至少一个。
45.如权利要求32所述的监管系统，其中所述异常行为检测方法包括如权利要求1所述的方法。
46.如权利要求32所述的监管系统，其中所述异常行为检测方法包括如权利要求10所述的方法。
47.如权利要求32所述的监管系统，其中所述异常行为检测方法包括如权利要求21所述的方法。
全文摘要
一种监管系统提高了跨越空间的监视对象的异常行为检测的精确度和鲁棒性，其包括元数据处理模块、模型构建模块和行为评估模块。所述元数据处理模块对监视对象生成轨迹信息，并且确定监视对象的属性。所述模型构建模块基于所述轨迹信息、属性和异常行为分值中的至少一个进行正常运动模型的生成和更新中的至少一个。所述行为评估模块基于多种方法中的一种生成异常行为分值。所述多种方法中的第一种定义错误方向行为。所述多种方法中的第二种定义闲荡/徘徊行为。所述多种方法中的第三种定义速度行为。
文档编号G06K9/00GK102326171SQ201080008688
公开日2012年1月18日 申请日期2010年2月19日 优先权日2009年2月19日
发明者余鹃, 哈桑·蒂穆钦·厄兹代米尔, 施项君, 李国柱 申请人:松下电器产业株式会社