专利名称：使用概率分布函数来模拟行为的方法和装置的制作方法
技术领域：
本发明涉及计算机视觉系统，尤其涉及通过观察行为模式来识别事件的行为模拟和检测的方法和系统。
计算机视觉技术正广泛用于自动检测或区分图像中的物体或事件。例如，行为模拟技术通常应用于识别人类行为模式。通常，行为分析和模拟系统首先获知行为模式，然后检测所述行为模式的偏差。一般来说，传统行为分析技术关注的是异常事件的检测。
行为模拟中大多数现有工作关注的是将轨迹模拟成概率分布或隐马尔可夫模型(HMM)。一旦轨迹被模拟了，目标就是预测物体的轨迹以及检测“异常”轨迹。例如，轨迹分析技术已经应用于观察在特定区域中行走的人的轨迹，并且之后如果轨迹显示有人进入受限制的区域内，则产生警报。
虽然传统轨迹分析技术在许多安全应用方面表现良好，但是这种轨迹分析技术对于其它应用(例如家庭监测)的有效性和价值值得怀疑。尤其是，当行为模拟系统正在监测一个或多个特定人的行为时，例如远程监测处于家庭环境的老人时，最相关的信息是这个人的当前位置或行为，而不是这个人如何到达他或她的当前位置或行为。
因此需要这样的行为模拟和检测的方法和系统，该方法和系统通过观察行为模式以及检测对重复行为模式的破坏来识别事件。
通常所公开的方法和装置在图像数据中自动获知和识别行为模式。根据本发明的一个方面，提供了一种方法和装置，用于模拟人类或其它动画对象的行为模式以及检测对重复行为模式的破坏。本发明持续观察一个或多个人的行为并将行为特征记录在多维空间中。例如，可以在多维空间中获得包括位置(例如，垂直和水平位置)、时间、物体姿势和物体运动级别的用户行为。随时间的推移，这些多维数据提供对人类行为模式的指示。就时间、地点和行为而言是重复的行为，例如吃、睡，将在多维数据中表现出高斯型曲线分布或集群。
获知算法应用到多维数据中以识别重复行为模式。在一个典型实施例中，从多维特征数据计算概率密度函数(pdf)以模拟人类行为。可以使用任何用于PDF分析的方法(例如高斯型曲线或集群技术)分析概率分布函数，以识别重复行为模式及其特征。通常重复行为模式将在多维特征数据中表现为高斯型曲线分布或集群，每个高斯型曲线分布或集群用平均值和方差来表征。
概率分布函数可以成为不同的集群，并且集群可以与行为模式相关联。通常，集群不需要被相应的动作(诸如，吃)标识。知道集群与某些特定行为相关联就足够了。
根据本发明的另一个方面，可以检测出重复行为模式的偏差，并且如果适当可以触发警报。例如，当重复行为模式表达为高斯型曲线分布或集群时，方差提供一个阈值用于确定当前行为是否应当被分类为重复行为模式的偏差。通常，异常行为可以表明某些类型的健康问题或紧急情况。因此，可以选择性地建立规则，以在重复行为模式的偏差满足一个或多个预定义条件时产生警告。
通过参考下面的详细描述和附图，将会更充分地理解本发明以及本发明的特征和优点。
图1示出了根据本发明的优选实施例的示范性视频监测系统；图2示出了根据本发明在多维空间中观察的人类行为曲线；图3的流程表描述了图1的特征提取过程的典型实施；图4的流程表描述了图1的PDF产生和分析过程的典型实施；和图5的流程表描述了图1的事件检测过程的典型实施。
图1示出了根据本发明的典型视频监测系统120。视频监测系统120模拟人类或其它动画对象的行为模式并且检测对重复行为模式的破坏。例如，视频监测系统120可以监测被观察的人的吃和睡的模式。然后，可以检测出这些行为模式的偏差，例如睡了异常的时间间隔或在异常的时间睡，或吃了异常的量或在不规则的时间间隔吃，从而如果适当就触发警报。
在如下所述的一个典型实施例中，本发明持续观察了一个或多个人的行为并将行为特征记录在多维空间中。例如，可以在五维空间中获得用户行为，这五维包括位置的两维(竖直和水平)、时间、物体姿势以及物体运动水平。随着时间流逝，多维数据提供了人体行为模式的指示。就时间、地点和行为而言是重复的行为，例如吃和睡，将在多维数据中作为集群出现。
之后，将获知算法应用到该多维数据以识别所述重复行为模式。例如，可以计算概率密度函数(pdf)以模拟人的行为。可以使用高斯型曲线或集群技术分析概率分布函数以识别重复行为模式及其特征。
计算机可读程序代码手段可以与诸如视频处理系统120的计算机系统相结合操作，以进行执行此处所讨论的方法的全部或部分步骤或制作此处所讨论的装置。计算机可读媒质可以是可记录媒质(通过媒质界面135访问的例如软盘、硬盘、诸如DVD110的压缩磁盘，或者存储卡)或可以是传输媒质(例如包括光纤光学系统、环球网、电缆或使用时分多路访问、码分多路访问或其它射频信道的无线信道)。可以使用任何已知的或开发出的适用于计算机系统的能够存储信息的媒质。计算机可读代码手段是任何允许计算机读取指令和数据的机制，例如磁介质的磁性变化或压缩磁盘表面(例如DVD10)的高度变化。
存储器145配置处理器130以执行此处公开的方法、步骤和功能。存储器145可以是分布式的或局部的，处理器130可以是分布式或单个的。存储器145可以实现为电、磁或光存储器、或它们的任意组合、或者其它类型的存储器件。术语“存储器”应当被广泛地解释为足以包含任何能够通过处理器130访问的可寻址空间中的从地址读出或写入地址的信息。根据该定义，网络(例如通过网络接口140访问的网络115)上的信息也在视频处理系统120的存储器145之内，这是因为处理器130能够从该网络获取信息。应当注意，视频处理系统120的全部或部分可以制作在集成电路或其它类似的设备(例如，可编程逻辑电路)中。
既然已经描述了系统，下面将描述能够提供全局或局部象素相关性(pixel dependency)和增加训练(incremental training)的概率模型。
图2示出了在多维空间中观察到的人类行为的曲线200。在图2的示范性的实施例中，根据时间(天)、物体姿势和位置(在家)监测人类行为。示范性的时间(天)维度是连续的，而示范性的物体姿势(例如坐、站以及躺下)和位置维度是离散的。此外，为了说明的目的，示范性的位置维度已经从家中的自然水平和竖直坐标变换到对家中的特定房间(厨房和卧室)的指示。注意，示范性行为曲线200没有表示出物体运动水平。
为了说明的目的，图2中所示的数据已经被过滤以除去随机行为以及除去不够成行为模式的行为。图2中剩余的数据包括三个集群210、220和230，每一个集群与一种行为模式相关联。集群210表示人大约在中午、在厨房里、处于坐的位置，这表示人在吃午餐。集群220表示人大约下午6点、在厨房里、处于坐的位置，这表示人在吃晚餐。集群230表示人在从午夜到早上7点的时间段里、在卧室里、处于躺下的位置，这表示人在睡觉。
图3的流程图描述了示例性特征提取过程300，该过程用于观察人的行为以产生图2所示的示例性行为曲线200。首先，特征提取过程300在步骤310获得一帧图像数据。之后，特征提取过程300在步骤320期间从该帧提取人的位置和姿势，例如采用公知的轨迹和姿势分析技术(诸如S.Iwasawa等在“Real-Time Human Posture EstimationUsing Monocular Thermal Images”，Proc.of 3rd Int’1 Conf.onAutomatic Face and Gesture Recognition，492-497，Nara，Japan(April 14-16，1998))。
可以选择性地在步骤340获得物体运动水平，例如使用光流、运动历史或其它运动评估技术。J.L.Barron等在“Performance ofOptical Flow Techniques，”In’1 J.of ComputerVision，12(1)43-77(1994)描述了适合的光流评估技术。物体运动的水平通常是当保持在相同的物理位置附近时人产生的运动量。
提取的位置、物体姿势和物体运动水平特征数据可以在步骤350期间被标记时间，以便这些数据能被画成时间(天)的函数，如图2所示。之后，程序控制终止。
图4的流程图描述了示例性PDF产生和分析过程400，该过程处理通过特征提取过程300(图3)获得的特征数据，并产生和分析该典型实施例中的概率分布函数以识别重复行为模式及其特征。图4所示，PDF产生和分析过程400首先在步骤410期间在理想多维空间中获得由特征提取过程300提取的特征数据。
之后，在步骤420期间用概率分布函数拟和提取的特征数据。对于用混合高斯型曲线拟和提取的特征数据的适用技术的讨论，见例如H.G.C.Traven，“A Neural Network Approach to StatisticalPattern Classification by‘Semiparametric’Estimation ofProbability Density Functions，”IEEE Trans.On NeuralNetworks，2，366-377(1991)。之后，程序控制终止。
如前所示，重复行为模式在多维数据中将表现为高斯型曲线分布或集群，每一个高斯型曲线分布或集群以平均值和方差为特征。在该示例性实施例中，概率分布函数是混合高斯型曲线，形式如下f(X)=Σj=1nexp(-12(x-μj)TCj-1(x-μj))]]>公式1其中x表示多维空间中的点，n表示高斯型曲线数(未知)，μj和Cj分别表示第j个高斯型曲线(未知)的平均值和协方差。
图5的流程图描述了检测重复行为模式的偏差的示例性事件检测过程500。例如，当重复行为模式表现为高斯型曲线分布或集群时，高斯型曲线分布或集群的方差提供阈值，以确定当前行为应当被分类为重复行为模式的部分还是重复行为模式的偏差。示例性事件检测过程500采用多个规则以在被检测到的行为是重复行为模式的偏差时产生警报。
如图5所示，事件检测过程500首先在步骤510中观察图像数据。之后，事件检测过程500在步骤520中提取多个特征，例如位置、物体姿势和物体运动水平特征数据。然后在步骤540期间将提取的特征数据与由PDF产生和分析过程400产生的概率分布函数相比较。
在步骤550期间执行测试以确定提取的特征数据是否超出任何高斯型曲线分布或集群的方差一个以上的预定义阈值。注意，该阈值通常基于各个高斯型曲线分布或集群的方差(例如，方差加容许误差)。如果在步骤550期间确定提取的特征数据没有超出任何高斯型曲线分布或集群的方差一个以上的预定义阈值，则程序控制回到步骤510以监测人类行为的进一步偏差。
然而，如果在步骤550期间确定提取的特征数据超出任何高斯型曲线分布或集群的方差一个以上的预定义阈值，则观察到的行为有可能是重复数据模式的偏差。例如，可以使用如下分别结合方程式2和3讨论的Kullback-Leibler距离技术或交集(intersection)，过滤出表示随机行为的数据。
在步骤560中，观察到的行为被标记为重复数据模式的偏差。此外，在步骤570期间估计观察到的行为以确定其是否破坏已确立的多个示例性预定义规则，从而在某行为被检测到是重复行为模式的偏差时产生警报。如果在步骤570期间确定了示例性的一个或多个预定义规则被破坏，则在程序控制终止之前在步骤580中产生警报。
注意，上述的示例性事件检测过程500将表征行为模式的概率分布函数(方程式1)分解成n个单高斯型曲线，并且新检测到的行为b(x)分别与这些高斯型曲线中的每个进行比较。通常，当检测到新行为时，事件检测过程500测量新行为距离方程式1的概率分布函数f(x)有多远，这可以通过多种方法完成。一种方法是计算正常行为f(x)和新检测到的行为b(x)之间的重叠。这可以使用例如Kullback-Leibler距离完成dKL(f,b)=∫f(x)logf(x)b(x)dx---(2)]]>其中积分在整个空间进行。方程式(2)仅仅是图5的示例性事件检测过程500采用的技术的简洁表达式。
可以使用的另一个距离函数是简单的交集，定义为dint(f，b)＝∫min(f(x)，b(x))dx. (3)注意，如果0≤dint≤1。如果b≡f，则dint＝1，且如果b∩f＝0，dint＝0。如果b是均匀分布的随机信号，则dint≈0。
在进一步的变化中，可以通过集聚数据(效果与上面结合图4讨论的拟和高斯型曲线混合的技术相同)识别行为模式。区别在于不估计解析函数，但是确定将数据集聚成集群的最优方式。这些集群可以不用解析形式而只用关系式形式表示(即，我们会说某组点属于一个集群，而某些另外组的点属于另一集群)。无论何时检测到新行为，我们将会检查其是否适合我们的集群(平常行为)中的一些，或者其应当是不同的集群(异常行为)。然后，集群尺寸将确定什么是“正常”行为(尺寸越大，行为越正常)。可以使用任何集群技术。例如，在Richard Duda等的“Pattern Classification，”Ch.10，Willey(2001)中描述了一些更流行的集群技术。
可以理解，此处所示出和描述的实施例和变化仅仅是为了说明本发明的原理，本领域的技术人员不脱离本发明的范围和实质可以作出各种修改。
权利要求
1.一种模拟动画对象的行为的方法，所述方法包括步骤获得多个图像；从所述多个图像中提取多个特征；以及在多维空间中分析所述多个提取特征。
2.根据权利要求1的方法，其中所述多维空间提供所述图像数据的概率分布函数。
3.根据权利要求1的方法，还包括集聚所述提取特征数据以识别至少一个重复行为模式的步骤。
4.根据权利要求3的方法，其中所述集聚步骤还包括计算每个集群的平均值和方差的步骤。
5.根据权利要求3的方法，其中数据的集群对应于行为模式。
6.根据权利要求1的方法，还包括步骤将所述提取的特征数据与概率分布函数进行拟和以识别至少一个具有平均值和方差的高斯型曲线。
7.根据权利要求6的方法，其中高斯型曲线对应于行为模式。
8.根据权利要求1的方法，其中所述提取的特征数据包括时间的指示。
9.根据权利要求1的方法，其中所述提取的特征数据包括位置的指示。
10.根据权利要求1的方法，其中所述提取的特征数据包括行为的指示。
11.根据权利要求1的方法，其中所述提取的特征数据包括物体姿势的指示。
12.一种用于模拟动画对象的行为的系统，所述系统包括存储计算机可读代码的存储器；以及可操作地连接到所述存储器的处理器，所述处理器被配置成执行所述计算机可读代码，所述计算机可读代码被配置成获得多个图像；从所述多个图像提取多个特征；以及在多维空间中分析所述多个提取的特征。
13.根据权利要求12的系统，其中所述多维空间提供所述图像数据的概率分布函数。
14.根据权利要求12的系统，其中所述处理器被进一步配置成集聚所述提取特征数据以识别至少一个重复行为模式。
15.根据权利要求14的系统，其中所述处理器进一步配置成计算每个集群的平均值和方差。
16.根据权利要求14的系统，其中数据集群对应于行为模式。
17.根据权利要求12的系统，其中所述处理器进一步被配置成将所述提取特征数据与概率分布函数进行拟合以识别至少一个具有平均值和方差的高斯型曲线。
18.根据权利要求17的系统，其中高斯型曲线对应于行为模式。
19.一种用于模拟动画对象的行为的物品，所述物品包括其上包含计算机可读代码手段的计算机可读媒质，所述计算机可读程序代码方法包括获得多个图像的步骤；从所述多个图像提取多个特征的步骤；以及在多维空间中分析所述多个提取的特征的步骤。
20.根据权利要求19的物品，其中所述多维空间提供所述图像数据的概率分布函数。
全文摘要
公开了用于模拟人类或其它动画对象的行为模式以及检测对重复行为模式的破坏的方法和装置。随着时间观察一个或多个人的行为，并且在多维空间记录了所述行为的特征。随时间的推移，多维数据提供了对人类行为模式的指示。就时间、地域和行为而言是重复的行为，诸如睡觉、吃饭，在多维数据中将表现出高斯型曲线分布或集群。可以使用已知的高斯型曲线或集群技术分析概率分布函数以识别重复行为模式及其特征，诸如平均值或方差。可以检测出重复行为模式的偏差，并且如果适当可以触发警报。
文档编号G08B13/196GK1666232SQ03815085
公开日2005年9月7日 申请日期2003年6月18日 优先权日2002年6月28日
发明者M·特拉科维 申请人:皇家飞利浦电子股份有限公司