用运动纹理分析执行活动识别和探测活动异常模式的方法

专利名称：用运动纹理分析执行活动识别和探测活动异常模式的方法
用运动纹理分析执fr活动i朋诉口 探测活动异常模式的方法
駄领域
本发明涉及视,频监视，且更具体地，涉及i^运动纹理分析来执行视频分 析学。
背景狱
,来随着恐怖伤7的、^和 ， ^^ 视令页，得日益重要。尤其是，
对智能化视 视的需求增加了，智能化视^m见包括高级事f^测(例如， 探测人的、胸，比如人倒下、徘徊等)。传紅，{顿低级图像鹏模^^执行 高级事ft^测(例如，运动探测模块，比如运动探测和对象鹏)。在这样的运 动探观赎块中，输入图像中的每一个像素均被分离出来并被在前景区域或背景 区域中成组布置。在前景区域中成组布置的像素可能表现为输入图像中的移动
对象。典型地，这些前景区域随时间^ii^并且被分析以辨别、赫。
然而，舰这對氐级图像^a模块雜相关的困难。例如，这样的模块当 在拥挤的区域中执行视频分析学时可能是无效的。作为示例，在拥挤的场景中， 人和其它的运动对象更可能被分组到一个单独的运动区域中。当一组人被分组 到一个单独的运动区域中时，使用视频分析学来执行对该单独的运动区域中的 单个人的活动辨别可能变得较为困难。


参考附图来描述本发明的实施例，其中 图i是根据一个示例的方法的濑呈图2根据一个示例，包括被分割为片的柳鹏列的帧的繊； 图3根据一个示例，包括帧的描述截屏和相应的^M模型图； 图4是根据一个示例的3x3方位的片阵列、3x3距离片阵列和3x3 ^i模 型片阵列的图例；
图5是根据一个示例的3x3矢量t!M图的图例；
图6是根据一个示例的包括中心和矢量模辦歹啲矢量模型图；图7是根据一个示例，为视,列的帧的i^; 图8是根据一个示例的方法的^f呈图9A、 9B、 9C、 9D、 9E和9F根据多个示例，包括多种帧的辦；
图10根据多个示例，包括多个简化的^S值柱状图11根据多个示例，包括包括多种帧的截屏；
图12是根据一个示例的包銜页定矢量的帧的辦；
图13是根据一个示例的包括指向左边的预定^ft和指向右边的预定矢量的 帧的辦；
图14是根据一个示例动态贝叶斯(Bayesian)网络的方块图。 图15描述了第一和第1格，其每一^&括独立的一组数值；以及 图16是根据一个示例的方法的淑呈图。
具体实施方式
I.鹏
公开了使用运动纹理分析来执行视频分析学的方法。根据一个示例，方法 可包括在显示一致的、赫模式的视^i^列中分害呕域。根据该方法，该方法包 括分割视频序列中给出的帧为多个片，通过分析与片相关联的运动纹理为每个 片构建矢量模型，以及聚集具有显示一致模式的矢量模型的片。聚集显示一致 模式的片(即，在帧中分割区域)可以个别地分割对象，所M象与其它对象 一起作为单独的块移动。因此，由于一M象作为一个单独的块移动，每一个 对象可以被斜虫地i湖ij。
根据另一个示例，方法可以包括使用运动纹理来辨别视频序列中感兴趣的 活动。根据该方法，该方法包括从视辦列中选择多^1>贞，在所述多个帧中分 t it动纹理以识别流，从流中提取特征，以及表征提取的特征以执行活动辨别。 例如，执行活动辨别可以帮助用户在拥挤的或稀疏的场景中识别特殊对象的运 动，或者分离出拥挤的鹏疏的场景中感兴趣的特殊鄉的运动(例如，徘徊、 倒下、奔跑、在特殊的方向散步、站立、坐下)。
根据另一个示例，方法可以包括i，运动纹理来探测异常活动。根据该方 法，i^、皿括从第一视z，列中选择第一多个帧，分析在所述第一多个帧中 的运动纹理以识别第一流，从第一流中提取第HT征，比较，HT征与在前 面柳噝阶段期间所提取的第二特征，以及基于该比较确定该第,征是否指
示异常活动。例如，确定该第HT征是否指示异常活动可以警告用户对象在的 未经许可的方向上移动(例如，iSA未经许可的区域)。
S31阅读如下部分并适当参考附图，这些以及其它方面和优点对那些本领 域普通技术人员来说^变得明显。 II.方法I
图1是根据一个示例的方法100的流程图。图1中示出的两个或更多个功 能实质上可以同时发生。
该方法100可包括 示一致^j模式的柳辦列中分割区域。如图1中 所描述的，在块102'该方'跑括分割视辦列中给出的帧为多个片。在块104， 该方法包括通过分析与片相关联的运动纹理为每一个片构建矢量模型。在块 106，该方舰括聚集具有显示一致模式的矢量翻的片。
在块102，该方鹏括分割柳辦列中给出的帧为多个片。该给出的巾何为 视辦列中的多^l"贞的一部分。例如,视辦列中的T帧可由时间(例如，t+l 、...、 t+T)的滑动窗口中鹏出。枧辦列中给出的巾柯包括一个鞭多个对象，比 如在由滑动窗口设置的时期内可移动或被移动的A^任何其它类型的对象。此 外，该给出的帧包括多铺素，每一个像素定义一个3拉的像素方位和强度值。
将给出的帧分割为多个片可包括在空间上分割该帧为n片。多个片中的每 一片邻接到相邻的片。Jt[^卜，多片中的每一片可与另一片交迭。
图2根据一个示例，包括被分割为片的现辦列的帧202、 204、 206和208 的辦200。如示出的，帧202、 204、 206和208中的每一个分别被分割为第一 片210a、 210b、 210c和210d，以及第二片212a、 212b、 212c和212d。虽然对 每一帧仅描述了两片，给出的帧可被分割为大量的片，并且旨帧更,地被 分害伪多个片。如图2中描述的，例如，鄉一片210a和第二片212a部分地 相互交迭。可选择他，片可以不与另一片，。
另外，片可为多种微中的任何形状，比如正方形、长方形或五边形。此 外，每一片包括相应的一组像素。而且，片的像素尺寸可改变。例如，片尺寸 范围可在5x5像素尺寸至40x40像素尺寸。由雅出的職可能与多个片相交， 每一片的像素尺寸可以为每一对象的片段的空间分辨率。
在块104，駄法包^Iil分析与片相关联的运动纹理为每一片构建矢量模 型。每一片的矢量模型可以以多种方式中的任意方式构建。例如，构建矢量模
型可包銜i )为多片中的每一片估计运动纹理参数，(ii)为多个片中每一个给出 的片和给出的片的每一个相邻片计算所述给出的片的运动纹理参数与所述相邻 片的运动纹理参数之间的运动纹郷巨离，以及(iii)基于多个片中的每一个片的运 动IW巨离的计算，为多个片中的每一个片构建矢量模型。
为多个片中的每一个片估计运动纹理参数可使用多种技术中的任意技术来 实现，比如多矩阵估计的Soatto次最佳方法。关于多矩阵估计的Soatto的次最 佳方法的进一步的细节在S.Soatto、 GDoretto和YN.Wu盼'Dynamic Textures (动 态纹理)"(International Journal of Computer Viskm^51^o.2^2003,pp.91-109 ("Soatto"))中提供，，此全文引入作为参考。
在一个实施例中，在估计运动纹理参数之前，帧的每一片可被再成形。这 可以包括将每一片再成形至抱括维Xp (例如，zK平轴)、yp (例如，垂直轴)和 T (例如，时间维)的多维阵列(Y)中。在每一片均以这种方式再成形之后， 则每一片的运动纹理参数可被估计。然而，每一片的运动纹理参数也可以被估 而不再成形每一片计。
为了估计每一片的运动纹理参数，可以首先数学ifeifi似纹理参数。例如， 可ffi^知的输入将运动纹理与自动回归的第二顺序的移动平均处理相关联。 作为示例，如下的方程可协同^iiii动纹理
在上面的方程中，y(t)恭示观测矢量。该观测短y(t)可对应于每一像素的各自 弓贼值，例如，该3贼值的范围是0至255。另外，x(t)标隐藏的状态缝。 与观测缝y(t)相反，隐藏的枕态矢量不可见。财卜，A标系统矩阵，且C 标输出矩阵。另外，v(t)标系统的驱动输入，比如高斯白噪声，以及w(t)表 示与观测每一像素的 雖相关联的噪声，比如数字图像 破噪声。关于自动回 归的移动平均鹏方程的变量的进一步的细节兽辦在Soatto的文中找到。
一旦每一个片的各自运动纹理被数学地近似，则每一个片的运动纹理参数 可被估计。例如，可翻:矩阵A、 C、 Q (驱动输入协方差矩阵，其标驱动输 入的标准偏差v(t))和R (测量噪声的协方差矩阵，其标高斯噪声的标准偏差 w(t))来^ii动纹理参数。为了获得用于矩阵A、 C、 Q和R的估计，可鹏 多矩阵估计的Soatto次最佳方法。在这样一个多矩阵估计的方法中，使m》n、
rank(C)=n、和CTC=In,以从样本路径y(t)识别唯一的l魏，其中In为识别矩阵. 多矩阵估计的次最佳方法如下所示
(1) 首先，对Y执行单个分解，以使<formula>formula see original document page 9</formula>
(2) 然后，估计矩阵C为<formula>formula see original document page 9</formula>
(3) 接着，状态X的序列被估计为<formula>formula see original document page 9</formula>
(4)然后，矩阵A被估计为
<formula>formula see original document page 9</formula>其中Ir-1为(r-l)x(r-l)维的识别矩阵
(5) 接着，估计驱动输入为
<formula>formula see original document page 9</formula>
(6) 然后，估计驱动输入协方差矩阵Q为
<formula>formula see original document page 9</formula>
(7) 最后，计算测量噪声R的协方差矩阵为<formula>formula see original document page 9</formula>
因此，用于矩阵A、 C、 Q和R的估计可被获得，并且这徵阵的估计可被用 来协同表,一个片的相应的运动纹理参数。
接着，为多个片中每一K出的片并且为给出的片的每一个相邻的片构建 矢量模型可包括计算给出的片的运动纹理参数与相邻的片的运动纹理参数之间 的运动纹理距离。每一个片的运动纹理距离可以以多种方式中的任意方式确定。 例如，计算运动纹郷巨离可包括比较给出的片的运动纹理参数与相邻的片的运动纹理参数。
作为另一个示例，计算给出的片的运动纹理参数与相邻的片的运动纹理参 数之间的运动纹郷巨离可包括确定给出的片的运动纹理参数(即，给出的片的 观测)与相邻的片的运动纹理参数(即，相邻的片的相应的观测)之间的各自 的Mahalanobis距离。给出的片的运动纹理参数与相邻的片的运动纹理参数之间 的Mahalanobis足巨离可j^ffi A.Chan禾口 N.Vasconcebs ^TTv!ixtures of Dynamic Textures (动态纹理的混合)"(Intl.Conf on Computer Vision^2005 ("Chan"))中 公开的方法来计算，，此全文引入作为参考。使用Chan的方法，进行关于通
过具有特定运动纹理参数的运动纹理生^i量的序列Y的概率的计算。特别地， 这个概率作为测量y(t)和分布s的估计的外)的Mahalanobis距离被计算。该 Mahalanobis距离可被定义为mdc(P, ^ - V0")rs(p-y)，其中i: = C * * C'+A ， 并且邵)为由卡尔曼滤波器计算的體协方差矩阵。
接着，为每一个片构建^S^M可包括基于每一个片的运动纹郷B离的计 算为每一个片构建矢量模型。每一个片可通过其各自的矢量模型被表示。例如， 当j顿八邻域为给出的片构建矢量模型时，为给出的片构建矢量模型可包括选 择至少一个相邻片。选出的相邻片可包括定义给出的片的运动纹理参数与每一 个相邻的片的运动纹理参数之间的最短运动纹理距离的运动纹理参数。财卜， 矢量模型可发生于给出的片的近似中心并且通常可指向一个或更多，择的相 邻片。另外，矢量模型包括te^出的片的运动纹理参数与一个鞭多个所选 择的相邻片的运动纹理参数之间的运动纹郷巨离的量值。图3根据一个示例， 描绘了帧302的鄉以及相应的^fi模型图304。如图3中所描绘的，帧302 包括对象308和310，并且矢量模型图304包括与对象308和310分别相对应的 矢量模型簇312和314。视图306提供分别与矢量模型簇312和314相对应的矢 量模型簇316和318的放大视图。
此外，图4是根据一个示例的3x3方位的片阵列402、 3x3距离片阵列404 和3x3矢量丰莫型片阵列406的图例。如3x3方^位的片阵列402中所示，片408 定位在(0， 0)，并且连同邻近的相邻片410、 412、 414、 416、 418、 420、 422 和424 —起 择(这里，八片邻域lte择)。如3x3距离片阵列404中所示的， 在片408与它的每一个相邻片之间的运动纹郷B离被计算。例如，在为每一个 片估计运动纹理参数之后，片408与片410、 412、 414、 416、 418、 420、 422 和424中的每一个之间的各自的Mahalanobis距离被计算。接着，如3x3矢量模 型片阵列406中所示的，为片408构建矢量模型426。作为一个示例，片408
的^M模型(即，F(/,力可被计算为<formula>formula see original document page 10</formula>
其中k沿x方向和/沿y方向。矢量模型V的幅值s舰^V^TF得到，并且
缝模型的角《舰"=肌加+得到。矢量模型的幅值可以反映当前片408与
它的相邻片之间的距离。财卜，缝，魏可指向与当前片408最相似的片。作 为这"H十算的结果，片408的^^题可以被构建。
接着，在块106，该方魏括聚集具有显示一致模式的矢量模型的片。矢 量模型的一致模式可以以多种方式中的任意方式显示。例如，显示一致模式的 矢量，IM可包括围绕给出的片同中心的矢量模型。为了举例，帧中每一个片的 矢量模型可共同定义矢量模型图，并且矢量模型图可包括中心。具有通常指向 该中心的矢量模型的片可被聚集。
矢量模型图中的中心可被定义为具有阈 量的相邻片的片，每一个相邻 片具有角度朝向该片的^M模型。作为在矢量模型图中确定中心的示例，图5 是根据一个示例的3x3 ^S模型图500的图例。如所描述的，3x3 ^fi:丰翻图 500包括片502的矢量模型，以及^M模型504、 506、 508、 510、 512、 514、 516和518。缝輕504、 506、 508、 510、 512、 514、 516和518中的每一个 g相应的相邻片。如图5中所描述的，片502的^fi模型近似为0，并且^1; 模型504、 506、 508、 510、 512、 514、 516和518中的每一个角度朝向片502。 例如，矢量模型504与片502的水平线520成315。角，^S模型506与7^K平线 520成270°角，^ft模型508为225。角，矢量模型510为180°角，矢量模型 512为135。角，矢量IIM514为90。角，矢量丰難516为45°角，矢量模型516 为0。角。
相应于矢量丰IM504、 506、 508、 510、 512、 514、 516和518中的每一个 的，每一个角，可被^ffl来确定给出的矢量模型角度是否朝向片502的理 想角。在这种理想状况下，片502为中心，因为(i)周围的鄉八个矢量丰鄉均 (ii)角度朝向片502 (另外，片502可以是中心，因为片502的矢量丰翻近似为 0)。然而，即使围绕的全部八个矢量模型均角度不朝向片502的情况下，片502 仍可以被确定为中心。例如，只要阈微目的围绕的矢量模型角度朝向片502， 它就可被确定为中心。例如，^S模型的阈iMt目的范围由4到8。
财卜，即使在给出的矢量模型的角度并未朝向各自的理想角的情况下给出 的围绕的矢量模型也可能角度朝向片502。偏离理想角是可能的。作为一个示例， 给出的矢量模型的允许的偏离角度的范围可从-e到e (例如，^可为15°)。此 外，每一个周围矢量模型的相应的允许偏离角可以相互不同。
一旦矢量模型图的中心被确定，具有通常指向中心的短模型的片被聚集。
换句话说，包括具有通常指向中心的缝模型的片的区域被分割。当然，矢量 模型图可包含多于一个的中心，在该情况下每一个中心与它自己的通常指向它 的缝模型的相应类相关联。
有多种确定通常指向中心的矢量模型的方式。为了举例说明，图6是根据 一个示例的包括中心604和矢量模型序列602的矢量模型图600。 矢量模型602 序列包括矢量模型606、 608、 610、 612和614。如示出的，矢量+IM606的角 度朝向矢量模型(或片)608，并且矢量模型608的角度朝向矢量模型610。这 样，矢量模型606、 608和610协同定义矢量模型的離歹拨。另外，因为矢量 模型610的角度朝向矢量模型612，并且矢量模型612的角度朝向矢量模型614, 矢量模型610、 612和614中的每一賴被包括在缝丰魏的链接列表中。因此， 矢量模型606、 608、 610、 612和614协同定义矢量模型的链接列表中。
因为矢量模型链接列表中的最后的矢量模型614指向中心604，矢量，矢量模型链接列表的轨线指向中心604。因为矢量模型链接列表的轨线指向中心604，因为矢 量冲链接列表(即，矢量模型序列602)中的每一个矢量模型被分组到与中心 604相对应的类中。
另外，正如每一个中心，地与它自己的通常指向各自的中心的矢量模型 类相对应，每一个矢量模型类优选地与视频序列的帧中的对象相对应。因此， 如果给出的帧包括多个对象，聚集具有显示一致模式的矢量,的片可包括聚 集片为多个簇，其中每一个自应一个给出的对象。
为了举例说明，图7是根据一个示例的视频序列的帧702的截屏700。如 图7中所描述的，帧702包括对象704、 706和708。对象704、 706和708中的 每一个分别被类轮廓线710、 712和714 (至少部分地)环绕，并且分别包括中 心716、 718和720。如果描述为相应的矢量模型图，则类轮廓线710、 712和 714)imM分别包括通常指向中心716、 718和720的缝模型。因此，中心 716、 718和720中的每一个分别与类轮廓线(即，矢量模型类,)710、 712和714 相对应，并且类轮廓线710、 712和714中的每一个分别与对象704、 706和708 相对应。之后方法100可重复至块102，以处理视频序列的下一个帧，以处理视频序列中的每一个其它帧。
接下来，片的一个或更多个簇的表示可被显示给用户，或作用于活动辨
别的输入。片的簇的标可采用多种形式中的任意形式，比如二进制对象的描 述。形卜，片的簇可fel示在多种输出设备中的任意输出设备上，比如图形用
户界面显示。显示片的一个^多，的表示可帮助用户执行活动辨别禾n/或分
割在帧中一起移动的多个对象。
瓜方法n
图8是根据一个示例的方法的流程图800。图8中示出的两个或更多个功能
实质上可同时发生。
方法800可包括使用运动纹理来辨别柳，列中感兴趣的活动。如图8中 所描绘的，在块802'该方法包括从视频序列中选择多个帧。在块804'该方法 包括分析多^H贞中的运动纹理以识别流。接下来，在块806，该方法包括从流中 提取特征。在块80S，该方、,括表征提取的特征以执行活动辨别。
在块802,该方B括从视,列中选择多W贞。所述多个巾M包括对应于 第一时间的第一帧、对应于第二时间的第二帧以及对应于第三时间的第三帧。 此外，第一帧可以包括对象，并且第二和第三帧也可以包括该对象。额外的对 象也可以在一个或更多个帧中出现。
在块804，该方法包括分析多个帧中的运动纹理以识别流。该流可以定义帧 中各自的区域的时间和空间的分割，并且所述区域可以显示运动的一致形式。 财卜，在多^M中分析运动纹理以识别流可包銜i)分割每一4^贞为相应的多 个片，(ii)为每"HS)贞识另湘应的多个片中的各自的一组片，其中各自的一组 片对应于帧中各自的区域，并且(iii)i鄉J流，所述流定义多个帧中的每一个帧中 各自的片组的时间和空间的分割，其中每一个帧的各自的片组显^动的一致 形式。
为了示例，图9A包括帧902a和904a的截屏，并且图9B包括帧902b和 9041>的,，图9A和图9B各根据一个示例。在图9A中，帧902a包括对象 906a并且帧904a包括对象906b。在这个示例中，对象906a ，处于第一时间 的人，并M象906b标处于第二时间的同一人。在图9B中，帧902b包括与 对象906a相对应的第一组片908，并且帧904b包括与)(^ 906b相对应的第二 组片910。处于第一时间的帧902b中的第一组片908与处于第二时间的帧904b 中的第二组片910可分别定义帧902b和904b中的每一个中的片组908和910 的时间和空间的分割。帧902b和904b中的每一个中的片组908和910分别显
示运动的一致形式(例如，对象906a向左移动)。财卜，第一组片908可包括 第一组像素，第一组像素中的每一个像素定义各自的像素方位和强度值。相似 地，第二组片910可包括第二组像素，第二组像素中的每一像素定义各自的 像素方位和 ，值。
在块806，该方法括从流中提取特征。从流中提取特征可采用多种配置多种配置中的任意配置。作为一个示例，从流中提取特征可包括产生描绘运动的参数。这 种参数的示例包括一组数值，具有指示帧中对象的分割区域的第一数值，指示 运动方向的第二数值，以及指示速度的第三数值。图15描绘了包括该组数值的 表1502。当然，#^其它描皿动的参数的示例。
作为另一个示例，从流中提取特征可包括构建运动矢量(运动矢量可为更 一般的运动纹理模块的示例)。运动矢量可以以多种方式中的<封可方式被构建。 作为示例，构建第一运动矢量可包括从帧904b中的相对应的像素的强度值中减 去帧902b中的每一个像素的强度值以创建强度差值梯度。该强度值梯度可包 銜1揮一组像素中的每一个像素与帧904b中的相对应像素之间，以及(2)第二 组像素中的每一，素与帧902b中的相对应像素之间的各自的强度錢值。 (1) 第一组像素中的每一个像素与帧904b中的相对应像素之间的强度值差值协同对 应于帧902a中的对象906a，并且(2)第二组像素中的每一个像素与帧902b中的 相对应像素之间的强度值差值协同对应于帧904a中的对象906b。图9C是根据 一个示例的包括5MM值梯度914的帧912的,。
强度值差值<formula>formula see original document page 14</formula>可被计算，其中^)为片的产帧且T为片的帧数目。例如， ^TX/)可被计算为
柳H禍-少"-0| , t = l，...,r-l 如y(t)方程中所描述的，减去强度值差值可包括求帧902b中每一个像素的强度值与 帧904b中相对应像素的强度之间的差值的绝对值。
进一步举例，图10根据多个示例，包括与帧902b相对应的简化的强度值 柱状图IOOO，以及与帧904b相对应的简化的强度值柱状图1002。财卜，图IO 根据一个^^'L包括与SMM值梯度914相对应的简化的强度值柱状图1004。
为对象构建第一运动矢量可进一步包括通过使得低于阈值的各自的强度值 差值为零来过滤强度MH梯度。使低于阈值的各自的强度1IM值为零可以突出 对应于重要的强度值差值的像素位置。对应于重要的强度值差值的像素方位可
以对应于对象的重要的点，比如对象的轮廓。此外，使得低于阈值的各自的强
度錢值为零也可仅允许〗顿重要的^MI^t^构麟一运动矢量。图9D是 根据一个示例的包皿滤的强^S梯度918的帧916的截屏。
阈值可以以多种方式中的任意方式来计算。例如，对应于第一和第二像素 组的强度值可以包括最大强度值(例如，200),并且阈值可以等于最大强度值 的90%,或ftj可其它百分比(例如，180)。因此，低于180的3贼,值将为 零，并且仅仅等于或高于180的强度值将在过滤步mt后保留。进一步举例， 图10根据一个示例，包括与过滤的强SM值梯度918相对应的简化的强度值柱 状图1008。当然，存在其它计算阈值的示例。
构麟一运动矢量可进"^包括，基于敏滤的5赃^I梯度918中保留 的强度，值，确^t应于在帧902a中的对象906a的第一平i^素方位和对 应于在帧904a中的对象906b的第二平均像素方位。图9E是根据一个示例的包 括对应于对象906a的第一平均像素^S 922和对应于对象906b的第二平均像 素位置924的帧920的截屏。
接下来，构建第一运动矢量可以包括构建第一运动矢量，使得该第一运动 ^M:生于第一平鄉素方位(其可对应于第一 片)和在第二平均像素方位(其 可对应于第二片)结束。图9F是根据一个示例的包括第一运动矢量928的帧926 的截屏。如所示出的，第一运动矢量928发生于第一平均像素方位922和， 二平均像素方位924麟束。
仍为另一个示例，从流中提取特征可包括构建多个运动矢量。每一个运动 ^S可以对应于预定数目的帧。作为示例，在多个帧中包括第一帧(帧902a)、 第二帧(帧904a)和第三帧(未描述)，可构自应于第一和第二帧的第"ig动 矢量，并且可构自应于第二和第三帧的第:^S动矢量。为了举例说明，图11 根据一个示例，包括帧926、 1102和1104的截屏1100。帧926包括对应于从帧 902a到帧904a的对象906a的运动的第一运动矢量928 ，并且帧1102包括对应 于从帧904a到第三帧的对象906b的运动的第Z1^动矢量1106。
当然，多个运动矢量中给出的运动矢量可对应于多于两个的帧。作为一个 示例，给出的运动矢量可对应于三个帧。作为示例，给出的运动^fi可皿求 第一与第1动缝之和来构建。如图11所示，帧1104包^iitt第一运动 矢量928与第二运动矢量1106之和所构建的给定的运动矢量1108。当然，存在
其，建给出的运动矢量的示例。此外，存在其它从流中提取特征的示例。
在块808，该方法包括表征提取的特征以执fi^活动辨别。表征提取的特征以 执行活动辨别可以采用多种配置中的任意配置。例如，当从流中提取的特征包 括描^ii动的参数时，表征提取的特征可以包括确定描i&ii动的参数是否在预 定的运动模型的阈值之内。作为示例，描i^i动的参数可包括表1502中描述的 数值组，并且预定的运动模型可包括预定的数值组，作为示例，该预定的数值 组在图15的表1504中描述。在这种情况下，确定参数是否在预定的运动丰IM 的阈值之内可以包括比较表1502中的每一个数值与表1504中的相应数值。当 然，存在其它确定描述运动的参数是否在预定的运动模型的阈值之内的示例。
作为另一个示例，当从流中提取的特征包括一个运动矢量(或者多个运动 矢量)时，表征提取的特征可以包括估计(多个)运动矢量的特征(例如，幅 度和/駄向)。表征提取的特征可进一步包括比较(多个)运动矢量的特征与至 少一个预定^S的特征。图12是根据一个示例的包括指向右方的预定矢量1202 的帧1200的截屏。比较(多个)运动矢量的量值和方向与预定矢量1202的量 值和方向可以包括确定是否M运动矢量的每一个量值和方向分别在预定矢量 1202的量值和方向的阈值之内。例如，基于该比较，用户可以确定丰见，列中 的对象是否以预定的皿在预定的方向上移动。当然，运动矢量的特征可以与 更多预定矢量相比较。辨ij说明，图13是根据一个示例的包括指向左边的预定 矢量1302和指向右边的预定矢量1304的帧BOO的截屏。
仍为另一个示例，运动^S可以穿过片(例如，对应于第一平均像素方位、 第二平均像素方位的片，或樹可运动缝可穿过的其它片)，并腺征提取的特 征可以包括确定运动矢量与由片定义的运动模式是否相类似。
仍为另一个示例，表征提取的特征以执行活动辨别可以包括执行简单活动 辨别。例如，简单活动辨别可以用于确定人群中的每一个人是否在预定的方向 上移动(或者不移动)。在简单活动辨别期间，可构建预定的运动模型(例如， 在训练期间)。预定运动模型可以以多种方式中的任意方式构建。例如，预定运 动模型可以从包含多个预定运动模型的远程或本地数据库中选择。作为另一个 示例，预定运动II^可以皿分析样科见频序列来构建。
预定运动模型可以采用多种配置中的任意配置。例如，预定运动模型可以 包括预定3M阈值。作为另一个示例，预定运动模型可包括一个或更多个预定
矢量。例如， 一个或更多个预定矢量可以从数据库中选择，或l顿包括在一个 或更多个方向上移动的一个或更多个对象的样本现频序列来构建。此外，预定
矢量可包括单个预定矢量(例如，指向右方的预定矢量1202)或两^hf页定矢量 (例如，预定缝1302和1304)。当然，也可以舰额外的预定矢量。
例如，当分析安全区域中的入口鹏的视,鹏列时(例如，在观赋阶段)， 各自的运动矢量不在(多个)预定矢量的通常方向上的每一个对象(例如，不 在预定矢量的精确方向上，并且也不在预定矢量的角度变化的范围内，比如加 或减15°)将被*祐为异常。可附加地或可选娜，视辦列中的每一个具有超 出预定强度阈值的确定范围的强度阈值的对象也可被标记为异常。
作为另一个示例，表征提取的特征以执行活动辨别可以包括执行复杂活动 辨别。树豫杂、赫探测可以包括确定是否探测到预定数目的简单駒。财卜， 确定是否探测到预定数目的简单活动可以包括使用图形模块(gr^hical model) (例如，动态Bayesian网络禾B/或隐藏Markoy模块)。
鄉ij说明，图14是根据一个示例的动态贝叶斯(Bayesian)网络1400的方
点(特征)1414和1416、简单活动节点1410和1412、复杂活动^测节点1402 和1404以及完成节点1406和1408。完成节点1406和1408分别关联于观测节 点1414和1416。尽管描述的是两层动态贝叶斯网络，动态贝叶斯网络1400可 以包括多个层。
如所记载的，执行^活动探测可以包括确定是否探测到预定数目的简单 活动。作为示例，对于三个帧，对象的第一运动矢量可指向右方，且第一运动 矢量可计为对象的一个简单活动。在接下来的三帧中，该对象的第^ig动矢量 可指向左方，且这可计为对象的第二个简单活动。在随后的三帧中，该对象的 第三运动矢量可指向上方，且第三运动矢量可计为对象的第三个简单活动。当 对象的三个简单活动被探测到时(该三个简单活动可以是相互不同的，或者可 以重复)，复杂g探测节点可被触发。在动态贝叶斯网络1400中，如果从观 测节点1414到观测节点1416的转^括对象的第三个简单活动，完成节点1406 可变为逻辑'l"，这样指示一个复杂活动被探测到。另一方面，如果在从观测节 点1414至ij观测节点1416的转z，间对象的三个简单^^都没有被探测到，则
誠节点可保持为逻辑T，这样指示一个鋭活动没有被探测到。当然，存在
探测^活动的其它示例。例如，执行活动辨别可以帮助用户在拥挤的场景中
识别特定对象的运动。
iv.方法ni
图16是根据一个示例的方法1600的淑呈图。图16中示出的两个或更多个
功能实质上可以同时发生，或者以与示出的不同的顺序发生。
方法1600可以包括j顿运动纹理總测异常赫。如图16中所描述的， 方法开始于块1602,其中开始测试阶段。在块1602，駄飽括絲一视辦 列中选择第一多个帧。在块1604,该方,括在第一多个帧中分析运动纹理以
识别第一流。接下来，在±央1606,该方、跑括^m—流中提麟~#征。在块
1608，该方法包括比较第一特征与在之前的训练阶段提取的第二特征。在块 1610，基于该比较，该方飽括确定第~#征是否指示异常驗。
在块1602，该方、跑括/Am一现辦列中选择第一多^l"贞。絲一现辦 列中选择第一多^H贞实质上与块802中从柳辦列中选择多^N"贞相似。
在块1604，该方、飽括鄉一多,贞中分l腺动纹理以识别第一流。同样 地，这一步骤实质上与块804中在多铺中分t脂动纹理以i朋lj流是相似的。
在块1606， i^",括从第一流中提,HT征。再次，这一步骤实质上 为块806中的从流中提取特征。
在±央1608，该方雜括比織H^征与在之前的训练阶段提取的的二特征。
该训练阶段可采用多种配置中的任意sas。例如，该训练阶段可以包括从多个
存储在本:btk^程数据库中的预定特征中选择第二特征。作为另一个示例，该 训练阶段可包括("从样本视辦列中选择第二多个帧，(ii)在第二多,贞中分 析运动纹理以识别第二流，其中第二流定义第二多个帧中各自的区域的第二时 间的和第二空间的分割,并且其中该区域识别显示运动的第二一致模式,以及(iii) 絲二流中提取第二特征。当然，存在训练阶段的其它示例。
此外，将第"^征与第二特征相比较可采用多种KS中的任意SSS。例如， 所述第一和第二特征可以包括第一和第二运动纹理模型，并且该第一和第二运 动纹理模型可以被比较。作为示例，该第一和第^ig动纹理模型可以分别包括 第一和第二运动矢量，并且第一和第二运动矢量的4^禾P/或方向可以被比较。 作为另一个示例，第一和第二特征可以分别包括描魏动的第一和第二参数(例 如，第一和第二组数值)，織一和第二参数可以被比较。当然，雜将第Ht
征与第二特征相比较的其它示例。
在块1610，基于该比较，该方飽括确定第"^征是否指示异常活动。确 定第一特征是否指示异常活动可以包括确定是否第一和第二特征之间的相似性 测量值超出了预定阈值。例如，如果第一和第二特征包括第一和第二运动纹理 模型，如果第一和第:iii动纹理模型之间的相似性观懂鹏出了预定阈值则可 确定为异常活动。作为示例，如果第一和第二运动纹理模型包括第一和第:iii 动矢量，在第一和第二矢量之间的相似性测量可以包括在第一和第:^ii动矢量 的各自的量级和/或方向之间的测量。如果第一和第1动矢量的量级和/或方向 之间的差异超出了预定阈值，贝iJ对象可被标记为异常。
鄉ij说明，预定阈值(例如，允许的对已知的运动模型的偏离)可以包括 特征的预定阈值(例如，运动矢量的25。角)。如果第一和第:nil动矢量的各自 的方向之间的差异在预定阈值内(例如，25° ，小)，则第HT征将不指示异 常活动(即，第HTiW征的对象将不被标记为异常)。另一方面，如果第一和 第z^动缝的各自的方向之间的差异大于预定阈值(例如，大于25°)，贝i傑 Hf征将指示异常赫(即，第1寺録征的鄉将被^HB为异常)。例如，确 定第1征是否指示异常翻可以帮助用户确^tm是否itA^授权区域。 V.结论
以上描述了本发明的示范性实施例。无论如何，那些本领域技术人员将会明 白，所述实施例可被改变和修改而不会背离本发明的由权禾腰求限定的真正的 范围和精神。
权利要求
1、一种在视频序列中使用运动纹理来辨别感兴趣的活动的方法，该方法包含从视频序列中选择多个帧；分析多个帧中的运动纹理以识别流，其中该流定义在该多个帧中各个区域的时间和空间的分割，并且其中所述区域显示一致的运动模式；从所述流中提取特征；并且表征提取的特征以执行活动辨别。
2、 权利要求l的方法，其中分析多^1>贞中的运动纹理以识别流包括 分割每一,贞为相应的多个片；对每一帧，在相应的多个片中识别M片组，其中所述M片m应于该 帧中的^h区域；并且在每一个帧中识另啶义於片组的时间和空间的分割的流，其中每一个帧 的所述M片组显示一致的运动模式。
3、 权利要求l的方法，其中从流中提取特征包括构躯动缝，并且其中 表征提取的特征以执行、^J认包括估it^动矢量的特征。
4、 权利要求3的方法，其中运动矢量穿过片，并且其中表征提取的特征以执疗^辨别还包括确定运动矢量是否相似于由该片定义的运动模式。
5、 权利要求1的方法，其中从流中提取特征包括构建多个运动矢量，其中 每一^动矢量对应于预定数目的帧，并且其中表征提取的特征以执行活动辨 别包括估计多个运动矢量中的每一个运动矢量的特征。
6、 IX利要求5的方法，其中表征提取的特征以执行活动辨别还包括比较多个运动矢量中的每一个运动矢量的各自的特征与至少一个预定矢量的特征。
7、 权利要求1的方法，其中从流中提取特征包括产生描述运动的参数，并 且其中表征提取的特征以执行活动辨别包括确定描3^t动的参数是否在预定运 动净IM的阈值内。
8、 权利要求1的方法，其中表征提取的特征以执行活动辨别包括执行简单 活动辨别。
9、 权利要求1的方法，其中表征提取的特征以执行活动辨别包括执4f^ 活动辨别。
10、 权利要求9的方法，其中执纟茂杂活动探测包括确定是否己探测至顾 定数目的简单活动。
11、 权利要求10的方法，其中确定是否己探测到预定数目的简#^动包括 舰图形翻。
12、 一种j顿运动纹理来探测异常活动的方法，该方,括>!^一视 列中选择第一多,贞；分析第一多个帧中的运动纹理以识别第一流，其中第一流定义第一多1^贞 中的M区域的第一时间和第一空间的分割，并且其中所述区域显示第一一致 的运动模式；/Am—流中提取第"iT征；比織~#征与在之前的训练阶段提取的第二特征；并且 基于该比较，确定第HT征是否指示异常活动。
13、 权利要求12的方法，其中训练阶段包括，二视,列中选择第二多,贞；分析第二多个帧中的运动纹理以识别第二流，其中第二流定义第二多^H贞中的^h区域的第二时间和第二空间的分割，并且其中所述区域显示第二一致的运动模式；并且/Am二流中提取第二特征。
14、 权利要求12的方法，其中确定第~#征是否指示异常活动包括确定第 —与第二特t!Et间的相似性测量值是否超出了预定阈值。
15、 权利要求13的方法，其中織一流中提取特征包括构麟一运动纹理模型，其中从第二特征提取特征包括构建第二运动纹理模型，其中比鄉1 征与第二特征包括比较第一与第:iig动纹理模型。
16、 权利要求15的方法，其中确定第HT征是否指示异常活动包括确定第一与第二运动纹理模型之间的相似性测量值是否超出了预定阈值。
17、 一种在柳辦列中分割显示一致活动模式的区域的方法，该方魏括: a将给出的帧分割为多个片；b. i!31分析与片相关联的运动纹理为每一个片构建矢量模型；并且c. 聚集具有显示一辦莫式的^a+iM的多个片。
18、 权利要求17的方法，其中给出的帧为现辦列中多i^贞的一部分，该 方法进一步包括对多个帧中的每一4^贞重复步骤a《。
19、 权利要求17的方法，其中聚集具有显示一致模式的缝翻的多个片包括聚集包括同中心地围绕给出的片的^fi模型的多个片。
20、 权利要求17的方法，其中多个片中的每一个片邻接至相邻片，并且其 中皿分析与该片相关联的运动纹理为每一个片构建^fi，M包括为多个片中的每一个片估计运动纹理参数；为多个片中每一个给出的片和为每一个与给出的片邻接的相邻片计算在给 出的片的运动纹理参数与相邻片的运动纹理参数之间的运动纹郷B离；并且 基于多个片中每一个片的运动纹郷巨离的计算，为多个片中的每一个片构
全文摘要
本发明涉及用运动纹理分析执行活动识别和探测活动异常模式的方法。公开了使用运动纹理分析来执行视频分析学的方法。一种方法包括从视频序列中选择多个帧，在多个帧中分析运动纹理以识别流，从流中提取特征，以及表征提取的特征以执行活动辨别。另一种方法包括，从视频序列中选择多个帧，在多个帧中分析运动纹理以识别流，从流中提取第一特征，比较第一特征与在之前的训练阶段提取的第二特征，以及基于该比较，确定第一特征是否指示异常活动。另一种方法包括分割视频序列中给出的帧为多个片，通过分析与片相关联的运动纹理为每一个片构建矢量模型，和聚集具有显示一致模式的矢量模型的多个片。
文档编号G06T7/20GK101359401SQ20081021035
公开日2009年2月4日 申请日期2008年7月8日 优先权日2007年7月9日
发明者I·科亨, P·西萨, Y·马 申请人:霍尼韦尔国际公司