视频监控场景中的交互行为检测方法
【专利摘要】一种数字图像处理【技术领域】的视频监控场景中的交互行为检测方法，通过提取视频序列中相邻帧之间的光流特征，并将视频序列表示成词袋模式；然后利用分层狄利克雷过程模型对视频文档建模，使得每一个视频文档都有一个与之相关的原子行为分布表示；然后将原子行为的动态变化表示成多变量点过程，并对多变量点过程进行非参格兰杰因果分析；最后根据格兰杰因果关系获得因果有向图，检测局部以及全局交互行为。本发明不仅可以检测出局部交互行为，而且能够检测出全局交互行为。
【专利说明】视频监控场景中的交互行为检测方法
【技术领域】
[0001]本发明涉及的是一种数字图像处理【技术领域】的方法，具体是一种视频监控场景中的交互行为检测方法。
【背景技术】
[0002]识别场景中的行为模式，包括行为之间的时空交互，是智能视频监控中的一个重要问题。目的是尽可能的采用无监督的方法检测出多个行为，并建立它们之间的时间依赖关系。通常，行为时空交互关系的识别可以用于更高层次的语义分析，比如场景标注、检索、异常检测等。比如，识别交通监控场景中不同的交通流，以及交通状态之间的转换，从而可以检测和阻止可能出现的交通混乱。然而在复杂视频监控场景中，检测并量化行为之间的相关性并不是一件易事。
[0003]经过对现有的技术文献检索，Hospedales等人(Hospedales T M, Li J, GongS，et al.1dentifying rare and subtle behaviors:A weakly supervised jointtopic model[J].Pattern Analysis and Machine Intelligence,IEEE Transactionson, 2011，33 (12):2451 - 2464.)在概率主题模型中引入HMM(隐马尔可夫模型)，为行为在时域上的动态变化建立一个马尔科夫链。这类方法一般是建立全局行为之间的状态转移，原子行为之间的局部关系模糊不清，限制了模型在时间关系方面的表现力。
[0004]Varadarajan 等人(Kuettel D, Breitenstein M D, Van Gool L, et al.What，sgoing on? Discovering spatio-temporal dependencies in dynamic scenes[C]//Computer Vision and Pattern Recognition (CVPR),20IOIEEE Conferenceon.1EEE, 2010:1951 - 1958.)通过给单词添加时间戳来检测行为的时间模式，可以同时检测出行为的时间模式以及开始时间。但是他们的方法对时间过于敏感，造成检测出的一些类似的行为序列，因此存在语义混淆此外他们的方法无法检出全局交互行为。
【发明内容】
[0005]本发明针对现有技术存在的上述不足，提出一种视频监控场景中的交互行为检测方法，通过检测出视频的底层运动特征，并进行特征去噪和量化，将视频序列表示成词袋模式。然后利用HDP模型对视频序列进行无监督学习，检测出原子行为，并将原子行为的动态变化表示成一个多变量点过程。最后通过计算多变量点过程之间的非参格兰因果达到检测行为之间的交互以及时间依赖关系的目的。本发明不仅可以检测出局部交互行为，而且能够检测出全局交互行为。
[0006]本发明是通过以下技术方案实现的，本发明包括以下步骤:
[0007]I)利用TV-L1，即全变差-L1范式光流算法计算视频序列中相邻帧之间的光流特征，并对光流进行幅度去噪。
所述的TV-L1光流算法是指:为了解决光流方程的孔径问题，采用全局法，利用正则化将光流计算过程转变为能量方程的最小化过程:
【权利要求】
1.一种视频监控场景中的交互行为检测方法，其特征在于，包括以下步骤: 1)利用TV-L1，即全变差-L1范式光流算法计算视频序列中相邻帧之间的光流特征，并对光流进行幅度去噪； 2)对去噪后的光流特征进行位置和方向的量化，将视频序列表示成词袋模式； 3)利用分层狄利克雷过程模型对视频文档建模，使得每一个视频文档dt都有一个与之相关的原子行为分布Gt表示； 4)将原子行为的动态变化表示成多变量点过程； 5)对多变量点过程进行非参格兰杰因果分析； 6)根据格兰杰因果关系获得因果有向图，检测局部以及全局交互行为。
2.根据权利要求1所述的方法，其特征在于，所述的步骤2具体包括； 2.1)构建视觉词典:由于每个运动像素都包含位置和方向两个特征，为了对位置进行量化，将整个视频场景分割成MX N的网格，每个网格单元大小HX H，一般的H=5或者H=IO ;然后运动方向均匀量化为L个，一般的L=8或者L=4，从而构建出一个规模为Nv=MXNXL的视觉词典F = ，每个光流特征根据其所在的位置和方向映射成一个视觉单词Vf ； 2.2)构建视频文档:将视频序列分割成时长dt的不重叠的D个视频片段，累积每个视频片段内包含的视觉单词，构建成对应的视频文档dt。
3.根据权利要求1所述的方法，其特征在于，所述的原子行为分布Gt为全局原子行为G0的一个子集，随时间动态变化；Gt I α，Gtl~DP ( α，Gtl)，其中α表示HDP模型的集中参数；DP表示狄利克雷过程。
4.根据权利要求1所述的方法，其特征在于，所述的步骤4具体包括； 4.1)挑选K个主要原子行为:由于HDP模型的学习过程中，每一个观测到的底层视觉单词都会分配一个原子行为ID，因此统计每个原子行为包含的视觉单词数，对所有的原子行为进行降序排序，挑选前K个作为主要原子行为； 4.2)构建多变量点过程:统计主要原子行为在dt时间内发生的次数，并统计其平均强度； 4.3)根据平均强度构建出多变量点过程Ni (t) =Mi⑴-λ iClt，该多变量点过程Ni⑴是零均值、广义平稳、混合有序过程，对应K个主要原子行为将构建成一个K维的多变量点过程。
5.根据权利要求4所述的方法，其特征在于，所述的平均强度为=EidMiUMMt=Xi，其中:ClMi (t) =Mi (t+dt)-MiUhdt表示时间分辨率；Mi(t)表示在时间间隔(O, t]内原子行为发生的次数。
6.根据权利要求1所述的方法，其特征在于，所述的步骤5具体包括； `5.1)将多变量点过程转换至频域并表示为谱矩阵，对谱矩阵进行分解，具体为:多变
量点过程的频域谱矩阵
7.根据权利要求1所述的方法，其特征在于，所述的多窗谱方法是指:采用数据窗逐一应用在第i个点过程上，其中Ii1表示第I个数据窗，L表示数据窗个数，然后进行傅里
叶变换:
8.根据权利要求1所述的方法，其特征在于，所述的步骤6具体包括； .6.1)为了检测出行为之间的交互关系，需要对因果得分进行阈值分析:当C(j, i)〈Thr。，那么C(j，1)=0，表示点过程％(0和队⑴之间没有因果关系； . 6.2)将格兰杰因果关系表示成一个因果有向图，该有向图中的节点表示原子行为，边表不节点间的因果关系； . 6.3)检测原子行为之间的因果关系: i)当主题i指向主题j时表示原子行为i驱动原子行为j ； ?)当主题j指向主题i时表示原子行为j驱动原子行为i ; iii)当主题j和主题i之间互相指向时表示原子行为i和原子行为j之间具有双向因果关系； iv)当主题j和主题i之间没有任何指向时表示原子行为i和原子行为j之间没有因果关系。
【文档编号】G06T7/20GK103839086SQ201410114034
【公开日】2014年6月4日 申请日期:2014年3月25日 优先权日:2014年3月25日
【发明者】樊亚文, 郑世宝, 吴双 申请人:上海交通大学