基于时间递归神经网络的人群异常检测和定位系统及方法
【技术领域】
[0001]本发明涉及计算机视觉领域，特别涉及一种基于时间递归神经网络的人群异常检测和定位系统及方法。
【背景技术】
[0002]群体事件检测是指对由大量目标所构成的事件进行检测，以此来发现异常或者是发现具体的我们所感兴趣的事件，来帮助人们迅速作出决策。异常检测和定位是群体事件检测中的一个重要方面。一方面，随着社会的发展进步，人口持续快速的增长，伴随着城镇化，人群现象越来越频繁，这为公共空间的安全留下了一个隐患。特别是在当代，恐怖事件频繁发生，这严重的危害到了广大人民群众的生命和财产安全，为了能够尽早发现，尽快采取相应的应对措施，如能够通过广布的监控设备进行事件的检测和跟踪，及时的发现异常事件，对于人民的生命财产安全有着深远的意义。另一方面，对于目前来说，监控设备智能程度不高，这就相应的也需要配备相应的人员实时的对监控情况进行跟踪，对异常及时反馈处理，而这些工作是相当枯燥的，通过对视频监控事件的研宄，可以自动的发现视频中的异常情况，或者特殊的事件，这样可以大大减轻工作人员的工作量，让他们能从枯燥的工作中解放出来。这两方面使得人群异常检测和定位系统和方法，具有巨大的商业价值。
[0003]目前针对的异常检测主要可以分成两类:整体异常检测和局部异常检测。整体异常指的是由场景中的所有个体引发的异常，如人群恐慌。整体异常检测的任务是检测异常事件，并确定异常事件的起始和终止位置，以及它们之间的过渡。局部异常是指由某个个体引发的异常，这个个体可能有别于其他正常的个体。局部异常检测的任务是检测异常事件，并定位异常发生的位置。目前大部分的算法只针对其中一种任务，同时适用这两种任务的算法比较少。并且很多的局部异常检测方法，将检测和定位分开考虑，即先检测出异常帧，再在异常帧中定位异常发生的位置，这样显然花费了更多时间。
[0004]人群异常检测由于异常定义的主观性，使得异常形式多样，其中大部分的异常主要由人群动态的变化情况触发的，有少数的异常情况除了人群动态之外还需要借助外形特征来辅助检测。人群异常检测主要的目标在于寻找人群状态的变化与人群异常之间存在的关系。这里面主要包含两个关键点:1)构建能刻画人群状态变化的特征，2)构建人群状态的变化与人群异常之间存在的关系的模型。人群状态变化主要可以从四个维度来刻画:1)人群之间空间维度的变化关系，2)人群之间时间维度的变化关系，3)人群在每一时刻的运动状态，4)有些还需要借助人群在每一时刻的外形特征。目前用于刻画人群状态变化的特征，有光流直方图、局部时空立方体建模、光流聚类、社会动力模型等，而构建人群状态变化与人群异常之间存在的关系则常常通过在训练数据上拟合一个概率模型，将概率接近某一类别的测试样本判别为该类行为，如隐马尔可夫模型、隐条件随机场等。
[0005]目前已有的人群异常行为检测的专利技术主要分为几类，其中以中国计量学院为代表的，申请号为CN201210223375、发明名称为“视频监控中的团体人群异常行为检测方法”的专利是在目标检测和跟踪的基础上进行的，而对于人群来说，由于人群场景的复杂性，在人群场景中存在着大量的遮挡，目标检测和追踪很难达到较好的效果；以上海交通大学为代表的，申请号为CN201210065523、发明名称为“基于LBP加权社会力模型的人群异常事件检测方法”的专利，没有考虑到时间的依赖关系；以中国计量学院为代表的，申请号为CN201310494769、发明名称为“基于SIFT流和隐条件随机场的人群异常行为识别方法”的专利，虽然考虑了长时间依赖关系，但是跟我们的方法是不同的，隐条件随机场希望刻画人群动态背后的概率分布，而时间递归神经网络则是直接拟合数据，或者直接找到区别不同序列类别的判别分界面，对于人群动态来说，想要找到较好的概率分布是比较难的；而以中山大学为代表的，申请号为CN201410312813、发明名称为“一种采用单类序列化模型的人群异常行为检测方法”的专利，仍然没有考虑时间依赖关系，只是在最后使用了隐含马尔科夫模型进行了平滑处理。并且其中大部分的方法都没有考虑到不同位置之间的关系，而对于由某个个体引发的异常情况，不同位置之间的关系是有助于检测异常的；其中大部分的方法也都没有考虑到外形特征，这样的话对于某些异常很难检测，例如车以很慢的速度开到行道上，或者一头牛出现在人群中。
[0006]参考文献
[0007][I]上海交通大学.基于改进的社会力模型的异常集群行为检测方法:中国，CN102156880B[P], 2013.01.09.
[0008][2]上海交通大学.基于LBP加权社会力模型的人群异常事件检测方法:中国，CN102682303B[P], 2014.04.30.
[0009][3]中国计量学院.视频监控中的团体人群异常行为检测方法:中国，CN102799863A[P], 2012.11.28.
[0010][4]中国计量学院.基于机器学习的人群异常行为检测方法:中国，CN102930248A[P], 2013.02.13.
[0011][5]燕山大学.一种基于因果网络分析的中等规模人群异常行为检测方法:中国，CN103020591A[P], 2013.04.03..
[0012][6]北京联合大学.一种基于FAST的人群异常行为识别方法:中国，CN103488993A[P], 2014.01.01.
[0013][7]中国计量学院.一种基于微行为分析的密集人群异常行为检测方法:中国，CN103593646A[P], 2014.02.19.
[0014][8]中国计量学院.基于SIFT流和隐条件随机场的人群异常行为识别方法:中国，CN103577804A[P], 2014.02.12.
[0015][9]中国计量学院.基于SURF流和LLE稀疏表示的人群异常行为识别方法:中国，CN103699874A[P], 2014.04.02.
[0016][10]中山大学.一种采用单类序列化模型的人群异常行为检测方法:中国，CN104077571A[P], 2014.10.01.
【发明内容】
[0017]为了解决上述问题，本发明提出了一种人群异常检测和定位系统及方法。
[0018]本发明的人群异常检测和定位系统包括:用户接口，用于系统与用户的交互，包括提示用户并输出结果给用户和方便用户查看历史检测结果；管理员接口，用于管理员对检测结果进行修正，或者构建初始异常视频训练样本数据库；数据接口，用于把从监控设备上获取的数据存入到监控视频数据库中，或者直接将实时数据用于异常检测和定位；监控视频数据库，用于存储从监控设备上获取到的数据；人群异常样本数据库，用于存储各种已标注的训练样本；模型数据库，用于存储训练好的时间递归神经网络模型；异常检测结果数据库，用于存储异常检测结果，方便之后管理人员进行修正，以对样本数据库进行更新，也方便用户查看历史检测结果；视频预处理模块，该模块用于对从监控设备上获取到的视频信息以及原始训练样本数据进行图像预处理等操作，方便之后的特征提取；特征提取模块，用于从每个时空块中提取移动和外形特征，并将从所有时空块中获取到的信息向量化，转化为规定的训练数据格式；时间递归神经网络模型训练模块，使用转化后的训练数据调整模型参数，对时间递归神经网络模型进行训练，将训练好的时间递归神经网络模型保存到模型数据库中；异常检测和定位模块，将向量化的视频信息输入已训练好的时间递归神经网络模型中进行异常检测和定位，输出结果给异常展示模块。
[0019]本发明还提出了一种基于时间递归神经网络的人群异常检测和定位方法，该方法包括以下四个步骤:1)对视频进行网格化划分，将由η帧构成的视频片段划分成多个时空块；2)利用光流算法计算光流，从每个时空块中构造多规模的光流直方图并利用Gabor小波提取纹理特征，并将从多个时空块中提取的特征向量化后合并起来，训练并获得具有长时间依赖特性的时间递归神经网络模型；3)对视频信息进行预处理，特征提取，利用阶段2中训练好的时间递归神经网络模型实现人群异常检测和定位，并保存检测结果；4)引入反馈机制，能够对判断错误的样本数据进行学习。
[0020]使用本发明的系统与方法具有以下几方面的优点:1)异常检测和定位同时进行。能够在检测出异常场景的情况下，同时发现异常发生的位置，而不需要将这两个分开进行，使得检测效率更加高，有较好的实时性；2)有良好的准确率。一方面，使用时间递归神经网络，可以发现视频中的长依赖关系，而人群异常情况正是根据人群动态的变化情况来判断的，使用时间递归神经网络可以很好的发现这种动态的变化。另一方面，人群中某些个体与周围其他的个体的状态的差异性也是判断异常的一个方面，而通过对场景网格化可以很好的利用时间递归神经网络模型来获取不同网格之间的位置关系；3)能检测多种异常情况。即能检测由多个个体触发的异常也能检测由少数几个个体触发的异常；4)系统具有自动学习机制。反馈机制的引入能够帮助模型学习判断错误的样本信息，使得模型能够不断地学习，提高精度，达到越用越准确的效果；5)不需要进行目标追踪，而是基于整体的方法，来提取局部整体的动态特征。
【附图说明】
[0021]图1为本发明的基于时间递归神经网络的人群异常检测和定位系统架构图；
[0022]图2为本发明的基于时间递归神经网络的人群异常检测和定位方法的流程图；
[0023]图3为本发明的基于时间递归神经网络的人群异常检测和定位方法中训练样本数据收集步骤的实现原理图；
[0024]图4为本发明的基于时间递归神经网络的人群异常检测和定位方法中时间递归神经网络模型训练步骤的实现原理图；
[0025]图5为本发明的基于时间递归神经网络的人群异常检测和定位方法中异常检测和定位步骤的实现原理图。
【具体实施方式】
[0026]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0027]图1示出了本发明基于时间递归神经网络的人群异常检测和定位系统的架构图。
[0028]参照图1，本发明的人群异常检测和定位系统包括用户接口、数据接口、异常视频训练样本数据库、模型数据库、异常检测结果数据库、监控视频数据库、视频预处理模块、特征抽取模块、时间递归神经网络