模型训练模块、异常检测和定位模块、管理员接□以及数据库接口。
[0029]用户接口，用于实现人群异常检测和定位系统与用户的各种通信，包括提示用户异常发生并将实时的异常检测结果展示给用户；用户也可以通过用户接口去查看历史的检测结果。
[0030]数据接口，用于把从监控设备上获取的数据存入到监控视频数据库中，或者直接将实时数据用于异常检测和定位。
[0031]视频预处理模块，通过数据接口与异常样本数据库建立连接，获取异常视频训练样本数据，并从监控视频数据库中获取实时的视频数据，对这些视频数据进行图像预处理等操作，并将处理好的数据传递给特征抽取模块。
[0032]特征抽取模块，计算每一帧的光流，从每个时空块中抽取移动和纹理等特征，并将每个时空块的特征结合起来，将所有特征数据向量化，转化为时间递归神经网络模型训练模块能够处理的格式，并传递给时间递归神经网络模型训练模块。
[0033]时间递归神经网络模型训练模块，用于按一定时间间隔对本系统核心的时间递归神经网络模型进行训练。从特征抽取模块获取转化为要求格式的训练数据来训练时间递归神经网络模型，最后将训练好的模型保存到模型数据库中。
[0034]异常检测模块，从模型数据库中加载训练好的时间递归神经网络模型，对格式转化后的实时的监控信息进行异常检测和定位，得到异常帧以及异常发生的位置。并将检测结果提交给用户接口，同时将异常检测结果保存到异常检测结果数据库中。
[0035]管理员接口，用于管理员与系统进行通信，包括了:系统管理员从异常检测结果数据库中读取历史数据，并对历史的检测结果进行审核修正，并将修正后的错误的检测结果保存到异常视频样本数据库中，来对模型进行更新；系统管理员从监控视频数据库中读取视频数据，并从中选取样本数据，并对其进行标注，最后将挑选的样本数据保存到异常样本数据库中。
[0036]数据库接口，实现训练样本数据、模型数据、异常检测结果数据、监控视频数据的存取、更新等数据库操作的统一接口及访问权限控制。
[0037]异常视频训练样本数据库，用于存储管理员通过样本构建模块构建的格式化训练样本数据。
[0038]模型数据库，用于存储由时间递归神经网络训练模块训练得到的时间递归神经网络模型。
[0039]异常检测结果数据库，用于存储由异常检测和定位模块得到的异常检测结果。
[0040]监控视频数据库，用于存储从监控设备上获取得到的视频数据。
[0041]综上，本发明的基于时间递归神经网络的人群异常检测和定位系统由用户接口、数据接口、异常视频训练样本数据库、模型数据库、异常检测结果数据库、监控视频数据库、视频预处理模块、特征抽取模块、时间递归神经网络模型训练模块、异常检测和定位模块、管理员接口以及数据库接口等部分组成。上述模块一起完成人群异常检测和定位、异常视频训练样本数据的构建、更新、异常结果展示、视频数据获取这五个功能。在人群异常检测和定位功能中，本发明基于时间递归神经网络的人群异常检测和定位系统通过使用由训练模块训练好的时间递归神经网络模型，在异常检测和定位模块中对从监控设备获取到的实时视频数据进行异常检测和定位，将检测结果通过用户接口提供给用户；在异常视频训练样本数据的构建功能中，管理员通过管理员接口从监控视频数据库中获取监控数据，并根据需求选取异常视频样本，并根据预定义的时空块方式，对每个时空块进行标注，最后将构建的样本数据保存到异常视频样本数据库中；在异常训练样本数据更新功能中，管理员通过管理员接口从异常检测结果数据库中读取历史数据，并对检测出错的数据进行修正，将修正后的结果通过数据库接口存入到训练样本数据库中，对训练样本数据库进行更新；在异常结果展示功能中，本发明基于时间递归神经网络的人群异常检测和定位系统，将从异常检测和定位模块中获取到的检测结果，进行可视化，并将可视化后的结果呈现给用户；在视频数据获取功能中，本发明基于时间递归神经网络的人群异常检测和定位系统和方法，通过数据接口，将从监控设备输入到本系统的视频数据保存到监控视频数据库中。本发明同时进行人群的异常检测和定位，使得系统能够实时的进行异常检测和定位操作。本发明引入反馈机制对错误的结果进行学习。反馈机制的引入使得模型能够对错误分析的结果进行再次学习，使得系统越用越准。
[0042]图2为本发明提出的基于时间递归神经网络的异常检测和定位方法的流程图。
[0043]参照图2，该方法包括以下步骤:1.管理员通过管理员接口从视频数据库中构建样本数据，并通过管理员接口定期从检测结果数据库中读取历史检测结果，并对检测结果进行修正，将这些信息存储到异常视频训练样本数据库中；2.响应模型训练请求，与训练样本数据建立连接，获取训练数据，对训练数据进行图像预处理，时空块划分等操作；3.对预处理后的数据，从每个时空块中提取移动和外形特征，将每个时空块结合在一起并转换为向量化数据；4.利用特征抽取后的特征数据对时间递归神经网络模型进行训练，并将结果保存到模型数据库中；5.从监控设备中获取实时的监控数据，并进行与2-3步相同的预处理以及特征抽取工作；6.从模型数据库中加载训练好的时间递归神经网络模型对特征数据进行异常检测和定位，并将检测结果输出到用户接口 ；7.用户接口模块将异常检测结果进行可视化，并将可视化结果呈现给用户。
[0044]综上所述，该方法主要包括了训练样本数据收集步骤、时间递归神经网络模型的训练步骤和人群异常检测和定位步骤。
[0045]图3为训练样本数据收集步骤的实现原理图。参照图3，该步骤实现从历史的监控数据以及检测后的结果数据这两个来源获取异常视频训练样本，并将这些样本数据通过管理员接口处理后存入异常视频样本数据库。
[0046]图4基于时间递归神经网络的人群异常检测和定位方法中时间递归神经网络模型训练步骤的实现原理图。参照图4，在该步骤中，系统首先从训练样本数据库中提取训练样本数据，然后通过预处理模块、以及特征抽取模块对这些训练样本数据进行一系列处理得到向量化的特征数据，并输出到模型训练模块进行时间递归神经网络模型的训练。
[0047]图5为人群异常检测和定位步骤的实现原理图。参照图5，在该步骤中，数据接口获取监控设备的实时数据，并通过数据获取模块输入到本系统中，经过预处理模块以及特征抽取模块处理，输出向量化的特征数据到异常检测和定位模块，异常检测和定位模块从训练好的模型数据库中读取模型，进行人群的异常检测和定位，并将结果通过用户接口提供给用户。
[0048]以上所述的具体实施方案，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方案而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于时间递归神经网络的人群异常检测和定位系统，其包括: 异常视频训练样本数据库，用于存储各种已标注的包含异常视频片段的训练样本，并定期进行更新； 异常检测结果数据库，用于存储异常检测的结果，以便管理员对结果进行更正； 监控视频数据数据库，用于存储从监控视频中获取的视频数据； 模型数据库，用于存储训练好的模型； 用户接口，用于提示用户异常发生并输出结果给用户和方便用户查看历史检测结果；管理员接口，用于管理员定期对检测结果进行修正，并将结果保存到视频训练样本数据库中，对模型进行更新修正；或者构建初始异常视频训练样本数据库； 数据接口，用于从监控设备上获取视频数据，并将视频数据保存到监控视频数据数据库中，或者直接将实时数据用于异常检测和定位； 视频数据预处理模块，用于对视频数据进行各种图像预处理操作，方便之后的特征提取； 特征抽取模块，用于对预处理后的视频数据进行特征抽取，将视频信息向量化； 时间递归神经网络模型训练模块，用于根据数据库中已有的训练样本训练时间递归神经网络模型，并将模型保存到模型数据库中； 异常检测模块，从异常数据库中读取模型，并将向量化的视频信息输入到已训练好的时间递归神经网络模型中进行异常检测和定位。
2.如权利要求1所述的基于时间递归神经网络的人群异常检测和定位系统，其特征在于利用时间递归神经网络发现视频中的长时间依赖关系，以及视频场景中各个局部间的关系，并且同时实现异常的检测和异常在场景中发生位置的定位。
3.—种基于时间递归神经网络的人群异常检测和定位方法，该方法包括以下四个步骤: 1)对视频进行网格化划分，将由η帧构成的视频片段划分成多个时空块； 2)利用光流算法计算光流，从每个时空块中构造多规模的光流直方图并利用Gabor小波提取纹理特征，并将从多个时空块中提取的特征向量化后合并起来，训练并获得具有长时间依赖特性的时间递归神经网络模型； 3)对视频信息进行预处理，特征提取，利用阶段2中训练好的时间递归神经网络模型实现人群异常检测和定位，并保存检测结果； 4)引入反馈机制，能够对判断错误的样本数据进行学习。
4.如权利要求3所述的方法，其特征在于，从每个时空块中提取移动和外形等特征作为视频特征向量，训练具有长时间依赖特性的时间递归神经网络模型或利用训练好的模型进行异常的检测和异常发生位置的定位。
【专利摘要】本发明公布了一种基于时间递归神经网络(recurrent neural network)的人群异常检测和定位系统及方法。该方法在对采集到的样本数据进行预处理的基础上对场景进行网格化划分，将由n帧构成的视频片段划分成多个时空块。然后从每个时空块中构造多规模光流直方图和Gabor小波纹理特征。向量化并合并多个时空块中的特征，将视频片段作为时间序列，分别利用时间递归神经网络的隐含节点和反馈节点来发现空间维度和时间维度的关系，训练能检测长依赖关系的时间递归神经网络模型。最后利用该模型进行人群异常检测和定位。该方法具有较好的实时性和准确性，能检测由少数个体或者是由大量个体触发的异常。
【IPC分类】G06K9-66, G06K9-62, G06N3-02
【公开号】CN104636751
【申请号】CN201410795393
【发明人】蔡瑞初, 谢伟浩, 郝志峰, 袁畅, 陈恬, 温雯, 王丽娟, 洪英汉
【申请人】广东工业大学
【公开日】2015年5月20日
【申请日】2014年12月11日