基于视频监控的人群异常行为检测系统的制作方法

本实用新型实施例涉及安防监控技术领域，具体涉及一种基于视频监控的人群异常行为检测系统。

背景技术：

目前，智能视频监控已经成为人工智能领域非常活跃的热点技术之一，是计算机视觉技术在安防领域的重要应用，实现了由传统视频监控的“被动监控”到“主动监控”的转变。我国经济快速发展，城镇人口不断聚集，在火车站、地铁站、广场等公共区域中常常存在着人流高峰，然而较高密度的人群给公共安全带来了极大的隐患和压力，安全防范、安全监控与安全保护工作的紧迫性不断加剧。

近年来，群体斗殴、非法聚集等群体异常行为时有发生，对社会的公共安全造成很大的威胁。因此，对监控场景的群体异常行为检测、实现在线预警成为计算机视觉和模式识别等领域重要的前沿课题。此外，由于视频中人群运动的复杂性和异常事件的多样性，难以对视频中的异常行为进行准确描述。其次，视频监控大都部署在人群密集的公共场所，监控场景多样且人群中个体之间存在相互遮挡，导致提取的行为特征不准确、异常行为建模困难。亟需一种基于视频监控的人群异常行为检测系统。

技术实现要素：

为此，本实用新型实施例提供一种基于视频监控的人群异常行为检测系统，能够获取公共场所人群图像并进行异常检测预警，保证社会公共安全。

为了实现上述目的，本实用新型实施例提供如下技术方案：基于视频监控的人群异常行为检测系统，包括视频采集装置、异常检测装置、通信装置和预警装置；所述视频采集装置与所述异常检测装置连接，视频采集装置包括若干基于tcp/ip协议并行连接的采集摄像头；所述异常检测装置连接所述通信装置，异常检测装置用于对所述视频采集装置采集的视频序列图像进行异常检测；所述预警装置连接所述通信装置，预警装置用于根据所述异常检测装置的异常检测结果进行预警。

作为基于视频监控的人群异常行为检测系统的优选方案，所述视频采集装置采用第三代视频监控系统ipvs，所述采集摄像头内置web服务器并提供有以太网端口。

作为基于视频监控的人群异常行为检测系统的优选方案，所述异常检测装置包括特征提取器、特征编码器和异常检测器，所述特征提取器用于根据所述视频采集装置采集的视频序列图像进行人群外观特征提取；所述特征编码器连接所述特征提取器，特征编码器用于通过感知哈希算法对提取到的所述人群外观特征图像进行编码得到特征指纹；所述异常检测器连接所述特征编码器，异常检测器用于根据特征编码器编码得到的特征指纹相似度的大小确定人群外观特征图像的异常程度。

作为基于视频监控的人群异常行为检测系统的优选方案，所述特征提取器基于shi-tomasi特征点增强的lucas-kanade光流方法提取目标视频序列图像的局部光流特征。

作为基于视频监控的人群异常行为检测系统的优选方案，所述异常检测器通过帧间相似度和光流值融合作为人群外观特征图像异常行为判定依据。

作为基于视频监控的人群异常行为检测系统的优选方案，所述预警装置包括固定预警终端，所述固定预警终端根据所述异常检测装置的异常检测结果进行预警；

所述固定预警终端连接有广播疏导装置，所述广播疏导装置用于根据异常检测装置的异常检测结果向人群进行广播疏导。

作为基于视频监控的人群异常行为检测系统的优选方案，所述预警装置包括移动预警终端，所述移动预警终端根据所述异常检测装置的异常检测结果进行预警；

所述移动预警终端连接有广播疏导装置，所述广播疏导装置用于根据异常检测装置的异常检测结果向人群进行广播疏导。

作为基于视频监控的人群异常行为检测系统的优选方案，所述通信装置采用3g、4g或5g移动通信网络。

本实用新型实施例具有如下优点：设有视频采集装置、异常检测装置、通信装置和预警装置；视频采集装置与异常检测装置连接，视频采集装置包括若干基于tcp/ip协议并行连接的采集摄像头；异常检测装置连接通信装置，异常检测装置用于对视频采集装置采集的视频序列图像进行异常检测；预警装置连接通信装置，预警装置用于根据异常检测装置的异常检测结果进行预警。异常检测装置包括特征提取器、特征编码器和异常检测器，特征提取器用于根据视频采集装置采集的视频序列图像进行人群外观特征提取；特征编码器连接特征提取器，特征编码器用于通过感知哈希算法对提取到的人群外观特征图像进行编码得到特征指纹；异常检测器连接特征编码器，异常检测器用于根据特征编码器编码得到的特征指纹相似度的大小确定人群外观特征图像的异常程度。通过本技术方案能够及时的发现人群异常行为并进行预警，保证社会公共安全，避免人群异常带来的危害。

附图说明

为了更清楚地说明本实用新型的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本实用新型实施例中提供的一种基于视频监控的人群异常行为检测系统示意图；

图2为本实用新型实施例中提供的特征编码器原理示意图；

图中：1、视频采集装置；2、异常检测装置；3、通信装置；4、预警装置；5、采集摄像头；6、固定预警终端；7、移动预警终端；8、特征提取器；9、特征编码器；10、异常检测器；11、广播疏导装置。

具体实施方式

以下由特定的具体实施例说明本实用新型的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本实用新型的其他优点及功效，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

需要进一步说明的是，本技术方案请求保护的是实现基于视频监控的人群异常行为检测系统的硬件部署，并不请求对涉及的算法或方法进行保护，此外本技术方案对涉及的算法或方法将在实施例中作为现有技术进行充分的公开，以使本领域的技术人员更好的实现本技术方案。类比的，本技术方案涉及的算法或方法相当于一个工作流程和使用方法，任何一个结构性技术方案在实施或实现的过程中必然有一个实施方法性的方案对应，在申请人不请求对方法进行保护的前提下，并不能因涉及方法而否定结构技术方案作为实用新型进行保护的客体。

参见图1，基于视频监控的人群异常行为检测系统，包括视频采集装置1、异常检测装置2、通信装置3和预警装置4，所述通信装置3采用3g、4g或5g移动通信网络；所述视频采集装置1与所述异常检测装置2连接，视频采集装置1包括若干基于tcp/ip协议并行连接的采集摄像头5；所述异常检测装置2连接所述通信装置3，异常检测装置2用于对所述视频采集装置1采集的视频序列图像进行异常检测；所述预警装置4连接所述通信装置3，预警装置4用于根据所述异常检测装置2的异常检测结果进行预警。

基于视频监控的人群异常行为检测系统的一个实施例中，所述视频采集装置1采用第三代视频监控系统ipvs，所述采集摄像头5内置web服务器并提供有以太网端口。采集摄像头5生成jpeg或mpeg4、h.264数据文件，可供经授权终端从网络中任何位置访问、监视、记录并打印。采集摄像头5通过有线或者无线以太网简单连接到网络，可使用五类网络电缆或无线网络方式传输摄像机输出图像以及水平、垂直、变倍(ptz)控制命令。

基于视频监控的人群异常行为检测系统的一个实施例中，所述预警装置4包括固定预警终端6，所述固定预警终端6根据所述异常检测装置2的异常检测结果进行预警。所述预警装置4包括移动预警终端7，所述移动预警终端7根据所述异常检测装置2的异常检测结果进行预警。所述固定预警终端6和移动预警终端7连接有广播疏导装置11，所述广播疏导装置11用于根据异常检测装置2的异常检测结果向人群进行广播疏导，实现人群有效疏导，保证人群安全。

参见图2，基于视频监控的人群异常行为检测系统的一个实施例中，所述异常检测装置2包括特征提取器8、特征编码器9和异常检测器10，所述特征提取器8用于根据所述视频采集装置1采集的视频序列图像进行人群外观特征提取；所述特征编码器9连接所述特征提取器8，特征编码器9用于通过感知哈希算法对提取到的所述人群外观特征图像进行编码得到特征指纹；所述异常检测器10连接所述特征编码器9，异常检测器10用于根据特征编码器9编码得到的特征指纹相似度的大小确定人群外观特征图像的异常程度。

具体的，感知哈希算法是一类算法的总称，可以用来做相似图片的搜索工作。感知哈希算法可生成每张图像的“指纹”(fingerprint)字符串，比较不同图像的指纹信息来判断图像的相似性。结果越接近图像越相似。感知哈希算法包括均值哈希(ahash)、感知哈希(phash)和dhash(差异值哈希)。ahash速度较快，但精确度较低；phash则反其道而行之，精确度较高但速度较慢；dhash兼顾二者，精确度较高且速度较快。在得到64位hash值后，使用汉明距离量化两张图像的相似性。汉明距离越大，图像的相似度越小，汉明距离越小，图像的相似度越大。

基于视频监控的人群异常行为检测系统的一个实施例中，所述特征提取器8基于shi-tomasi特征点增强的lucas-kanade光流方法提取目标视频序列图像的局部光流特征。具体的，在视频外观特征提取方面，本技术方案使用金字塔lucas-kanade光流方法提取局部运动特征。此外，为了提高表征显著运动特征的能力，将lof(localoutlierfactor)异常检测算法应用在角点特征的检测中增加异常角点数量。角点检测方法使用shi-tomasi。特征提取器8从视频多特征提取角度出发，分别从外观相似度和局部运动光流两个方面提取特征，最后通过单分类svm模型对融合异常值进行建模从而实现异常检测的效果。特征编码器9利用深度卷积网络alexnet提取图像高层语义特征，并使用感知哈希算法提取特征图指纹，从而获得外观特征指纹，并根据指纹相似性量化图像间的相似性，有效的降低了计算复杂度也取得了较好的检测效果。所述异常检测器10通过帧间相似度和光流值融合作为人群外观特征图像异常行为判定依据。

具体的，shi-tomasi算法是harris算法的改进。harris算法最原始的定义是将矩阵m的行列式值与m的迹相减，再将差值同预先给定的阈值进行比较。后来shi和tomasi提出改进的方法，若两个特征值中较小的一个大于最小阈值，则会得到强角点。对自相关矩阵m进行特征值分析，产生两个特征值和两个特征方向向量。因为较大的不确定度取决于较小的特征值，所以通过寻找最小特征值的最大值来寻找好的特征点，可以得到比使用harris算法更好的结果。lucas-kanade光流算法是一种两帧差分的光流估计算法，由bruced.lucas和takeokanade提出。光流算法可以评估两幅图像的之间的变形，基本假设是体素和图像像素守恒，假设一个物体的颜色在前后两帧没有巨大而明显的变化，基于这个思路，可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。本领域技术人员，可以理解的是，光流(opticalfloworopticflow)是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者(比如眼睛、摄像头等)和背景之间形成的明显移动。

本实用新型实施例设有视频采集装置1、异常检测装置2、通信装置3和预警装置4；视频采集装置1与异常检测装置2连接，视频采集装置1包括若干基于tcp/ip协议并行连接的采集摄像头5；异常检测装置2连接通信装置3，异常检测装置2用于对视频采集装置1采集的视频序列图像进行异常检测；预警装置4连接通信装置3，预警装置4用于根据异常检测装置2的异常检测结果进行预警。异常检测装置2包括特征提取器8、特征编码器9和异常检测器10，特征提取器8用于根据视频采集装置1采集的视频序列图像进行人群外观特征提取；特征编码器9连接特征提取器8，特征编码器9用于通过感知哈希算法对提取到的人群外观特征图像进行编码得到特征指纹；异常检测器10连接特征编码器9，异常检测器10用于根据特征编码器9编码得到的特征指纹相似度的大小确定人群外观特征图像的异常程度。与现有技术相比，本技术方案异常检测装置2从视频处理全流程角度出发，在异常捕获算法方面，从多特征提取出发，分别从外观相似度和局部运动光流两个方面进行相似度的度量；在外观相似性计算方面，使用感知哈希算法度量帧间相似度，极大地提高了视频相似性比较效率；在运动特征计算时，使用改进的基于shi-tomasi特征点增强的lucas-kanade光流方法提取目标的局部光流特征；在异常行为检测方面，本使用单分类svm模型进行异常值的决策，避免了阈值设定等不确定因素对异常检测的影响；在预警结果反馈方面，采用b/s架构在线反馈和短信提醒方式，人机交互性能更加灵活。本技术方案在具体技术手段考虑上更加全面，技术效果上较其他同类技术表现更好。通过本技术方案能够及时的发现人群异常行为并进行预警，保证社会公共安全，避免人群异常带来的危害。

虽然，上文中已经用一般性说明及具体实施例对本实用新型作了详尽的描述，但在本实用新型基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本实用新型精神的基础上所做的这些修改或改进，均属于本实用新型要求保护的范围。