基于视频监控平台的人员异常聚集行为的检测方法
【专利摘要】本发明涉及一种基于视频监控平台的人员异常聚集行为的检测方法，包括：对于待检测图片序列，选取一些同样场景的训练图片序列；对于每个训练图片序列和待检测图片序列，进行图像处理；统计每个训练图片序列的真实人数；构建三层BP网络模型，并进行训练；输入待检测图片序列；当待检测图片在该场景中的人数上升到一定阈值时，进一步计算人群的二维联合分布熵，以判断聚集程度。本发明利用机器视觉实现场景异常监测，能够节省人力，并在一定程度上避免“漏检”“误检”的发生。
【专利说明】
基于视频监控平台的人员异常聚集行为的检测方法
技术领域
[0001]本发明属于智能视频监控领域。具体来说属于一种基于普通单目摄像头，单摄相机(即一般的现有视频监控平台)的周界安防系统。
【背景技术】
[0002]近年来，随着安防技术的发展及人们对社会安全的重视，视频监控系统已经逐步广泛地应用到社会的各个角落，从银行、博物馆的安保到校园、公路交通监控，从行业用户到家庭市场。视频监控系统在城市公共安全、智能交通、打击犯罪等领域，发挥着不可替代的作用，促进了和谐社会的建设和健康发展，保卫着社会的稳定繁荣。
[0003]但是，传统的视频监控系统具有自身的局限性。首先，它只具有简单的监控、视频存储、视频回放查看的功能，主要用来事后取证，缺乏对监控场景实时分析与识别，不具备对发生的异常事件提供警示的功能。其次，对于安装摄像头的企事业部门如交通部门、学校、公司等，安防中心需要安防人员24小时无间断地对监控场景进行监控，对人力资源是极大的浪费。同时，由于长时间的连续监控，监控人员很容易产生视觉疲劳，随之产生的“漏检” “误检”便会经常发生。更为重要的是随着城市监控网络的建立和不断完善，视频监控的范围将会不断增加，需要处理的监控视频将会成倍的增加，而要适应这种发展趋势只是依靠简单的增加监控检测人员显然是不可能的。
[0004]随着研究的深入，图像模式识别，机器计算机视觉等技术在近年来有了长足的发展，各种智能算法的提出为解决实际工程问题提供了理论保障;而随着我国安全社区、安全校园、安全家居等理念的提出，相应的监控摄像系统遍布了生产生活中的许多角落，这就为本发明提出的人员异常聚集的检测系统提供了硬件基础和实现条件。如果能够在现有的摄像监控系统中融入相应的检测软件，不仅充分利用了现有的硬件资源，节约设施开销，而且能够有效弥补上述探测器的不足，具有广阔的应用空间。
【发明内容】
[0005]本发明的目的在于提供一种基于现有视频监控平台可以有效地识别人员异常聚集行为的检测方法，技术方案如下:
[0006]—种基于视频监控平台的人员异常聚集行为的检测方法，包括下列的步骤:
[0007](I)对于待检测图片序列，选取一些同样场景的训练图片序列；
[0008](2)对于每个训练图片序列和待检测图片序列，均进行下面的①-⑦步的处理；
[0009]①对于输入的图片序列中的一帧图像，使用混合高斯背景建模的方法，并结合二值化处理以及形态学滤波，获得初步的运动前景图；
[0010]②将获得的前景图由RGB色彩空间转换至HSV色彩空间，对前景区域逐像素判别滤除，得到过滤阴影区域的前景图；
[0011]③通过对2)中所得前景图中前景像素的计数，得到前景面积SI;
[0012]④通过对测试视频中同一场景中同一行人处于不同纵向位置时的尺寸和纵向坐标值进行采样，并对尺寸和纵向坐标值进行线性拟合，求出拟合系数，并得到拟合公式，由此将上一步中求得的前景面积修正为归一化前景面积S2，同一行人在视频图像的任意位置时，归一化前景面积相同；
[0013]⑤对每一个视频帧采用Harris角点算法提取候选角点信息，然后对求得的候选角点进行非最大值抑制计算，求得的局部最大值即为角点。
[0014]⑥考虑行人之间的遮挡问题，根据遮挡边缘处于前景区域内部的特点，将处于前景区域边缘的角点滤除；
[0015]⑦对经过⑥步过滤的角点进行进一步过滤，筛选出前景区域内的有效角点，结合原始前景面积SI和前景区域角点数N来提取出遮挡因子D，即通过单位面积中的有效角点数来表征场景中人群间的遮挡程度；
[0016](3)统计每个训练图片序列的真实人数；
[0017](4)构建三层BP网络模型，其中，输入层为场景的归一化前景面积S2和遮挡因子D组成的特征矢量，输出层为场景的统计人数。通过将训练图片序列的归一化前景面积S2、遮挡因子D和真实行人数输入BP网络并进行训练，完成回归模型的构建；
[0018](5)输入待检测图片序列的归一化前景面积S2和遮挡因子D，通过回归模型统计出该场景中的人数；
[0019](6)当待检测图片在该场景中的人数上升到一定阈值时，进一步计算人群的二维联合分布熵，以判断聚集程度。
[0020]作为优选实施方式:设步骤2)中获得的前景图在水平方向和垂直方向的分布熵分别为H(X)和H(Y)，进一步计算二维联合分布熵H(XY)，设定阈值T，根据不同数量行人的聚集过程中的分布熵H(XY)值的曲线，估计人群聚集程度，当某一帧的H(XY)值变化大于阈值T时，认为它是噪声，系统不发出报警信号，只有当连续多帧的H(XY)值大于其阈值T，才认为发生了人员聚集，系统报警。
[0021]本发明利用机器视觉实现场景异常监测，能够节省人力，并在一定程度上避免“漏检” “误检”的发生。
【附图说明】
[0022]图1为本发明方法所搭载的视频监控系统框图。
[0023]图2为本发明方法的流程图。
【具体实施方式】
[0024]现有视频监控系统的一般架构为:由模拟摄像机拍摄的画面经过线缆一部分直接传给监视器显示，另一部分传给硬盘录像机。进入硬盘录像机的模拟信号转变为数字码流，一方面进行编码，以文件形式存储在硬盘录像机内；另一方面，可通过网络随时连接硬盘录像机，提取码流并进行显示、分析。具体如图1所示。基于本发明提出的方法所形成的人员异常聚集检测软件，可以通过网络连接硬盘录像，采集视频数据并进行实时分析，如有人员异常聚集则进行报警。
[0025]下面对各个部分进行详细说明:
[0026]1.码流转换
[0027]由于模拟摄像机传输的是模拟信号，需要先经过硬盘录像机转成数字信号，而转换成的数字信号时YUV信号的存储格式，为了后续方法的方便处理，我们将此种信号格式转换为RGB信号，其转换公式为:
[0028]R = Y+1.14V
[0029]G = Y-0.39U-0.58V
[0030]B = Y+0.23U
[0031]由于视频监控画面是实时刷新，相当于不小于25帧/秒的刷新速度，而将YUV信号转为待处理的RGB信号以及后续算法的总耗时无法满足程序实时性要求，故采用关键帧提取技术，每隔10帧提取一帧进行处理。经测验，这种提取方式完全能够满足在周界检测中可靠性方面的需求。
[0032]2.运动前景的提取
[0033]运动前景的提取有多种方法，本实施例是按照论文Improved Adaptive GaussianMixture Model for Background Subtract1n(Internat1nal Conference on PatternRecognit1n，2004，2: 28-31)中的混合高斯模型法实现的。比起一般的多高斯法有着更快的速度，并且保持处理质量不变。这种方法同时还会对视频中的阴影部分进行描述，可以在得到运动前景的同时，去除阴影带来的影响。
[0034]3.前景阴影去除
[0035]在混合高斯模型建模操作后，将获得的前景图由RGB色彩空间转换至HSV色彩空间。对前景区域逐像素判别滤除，最终得到过滤了阴影区域的前景图。之后通过一组形态学开闭运算，得到低噪声，轮廓更为完整的人群前景图。
[0036]4.计算原始前景面积
[0037]遍历每一帧视频图像，通过对所得前景图中前景像素的计数，得到前景面积SI。
[0038]5.计算归一化前景面积
[0039]由于透视效应的作用〃物体随着与摄像机镜头距离的逐步增大而在摄像机的成像平面上呈现逐步缩小的尺度，因此，需要结合透视效应原理，才能得到行人位于场景各位置比较准确的投影尺寸。
[0040]首先对选定场景中处于画面纵向不同位置处行人的尺寸及纵向坐标进行采样，得到关于行人尺寸和纵向坐标关系的采样数据(这里假定各行人的身高体宽近似)，然后对这些数据进行线性拟合，求出拟合系数，并得到拟合公式。由拟合公式可以推导得出任一目标位移至场景中任意其他位置时的尺寸。原则上，同一行人在视频图像的任意位置时，归一化前景面积相同。由此将上一步中求得的前景面积修正为归一化前景面积S2。
[0041 ] 6.提取有效角点
[0042]对每一个视频帧采用经典的Harris角点算法提取候选角点信息。
[0043]第一步:对前景灰度图像逐像素采用Sobel算子计算水平梯度值Gx和垂直梯度值Gy;
[0044]第二步:分别对Gx和Gy进行高斯噪声滤除，求取前景灰度图的协方差矩阵M，计算角点响应函数R;
[0045]第三步:然后对求得的角点进行3X 3窗口尺寸的非最大值抑制计算，求得的局部最大值即为角点；
[0046]第四步:考虑到行人之间的遮挡问题，需要对上述候选角点需要经过进一步的滤除处理得到最终的有效角点。遮挡边缘一般处于前景区域内部，将处于前景区域边缘的角点滤除，这样得到的有效角点更准确地反映了前景区域内部纹理的复杂程度；
[0047]第五步:由于提取出的角点为整个图像的，这其中包含人群和环境中的角点，而我们进行人群行为分析所需的角点为人群中的角点，所以需要将环境背景中角点滤除掉，以免对后续的分析产生影响。因此对上述角点进行进一步过滤，筛选出前景区域内的有效角点。
[0048]7.计算遮挡因子
[0049]对于人群密度较高的场景，必需考虑行人之间的遮挡问题。一般而言，人群越聚集，遮挡越严重的区域，对应的边缘纹理图像也越复杂。
[0050]结合上述步骤中得到的原始前景面积SI和前景区域角点数N，用两者相除得到的商，来提取出遮挡因子D，即通过单位面积中的有效角点数来表征场景中人群间的遮挡程度；
[0051]8.人数统计回归模型的建立
[0052]统计回归是人数统计算法的重要步骤。场景的归一化前景和人数之间存在着一定的线性关系，但为了解决人群中的遮挡问题，本发明引入了人群密度特征，使得一般的线性回归模型并不适用。因此，这里选用经典的BP网络作为回归模型。
[0053]构建的是三层BP网络模型，其中，输入层为场景的归一化前景面积S2和单位人群密度D组成的特征矢量，输出层为场景的统计人数。通过将训练图片序列、遮挡因子、和真实人数输入BP网络并进行训练，可完成回归模型的构建。测试时，输入待检测图片序列的归一化前景面积S2和遮挡因子D，通过回归模型可统计出该场景中的人数。
[0054]9.计算人群二维联合分布熵
[0055]当场景中的人数达到一定阈值时，进一步计算人群的二维联合分布熵，以判断聚集程度。前景图像在水平方向和垂直方向的分布熵分别为H(X)和H(Y)，进一步计算二维联合分布熵H(XY)，通过对不同数量行人的聚集过程中的分布熵H(XY)值的曲线进行分析，来估计人群聚集的阈值T。当某一帧的H(XY)值突然发生较大变化时，认为它是噪声，系统不发出报警信号。只有当连续10帧的H(XY)值大于其阈值T，才认为发生了人员聚集，系统报警。
【主权项】
1.一种基于视频监控平台的人员异常聚集行为的检测方法，包括下列的步骤: (1)对于待检测图片序列，选取一些同样场景的训练图片序列； (2)对于每个训练图片序列和待检测图片序列，均进行下面的①-⑦步的处理: ①对于输入的图片序列中的一帧图像，使用混合高斯背景建模的方法，并结合二值化处理以及形态学滤波，获得初步的运动前景图； ②将获得的前景图由RGB色彩空间转换至HSV色彩空间，对前景区域逐像素判别滤除，得到过滤阴影区域的前景图； ③通过对2)中所得前景图中前景像素的计数，得到前景面积SI; ④通过对测试视频中同一场景中同一行人处于不同纵向位置时的尺寸和纵向坐标值进行采样，并对尺寸和纵向坐标值进行线性拟合，求出拟合系数，并得到拟合公式，由此将上一步中求得的前景面积修正为归一化前景面积S2，同一行人在视频图像的任意位置时，归一化前景面积相同； ⑤对每一个视频帧采用Harris角点算法提取候选角点信息，然后对求得的候选角点进行非最大值抑制计算，求得的局部最大值即为角点。 ⑥考虑行人之间的遮挡问题，根据遮挡边缘处于前景区域内部的特点，将处于前景区域边缘的角点滤除； ⑦对经过6)步过滤的角点进行进一步过滤，筛选出前景区域内的有效角点，结合原始前景面积SI和前景区域角点数N来提取出遮挡因子D，即通过单位面积中的有效角点数来表征场景中人群间的遮挡程度； (3)统计每个训练图片序列的真实人数； (4)构建三层BP网络模型，其中，输入层为场景的归一化前景面积S2和遮挡因子D组成的特征矢量，输出层为场景的统计人数。通过将训练图片序列的归一化前景面积S2、遮挡因子D和真实行人数输入BP网络并进行训练，完成回归模型的构建； (5)输入待检测图片序列的归一化前景面积S2和遮挡因子D，通过回归模型统计出该场景中的人数； (6)当待检测图片在该场景中的人数上升到一定阈值时，进一步计算人群的二维联合分布熵，以判断聚集程度。2.根据权利要求1所述的方法，其特征在于，(6)步中:设步骤2)中获得的前景图在水平方向和垂直方向的分布熵分别为H(X)和H(Y)，进一步计算二维联合分布熵H(XY)，设定阈值T，根据不同数量行人的聚集过程中的分布熵H(XY)值的曲线，估计人群聚集程度，当某一帧的H(XY)值变化大于阈值T时，认为它是噪声，系统不发出报警信号，只有当连续多帧的H(XY)值大于其阈值T，才认为发生了人员聚集，系统报警。
【文档编号】G06K9/62GK105930814SQ201610283343
【公开日】2016年9月7日
【申请日】2016年4月28日
【发明人】付晓梅, 黄雯, 张为
【申请人】天津大学