具体方式为，将步骤二所获取的全局前景像素速 度幅值和方向由小到大分别划分为n'个区间和m'个区间。考虑到全局图像的计算相 较基于子块的计算有着大得多的计算量，m'的取值相较步骤三中m应保证m'〈 = m， 是V的取值来源于特定环境下的视频图像中行人运动速度幅值的实际变化范围，如在 广场、大街上人群通常有着明显的速度幅值差异，此时n'的取值较大，而在封闭空间内 如车站，大型商场中人群运动有着较小的幅值范围，则n'的取值可以更小。但应保证 n' > = 3,以便能描述低、中、高速的人群运动。在确定n'和m'的取值之后，构建矩阵
，其中a(i, j)表示在i方向上以速度j运动的前景像 素出现的频率，g卩"(/,ηι ,为在i方向上以速度j运动的像素个数，N为图像前景 总像素。
[0093] 人群状态矩阵的熵分析602。具体方式为，计算当前帧人群状态矩阵的熵Ent，
。假设当前帧为第t'帧，考虑到正常人群状态下熵保持稳定， 采用滑动平均法预测第t' +1帧的熵Enf ,Enf为前T'帧的均值，即
而计算得到第f +1帧的实际熵为Entt，+1。则AEnt= |Ent*-Entt，+1|，由此滚动计算。 A Ent是计算人群状态系数的重要参数，若人群始终保持稳定，则每次计算的△ Ent~0,若 人群出现异动，则AEnt将逐渐增大。
[0094] 人群状态系数计算603。具体方式为，分为两种情况讨论，当步骤五中没有检测到 异常发生时，正常人群状态下人群状态系数coefficient = AEnt。当步骤五中检测到人 群异常状态发生，此时c〇emdeni=4A￡V;/ + ，其中歹为步骤五中异常子块SVM分类器输 出的均值。权重12与检测到的异常子块数目相关。例如一幅图像包含MXN个子块，经过 SVM分类器检测到其中的L个子块异常，则為=^^，A1= l-λ 2。 MxN
[0095] 实施效果：对人群运动数据库进行测试，测试环境：操作系统WindowXP，CPU Intel Core2Duo T7500,主频2. 2GHZ，程序语言C++/0pencv2. 44。运算速度每一帧350ms。测试结 果如图6、图7及图8所示，其中，图6为人群中突然闯入高速移动的自行车的检测结果，图 7表示人群大范围混乱的检测效果图。
[0096] 图8表示人群从正常逐渐变成异常状态的前后50帧人群状态系数曲线。其中，虚 线表示图6中高速移动自行车闯入时的系数曲线，从第30帧开始系数略有升高，属于微异 常范畴，可根据实际情况发出安全预警。实线表示图7中人群大范围混乱时的系数曲线，从 第25帧开始系数快速上升，并接近峰值，属于运动大规模逃散的极端情况，可发出最高安 全警示。可以明显看出，应用本发明所述的方法得到的人群状态系数曲线与图6和图7表 征的实际情况基本一致，准确的反应了人群异常情况。
【主权项】
1. 一种基于多特征聚类及分类的人群异常检测与评估方法，其特征在于，包括以下步 骤： 步骤1:从视频中提取每一帧原图像，并对原图像进行预处理； 所述预处理包括对原图像进行前景与背景的分割以及对原图像与分割图像进行分 块； 步骤2 :对步骤1进行预处理后的图像进行视频图像参数计算； 所述视频图像参数包括全局前景速度、子块前景边缘长度、子块前景面积、子块人群密 度估计值及子块速度； 所述全局前景速度是利用像素跟踪手段求解每一帧图像中每一个前景像素（x，y)的 运动速度巧^，包含全局前景速度的幅值|t,,I与全局前景速度的方向Q 0^; 所述子块前景边缘长度是利用前景边缘处像素突变的特点，使用局部微分算法检测子 块内前景像素突变区域总长度，获取边缘长度length ; 所述子块前景面积是统计子块内前景像素个数，从而获得子块前景面积area ; 所述子块人群密度估计值，是通过子块前景面积和边缘长度按照以下公式计算获得P =kX area+b X length+const ； 其中，k，b，const分别为面积比例系数、边缘长度比例系数和常数系数；通过收集大量 已知人群密度P的运动视频并计算视频中的的area，length参数，再利用已知的人群密度 P和计算出的area及length参数通过最小二乘拟合求出三个系数； 所述子块速度是将子块内每一前景像素的速度1k#进行矢量求和后，得到的子块平均 运动速度f j包含子块速度幅值1^与子块速度方向小； 步骤3 :基于步骤2得到的视频图像参数进行基于图像子块的人群多特征提取； 所述基于图像子块的人群多特征包括每个图像子块的人群流量特征与速度直方图特 征； 所述人群流量特征，是先计算图像子块人群流量值f，由当前子块及其8邻域子块的人 群流量值共同组成该子块的n维特征向量$，气=_丨./;,.心??/,,!，每个图像子块对应的n维 特征向量中各图像子块的人群流量值排列顺序一致； 所述速度直方图特征，是将子块内前景像素速度方向均匀划分为m个方向区间， 每一区间的范围为角度0，〇°〈0〈 = 45°然后依次对属于区间Q1, /七;/,2，一./〃丨_的所有前景像素进行速度幅值求和得到l，由m个!Ti构成m维的特征向量R m， 所述人群流量值，为子块内人群密度P与子块速度幅值pi的乘积，即 步骤4 :利用图像子块的人群多特征进行聚类； 步骤5 :利用从已知状态的视频图像提取的图像子块人群多特征聚类结果，对SVM分类 器进行训练，采用已训练的SVM分类器对步骤4获得的聚类结果进行基于图像子块的SVM 分类器异常检测，当SVM分类器输出的异常检测结果大于或等于0. 6时，则判定当前图像子 块存在异常； 所述图像子块的状态包括正常、微异常、异常发生、运动突变、运动聚集和运动逃散，且 在SVM分类器中的输出结果分别定义为0,0. 2,0. 4,0. 6,0. 8,1。2. 根据权利要求1所述的一种基于多特征聚类及分类的人群异常检测与评估方法，其 特征在于，根据图像子块人群多特征计算图像的人群状态系数对人群异常状态进行评估， 具体步骤如下： 步骤A :将步骤2所获取的全局前景像素速度幅值和方向由小到大分别划分为n'个区 间和m'个区间，构建人群状态矩阵W ;其中，a(i，j)表示在i方向上以速度j运动的前景像素出现的频率，即Iiii为在i方向上以速度j运动的像素个数，N为图像前景像素个数；m'〈 = m，n' > = 3 ； 步骤B :分析人群状态矩阵的熵； 令当前帧为第t'帧，采用滑动平均法预测第t' +1帧人群状态矩阵的熵Ent^ 同时，利用人群状态矩阵的熵的计算计算第t' +1 帧人群状态矩阵的熵为Entt, +1; 获取下一帧图像的人群状态矩阵的熵的预测差值AEnt= IEnf-EnV +1| ; 步骤C :当步骤5中没有检测到任何图像子块存在异常时，人群状态系数coefficient =A Ent，当该值超出范围0~0. 4时，表示可能存在危险，该值越大，表示可能存在的危险 越大； 当步骤5中检测到有图像子块存在异常时，人群状态系数為f; 其中，7为利用步骤5中已训练好的SVM分类器对当前帧图像中所有图像子块人群多 特征进行分类后输出结果的均值； 输出结果权重A2与检测到的异常子块数目相关，A1为下一帧图像的人 群状态矩阵的熵的预测差值权重，A1= l-入2; 当前图像包含M X N个子块，经过SVM分类器检测到其中的L个子块异常。3. 根据权利要求1或2所述的一种基于多特征聚类及分类的人群异常检测与评估方 法，其特征在于，采用背景模型对图像进行前景与背景的分割； 将任意像素对应的灰度值X带入背景模型公式计算出该点属于背景的概率p (X)，若判 决条件P(x)>e成立，0.5$ e〈l，则当前像素为背景像素，赋予标签0,反之则为前景像素， 赋予标签1，完成如景分割； 所述背景模型为混合高斯模型：，X表示任意像素的灰度值，P(X)表示该像素属于 背景的概率，nN(x，ii ^ 2,为邻域高斯模型项，K表示背景高斯模型数目，取值为通常为 1~3之间，k表示其中某一高斯模型的序号，&和2 k表示该像素的时间域滑动均值和 滑动方差，n为邻域高斯模型项加权系数，Jik为传统混合高斯模型项加权系数，取值均为 〇~1之间；和5^分别为每一个像素周围4X4邻域像素的均值和方差。4.根据权利要求3所述的一种基于多特征聚类及分类的人群异常检测与评估方法，其 特征在于，所述步骤4中利用图像子块的人群多特征进行聚类采用FCM聚类，获得每个特征 的隶属度向量，将隶属度向量表不每一种特征的参与权重。
【专利摘要】本发明公开了一种基于多特征聚类及分类的人群异常检测与评估方法，主要包括以下几个步骤，首先针对视频图像进行预处理与局部子块分割，包含模型建模、前景分割与图像分块；其次对视频图像进行参数计算，包括全局前景速度计算、子块前景边缘长度计算、子块前景面积计算、子块人群密度估计及子块速度计算；然后进行基于子块的人群多特征提取，多特征的聚类及分类器异常检测，最后进行全局图像的人群状态评估。该方法能够对人群异常点进行检测与定位，检测精度高、抗干扰能力强及具备人群异常状态的初步评估与预警能力。
【IPC分类】G06K9/66, G06K9/62, G06K9/00
【公开号】CN105138982
【申请号】CN201510516305
【发明人】李志勇, 成诚, 罗瑜珣
【申请人】中南大学
【公开日】2015年12月9日
【申请日】2015年8月21日