基于视频监控的人群统计方法及系统与流程

本发明涉及智能监控领域，尤其涉及一种基于视频监控的人群统计方法及系统。

背景技术：

交通枢纽，大型活动现场及大型商场等公共场所人流拥堵现象越来越频繁。人数统计已成为社会共安全和资源优化配置的重要方面。商业等方面的竞争日趋激烈，以准确的数据为基础进行分析和管理、建立智能化的人数统计系统成为发展趋势。

目前已有的人数统计方法主要有两种：1)利用人体模板对视频图像中的人进行检测；2)利用人头或头肩模板对视频图像中的人进行检测。两种方法均存在一定的局限性，只能用于特定的场景，可移植性差，方法1)在人群密度较高的场景中检测效果差，方法2)在人群密度较低的场景中准确率低。

技术实现要素：

本发明所要解决的技术问题是提供一种基于视频监控的人群统计方法及系统，可适用于不同场合，准确度较高。

为解决上述问题，本发明提出一种基于视频监控的人群统计方法，包括以下步骤：

s1：获取预监控区域的实时监控图像；

s2：对实时监控图像进行前景分割，分割出人群；

s3：将完整的人体特征模型分为五个局部特征模型，并为各局部特征模型配置相应的权重；

s4：对分割后的人群的特征进行提取，并与所述五个局部特征模型进行匹配检测，根据权重及提取的五个局部特征模型与完整的人体特征模型之间的位置偏移计算综合匹配程度，若超过特定阈值，则匹配成功；

s5：根据匹配成功的次数统计人群数量，绘制人群数量变化曲线，当曲线或曲线趋势触发异常事件时，进行警示。

根据本发明的一个实施例，所述步骤s3包括以下步骤：

s31：将完整的人体特征模型划分为五个局部特征模型，分别为头部、上半身的左右两部及下半身的上下两部，得到模型m1、模型m2、模型m3、模型m4、模型m5，完整的人体特征模型m＝m1+m2+m3+m4+m5；

s32：配置五个局部特征模型的权重β＝{β1，β2，β3，β4，β5}，使得β1+β2+β3+β4+β5＝1；

s33：提取人体特征模型样本和非人体特征模型样本的hog特征，由svm分类器得到五个局部特征模型的模板。

根据本发明的一个实施例，所述步骤s4包括以下步骤：

s41：提取分割后的人群的hog特征；

s42：将提取的特征与所述五个局部特征模型的模板进行匹配，综合匹配程度s＝β1m1+β2m2+β3m3+β4m4+β5m5-b，其中，b表示实际局部特征模型与理想站姿模型之间的位置偏移，b＝b2+b3+b4+b5，模型m1中心点的坐标(e1，f1)，模型m2中心点的坐标(e2，f2)，模型m3中心点的坐标(e3，f3)，模型m4中心点的坐标(e4，f4)，模型m5中心点的坐标(e5，f5)；

s43：将得到的人群中各个人体的综合匹配程度与特定阈值进行比较，若超过特定阈值，则匹配成功一次，统计匹配成功的次数。

根据本发明的一个实施例，采集预监控区域的数据作为训练集，利用训练集确定混合动态纹理模型及人体五个局部特征模型的权重。

根据本发明的一个实施例，所述步骤s5包括以下步骤：

s51：根据匹配成功的次数统计人群数量，绘制人群数量变化曲线，并在触发异常事件时报警；

s52：记录已经触发异常事件的人群数量曲线，并置入可能异常事件集合中；

s53：当曲线或趋势再次出现时，根据预警级别提前预警；若后续触发异常事件，则在可能异常事件集合中将该曲线元素的危险等级升高，反之，危险等级下降；

s54：依据危险等级的高低确定或调整预警级别。

根据本发明的一个实施例，所述步骤s2中，对实时监控图像采用混合动态纹理模型对视频图像进行前景分割，包括以下步骤：

s21：将实时监控图像二值化，并建立一混合动态纹理模型；

s22：利用em算法求解所述混合动态纹理模型中的未知参数，从而确定所述混合动态纹理模型；

s23：根据所述混合动态纹理模型，计算监控图像混合动态纹理的最大似然概率，获得纹理类别标签，根据纹理类别标签将混合动态纹理进行聚类；

s24：扫描聚类后的纹理，将表征人群的同类动态纹理作为前景，其余纹理作为背景，分割出不同方向行走的人群的动态纹理。

根据本发明的一个实施例，获取的预监控区域的实时监控图像分为训练集和测试集，利用训练集确定所述混合动态纹理模型及人体五个局部特征模型的权重，再将测试集投入执行步骤s1-s5。

本发明还提供一种基于视频监控的人群统计系统，包括：

图像获取单元，获取预监控区域的实时监控图像；

人群分割单元，对实时监控图像进行前景分割，分割出人群；

特征划分单元，将完整的人体特征模型分为五个局部特征模型，并为各局部特征模型配置相应的权重；

特征匹配单元，对分割后的人群的特征进行提取，并与所述五个局部特征模型进行匹配检测，根据权重及提取的五个局部特征模型与完整的人体特征模型之间的位置偏移计算综合匹配程度，若超过特定阈值，则匹配成功；

统计警示单元，根据匹配成功的次数统计人群数量，绘制人群数量变化曲线，当曲线或曲线趋势触发异常事件时，进行警示。

采用上述技术方案后，本发明相比现有技术具有以下有益效果：

每个局部特征模型都有相应的权重，综合所有局部特征模型的匹配情况得到最终的匹配结果，通过改变局部特征模型的权重使得可应用于不同的场合，方便算法的移植，确保人群计数的准确性；建立异常事件反馈机制，增强系统的稳定性，避免虚警；

采用混合动态纹理进行前景分割，将不同方向的人流区分开，不需要额外的算法跟踪人群，确定人群方向，节省时间成本，提高算法效率；

考虑人体局部特征模型与完整的人体模型之间的位置偏移，可有效防止人体形变。

附图说明

图1为本发明一实施例的基于视频监控的人群统计方法的流程示意图；

图2为本发明一实施例的对实时监控图像采用混合动态纹理模型进行前景分割的流程示意图；

图3为本发明一实施例的em算法求解的流程示意图；

图4a为本发明一实施例的理想站姿模型的结构示意图；

图4b为本发明一实施例的存在位置偏移的实际局部特征模型的结构示意图；

图5为本发明一实施例的统计警示步骤的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

参看图1，在一个实施例中，基于视频监控的人群统计方法包括以下步骤：

s1：获取预监控区域的实时监控图像；

s2：对实时监控图像进行前景分割，分割出人群；

s3：将完整的人体特征模型分为五个局部特征模型，并为各局部特征模型配置相应的权重；

s4：对分割后的人群的特征进行提取，并与所述五个局部特征模型进行匹配检测，根据权重及提取的五个局部特征模型与完整的人体特征模型之间的位置偏移计算综合匹配程度，若超过特定阈值，则匹配成功；

s5：根据匹配成功的次数统计人群数量，绘制人群数量变化曲线，当曲线或曲线趋势触发异常事件时，进行警示。

下面对基于视频监控的人群统计方法进一步详细的阐述，但不应以此为限。

在步骤s1中，获取预监控区域的实时监控图像，该视频图像是在需要进行人数统计的场合中通过监控镜头等拍摄装置拍摄所得，监控镜头实时传回实时监控画面，用于执行后续步骤。

在步骤s2中，对步骤s1中获得的实时监控图像进行前景分割，分割出人群。此时分割出的前景只是人群信息，还无法确定人群数量。

参看图2，在步骤s2中，优选对实时监控图像采用混合动态纹理模型进行前景分割，包括以下步骤：

s21：将实时监控图像二值化，并建立一混合动态纹理模型；

其中，yt表示二值化的视频图像，即观测序列；xt表示视频图像随时间的衍化成分，即隐含状态序列；az为状态转移矩阵；cz为观察矩阵；vt为状态转移过程中产生的噪声，服从均值为零，协方差为qz的高斯分布；ωt为观测噪声，服从均值为零，协方差为rz；z指向某种特定的动态纹理；

s22：利用em算法(expectationmaximizationalgorithm，最大期望算法)求解所述混合动态纹理模型中的未知参数，从而确定所述混合动态纹理模型；

s23：根据所述混合动态纹理模型，计算监控图像混合动态纹理的最大似然概率，获得纹理类别标签，根据纹理类别标签将混合动态纹理进行聚类；

s24：扫描聚类后的纹理，将表征人群的同类动态纹理作为前景，其余纹理作为背景，分割出不同方向行走的人群的动态纹理。

更具体的，观测序列yt的长度为n，习惯表示为初始隐含状态变量x1服从均值为μz，协方差为sz的高斯分布；模型参数θz＝{az，qz，cz，rz，μz，sz}；k表示纹理的种类，每种纹理代表一种方向的人群；α表示纹理的权重，且em算法涉及以下公式：

一、隐含状态序列与观察序列的条件概率分布：

初始隐含状态序列的条件概率分布p(x1|z)＝g(x1，μz，sz)

(2)

隐含状态序列的条件概率分布p(xt|xt-1，z)＝g(xt，azxt-1，qz)

(3)

观察序列的条件概率分布p(yt|xt，z)＝g(yt，czxt，rz)

(4)

t表示时间，t＝1即表示初始时刻，x1表示初始隐含状态变量。z指向某种特定的动态纹理，xt表示隐含t时刻的隐含状态序列，yt表示t时刻的观察序列。等式右边表示初始隐含状态序列的条件概率、隐含状态序列的条件概率、观察序列的条件概率服从高斯分布。az为状态转移矩阵；cz为观察矩阵；vt为状态转移过程中产生的噪声，服从均值为零，协方差为qz的高斯分布；ωt为观测噪声，服从均值为零，协方差为rz。

二、与隐含状态序列相关的期望：

隐含状态序列的期望

(i表示第i个观察序列，j表示某种特定的纹理)；

以上两个公式(6)(7)是与隐含状态序列的期望相关的，因为需要借助隐含状态序列的期望求得，下面的公式(10)求参数需要用到。

三、与纹理相关的条件概率：

与纹理相关的条件概率即：根据已知的观察序列y⁽ⁱ⁾求z⁽ⁱ⁾＝j的概率是多少，j表示第j种纹理，j＝{1，2，......，k}，k为纹理的种类。此时，可以将视频图像中的动态纹理进行分类，将表征人群的同类动态纹理作为前景，通过相应的标签便可提取出前景，也就是前景分割。

四、混合动态纹理的纹理聚类标签：

li＝argmax[logp(y⁽ⁱ⁾|z⁽ⁱ⁾＝j)+logαj](9)

argmax[logp(y⁽ⁱ⁾|z⁽ⁱ⁾＝j)+logαj]表示取logp(y⁽ⁱ⁾|z⁽ⁱ⁾＝j)+logαj中的最大值，此时j的具体值即为混合动态纹理所属的纹理类别。

五、混合动态纹理模型参数的表示：

因为：

公式(10)是为了简化表达，等式右边的式子已通过公式(5)～(8)求得；

所以：

公式(11)是利用公式(10)求参数的值，*表示估计值。

参看图3，em算法求解混合动态纹理模型参数的步骤如下：

a、输入观察序列初始化模型参数{θj，αj}，j＝{1，2，......，k}；

b、计算公式(5)～(8)的期望，i＝{1，......，n}，j＝{1，......，k}；

c、计算公式(10)，利用公式(11)更新模型参数

返回步骤b继续执行，直至收敛。

利用公式计算混合动态纹理的最大似然概率，获得纹理类别标签li，根据li将混合动态纹理聚类。扫描聚类后的纹理，把同类动态纹理当作前景，其余纹理当作背景，分割出不同方向行走的人群的动态纹理。

在步骤s3中，将完整的人体特征模型分为五个局部特征模型，并为各局部特征模型配置相应的权重。不同局部特征模型的权重可以相同也可以不同，可以通过实际场景的数据进行训练得到合适值。

进一步的，步骤s3包括以下步骤：

s31：将完整的人体特征模型划分为五个局部特征模型，分别为头部、上半身的左右两部及下半身的上下两部，得到模型m1、模型m2、模型m3、模型m4、模型m5，完整的人体特征模型m＝m1+m2+m3+m4+m5；

s32：配置五个局部特征模型的权重β＝{β1，β2，β3，β4，β5}，使得β1+β2+β3+β4+β5＝1；

s33：提取人体特征模型样本和非人体特征模型样本的hog特征，由svm分类器得到五个局部特征模型的模板。

可以基于hog的人体局部特征模型检测法来将完整的人体特征模型m分为五个局部特征模型，具体包括：模型m1、模型m2、模型m3、模型m4、模型m5，且m＝m1+m2+m3+m4+m5，如图4a所示。

为了打破现有技术的局限性。如背景技术所言的两种方法，均存在一定的局限性，只能用于特定的场景，可移植性差。可以通过改变局部特征模型的权重而应用于不同的场合，或者说，根据不同场合的需求而调整局部特征模型的权重，例如：在高密度情况下，由于遮挡等原因，人群头部特征比较突出，其他特征相对较弱，赋予代表头部的局部特征模型的权重大，赋予其他局部特征模型的权重小；在低密度情况下，为了确保人群计数的准确性，检测整体人的特征为最佳，给每个局部特征模型赋予相同的权重；等等。五个局部特征模型是根据人体结构模型划分的，从图4a和4b中比较容易看出模型m1表示人的头部，模型m2和模型m3表示上半身的左右两部(不含头部)，模型m4和模型m5表示下半身的上下两部。

其中，步骤s32中，五个局部特征模型的权重β＝{β1，β2，β3，β4，β5}初始值各为0.2，根据测试集统计估计出的人群数量与真实统计结果的误差来调整权重的值，直至即误差小于预设值。

在步骤s4中，对前景分割后的(动态纹理)人群的特征进行提取，并与五个局部特征模型进行匹配检测，根据权重及提取的五个局部特征模型与完整的人体特征模型之间的位置偏移计算综合匹配程度，若超过特定阈值，则匹配成功。

参看图4a和4b，因为在运动的过程中人体发生形变，会导致与模板的匹配程度降低，所以要减去相应的位置偏移，当位置偏移超过特定的阈值，综合匹配程度将低于特定阈值，则匹配不成功(比如出现这样的情况：将行人a的头部和行人b的上肢、下肢误检测为一个人，这显然是不对的，而行人b的上肢、下肢与行人a的头部间的位置偏移必然超过特定的阈值，减去位置偏移这一变量就能很好的避免错误的产生)。

进一步的，步骤s4包括以下步骤：

s41：提取分割后的人群的hog特征；

s42：将提取的特征与所述五个局部特征模型的模板进行匹配，综合匹配程度s＝β1m1+β2m2+β3m3+β4m4+β5m5-b，其中，b表示实际局部特征模型与理想站姿模型之间的位置偏移，b＝b2+b3+b4+b5，模型m1中心点的坐标(e1，f1)，模型m2中心点的坐标(e2，f2)，模型m3中心点的坐标(e3，f3)，模型m4中心点的坐标(e4，f4)，模型m5中心点的坐标(e5，f5)；

s43：将得到的人群中各个人体的综合匹配程度与特定阈值进行比较，若超过特定阈值，则匹配成功一次，统计匹配成功的次数。

在步骤s5中，根据匹配成功的次数统计人群数量，绘制人群数量变化曲线，当曲线或曲线趋势触发异常事件时，进行警示。由于场景中的人群是动态运动的，因而人群数量不断在变化，通过变化曲线可以直观体现，并可根据趋势预测。触发异常事件的标准可设定，达到相应标准便触发。

进一步的，步骤s5包括以下步骤：

s51：根据匹配成功的次数统计人群数量，绘制人群数量变化曲线，并在触发异常事件时报警；

s52：记录已经触发异常事件的人群数量曲线，并置入可能异常事件集合中；

s53：当曲线或趋势再次出现时，根据预警级别提前预警；若后续触发异常事件，则在可能异常事件集合中将该曲线元素的危险等级升高，反之，危险等级下降；

s54：依据危险等级的高低确定或调整预警级别。

建立异常事件反馈机制，可增强稳定性，避免虚警，可以对异常情况进行预警，而且能够依据异常事件的频发程度来确定其危险等级，及时给出指导。

优选的，采集预监控区域的数据作为训练集，利用训练集确定混合动态纹理模型及人体五个局部特征模型的权重。

在正式投入使用前，需要采集数据，将采集的数据分为训练集和测试集，利用训练集求得混合动态纹理模型的参数，局部特征模型的权重也在此时求得(初始条件下一般取五个局部特征模型的权重均为0.2，由于人工采集的数据是有真实的统计结果的，根据系统估计的人群数量与真实统计结果的误差来调整权重的值，直至收敛：即误差小于某个规定的值)；测试集可以用来调试。

人工采集某公共场所的人群数量数据，将采集的数据随机分为训练集和测试集，利用训练集学习混合动态纹理模型的参数以及人体局部特征模型的权重{β1，β2，β3，β4，β5}，利用测试集进行数据调试，确保正常运行。将人数统计方法移植到另一公共场所时，由于环境的改变，人群密度极可能发生改变，人工采集该场所的人群数量数据，重复上述训练过程和测试过程，即可再次投入使用。

本发明还提供一种基于视频监控的人群统计系统，包括：

图像获取单元，获取预监控区域的实时监控图像；

人群分割单元，对实时监控图像进行前景分割，分割出人群；

特征划分单元，将完整的人体特征模型分为五个局部特征模型，并为各局部特征模型配置相应的权重；

特征匹配单元，对分割后的人群的特征进行提取，并与所述五个局部特征模型进行匹配检测，根据权重及提取的五个局部特征模型与完整的人体特征模型之间的位置偏移计算综合匹配程度，若超过特定阈值，则匹配成功；

统计警示单元，根据匹配成功的次数统计人群数量，绘制人群数量变化曲线，当曲线或曲线趋势触发异常事件时，进行警示。

关于本发明基于视频监控的人群统计系统的具体内容可以参看前述实施例中的基于视频监控的人群统计方法部分的描述，在此不再赘述。

本发明虽然以较佳实施例公开如上，但其并不是用来限定权利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。