一种游客人流量监控预警方法与流程

本发明涉及智能旅游领域，尤其涉及一种游客人流量监控预警方法。

背景技术

随着国人生活水平的提高和旅游业的发展，景区内游客的数量增长迅速。尤其是国家法定假日著名景区内都是游客爆满，使游客游览的舒适度下降，也带来了游览的安全隐患。目前景区中游客流的统计有以下几种方法：一是基于票务系统进行客流统计，该技术适合在封闭景区中，要求持有特定的介质，统计的区域范围有限，开阔式景区不适合。二是基于视频监控系统，通过人脸识别技术进行人员识别，从而进一步实现流动游客数量的统计。该技术受天气、光线影响严重，在雨天、大雾、黑夜等自然条件下影响游客数量统计的准确性。三是通过移动互联网技术，利用手机信令数据，收集手机实时位置信息，准确掌握景区旅客数量、位置分布、来源地分布等信息，可以对人群实时、动态的进行监测和统计，需要移动通信网络的支持，涉及到用户的隐私，在实际应用中有很大的限制。这些技术各有优劣，但实现的是景区内游客数量的统计，在游客驻留量监控方面还没有相关研究。驻留量指在某个景点停留一定时间的游客数量，驻留量可以反映该景点的游客吸引度及游客在此景点停留的时长，与传统意义的游客流量监控不同。景区人流量拥堵的主要原因是短时间内大量游客涌入并且长时间驻留，如果只是实时统计游客量来进行游客游览安全预警，会造成预警机制不够全面和准确。

因此，现有技术中缺乏一种针对游客驻留量的统计方法，能够实时统计游客的驻留量，补足景区内安全预警信息中关于驻留量的信息。

技术实现要素：

本发明提供一种游客人流量监控预警方法，能够将深度学习技术应用于高密度人流量检测，提出了基于迁移学习的人头模型检测方法，实施监控景区内游客的驻留量，实现了景区高密度人流量的准确检测及预警。

为达到上述目的，本发明采用如下技术方案：

一种游客人流量监控预警方法，采用一种游客人流量监控预警系统运行。一种游客人流量监控预警系统包括：摄像头、网络硬盘录像机、监控主机和报警盒，摄像头连接网络硬盘录像机,网络硬盘录像机连接监控主机,监控主机连接报警盒,监控主机在发现故障时触发报警盒报警。

一种游客人流量监控预警方法，包括：

s1、采集各景点摄像头一天内的摄像视频，对摄像视频采用基于光照补偿的高斯模型检测算法进行前景提取，得到前景输出。

s2、在roi(regionofinterest，感兴趣区域)区域内对前景输出进行面积比计算，根据景点人流密度阈值进行高密度人群跟踪，在到达预定时间时，输出高密度人群图片。其中，在摄像视频第一帧图像中开始选取roi作为待监测的区域范围，按照s1进行前景提取，对提取的前景输出进行连通域标记，获取前景帧中最大连通域，即前景团块面积；将当前帧中前景团块面积除以框选的驻点区域面积，判断比值是否大于预警值，对超出预警值的团块面积进行跟踪，在预设时间内比值均大于预警值，系统给出高密度人群判定。

s3、采用迁移学习技术，在深度学习网络上利用具有高密度人群的标注图片进行人头检测模型的训练，得到训练好的模型。模型训练是离线完成的，可将训练好的模型加载后进行在线的检测输出。基于深度学习的人头模型检测方法，人头检测模型采用残差网络模型结构，即加入了残差块的深层次卷积神经网络，该网络包含输入层、卷积层、池化层、全连接层、输出层五个部分。图片由输入层导入，在卷积层提取特征，在池化层中降维选择特征，通过全连接层链接有效特征在输出层实现人头检测。基于深度学习的检测算法很多，可根据实际需要进行选择，下面以r‐fcn算法为例进行人头模型训练检测的步骤介绍：

(1)利用开源标注工具labeling实现对景区高密度人群图片的人头标注，输入标注好的人头图片，通过fcn(fully-connectionnetwork,全连通网络)全卷积神经网络生成图片的特征图；

(2)将计算出来的特征图输入rpn(regionpropsalnetwork，区域提取网络)，进而生成rois(regionofinterests为复数，多个感兴趣区域)；然后将生成的rois输入对位置敏感的roi池化层，给子网学习预测出目标区域；

(3)roi子网将fcn提取的特征与rpn输出的候选区域，将预测目标与标签目标之间的误差进行反向传播，计算训练的损失值，通过多次迭代使得损失值达到可能的最小值，以此来完成人头区域的分类和定位。

(4)经过一定次数的训练，以总损失曲线图判断网络权重是否达到最优，得到能够判断人头和位置的检测模型。用训练得到的检测模型对选取的测试集图片进行人头检测，以准确率和误检率为标准进行模型的评判。

s4、将输出的高密度人群图片输入训练好的模型，进行游客量检测，当人数超过阈值时，训练好的模型输出报警信号。前帧判断给出高密度人群驻留预警，开启游客人数统计算法。以训练好的人头模型检测算法进行高密度人流量的检测计数，人数超过预设值可进行人流量预警。

进一步的，在s1中，基于光照补偿的高斯模型检测算法包括：将摄像视频当前帧图像进行单通道亮度均衡化处理，利用亮度插值构造单通道全局差值矩阵，对三通道图像进行亮度增强处理，得到光照补偿后的视频；

对光照补偿后的视频利用混合高斯模型进行前景提取，采用形态学操作进行前景目标完整输出，得到前景输出。

进一步的，混合高斯模型方法包括：

ss1、初始化混合高斯模型，计算时间段t内视频序列图像的每一个灰度像素的均值μ0和方差σ0²，用μ0和方差σ0²来初始化k个高斯模型的参数，k为正整数，μ0和σ0²的计算公式如下

其中，it为新像素值，t的取值为1,2,…t；

ss2、将每个新像素值it同第k个高斯模型进行比较，直到找到匹配的像素值分布模型，匹配是指，新像素值it和第k个高斯模型的均值偏差在2.5σ内，比较采用的公式如下：

|it-μk,t-1|≤2.5σk,t-1

式中μk,t-1、σk,t-1分别为t-1时刻高斯模型的分布均值和方差；

ss3、若匹配的像素值分布模型符合背景所需要求，则匹配的像素值分布模型对应的像素标记为背景部分，否则标记为前景部分；

ss4、若新像素值it与k个高斯模型中的一个或几个相匹配，说明新像素值it较为符合当前像素值的分布，需要适当增加权值，此时新像素值it的均值、方差、权值更新公式如下：

μk,t＝(1-α)μk,t-1+αit

ωk,t＝(1-β)ωk,t-1+βθ

其中，ωk,t为t时刻第k个高斯分布的权重，ωk,t-1为t-1时刻第k个高斯分分布的权重,μk,t，σk,t分别为t时刻第k个高斯分布的均值和方差,θ为匹配参数，当新像素值符合k个高斯分布时θ＝1，不符合时θ＝0；α为参数更新率，表示背景变换速度，β为学习率，当新像素值符合k个高斯分布时θ＝1，不符合时θ＝0；

ss5、若在ss2中，新像素值it没有任何高斯模型与之匹配，则权重最小的高斯分布模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值；

ss6、各高斯模型根据其对应的ωk,t的值从大到小排序，权重大、标准差小的高斯模型排列靠前，得到高斯模型的序列；

ss7、将序列前b个高斯分布模型标记为背景b，b满足下式，参数t表示背景所占比，为设定阈值,t的取值范围为,0.5≤t≤1,b为正整数

本发明的有益效果是：

园林景区场景复杂，桥、廊、亭、厅，假山、平台、洞门等场所使视频背景多样，在高密度复杂场景下，极小人脸、大量人脸遮挡和人头后脑勺等情况，使现有技术中的检测算法准确度不高，本发明对目前的人脸检测技术进行改进，从检测对象着手，将人脸检测范围扩大至整个人头。利用基于深度学习的人头检测模型，通过神经网络对大量数据集进行学习，基于深度学习的人头检测模型可提升目标的多角度和遮挡下的检测能力，算法适应能力极大提高，提升了目标检测算法在个体检测上的表现和性能，从而实时监控景区内游客的驻留量，实现了景区高密度人流量的准确检测及预警。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明方法的流程示意图；

图2是基于光照补偿的混合高斯视频前景提取算法框图；

图3是彩色图像光照补偿示意图；

图4是r-fcn网络结构图；

图5是基于人头检测模型的游客量统计技术路线框图；

图6是基于深度学习和人头检测模型的景区人流量统计及预警系统框图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步详细描述。

本实施例提供一种游客人流量监控预警方法，采用一种游客人流量监控预警系统运行。一种游客人流量监控预警系统运行包括：一种游客人流量监控预警系统包括：摄像头、网络硬盘录像机、监控主机和报警盒，摄像头连接网络硬盘录像机,网络硬盘录像机连接监控主机,监控主机连接报警盒,监控主机在发现故障时触发报警盒报警。

一种游客人流量监控预警方法，其方法流程图如图1所示,包括：

s1、采集各景点摄像头一天内的摄像视频，对摄像视频采用基于光照补偿的高斯模型检测算法进行前景提取，得到前景输出，流程如图2所示。

基于光照补偿的高斯模型检测算法，如图3所示，包括：将摄像视频当前帧图像进行单通道亮度均衡化处理，利用亮度插值构造单通道全局差值矩阵，对三通道图像进行亮度增强处理，得到光照补偿后的视频；

对光照补偿后的视频利用混合高斯模型进行前景提取，采用形态学操作进行前景目标完整输出，得到前景输出。

其中，混合高斯模型方法包括：

ss1、初始化混合高斯模型，计算时间段t内视频序列图像的每一个灰度像素的均值μ0和方差，用μ0和方差σ0²来初始化k个高斯模

型的参数，k为正整数，μ0和σ0的计算公式如下

其中，it为新像素值，t的取值为1,2,…t

ss2、将每个新像素值it同第k个高斯模型进行比较，直到找到匹配的像素值分布模型，匹配是指，新像素值it和第k个高斯模型的均值偏差在2.5σ内，比较采用的公式如下：

|it-μk,t-1|≤2.5σk,t-1

式中μk,t-1、σk,t-1分别为t-1时刻高斯模型的分布均值和方差；

ss3、若匹配的像素值分布模型符合背景所需要求，则匹配的像素值分布模型对应的像素标记为背景部分，否则标记为前景部分；

ss4、若新像素值it与k个高斯模型中的一个或几个相匹配，说明新像素值it较为符合当前像素值的分布，需要适当增加权值，此时新像素值it的均值、方差、权值更新公式如下：

μk,t＝(1-α)μk,t-1+αit

ωk,t＝(1-β)ωk,t-1+βθ

其中，其中，ωk,t为t时刻第k个高斯分布的权重，ωk,t-1为t-1时刻第k个高斯分分布的权重,μk,t，σk,t分别为t时刻第k个高斯分布的均值和方差,θ为匹配参数，当新像素值符合k个高斯分布时θ＝1，不符合时θ＝0；α为参数更新率，表示背景变换速度，β为学习率为当新像素值符合k个高斯分布时θ＝1，不符合时θ＝0；

ss5、若在ss2中，新像素值it没有任何高斯模型与之匹配，则权重最小高斯分布模型，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值；

ss6、各高斯模型根据其对应的ωk,t的值从大到小排序，权重大、标准差小的高斯模型排列靠前，得到高斯模型的序列；

ss7、将序列前b个高斯分布模型标记为背景b，b满足下式，参数t表示背景所占比，为设定阈值,t的取值范围为,0.5≤t≤1,b为正整数，

s2、在roi(regionofinterest，感兴趣区域)区域内对前景输出进行面积比计算，根据景点人流密度阈值进行高密度人群跟踪，在到达预定时间时，输出高密度人群图片。其中，在摄像视频第一帧图像中开始选取roi作为待监测的区域范围，按照s1进行前景提取，对提取的前景输出进行连通域标记，获取前景帧中最大连通域，即前景团块面积；将当前帧中前景团块面积除以框选的驻点区域面积，判断比值是否大于预警值，对超出预警值的团块面积进行跟踪，在预设时间内比值均大于预警值，系统给出高密度人群判定。

s3、采用迁移学习技术，在深度学习网络上利用具有高密度人群的标注图片进行人头检测模型的训练，得到训练好的模型。模型训练是离线完成的，可将训练好的模型加载后进行在线的检测输出。基于深度学习的人头模型检测方法，人头检测模型采用残差网络模型结构，即加入了残差块的深层次卷积神经网络，该网络包含输入层、卷积层、池化层、全连接层、输出层五个部分。图片由输入层导入，在卷积层提取特征，在池化层中降维选择特征，通过全连接层链接有效特征在输出层实现人头检测。基于深度学习的检测算法很多，可根据实际需要进行选择，下面以r‐fcn算法为例进行人头模型训练检测的步骤介绍，其中r‐fcn网络结构图如图4所示：

(1)利用开源标注工具labeling实现对景区高密度人群图片的人头标注，输入标注好的人头图片，通过fcn(fully-connectionnetwork,全连通网络)全卷积神经网络生成图片的特征图；

(2)将计算出来的特征图输入rpn(regionpropsalnetwork，区域提取网络)，进而生成rois(regionofinterest,s是复数,多个感兴趣区域)；然后将生成的rois输入对位置敏感的roi池化层，给子网学习预测出目标区域；

(3)roi子网将fcn提取的特征与rpn输出的候选区域，将预测目标与标签目标之间的误差进行反向传播，计算训练的损失值，通过多次迭代使得损失值达到可能的最小值，以此来完成人头区域的分类和定位。

(4)经过一定次数的训练，以总损失曲线图判断网络权重是否达到最优，得到能够判断人头和位置的检测模型。用训练得到的检测模型对选取的测试集图片进行人头检测，如图5所示，以准确率和误检率为标准进行模型的评判。

s4、将输出的高密度人群图片输入训练好的模型，进行游客量检测，当人数超过阈值时，训练好的模型输出报警信号。前帧判断给出高密度人群驻留预警，开启游客人数统计算法。以训练好的人头模型检测算法进行高密度人流量的检测计数，人数超过预设值进行人流量预警。基于深度学习和人头检测模型的景区人流量统计及预警系统框图，如图6所示。

本发明的有益效果是：

园林景区场景复杂，桥、廊、亭、厅，假山、平台、洞门等场所使视频背景多样，在高密度复杂场景下，极小人脸、大量人脸遮挡和人头后脑勺等情况，使现有技术中的检测算法准确度不高，本发明对目前的人脸检测技术进行改进，从检测对象着手，将人脸检测范围扩大至整个人头。利用基于深度学习的人头检测模型，通过神经网络对大量数据集进行学习，基于深度学习的人头检测模型可提升目标的多角度和遮挡下的检测能力，算法适应能力极大提高，提升了目标检测算法在个体检测上的表现和性能，从而实时监控景区内游客的驻留量，实现了景区高密度人流量的准确检测及预警。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。