人流量监测方法、装置、存储介质及设备与流程

本发明涉及信息技术领域，特别是涉及一种人流量监测方法、装置、存储介质及设备。

背景技术：

近来年，人群计数技术一直是业界备受关注的研究热点，它也逐步应用于各大商场连锁店、超市、酒店、机场、地铁、景区等，这些场景下产生的人流量数据能够为很多领域提供很有价值的信息。对于各大商场连锁店、超市而言，面对目前火热的线上电子商务系统，如京东、淘宝、天猫、亚马逊等，线下的销售市场一直受到挤迫，科学化的管理显然是提高自身竞争力的有效手段。商场内不同时段、不同区域的人流数据在提高其经营决策的科学性、资源调度的合理性、消费环境的舒适性等方面起到了重要的作用，商业人流数据对商业的绩效考核、商品转化率、店铺选址、商品陈列、广告价值有着很重要的意义。另外，对于展览馆、体育馆、地铁站、公交站、机场等公共场所中，人流数据能够呈现实时精准的的区域人数和人群密度，管理者通过数据分析动态调整工作人员配置计划，控制区域人群数量，使资源更合理使用，同时也能加强安全防范。

然而，传统人流量统计在密集人群、各种不同的遮挡光照都会影响其监测精准度，针对稀疏场景下，对拥有复杂背景光照的密集人群统计人流量精准度更差。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人流量监测方法、装置、存储介质及设备，用于解决现有技术中在人群检测与密度分析人流量时，在复杂背景光照阴影下针对密集人群统计人流量不准确的问题。

为实现上述目的及其他相关目的，本申请的第一方面，本发明提供一种人流量监测方法，包括：

获取视频图像中待监测行人的目标图像；

基于深度残差网络训练的模型提取所述目标图像特征；

利用人群检测模型分类并定位出所述目标图像中的无人区域、单人区域与人群区域；

采用密度回归模型获取人群检测模块中人群区域内的人头分布密度图，根据所述人头分布密度图计算人群区域内人数；

统计所述单人区域内与人群区域内人数，计算所述目标图像内总人数。

本申请的第二方面，提供一种人流量监测装置，包括：

图像获取模块，用于获取视频图像中待监测行人的目标图像；

特征提取模块，利用深度残差网络提取所述目标图像特征；

人群检测模块，利用人群检测模型分类并定位出所述目标图像中的无人区域、单人区域与人群区域；

密度回归模块，采用密度回归模型获取人群检测模块中人群区域内的人头分布密度图，根据所述人头分布密度图计算人群区域内人数；

人数统计模块，用于统计所述单人区域内与人群区域内人数，计算所述目标图像内总人数。

本申请的第三方面，提供一种存储介质，存储有计算机可读指令，可以使至少一个处理器执行以上所述的方法。

本申请的第四方面，提供一种人流量监测设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备执行以上所述的人流量监测方法。

如上所述，本发明的人流量监测方法、装置、存储介质及设备，具有以下有益效果：

本发明在人流量监测时，基于深度残差网络结合人群检测和密度分析对视频图像内的人数进行统计，由于基于深度残差网络的特征提取不易受外界影响，确保提取人头肩特征较为准确，同时，利用人群检测方式对图像内进行分类识别，针对不同密度区域采用不同人数统计方式，能够准确而迅速统计中图像内人数，具有较好的鲁棒性。

附图说明

图1显示为本发明提供的一种人流量监测方法流程图；

图2显示为本发明提供的一种人流量监测方法中训练人群检测模型的流程图；

图3显示为本发明提供的一种人流量监测装置结构框图；

图4显示为本发明提供的一种人流量监测装置中训练人群检测模块结构框图；

图5显示为本发明提供的一种人流量监测设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对本发明实施例进行详细地解释说明之前，先对本发明实施例涉及到的一些名词进行解释说明。

深度学习：这个概念源于对人工神经网络的研究。比如含多隐层的多层感知器即为一种深度学习结构。其中，深度学习通过组合低层特征形成更加抽象的高层特征，以发掘数据的分布式特征表示。

换一种表达方式，深度学习是一种基于对数据进行表征学习的方法。对于观测值(例如一幅图像)可以使用多种方式来表示。比如可用该图像中每个像素强度值的向量进行表示，或者可将该图像更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法能更容易从实例中进行任务学习，比如进行人脸识别或面部表情识别等。其中，深度学习的好处是利用非监督式或监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

深度残差网络(resnet)：神经网络的深度对其性能非常重要，因此在理想情况下，只要网络不过拟合，则深度应该是越深越好。但是在实际训练神经网络时会遇到的一个优化的难题，即随着神经网络的深度的不断加深，梯度越往后越容易消失(即梯度弥散)，难以优化模型，反而导致网络的准确率下降。换一种表达方式，在不断增加神经网络的深度时，会出现一个degradation(再形成)的问题，即准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降。

基于上述描述可知，当网络层数达到一定的数目以后，网络的性能就会饱和，再增加深度网络的性能便会开始退化，但是这种退化并不是由过拟合引起的，因为训练精度和测试精度都在下降，这说明当网络达到一定深度以后，神经网络便难以训练了。而resnet的出现便是为了解决网络深度在变深以后的性能退化问题。具体地，resnet提出了一个深度残差学习(deepresiduallearning)框架来解决这种因为深度增加而导致性能退化问题。

假设有一个比较浅的网络达到了饱和的准确率，那么在这个网络的后面再加上几个全等映射层(identitymapping)，起码误差不会增加，即更深的网络不应该带来训练集上误差的上升。而这里提到的使用全等映射直接将前一层输出传到后面层的思想，便是resnet的灵感来源。

下面对本发明实施例提供的人脸检索方法所涉及的实施环境进行介绍。

实施例1

请参阅图1，显示为本发明提供的一种人流量监测方法流程图，详述如下：

步骤s101，获取视频图像中待监测行人的目标图像；

其中，获取的视频图像来源可以为安装在各处的摄像头，比如安装在商场、车站等公共场所处的摄像头采集的相应区域的图像信息，也可为某些视频图像。

步骤s102，利用深度残差网络提取所述目标图像特征；

其中，基于深度残差网络中顺次相连的各个残差块，对所述目标图像进行特征提取，根据网络结构得到单人人头肩、人群区域的box、置信度以及目标图像的密度图信息；任意一个残差块中均包括一个恒等映射和至少两个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；

具体地，将所述目标图像输入所述深度残差网络的第一个残差块；对于任意一个残差块，接收所述上一个残差块的输出，并基于所述第一卷积层、所述第二卷积层以及所述第三卷积层，对所述上一个残差块的输出进行特征提取；获取所述第三卷积层的输出，将所述第三卷积层的输出以及所述上一个残差块的输出传递到下一个残差块；获取所述深度残差网络的最后一个残差块的输出，得到所述目标图像的人头肩特征。

具体地，由于resnet网络引入了残差网络结构，将其作为进行特征提取算法，以较深的网络层数来学习人头肩特征，得到了更为准确的监测效果，同时，解决了因网络层数过深导致的梯度弥散问题，能够以较深的网络结构进行目标图像的特征学习，确保了的人数统计的准确度。

步骤s103，利用人群检测模型分类并定位出所述目标图像中的无人区域、单人区域与人群区域；

通过人群检测模型获取单人头肩区域以及密集的人群区域，当输入原始图像时，利用全卷积网络，分类检测出原始图像中的单人头肩区域、人群的区域或和无人的区域。

具体地，通过对目标图像中人群密集程度划分，将输入的目标图像转换成多个不同类型的区域，便于后续针对各个区域单独统计。

步骤s104，采用密度回归模型获取人群区域内的人头分布密度图，根据所述人头分布密度图计算人群区域内人数；

计算所述目标图像人群区域内的人头肩的高斯分布，得到基于二维的人头分布密度图；计算所述人头分布图中人头总数获取人群区域的人数；其中，所述人头分布密度图采用脉冲函数卷积高斯核表示。

步骤s105，统计所述单人区域内与人群区域内人数，计算所述目标图像内总人数。

其中，针对密集区域与稀疏区域分别采用不同人数统计方式，按区域划分分别统计出各个相应区域的人数，最后直接将各个区域人数相加即可得到目标图像中总人数。

在本实施例中，通过对全图(目标图像或原始图像)中划定的各个区域分别统计人数，其中，密度图通过检测原始图像中的位置信息(位置坐标)而来，即，采用矩形框，通过计算该矩形框内的密度，从而得到矩形框区域内的人数；使在针对有光照阴影的密集人群也能够准确统计出其对应的人数，提高了人群估计能力，能够较为真实的反应出当前人群数量，由于在图像中按人群密度不同分别采用不同人数统计方式，更迅速准确的监测人群人流量。

实施例二

请参阅图2，为本发明提供的一种人流量监测方法训练人群检测模型的流程图，详述如下：

步骤s201，对多个样本图像的人群区域进行标注，当所述样本图像内为单人图像时标注人头肩，当所述样本图像内为人群图像时群体标框，并根据各所述样本图像的标注区域构建人群检测模型；

步骤s202，通过多个训练样本对所述人群检测模型进行训练，生成能够根据人群特征在目标图像中实现区域分类定位的所述人群检测模型。

具体地，在训练该模型时，需要准备待检测的数据标注，即，样本数据(包含多种不同密度的样本图像)，例如，将输入的样本图像按清晰的人头肩区域标注(以框定形式标定)，标记类别为1；将样本图像中人群密度集中的人群标注，并标记类别为2；而样本中剩下的其它区域，如，为无人头肩的区域标记类别为0，且不标注。

在训练密度回归模型时，可采用全图端到端训练，针对全图的人头区域求取高斯分布，得到一张二维的人头分布密度图，而将该密度图的所有值相加即可得到全图内人数。另外，密度图标注需要根据网络结构下预设的采样倍数，也可离线或在线生成，将训练学习得到的一张人头密度分布图，其中，该密度图采用脉冲函数卷积高斯核的方式进行定义：

式中d表示最终密度图，n表示人头个数，x表示图像点，xi表示人头位置点，δ表示脉冲函数，g表示高斯核函数。

针对上述训练，还可采用caffe算法分别训练人群检测模型与密度回归模型，例如，先训练人群检测模型，固定其对应网络部分，再训练密密度回归模型(可采用loss来进行监督训练，而分类loss可采用softmax)。

另外，在针对提取所述目标图像中的人头肩特征还可为：

建立训练样本集：获取视频监控帧图像，对所获取的图像进行多种预处理，同时采用人工方式确定图像范围内的人群数量；

依据resnetblock来搭建的网络结构，resnet网络是一个一个block堆叠起来的残差网络结构，而网络结构使用全卷积网络网络，不用全连接层，而且resnet目前公开的网络结构最少的都有18层，整个卷积网络结构的卷积层个数很多，因此，resnet网络至少有一个block结构；

训练卷积神经网络模型：初始化后，采用随机梯度下降法对构建的卷积神经网络模型进行迭代训练，每迭代一次检测一次梯度以及损失函数的值，以获得网络模型结构中各权重值w和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络模型；

将通过获得的关于远近两个分区的卷积神经网络分类模型，按照检测分类策略对整体区域的人群密度进行估计。

实施例三

请参阅图3，为本发明提供的一种人流量监测装置结构框图，详述如下：

图像获取模块31，用于获取视频图像中待监测行人的目标图像；

特征提取模块32，利用深度残差网络提取所述目标图像中特征；

其中，基于深度残差网络中顺次相连的各个残差块，对所述目标图像进行特征提取，任意一个残差块中均包括一个恒等映射和至少两个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端。

人群检测模块33，利用人群检测模型分类并定位出所述目标图像中的无人区域、单人区域与人群区域；

其中，对多个样本图像的样本区域进行标注，并根据各所述样本图像的所述样本区域构建人群检测模型；

通过多个训练样本对所述人群检测模型进行训练，生成能够根据人头肩特征在目标图像中实现区域分类的所述人群检测模型。

密度回归模块34，采用密度回归模型获取人群区域内的人头分布密度图，根据所述人头分布密度图计算人群区域内人数；

其中，计算所述目标图像人群区域内的人头肩的高斯分布，得到基于二维的人头分布密度图；计算所述人头分布图中人头总数获取人群区域的人数；其中，所述人头分布密度图采用脉冲函数卷积高斯核表示。

人数统计模块35，用于统计所述单人区域内与人群区域内人数，计算所述目标图像内总人数。

请参阅图4，为本发明提供的一种人流量监测装置中人群检测模块结构框图，详述如下：

模型建立单元331，用于对多个样本图像的人群区域进行标注，当所述样本图像内为单人图像时标注人头肩，当所述样本图像内为人群图像时群体标框，并根据各所述样本图像的标注区域构建人群检测模型；

模型训练单元332，用于通过多个训练样本对所述人群检测模型进行训练，生成能够根据人群特征在目标图像中实现区域分类定位的所述人群检测模型。

在本发明实施例中，人数监测装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施例一的描述，在此不再赘述。

实施例四

图5示出了本发明实施例四提供的人流监测设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的人流监测设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述人流量监测方法实施例中的步骤，例如图1所示的步骤s101至s105。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图3所示单元31至35的功能。

在本发明实施例中，通过对全图(目标图像)中划定的各个区域分别统计人数，即使在针对有光照阴影的密集人群也能够准确统计出其对应的人数，提高了人群估计能力，能够较为真实的反应出当前人群数量，由于在图像中按人群密度不同分别采用不同人数统计方式，更迅速准确的监测人群人流量。

本发明实施例的计算设备可以为个人计算机、智能手机、平板。该计算设备5中处理器50执行计算机程序52时实现运动模糊图像的模糊处理方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例五

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述人流量监测方法实施例中的步骤，例如，图1所示的步骤s101至s105。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至35的功能。

在本发明实施例中，通过对全图(目标图像)中划定的各个区域分别统计人数，即使在针对有光照阴影的密集人群也能够准确统计出其对应的人数，提高了人群估计能力，能够较为真实的反应出当前人群数量，由于在图像中按人群密度不同分别采用不同人数统计方式，更迅速准确的监测人群人流量。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。

另外，本申请的每个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请，本申请还提供了一种非易失性存储介质，其中存储有数据处理程序，这种数据处理程序可用于执行本申请上述方法实施例中的任何一种实施例。

综上所述，本发明在人流量监测时，基于深度残差网络结合人群检测和密度分析对视频图像内的人数进行统计，由于基于深度残差网络的特征提取不易受外界影响，确保提取人头肩特征较为准确，同时，利用人群检测方式对图像内进行分类识别，针对不同密度区域采用不同人数统计方式，能够准确而迅速统计中图像内人数，具有较好的鲁棒性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。