一种基于多尺度特征信息的人群计数方法及系统与流程

本公开涉及计算机视觉技术领域，特别涉及一种基于多尺度特征信息的人群计数方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

围绕和平与发展的当今时代主题，当今世界进入迅速的和平发展阶段。人口出现指数型增长，由此而来的公众场所的密集人群聚集现象发生的越来越频繁，例如如今司空见惯的大型的演唱会，体育比赛，以及大规模的人群集会和游行。在这种情况下，引发的人群踩踏和骚乱也愈发的频繁起来，如2015年上海外滩踩踏事件，已达到了我国规定的重大伤亡事故级别。所以为了更好的管理人群、保障人群的安全，人群统计愈发的重要起来。所谓人群统计就是通过一定技术手段，估计出整个图像范围内人群中的个体数目。

人群统计其主要有两个基本框架：基于检测的计数和基于回归的计数框架.其中基于检测的计数框架通过训练一个分类器，利用个人的边缘或通过检测身体的部分结构，例如头，胳膊等去统计输入图片的人群数量。但是基于检测的计数框架在低密度场景下可以准确估计人群，而在拥挤地区则会降低其可靠性。基于回归的计数框架利用线性回归、高斯回归等方法学习一个低级特征到人群数量的映射关系，可以捕捉拥挤区域的一般密度信息，但在不知道每个人的位置的情况下，它倾向于过高地估计低密度的计数。

随着深度学习技术的发展，不同于传统的基于检测和回归的方法，深度学习凭借其出色的特征学习能力，被越来越多的应用到人群计数中来，主要是通过运用不同的卷积神经网络来实现提取不同尺度的特征。与传统方法相比在计数准确性上有了明显提升。由于单列卷积神经网络(convolutionalneuralnetworks，cnn)只含有一种尺度的感受野，难以处理尺度变化问题，有研究人员提出一系列的多列cnn、多输入cnn和多任务学习cnn结构。通过融合多列网络提取的不同尺度特征解决图片中人的尺度变化问题。

但是，本公开发明人发现，现有的多列cnn普遍采用最高层的特征图来回归产生密度图，而高层的特征图在经过逐层抽象表达和池化层的下采样后，会丢失较多的细节信息甚至过滤掉一些尺度较小的目标，造成算法对小目标的计数能力较差。

技术实现要素：

为了解决现有技术的不足，本公开提供了一种基于多尺度特征信息的人群计数方法及系统，解决了人群的大规模变化对于人群计数带来的影响，采用特征图融合的方式，进一步减小了经过逐层抽象表达和池化层的下采样后丢失细节信息所造成的损失，可以保留更多细节信息，从而实现效果较好的多尺度密集人群的计数。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于多尺度特征信息的人群计数方法。

一种基于多尺度特征信息的人群计数方法，包括以下步骤：

对获取的图像进行预处理，得到图像对应的人群密度图；

将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；

将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。

本公开第二方面提供了一种基于多尺度特征信息的人群计数系统。

一种基于多尺度特征信息的人群计数系统，其特征在于，包括：

数据预处理模块，被配置为：对获取的图像进行预处理，得到图像对应的人群密度图；

特征提取模块，被配置为：将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；

人群计数模块，被配置为：将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。

本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于多尺度特征信息的人群计数方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于多尺度特征信息的人群计数方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统、介质及电子设备，通过多尺度特征信息融合来解决人的尺度变化问题，与传统方法不同，本公开对cnn产生的特征金字塔自顶向下逐层融合不同分辨率的特征图，构建具有高级语义特征和细节信息以及具有不同尺度目标特征的特征图，并在之后对不同特征的密度图进行融合，并对融合之后的特征图进行回归产生密度图来适应图片中人物的尺度变化，极大的提高了人群计数的准确度。

2、本公开所述的方法、系统、介质及电子设备，通过后期的特征图融合，一方面可以兼顾深层语义信息与浅层细节信息，使融合的特征包含更加丰富的信息，另一方面可以有效提升模型集成效率，使模型集成更多子模型，从而更好地涵盖目标可能的尺度，提升模型对多尺度目标的感知效果。

3、本公开所述的方法、系统、介质及电子设备，通过最终的特征图融合以及信息增强得到最终的密度图，进行误差较小的人群计数，能够适用于密度信息复杂多样的场景，具有较好的准确性和鲁棒性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的基于多尺度特征信息的密集人群计数方法的流程图。

图2为本公开实施例1提供的基于多尺度特征信息的密集人群计数方法的原理图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1所示，本公开实施例1提供了一种基于多尺度特征信息的人群计数方法，包括以下步骤：

步骤一：图像预处理

将带有人头位置标注的图像数据集通过二维高斯卷积核进行卷积，生成数据集中的每张图像对应的人群密度图标签，组成得到训练样本集。

在人群计数任务中，需要训练卷积神经网络，本实施选择使用密度图作为数据标签，由于人群计数数据库只提供了人头标注的坐标点，在网络训练之前首先需要生成训练图片的密度图。

那么生成密度图方程可以表示为：

其中，n代表人群图像中的人数，x代表图像中每个像素的位置，xi代表第i个人的标注位置，δ(x-xi)表示激活函数，表示标准差为σi的高斯核，为标记点xi与其最近的k个人头之间的平均距离，而β根据经验取为0.3。

步骤二：多尺度特征信息提取

如图2所示，为基于多尺度特征信息的密集人群计数方法的原理图，针对每张训练图像，都被输入多特征信息提取网络中，通过多尺度特征提取来形成相关特征图。

本实施例中用一个单列卷积神经网络构建一个类似于特征金字塔的多尺度特征提取网络，该卷积神经网络由vgg-16的前十层组成；将步骤一预处理得到的图像输入该卷积神经网络。进行从下而上的前向计算，并产生基于该尺寸的特征图。

随着网络结构的深入，特征图的尺度逐渐减小，而在卷积神经网络中特征是逐层抽象表达的，于是在特征金字塔结构中越高层的特征图分辨率越低，越接近语义特征。而越底层的特征图分辨率越高，含有更多的细节信息。同时，不同深度的特征图对应的感受野也不相同，底层特征图感受野小更容易提取小尺度目标特征，而高层特征图感受野大更容易提取大尺度目标特征。

本实施例根据来自不同尺度大小的特征图使用一种自上而下的方法进行侧边连接，即将最上层的特征图与第二层的特征图进行侧边拼接，然后将前一步侧边拼接结果与第三层特征图进行拼接，依次拼接，直至最底层的特征图，最后得到三个特征图m0、m1、m2，自上向下逐层融合不同分辨率的特征图，构建具有高级语义特征和细节信息的特征图，来适应图片中人物的尺度变化。

具体公式如下：

mi＝conv(hi；θ)+up(mi+1)(2)

其中，conv(hi；θ)表示卷积核大小为1*1的卷积层，hi表示基于该尺度的特征图，其中up()是一个上采样操作，将特征图向上采样两倍。

步骤三：特征图融合

对于最终得到的三张特征图进行特征融合，得到包含丰富特征信息的多尺度信息特征图，并对其进行密度图回归，得到各自最终的人群密度图。

由于生成的特征图m1、m2的分辨率较低，缺乏人群的空间信息，为了解决这些问题，分别对m1、m2通过双线性插值法进行上采样操作，通过1*1卷积层和3*3卷积层进行操作，得到有很好的人群空间分布精细细节的特征图。

需要说明的，在本实施例中卷积层也可以是其他尺寸，本领域技术人员可以根据具体工况自行设置，在此不作详述。

使用通道拼接法对于最终得到的三张特征图进行特征融合，得到统一的结构化增强的融合多尺度信息的特征图，并进行密度图回归，得到各自最终的人群密度图。

通过特征图融合，一方面可以兼顾高层语义信息与底层细节信息，使融合的特征包含更加丰富的信息，另一方面可以有效提升模型集成效率，使模型集成更多子模型，从而更好地涵盖目标可能的尺度，提升模型对多尺度目标的感知效果。

为了得到信息增强的特征图，使用大小为1*1步长为1的卷积核分别对每张得到的融合多尺度信息的特征图进行定位信息加强。

需要说明的，在本实施例中卷积核也可以是其他尺寸，本领域技术人员可以根据具体工况自行设置，在此不作详述。

最后对每张最终的特征图分别进行解码，得到各自最终的人群密度图。

步骤四：人群计数

对最终得到的密度图进行积分，已得到最终的人群计数的数值。

具体公式如下：

其中，c是最终估计的人数，h是密度图的高度，w是密度图的宽度,pij是整幅密度图在坐标(i,j)处的像素值，通过上述公式最终得到最终估计的人数。

实施例2：

本公开实施例2提供了一种基于多尺度特征信息的人群计数系统。

一种基于多尺度特征信息的人群计数系统，其特征在于，包括：

数据预处理模块，被配置为：对获取的图像进行预处理，得到图像对应的人群密度图；

特征提取模块，被配置为：将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；

人群计数模块，被配置为：将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。

所述系统的工作方法与实施例1中的基于多尺度特征信息的人群计数方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于多尺度特征信息的人群计数方法中的步骤。

所述步骤具体为：

对获取的图像进行预处理，得到图像对应的人群密度图；

将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；

将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例4所述的基于多尺度特征信息的人群计数方法中的步骤。

所述步骤具体为：

对获取的图像进行预处理，得到图像对应的人群密度图；

将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；

将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。