基于峰值置信图的人群检测方法与流程

[0001]
本发明涉及人群计数技术领域，特别涉及基于峰值置信图的人群检测方法。


背景技术：

[0002]
在城市中，这样的现象随处可见：在一公交车站有一群人在等车，而另一公交站几乎无人问津。根据车站人数合理安排车辆是人群计数问题中一个重要的应用，而这样的应用还有许多。因此，人群计数问题有着重要的应用前景。人群计数问题旨在估计图像或视频中的人群数量。该问题在其他方面也有着重要的应用，如交通管理，商场管理等。同时，在其它领域也存在一些相似的工作，如车辆计数，显微镜下的细胞计数等。这一系列问题的研究与应用，能极大的降低人力，物力和财力。和其他计算机视觉任务一样，在遮挡、背景干扰、图像失真等方面人群计数也面临着巨大的挑战。目前有很多研究者关注人群计数问题，并提出很多优秀的模型和算法来解决该问题。
[0003]
在基于深度学习的框架下，人群计数方法包括密度图计数法。由于密度图方法是根据输入图像，通过网络回归的密度图进行求和而导致了如下问题：(1)假阳性的比例更高。(2)人群位置信息的丢失。如图2所示，采用密度图计数法，以左侧曲线和右侧曲线表示将不同人的位置信息转化成的高斯核函数，易知x1，x3表示不同人的头部位置，而进行相加后可得到中间的虚线曲线，由于此时产生了假峰值x2，则无法判断哪些峰值是人的头部位置。


技术实现要素：

[0004]
本发明提供了一种基于峰值置信图的人群检测方法，其目的是为了解决背景技术中人群计数精度不高的技术问题。
[0005]
为了达到上述目的，本发明的实施例提供的基于峰值置信图的人群检测方法，包括以下步骤：
[0006]
步骤s1、提取图像中的特征信息：
[0007]
步骤s2、将提取到的特征信息映射为峰值置信图；
[0008]
步骤s3、在峰值置信图中寻找峰值来计算人群的数目和位置。
[0009]
优选地，所述步骤s1具体为采用残差网络提取图像中的特征信息，获得特征图。
[0010]
优选地，所述步骤s1具体包括如下步骤：
[0011]
步骤s11、将残差网络的layer3以及之前的层作为外部后端，以提取图像中的特征信息；
[0012]
步骤s12、更改layer3的步长，获得残差块；
[0013]
步骤s13、对图像中的特征信息进行提取，并进行下采样，得到缩小了8倍的特征图。
[0014]
优选地，所述步骤s1中，所述残差网络训练过程中，使用残差网络在image net上预训练模型前三层的参数；将数据集划分为交叉集，验证集和训练集；使用adam优化算法，
由交叉集得出学习率为5e-5和权重衰退率为1e-4；输入图像进行正则化，然后在训练集上进行训练，得到预测的峰值置信图；将预测的峰值置信图经过求取极值点，统计预测的人数；同时，每在训练集上迭代一次，便在验证集上进行一次验证，保留验证集中最佳的模型。
[0015]
优选地，所述步骤s2具体为：采用反卷积层和/或卷积层进行上采样，将特征图恢复成原图的大小，以获取峰值置信图：采用两个卷积层及四个反卷积层进行上采样，四个反卷积层依次设置于两个卷积层之间，其中，第一个卷积层负责编码特征图信息，中间四个反卷积层负责将特征图上采样成原图尺寸，最后一个卷积层负责将特征图映射成峰值置信图。
[0016]
优选地，所述步骤s2中，所述峰值置信图函数为：
[0017][0018][0019]
f(x,y)＝m(x
m
,y
m
)
[0020]
其中，表示第i个头部位置对应的高斯核，m(x
i
,y
i
)表示已包含i个头部位置的置信函数，m表示图像中的人数，σ
i
为第i个头部对应高斯核的方差，ksize为像素大小，(x
i
,y
i
)表示包含i个头部位置的图像坐标，f(x,y)表示头部位置峰值置信函数。
[0021]
优选地，将峰值置信图乘一个放大因子factor。
[0022]
优选地，所述步骤s2中，使用均方损失评估真实峰值置信图与预测峰值置信图的误差，真实峰值置信图为预测峰值置信图与峰值置信图函数表征图的差值，均方损失函数为：
[0023][0024]
其中θ表示需要学习的参数，n表示图片总数，f(i
i
；θ)表示第i幅输入图像i预测的峰值置信图，g
i
表示第i幅输入图像i真实的峰值置信图。
[0025]
优选地，所述步骤s2中，采用计算相邻像素点之间的差异及均方损失，共同评估真实峰值置信图与预测峰值置信图的误差，具体包括：
[0026]
步骤a、使用大小为3*3的卷积核kernel＝[[-1,-1,-1],[-1,9,-1],[-1,-1,-1]]
[0027]
分别与真实峰值置信图函数表征图和预测峰值置信图进行卷积，得到相邻像素点之间的关系；
[0028]
步骤b、采用上述卷积后的结果，取绝对值，获得相邻像素点之间的损失：
[0029][0030]
步骤c、采用均方损失评估真实峰值置信图和预测峰值置信图之间的误差：
[0031][0032]
步骤d、计算总损失：
[0033]
l(θ)＝l
mse
(θ)+l
ker
(θ)。
[0034]
优选地，所述步骤s3中，所述在峰值置信图中寻找峰值中，采用非极大抑制方法对图像的峰值置信图f(x，y)寻找峰值，峰值极值点位置集合p为：
[0035][0036]
其中，f(x
i
,y
j
)表示大小为(w,h)的峰值密度图像中第(i,j)个像素点，arg max表示求取最大值的下标，w和h分别表示峰值密度图的宽度和高度，δ4表示该峰值密度图每个像素点的四邻域，为阈值。
[0037]
采用本发明能达到的技术效果有：本发明采用峰值置信图方法进行人群检测。与密度图不同，峰值置信图表示人群头部位置的置信程度。峰值置信图中的每一个峰值都对应了每一个人的头部位置，且保留人群的空间分布信息。在峰值置信图下，由于其良好特性，它不仅适用于密集场景，更能对人群进行追踪等活动。峰值置信图具有与密度图相当的人群计数性能，同时它还能获取准确的位置信息。
[0038]
采用残差网络进行训练及特征提取。残差网络的特点在于其“捷径连接(shortcut connections)性”，使得深层次的网络参数得以训练，图片分类效果好。
附图说明
[0039]
图1为本发明的基于峰值置信图的人群检测方法的流程图；
[0040]
图2为本发明的基于峰值置信图的人群检测方法的对比方法中，基于密度图获得极值点的效果图；
[0041]
图3为本发明的基于峰值置信图的人群检测方法中基于峰值置信图获得极值点的效果图；
[0042]
图4为本发明的基于峰值置信图的人群检测方法与对比方法基于密度图获得人群密度的对比示意图；
[0043]
图5为本发明的基于峰值置信图的人群检测方法中采用残差网络获得特征图的示意图；
[0044]
图6为本发明的基于峰值置信图的人群检测方法中将特征图恢复成原图的大小的示意图；
具体实施方式
[0045]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0046]
本发明针对现有的问题，提供了一种基于峰值置信图的人群检测方法，如图1所示，包括以下步骤：
[0047]
步骤s1、提取图像中的特征信息：
[0048]
步骤s2、将提取到的特征信息映射为峰值置信图；
[0049]
步骤s3、在峰值置信图中寻找峰值来计算人群的数目和位置。
[0050]
所述步骤s1具体为采用残差网络提取图像中的特征信息，获得特征图。
[0051]
如图5所示，所述步骤s1具体包括如下步骤：
[0052]
步骤s11、将残差网络的layer3以及之前的层作为外部后端，以提取图像中的特征
信息；
[0053]
步骤s12、更改layer3的步长，获得残差块；
[0054]
步骤s13、对图像中的特征信息进行提取，并进行下采样，得到缩小了8倍的特征图。
[0055]
所述步骤s1中，所述残差网络训练过程中，使用残差网络在image net上预训练模型前三层的参数；将数据集划分为交叉集，验证集和训练集；使用adam优化算法，由交叉集得出学习率为5e-5和权重衰退率为1e-4；输入图像进行正则化，然后在训练集上进行训练，得到预测的峰值置信图；将预测的峰值置信图经过求取极值点，统计预测的人数；同时，每在训练集上迭代一次，便在验证集上进行一次验证，保留验证集中最佳的模型。
[0056]
如图6所示，所述步骤s2具体为：采用反卷积层和/或卷积层进行上采样，将特征图恢复成原图的大小，以获取峰值置信图：采用两个卷积层及四个反卷积层进行上采样，四个反卷积层依次设置于两个卷积层之间，其中，第一个卷积层负责编码特征图信息，中间四个反卷积层负责将特征图上采样成原图尺寸，最后一个卷积层负责将特征图映射成峰值置信图。
[0057]
优选地，所述步骤s2中，所述峰值置信图函数为：
[0058][0059][0060]
将峰值置信图乘一个放大因子factor:f(x,y)＝factor*m(x
m
,y
m
)
[0061]
其中，表示第i个头部位置对应的高斯核，m(x
i
,y
i
)表示已包含i个头部位置的置信函数，m表示图像中的人数，σ
i
为第i个头部对应高斯核的方差，ksize为像素大小，(x
i
,y
i
)表示包含i个头部位置的图像坐标，f(x,y)表示头部位置峰值置信函数。
[0062]
峰值置信图使用峰值的个数来进行统计人群的数目。我们将其称为峰值置信图的原因是：1.峰值代表了人群的数目和位置。2.越靠近头部位置，其数值越高。在一定程度上能反应我们对人群检测的置信度。如图3所示，左侧的曲线和右侧的曲线分别表示不同头部位置的高斯核函数，虚线表示将不同高斯核函数取最大值后的结果。从虚线曲线可知，该曲线存在的两个峰值正好表示不同人的头部位置。在实验过程中，通过回归所述峰值置信图函数，使得网络在不同人的头部位置能产生不同的峰值。通过从峰值密度图中求取极值点来获取峰值的位置，易知有多少人就会产生多少个峰值，从而对人群进行计数。
[0063]
所述步骤s2中，使用均方损失评估真实峰值置信图与预测峰值置信图的误差，真实峰值置信图为预测峰值置信图与峰值置信图函数表征图的差值，均方损失函数为：
[0064][0065]
其中θ表示需要学习的参数，n表示图片总数，f(i
i
；θ)表示第i幅输入图像i预测的峰值置信图，g
i
表示第i幅输入图像i真实的峰值置信图。
[0066]
但当我们仅使用均方损失时，网络偏向于预测的更多的峰值。虽然均方损失能惩罚真实峰值置信图和预测峰值置信图之间的误差，但它忽视了相邻像素点之间的关系。
connections)性”，使得深层次的网络参数得以训练，图片分类效果好。
[0084]
本申请通过残差网络和峰值置信图来预测人群位置。前者是一个全卷积网络，由resnet-18(残差网络-18)和up sampling(上采样)构成。resnet-18作为特征提取器，up sampling则将提取到的特征映射为高质量的峰值置信图。峰值密度图是对密度图的改进，它保留了人群分布与位置信息，通过非极大抑制获取位置信息。我们在四个公开数据集上进行实验，结果表明，峰值置信图具有与密度图相当的人群计数性能，同时它还能获取准确的位置信息。
[0085]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。