一种人群统计方法、装置、设备及计算机可读存储介质与流程

本申请涉及计算机视觉技术领域，特别涉及一种人群统计方法，还涉及一种人群统计装置、设备及计算机可读存储介质。

背景技术：

计算机视觉是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。随着科技的发展，计算机视觉已成为一门不同于人工智能、图象处理、模式识别等相关领域的成熟学科。

为了便于人群控制，提高公众安全，准确地估计来自图像或视频的人群已经成为计算机视觉技术越来越重要的应用。在某些情况下，例如公众集会和体育赛事，参赛人数或密度是未来活动策划和空间设计必不可少的信息。

目前，深度学习已经被成功地应用在人群图像的估计中，其中，主流的估计方法是采用密度图思想，即网络的输入为原始图像，输出为人群的密度图，该方法对人群图像处理的第一步，就是要通过一个高斯滤波器，并根据图像的真实值ground-truth得到图像对应的密度图，但是该方法在训练场景和测试场景上都需要透视图，而在许多密集人群计数的实际应用中，透视图是很难获得的，因此，该方法操作难度较高，效率低下。另外一种人群统计方法则是基于多列卷积神经网络的人群统计方法，该方法同样是基于高斯滤波器，根据图像的ground-truth得到图像对应的密度图，然而，该方法虽然无需上述透视图，只是简单的将高斯滤波器和密度图相加，操作简单，但根据实验结果表明，利用该方法估计的人数和图像的ground-truth误差较大。

因此，如何更加方便地实现人群场景的人数统计，并有效保证其较高的准确率是本领域技术人员亟待解决的问题。

技术实现要素：

本申请的目的是提供一种人群统计方法，该方法可更加方便地实现人群场景的人数统计，并可有效保证其较高的准确率；本申请的另一目的是提供一种人群统计装置、设备以及计算机可读存储介质，也具有上述有益效果。

为解决上述技术问题，本申请提供了一种人群统计方法，所述方法包括：

接收待测试图像；

调取预先获得的预测模型和统计人数比例；其中，所述预测模型通过多列卷积神经网络对初始训练集进行训练获得，所述统计人数比例通过高斯滤波器对所述初始训练集进行计算获得；

通过所述预测模型对所述待测试图像进行预测，获得对应的估计密度图；

根据所述估计密度图与所述统计人数比例对所述待测试图像进行估计，获得估计人数。

优选的，通过所述多列卷积神经网络对所述初始训练集进行训练获得所述预测模型，包括：

接收所述初始训练集；

对所述初始训练集进行高斯滤波处理，获得更新训练集；

通过所述多列卷积神经网络对所述更新训练集进行训练，获得所述预测模型。

优选的，所述人群统计方法还包括：

基于测试集对所述预测模型进行测试，获得测试结果；

当所述测试结果低于预设阈值时，重新训练获取所述预测模型。

优选的，通过所述高斯滤波器对所述初始训练集进行计算获得所述统计人数比例，包括：

接收所述初始训练集；其中，所述初始训练集包括预定数量张训练图像及所述训练图像对应的人头坐标点图；

通过所述高斯滤波器对所述人头坐标点图进行高斯滤波处理，获得初始密度图；

对所述初始密度图进行归一化处理，获得归一化密度图；

对所述人头坐标点图与所述归一化密度图进行比值计算，获得所述统计人数比例。

优选的，所述根据所述估计密度图与所述统计人数比例对所述待测试图像进行估计，获得估计人数，包括：

统计所述估计密度图中的总人数；

将所述总人数与所述统计人数比例进行乘积运算，获得所述估计人数。

为解决上述技术问题，本申请提供了一种人群统计装置，所述装置包括：

接收模块，用于接收待测试图像；

调取模块，用于调取预先获得的预测模型和统计人数比例；其中，所述预测模型通过多列卷积神经网络对初始训练集进行训练获得，所述统计人数比例通过高斯滤波器对所述初始训练集进行计算获得；

预测模块，用于通过所述预测模型对所述待测试图像进行预测，获得对应的估计密度图；

估计模块，用于根据所述估计密度图与所述统计人数比例对所述待测试图像进行估计，获得估计人数。

优选的，所述人群统计装置还包括：

测试模块，用于基于测试集对所述预测模型进行测试，获得测试结果；

训练模块，用于当所述测试结果低于预设阈值时，重新训练获取所述预测模型。

优选的，所述估计模块包括：

统计子模块，用于统计所述估计密度图中的总人数；

运算子模块，用于将所述总人数与所述统计人数比例进行乘积运算，获得所述估计人数。

为解决上述技术问题，本申请提供了一种人群统计设备，所述设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一种人群统计方法的步骤。

为解决上述技术问题，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种人群统计方法的步骤。

本申请所提供的一种人群统计方法，包括接收待测试图像；调取预先获得的预测模型和统计人数比例；其中，所述预测模型通过多列卷积神经网络对初始训练集进行训练获得，所述统计人数比例通过高斯滤波器对所述初始训练集进行计算获得；通过所述预测模型对所述待测试图像进行预测，获得对应的估计密度图；根据所述估计密度图与所述统计人数比例对所述待测试图像进行估计，获得估计人数。

可见，本申请所提供的人群统计方法，基于初始训练集预先获得统计人数比例，并基于多列卷积神经网络预先获得相应的训练模型，进一步，当接收到客户发送的待处理图像时，经过上述训练模型的训练后，即可根据统计人数比例对其进行人数估计，获得对应的估计人数，根据具体实验可确定，相较于现有技术，采用上述人群统计方法实现人数统计，其最终获得的平均完全误差(mae)和均方误差(mse)均大大降低，有效提高了统计结果的准确性。此外，由于该方法无需透视图的获取，操作较为简单，进一步提高了统计效率。

本申请所提供的一种人群统计装置、设备以及计算机可读存储介质，也具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请所提供的一种人群统计方法的流程示意图；

图2为本申请所提供的一种预测模型的获取方法的流程示意图；

图3为本申请所提供的一种统计人数比例的获取方法的流程示意图；

图4为本申请所提供的一种人群统计装置的示意图；

图5为本申请所提供的一种人群统计设备的结构示意图。

具体实施方式

本申请的核心是提供一种人群统计方法，该方法可更加方便地实现人群场景的人数统计，并可有效保证其较高的准确率；本申请的另一核心是提供一种人群统计装置、设备以及计算机可读存储介质，也具有上述有益效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参考图1，图1为本申请所提供的一种人群统计方法的流程示意图，该人群统计方法可以包括：

s101：接收待测试图像；

具体的，当需要对某张图像中的人群进行统计时，可将该图像发送至处理器，进一步，处理器即可将其作为待测试图像对其进行处理。其中，对于该待测试图像的来源及类型，本申请不做限定，可以为用户单独拍摄的照片，也可以为用户在视频中截取的某一视频帧，这些均可由用户基于自身实际需求进行设定。

s102：调取预先获得的预测模型和统计人数比例；其中，预测模型通过多列卷积神经网络对初始训练集进行训练获得，统计人数比例通过高斯滤波器对初始训练集进行计算获得；

具体的，处理器在获得待测试图像后，首先可调取用于进行图像处理的预测模型以及统计人数比例对该待测试图像进行处理，其中，预测模型可基于多列卷积神经网络对初始训练集进行训练获得，该初始训练集即为用户预先采集的大量的已知属性的图像；统计人数比例可通过高斯滤波器对上述初始训练集进行计算获得。

另外，上述预测模型和统计人数比例均为预先获得的，对于其获取方法，本申请不进行唯一限定。进一步，在获得上述统计人数比例和预测模型后，可将其存储至相应的存储介质中，以备调用。

作为一种优选实施例，请参考图2，图2为本申请所提供的一种预测模型的获取方法的流程示意图，上述通过多列卷积神经网络对初始训练集进行训练获得预测模型，可以包括：

s201：接收初始训练集；

s202：对初始训练集进行高斯滤波处理，获得更新训练集；

s203：基于多列卷积神经网络对更新训练集进行训练，获得预测模型。

具体的，首先可接收用户基于客户端发送的初始训练集，该初始训练集中包括预定数量张已知属性信息的图像，即上述训练图像，而对于上述预定数量，本申请不做限定，一般而言，为保证预测模型的准确性，其取值较大。为进一步有效保证最终获得训练模型的准确性，可先将该初始训练集输入预先设计好的高斯滤波器中进行高斯滤波处理，获得更新训练集，再将该更新训练集输入到多列卷积神经网络进行训练，获得预测模型。

优选的，该预测模型的获取方法还可以包括：基于测试集对预测模型进行测试，获得测试结果；当测试结果低于预设阈值时，重新训练获取预测模型。

具体的，为进一步保证预测模型的准确性，可在获得该预测模型后，对其进行测试检验，同样的，可预先采集一定数量的用于对预测模型进行测试的测试图像，组成测试集，该测试集与上述初始训练集相同，其中的每一张测试图像的属性均已知。进一步，基于该测试集对预测模型进行测试获得相应的预测结果，当该测试结果低于预设阈值时，则重新训练获取新的预测模型。例如，可设定预设阈值属性为通过率，取值为95％，当预测模型的测试结果低于该值时，则需要重新训练预测模型。当然，该预设阈值可由用户根据实际需要自行设定。

作为一种优选实施例，请参考图3，图3为本申请所提供的一种统计人数比例的获取方法的流程示意图，上述通过高斯滤波器对初始训练集进行计算获得统计人数比例，可以包括：

s301：接收初始训练集；其中，初始训练集包括预定数量张训练图像及训练图像对应的人头坐标点图；

s302：通过高斯滤波器对人头坐标点图进行高斯滤波处理，获得初始密度图；

s303：对初始密度图进行归一化处理，获得归一化密度图；

s304：对人头坐标点图与归一化密度图进行比值计算，获得统计人数比例。

具体的，与上述预测模型的获取过程类似，首先，可接收用户基于客户端发送的初始训练集，该初始训练集中包括预定数量张已知属性信息的图像，即上述训练图像，以及各张训练图像对应的人头坐标点图；进一步，将所有的人头坐标点图输入预先设计好的高斯滤波器中进行高斯滤波处理，获得初始密度图，再对该初始密度图进行归一化处理，获得对应的归一化密度图。最后，将初始训练集中的人头坐标点图与上述归一化密度图作比，获得最终的统计人数比例。

需要说明的是，上述统计人数比例与预测模型的获取顺序并不唯一，也可二者同时进行。其中，在上述两过程中，为保证统计结果的准确性，可使用相同的初始训练集分别进行相应的处理。

s103：通过预测模型对待测试图像进行预测，获得对应的估计密度图；

在s102的基础上，即获得预测模型后，本步骤旨在基于该预测模型对接收的待测试图像进行预测，以获得相应的估计密度图。

s104：根据估计密度图与统计人数比例对待测试图像进行估计，获得估计人数。

具体的，在基于s103获得估计密度图后，即可与s102中调取的统计人数比例对待测试图像进行估计，以获得该待测试图像中的估计人数。

优选的，上述根据估计密度图与统计人数比例对待测试图像进行估计，获得估计人数，可以包括：统计估计密度图中的总人数；将总人数与统计人数比例进行乘积运算，获得估计人数。

具体的，本申请提供了一种具体的人数估计方法，首可先对估计密度图中的人数进行统计，获得该估计密度图中的总人数；进一步，将该总人数与上述统计人数比例相乘，即可获得最终的估计人数。

本申请所提供的人群统计方法，基于初始训练集预先获得统计人数比例，并基于多列卷积神经网络预先获得相应的训练模型，进一步，当接收到客户发送的待处理图像时，经过上述训练模型的训练后，即可根据统计人数比例对其进行人数估计，获得对应的估计人数，根据具体实验可确定，相较于现有技术，采用上述人群统计方法实现人数统计，其最终获得的平均完全误差和均方误差均大大降低，有效提高了统计结果的准确性。此外，由于该方法无需透视图的获取，操作较为简单，进一步提高了统计效率。

在上述各个实施例的基础上，本申请提供了一种更为具体的实施方法，该方法可包括：

(1)统计人数比例与预测模型的预先获取过程：

首先，接收用户基于客户端发送的初始训练集：

其中，xi为初始训练集中的第i张训练图像，其大小设定为m*n；yi为第i张训练图像对应的人头坐标点图，其大小同样设定为m*n；n为初始训练集中训练图像的数量。

进一步，设计高斯滤波器g，其大小设定为k*k，该高斯滤波器g满足：

将该高斯滤波器g和训练图像xi以人头坐标(x，y)为中心的k*k大小区域x(x1∶x2，y1∶y2)进行点乘，获得训练图像xi的初始密度图m：

m(x1:x2,y1:y2)＝x(x1:x2,y1:y2).*g；

其中，x1,x2,y1,y2分别为k*k区域中行和列的起止位置，即：

其中，n＝k；

此时，令该k*k区域满足元素之和为1，从而得到归一化密度图m′：

将初始训练集经过高斯滤波器滤波，获得更新训练集：

进一步，计算人头坐标点图yi与归一化密度图m′之间的比值，获得统计比例人数ratioi：

其中，上述公式中的分子即为人头坐标点图yi中统计的人数总和；分母为归一化密度图m′中统计的人数总和。

最后，基于多列卷积神经网络(mcnn)对更新训练集进行训练，获得预测模型。

(2)人群统计过程：

首先，接收用户基于客户端输入的待测试图像t，并基于调取的预测模型对其进行预测，获得该待测试图像t的估计密度图进一步，对该估计密度图中的人数进行统计，并与调取的统计人数比例相乘，获得该待测试图像中的估计人数count：

由此，即完成了对待测试图像的人群统计。

在上述具体实施方式的基础上，本申请在人群数据集shanghaitech数据集上进行了测试，该数据集一共包含1198张标注的图像，以及330165个人头中心标注。该数据集包含两部分：part_a和part_b。part_a有482张随机从网上爬取的图像，其中300张用于训练，182张用于测试。part_b有716张在上海街头拍取的图像，其中400张用于训练，316张用于测试。相应的，请参考表1，表1为上述测试过程对应的人群计数结果对比表：

表1人群计数结果对比表

由上述对比表即可看出，通过本申请提出的人群统计方法，将高斯核和初始训练集中训练图像人头处区域进行点乘，再对该区域进行归一化，求出训练样本人数和ground-truth比例；进一步，在进行统计过程中将对应比例乘上，最后对待测试图像进行人群计数。该方法与现有技术相比，其最终计数结果的平均完全误差和均方误差都有所降低，提高了统计准确率，获得了更好的性能。

为解决上述问题，请参考图4，图4为本申请所提供的一种人群统计装置的示意图，该人群统计装置可包括：

接收模块10，用于接收待测试图像；

调取模块20，用于调取预先获得的预测模型和统计人数比例；其中，预测模型通过多列卷积神经网络对初始训练集进行训练获得，统计人数比例通过高斯滤波器对初始训练集进行计算获得；

预测模块30，用于通过预测模型对待测试图像进行预测，获得对应的估计密度图；

估计模块40，用于根据估计密度图与统计人数比例对待测试图像进行估计，获得估计人数。

作为一种优选实施例，该人群统计装置还可以包括：

测试模块，用于基于测试集对预测模型进行测试，获得测试结果；

训练模块，用于当测试结果低于预设阈值时，重新训练获取预测模型。

作为一种优选实施例，上述估计模块40可以包括：

统计子模块，用于统计估计密度图中的总人数；

运算子模块，用于将总人数与统计人数比例进行乘积运算，获得估计人数

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，请参考图5，图5为本申请所提供的一种人群统计设备的结构示意图，该人群统计设备可包括：

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序时可实现如下步骤：

接收待测试图像；调取预先获得的预测模型和统计人数比例；其中，预测模型通过多列卷积神经网络对初始训练集进行训练获得，统计人数比例通过高斯滤波器对初始训练集进行计算获得；通过预测模型对待测试图像进行预测，获得对应的估计密度图；根据估计密度图与统计人数比例对待测试图像进行估计，获得估计人数。

对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下骤：

接收待测试图像；调取预先获得的预测模型和统计人数比例；其中，预测模型通过多列卷积神经网络对初始训练集进行训练获得，统计人数比例通过高斯滤波器对初始训练集进行计算获得；通过预测模型对待测试图像进行预测，获得对应的估计密度图；根据估计密度图与统计人数比例对待测试图像进行估计，获得估计人数。

该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的人群统计方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。