本发明涉及监控人群计数领域，特别是涉及一种人群计数及其模型构建的方法、终端设备及存储介质。
背景技术：
目前，在商场、大型活动或会议现场以及交通枢纽等公共场所中，人流量非常大，拥堵现象也越来越多，基于现场视频监控的人数统计已经成为社会公共安全和资源优化配置的重要方面。另外，商业竞争日趋激烈，以准确的数据为基础进行分析和管理，建立智能化的人数统计系统已经成为发展趋势。
现有技术中，很多人群计数方法应用场景单一，不具有普适性，特别是在场景中人员数量变化大或者背景复杂的情形，计数准确度度很低。现有技术方案包括：1)人工看视频，或者现场人员维护；2)基于行人检测的人群计数方法：需要检测和识别出场景中的每一个行人，从而确定行人的数量；3)基于图像特征的方法:人工选择图像特征(如图像纹理、特征点、边缘等),并利用传统的机器学习方法去学习这些低维的图像特征与人群数量的映射关系，进而对场景中的人数进行预测；4)基于深度学习的方法：建立卷积神经网络，通过样本集对卷积神经网络训练，得到卷积神经网络中待学习的参数，使得该网络能够输出人群数量。
现有技术的缺点如下：1)人工看视频，或现场人员维护：人力成本太高；2)基于行人检测的人群计数方法:需要检测出场景中的每一个人，特别是行人与其他行人、树木、建筑遮挡时，准确率会大幅下降，无法应对遮挡严重的情形；3)基于图像特征的人群计数方法：需要人工选择图像特征去学习与真实人数的映射关系，但选择的图像特征都比较低维或单一，很难在不同场景下都有较好的统计数值，鲁棒性不好；4)基于深度学习的人群计数方法：目前基于深度学习的人群计数方法主要是学习人群密度图，存在两个问题：第一、背景(如树木，广告牌等)也有可能会产生密度值，会干扰到最终的统计结果；第二、由于摄像机透视关系，近处的行人和远处的行人密度值相差较大，对近处的较大的行人的响应较弱。
技术实现要素：
本发明实施例主要提供一种人群计数及其模型的构建方法、终端设备及存储介质，以解决现有技术中，在学习人群密度图时，存在背景会产生密度值，会干扰到最终的统计结果，以及由于摄像机透视关系，近处的行人和远处的行人密度值相差较大，而对近处的较大的行人的响应较弱的问题。
为解决上述技术问题，本发明实施例采用的一技术方案如下：
一种人群计数模型的构建方法，该构建方法基于卷积神经网络所形成，该构建方法包括：获取训练数据集，所述训练数据集包括多张人群分割图、人群密度图及人体关键点关系图，其中所述人体关键点关系图为描述人体的两个相连关键点的位置和方向信息的关系图；分别将所述人群分割图、所述人群密度图及所述人体关键点关系图输入初始卷积神经网络进行迭代训练，并分别输出对应的人群分割特征图、人群密度特征图及人体关键点关系特征图；根据所述人群分割特征图与所述人群密度特征图得到过渡人群密度特征图，并根据所述过渡人群密度特征图与所述人体关键点关系特征图，得到目标人群密度特征图；分别计算与所述人群分割特征图、所述过渡人群密度特征图、所述人体关键点关系特征图及所述目标人群密度特征图对应的各个损失函数的损失值，并将各个所述损失函数的损失值进行求和得到总损失值；重复以上所有步骤，直至所述总损失值小于或等于预设损失阈值之后，保存此时的所述初始卷积神经网络的网络结构与参数数值，并分别将其作为所述人群计数模型的网络结构与参数数值，其中所述重复以上所有步骤为一次迭代训练，每次迭代训练完成后更新前一次所述初始卷积神经网络的网络结构与参数数值。
为解决上述技术问题，本发明实施例采用的另一技术方案如下：
一种基于视频监控的人群计数方法，其基于上述的人群计数模型的构建方法来实现，其包括以下步骤：接收待计数视频监控图像的人群计数处理信号；读取预先保存的所述人群计数模型的网络结构与参数数值，并以此生成目标卷积神经网络；将所述待计数视频监控图像输入所述目标卷积神经网络进行处理，以输出所述目标人群密度特征图；根据所述目标人群密度特征图计算出视频监控图像的人数。
为解决上述技术问题，本发明实施例采用的又一技术方案如下：
一种终端设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述处理器执行所述计算机程序时实现如上述的人群计数模型的构建方法，或实现如上述的基于视频监控的人群计数方法。
为解决上述技术问题，本发明实施例采用的再一技术方案如下：
一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的人群计数模型的构建方法，或实现如上述的基于视频监控的人群计数方法。
本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例的人群计数模型的构建方法通过人群分割图、人群密度图及人体关键点关系图获取人群分割特征图、过渡人群密度特征图、人体关键点关系特征图及目标人群密度特征图，并计算出对应的各个损失函数的总损失值，最终得到总损失值小于或等于预设损失阈值的所述初始卷积神经网络的网络结构与参数数值，并分别将其作为人群计数模型的网络结构与参数数值，完成迭代训练过程形成人群计数模型，使得该人群计数模型能够消除复杂背景和较近人体的影响，本发明实施例的基于视频监控的人群计数方法通过该人群计数模型可以准确地计算出视频监控图像的人群数量；本发明实施例的终端设备和存储介质的计算机程序被执行时实现如上述的人群计数模型的构建方法，或实现如上述的基于视频监控的人群计数方法，均可消除复杂背景和较近人体的影响，可以准确地计算出视频监控图像的人群数量。
附图说明
图1是本发明实施例一的人群计数模型的构建方法一实施方式的实施流程图；
图2是本发明实施例的基于视频监控的人群计数方法一实施方式的实施流程图；
图3是本发明实施例的一种终端设备一实施方式的部分框架示意图；
图4是本发明实施例的一种存储介质一实施方式的部分框架示意图。
具体实施方式
实施例一
请参阅图1，图1是本发明实施例一的人群计数模型的构建方法的实施流程图，该构建方法基于卷积神经网络所形成，结合图1可以得到，本发明的人群计数模型的构建方法包括以下步骤：
步骤S101：获取训练数据集，所述训练数据集包括多张人群分割图、人群密度图及人体关键点关系图，其中所述人体关键点关系图为描述人体的两个相连关键点的位置和方向信息的关系图。
步骤S102：分别将所述人群分割图、所述人群密度图及所述人体关键点关系图输入初始卷积神经网络进行迭代训练，并分别输出对应的人群分割特征图、人群密度特征图及人体关键点关系特征图。
步骤S103：根据所述人群分割特征图与所述人群密度特征图得到过渡人群密度特征图，并根据所述过渡人群密度特征图与所述人体关键点关系特征图，得到目标人群密度特征图。
步骤S104：分别计算与所述人群分割特征图、所述过渡人群密度特征图、所述人体关键点关系特征图及所述目标人群密度特征图对应的各个损失函数的损失值，并将各个所述损失函数的损失值进行求和得到总损失值。
步骤S105：重复以上所有步骤，直至所述总损失值小于或等于预设损失阈值之后，保存此时的所述初始卷积神经网络的网络结构与参数数值，并分别将其作为所述人群计数模型的网络结构与参数数值，其中所述重复以上所有步骤为一次迭代训练，每次迭代训练完成后更新前一次所述初始卷积神经网络的网络结构与参数数值。
其中，人群分割图是二值图，所谓二值图是指在图像中，像素的灰度等级只有两种，图像的任何像素的灰度要么是1要么是0两种，再无其它的过渡元素。
其中，人群密度图表示的是单位像素上所包含的人数。可选地，可以依据标注的行人的头部中心点位置，构建人头和人体的二维高斯分布，叠加人头和人体的高斯分布，归一化即可得到当前人的密度图，遍历图中所有的标记点就可以得到整张图像的人群密度图。
其中，具体来说，人体关键点关系图是指图像的横坐标和纵坐标上，计算标记的人体两个关键点的相对位置和这两个关键点欧式距离之间的比值所得到的图。可选地，人体两个关键点为左肘和左肩或右肘和右肩等。
在本实施例中，可选地，根据所述人群分割特征图与所述人群密度特征图得到过渡人群密度特征图，具体包括：
将所述人群分割特征图与所述人群密度特征图进行点乘后得到所述过渡人群密度特征图。
在本实施例中，可选地，根据所述过渡人群密度特征图与所述人体关键点关系特征图，得到目标人群密度特征图，具体包括：
将所述过渡人群密度特征图与所述人体关键点关系特征图在通道维度上连接在一起，并经过若干卷积层得到所述目标人群密度特征图。
在本实施例中，可选地，所述人群分割特征图对应的损失函数通过采用交叉熵代价函数所得到。
在本实施例中，可选地，所述过渡人群密度特征图、所述人体关键点关系特征图及所述目标人群密度特征图对应的各个损失函数通过分别计算其自身和对应的实际特征图的欧式距离所得到。
其中，所述欧式距离是指在M维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧式距离即两点之间的实际距离。
在本实施例中，可选地，每次迭代训练完成后更新前一次所述初始卷积神经网络的网络结构与参数数值，具体为：
通过随机梯度下降的方法，在每一次迭代训练中更新一次所述初始卷积神经网络的网络结构与参数数值。随机并行梯度下降算法(Stochastic Parallel Gradient Descent Algorithm)，简称SPGD算法，是一种无模型优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。
本发明实施例的人群计数模型的构建方法通过人群分割图、人群密度图及人体关键点关系图获取人群分割特征图、过渡人群密度特征图、人体关键点关系特征图及目标人群密度特征图，并计算出对应的各个损失函数的总损失值，最终得到总损失值小于或等于预设损失阈值的所述初始卷积神经网络的网络结构与参数数值，并分别将其作为人群计数模型的网络结构与参数数值，完成迭代训练过程形成人群计数模型，使得该使用该人群计数模型的人群计数方法能够消除复杂背景和较近人体的影响，准确地计算出视频监控图像的人群数量。
实施例二
请参阅图2，图2是本发明实施例的基于视频监控的人群计数方法的实施流程图，结合图2可以得到，本发明的基于视频监控的人群计数方法，基于实施例一所述的人群计数模型的构建方法来实现，其包括以下步骤：
步骤S201：接收待计数视频监控图像的人群计数处理信号。
步骤S202：读取预先保存的所述人群计数模型的网络结构与参数数值，并根据所述人群计数模型的网络结构与参数数值生成目标卷积神经网络。
步骤S203：将所述待计数视频监控图像输入所述目标卷积神经网络进行处理，以输出所述目标人群密度特征图。
步骤S204：根据所述目标人群密度特征图计算出视频监控图像的人数。
在本实施例中，可选地，根据所述目标人群密度特征图计算出视频监控图像的人数，具体包括：
对所述目标人群密度特征图进行数值累加求和得到所述视频监控图像的人数。
本发明实施例的基于视频监控的人群计数方法，其使用的人群计数模型的构建方法通过人群分割图、人群密度图及人体关键点关系图获取人群分割特征图、过渡人群密度特征图、人体关键点关系特征图及目标人群密度特征图，并计算出对应的各个损失函数的总损失值，最终得到总损失值小于或等于预设损失阈值的所述初始卷积神经网络的网络结构与参数数值，并分别将其作为人群计数模型的网络结构与参数数值，完成迭代训练过程形成人群计数模型，使得该使用该人群计数模型的人群计数方法能够消除复杂背景和较近人体的影响，准确地计算出视频监控图像的人群数量。
实施例三
请参阅图3，图3是本发明实施例的一种终端设备的部分框架示意图，结合图3可以得到，本发明实施例的一种终端设备10，其包括处理器11、存储器12及存储于所述存储器12上并可在所述处理器11上运行的计算机程序121，所述处理器11执行所述计算机程序121时实现实现如实施例一所述的人群计数模型的构建方法，或实现实施例二所述的基于视频监控的人群计数方法。由于该人群计数模型的构建方法和基于视频监控的人群计数方法已经分别在实施例一和实施例二进行了详细的说明，在此不再重复说明。
本发明实施例的的终端设备，其实现的如实施例一所述的人群计数模型的构建方法，通过人群分割图、人群密度图及人体关键点关系图获取人群分割特征图、过渡人群密度特征图、人体关键点关系特征图及目标人群密度特征图，并计算出对应的各个损失函数的总损失值，最终得到总损失值小于或等于预设损失阈值的所述初始卷积神经网络的网络结构与参数数值，并分别将其作为人群计数模型的网络结构与参数数值，完成迭代训练过程形成人群计数模型，使得该使用该人群计数模型的人群计数方法(如实施例二所述)能够消除复杂背景和较近人体的影响，准确地计算出视频监控图像的人群数量。
实施例四
请参阅图4，图4是本发明实施例的一种存储介质的部分框架示意图，结合图4可以得到，本发明实施例的一种存储介质20，所述的存储介质20，如：ROM/RAM、磁碟、光盘等，其上存储有计算机程序21，所述计算机程序21被执行时实现如实施例一所述的人群计数模型的构建方法，或实现实施例二所述的基于视频监控的人群计数方法。由于该人群计数模型的构建方法和基于视频监控的人群计数方法已经分别在实施例一和实施例二进行了详细的说明，在此不再重复说明。
本发明实施例的存储介质，其实现的其实现的如实施例一所述的人群计数模型的构建方法，通过人群分割图、人群密度图及人体关键点关系图获取人群分割特征图、过渡人群密度特征图、人体关键点关系特征图及目标人群密度特征图，并计算出对应的各个损失函数的总损失值，最终得到总损失值小于或等于预设损失阈值的所述初始卷积神经网络的网络结构与参数数值，并分别将其作为人群计数模型的网络结构与参数数值，完成迭代训练过程形成人群计数模型，使得该使用该人群计数模型的人群计数方法(如实施例二所述)能够消除复杂背景和较近人体的影响，准确地计算出视频监控图像的人群数量。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。