一种基于全局与局部密度融合的密集人群计数方法和装置与流程

本申请涉及图像处理，尤其涉及一种基于全局与局部密度融合的密集人群计数方法和装置。

背景技术：

1、密度区域人群计数具有很广泛的应用。但是由于其存在大量遮挡，导致基于目标检测的人群计数算法在此场景下达不到预期效果。现有基于深度学习模型的方法大多基于单次预测，即仅利用了全局特征，未考虑局部特征；此外，由于图片中的不同区域密度可能相差很大，这样的样本不利于模型训练学习。

2、因此，如何基于全局与局部区域特征融合，降低整体密度方差降低，提高了密集场景下的人群计数精度，是需要解决的技术问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种基于全局与局部密度融合的密集人群计数方法、装置、电子设备和存储介质，以解决现有技术在密集人群计数时准确度不高的问题。

2、本申请实施例的第一方面，提供了一种基于全局与局部密度融合的密集人群计数方法，包括：

3、获取目标图像样本；

4、将所述目标图像样本输入至人群密度预测网络，获得对应于所述目标图像样本的多张分割图像；

5、依据多张所述分割图像，获得对应的多个人群密度图；

6、将多个所述人群密度图输入至局部密度预测网络，获得多个局部密度图；

7、将多个所述人群密度图和多个所述局部密度图进行相加计算，获得融合密度图；

8、依据所述融合密度图，获得密集人群计数预测值。

9、本申请实施例的第二方面，提供了一种基于全局与局部密度融合的密集人群计数装置，包括：

10、目标图像样本获取模块，被配置为获取目标图像样本；

11、分割图像获取模块，被配置为将所述目标图像样本输入至人群密度预测网络，获得对应于所述目标图像样本的多张分割图像；

12、人群密度图获取模块，被配置为依据多张所述分割图像，获得对应的多个人群密度图；

13、局部密度图获取模块，被配置为将多个所述人群密度图输入至局部密度预测网络，获得多个局部密度图；

14、融合密度图获取模块，被配置为将多个所述人群密度图和多个所述局部密度图进行相加计算，获得融合密度图；

15、密集人群计数预测值输出模块，被配置为依据所述融合密度图，获得密集人群计数预测值。

16、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现第一方面所述方法的步骤。

17、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

18、本申请实施例与现有技术相比存在的有益效果至少包括：本申请实施例通过获取目标图像样本；将目标图像样本输入至人群密度预测网络，获得对应于目标图像样本的多张分割图像；依据多张分割图像，获得对应的多个人群密度图；将多个人群密度图输入至局部密度预测网络，获得多个局部密度图；将多个人群密度图和多个局部密度图进行相加计算，获得融合密度图；依据融合密度图，获得密集人群计数预测值。本申请基于全局与局部区域特征融合的方式，克服了图片不同区域密度相差大影响，有效降低了整体密度方差，提高了密集场景下的人群计数精度。

技术特征：

1.一种基于全局与局部密度融合的密集人群计数方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述人群密度预测网络基于图像语义分割网络进行构建，所述图像语义分割网络包括u-net网络；和/或，所述分割图像的尺寸与所述目标图像样本的尺寸相同。

3.根据权利要求2所述的方法，其特征在于，依据多张所述分割图像，获得对应的多个人群密度图，包括：

4.根据权利要求1所述的方法，其特征在于，所述局部密度预测网络包括缩放因子预测网络和所述人群密度预测网络；所述缩放因子预测网络包括全局平均池化层、全连接层和sigmoid层。

5.根据权利要求4所述的方法，其特征在于，将多个所述人群密度图输入至局部密度预测网络，获得多个局部密度图，包括：

6.根据权利要求5所述的方法，其特征在于，将所述尺度缩放局部特征输入至所述人群密度预测网络，获得多个所述局部密度图之前，还包括：

7.根据权利要求1所述的方法，其特征在于，依据所述融合密度图，获得密集人群计数预测值，包括：对所述融合密度图进行图像处理，获得所述密集人群计数预测值；所述图像处理依次包括二值化和/或连通域分析。

8.一种基于全局与局部密度融合的密集人群计数装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时，实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

技术总结
本申请提供了一种基于全局与局部密度融合的密集人群计数方法和装置，该方法包括获取目标图像样本；将目标图像样本输入至人群密度预测网络，获得对应于目标图像样本的多张分割图像；依据多张分割图像，获得对应的多个人群密度图；将多个人群密度图输入至局部密度预测网络，获得多个局部密度图；将多个人群密度图和多个局部密度图进行相加计算，获得融合密度图；依据融合密度图，获得密集人群计数预测值。本申请基于全局与局部区域特征融合的方式，克服了图片不同区域密度相差大影响，有效降低了整体密度方差，提高了密集场景下的人群计数精度。

技术研发人员：蒋召,师平
受保护的技术使用者：深圳须弥云图空间科技有限公司
技术研发日：
技术公布日：2024/1/22