一种基于特征交互的人群计数方法

1.本发明涉及图像处理技术领域，尤其是一种基于特征交互的人群计数方法。


背景技术：

2.人群计数是计算机视觉和智能监控领域的重要研究内容，其目的是为了估计图像或视频场景中的人数。它在安全监测、交通管理、城市规划等领域有着广泛应用。例如：在疫情期间，控制人群密度可以降低出现聚集性传播的概率；在景区、体育场和广场等人群高度聚集的区域，通过发出预警信息可以防止出现踩踏事故等。近年来，基于卷积神经网络的人群计数方法已经成为人群计数的主流方法，其基本思想是使用卷积神经网络生成估计密度图，给每个像素赋予密度值，密度图的密度值总和记为场景中的总人数。
3.目前，由于拍摄距离和角度差异导致的尺度变化问题严重影响了计数结果的准确性。在同一人群图像内部或不同图像之间都会有剧烈的尺度变化，这种剧烈的尺度变化给基于卷积神经网络的人群密度预测带来巨大挑战。为了应对上述问题，发明人在发明专利“一种基于密度估计的人群计数方法及系统”(cn113538402b)中提出了一种基于密度估计的人群计数方法和系统，融合多层语义信息和多尺度信息，实现了较好的计数结果。
4.然而，基于密度估计的人群计数方法和系统存在以下问题：
5.1、仅将多层语义信息和多尺度信息进行简单的融合，结构简单，没有考虑到网络规模的限制性，这使得该方法的提取的语义信息和尺度信息并不充分。
6.2、在应对特征相似性问题上，该方法使用的注意力机制过于简单，没有考虑到跨维度信息的重要性，影响了计数的性能。
7.为了解决基于密度估计人群计数方法和系统的上述问题，需要对本发明人提出的基于密度估计人群计数方法和系统进行进一步的优化。


技术实现要素：

8.本发明需要解决的技术问题是提供一种基于特征交互的人群计数方法，能够有效解决人群计数任务中的尺度变化问题，有助于生成高质量的人群密度图，提升多列网络的计数性能，具有较高的准确性和较好的鲁棒性，有效提高人群密度估计的准确率。
9.为解决上述技术问题，本发明所采用的技术方案是：
10.一种基于特征交互的人群计数方法，包括以下步骤：
11.将原始图像输入深度神经网络模型中进行特征提取，得到三层语义特征图，所述三层语义特征图包括低层语义特征图、中层语义特征图和高层语义特征图；
12.将三层语义特征图送入语义交互结构，得到对应融合后的三层语义特征图；
13.将融合后的三层语义特征图分别输入多尺度注意力模块，得到对应语义特征图的尺度感知信息特征；
14.将高层语义特征图对应的尺度感知信息特征进行上采样和通道调整并与中层语义特征图对应的尺度感知信息特征进行融合；
15.将融合后的特征进行上采样和通道调整并与低层语义特征图对应的尺度感知信息特征进行融合，得到用于人群密度估计的主要特征图；
16.将用于人群密度估计的主要特征图输入深度神经网络模型后端网络，得到人群密度估计图和人群计数结果。
17.本发明技术方案的进一步改进在于：将原始图像输入深度神经网络模型中进行特征提取，得到三层语义特征图，包括以下步骤：
18.将所述原始图像输入深度神经网络模型中，深度神经网络模型包括依次连接的两个卷积层、一个池化层、两个卷积层、一个池化层、三个卷积层和一个池化层，得到低层语义特征图；每个卷积层生成的特征图的通道数由输入至输出方向依次为64、64、128、128、256、256和256；卷积层的卷积核尺寸均为3*3；池化层的步长均为2；
19.将所述低层语义特征图继续输入所述深度神经网络模型中，依次经过三个卷积层和一个池化层，得到中层语义特征图；每个卷积层生成的特征图的通道数都是512；卷积层的卷积核尺寸均为3*3；池化层的步长为2；
20.将所述中层语义特征图继续输入所述深度神经网络模型中，经过三个卷积层，得到高层语义特征图；每个卷积层生成的特征图的通道数都是512；卷积层的卷积核尺寸均为3*3。
21.本发明技术方案的进一步改进在于：将三层语义特征图送入语义交互结构，包括以下步骤：
22.将所述高层语义特征图送入所述语义交互结构，得到高层语义特征图对应融合后的语义特征图；
23.将所述中层语义特征图送入所述语义交互结构，与所述高层语义特征图对应融合后的语义特征图进行交互，得到中层语义特征图对应融合后的语义特征图；
24.将所述低层语义特征图送入所述语义交互结构，与所述中层语义特征图对应融合后的语义特征图进行交互，得到低层语义特征图对应融合后的语义特征图。
25.本发明技术方案的进一步改进在于：所述语义交互结构，包括：
26.将高层语义特征图使用双线性插值进行上采样；
27.将所述高层语义特征图上采样的结果与中层语义特征图进行通道上的连接，得到中层语义特征图对应的中间特征；
28.将所述中间特征经过两个3*3卷积进行特征融合，得到中层语义特征图融合后的语义特征图。
29.得到中层语义特征图融合后的语义特征图使用双线性插值进行上采样；
30.将所述中层语义特征图上采样的结果与低层语义特征图进行通道上的连接，得到低层语义特征图对应的中间特征；
31.将所述中间特征经过两个3*3卷积进行特征融合，得到低层语义特征图融合后的语义特征图。
32.本发明技术方案的进一步改进在于：所述多尺度注意力模块包括4个具有不同感受野的分支、一个将4个分支结果在通道维度进行连接的操作、一个卷积层、一个额外的全局通道注意力机制和一个按元素相乘操作；每个分支依次包含一个卷积层、一个膨胀卷积层、多尺度交互结构和全局空间注意力机制；
33.所述全局通道注意力机制，包括：
34.将输入特征图进行通道、高度和宽度3个维度上的维度转置及平铺操作，得到维度转置及平铺操作后的特征图；
35.将所述维度转置及平铺操作后的特征图使用线性变换将特征图的通道维度降为原来的1/4，并使用relu激活函数进行非线性变换，再使用线性变换将通道维度变为与原特征图相同，来放大跨维度特征对通道维度的依赖性，得到经多层感知机处理后的特征图；
36.将所述经多层感知机处理后的特征图进行通道、高度和宽度3个维度上的维度转置及重塑操作，得到维度转置及重塑操作后的特征图；
37.将所述维度转置及重塑操作后的特征图进行sigmoid函数变换，并与所述原始输入特征图进行逐元素乘法操作，得到输出特征图；
38.所述多尺度交互结构，包括：
39.将小感受野特征图交互后的结果与大感受野特征图进行通道上的连接，得到中间特征；
40.将所述中间特征使用一个3*3卷积进行特征融合后，得到融合后的多尺度交互特征图；
41.所述全局空间注意力机制，包括：
42.将输入特征图经过卷积核尺寸为3*3、膨胀率与分支内部用于提取多尺度特征的膨胀卷积的膨胀率相同的膨胀卷积层，得到通道数缩减为原来的1/4的特征图；
43.将所述通道数缩减为原来的1/4的特征图经过卷积核尺寸为3*3、膨胀率与分支内部用于提取多尺度特征的膨胀卷积的膨胀率相同的膨胀卷积层，得到通道数与原始输入特征图相同的特征图；
44.将所述通道数与原始输入特征图相同的特征图进行sigmoid函数变换，并与所述原始输入特征图进行逐元素乘法操作，得到输出特征图；
45.所述分支包括第一分支、第二分支、第三分支和第四分支；
46.所述特征图经过第一分支，包括：
47.将所述特征图经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图；
48.将所述通道数减少为原来的1/4的特征图经过卷积核尺寸为3*3、膨胀率为1的膨胀卷积层，得到感受野为3*3的尺度特征图；
49.将所述感受野为3*3的尺度特征图送入多尺度交互结构，得到多尺度交互后的特征图；
50.将所述多尺度交互后的特征图送入全局空间注意力机制，得到赋予全新特征权重的特征图；
51.将所述特征图经过第二分支，包括：
52.将所述特征图经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图；
53.将所述通道数减少为原来的1/4的特征图经过卷积核尺寸为3*3、膨胀率为2的膨胀卷积层，得到感受野为7*7的尺度特征图；
54.将所述感受野为7*7的尺度特征图送入多尺度交互结构，得到多尺度交互后的特
征图；
55.将所述多尺度交互后的特征图送入全局空间注意力机制，得到赋予全新特征权重的特征图；
56.将所述特征图经过第三分支，包括：
57.将所述特征图经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图；
58.将所述通道数减少为原来的1/4的特征图经过卷积核尺寸为3*3、膨胀率为3的膨胀卷积层，得到感受野为11*11的尺度特征图；
59.将所述感受野为11*11的尺度特征图送入多尺度交互结构，得到多尺度交互后的特征图；
60.将所述多尺度交互后的特征图送入全局空间注意力机制，得到赋予全新特征权重的特征图；
61.将所述特征图经过第四分支，包括：
62.将所述特征图经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图；
63.将所述通道数减少为原来的1/4的特征图经过卷积核尺寸为3*3、膨胀率为4的膨胀卷积层，得到感受野为15*15的尺度特征图；
64.将所述感受野为15*15的尺度特征图送入多尺度交互结构，得到多尺度交互后的特征图；
65.将所述多尺度交互后的特征图送入全局空间注意力机制，得到赋予全新特征权重的特征图。
66.本发明技术方案的进一步改进在于：将融合后的三层语义特征图分别输入多尺度注意力模块，得到对应语义特征图的尺度感知信息特征，包括以下步骤：
67.将所述融合后的低层语义特征图输入所述多尺度注意力模块的四个分支中，得到四个尺度的低层语义特征图；
68.将所述的四个尺度的低层语义特征图进行通道上的连接，并使用一个3*3的卷积进行特征融合后与全局通道注意力机制得到的特征信息相乘，得到低层语义特征图对应的尺度感知信息特征；
69.将所述融合后的中层语义特征图输入所述多尺度注意力模块的四个分支中，得到四个尺度的中层语义特征图；
70.将所述的四个尺度的中层语义特征图进行通道上的连接，并使用一个3*3的卷积进行特征融合后与全局通道注意力机制得到的特征信息相乘，得到中层语义特征图对应的尺度感知信息特征；
71.将所述融合后的高层语义特征图输入所述多尺度注意力模块的四个分支中，得到四个尺度的高层语义特征图；
72.将所述的四个尺度的高层语义特征图进行通道上的连接，并使用一个3*3的卷积进行特征融合后与全局通道注意力机制得到的特征信息相乘，得到高层语义特征图对应的尺度感知信息特征。
73.本发明技术方案的进一步改进在于：将高层语义特征图对应的尺度感知信息特征
进行上采样和通道调整并与中层语义特征图对应的尺度感知信息特征进行融合，包括以下步骤：
74.将高层语义特征图对应的尺度感知信息特征使用双线性插值的方法进行上采样操作，并使用一个1*1的卷积调整通道，得到第一特征图；
75.将所述第一特征图与所述中层语义特征图对应的尺度感知信息特征进行按元素相加操作，得到融合后的特征。
76.本发明技术方案的进一步改进在于：将融合后的特征进行上采样和通道调整并与低层语义特征图对应的尺度感知信息特征进行融合，得到用于人群密度估计的主要特征图，包括以下步骤：
77.对融合后的特征使用双线性插值的方法进行上采样操作，并使用一个1*1的卷积调整通道，得到第二特征图；
78.将所述第二特征图与所述低层语义特征图对应的尺度感知信息特征进行按元素相加操作，得到用于人群密度估计的主要特征图。
79.本发明技术方案的进一步改进在于：将用于人群密度估计的主要特征图输入深度神经网络模型后端网络，得到人群密度估计图和人群计数结果，包括以下步骤：
80.将所述用于人群密度估计的主要特征图输入两个卷积层，得到人群密度估计图和人群计数结果；每个卷积层生成的特征图的通道数由输入至输出方向依次为64和1；两个卷积层的卷积尺寸均为3*3。
81.由于采用了上述技术方案，本发明取得的技术进步是：
82.1、本发明通过多尺度注意力模块提取丰富的多尺度信息，即利用交互结构和注意力机制提升了提取多尺度信息的能力和对有价值信息的敏感度，克服了传统多列网络中的规模限制及特征相似性问题。
83.2、本发明通过语义信息融合模块对主干网络的不同层次的语义信息进行交互和融合，提供更为丰富的细节特征，增强网络的特征聚合能力，提升了对主干网络的利用效率。
附图说明
84.图1是本发明基于特征交互的人群计数方法的流程示意图；
85.图2是本发明深度神经网络模型的整体结构示意图；
86.图3是采用本发明基于特征交互的人群计数方法进行人群密度估计的示意图。
具体实施方式
87.下面结合附图及实施例对本发明做进一步详细说明：
88.如图1所示，所述基于特征交互的人群计数方法包括以下步骤：
89.步骤100：将原始图像输入深度神经网络模型中进行特征提取，得到低层、中层、高层语义特征图。此过程中涉及十三个卷积层和四个最大池化层。具体的，首先经过七个卷积层和三个最大池化层，依次为：两个卷积层、一个池化层、两个卷积层、一个池化层、三个卷积层和一个池化层；其中卷积层的卷积尺寸均为3*3，生成特征图通道数依次为：64、64、128、128、256、256和256；三个池化层步长均为2。所述生成的低层特征图继续输入深度神经
网络模型中，具体的，包括三个卷积层和一个最大池化层，依次为：三个卷积层、一个池化层；其中卷积层的卷积尺寸均为3*3，生成特征图通道数依次为：512、512和512；池化层步长为2。所述生成的中层特征图继续输入深度神经网络模型中，具体的，包括三个卷积层；其中卷积层的卷积尺寸均为3*3，生成特征图通道数依次为：512、512和512；池化层步长为2。最终得到低层、中层和高层语义特征图。
90.步骤200：将低层、中层和高层语义特征图送入语义交互结构，得到对应融合后的语义特征图。具体的，将所述高层语义特征图送入所述语义交互结构，得到高层语义特征图对应融合后的语义特征图；将所述中层语义特征图送入所述语义交互结构，与所述高层语义特征图对应融合后的语义特征图进行交互，得到中层语义特征图对应融合后的语义特征图；将所述低层语义特征图送入所述语义交互结构，与所述中层语义特征图对应融合后的语义特征图进行交互，得到低层语义特征图对应融合后的语义特征图。
91.下面对语义交互结构进行具体说明：
92.语义交互结构将高层语义特征图使用双线性插值进行上采样，然后将上采样的结果与低层语义特征图进行通道上的连接，得到中间特征，并经过两个3*3卷积进行特征融合，得到融合后的语义特征图。
93.步骤300：将融合后的三层语义特征图分别输入多尺度注意力模块，得到对应语义特征图的尺度感知信息特征。多尺度注意力模块包括4个具有不同感受野的分支，依次为第一分支、第二分支、第三分支和第四分支，每个分支都可以感知不同尺度的信息。然后将4个分支的结果进行通道上的连接，并使用一个3*3的卷积进行特征融合后与全局通道注意力机制得到的特征信息相乘，得到对应语义特征图的尺度感知信息特征。
94.下面对全局通道注意力机制进行具体说明：
95.先对输入特征图进行通道、高度和宽度3个维度上的维度转置及平铺操作，得到维度转置及平铺操作后的特征图；然后使用线性变换将特征图的通道维度降为原来的1/4，并使用relu激活函数进行非线性变换，再使用线性变换将通道维度变为与原特征图相同，来放大跨维度特征对通道维度的依赖性，得到经多层感知机处理后的特征图；然后进行通道、高度和宽度3个维度上的维度转置及重塑操作，得到维度转置及重塑操作后的特征图，再进行sigmoid函数变换，并与所述原始输入特征图进行逐元素乘法操作，得到输出特征图。
96.sigmoid函数的表达式为：式中，z是操作结果的每个元素，此处是指经过1*1卷积处理后的特征图，f(z)为每个元素sigmoid变换后的结果。
97.下面对多尺度交互结构进行具体说明：
98.先将小感受野特征图交互后的结果与大感受野特征图进行通道上的连接，得到中间特征；然后将中间特征使用一个3*3卷积进行特征融合后，得到融合后的多尺度交互特征图。
99.下面对全局空间注意力机制进行具体说明：
100.先将输入特征图经过卷积核尺寸为3*3、膨胀率与分支内部用于提取多尺度特征的膨胀卷积的膨胀率相同的膨胀卷积层，得到通道数缩减为原来的1/4的特征图，然后经过卷积核尺寸为3*3、膨胀率与分支内部用于提取多尺度特征的膨胀卷积的膨胀率相同的膨胀卷积层，得到通道数与原始输入特征图相同的特征图，然后进行sigmoid函数变换，并与
所述原始输入特征图进行逐元素乘法操作，得到输出特征图。
101.sigmoid函数的表达式为：式中，z是操作结果的每个元素，此处是指经过1*1卷积处理后的特征图，f(z)为每个元素sigmoid变换后的结果。
102.下面对每个分支的结构进行具体说明：
103.第一分支依次包含一个卷积层，一个膨胀卷积层，多尺度交互结构和全局空间注意力机制。先经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图，然后经过卷积核尺寸为3*3、膨胀率为1的膨胀卷积层，得到感受野为3*3的尺度特征图，然后送入多尺度交互结构，得到多尺度交互后的特征图，然后送入全局空间注意力机制，得到赋予全新特征权重的特征图。
104.第二分支依次包含一个卷积层，一个膨胀卷积层，多尺度交互结构和全局空间注意力机制。先经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图，然后经过卷积核尺寸为3*3、膨胀率为2的膨胀卷积层，得到感受野为7*7的尺度特征图，然后送入多尺度交互结构，得到多尺度交互后的特征图，然后送入全局空间注意力机制，得到赋予全新特征权重的特征图。
105.第三分支依次包含一个卷积层，一个膨胀卷积层，多尺度交互结构和全局空间注意力机制。先经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图，然后经过卷积核尺寸为3*3、膨胀率为3的膨胀卷积层，得到感受野为11*11的尺度特征图，然后送入多尺度交互结构，得到多尺度交互后的特征图，然后送入全局空间注意力机制，得到赋予全新特征权重的特征图。
106.第四分支依次包含一个卷积层，一个膨胀卷积层，多尺度交互结构和全局空间注意力机制。先经过卷积核尺寸为1*1的卷积层，得到通道数减少为原来的1/4的特征图，然后经过卷积核尺寸为3*3、膨胀率为4的膨胀卷积层，得到感受野为15*15的尺度特征图，然后送入多尺度交互结构，得到多尺度交互后的特征图，然后送入全局空间注意力机制，得到赋予全新特征权重的特征图。
107.步骤400：对所述高层语义特征图对应的尺度感知信息特征使用双线性插值的方法进行上采样操作，并使用一个1*1的卷积调整通道，然后与所述中层语义特征图对应的尺度感知信息特征进行按元素相加操作，得到融合后的特征。
108.步骤500：对融合后的特征使用双线性插值的方法进行上采样操作，并使用一个1*1的卷积调整通道，然后与所述低层语义特征图对应的尺度感知信息特征进行按元素相加操作，得到用于人群密度估计的主要特征图。
109.步骤600：将得到的用于人群密度估计的主要特征图输入深度神经网络模型后端网络，得到待估计图像对应的人群密度估计图和人群计数结果。所述后端网络包含两个卷积层，每个卷积层生成的特征图的通道数由输入至输出方向依次为64和1，两个卷积层的卷积尺寸均为3*3。将所述用于人群密度估计的主要特征图输入所述深度神经网络模型后端网络，依次经过两个卷积层后，得到人群密度估计图和人群计数结果。
110.实施例
111.下面结合本发明的具体实施例来进一步说明本发明的方案。
112.步骤1：建立用于人群计数的深度神经网络模型，整体结构如图2所示，包括以下步
骤：
113.1.1)建立前端网络模块，任意输入图像样本x，获得低层、中层和高层语义特征图，这一阶段包含十三次卷积操作和四次最大池化操作，依次为两个卷积层、一个池化层、两个卷积层、一个池化层、三个卷积层、一个池化层、三个卷积层、一个池化层和三个卷积层，卷积层的卷积核尺寸均为3*3，池化层步长均为2，卷积层生成特征图的通道数分别为64、64、128、128、256、256、256、512、512、512、512、512和512。经过第三次池化操作后得到低层语义特征图，经过第四次池化操作后得到中层语义特征图，经过第十三次卷积操作后得到高层语义特征图。
114.1.2)建立语义信息融合模块：
115.1.2.1)建立语义交互结构，接收1.1)低层、中层和高层语义特征图作为输入，经过语义交互，获得对应融合后的语义特征图，这一阶段可分为三个过程。首先，输入的高层语义特征图就作为高层语义特征图对应融合后的语义特征图；其次，输入的中层语义特征图与经过上采样操作的高层语义特征图对应融合后的语义特征图进行通道上的连接操作，并经过两个卷积核尺寸为3*3的卷积层，得到中层语义特征图对应融合后的语义特征图；最后，输入的低层语义特征图与经过上采样操作的中层语义特征图对应融合后的语义特征图进行通道上的连接操作，并经过两个卷积核尺寸为3*3的卷积层，得到低层语义特征图对应融合后的语义特征图。
116.1.2.2)建立多尺度注意力模块，分别接收1.2.1)融合后的三层语义特征图作为输入，进行尺度信息的提取，获得对应语义特征图的尺度感知信息特征，这一阶段包括4个具有不同感受野的分支、一个通道连接操作、一个3*3卷积和一个按元素相乘操作。4个具有不同感受野的分支都先通过一个1*1卷积将特征图的通道数减少为原来的1/4，再分别经过膨胀率对应为1、2、3和4的膨胀卷积层，卷积核尺寸都为3*3，然后将得到的感受野分别为3*3、7*7、11*11和15*15的尺度特征图送入多尺度交互结构。多尺度交互结构中输入的感受野为3*3的尺度特征图就作为感受野为3*3对应的多尺度交互特征图；输入的感受野为7*7的尺度特征图与感受野为3*3对应的多尺度交互特征图进行通道上的连接，得到中间特征，将中间特征使用一个3*3卷积进行特征融合后，得到感受野为7*7对应的多尺度交互特征图；输入的感受野为11*11的尺度特征图与感受野为7*7对应的多尺度交互特征图进行通道上的连接，得到中间特征，将中间特征使用一个3*3卷积进行特征融合后，得到感受野为11*11对应的多尺度交互特征图；输入的感受野为15*15的尺度特征图与感受野为11*11对应的多尺度交互特征图进行通道上的连接，得到中间特征，将中间特征使用一个3*3卷积进行特征融合后，得到感受野为15*15对应的多尺度交互特征图。将四个不同感受野对应的多尺度交互特征图都通过全局空间注意力机制进行处理。全局空间注意力机制中输入的感受野为3*3对应的多尺度交互特征图经过卷积核尺寸为3*3、膨胀率为1的膨胀卷积层将通道数缩减为原来的1/4，再经过卷积核尺寸为3*3、膨胀率为1的膨胀卷积层将通道数调整为与原特征图相同，然后进行sigmoid函数变换，并与原特征图进行逐元素乘法操作；输入的感受野为7*7对应的多尺度交互特征图经过卷积核尺寸为3*3、膨胀率为2的膨胀卷积层将通道数缩减为原来的1/4，再经过卷积核尺寸为3*3、膨胀率为2的膨胀卷积层将通道数调整为与原特征图相同，然后进行sigmoid函数变换，并与原特征图进行逐元素乘法操作；输入的感受野为11*11对应的多尺度交互特征图经过卷积核尺寸为3*3、膨胀率为3的膨胀卷积层将通道数缩减
为原来的1/4，再经过卷积核尺寸为3*3、膨胀率为3的膨胀卷积层将通道数调整为与原特征图相同，然后进行sigmoid函数变换，并与原特征图进行逐元素乘法操作；输入的感受野为15*15对应的多尺度交互特征图经过卷积核尺寸为3*3、膨胀率为4的膨胀卷积层将通道数缩减为原来的1/4，再经过卷积核尺寸为3*3、膨胀率为4的膨胀卷积层将通道数调整为与原特征图相同，然后进行sigmoid函数变换，并与原特征图进行逐元素乘法操作，每个元素的sigmoid变换计算公式如下：
[0117][0118]
将4个分支的结果进行通道上的连接，并使用一个3*3的卷积进行特征融合后与全局通道注意力机制得到的特征信息相乘，得到对应语义特征图的尺度感知信息特征。全局通道注意力机制中接收融合后的语义特征图作为输入，进行通道、高度和宽度3个维度上的维度转置及平铺操作；然后使用线性变换将特征图的通道维度降为原来的1/4，并使用relu激活函数进行非线性变换，再使用线性变换将通道维度变为与原特征图相同，得到经多层感知机处理后的特征图；然后进行通道、高度和宽度3个维度上的维度转置及重塑操作，再进行sigmoid函数变换，并与原输入特征图进行逐元素乘法操作，得到输出的特征信息。
[0119]
1.2.3)建立特征融合模块，接收1.2.2)三层语义特征图对应的尺度感知信息特征作为输入，进行特征融合，获得用于人群密度估计的主要特征图，这一阶段可分为两个过程。先对高层语义特征图对应的尺度感知信息特征进行上采样操作，并使用一个1*1的卷积将通道调整为256，然后与中层语义特征图对应的尺度感知信息特征进行按元素相加操作，得到融合后的特征；对融合后的特征进行上采样操作，并使用一个1*1的卷积将通道调整为128，然后与低层语义特征图对应的尺度感知信息特征进行按元素相加操作，得到用于人群密度估计的主要特征图。
[0120]
1.3)建立后端网络模块，接收1.2.3)用于人群密度估计的主要特征图作为输入，获得输入图像样本x对应的人群密度估计图和人群计数结果，这一阶段包含两次卷积操作，卷积核尺寸均为3*3，卷积层生成特征图的通道数分别为64和1，从而获得人群密度估计图和人群计数结果。使用人群密度估计图和真值密度图的欧几里得距离作为损失函数，对每一张单幅图像的人群密度估计图和真值密度图求绝对差值，并对所有图像的绝对差值的总和求平均，得到损失函数的结果，计算公式如下：
[0121][0122]
其中，θ表示网络模型的参数，n表示训练样本的数量，xi表示网络输入的原始图像，g(xi；θ)表示原始图像经过网络模型后得到的估计密度图，表示真值密度图。
[0123]
在每次得到待估计图像对应的人群密度估计图和人群计数结果之后，根据深度神经网络模型的损失函数确定深度神经网络模型的误差，将所述误差反向传播，调整所述深度神经网络模型的参数，对所述深度神经网络模型进行优化。待学习参数θ采用adam优化算法在每一次优化迭代中更新，直到加权和结果l(θ)收敛到一个较小的值，保存参数及训练后的模型。
[0124]
使用训练后的深度神经网路模型对任意输入的图像进行人群计数，将任意单张图像直接输入到训练后的模型中，即可得到对应的人群密度估计图和人群计数结果，如图3所
示，图3为采用本发明基于特征交互的人群计数方法进行人群计数的示意图。
[0125]
综上所述，本发明通过多尺度注意力模块提取丰富的多尺度信息，提升了提取多尺度信息的能力和对有价值信息的敏感度，克服了传统多列网络中的规模限制及特征相似性问题；通过语义信息融合模块对主干网络的不同层次的语义信息进行交互和融合，提供更为丰富的细节特征，增强网络的特征聚合能力，提升了对主干网络的利用效率。