一种基于深度神经网络的小样本图像目标计数方法

本发明涉及计算机视觉，尤其涉及一种基于深度神经网络的小样本图像目标计数方法。

背景技术：

1、图像目标计数旨在对图像中的目标实体通过目标检测、机器学习等方法进行数量统计，在实际生活中有着广泛的应用。例如，在生物学中通过细胞计数辅助生物研究，在交通系统中通过车辆计数统计车流量，在客流密集场景下通过人群计数对人流量进行预警和控制，避免人群踩踏事件的发生。

2、图像目标计数任务早期技术路线是通过传统图像数字处理方法提取图像特征，然后利用人工设计的算子或者机器学习模型对图像到计数值之间的映射函数进行学习。随着人工智能技术的发展，深度学习模型在计算机视觉领域取得了巨大的突破。由于强大的表征学习能力，深度学习被广泛地用于图像目标计数任务。

3、然而现有的基于峰值查找算法的目标计数模型多集中于对某一特定类别目标的计数，一般需要大量的标注数据并且不能很好的泛化到其他域，缺乏对通用类别目标计数的泛化能力。

技术实现思路

1、本发明针对现有技术的不足，提出了一种基于深度神经网络的小样本图像目标计数方法，以实现通过少量样本使深度神经网络模型快速掌握学习图像目标计数的能力，并在新域上实现泛化的图像目标计数。

2、本发明采用的技术方案为：

3、一种基于深度神经网络的小样本图像目标计数方法，该方法包括下列步骤：

4、步骤1，对输入的查询图像和支持图像进行图像预处理；

5、步骤2，使用预训练的骨干网络对图像预处理后的支持图像和查询图像进行多级特征提取，分别得到每级尺度下的支持图像特征和查询图像特征，其中，下标i为尺度区分符；

6、步骤3，将步骤2提取的支持图像特征和查询图像特征送入特征交互模块，得到类未知匹配特征；

7、步骤4，将类未知匹配特征送入解码器，输出预测密度图；

8、步骤5，在初训练阶段，基于预测密度图和密度图标签的密度预测损失对骨干网络、特征交互模块和解码器组成的密度模型进行网络参数更新，得到初训练好的密度模型；

9、步骤6，在迁移训练阶段，迭代使用密度图峰值查找算法查找预测密度图的图像目标区域并计算迁移损失，对初训练好的密度模型的解码器进行迁移学习，得到用于目标域图像的密度模型，以基于该密度模型输出的预测密度图获取目标域的查询图像的目标类别实体的密度分布估计和计数。

10、进一步的，步骤1的图像预处理包括：

11、对输入的支持图像和查询图像进行图像尺寸归一化处理和数据增强处理。

12、进一步的，步骤1的数据增强处理包括高斯模糊、旋转平移、随机水平和垂直翻转。

13、进一步的，步骤2采用的骨干网络为层数为50层的深度残差网络，选取其中间阶段输出的不同尺度的特征图作为骨干网络的多级特征提取结果。

14、进一步的，步骤3具体包括：

15、步骤31，对于每级尺度下的支持图像特征和查询图像特征，将查询图像特征输入到一个卷积核为3×3的可变性卷积神经网络，并将支持图像特征作为权重向量，经过卷积计算得到第i个尺度的第一响应特征；

16、步骤32，对第一响应特征使用卷积注意力模块进行通道维和空间维的注意力计算，得到第一响应特征的空间注意力图和通道注意力图，再将两者进行像素级相乘，得到第二响应特征；

17、步骤33，对第二响应特征进行特征聚合得到类未知匹配特征（聚合特征）。

18、进一步的，步骤33中，特征聚合具体为：将不同尺度的第二响应特征中的最小尺度作为目标尺度，将非目标尺度的第二响应特征下采样至目标尺度，再进行通道维度拼接。

19、进一步的，步骤4的解码器包括若干个堆叠的解码模块，每个解码模块依次包括：上采样层、卷积核为3×3的卷积层和relu激活函数。

20、进一步的，步骤5中的密度预测损失具体设置为：

21、

22、其中，为密度预测损失，为第j个训练样本的预测密度图，为第j个训练样本的密度图标签，为均方误差函数，n为批训练样本数。

23、进一步的，步骤6中使用密度图峰值查找算法查找预测密度图的目标图像区域具体为：

24、对预测密度图进行池化核为s×s的最大池化操作，s为输入的支持图像的平均边长；

25、对最大池化操作前后的预测密度图进行对比，找到池化前后密度值相等的像素点位置，将其标记为图像峰值点；

26、过滤预测密度值小于预置阈值的图像峰值点，基于保留的图像峰值点得到图像目标区域。

27、进一步的，步骤6中的迁移损失具体为：

28、

29、其中，为迁移损失，为高斯分布损失，为前景密度局部损失；

30、高斯分布损失和前景密度局部损失的计算公式分别为：

31、；

32、；

33、其中，a为图像目标区域的坐标点集合，为(x,y)位置处的服从标准二维正态分布的值，是密度模型输出的(x,y)位置处的预测密度值。

34、本发明提供的技术方案至少带来如下有益效果：

35、本发明可迁移到训练数据集中未出现过的新类别上直接推理，实现对任意类别的通用目标计数；且对于新类别无需专门制作标注数据集，可以直接应用小样本计数模型对其推理，节省对目标类别数据集的标注成本。

技术特征：

1.一种基于深度神经网络的小样本图像目标计数方法，其特征在于，包括下列步骤：

2.如权利要求1所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤1的图像预处理包括：

3.如权利要求2所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，数据增强处理包括高斯模糊、旋转平移、随机水平和垂直翻转。

4.如权利要求1所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤2采用的骨干网络为层数为50层的深度残差网络，选取其中间阶段输出的不同尺度的特征图作为骨干网络的多级特征提取结果。

5.如权利要求1所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤3具体包括：

6.如权利要求5所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤33中，特征聚合具体为：

7.如权利要求1所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤4的解码器包括若干个堆叠的解码模块，每个解码模块依次包括：上采样层、卷积核为3×3的卷积层和relu激活函数。

8.如权利要求1所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤5中的密度预测损失具体设置为：

9.如权利要求1所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤6中使用密度图峰值查找算法查找预测密度图的目标图像区域具体为：

10.如权利要求9所述的一种基于深度神经网络的小样本图像目标计数方法，其特征在于，步骤6中的迁移损失具体为：

技术总结
本发明公开了一种基于深度神经网络的小样本图像目标计数方法，属于计算机视觉技术领域。本发明包括：对输入的查询支持图像进行图像预处理；使用预训练的骨干网络分别对支持和查询图像进行多尺度特征提取；将各级尺度提取的支持和查询图像特征分别送入特征交互模块进行特征匹配；得到类未知匹配特征，将类未知匹配特征送入解码器，输出预测密度图；初训练阶段基于预测密度图和密度图标签的密度预测损失对的密度模型进行网络参数更新；迁移训练阶段基于迁移损失对密度模型的解码器进行迁移学习，以获取目标域的查询图像的目标类别实体的密度分布估计和计数。本发明可迁移到训练数据集中未出现过的新类别上直接推理，实现对任意类别的通用目标计数。

技术研发人员：王静,翟超,屈鸿
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/4/8