面向目标计数的选择性继承学习方法、装置以及电子设备与流程

本申请涉及计算机视觉，具体涉及一种面向目标计数的选择性继承学习方法、装置以及电子设备。

背景技术：

1、利用计算机视觉技术进行目标计数有着广泛的应用，例如对密集场景的人群计数可以给估计人群密度，防止踩踏事故的发生，对于交通场景中的车辆计数可以辅助交通管理，在医疗场景下的细胞计数可以辅助诊断疾病，野外场景中动物计数可以帮助保护珍惜物种，农作物计数可以准确预估作物产量。

2、深度学习是目前用于目标计数的一个常用范式。构建的深度模型首先会提取输入图像关于待计数目标的有效特征，然后输出一张单通道的密度图，最后，利用标注的目标中心点生成的高斯密度图进行监督，从而不断的优化模型，使得预测的密度图和真实的密度图之间的距离不断缩小。

3、现有技术方案中，缩放图像块的方法是解决目标计数中尺度变化的一种新的范式，其在第一阶段先为给定的图像块或特征块预估适当的缩放因子，然后根据尺度预测因子缩放图像或特征到合适的尺度再进行第二阶段的密度预测。该方法使得整体的计数方法实现复杂度增加，训练开销增大；其次，该方法难以一次预测得到整张图像的密度预测图，增加了推理所需的时间。

4、多尺度融合方法也被广泛应用构建尺度感知的目标计数方法。一般来说，多尺度融合方法首先构建图像的多尺度特征表示，然后利用注意力机制来加权融合不同分辨率的特征或者密度图。但由于多尺度融合方法没有独立优化每个尺度所擅长的目标尺度范围，使得这一类方法无法有效解决尺度变化的问题。

技术实现思路

1、本申请实施例提供了一种面向目标计数的选择性继承学习方法，以解决现有技术中，无法有效解决尺度变化的问题的问题。

2、相应的，本申请实施例还提供了一种面向目标计数的选择性继承学习装置、一种电子设备、一种计算机可读存储介质，用于保证上述方法的实现及应用。

3、为了解决上述技术问题，本申请实施例公开了一种面向目标计数的选择性继承学习方法，所述方法包括：

4、将目标图像输入特征提取网络，提取到多个不同分辨率的第一特征；

5、按照分辨率从低到高的次序，利用预设的选择性继承适配器从低分辨率的融合特征中提取并传递第二特征，并将所述第二特征与高分辨率的第一特征融合生成高分辨率的融合特征；

6、将最高分辨率下的所述融合特征作为目标特征，并根据所述目标特征进行目标计数；

7、其中，最低分辨率的所述融合特征为最低分辨率的第一特征；所述选择性继承适配器设于相邻的所述第一特征之间；所述第二特征为所述低分辨率的融合特征中最具有鉴别性的特征区域。

8、本申请实施例还公开了一种面向目标计数的选择性继承学习装置，所述装置包括：

9、特征提取模块，用于将目标图像输入特征提取网络，提取到多个不同分辨率的第一特征；

10、特征传递模块，用于按照分辨率从低到高的次序，利用预设的选择性继承适配器从低分辨率的融合特征中提取并传递第二特征，并将所述第二特征与高分辨率的第一特征融合生成高分辨率的融合特征；

11、目标计数模块，用于将最高分辨率下的所述融合特征作为目标特征，并根据所述目标特征进行目标计数；

12、其中，最低分辨率的所述融合特征为最低分辨率的第一特征；所述选择性继承适配器设于相邻的所述第一特征之间；所述第二特征为所述低分辨率的融合特征中最具有鉴别性的特征区域。

13、本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请实施例中一个或多个所述的方法。

14、本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如本申请实施例中一个或多个所述的方法。

15、本申请实施例中，将目标图像输入特征提取网络，提取到多个不同分辨率的第一特征；按照分辨率从低到高的次序，利用预设的选择性继承适配器从低分辨率的融合特征中提取并传递第二特征，并将所述第二特征与高分辨率的第一特征融合生成高分辨率的融合特征；其中，最低分辨率的所述融合特征为最低分辨率的第一特征；所述选择性继承适配器设于相邻的所述第一特征之间；所述第二特征为所述低分辨率的融合特征中最具有鉴别性的特征区域；然后，将最高分辨率下的所述融合特征作为目标特征，并根据所述目标特征进行目标计数。本申请实施例可以在每个分辨率下选择最具有鉴别性的特征区域进行特征学习，并从低分辨率向高分辨率逐步继承具有鉴别性的特征，可以有效解决尺度变化的问题。

16、本申请实施例附加的方面和优点将在下面的描述部分中给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种面向目标计数的选择性继承学习方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向目标计数的选择性继承学习方法，其特征在于，所述选择性继承适配器包括尺度非自定义特征前向传播网络和软掩码生成器，所述利用预设的选择性继承适配器从低分辨率的融合特征中提取并传递第二特征，包括：

3.根据权利要求2所述的面向目标计数的选择性继承学习方法，其特征在于，所述将最高分辨率下的所述融合特征作为目标特征，并根据所述目标特征进行目标计数之前，所述方法还包括：

4.根据权利要求3所述的面向目标计数的选择性继承学习方法，其特征在于，所述选择性继承适配器还包括尺度自定义特征前向传播网络，所述利用所述选择性继承适配器从所述第一特征中提取预测特征，包括：

5.根据权利要求2中任一项所述的面向目标计数的选择性继承学习方法，其特征在于，所述确定所述利用软掩码生成器处理所述低分辨率的融合特征，获得未聚合的特征，并利用所述未聚合的特征生成第一注意力映射图，包括：

6.根据权利要求5所述的面向目标计数的选择性继承学习方法，其特征在于，所述确定所述低分辨率的融合特征中的目标区域，包括：

7.根据权利要求1所述的面向目标计数的选择性继承学习方法，其特征在于，每组相邻的所述第一特征之间均设有所述选择性继承适配器，且所述选择性继承适配器为同一个。

8.根据权利要求4所述的面向目标计数的选择性继承学习方法，其特征在于，所述尺度非自定义特征前向传播网络和所述尺度自定义特征前向传播网络均包括两个卷积层；

9.一种面向目标计数的选择性继承学习装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法。

技术总结
本申请涉及计算机视觉技术领域，公开了一种面向目标计数的选择性继承学习方法、装置以及电子设备。所述方法将目标图像输入特征提取网络，提取到多个不同分辨率的第一特征；按照分辨率从低到高的次序，利用预设的选择性继承适配器从低分辨率的融合特征中提取并传递第二特征，并将第二特征与高分辨率的第一特征融合生成高分辨率的融合特征；其中，第二特征为低分辨率的融合特征中最具有鉴别性的特征区域；将最高分辨率下的融合特征作为目标特征，并根据目标特征进行目标计数。本申请实施例可以在每个分辨率下选择最具有鉴别性的特征区域进行特征学习，并从低分辨率向高分辨率逐步继承具有鉴别性的特征，可以有效解决尺度变化的问题。

技术研发人员：白磊,韩滔,欧阳万里
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/1/15