基于多尺度递进式感知的多标签行人属性识别方法及介质

本发明涉及行人属性识别，尤其涉及基于多尺度递进式感知的多标签行人属性识别方法及介质。

背景技术：

1、行人属性识别的目的是在一张行人图像中识别出多个属性(例如：长发、西装、皮鞋、眼镜、年龄、性格等)。随着监控技术的迅速发展，大量的监控系统被部署在公共场所。因此，行人属性识别是一种获取特定目标语义属性信息的技术，近年来受到越来越多的关注，已成为视频监控应用中的关键技术。它也日益成为促进行人再识别和行人检索研究的主要选择。然而，尽管经过多年的努力，行人属性识别仍然是一个具有挑战性的问题，因为行人姿势、视点、照明、不完善的行人检测、遮挡、照明差异等会对识别结果造成影响。

2、在过去几年中，许多方法证明了它们在行人属性识别任务上的优越性。与传统图像分类任务(图像属于单一类别)不同，行人图像通常有多个需要分类的属性标签。行人属性识别被看做为一个多标签任务，为了预测特定属性的存在，需要对该行人属性存在的区域进行相关定位。

3、现有的方法采用一个主干网络进行特征提取，嵌入一个线性分类层，线性分类层中构建多个二进制分类器，在二值交叉熵损失函数的约束下，来预测多个行人属性。然而，现有方法忽略同一类属性在不同行人姿态下外观形式以及位置的变化，属性的展现形式是有所不同的；主干网络无法在学习全局特征信息的情况下，应对这种类内属性的变化。与此同时，主干网络都是采用同一种卷积核对图像进行特征提取，经常会忽略局部行人属性区域的特征。例如：当一个人左边背着包并正对摄像头；当行人背对摄像头时，背包出现在图像的右侧。与此同时，主干网络采用同一种卷积核对行人属性图像进行特征提取，会对部分属性区域有所忽略。由于，之前的方法更多关注在全局信息，缺乏对局部特征信息的学习，导致对提取出的特征无法对所有属性都有较好的鲁棒性。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于多尺度递进式感知的多标签行人属性识别方法，本发明引入了多尺度递进式感知模型嵌入主干网络中，用于对局部区域的特征学习。本发明提出的尺度递进式感知模型可以适用多种主干网络，来促进现有行人属性方法对局部属性的特征信息学习。除此以外，对于不同尺度特征信息，通过一个动态的聚合策略对多种特征结合，以提升整个行人属性区域的特征鲁棒性。

2、为了实现上述的技术目的，本发明所采用的技术方案为：

3、本发明提供了一种基于多尺度递进式感知的多标签行人属性识别方法，包括如下步骤：

4、步骤1、将行人图像输入到主干网络中，经过所述主干网络的多个残差卷积块进行特征提取，得到由每个残差卷积块输出的属性特征信息；

5、步骤2、构建多个多尺度递进式感知模型，并对每个多尺度递进式感知模型进行训练；

6、步骤3、将训练好的多个多尺度递进式感知模型嵌入到所述主干网络中，将目标残差卷积块输出的属性特征信息输入到对应的多尺度递进式感知模型中，得到多尺度特征信息；

7、步骤4、将多个多尺度特征信息均通过全局平均池化层处理后，送入第一属性预测层进行属性概率预测；

8、步骤5、将后一个多尺度递进式感知模型对应的第一属性预测层对前一个多尺度递进式感知模型对应的第一属性预测层做递进式约束。

9、进一步的，所述步骤1具体包括：

10、步骤11、将获取的行人数据集d中的第i张行人图像xi作为主干网络的输入，该第i张行人图像xi对应的行人属性标签定义为yi∈{0,1}m，其中，m代表行人属性的类别数，0表示该行人属性不存在，1表示该行人属性存在；

11、步骤12、所述主干网络包括依次连接的l个残差卷积块，所述行人图像作为第1个残差卷积块的输入，当前残差卷积块的输出作为下一个残差卷积块的输入；

12、步骤13、所述行人图像xi经过主干网络的残差卷积块进行特征提取，得到对应的属性特征信息，其表达式如下：

13、fl＝(bl{x|θ1，…θl})  (1)

14、其中，fl表示第l个残差卷积块输出的属性特征信息；bl代表主干网络中第1个到第l个的残差卷积块，θ1，…θl表示主干网络中第1个到第l个的残差卷积块的训练参数。

15、进一步的，所述步骤2具体包括：

16、步骤21、构建多个多尺度递进式感知模型；

17、步骤22、采用二值交叉熵作为损失函数，通过损失函数对每个多尺度递进式感知模型进行训练；

18、损失函数的表达形式为：

19、

20、

21、

22、其中，lbce表示损失函数，n和m表示数据量，i表示行人图像张数的编号，j表示行人属性的编号，表示第i张行人图像xi送入多尺度递进式感知模型中，对第i张行人图像xi中第j个行人属性的模型预测概率值；yi，j表示第i张行人图像的第j个行人属性标签值，ωj表示不均衡抑制因子；log表示对数函数，σ表示激活函数，e表示指数，rj表示第j个行人属性在训练集中正样本比例。

23、进一步的，所述步骤3具体包括：

24、步骤31、将所述主干网络中第1个到第l-1个残差卷积块作为目标残差卷积块，根据所述目标残差卷积块的个数设置尺度递进式感知模型的个数；

25、步骤32、将训练好的多个多尺度递进式感知模型嵌入到所述主干网络中；

26、步骤33、将第p个目标残差卷积块的输出fp输入到第p个多尺度递进式感知模型中，得到第p个尺度特征信息；p为正整数且取值范围是1≤p≤l-1。

27、进一步的，所述步骤33具体包括：

28、步骤331、将所述主干网络中每个目标残差卷积块输出的属性特征信息作为相对应的多尺度递进式感知模型的输入；

29、步骤332、在所述多尺度递进式感知模型中，将所述属性特征信息送入降维卷积层进行降维操作；

30、步骤333、将降维后的属性特征信息分别进入多个支路，通过不同的支路送入多种不同的卷积核中进行不同尺度的特征提取，得到不同的第一尺度特征；

31、步骤334、每个支路中卷积核提取出的第一尺度特征都经过一个全连接层对第一尺度特征的维度进行调整，再通过激活函数进行非线性处理，得到第二尺度特征；

32、步骤335、将每个支路中所述第二尺度特征和第一尺度特征进行相乘，作为该支路的输出特征；

33、步骤336、将多个支路的输出特征进行相加，得到多尺度特征信息。

34、进一步的，所述降维卷积层采用1x1卷积核。

35、进一步的，所述支路设置有3个，3个支路上分别设置有3种不同的卷积核，分别采用：3x3卷积核、5x5卷积核和7x7卷积核。

36、进一步的，所述步骤5是通过l2范数将后一个多尺度递进式感知模型对应的第一属性预测层对前一个多尺度递进式感知模型对应的第一属性预测层做递进式约束。

37、进一步的，所述步骤5之后还包括：

38、步骤6、将最后一个残差卷积块输出的属性特征信息通过全局平均池化层处理后，送入第二属性预测层，将所述第二属性预测层的输出结果作为最终的行人属性识别结果。

39、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于多尺度递进式感知的多标签行人属性识别方法。

40、采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：

41、本发明引入了尺度递进式感知模型，嵌入其主干网络中，用于对局部区域的特征学习。本发明提出的尺度递进式感知模型可以适用多种主干网络，来促进现有行人属性方法对局部属性的特征信息学习。除此以外，对于不同尺度特征信息，通过一个动态的聚合策略对多种特征结合，以提升整个行人属性区域的特征鲁棒性。此外，本发明提出的多尺度递进式感知模型是即插即用的，在推理期间没有任何额外的计算开销，在多个数据集上的实验验证了所提出的方法可以带来显著的性能提升。