基于多级特征细化的遮挡行人重识别方法、系统及介质

本发明属于计算机视觉，具体涉及一种基于多级特征细化的遮挡行人重识别方法、系统、终端设备及存储介质。

背景技术：

1、随着社会生产力的迅速增长、国民经济的快速发展和国力的不断增强，安全防护和事件记录与报警系统在各个领域的需求都与日俱增。视频监控作为自动安防与报警的重要手段之一，在交通管理、公共安全、军事设施等方面得到了非常广泛的应用，对社会的稳定和进步发挥着巨大的作用。虽然监控摄像头已经广泛地存在于路口、商场、学校、车站等公共场所，但是其主要作用还只是录制视频和拍摄图像，大多数情况下实际的监控工作还是需要较多的人工操作。

2、行人重识别(reid)旨在通过计算机解决跨摄像头下的同身份行人检索匹配问题，该方法被广泛应用于多摄像头跟踪、视频监控和刑事搜索中。然而，大多数reid方法都假设匹配中的行人是包含全身的站立行人图像，这就忽略了现实世界中常见的遮挡场景。在一些现实场景中，如医院、火车站、商场和其他拥挤的场景，行人经常被其他行人或静态物体部分遮挡。由于部分身体信息的缺失和遮挡造成的识别困难，一般的reid方法很难在遮挡行人重识别任务中达到令人满意的性能。因此遮挡场景下的行人重识别是一个具有挑战性的研究课题。

3、解决reid中遮挡问题的主要思路是从背景噪声中集中注意到非遮挡的人体局部。目前最先进的遮挡行人重识别方法基本上都是基于关键点或注意力机制的方法。基于关键点的方法通常使用姿态估计作为额外的辅助信息，以使模型关注行人的非遮挡部分。尽管如此，这些方法在很大程度上依赖于现有的姿态估计模型，且其检索性能仍有改进的空间。基于注意力的方法通常通过注意力机制去关注被遮挡的行人图像中的非遮挡人体部分。现有的基于注意力的方法缺乏对特征提取层结果的充分利用，它们侧重于通过注意力模块获得区分性的局部特征，而失去了对细微视图变化和内部变化具有鲁棒性的全局特征。

技术实现思路

1、为了解决上述现有技术的不足，本发明提供了一种基于多级特征细化的遮挡行人重识别方法、系统、终端设备及存储介质，该方法通过设计一个端到端的多级特征细化卷积神经网络，通过采用多级特征细化机制，实现了对行人图像特征的提取及多级细化，最终获得了对遮挡鲁棒的行人检索特征，有效提高了遮挡场景下行人重识别的精度。

2、本发明的第一个目的在于提供一种基于多级特征细化的遮挡行人重识别方法。

3、本发明的第二个目的在于提供一种基于多级特征细化的遮挡行人重识别系统。

4、本发明的第三个目的在于提供一种终端设备。

5、本发明的第四个目的在于提供一种存储介质。

6、本发明的第一个目的可以通过采取如下技术方案达到：

7、一种基于多级特征细化的遮挡行人重识别方法，所述方法包括：

8、获取遮挡场景下的行人图像并进行预处理；

9、利用resnet-50与非局部注意模块构建多级特征细化卷积神经网络中的骨干网络，所述骨干网络根据预处理后行人图像提取被遮挡行人特征，以实现行人特征的初级细化；

10、构建多级特征细化卷积神经网络中的两级多支路架构，两级多支路架构中的主支路和子支路根据所述被遮挡行人特征，以实现被遮挡行人特征的再细化和最终细化；将所有子支路输出的特征输入多级特征细化卷积神经网络中的基础操作模块，获得最终的行人全局特征、局部特征和补充特征；

11、将所述行人全局特征、局部特征和补充特征进行拼接，将拼接后的特征作为最终的行人特征用于行人跨相机的检索与匹配，以实现遮挡场景下的行人重识别。

12、进一步的，所述骨干网络为非局部注意力模块强化的resnet-50骨干网络，仅包括conv5_x之前的模块；所述非局部注意力模块对输入的特征图用三个不同的卷积层进行映射并降维分别获得query、key和value，接着对query和key进行点乘计算并将结果通过softmax函数以作为value的注意力图，将value乘以注意力图并由卷积层恢复输入特征图的维度，最后将输出与输入的特征图做残差相加获得最终的非局部注意力模块输出。

13、进一步的，所述两级多支路架构中的主支路包括全局支路、自注意力支路和交叉注意力支路，其中：

14、所述全局支路中conv5_x块的下采样操作被取消，利用全局支路实现行人特征对视图变化和内部变化的鲁棒性表示；

15、所述自注意力支路中conv5_x块的下采样操作被保留，自注意力支路包括自注意力模块，在自注意力模块中使用多头自注意力模块操作捕捉特征长距离的依赖性；

16、所述交叉注意力支路中的交叉注意力机制，用于减少交叉注意力支路输出的特征与自注意力支路输出特征之间的差异，以使两个支路之间的注意区域保持大致一致；此外，交叉注意力支路的独特注意区域被看作是对自注意力支路所遗漏的非遮挡人体局部的补充性注意区域。

17、进一步的，每条主支路之后均连接两个子支路，两个子支路分别进行全局最大池化操作和全局平均池化操作，以获得更丰富的特征信息。

18、进一步的，所述在自注意力模块中使用多头自注意力模块操作捕捉特征长距离的依赖性，包括：

19、将预处理后行人图像输入骨干网络，将骨干网络输出的图像特征在自注意力支路中进行下采样后，得到特征图；

20、将特征图转化为二维序列，将二维序列与三个不同的权重矩阵相乘，分别得到key、query和value；

21、将得到的key、query和value分别沿通道方向平均分成h个子集如{q1,q2,...,qh}、{k1,k2,...,kh}和{v1,v2,...,vh}，对于第j个头，qj、kj、vj被送入独立的第j个注意力操作头进行独立的交叉注意操作，以捕捉特征图空间上的长距离依赖关系；其中h为多头自注意力操作中的头数；

22、将每个头下输出的二维序列进行拼接汇总，并转化为特征图作为多头自注意力模块的输出；

23、通过上述的操作，从自我注意力支路中获得注意到的具有区分性的局部特征。

24、进一步的，交叉注意力支路的结构与自注意力支路相同，只是其中使用的多头交叉注意力操作中的key、value均来自自注意力主支路；qj、kj、vj被送入独立的第j个注意力操作头进行独立的交叉注意操作，以补充更丰富的特征图空间上的长距离依赖关系。

25、进一步的，所述基础操作模块包括如下操作：首先用卷积层对输入的特征进行降维，然后使用单独的bn层对特征进行归一化，在bn层之前使用欧氏距离计算三元组损失，在bn层之后用余弦距离计算id损失。

26、进一步的，在多级特征细化卷积神经网络训练阶段，将预处理后的行人图像进行图像增强，以及为了将网络学习的特征集中在与身份相关的判别信息上，采用带标签平滑的交叉熵损失和难样本采样的三元组损失监督训练过程。

27、进一步的，所述获取遮挡场景下的行人图像并进行预处理，包括：

28、使用行人检测算法从多个摄像机中对同身份的行人进行检测并裁剪出来，得到遮挡场景下的行人图像；

29、将所述行人图像保存为相同的尺寸。

30、本发明的第二个目的可以通过采取如下技术方案达到：

31、一种基于多级特征细化的遮挡行人重识别系统，所述系统包括：

32、行人图像获取模块，用于获取遮挡场景下的行人图像并进行预处理；

33、行人特征初级细化模块，用于利用resnet-50与非局部注意模块构建多级特征细化卷积神经网络中的骨干网络，所述骨干网络根据预处理后行人图像提取被遮挡行人特征，以实现行人特征的初级细化；

34、行人特征再细化模块，用于构建多级特征细化卷积神经网络中的两级多支路架构，两级多支路架构中的主支路和子支路根据所述被遮挡行人特征，以实现被遮挡行人特征的再细化和最终细化；将所有子支路输出的特征输入多级特征细化卷积神经网络中的基础操作模块，获得最终的行人全局特征、局部特征和补充特征；

35、行人重识别模块，用于将所述行人全局特征、局部特征和补充特征进行拼接，将拼接后的特征作为最终的行人特征用于行人跨相机的检索与匹配，以实现遮挡场景下的行人重识别。

36、本发明的第三个目的可以通过采取如下技术方案达到：

37、一种终端设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的遮挡行人重识别方法。

38、本发明的第四个目的可以通过采取如下技术方案达到：

39、一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的遮挡行人重识别方法。

40、本发明相对于现有技术具有如下的有益效果：

41、1、本发明提供的方法与现有方法相比，设计的多级特征细化卷积神经网络是一个端到端的网络，不用依赖任何辅助模型。

42、2、本发明提供的方法通过多级特征细化卷积神经网络采用多级的特征细化机制，利用多支路架构与多种注意力机制，实现了遮挡场景下行人图像中非遮挡人体局部更加精细的关注，并将局部特征及其补充特征与全局特征相结合，在关注局部的同时保留了模型对整体视图变化和内部变化的鲁棒性。

43、3、本发明提供的方法最终获得了对遮挡鲁棒的行人检索特征，有效提高了遮挡场景下行人重识别的精度。