一种模态增强和补偿的跨模态行人重识别方法

本发明涉及计算机视觉，特别涉及一种模态增强和补偿的跨模态行人重识别方法。

背景技术：

1、reid(行人重识别)的目标是匹配来自多个非重叠摄像机的行人图像，在当代监控系统中具有重要意义，因此近年来引起了广泛关注。以往的研究主要集中在匹配可见光摄像机捕捉的行人图像上，将reid任务视为单模态匹配问题。然而，在光照条件较差的场景中，可见光摄像机通常无法提供准确的外观信息。为了克服这个限制，现代监控系统引入了红外摄像机，在低光条件下特别是在夜间可以拍摄清晰的图像。vi-reid(可见光红外的跨模态行人重识别)成为一个日益受关注的领域。vi-reid旨在匹配红外图像与可见光图像中的同一人物，跨越多个摄像机视图解决跨模态匹配的挑战，主要挑战是可见光和红外光之间存在显著的差异。

2、现有vi-reid方法主要通过特征级和图像输入级进行模态补偿，达到缓解模态差异的作用。在特征级方面，一些研究利用双流网络进行跨模态特征嵌入，尝试提取具有辨别力的模态共享特征来进行vi-reid。然而，这些模型无意中会忽略可能有助于vi-reid匹配行人的特定模态行人身份信息。后来，fmcnet(特征级模态补偿网络)通过使用另一种模态的现有共享模态特征直接生成缺失的特定模态特征，以在特征级上弥补特定模态信息的缺失。还有一些模型在图像输入层面融合可见光和红外光来获取辅助模态，捕捉特定模态和共享模态的行人信息，以有效地解决跨模态和模态内部的差异。x模态方法通过使用额外的轻量级网络在自监督学习下训练来生成互补和辅助的x模态，以缓解模态差异,利用可见图像生成中间模态，而忽略了红外模态，并未捕捉多个模态的特征分布。随后，提出了dfm来解决可见光和红外模态之间的像素级差异,如smcl(综合模态协作学习)模型，以促进模态不变表示的生成和跨模态差距的缩小，自动构建了一个将异构图像的特征集成起来的新模态。

3、但是，尽管上述方法具有一定的有效性，仍然存在两个缺点。首先，它们在生成共享特征的补偿特征时没有考虑不同摄像机之间的视角变化，因此可能包含无法区分的模态信息，从而降低模型行人识别的性能。其次，上述方法仅侧重于从图像输入的角度进行像素级融合，忽略了模态之间存在不匹配的问题。

技术实现思路

1、本发明所要解决的问题是：提供一种模态增强和补偿的跨模态行人重识别方法，构建模态增强和补偿空间并将其集成到特征级别，解决不同摄像机之间存在视角变化导致不同模态的行人信息无法区分，以及图片进行像素级融合时存在模态之间不匹配的问题。

2、本发明采用如下技术方案：一种模态增强和补偿的跨模态行人重识别方法，步骤如下：

3、步骤s1、构建双流骨干网络，基于输入图片，分别提取可见光模态和红外模态的行人特征信息；

4、步骤s2、构建模态增强空间，提取具有充分行人模态信息的特征；

5、步骤s3、构建模态补偿空间，从三个维度补偿两个模态相应的缺失模态信息；

6、步骤s4、设计模态相互指导学习策略，指导两个模态相互学习相应的行人身份信息，并引导模态特征对齐匹配；

7、步骤s5、利用损失函数进行网络优化，对网络提取的特征进行相似性度量，输出行人匹配结果。

8、进一步地，步骤s1基于resnet-50构建双流骨干网络，双流骨干网络分为五个阶段，前三个阶段是特定模态阶段，分别针对红外模态和可见光模态构建两个网络分支，然后提取两个模态的浅层次行人特征，后两个阶段为共享模态阶段，共同提取两个模态的行人特征信息。

9、进一步地，步骤s2模态增强空间，堆叠多个不同类型的卷积块，并结合通道注意力机制对共享模态中提取的行人特征信息进行增强，使得提取的行人特征具有更丰富的身份相关信息。

10、进一步地，步骤s3模态补偿空间，分别从模态增强空间中提取出的行人增强特征的高度、宽度和通道三个维度进行相应模态特征的信息补偿，使得相应的模态特征不再缺失另外一个模态的行人信息，从而可以缓解模态之间的差异。

11、进一步地，步骤s4模态相互指导学习策略，由两个设计的损失指导特征学习，其中包括身份信息互学习损失和模态引导对齐损失。

12、进一步地，步骤s5使用通用的交叉熵损失、中心损失进行训练优化整个网络。

13、本发明技术方案还提供了：一种电子设备，包括：

14、一个或多个处理器；

15、存储装置，其上存储有一个或多个程序；

16、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一模态增强和补偿的跨模态行人重识别方法。

17、本发明技术方案还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述任一模态增强和补偿的跨模态行人重识别方法中的步骤。

18、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

19、1、本发明模态增强和补偿的跨模态行人重识别方法，构造了模态增强空间和模态补偿空间来解决模态差异；利用模态增强空间提取具有丰富模态信息的辨别性特征，利用模态补偿空间补偿缺失的行人模态信息。

20、2、本发明模态增强和补偿的跨模态行人重识别方法，引入了一种模态相互指导学习策略来联合优化网络框架，通过提出身份信息互学习损失和模态引导对齐损失来增强身份相关特征的学习能力，缩小两种模态的分布差距。

技术特征：

1.一种模态增强和补偿的跨模态行人重识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的模态增强和补偿的跨模态行人重识别方法，其特征在于，步骤s1，基于resnet-50构建双流骨干网络，所述双流骨干网络分为五个阶段，具体如下：

3.根据权利要求2所述的模态增强和补偿的跨模态行人重识别方法，其特征在于，步骤s2构建模态增强空间，堆叠若干不同类型的卷积块，并结合通道注意力机制，对双流骨干网络中共享模态阶段提取的行人特征信息进行增强，获取行人识别信息，使得提取的行人特征具有身份相关信息，在模态增强空间中生成增强行人特征。

4.根据权利要求3所述的模态增强和补偿的跨模态行人重识别方法，其特征在于，所述模态增强空间为具有不同尺度的双分支结构，每个分支包括三个阶段，由三种卷积结构组成，包括down-conv、enhance-conv和up-conv；构建模态增强空间，具体步骤如下：

5.根据权利要求3所述的模态增强和补偿的跨模态行人重识别方法，其特征在于，步骤s3构建模态补偿空间，基于红外模态和可见光模态之间的差异，分别从模态增强空间中提取出的增强行人特征的高度、宽度和通道三个维度，进行相应模态特征的信息补偿，丰富行人身份信息并提高特征表示的鲁棒性，使得相应的模态特征不再缺失另一个模态的行人身份信息，缓解模态之间的差异。

6.根据权利要求5所述的模态增强和补偿的跨模态行人重识别方法，其特征在于，构建模态补偿空间，用可见光模态信息补偿红外模态特征，具体步骤如下：

7.根据权利要求6所述的模态增强和补偿的跨模态行人重识别方法，其特征在于，步骤s4中模态相互指导学习策略，通过身份信息互学习损失和模态引导对齐损失共同优化整个网络，具体步骤如下：

8.根据权利要求1所述的模态增强和补偿的跨模态行人重识别方法，其特征在于，步骤s5中利用身份损失和circle损失对网络和分类结果进行优化，表示为：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时，实现权利要求1至8中任一项所述的模态增强和补偿的跨模态行人重识别方法中的步骤。

技术总结
本发明公开了一种模态增强和补偿的跨模态行人重识别方法，引入了模态相互指导策略，指导可见光和红外模态的对齐匹配。首先，通过堆叠具有不同类型和感受野尺度的卷积来构建双分支结构的模态增强空间，旨在提取足够的模态信息用于特征补偿阶段；然后，构建模态补偿空间，分别从高度、宽度和通道三个维度通过特征级模态信息融合来补偿可见光或红外模态中相应的行人模态缺失信息；最后，设计了一种模态相互指导学习策略，通过使用身份信息互学习损失和模态引导对齐损失进行联合优化，输出行人匹配结果。本发明方法构建了模态增强和补偿空间并将其集成到特征级别，以改善跨模态差异，提取更具有辨别力的行人模态信息。

技术研发人员：邓淑雅,程旭
受保护的技术使用者：南京信息工程大学
技术研发日：
技术公布日：2024/3/24