基于多特征分离的行人重识别方法、系统与计算机可读介质与流程

本发明涉及图像处理，尤其是行人重识别，具体而言涉及一种基于多特征分离的行人重识别方法、系统与计算机可读介质。

背景技术：

1、重识别技术旨在从不同摄像头视角中匹配同一个目标物体的过程，其在交通、公共安防和视频监控中起着重要作用。在人物身份识别系统中，一个人的身份可以通过其人脸、身高、衣着和动作等各种信息来识别，但在一般的监控系统中存在大量的远角监控，摄像头分辨率较低，很难捕捉到清晰的面部信息，因此基于行人的重识别技术就非常具有使用价值。

2、在自然场景中，监控视频中存在众多混杂的背景信息，因此需要使用目标检测技术对行人进行定位，然后使用有区分力的特征对行人进行特征表示，最后使用相似性度量，对目标人物和候选人物的特征进行相似性比较，判断这些特征是否属于同一身份。

3、在深度学习行人重识别方面，现有方法选择通过直接应用深度卷积网络模型来提取特征向量。然而，利用深度卷积网络从整个行人图像中提取的单一全局特征很难达到预期的效果，这是因为摄像机捕捉到的人体图像通常包含随机背景信息，并且经常存在身体信息被遮挡或丢失的情况，这会严重影响模型性能。进而诞生基于局部的重识别方法，虽然局部的特征在解决行人重新识别问题上产生了一定效果，但需要考虑行人位置不齐问题和大数据问题。

4、以基于深度学习的行人重识别为例，现有的深度学习行人重识别的方法利用同一行人的不同图像相似度大于不同行人的不同图像，基于此对两张图像进行相似性度量时，使两张图像更加容易匹配到或区分开。在行人重识别问题上，具体为使用深度学习网络对图像进行特征提取，然后使用相似度度量函数对提取的特征进行相似度的判断。网络训练时，损失函数的定义使得相同行人图像(正样本对)的距离尽可能小，不同行人图像(负样本对)的距离尽可能大。但在算法处理过程中，匹配筛选耗时高、行人信息存在遮挡导致准确率下降以及背景环境变化，均会导致准确率的下降。匹配筛选耗时高是因为每一张图像都有至少一个特征向量，需要在库中寻找接近的特征来找到同一个行人，复杂度高度依赖于库中的特征数量。行人信息存在遮挡是因为拍摄到的行人有时会被建筑，标示牌等遮挡，遮挡后的行人进行特征提取时的特征变化较大，导致匹配时准确率下降。背景环境变化是因为行人重识别网络的输入为矩形图像，除行人外，图像中还有一些背景环境，导致同一行人在不同背景环境下的特征会受到背景环境的影响，使得匹配时准确率下降。

技术实现思路

1、鉴于现有技术存在的缺陷与不足，本发明目的在于提供一种基于多特征分离的行人重识别方法，结合识别模型训练前的分类筛选以及掩码与自注意力机制处理，使用图像分块和掩码，使识别算法关注到关键特征部分的细节，优化人物信息错乱，降低相似度度量的复杂度，提高度量的准确率，提高重识别算法的匹配精度。

2、根据本发明目的的第一方面，提出一种基于多特征分离的行人重识别方法，包括以下步骤：

3、步骤s1、获取相机拍摄的视频流，进行帧提取得到行人图像；

4、步骤s2、基于图像预训练网络模型，对所述行人图像进行图像增强，以及切割图像寻找局部兴趣掩码，再将掩码与增强的图像相结合，输出增强图像以及图像对应的掩码；

5、步骤s3、基于图像特征提取网络模型，对所述增强图像以及图像对应的掩码进行分块后，输入由vit-transformer构成的主分类网络进行行人分类信息分类输出。

6、作为可选的实施方式，所述图像预训练网络模型为预训练的生成网络，由编码器e、生成器g和鉴别器g构成；

7、所述编码器e接收输入的行人图像，通过编码生成预定长度的特征向量；

8、所述生成器g接收来自编码器e的特征向量，先通过卷积对特征向量进行扩张，再通过上采样和卷积层后，输出与行人图像相同尺寸的增强图像和掩码信息图像；

9、所述判别器d被设置用于在训练过程中判断空间信息真实性；

10、其中，所述图像预训练网络模型训练的损失函数为人物信息真实性损失和空间信息真实性损失之和，通过批量训练与迭代，获得生成网络。

11、作为可选的实施方式，所述图像特征提取网络模型通过对所述增强图像以及图像对应的掩码进行分块，得到分块后的图像块以及分块掩码比重，包括：

12、首先，对增强图像以及图像对应的掩码进行概率上的图像块划分；

13、然后，对每一块分块的图像块进行掩码覆盖面积计算，并计算掩码覆盖面积与总面积的比值，得到分块掩码比重，结合所述分块掩码比重以及所对应的图像块，作为所述vit-transformer构成的主分类网络的输入。

14、作为可选的实施方式，所述vit-transformer构成的主分类网络由宽度为768的vit、宽度为512的transformer和全连接层组成；

15、所述分块掩码比重以及所对应的图像块的组合输入主分类网络，通过vit、transformer和全连接层将提取的特征映射到512维的潜空间上，并对行人服饰类型、颜色和发型、发色进行分类，然后返回输出。

16、根据本发明目的的第二方面，提出一种计算机系统，包括：

17、一个或多个处理器；以及

18、存储器，存储可被操作的指令；

19、其中，所述指令在通过一个或多个处理器执行时使得前述的一个或多个处理器执行操作，所述操作包括执行前述实施例的基于多特征分离的行人重识别方法的过程。

20、根据本发明目的的第三方面，提出一种计算机可读存储介质，用于存储一个或多个程序，所述一个或多个程序包括能够被一个或者多个处理器执行的指令或者指令集；

21、其中，所述指令或者指令集在由一个或多个处理器执行时，执行前述实施例的基于多特征分离的行人重识别方法的过程。

22、结合以上本发明的基于多特征分离的行人重识别方法，针对人物信息不完全问题，本发明提出通过神经网络学习图像语义信息并表征的方式，相似特征的匹配筛选阶段通过标签类别进行筛选，使重识别更加快速直接；针对身体信息遮挡缺失问题，本发明使用生成对抗网络对缺失数据图像进行增强，以填补缺失数据；针对背景环境及位置不齐带来的影响，本发明通过使用掩码及注意力机制，能够更关心非背景即人物区域或者人脸对重识别带来的影响，从而降低图像特征缺失、遮挡、背景环境对识别进度带来的影响，提升行人重识别度量的准确性。

23、与现有技术相比，本发明提出的基于多特征分离的行人重识别方法的显著优点在于：

24、(1)对于匹配筛选耗时高的问题，本发明提出的方法中，在神经网络设计和训练时，集成人物特征的分类信息，即在进行重识别的特征相似度度量前，使用神经网络先推理出人物特征，利用人物特征的分类信息进行预先筛选，同一分类下才进行特征向量的相似度度量，降低相似度度量的复杂度，提高度量的准确率；

25、(2)对于行人信息存在遮挡导致准确率下降的问题，本发明的方法中，在进行重识别的特征提取网络前，使用预处理网络对数据进行增强，弥补和丰富被遮挡区域的内容，降低人体区域被遮挡的影响；

26、(3)对于背景环境变化导致的准确率下降的问题，本发明的方法中，在进行重识别的特征提取前，对输入进行掩码生成和分块自注意力处理，使用图像分块和掩码，使算法更加注意关键部分的细节，优化人物信息错乱，改善重识别算法精度。

27、应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

28、结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。