行人重识别方法、装置及电子设备与流程

1.本发明涉及行人识别技术领域，尤其涉及一种行人重识别方法、装置及电子设备。


背景技术：

2.近年来，随着人工智能技术的发展，在公共安防、图像检索等应用场景中的行人重识别技术被广泛研究和关注。但是行人重识别与人脸识别、手势识别等传统生物识别技术相比，因监控视频的分辨率，背景影响，光线和姿态不同等不可控原因从而会导致识别精度低。
3.因此，行人重识别技术在实际应用场景下会面临较大的挑战。另外随着城市发展日新月异，提取到的行人样本中由于不同镜头抓拍导致同一个目标会有不同分辨率的图像，会对模型特征匹配造成很大的困难，如何使得行人重识别模型能在推理阶段学习到同一个目标在不同分辨率下的特征也是一个亟待解决的问题。一些方法虽然取得了不错的效果，但是仅仅在训练阶段起作用或者对数据多样性要求很高。所以，如何在样本多样性不足的前提下学习到同一目标在不同分辨率下的特征仍然值得研究。
4.在真实场景下，收集到的行人数据分辨率和光照以及清晰程度非常多样，并且不同分辨率和光照对模型的特征匹配会造成很大难度。过去对适应不同分辨率通常通过数据增强来实现模型对不同分辨率和光照变化的学习。这些方法通常只会在训练阶段起作用无法应用到推理阶段，导致模型无法在推理时学习到目标不同分辨率的特征使得不同镜头下的特征匹配困难。


技术实现要素：

5.本发明的目的在于提供一种行人重识别方法、装置及电子设备，保证了模型在推理阶段能学习到目标在不同分辨率下的特征且准确的进行行人重识别。
6.为实现上述目的， 本发明提供一种行人重识别方法，包括如下步骤：步骤s1、获取第一图像集，所述第一图像集包括多张第一图片；步骤s2、对第一图像进行特征抽取处理，得到具有第一图像的原始分辨率的原始特征图；步骤s3、利用原始特征图生成具有大于原始分辨率的第一分辨率和具有小于原始分辨率的第二分辨率的两种特征图，并对原始特征图和所述两种特征图进行多分辨率特征融合，得到具有原始分辨率的融合特征图；步骤s4、将所述融合特征图输入训练好的行人重识别模型进行行人重识别，得到行人重识别结果。
7.可选地，所述步骤s3具体包括：对原始特征图进行上采样，得到具有大于原始分辨率的第一分辨率的高分特征图；对所述第一特征图进行下采样，得到具有原始分辨率的第一过渡特征图；
对原始特征图进行下采样，得到具有小于原始分辨率的第二分辨率的低分特征图；对所述低分特征图进行上采样，得到具有原始分辨率的第二过渡特征图；对第一过渡特征图、第二过渡特征图、原始特征图进行融合处理，得到目标融合特征图。
8.可选地，所述步骤s3中通过跨并行子网交换单元完成，所述跨并行子网交换单元包括：高分子网，所述高分子网包括依次连接的多个高分卷积层；原始子网，所述原始子网包括依次连接的多个原始卷积层；低分子网，所述低分子网包括依次连接的多个低分卷积层；不同的子网之间通过上采样层及下采样层相连，以转换不同子网之间的特征图的分辨率。
9.可选地，所述高分子网包括：依次连接的第一高分卷积层、第二高分卷积层、第三高分卷积层及第四高分卷积层；所述原始子网包括：依次连接的第一原始卷积层、第二原始卷积层、第三原始卷积层、第四原始卷积层、第五原始卷积层及第六原始卷积层；所述低分子网包括：依次连接的依次连接的第一低分卷积层及第二低分卷积层；所述第二原始卷积层的通过第一上采样层与第一高分卷积层相连；所述第三原始卷积层通过第二上采样层与第二高分卷积层相连；所述第四原始卷积层通过第一下采样层与第一高分卷积层相连，通过第二下采样层与第一低分卷积层相连；所述第五原始卷积层通过第三上采样层与第四高分卷积层相连，通过第三下采样层与第二低分卷积层相连；所述第三高分卷积层通过第四下采样层与第六原始卷积层相连，通过第五下采样层与第二低分卷积层相连；所述第一低分卷积层通过第四上采样层与第六原始卷积层相连，通过第五上采样层与第四高分卷积层相连。
10.可选地，所述第四原始卷积层同时接收第三原始卷积层和第一下采样层输出的特征图，并对其进行融合处理；所述第二高分卷积层同时接收第二上采样层和第一高分卷积层输出的特征图，并对其进行融合处理；所述第四高分卷积层同时接收第三高分卷积层、第三上采样层及第五上采样层输出的特征图，并对其进行融合处理；所述第六原始卷积层同时接收第五原始卷积层、第四下采样层及第四上采样层输出的特征图，并对其进行融合处理；所述第二低分卷积层同时接收第一低分卷积层、第三下采样层及第五下采样层输出的特征图，并对其进行融合处理；所述第六原始卷积层输出目标融合特征图。
11.可选地，所述第一上采样层、第二上采样层、第三上采样层及第四上采样层用于对输入的特征图进行n倍的上采样，以使得输出的特征图的分辨率为输入的特征图的n倍；所述第一下采样层、第二下采样层、第三下采样层及第四下采样层用于对输入的
特征图进行n倍的下采样，以使得输出的特征图的分辨率为输入的特征图的n分之一；所述第五上采样层用于对输入的特征图进行2n倍的上采样，以使得输出的特征图的分辨率为输入的特征图的2n倍；所述第五下采样层用于对输入的特征图进行2n倍的下采样，以使得输出的特征图的分辨率为输入的特征图的2n分之一，n为大于1的正整数。
12.可选地，所述上采样通过最近邻采样的1
×
1卷积来实现，下采样通过步长为2的3
×
3卷积实现。
13.可选地，通过包括resnet101x和ibn-net的主干网络对第一图像进行特征抽取处理，得到具有原始分辨率的原始特征图。
14.本发明还提供一种行人重识别装置，包括：图像获取单元，用于获取第一图像集，所述第一图像集包括多张第一图片；特征抽取单元，用于对第一图像进行特征抽取处理，得到具有第一图像的原始分辨率的原始特征图；分辨率融合单元，用于通过原始特征图生成具有大于原始分辨率的第一分辨率和具有小于原始分辨率的第二分辨率的两种特征图，并对原始特征图和所述两种特征图进行多分辨率特征融合，得到具有原始分辨率的融合特征图；以及识别单元，用于将所述融合特征图输入训练好的行人重识别模型进行行人重识别，得到行人重识别结果。
15.本发明还提供一种电子设备，包括：存储器和处理器，所述储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
16.本发明的有益效果：本发明提供一种行人重识别方法、装置及电子设备。所述方法包括如下步骤：步骤s1、获取第一图像集，所述第一图像集包括多张第一图片；步骤s2、对第一图像进行特征抽取处理，得到具有第一图像的原始分辨率的原始特征图；步骤s3、利用原始特征图生成具有大于原始分辨率的第一分辨率和具有小于原始分辨率的第二分辨率的两种特征图，并对原始特征图和所述两种特征图进行多分辨率特征融合，得到具有原始分辨率的融合特征图；步骤s4、将所述融合特征图输入训练好的行人重识别模型进行行人重识别，得到行人重识别结果，通过对原始特征图进行多分辨率融合，再利用多分辨率融合后的特征图进行行人重识别，能够解决行人重识别中不同分辨率特征匹配的问题，实现更加高效准确的实现行人重识别。
附图说明
17.为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
18.附图中，图1为本发明的行人重识别方法的流程图；图2为本发明的行人重识别方法的步骤s3中特征处理过程图；图3为本发明的行人重识别方法的步骤s3中的流程图；图4为本发明的行人重识别方法中跨并行子网交换单元的示意图；图5为本发明的行人重识别方法中的一实施例的特征处理过程图；
图6为本发明的行人重识别装置的示意图；图7为本发明的电子设备的示意图；图8为本发明的行人重识别方法的一实施例中的高分特征图；图9为本发明的行人重识别方法的一实施例中的低分特征图。
具体实施方式
19.为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
22.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
23.请参阅图1至图5，本发明提供一种行人重识别方法，包括如下步骤：步骤s1、获取第一图像集，所述第一图像集包括多张第一图片。
24.具体地，所述步骤s1中获取第一图像集具体包括：获取第一视频，对第一视频进行目标检测，检测出第一视频中的目标行人；对第一视频中的目标行人进行目标跟踪，将第一视频中的同一个行人归类到一起；根据目标检测、目标跟踪的结果以及预设的最优帧提取算法对第一视频的进行抽帧，得到多个初始图片；使用聚类算法对所述多个初始图片进行聚类；对各个初始图片进行标注，标注出各个初始图片的人物id、相机id、拍摄时间及图片序号，得到包括多张符合关键点检测模型的输入格式的第一图片的第一图像集。
25.进一步地，在本发明的一个实施例中获取第一图像集的过程为：
首先获取一真实项目视频作为第一视频，接着对第一视频进行目标检测、目标跟踪以及抽帧，得到多个初始图片，此时得到的多个初始图片会按照目标行人的不同保存在多个文件夹，每一个文件夹中的初始图片均对应同一行人；而此时的多个初始图片是无序的，无法直接输入关键点检测模型进行关键点检测也无法直接输入行人重识别模型进行行人重识别，因此，需要这些初始图片进行预处理，具体为对初始图片进行重新命名，命名格式为：行人编号_图片拍摄时间_图号，如1_20200901175946_12，其中1表示行人编号，20200901175946表示图片拍摄时间，12表示图号。
26.接着，还需要使用聚类算法对所述多个初始图片进行聚类，以去除所述多个初始图片中错误识别的图片；然后，还需要对各个初始图片进行标注，标注出各个初始图片的人物id、相机id、拍摄时间及图片序号，例如，在本发明一实施例中，标注后的初始图片的名称可以为：1514_c6s1_20200901175946_180，其中1514为人物id，c6s1为相机id，20200901175946为拍摄时间，180为图片序号；最终获得不同镜头下的同一个人的图片集合，再通过脚本将原始文件夹进行合并，得到最终能够用于行人重识别的第一图像集。
27.步骤s2、对第一图像进行特征抽取处理，得到具有第一图像的原始分辨率的原始特征图。
28.具体地，所述步骤s2通过一主干网络完成所述特征抽取处理，所述主干网络部分，选取resnet101x和ibn-net的组合进行特征的抽取，它主要由多个残差网络组成可以解决梯度消失/爆炸问题。而ibn-net出发点是为了提升模型对图像外观变化的适应性。在训练数据和测试数据有较大的外观差异的时候，模型的性能会显著下降，这就是不同域之间的差异（gap）。比如训练数据中的目标光线强烈，测试数据中的目标光线昏暗，这样一般效果都不是很好。所以采用resnet101x和ibn-net的组合能够较好的进行特征提取且适应不同领域。
29.步骤s3、结合图2，利用原始特征图生成具有大于原始分辨率的第一分辨率和具有小于原始分辨率的第二分辨率的两种特征图，并对原始特征图和所述两种特征图进行多分辨率特征融合，得到具有原始分辨率的融合特征图。
30.具体地，为了使得模型能够学习到多分辨率的特征图，本发明对原始分辨率的图像进行处理将其转换为模型需要的特征图，然后对原始分辨率的原始特征图进行上采样和下采样，分别为了获取比原始分辨率更高的高分特征图和比原始分辨率更低的低分特征图。最后将不同分辨率的特征图通过跨并行子网的交换单元，使每个子网重复接收来自其他并行子网的信息，使得模型能够充分学习到不同分辨率的特征。
31.进一步地，如图3所示，在本发明的一些实施例中，所述步骤s3具体包括：对原始特征图进行上采样，得到具有大于原始分辨率的第一分辨率的高分特征图；对所述第一特征图进行下采样，得到具有原始分辨率的第一过渡特征图；对原始特征图进行下采样，得到具有小于原始分辨率的第二分辨率的低分特征图；
对所述低分特征图进行上采样，得到具有原始分辨率的第二过渡特征图；对第一过渡特征图、第二过渡特征图、原始特征图进行融合处理，得到目标融合特征图。
32.在本发明的一些实施例中，结合图4所示，所述步骤s3中通过跨并行子网交换单元完成，所述跨并行子网交换单元包括：高分子网，所述高分子网包括依次连接的多个高分卷积层；原始子网，所述原始子网包括依次连接的多个原始卷积层；低分子网，所述低分子网包括依次连接的多个低分卷积层；不同的子网之间通过上采样层及下采样层相连，以转换不同子网之间的特征图的分辨率。
33.进一步地，所述高分子网包括：依次连接的第一高分卷积层、第二高分卷积层、第三高分卷积层及第四高分卷积层；所述原始子网包括：依次连接的第一原始卷积层、第二原始卷积层、第三原始卷积层、第四原始卷积层、第五原始卷积层及第六原始卷积层；所述低分子网包括：依次连接的依次连接的第一低分卷积层及第二低分卷积层；所述第二原始卷积层的通过第一上采样层与第一高分卷积层相连；所述第三原始卷积层通过第二上采样层与第二高分卷积层相连；所述第四原始卷积层通过第一下采样层与第一高分卷积层相连，通过第二下采样层与第一低分卷积层相连；所述第五原始卷积层通过第三上采样层与第四高分卷积层相连，通过第三下采样层与第二低分卷积层相连；所述第三高分卷积层通过第四下采样层与第六原始卷积层相连，通过第五下采样层与第二低分卷积层相连；所述第一低分卷积层通过第四上采样层与第六原始卷积层相连，通过第五上采样层与第四高分卷积层相连。
34.其中，所述第四原始卷积层同时接收第三原始卷积层和第一下采样层输出的特征图，并对其进行融合处理；所述第二高分卷积层同时接收第二上采样层和第一高分卷积层输出的特征图，并对其进行融合处理；所述第四高分卷积层同时接收第三高分卷积层、第三上采样层及第五上采样层输出的特征图，并对其进行融合处理；所述第六原始卷积层同时接收第五原始卷积层、第四下采样层及第四上采样层输出的特征图，并对其进行融合处理；所述第二低分卷积层同时接收第一低分卷积层、第三下采样层及第五下采样层输出的特征图，并对其进行融合处理；所述第六原始卷积层输出目标融合特征图。
35.进一步地，所述第一上采样层、第二上采样层、第三上采样层及第四上采样层用于对输入的特征图进行n倍的上采样，以使得输出的特征图的分辨率为输入的特征图的n倍；所述第一下采样层、第二下采样层、第三下采样层及第四下采样层用于对输入的特征图进行n倍的下采样，以使得输出的特征图的分辨率为输入的特征图的n分之一；所述第五上采样层用于对输入的特征图进行2n倍的上采样，以使得输出的特征图
的分辨率为输入的特征图的2n倍；所述第五下采样层用于对输入的特征图进行2n倍的下采样，以使得输出的特征图的分辨率为输入的特征图的2n分之一，n为大于1的正整数。
36.优选地，n等于2。
37.值得一提的是，本发明中所述的上采样通过最近邻采样的1
×
1卷积来实现，下采样通过步长（stride）为2的3
×
3卷积实现，从而经过上采样和下采样之后得到的特征图相比于采样前的特征图具有不同的数值。
38.需要说明的是，结合图4所示，在本发明的一些实施例中，令输入的第一图像为，将其输入到主干网络得到原始特征图表示，其中o表示origin原始分辨率，0表示第一层。
39.对原始分辨率的原始特征图进行上采样得到，其中h表示high高分辨率，0表示第一层，表示两倍的上采样。
40.对原始分辨率的原始特征图进行下采样得到，其中l表示low低分辨率，0表示第一层，表示两倍的下采样。
41.图4中原始子网的各卷积层的输出表示为：图4中原始子网的各卷积层的输出表示为：图4中原始子网的各卷积层的输出表示为：图4中原始子网的各卷积层的输出表示为：图4中原始子网的各卷积层的输出表示为：图4中原始子网的各卷积层的输出表示为：图4中最上面一行高分子网各卷积层的输出表示为：图4中最上面一行高分子网各卷积层的输出表示为：图4中最上面一行高分子网各卷积层的输出表示为：图4中最上面一行高分子网各卷积层的输出表示为：图4中最下面一行低分子网的各卷积层的输出表示为：图4中最下面一行低分子网的各卷积层的输出表示为：最终输出的目标融合特征图表示为:所述目标融合特征图可以学习到多分辨率的特征表示。
42.需要说明的是，感受野一般表示人视觉感知到图片的特征区域，相同图片处在不同分辨率的条件下的感受野是不同的，通常来说，如图8及图9所示，分辨率较低的图片的感受野较大，语义信息表征能力强，几何信息的表征能力弱（空间几何特征细节缺乏），而分辨率较高的图片的感受野较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征
能力弱；对于行人重识别来说，即便是对处在不同分辨率的条件下的相同图片，其能够学习到的信息也会因感受野的不同而出现变化，而本发明利用多分辨率特征融合得到融合特征图通式具有多种分辨率条件下的特征，用融合特征图进行行人重识别，对于全局特征和局部特征都能进行很好的匹配，成功解决了行人重识别中不同分辨率特征匹配的问题，行人重识别结果的准确率明显提升。
43.步骤s4、将所述融合特征图输入训练好的行人重识别模型进行行人重识别，得到行人重识别结果。
44.具体地，对多分辨率融合后的目标融合特征图应用bnneck得到最终的预测结果。值得一提的是，在模型训练的过程中，本发明使用交叉熵损失与三元组损失相结合，并在分类层引入circlesoftmax，最后使用adam优化器使得模型能够多角度地学习到数据集中的数据分布，从而进行更好的拟合。
45.而所述距离计算方式为欧式距离，即：x为特征向量输出模块输出的特征向量，y为检索底库中的特征向量，xi和yi分别代表x和y中的第i维表示，n为向量的总维度。
46.从而通过将特征向量输出模块输出的特征向量在检索底库中去匹配最相似的特征向量，得到行人重识别结果，最终经过验证，本发明成功解决了行人重识别中不同分辨率特征匹配的问题，行人重识别结果的准确率在使用前后提升了5%，且使用成本较低，有利于将本发明应用到实际复杂场景的行人重识别中。
47.请参阅图6，本发明还提供一种行人重识别装置，包括：图像获取单元10，用于获取第一图像集，所述第一图像集包括多张第一图片；特征抽取单元20，用于对第一图像进行特征抽取处理，得到具有第一图像的原始分辨率的原始特征图；分辨率融合单元30，用于通过原始特征图生成具有大于原始分辨率的第一分辨率和具有小于原始分辨率的第二分辨率的两种特征图，并对原始特征图和所述两种特征图进行多分辨率特征融合，得到具有原始分辨率的融合特征图；以及识别单元40，用于将所述融合特征图输入训练好的行人重识别模型进行行人重识别，得到行人重识别结果。
48.请参阅图7，本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
49.综上所述，本发明提供一种行人重识别方法、装置及电子设备。所述方法包括如下步骤：步骤s1、获取第一图像集，所述第一图像集包括多张第一图片；步骤s2、对第一图像进行特征抽取处理，得到具有第一图像的原始分辨率的原始特征图；步骤s3、利用原始特征图生成具有大于原始分辨率的第一分辨率和具有小于原始分辨率的第二分辨率的两种特征图，并对原始特征图和所述两种特征图进行多分辨率特征融合，得到具有原始分辨率的融合特征图；步骤s4、将所述融合特征图输入训练好的行人重识别模型进行行人重识别，得到行人重识别结果，通过对原始特征图进行多分辨率融合，再利用多分辨率融合后的特征图
进行行人重识别，能够解决行人重识别中不同分辨率特征匹配的问题，实现更加高效准确的实现行人重识别。
50.以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。