一种基于特征解耦学习的半监督行人重识别方法与流程

[0001]
本发明属于计算机视觉、机器学习等技术领域，更为具体地讲，涉及一种基于特征解耦学习的半监督行人重识别方法。


背景技术：

[0002]
行人重识别问题是计算机视觉领域一个重要的研究问题。行人重识别技术结合了模式识别、机器学习、计算机视觉、图像处理以及计算机应用等多个学科，构成了一种在连续视频帧中获取目标位置的手段，为后续的高层识别应用比如行人行为分析奠定了基础。
[0003]
目前，行人重识别技术广泛应用于智能监控、智能交通、行为分析、人机交互、智能驾驶系统等领域中，有着广泛的应用前景及巨大的潜在经济价值。行人重识别技术还被广泛应用在刑侦、人流分析、人流预测等多个领域，并且随着智慧城市建设的推进，行人重识别技术会解决更多贴近我们生活的实际问题。所以，对行人重识别问题的研究并对其在实际环境下性能改进具有巨大的现实意义和长远的价值。
[0004]
在行人重识别技术领域，学者已经提出了很多方法。这些方法主要重点关注了三个部分：手工描述符设计、度量学习和深度行人重识别模型。手工描述符目的是对不同视角、姿势和光照度等提取鲁棒性的特征。度量学习的目的是学习一个特征投影空间，其中同一行人的相似度会大于不同人。随着深度卷积神经网络(cnn)成功应用，深度行人重识别模型能够在一个端到端的网络框架中直接学习强大和有辨别力的特征，这种方式也得到了越来越多的关注。
[0005]
根据是否使用行人身份标注，深度行人重识别模型大致可以分为有监督学习和无监督学习两种。前者借助标注信息，采用监督损失训练模型，如分类损失和三联损失。后者用跨数据集的域适应性学习、轨迹信息或基于聚类的伪标签学习来解决无监督的行人重识别。虽然以上两种行人重识别方法都取得了很大进展，但它们仍然存在固有的弱点。有监督的行人重识别方法需要大量的跨摄像机行人身份标注数据，以避免对训练数据集的过拟合。然而获取这样大量的行人数据非常耗时和耗力。在无监督的行人重识别方法中，域适应性学习也需要源标签数据。基于轨迹信息的方法依赖于跟踪结果的精确度，而基于伪标签的方法则是对初始参数敏感。此外，现有的无监督的行人重识别方法在准确率上与有监督的仍有很大差距。
[0006]
所以，同时利用有标签数据和无标签数据的半监督方法可以有效避免全监督和无监督方法的缺点。
[0007]
早期的半监督行人重识别方法有：figueira等人提出了一种结合多种半监督特征学习的方法框架，同时处理基于外观和基于度量距离的行人重识别问题。liu等人提出了一种半监督耦合字典学习方法，该方法在训练阶段联合学习两个耦合词典，并同时使用了有标签和无标签的数据。
[0008]
然而，这些非深度学习方法只能在小规模的数据集上取得良好的效果。近年来，随着深度卷积神经网络的发展，一些基于深度学习的半监督行人重识别方法已被提出。
[0009]
第一个半监督行人重识别方法由ding等人提出，他们采用生成式对抗网络来生成额外的人工样本数据作为未标记数据。huang等人引入了多种伪正则化标签并保证他们的分布和真实数据类似。liu等人设计了一种简单而有效的学习机制，他们提出的transductive centroid projection(tcp)模块替代最后一个全连接层便可以达到不错的效果。fan等人提出一个简单并且渐进的无监督深度学习框架，其目的在于是使用k-means聚类方法来估计未标记的训练样本的标签。并将其扩展到半监督的行人重识别方法。xin等人提出了一种半监督的方法，该方法通过结合多视图聚类和深度度量学习来反复更新未标记的训练样本的伪标签。
[0010]
近年来，基于特征解耦学习(dfl)的行人重识别技术也获得了越来越多的关注。特征解耦学习通过将数据的分离为不相关但是有具体含义的隐变量，这有助于之后对于隐变量的更进一步的处理。
[0011]
目前基于特征解耦学习的行人重识别方法通常采用生成对抗网络或自编码器结构，将行人图像中分离出不同的属性(即外观或姿势等)。其中，姿势是考虑最多的属性。ma等人采用复杂的多分支模型来将行人分解为前景、背景和姿势特征，通过组合从而生成特定的样本图像，但缺点是无法端到端训练。qian等人设计网络生成了每个人的标准化姿势图像，但只有8个预定义姿势。ge等人引导网络学习姿势不变的特征，但利用了人体关键点来描述姿势特征，这加大了计算量并且耗时。li等人在前期的工作基础上不仅提取了姿势的关键点特征，还利用额外的人体的关键特征。
[0012]
因此，目前基于特征解耦学习的行人重识别工作总结如下：1)、使用其他标注，例如人类姿态关键点。这些方法利用人体姿势信息特征引导网络学习行人的身份特征。2)、需要不同姿势的同一行人样本来学习身份不变特征。但是，这两种方法都有其缺点。首先，需要引入其他标注，这会增加网络的复杂性。由于很难找到满足第二种条件的行人样本，所以只能挑选具有不同姿势的样本，或者使用对抗生成网络生成这不同姿态的样本。然而即使找到这些样本，由不同视角引起的不同姿势图像也会带来属性上的混乱，从而导致特征混淆。例如，由于摄像机视野的变化而导致书包短时间的隐藏，或者由于人转身而导致的长发在短时间的隐藏。


技术实现要素：

[0013]
本发明的目的在于克服现有技术的不足，提出一种基于特征解耦学习的半监督行人重识别方法，以提升半监督识别的精度，同时，利用更少的有标注数据，提升模型的泛化性，在更少的迭代次数下就收敛到更好。
[0014]
为实现上述发明目的，本发明基于特征解耦学习的半监督行人重识别方法，其特征在于，包括以下步骤：
[0015]
(1)、构建一个半监督的行人重识别模型
[0016]
基于一个身份编码器e
id
、一个结构编码器e
struct
以及一个解码器d构建一个特征解耦网络，并作为半监督的行人重识别模型；
[0017]
(2)、训练半监督的行人重识别模型
[0018]
2.1)、计算监督训练损失l
s
：
[0019]
2.1.1)、将有标签y的行人图像i
o
输入到监督的行人重识别模型中，一方面直接分
别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征另一方面将行人图像i
o
水平翻转，生成水平翻转图像i
t
，然后，水平翻转图像i
t
，分别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征
[0020]
2.1.2)、身份特征通过gap&fc操作得到身份特征向量身份特征通过另一gap&fc操作得到身份特征向量(gap，global average pooling，即全局平均池化，fc，fully connecting，即全连接)；将身份特征向量进行分类操作，得到属于标签y的预测概率，进而根据预测概率计算出标签一致性损失将身份特征向量进行另一分类操作，得到属于标签y的预测概率，进而根据预测概率计算出标签一致性损失
[0021]
2.1.3)、将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像
[0022]
计算自身图像重构损失
[0023][0024]
其中：|| ||2表示l2范数；
[0025]
计算交换图像重构损失
[0026][0027]
其中：
[0028]
这样得到图像重构损失l
rec
：
[0029][0030]
2.1.4)、计算身份不变性约束损失l
inv
以及结构等变性约束损失l
equ
：
[0031][0032][0033]
其中，d
kl
(*||*)是表示计算两个特征的kullback-leibler散度距离，t(*)表示对特征进行水平翻转变换
[0034]
这样得到解耦特征的一致性损失l
ct
：
[0035]
l
ct
＝l
inv
+l
equ
[0036]
2.1.5)、根据步骤2.1.2)-2.1.4)，得到监督训练损失l
s
：
[0037][0038]
其中，权重系数α、权重系数β可以根据经验进行设定；
[0039]
2.2)、计算无监督训练损失l
u
：
[0040]
2.2.1)、将无标签的行人图像i
′
o
输入到监督的行人重识别模型中，一方面直接分别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征另一方面将行人图像i
′
o
水平翻转，生成水平翻转图像i
′
t
，然后，水平翻转图像i
′
t
，分别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征
[0041]
2.2.2)、将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像
[0042]
计算自身图像重构损失
[0043][0044]
其中：|| ||2表示l2范数；
[0045]
计算交换图像重构损失
[0046][0047]
其中：
[0048]
这样得到图像重构损失l
rec
：
[0049][0050]
2.2.3)、计算恒等不变变换损失l
′
inv
以及结构等方变换损失l
′
equ
：
[0051][0052][0053]
其中，d
kl
(*||*)是表示计算两个特征的kullback-leibler散度距离，t(*)表示对特征进行水平翻转变换；
[0054]
这样得到解耦特征的一致性损失l
′
ct
：
[0055]
l
′
ct
＝l
′
inv
+l
′
equ
[0056]
2.2.4)、根据步骤2.2.2)-2.2.3)，得到无监督训练损失l
u
：
[0057]
l
u
＝α
′
l
′
ct
+β
′
l
′
rec
[0058]
其中，权重系数α
′
、权重系数β
′
可以根据经验进行设定；
[0059]
2.3)、计算总损失l
total
：
[0060]
l
total
＝l
s
+γl
u
[0061]
其中，权重系数γ可以根据经验进行设定；
[0062]
2.4)、将总损失l
total
用于优化整个半监督的行人重识别模型，不断输入有标签y的行人图像i
o
以及无标签的行人图像i
′
o
进行训练过程，总损失l
total
不断下降直到趋于平稳，此时半监督的行人重识别模型训练结束；
[0063]
(3)、构造一个查询数据集
[0064]
在查询数据集中每个行人有一张图像，将每个行人的图像及其水平翻转图像分别输入到训练好的半监督的行人重识别模型中的身份编码器e
id
，得到身份特征身份特征再分别经过gap&fc操作，得到身份特征向量身份特征向量将身份特征向量身份特征向量的平均值作为最终的身份特征向量v
id
，特征向量v
id
作为查询数据集中该行人的查询索引；
[0065]
(4)、行人重识别
[0066]
对于不知身份的行人图像，按照步骤(3)的方法，得到身份特征向量然后与查询数据集中所有身份特征向量v
id
计算余弦距离，余弦距离最小的身份特征向量v
id
所对应的行人图像中的行人即为识别出的行人。
[0067]
本发明的目的是这样实现的。
[0068]
与现有方法不同，本发明基于特征解耦学习的半监督行人重识别方法并没有遵循伪标签和聚类等方法，而是构建了一个不依赖标签的变分自编码器的特征解耦行人重识别模型，即提出了一种使用较少的标记数据以及大量未标记的数据(即半监督的行人重识别)来学习更具有泛化性的行人重识别模型。通过这种学习，行人重识别模型可以更通用和更具有落地的可能。具体来说，本发明设计了一个具有共享模块和参数的双流自编码器的结构。对于编码器模块，本发明将行人图像及其水平翻转图像作为一对输入，并对深度特征进行编码，正确识别身份和结构信息。然后，对于解耦特征即身份特征、结构特征不同组合级联后的特征用于在解码器中重构图像。除了常见的对于身份信息的交叉熵损失函数和图像重构损失之外，本发明针对解缠结的特征一致性的变换约束特点设计了一种新颖的损失函数。本发明不受数据标签的约束，可以同时应用于模型中的有监督和无监督学习分支。本发明在四个行人重识别数据集上的大量测试结果表明，如果减少5/6的有标注数据，本发明在market-1501和cuhk03上实现了最佳性能，在dukemtmc-reid和msmt17上也具有不错的准确性。
[0069]
本发明利用更少的有标注数据，提升模型的泛化性。为了方便比较结果，本发明与其他的行人重识别方法采用同样的数据训练，即选用market-1501、dukemtmc-reid、cuhk03和msmt17每一个数据集抽取部分有标签的数据训练。训练完成之后，将对于每一个方法在该数据集下对应的测试集上进行测试，通过对比发现，本发明提升了半监督的精度。此外，通过与其他的方法的训练收敛性对比实验，证明本发明提出的方法的有效性，可以在更少的迭代次数就收敛到更好的效果。
附图说明
[0070]
图1是本发明基于特征解耦学习的半监督行人重识别方法一种具体实施方式流程图；
[0071]
图2是本发明中构建的半监督的行人重识别模型一种具体实施方式示意图；
[0072]
图3是本发明中有监督分支一种具体实施方式示意图；
[0073]
图4是本发明中无监督分支一种具体实施方式示意图；
[0074]
图5是本发明中半监督的行人重识别模型训练流程图；
[0075]
图6是解耦特征的一致性变换约束的示意图；
[0076]
图7是不同比例标注数据占比的半监督实验结果，其中，上一行rank-1针对不同数据库(market-1501、duke-mtmc、cuhk03、msmt17)的不同行人重识别方法的半监督实验结果，下一行map针对不同行人重识别方法不同数据库(market-1501、duke-mtmc、cuhk03、msmt17)的半监督实验结果。
[0077]
图8是无监督训练损失的权重系数γ分析实验图；
[0078]
图9是有监督训练损失内的权重系数α、权重系数β分析实验图。
具体实施方式
[0079]
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0080]
本发明的主要特点在于：(1)我们提出了一种新颖的半监督行人重识别模型，该框架由两个具有共享特征解缠结模型的分支组成，一个分支用于监督任务，另一个分支用于非监督任务。它通过利用大量未标记的数据来减轻对于标记数据的限制。(2)通过以自监督的方式将图像及其水平翻转的图像解耦，从而利用非监督数据将其分解为结构特征和身份特征。设计了一致的变换约束损失函数：包括结构特征的同变性和身份特征的不同变性。(3)在四个常见行人重识别数据集上的大量结果表明，通过减少5/6标签数据，我们的方法在market-1501和cuhk03上获得了最佳性能，在dukemtmc-reid和msmt17上具有不错的性能。
[0081]
下面就本发明所涉及的各个细节问题的详细说明。
[0082]
图1是本发明基于特征解耦学习的半监督行人重识别方法一种具体实施方式流程图。
[0083]
在本实施例中，如图1所示，本发明基于特征解耦学习的半监督行人重识别方法包括以下步骤：
[0084]
步骤s1：构建一个半监督的行人重识别模型
[0085]
如图2所示，本发明基于一个身份编码器e
id
、一个结构编码器e
struct
以及一个解码器d构建一个特征解耦网络，并作为半监督的行人重识别模型。
[0086]
在具体训练过程中，特征解耦网络在有监督分支(图2上半部分所示)以及无监督分支(图2下半部分所示)进行训练。在有监督分支进行训练时，其结构如图3所示，在无监督分支进行训练时，其结构如图4所示。需要说明的时，图3、4展示的训练过程中的处理和计算过程，为了便于理解和处理过程，将身份编码器e
id
、一个结构编码器e
struct
均画成了两个图
标，解码器d化成了四个图标。
[0087]
编码器e
id
、e
struct
用于特征的分解，解码器d用于特征的重构。本发明将一对行人图像i
o
及其水平翻转图像i
t
与标签y的共同作为有监督分支的三个输入，对于无监督分支则省略了标签。
[0088]
如图2所示，最终的总损失l
total
等于有监督分支的监督训练损失l
s
和无监督分支的无监督训练损失l
u
的加权和。在设计监督训练损失l
s
时，考虑了标签一致性损失标签一致性损失图像重构损失l
rec
和解耦特征的一致性损失l
ct
。无监督损失中仅考虑图像重构损失l
rec
和解耦特征的一致性损失l
ct
。由于参数共享和整体训练，在有监督分支的强大标签指导学习下，无监督分支可以有效地利用大量无标签数据。
[0089]
对于行人重识别任务，在不同视图下挖掘具有不同结构信息的行人身份信息非常重要。本发明希望引导网络学习如何将混合的全局特征分解为独立的结构特征和身份特征。以前，一些方法构建具有相同身份但结构不同的图像对，从而通过孪生网络将身份特征和结构特征有效地解开。但是，对于未标记的数据，我们找不到具有相同身份但结构不同的样本。因此，本发明受到数据扩充的启发，可以通过水平翻转操作获得新的水平镜像结构样本即水平翻转图像i
t
。水平翻转图像i
t
满足我们对图像对的要求：1)相同的身份、2)不同的结构。因此，本发明设计了一个基于自编码器的特征解耦网络，该特征解耦网络需要一对输入，在本实施例中，选择在imagenet上经过预训练的并去除了最后的池化层和全连接层的densenet-121作为编码器的主干网络。尽管大多数现有的行人重识别方法都将resnet-50用作编码器的主干网络，但与resnet-50相比，本实施例选择了较小的densenet-121(8m参数与25.5m参数)作为主干网络。以行人图像i
o
为例，分别使用结构相同但参数不同的两个编码器(身份编码器e
id
、结构编码器e
struct
)分别对行人图像i
o
进行编码，得到身份特征结构特征本发明定义了水平翻转变换t(*)，用于生成水平翻转图像i
t
＝t(i
o
)。同理，身份特征结构特征也可以从水平翻转图像i
t
解耦得到。上标o和t分别表示行人图像i
o
及水平翻转图像i
t
。本发明将具有不同语义的两个解耦特征在通道维度上合并得到四种不同的组合，然后输入至解码器d。在本实施例中，解码器由5个转置的卷积层组成，其中包含batch normalization、leaky-relu和dropout等结构。
[0090]
步骤s2：训练半监督的行人重识别模型
[0091]
半监督的行人重识别模型训练步骤如图5所示，包括以下步骤：
[0092]
步骤s2.1：计算监督训练损失l
s
[0093]
步骤s2.1.1：如图3所示，将有标签y的行人图像i
o
输入到有监督分支中，一方面直接分别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征另一方面将行人图像i
o
水平翻转，生成水平翻转图像i
t
，然后，水平翻转图像i
t
分别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征
[0094]
步骤s2.1.2：身份特征通过gap&fc操作得到身份特征向量身份特征通过另一gap&fc操作得到身份特征向量(gap，global average pooling，即全局平均池化，fc，fully connecting，即全连接)；将身份特征向量进行分类操作，得到属于标签y的预
测概率，进而根据预测概率计算出标签一致性损失将身份特征向量进行另一分类操作，得到属于标签y的预测概率，进而根据预测概率计算出标签一致性损失
[0095]
步骤s2.1.3：将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像
[0096]
计算自身图像重构损失
[0097][0098]
其中：|| ||2表示l2范数；
[0099]
计算交换图像重构损失
[0100][0101]
其中：
[0102]
这样得到图像重构损失l
rec
：
[0103][0104]
为了保证解耦特征的编码语义信息无误，重构的图像应满足以下条件：1)自我重构，如果身份特征和结构特征都从同一图像(即(身份特征结构特征)或(身份特征结构特征))分解，则重构图像肯定与它们自身对应的输入图像(即行人图像i
o
或水平翻转图像i
t
)一致；2)交换重构。如果分解后的身份特征和结构特征来自不同的输入图像，即(身份特征结构特征)或(身份特征结构特征)，则重构图像应该与结构特征来自的图像一致，即i
t
或i
o
。因此，通过遵循上述标准，本发明定义了由两种重构组成的图像重构损失l
rec
：
[0105][0106]
第一项自身图像重构损失遵循第一条准则，即每次重构都应与自身一致：
[0107][0108]
其中：|| ||2表示l2范数；
[0109]
第二项交换图像重构损失遵循第二个标准，即重构图像应该与结构特征来自的图像一致。我们希望分解开的身份特征和结构特征彼此独立。显然，身份特征在水平翻转图像后不会改变，而重构图像由结构特征确定。因此，可以定义交换图像重构损失如下：计算交换图像重构损失
[0110][0111]
其中：
[0112]
步骤s2.1.4：计算身份不变性约束损失l
inv
以及结构等变性约束损失l
equ
：
[0113][0114][0115]
其中，d
kl
(*||*)是表示计算两个特征的kullback-leibler散度距离，t(*)表示对特征进行水平翻转变换；
[0116]
这样得到解耦特征的一致性损失l
ct
：
[0117]
l
ct
＝l
inv
+l
equ
。
[0118]
针对解耦特征的特点，本发明设计一种有效的约束损失函数。
[0119]
传统的行人重识别方法，往往将样本编码为全局特征。与这些方法不同的是，本发明采用了一个特征解耦的学习框架，将混合的全局特征解耦为具有独立语义信息的独立特征。这样，对于一组输入的行人图像i
o
及其水平翻转图像i
t
，可以获得了四个解耦特征。其中，两个是身份特征，另外两个是结构特征。由于水平翻转图像并不会改变图像的标签(身份信息)，因此这两个解耦的身份特征应满足不变的属性。同时，两个结构特征对应呈现了两个图像的等变变换，即，水平翻转图像的输出特征也被翻转以确保结构特征的一致性。
[0120]
图6是解耦特征的一致性变换约束的示意图。
[0121]
图6的左侧部分显示了身份不变性约束，其中生成的两个身份特征身份特征应该保持不变。图6的右边显示了结构等变性约束，其中两个结构特征和应该保持水平对称。
[0122]
因此，根据上述思想，我们分别将身份不变性约束损失l
inv
以及结构等变性约束损失l
equ
设计为：
[0123][0124][0125]
其中，d
kl
(*||*)是表示计算两个特征的kullback-leibler散度距离，t(*)表示对特征进行水平翻转变换。
[0126]
在本实施例中，对于身份特征结构特征身份特征结构特征的kl散度，我们首先在通道维度进行softmax操作，然后在两个特征图之间计算kl散度损失。
[0127]
在这两个变换约束下总体损失函数即解耦特征的一致性损失l
ct
可以定义为：
[0128]
l
ct
＝l
inv
+l
equ
[0129]
这两个约束反映了解耦特征之间的内在联系，这保证了特征解耦的良好进行。该解耦特征的一致性损失l
ct
并不需要标签数据，所以可以在监督学习和无监督学习中使用。
[0130]
步骤s2.1.5：根据步骤s2.1.2)-s2.1.4)，得到监督训练损失l
s
：
[0131][0132]
其中，权重系数α、权重系数β可以根据经验进行设定。
[0133]
步骤s2.2：计算无监督训练损失l
u
：
[0134]
步骤s2.2.1：在本实施例中，如图4所示，将无标签的行人图像i
′
o
输入到无监督分支中，一方面直接分别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征另一方面将行人图像i
′
o
水平翻转，生成水平翻转图像i
′
t
，然后，水平翻转图像i
′
t
，分别通过身份编码器e
id
、结构编码器e
struct
进行编码，得到身份特征结构特征
[0135]
步骤s2.2.2：将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像将身份特征结构特征级联，然后通过解码器d解码，得到重构图像
[0136]
计算自身图像重构损失
[0137][0138]
其中：|| ||2表示l2范数；
[0139]
计算交换图像重构损失
[0140][0141]
其中：
[0142]
这样得到图像重构损失l
rec
：
[0143][0144]
步骤s2.2.3：计算恒等不变变换损失l
′
inv
以及结构等方变换损失l
′
equ
：
[0145][0146]
[0147]
其中，d
kl
(*||*)是表示计算两个特征的kullback-leibler散度距离，
[0148]
这样得到解耦特征的一致性损失l
′
ct
：
[0149]
l
′
ct
＝l
′
inv
+l
′
equ
[0150]
步骤s2.2.4：、根据步骤s2.2.2-s2.2.3，得到无监督训练损失l
u
：
[0151]
l
u
＝α
′
l
′
ct
+β
′
l
′
rec
[0152]
其中，权重系数α
′
、权重系数β
′
可以根据经验进行设定。
[0153]
对于无监督训练损失，除了不用计算标签一致性损失外，其余与监督训练损失l
s
相同。因此，就不再赘述。
[0154]
步骤s2.3：计算总损失l
total
：
[0155]
l
total
＝l
s
+γl
u
[0156]
其中，权重系数γ可以根据经验进行设定；
[0157]
步骤s2.4：依据总损失l
total
训练
[0158]
将总损失l
total
用于优化整个半监督的行人重识别模型，不断输入有标签y的行人图像i
o
以及无标签的行人图像i
′
o
进行训练过程，总损失l
total
不断下降直到趋于平稳，此时半监督的行人重识别模型训练结束；
[0159]
步骤s3：构造一个查询数据集
[0160]
在查询数据集中每个行人有一张图像，将每个行人的图像及其水平翻转图像分别输入到训练好的半监督的行人重识别模型中的身份编码器e
id
，得到身份特征身份特征再分别经过gap&fc操作，得到身份特征向量身份特征向量将身份特征向量身份特征向量的平均值作为最终的身份特征向量v
id
，特征向量v
id
作为查询数据集中该行人的查询索引；
[0161]
步骤s4：行人重识别
[0162]
对于不知身份的行人图像，按照步骤s3的方法，得到身份特征向量然后与查询数据集中所有身份特征向量v
id
计算余弦距离，余弦距离最小的身份特征向量v
id
所对应的行人图像中的行人即为识别出的行人。
[0163]
实例对比
[0164]
以下是本发明实验结果。在实验结果之前，先介绍实验设定。在本实例中，将标记数据在训练集中的比例表示为比率，其余部分用作未标记的数据。在本实例中，用不同的比率设置评估本发明的有效性。
[0165]
图7为在半监督实验设置下，本发明(ours)与5种最新的行人重识别方法进行了比较，包括ide，mgn，pcb，bot和abd-net。通过将比率设置为1/3、1/6和1/12，可以对不同的数据集(market-1501、duke-mtmc、cuhk03、msmt17)进行多次实验。通过实验，发现标记数据的占比越低，本发明效果越好。在数据集market-1501上，当标记数据的比例为1/12时，本发明对比ide，bot，mgn，pcb和abd-net五种方法分别在rank-1高出了51.9％，16.7％，6.0％，3.7％和1.8％，在map高出了31.9％，12.9％，5.2％，4.8％和5.1％。其中，mgn和pcb方法提取了条带级特征，ide和bot直接使用全局特征，而abd-net通过基于通道维度和空间维度的注意力机制提取特征。当标记数据的比例为1/6时，在market-1501上，基于全局特征的ide
和bot效果不佳。他们的rank-1分别为30.4％和65.6％。可见在行人重识别任务中，全局特征效果一般。基于条带的方法在数据集market-1501和dukemtmc上表现良好。例如，mgn在market-1501和dukemtmc数据集上rank-1为75.4％和69.1％，map为52.0％和50.1％。这表明在小型数据集上，局部特征有助于提高性能。基于注意力的abd-net在cuhk03中表现出色，map为26.0％，rank-1为25.2％。这也表明基于注意力的方法可以有效地挖掘更深层次的特征。通过特征解耦和一致性的变换约束，本发明在仅考虑全局特征的情况下即可在market-1501和cuhk03测试效果最好，在dukemtmc和msmt17上也具有不错的精度，这表明本发明能够有效地提取更鲁棒的特征。
[0166]
表1为在监督情况下与11种最新行人重识别模型的性能比较，其中包括手工描述符的方法、基于注意力的方法、基于条纹的方法、全局特征方法和基于gan的方法。
[0167][0168]
表1
[0169]
可以从表1看出，手工描述符特征在所有四个数据集上的准确性都最差。例如，在market-1501上，其rank-1为44.4％，远低于深度行人重识别方法的90％。在深度行人重识别方法中，基于gan的方法不能令人满意。原因可能是gan会在生成的图像中引入一些噪声。例如，cam-gan和pose-normalized在market-1501上的表现不到90％。与上述两种方法相比，基于全局特征的方法具有很好的性能。例如，在market-1501和dukemtmc-reid上，bot分别获得94.5％和86.4％的rank-1得分，以及85.9％和76.4％的map得分。基于上述实验，基于条带的方法比基于全局特征的方法具有更高的准确性。以mgn为例，它在market-1501和dukemtmc-reid上分别获得95.7％和88.7％的rank-1得分，以及map得分分别为86.9％和78.4％。然而本发明仅使用全局特征，在行人重识别的数据集上达到了不错的效果。
[0170]
图8为无监督损失部分权重系数γ分析实验。可以看出，当权重参数γ＝0.01时，模型的性能最佳。特别是，当时，此时框架仅有监管分支有效。从实验快眼看出，将标记的数据与未标记的数据一起训练会为行人重识别性精度带来提升。
[0171]
图9显示了有监督部分内的权重系数α、权重系数β的性能分析。通过实验效果分析，从图9可以看出，选择权重系数α＝5、权重系数β＝0.3效果比较好。
[0172]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。