多任务网络跨域行人重识别模型构建方法、系统及装置与流程

本发明涉及行人重识别和跨域行人重识别领域，尤其是涉及一种基于行人属性的多任务网络跨域行人重识别模型构建方法、系统及装置。

背景技术：

在现有技术中，行人重识别技术，是指在跨摄像头的场景下，输入一个待查询的行人图像，在已有的行人数据库中，对该行人识别和检索。在实际的应用中，通常需要结合行人检测和行人跟踪技术，对图片或者视频中的行人定位，将行人检测框输入行人重识别模型，进行特征提取之后，度量多维特征之间的距离，通过排序算法得到最终的检索结果。跨域行人重识别，需要在有标注的源域上训练的模型，能在无标注的目标域使用，需要解决在不同的监控网络情况下泛化性差的问题。

近年很多基于聚类算法的无监督方法都取得了很好地效果，使用聚类算法为未标注的图像生成伪标注，并利用伪标注进行训练，两者交替进行，逐步改进伪标注。ssg更进一步的考虑了目标域上训练样本中相似的特征。由于不同的局部特征具有不同的行人信息，ssg也进行了分块学习。分别对各个特征使用聚类算法得到各自的伪标注，使用三元组损失函数优化模型。最后融合所有特征用于行人检索。

基于聚类使用伪标注的方法，因为源域和目标域间巨大的差异和聚类算法的准确性，不可避免的存在着噪声标签。噪声标签参对最终模型的性能有着严重的副作用。针对这个问题，mmt提出了协同训练的策略，有效的精炼了伪标注。协同训练具有不同初始化的相同架构的网络。mmt依旧利用聚类算法获得带有噪声的硬伪标注，并使用两个网络之前的时间平均模型生成对方的软伪标注。训练结束后，将测试性能更好的模型用于实际部署。

tj-aidl提出了一种结合行人属性和身份的无监督方法，两个分支的骨干网络参数不共享，最后分别学习到属性和身份的多维特征，采取编码解码模块iia融合属性和身份信息，身份特征经过编码得到属性的预测结果。从来自不同域的行人属性角度，tj-aidl提出了属性一致性原则，认为属性分支预测的结果和iia模块编码的特征是一致的。

除了上述方法之外，当下还有很多的学习方法：软多标签学习，从源域中设计参考集，并通过挖掘参考集的信息，用于无监督学习。根据视频行人轨迹进行关联的无监督学习方法，联合建立摄像机内行人行走轨迹的关联，建立摄像机间轨迹关联的模型。使用gan生成在目标域上带有标签的数据集。相关研究提出了利用合成数据的域自适应技术。部分的研究是采取一些非常经典的传统算法或是深度学习网络框架，结合行人重识别特有的问题，提升性能。虽然这些方法在目标域的性能有所突破，但是和有监督的算法还是存在非常显著的差距。

跨域行人重识别由于在跨摄像头场景下缺少标注数据，跨域学习缺乏必要的知识，无法了解由于不同的摄像头、背景和照明亮度的干扰下，行人的视觉外观是如何在不同摄像头下改变的。而深度学习还需要大量有标注的数据集，但是大规模人工标注的成本十分昂贵。

此外，跨域行人重识别有着很大的不确定性，源域和目标域的摄像网络环境是不同的。另外，摄像头和环境都存在着巨大的差异。不同地点和时间上的摄像信息也会产生负面的影响。比如在夏天的校园里，大多学生都是穿着夏装，就和室内商场场景下是截然不同的环境。这也导致了在源域上进行训练的行人重识别模型，在其他域上具有很差的泛化性。

为了使用行人属性作为辅助信息，行人属性识别的准确度有着很高的要求。行人属性通常是指行人的发型，衣服长短、款式，背包等生物软特征。如果利用额外的行人属性或者其他信息进行辅助训练，还将存在不同知识集和特征的混合学习问题。当结合行人属性提升行人重识别模型性能时，对行人属性模块的设计尤其关键。

目前相关跨域方面的研究，相比于监督式的方法，跨域行人重识别通常具有更差的性能，很难运用在实际的场景上。

技术实现要素：

本发明的目的在于提供一种基于行人属性的多任务网络跨域行人重识别模型构建方法、系统及装置，旨在解决现有技术中的上述问题。

本发明提供一种基于行人属性的多任务网络跨域行人重识别模型构建方法，包括：

在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；

在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；

将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。

本发明提供一种基于行人属性的多任务网络跨域行人重识别模型构建系统，包括：

预训练模块，用于在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；

伪标注模块，用于在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；

再训练模块，用于将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。

本发明实施例还提供一种基于行人属性的多任务网络跨域行人重识别模型构建装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于行人属性的多任务网络跨域行人重识别模型构建方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于行人属性的多任务网络跨域行人重识别模型构建方法的步骤。

采用本发明实施例，利用行人属性作为辅助信息，结合行人属性和行人身份设计了二分支的多任务深度卷积网络，迭代的使用聚类算法，最终在无标注的目标域获得很好的效果，大大拉近了和有监督算法的差距，节省了人工标注的成本，并且准确度和性能有保障，具有提升社会治安的作用，可以有效的部署在智能安防等领域。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的多任务网络跨域行人重识别模型构建方法的流程图；

图2是本发明实施例的多任务网络的构架示意图；

图3是本发明实施例的多任务网络跨域行人重识别模型构建系统的示意图；

图4是本发明实施例的多任务网络跨域行人重识别模型构建装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

方法实施例

根据本发明实施例，提供了一种多任务网络跨域行人重识别模型构建方法，图1是本发明实施例的多任务网络跨域行人重识别模型构建方法的流程图，如图1所示，根据本发明实施例的多任务网络跨域行人重识别模型构建方法具体包括：

步骤101，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过骨干网络输出特征图，将特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；

步骤101具体包括：

将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片i；

将行人图片i输入到经过imagenet数据集预训练的resnet50骨干网络中，通过骨干网络输出特征图将特征图t分别输入行人属性分支和行人身份分支。

在行人身份分支中，特征图t经过全局平局池化层，得到f∈r²⁰⁴⁸的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：

其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；

将优化后的多维特征f经过批量标准化bn层，得到并根据公式2，采用交叉熵函数计算行人身份损失：

其中，n是源域图片的总数，是源域的第i张图片，是该图片的身份标签，指对行人图片预测为其类别的概率；

在行人属性分支中，特征图t经过一个瓶颈层得到对t′分块得到上半部分和下半部分分别对t′、t1、t2使用平均池化层得到全局特征局部特征和

根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过bn层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：

其中，xij是行人图片ii的第j个属性的预测分数，yil是真实的标签，n是数据集所有图片的数量，ka是属性集合的个数。

在本发明实施例中，根据属性的语义，对属性分组，将具有高关联性的属性划分在一起，比如可以划分性别，头部，上身，下身，附属物等分组。不同的属性分组分别对应着不同的图像信息，属性分组可以依据其空间位置，进行划分。语义描述相近的属性往往分为一组，挖掘属性之间的依赖关系，提升属性识别的准确性。不同的属性分组具有不同的空间特性。全局的属性分组一般使用整个特征图经过平均池化得到的多维特征。而局部的分组，只关注与其局部的图像信息，其他额外的图像都是干扰项。比如头发只在乎行人头部的视觉特征。我们需要局部的特征用于局部分组。局部特征最直接的获取方法，就是将特征图水平方向分块。接上平均池化层，输出局部特征。

此外，本发明实施例提出了一种结合行人属性和身份的二分支网络框架。多任务学习的方式，将行人身份和行人属性识别划分为两个任务，各自作为一个独立分支分别进行优化。让两个分支各学习到相关的多维特征，最后融合起来用于计算距离矩阵。两个分支共享骨干网络的参数，让两个分支学习到的特征不产生过大的分割，导致最后无法有效的融合。两个分支分别只专注于自己的任务，身份分支以身份损失函数和三元组损失函数进行优化，而属性分支以属性分类损失函数作为辅助。两个分支学习到的特征，也因为损失函数的不同，具有一定的差异性。也导致最终融合的特征具有多样性，从更多的视野，不同的角度对行人图像进行特征的提取。

步骤102，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；步骤102具体包括：

将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出通过行人属性分支输出全局特征局部特征和将和拼接起来，得到在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：

对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：和

通过行人属性分支对目标域进行属性识别，输出属性特征其中，ka是属性集合的个数，对进行聚类，得到另一类伪标注通过对对和进行筛选，获得最终的行人图片的伪标注。

步骤103，将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。

从上述处理可以看出，在目标域的训练，需要多次迭代，并且每轮迭代都要重新聚类，给目标域图片打伪标签。本发明实施例的上述技术方案可以就为两个部分，一个是在源域预训练；一个是在目标域进行跨域迁移训练：在本发明实施例中，用源域预训练的模型参数初始化，然后进行多轮训练。每一轮的训练，都根据模型输出的特征，使用聚类生成伪标签，以有监督的方式进行迭代。在目标域是无标注的，所以用聚类给图片进行标注，并且根据输出的行人属性特征对标注进行筛选，得到更可靠的伪标签，还是按在源域训练的方式训练模型。每一轮的模型对当前所注释的伪标签进行学习，并且下一轮的模型在这轮训练好的模型基础上，重新聚类标注伪标签，模型在这样的过程中，不断挖掘目标域的信息。

从上述技术方案可以看出，为了解决目标域没有标签的问题，本发明实施例使用聚类为数据生成伪标签。通过聚类算法，分别对所设计的身份和属性分支的特征进行聚类，将聚类的结果作为行人的身份标签，给未标注的数据生成伪标签。首先在带标注的源域上对模型预训练，然后聚类得到在目标域的伪标签。迭代固定次数之后，将新训练得到的模型重新提取特征，并进行新一轮的聚类训练。不断对模型微调，每轮都得到新的聚类结果，伪标签越来越可信。模型在这样不断迭代的学习过程中，逐步挖掘目标域的数据，提取到更好的特征。

以下结合附图，对本发明实施例的上述技术方案进行详细说明。

本发明实施例提出了如图2的多任务网络，对输入的行人图片，通过骨干网络输出三维的张量，分别输入行人属性分支和行人身份分支进行多任务学习，最后将两个分支各自学习到的多维特征融合起来作为最终的行人特征，用于行人检索。

具体为三个部分：在源域上训练模型；结合行人属性和行人身份并基于聚类算法将模型迁移到目标域。

1、源域具有行人属性和行人身份的标注，有监督学习的方式训练模型：

输入的行人图片，缩放处理，并进行随机剪裁，按概率垂直翻转等预处理，得到256*128的图片i。

网络模型如图2所示，图片i经过在imagenet数据集预训练的resnet50骨干网络，得到一个特征图将t分别输入行人身份分支和行人属性分支。

在行人身份分支中，t经过全局平局池化层，得到的多维特征，对f采用三元组损失函数：

其中n是源域图片的数量，f是锚点，fp是正样本，fn是负样本。

f经过批量标准化(batchnormalization,简称为bn)层后，得到用交叉熵函数计算行人身份损失：

其中n是源域图片的总数，是源域的第i张图片，是该图片的身份标签。指对行人图片预测为其类别的概率。

在行人属性分支中，t先经过一个bottleneck模块得到对t′分块得到上半部分下半部分分别对t′，t1，t2使用平均池化层得到全局特征局部特征和根据属性的语义信息和空间位置分组，每组分别在对应的特征后接上分类器，再经过bn层得到属性预测值，计算属性的交叉熵损失：

xij是行人图片ii的第j个属性的预测分数，yil是真实的标签，n是数据集所有图片的数量，ka是属性集合的个数。

2、结合行人属性和行人身份并基于聚类算法将模型迁移到目标域：

将目标域无标注的图片输入到预训练的模型中，行人身份分支输出行人属性分支输出了全局特征局部特征和将和拼接起来，得到在目标域上，所有的无标签的行人图片都生成了三种特征向量集合：

对每个特征向量集合聚类分别得到一系列簇。每个簇作为一个行人身份标签，每个行人图片都获得伪标签。每张图片都有三种特征向量，都得到对应的伪标签，分别是和

行人属性分支还对目标域进行属性识别，输出了属性特征ka是属性集合的个数。对聚类，得到另一类伪标签接着对和进行筛选。

根据获得的伪标签，进行有监督的训练。重复步骤1～3，直到模型的性能饱和。

最终得到的模型在目标域达到了有监督学习方法的水平，可以有效的部署在智能安防等领域。

综上所述，本发明实施例的跨域行人重识别算法，仅利用了源域的身份和属性标注，在目标域上的性能已经和有监督深度学习方法相似。相比于其他的无监督行人重识别方法有着非常大的提升。可以有效的进行实际部署。节省了人工标注的成本，并且准确度和性能有保障。

系统实施例

根据本发明实施例，提供了一种多任务网络跨域行人重识别模型构建系统，图3是本发明实施例的多任务网络跨域行人重识别模型构建系统的示意图，如图3所示，根据本发明实施例的多任务网络跨域行人重识别模型构建系统具体包括：

预训练模块30，用于在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；所述预训练模块30具体用于：

将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片i；

将行人图片i输入到经过imagenet数据集预训练的resnet50骨干网络中，通过所述骨干网络输出特征图将特征图t分别输入行人属性分支和行人身份分支。

在行人身份分支中，特征图t经过全局平局池化层，得到f∈r²⁰⁴⁸的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：

其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；

将优化后的多维特征f经过批量标准化bn层，得到并根据公式2，采用交叉熵函数计算行人身份损失：

其中，n是源域图片的总数，是源域的第i张图片，是该图片的身份标签，指对行人图片预测为其类别的概率；

在行人属性分支中，特征图t经过一个瓶颈层得到对t′分块得到上半部分和下半部分分别对t′、t1、t2使用平均池化层得到全局特征局部特征和

根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过bn层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：

其中，xij是行人图片ii的第j个属性的预测分数，yil是真实的标签，n是数据集所有图片的数量，ka是属性集合的个数。

伪标注模块32，用于在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；所述伪标注模块32具体用于：

将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出通过行人属性分支输出全局特征局部特征和将和拼接起来，得到在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：

对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：和

通过行人属性分支对目标域进行属性识别，输出属性特征其中，ka是属性集合的个数，对进行聚类，得到另一类伪标注通过对对和进行筛选，获得最终的行人图片的伪标注。

再训练模块34，用于将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。

本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。

装置实施例一

本发明实施例提供一种多任务网络跨域行人重识别模型构建装置，如图4所示，包括：存储器40、处理器42及存储在所述存储器40上并可在所述处理器42上运行的计算机程序，所述计算机程序被所述处理器42执行时实现如下方法步骤：

步骤101，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过骨干网络输出特征图，将特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；

步骤101具体包括：

将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片i；

将行人图片i输入到经过imagenet数据集预训练的resnet50骨干网络中，通过骨干网络输出特征图将特征图t分别输入行人属性分支和行人身份分支。

在行人身份分支中，特征图t经过全局平局池化层，得到f∈r²⁰⁴⁸的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：

其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；

将优化后的多维特征f经过批量标准化bn层，得到并根据公式2，采用交叉熵函数计算行人身份损失：

其中，n是源域图片的总数，是源域的第i张图片，是该图片的身份标签，指对行人图片预测为其类别的概率；

在行人属性分支中，特征图t经过一个瓶颈层得到对t′分块得到上半部分和下半部分分别对t′、t1、t2使用平均池化层得到全局特征局部特征和

根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过bn层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：

其中，xij是行人图片ii的第j个属性的预测分数，yil是真实的标签，n是数据集所有图片的数量，ka是属性集合的个数。

在本发明实施例中，根据属性的语义，对属性分组，将具有高关联性的属性划分在一起，比如可以划分性别，头部，上身，下身，附属物等分组。不同的属性分组分别对应着不同的图像信息，属性分组可以依据其空间位置，进行划分。语义描述相近的属性往往分为一组，挖掘属性之间的依赖关系，提升属性识别的准确性。不同的属性分组具有不同的空间特性。全局的属性分组一般使用整个特征图经过平均池化得到的多维特征。而局部的分组，只关注与其局部的图像信息，其他额外的图像都是干扰项。比如头发只在乎行人头部的视觉特征。我们需要局部的特征用于局部分组。局部特征最直接的获取方法，就是将特征图水平方向分块。接上平均池化层，输出局部特征。

此外，本发明实施例提出了一种结合行人属性和身份的二分支网络框架。多任务学习的方式，将行人身份和行人属性识别划分为两个任务，各自作为一个独立分支分别进行优化。让两个分支各学习到相关的多维特征，最后融合起来用于计算距离矩阵。两个分支共享骨干网络的参数，让两个分支学习到的特征不产生过大的分割，导致最后无法有效的融合。两个分支分别只专注于自己的任务，身份分支以身份损失函数和三元组损失函数进行优化，而属性分支以属性分类损失函数作为辅助。两个分支学习到的特征，也因为损失函数的不同，具有一定的差异性。也导致最终融合的特征具有多样性，从更多的视野，不同的角度对行人图像进行特征的提取。

步骤102，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；步骤102具体包括：

将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出通过行人属性分支输出全局特征局部特征和将和拼接起来，得到在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：

对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：和

通过行人属性分支对目标域进行属性识别，输出属性特征其中，ka是属性集合的个数，对进行聚类，得到另一类伪标注通过对对和进行筛选，获得最终的行人图片的伪标注。

步骤103，将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。

从上述技术方案可以看出，为了解决目标域没有标签的问题，本发明实施例使用聚类为数据生成伪标签。通过聚类算法，分别对所设计的身份和属性分支的特征进行聚类，将聚类的结果作为行人的身份标签，给未标注的数据生成伪标签。首先在带标注的源域上对模型预训练，然后聚类得到在目标域的伪标签。迭代固定次数之后，将新训练得到的模型重新提取特征，并进行新一轮的聚类训练。不断对模型微调，每轮都得到新的聚类结果，伪标签越来越可信。模型在这样不断迭代的学习过程中，逐步挖掘目标域的数据，提取到更好的特征。

装置实施例二

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器42执行时实现如下方法步骤：

步骤101，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过骨干网络输出特征图，将特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；

步骤101具体包括：

将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片i；

将行人图片i输入到经过imagenet数据集预训练的resnet50骨干网络中，通过骨干网络输出特征图将特征图t分别输入行人属性分支和行人身份分支。

在行人身份分支中，特征图t经过全局平局池化层，得到f∈r²⁰⁴⁸的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：

其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；

将优化后的多维特征f经过批量标准化bn层，得到并根据公式2，采用交叉熵函数计算行人身份损失：

其中，n是源域图片的总数，是源域的第i张图片，是该图片的身份标签，指对行人图片预测为其类别的概率；

在行人属性分支中，特征图t经过一个瓶颈层得到对t′分块得到上半部分和下半部分分别对t′、t1、t2使用平均池化层得到全局特征局部特征和

根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过bn层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：

其中，xij是行人图片ii的第j个属性的预测分数，yil是真实的标签，n是数据集所有图片的数量，ka是属性集合的个数。

在本发明实施例中，根据属性的语义，对属性分组，将具有高关联性的属性划分在一起，比如可以划分性别，头部，上身，下身，附属物等分组。不同的属性分组分别对应着不同的图像信息，属性分组可以依据其空间位置，进行划分。语义描述相近的属性往往分为一组，挖掘属性之间的依赖关系，提升属性识别的准确性。不同的属性分组具有不同的空间特性。全局的属性分组一般使用整个特征图经过平均池化得到的多维特征。而局部的分组，只关注与其局部的图像信息，其他额外的图像都是干扰项。比如头发只在乎行人头部的视觉特征。我们需要局部的特征用于局部分组。局部特征最直接的获取方法，就是将特征图水平方向分块。接上平均池化层，输出局部特征。

此外，本发明实施例提出了一种结合行人属性和身份的二分支网络框架。多任务学习的方式，将行人身份和行人属性识别划分为两个任务，各自作为一个独立分支分别进行优化。让两个分支各学习到相关的多维特征，最后融合起来用于计算距离矩阵。两个分支共享骨干网络的参数，让两个分支学习到的特征不产生过大的分割，导致最后无法有效的融合。两个分支分别只专注于自己的任务，身份分支以身份损失函数和三元组损失函数进行优化，而属性分支以属性分类损失函数作为辅助。两个分支学习到的特征，也因为损失函数的不同，具有一定的差异性。也导致最终融合的特征具有多样性，从更多的视野，不同的角度对行人图像进行特征的提取。

步骤102，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；步骤102具体包括：

将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出通过行人属性分支输出全局特征局部特征和将和拼接起来，得到在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：

对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：和

通过行人属性分支对目标域进行属性识别，输出属性特征其中，ka是属性集合的个数，对进行聚类，得到另一类伪标注通过对对和进行筛选，获得最终的行人图片的伪标注。

步骤103，将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。

从上述技术方案可以看出，为了解决目标域没有标签的问题，本发明实施例使用聚类为数据生成伪标签。通过聚类算法，分别对所设计的身份和属性分支的特征进行聚类，将聚类的结果作为行人的身份标签，给未标注的数据生成伪标签。首先在带标注的源域上对模型预训练，然后聚类得到在目标域的伪标签。迭代固定次数之后，将新训练得到的模型重新提取特征，并进行新一轮的聚类训练。不断对模型微调，每轮都得到新的聚类结果，伪标签越来越可信。模型在这样不断迭代的学习过程中，逐步挖掘目标域的数据，提取到更好的特征。

综上所述，采用本发明实施例，利用行人属性作为辅助信息，结合行人属性和行人身份设计了二分支的多任务深度卷积网络，迭代的使用聚类算法，最终在无标注的目标域获得很好的效果，大大拉近了和有监督算法的差距，节省了人工标注的成本，并且准确度和性能有保障，具有提升社会治安的作用，可以有效的部署在智能安防等领域。

本实施例所述计算机可读存储介质包括但不限于为：rom、ram、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。