基于ID有关特征分布范围增强的跨域行人重识别技术的制作方法

本发明属于计算机应用技术领域机器学习理论及应用子领域，本发明专利关注于跨域行人重识别问题。提出基于id有关特征分布范围增强的跨域行人重识别技术，用于解决行人重识别模型在面对跨域任务时因分布漂移而性能大幅度下降的问题。本发明由两部分构成：①设计了一种名为“fd-1”和“fd-2”的特征分离技术，用于从服装数据集deep-fashion2中分离出服饰特征即id有关特征以及从行人重识别数据集dukemtmc-reid中分离出id无关特征。②设计了一种名为“fm”的技术，利用从①中分离出的特征合成新的数据集fashion-reid。借助fashion-reid训练行人重识别模型。由于fashion-reid数据集上的服饰种类足够多即id有关特征的分布范围足够广，因此训练出的模型遇到的分布漂移问题将大大减轻，这有效的提高了模型的跨域性能，促进了跨域行人重识别问题的解决。

背景技术：

行人重识别(re-id)是智慧监控的核心技术，旨在通过给定的查询图像，在非重叠摄像机中检索包含感兴趣人员的图像，是构建智能城市的基本技术。当前的行人重识别任务在有监督的学习场景中已经达到了让人相当满意的表现。目前有监督的行人重识别的数据一般取自校园里的一小块区域，因此这些数据集涉及的行人数目和摄像头均较少且时间跨度非常短。但在实际的城市监控场景中，摄像头数量和人流数量均相当庞大，标志这样的数据集是极其困难、昂贵和几乎不可能的。因此，针对无标签的行人重识别数据集的研究蜂拥而出。由于跨域行人重识别中两个不同的域不包含任何相同的身份类，因此大多数迁移学习领域的基本算法难以用在本领域中。研究如何在无监督的情景中较好地实现行人重识别成为该领域研究中的重要任务。

借助有标签的源域让模型在无标签的目标域实现较好的行人重识别这个任务叫做跨域行人重识别。由于源域和目标域的差异，将在源域训练好的模型部署到目标域时通常会造成严重的性能下降。源域和目标域的差异主要集中在两个方面，一个是id无关特征，如背景、视点、光照、摄像机和行人姿势等的变化；另一个是id有关特征，由于生物特征在行人重识别任务中几乎不起作用，因此在跨域行人重识别的研究中，id有关特征即服饰特征。目前对跨域行人重识别问题的解决方案分为两个技术路线：一是在训练模型时剥离域特有的特征即剥离id无关特征，二是进行域对齐。其中，域对齐又分为实例级对齐和特征级对齐。

由于id有关特征之间的差异是客观存在的，如源域数据集采自于夏季场景，而目标域数据集采自于冬季场景，两个域之间id有关特征即服饰特征必然地存在巨大差异，在特征空间中将它们进行对齐的努力其效果是有限的。但如果不将特征的空间分布进行对齐，模型在进行跨域测试时必然会因为分布漂移问题而产生严重的性能下降问题。

不同域之间的数据，不仅在id无关特征上存在差异，如相机风格背景环境等；在id相关特征上同样存在着差异，如季节间服饰种类的不同。这种id有关的差异，是不同域的数据在特征空间分布上的差异的重要组成。因此通过已有的特征解耦和特征对齐方法解决分布漂移的问题的努力其效果是有限的。

技术实现要素：

本发明提出了一个新的解决思路，对源域id有关特征的空间分布进行增强，使目标域id有关特征的空间分布成为源域id有关特征的空间分布的一个子集，这样在源域训练出的模型在目标域进行测试时遇到的分布漂移问题将大大减轻。

本发明将采用deep-fashion2服装数据集对行人重识别数据集中id有关特征的空间分布进行增强。deep-fashion2中含有大量的服装买家秀与卖家秀，并标了类别等信息。

本发明通过pair_id和style筛选出同一件衣服的买家秀和卖家秀，卖家秀通常存在的多种姿势。

本发明通过在本发明中提出的“fd-1”技术在deep-fashion2数据集上分离出服饰特征，“fd-1”技术即本步骤操作如附图1所示。在该技术中，使用两个独立的神经网络块从图像中提取出id有关特征和其它特征，所有的图像均通过这两个神经网络块提取特征。将两种特征合成特征图的步骤是先将两种特征按通道进行拼接，而后通过一个神经网络块生成特征图。在本发明中，所有图像都以特征图或被转换为特征图的形式存在。

本发明通过在本发明中提出的“fd-2”技术在dukemtmc-reid数据集上分离出其它特征，“fd-2”技术即本步骤操作如附图2所示。在该技术中，从图像中分离两种特征与使用两种特征合成特征图的操作和“fd-1”中的相关操作相同。

本发明通过在本发明中提出的“fm”技术将从上述两个步骤中分离出的特征进行混合生成新的行人重识别数据集，本发明将该数据集命名为“fashion-reid”。“fm”技术即本步骤操作如附图3所示。在该技术中，使用两种特征合成特征图的操作和“fd-1”中的相关操作相同。真/假判别器为一个神经网络块，输入为特征图，输出为0/1，0表示判别器认为特征图来自于合成，1表示判别器认为特征图来自于真实世界。

本发明使用该新的数据集去训练行人重识别模型。

附图说明

图1为本发明中“fd-1”技术的说明图。

图2为本发明中“fd-2”技术的说明图。

图3为本发明中“fm”技术的说明图。

技术特征：

1.基于id有关特征分布范围增强的跨域行人重识别技术，具有提高reid模型在跨域问题上的表现的功能，该方法的技术特征是首先使用在本发明中提出的“fd-1”技术在服装数据上分离出足够丰富的服饰特征即id有关特征；接着使用在本发明中提出的“fd-2”技术在行人重识别数据集分离出其它特征；接着使用在本发明中提出的“fm”技术合成服装类别足够丰富即id有关特征分布范围足够广的新行人重识别数据集；最后采用该新的数据集去训练行人重识别模型并进行跨域测试。

技术总结
本发明的名称是“基于ID有关特征分布范围增强的跨域行人重识别技术”，本发明属于计算机应用技术领域机器学习理论及应用子领域，本发明专利关注于跨域行人重识别问题，更具体来说，是解决由于各数据集服装风格差异过大即ID有关特征分布范围重合区域过少导致模型在实际使用时遇到的分布漂移问题。解决方案的要点是:①提出了一种特征分离技术“FD‑1”，并借助“FD‑1”从服装数据集中分离出足够丰富的服饰特征即分布范围足够广的ID有关特征；②提出了一种特征分离技术“FD‑2”，借助“FD‑2”从行人重识别数据集中分离出ID无关特征；③提出了一种名为“FM”的技术，借助“FM”和①与②中得到的特征构建ID有关特征分布范围足够广的新的行人重识别数据集。最后在新数据集上对模型进行训练。该方案的主要用途是训练一个在跨域任务上表现良好的行人重识别模型。

技术研发人员：黄嘉健
受保护的技术使用者：黄嘉健
技术研发日：2021.05.08
技术公布日：2021.07.27