一种基于特征解缠表示的目标重识别方法及系统与流程

本发明属于目标重识别领域，特别涉及一种基于特征解缠表示的目标重识别方法及系统。

背景技术：

1、随着深度学习的进一步发展，目标重识别任务在过去的几年来不断发展创新，达到了近乎满意的结果。在如今的目标重识别方法中，大多都是通过在卷积神经网络中添加新的层结构以实现提取目标图片特征的目的亦或是计算局部区域的注意力图以达到提高模型表征能力的目的。但现如今在卷积网络中添加新结构的方法对图像遮挡等类-内差异现象具有一定的局限性，而另一种注意力强化或者水平切分的方法，在提升网络对于微小特征提取能力方面有所优势且能对于遮挡现象表现出很强的鲁棒性。然而，该种方式过分注重于辨识力视觉信息的挖掘反而容易出现类-内匹配矛盾的现象，这是因为局部细节往往在特定的视角下可见，特别是对于复杂场景下本身视角具有极大限制从而存在巨大视角差异，使得模型很难直接学习到纯净的身份-相关信息。

2、近年来，不同于判别式模型，通过生成式对抗训练的gan涌现了新的设计思路，通过生成器与判别器之间的竞争博弈实现抵抗特定类-内变化的鲁棒性特征表示。相对于判别式学习阶段，生成器的算法是独立的，随着gan模型的不断演变，现如今已能达到在去除干扰目标重识别任务信息的情况下从输入目标图像中直接提取身份相关特征或姿势相关特征，从而不需要额外的目标图片信息标注。

3、现有方法虽有不错进展但仍有局限，他们大多依赖样本数量。然而在现实场景中难以获得大量高质量样本图像，因此上述方法难以在复杂场景中有效对于目标进行重识别任务。

技术实现思路

1、针对上述问题，本发明技术方案提出一种基于特征解缠表示的目标重识别方法及系统，采用提出的gps-gan框架无需添加任何辅助约束信号，在共享的骨干网络中级联两组分支，用于分解出识别目标相关和识别目标无关特征，使得整个目标重识别的网络更加简练，并能直接解缠所有可变因素，移除识别目标无关特征，可有效地解决现有技术对目标重识别任务的缺陷。

2、一方面，一种基于特征解缠表示的目标重识别方法，包括：

3、步骤1：利用多粒度特征提取网络模块，提取待识别图像的多粒度特征，并分类成识别目标无关特征与识别目标相关特征；

4、步骤2：将识别目标无关特征与识别目标相关特征输入到生成对抗网络模块中的生成器中进行语义特征重构，从单一特征表示中进行解纠缠开，生成新的图像；

5、步骤3：将生成的新的图像输入到生成对抗网络模块中的判别器中，进行图像的真假与类别的辨识，输出最终识别结果；

6、以依次级联的多粒度特征提取网络模块、生成对抗网络模块构建基于特征解缠的目标重识别网络，在基于特征解缠的目标重识别网络训练过程中，将步骤1-步骤3各步骤执行时的损失进行累加，以累加后的损失最小为训练目标。

7、本发明技术方案提出gps-gan的框架，在无需额外标注信息的前提下结合对抗生成式训练，通过目标特征解缠，移除识别目标无关特征，同时挖掘和强化目标相关特征，从而对目标做出准确判断。

8、进一步的，所述从单一特征表示中进行解纠缠开是指：

9、通过生成对抗网络模块利用同目标变换的方式，基于全局-级和局部-级的特征交换策略来进行特征解缠合成新图像；

10、全局-级的特征交换策略是通过交换同一目标的不同图像xa、xp目标相关特征编码，使得生成对抗网络模块所生成新图像仍具有原目标所匹配的视觉特征，生成与所述同一目标的不同图像xa、xp的合成图像；

11、由于xa，xp属于相同的目标，但其因不同视角姿态、光照、背景而呈现出不同成像，因此全局-级的特征交换策略将强迫识别目标相关分支rθ提取出对类-内变化具有鲁棒性的特征，更多的挖掘和强化图像xa和图像xp之间的共同特征，同时强制识别目标无关分支uθ来获取单一图片中独有的可变因素。

12、局部-级的特征交换策略是通过将完整的特征图划分为多个局部块，在局部水平上进行特征解纠缠和目标变换，通过从同一目标的两个图像中任意一个图像的目标特征相关特征嵌入函数中随机选取目标局部特征，并在相同的位置与另一个图像的中目标特征相关特征嵌入函数对应位置的局部特征进行交换。

13、进一步的，全局-级特征交换的表达式为：

14、g(fr(a)⊕fu(p))

15、g(fr(p)⊕fu(a))

16、其中，fr(a)、fu(a)分别表示从输入的同一目标的图像xa中所提取的识别目标相关特征和识别目标无关特征，fr(p)、fu(p)分别表示从输入的同一目标的图像xp中所提取的识别目标相关特征和识别目标无关特征，⊕表示两种特征的拼接，g()表示特征交换函数。

17、生成对抗网络模块需要从g(fr(a)⊕fu(p))中生成图像xp，同时从g(fr(p)⊕fu(a))中生成与图像xp同一目标的图像xa。

18、进一步的，全局-级的特征交换损失定义为：

19、

20、局部-级的特征交换损失定义为：

21、

22、其中，‖ ‖1表示l1损失绝对值，e表示生成对抗网络模块，xi表示同一目标的图像i，fr(i)、fu(i)分别表示从输入的同一目标的图像xi中所提取的识别目标相关特征和识别目标无关特征，i和j的取值为a或p，s表示一个局部区域变换算子。

23、进一步的，识别目标无关特征的损失如下：

24、

25、其中，p为真实概率分布，q为近似概率分布，表示与目标标签c和特征fr相关联的分类器参数；是目标标签c的索引，当多粒度特征提取网络模块中的三分支预测的目标与目标标签相同时取值为1，否则为0；表示提取目标相关特征的嵌入函数，得到采用第r种编码方式编码输入图像的k个识别目标相关特征，k＝1,2…k，k表示同一目标的输入图像总数；fr表示采用第r种编码方式编码的多粒度特征网络提取的全局特征以及不同规模的局部特征，r＝1,2…8；dkl表示限制目标无关的特征逼近正态分布n(0,1)下的kl散度。

26、进一步的，所述多粒度特征提取网络采用mgn多粒度学习结构，并由多层共享卷积层结构堆叠构成；所述多粒度特征提取网络中的backbone为加载imagenet预训练权重的resnet50；

27、使用cross-entropy训练多粒度特征提取网络，并设定目标分类损失如下：

28、

29、其中，fr表示采用第r种编码方式编码的多粒度特征网络提取的全局特征以及不同规模的局部特征，r＝1,2…8；表示与目标标签c和特征fr相关联的分类器参数；是目标标签c的索引，当多粒度特征提取网络模块中的三分支预测的目标与目标标签相同时取值为1，否则为0，c表示目标标签的总数；表示提取目标相关特征的嵌入函数，得到采用第r种编码方式编码输入图像的k个识别目标相关特征，k＝1,2…k，k表示同一目标的输入图像总数；

30、表示特征fr对应的目标概率通过softmax后的结果，

31、进一步的，所述将识别目标无关特征与识别目标相关特征输入到生成对抗网络模块中进行语义特征重构，从单一特征表示中进行解纠缠开，生成新的图像的过程，即图像重构过程的损失lr，使用l1损失函数，具体如下：

32、

33、其中，‖‖1表示l1损失绝对值，e表示生成对抗网络模块，xi表示同一目标的图像i，fr(i)、fu(i)分别表示从输入的同一目标的图像xi中所提取的识别目标相关特征和识别目标无关特征，i的取值为a或p。

34、进一步的，所述步骤.中判别器包括域-判别器dd和类-判别器dc，域-判别器dd区分图像是真实的或是合成所得，类-判别器dc将对所得的目标图像和输入的目标图像进行目标分类；域-判别器的损失定义如下：

35、

36、类-判别器的损失定义如下：

37、

38、其中，xi表示同一目标的图像i，fr(i)、fu(i)分别表示从输入的同一目标的图像xi中所提取的识别目标相关特征和识别目标无关特征，i的取值为a或p，s表示一个局部区域变换算子。

39、进一步的，所述累加后的损失ltotal具体如下：

40、

41、其中，λr、λu、λr、λgs、λps、λd、λc依次表示目标分类损失kl散度损失、l1损失、全局-级的特征交换损失、局部-级的特征交换损失、域-判别损失以及域-判别器损失的比例系数。

42、另一方面，一种基于特征解缠表示的目标重识别系统，包括：

43、多粒度特征提取网络模块，提取待识别图像的多粒度特征，并分类成识别目标无关特征与识别目标相关特征；

44、生成对抗网络模块：将识别目标无关特征与识别目标相关特征输入到生成对抗网络模块中的生成器中进行语义特征重构，从单一特征表示中进行解纠缠开，生成新的图像；将生成的新的图像输入到生成对抗网络模块中的判别器中，进行图像的真假与类别的辨识，输出最终识别结果；

45、网络构建模块，以依次级联的多粒度特征提取网络模块、生成对抗网络模块构建基于特征解缠的目标重识别网络；

46、训练模块，在基于特征解缠的目标重识别网络训练过程中，将多粒度特征提取网络模块、生成对抗网络模块中执行时的损失进行累加，以累加后的损失最小为训练目标；

47、所述多粒度特征提取网络模块、生成对抗网络模块以及训练模块采用上述的一种基于特征解缠表示的目标重识别方法进行图像数据处理。

48、有益效果

49、本发明提供的技术方案与现有技术相比，本发明技术方案优势在于：

50、(1)本发明技术方案针对目标重识别任务提出了一种在无需提供额外标注信息的前提下解缠识别目标相关特征与识别目标无关特征的新型特征解缠表示学习gps-gan框架，该框架结合对抗生成式训练，使得识别目标无关特征被移除，从而对目标做出准确判断，实现了目标特征表示对于视角变化的鲁棒性；

51、(2)基于多粒度特征网络学习模式，在特征解缠学习的基础上提出了全局-级和局部-级的识别目标相关特征交换策略，进一步稳健了模型对于目标身份表征能力，特别是在遮挡和目标视角变化的情况下；

52、(3)通过学习识别目标相关和识别目标无关的特征编码，实现了目标类-内变化的鲁棒性和合理的特征匹配，体现了gps-gan框架的表征优势，增强了网络泛化性，同时提高了目标重识别的精度。