一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法

本发明涉及一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法，属于图像行人识别。

背景技术：

1、随着大规模数据集的出现、以及特征提取和度量学习方法的改进，行人重识别受到了很多关注。目前，大多数行人重识别模型仅使用单一源域的有限数据进行训练，这在实际应用中是不合理的，使得其他标记数据集没有得到充分的利用。例如，基于集群聚类的自步对比学习的优点在于使用混合存储器不断在线微调伪标签，并使用对比学习策略训练网络，在域适应上取得了较好的识别效果。但是该网络仅使用单一数据集训练，且尚未考虑不同领域差异。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法，针对源域和目标域之间的特征分布差异、以及多源数据集训练时存在的域差异问题，设计全新逻辑识别方案，能够有效提高行人重识别的准确率。

2、本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法，基于各拍摄角度分别所对应包含各已知身份标签目标人物的各幅样本图像的源域样本集si，结合包含各目标人物、但未知对应身份标签的各幅样本图像的目标域样本集t，执行如下步骤a至步骤b，获得关于各目标人物的目标人物识别模型；然后应用目标人物识别模型，执行如下步骤c，针对待分析人物图像，实现关于目标人物的识别；1≤i≤i，i表示的拍摄角度的数量，si表示第i个拍摄角度对应的源域样本集；

3、步骤a.构建以人物图像为输入、关于目标人物的身份标签识别结果为输出的待训练模型，然后进入步骤b；

4、步骤b.基于多源域对比损失模块lhm、以及各源域样本集si分别对应的源域特定归一化层dsbn_si与源混合记忆存储器hm_si，根据各源域样本集si、以及目标域样本集t，针对待训练模型进行训练，获得关于各目标人物的目标人物识别模型；

5、步骤c.由目标人物识别模型接收待分析人物图像、并进行处理，获得待分析人物图像关于目标人物的身份标签识别结果。

6、作为本发明的一种优选技术方案：所述步骤a中，所述待训练模型包括特征提取器、广义均值池化模块gem、多域信息融合模块、目标域特定归一化层dsbn_t、目标混合记忆存储器hm_t；

7、其中，特征提取器自其输入端至其输出端依次包括串联的第一层残差网络l0、第二层残差网络l1、第一精准特征分布匹配模块efdm1、第三层残差网络l2、第二精准特征分布匹配模块efdm2、第四层残差网络l3、第五层残差网络l4，由第一层残差网络l0的输入端构成特征提取器的输入端，以及由第五层残差网络l4的输出端构成特征提取器的输出端；

8、多域信息融合模块自其输入端至其输出端依次包括串联的第一图卷积神经网络gcn1、带泄露的修正线性单元relu、第二图卷积神经网络gcn2、融合模块，由第一图卷积神经网络gcn1的输入端构成多域信息融合模块的输入端，融合模块的输入端同时对接多域信息融合模块的输入端，融合模块的输出端构成多域信息融合模块的输出端；

9、特征提取器的输入端构成待训练模型的输入端，特征提取器的输出端对接广义均值池化模块gem的输入端，广义均值池化模块gem的输出端对接多域信息融合模块的输入端，多域信息融合模块的输出端对接目标域特定归一化层dsbn_t的输入端，目标域特定归一化层dsbn_t的输出端对接目标混合记忆存储器hm_t的输入端，目标混合记忆存储器hm_t的输出端构成待训练模型的输出端。

10、作为本发明的一种优选技术方案：所述步骤b中，基于待训练模型与多源域对比损失模块lhm、以及各源域样本集si分别对应的源域特定归一化层dsbn_si与源混合记忆存储器hm_si的组合结构如下，根据各源域样本集si、以及目标域样本集t，针对待训练模型进行训练，获得关于各目标人物的目标人物识别模型；

11、组合结构：多域信息融合模块的输出端分别对接目标域特定归一化层dsbn_t的输入端、各源域特定归一化层dsbn_si的输入端，目标域特定归一化层dsbn_t的输出端对接目标混合记忆存储器hm_t的输入端，各源域特定归一化层dsbn_si的输出端分别对接对应源混合记忆存储器hm_si的输入端，同时目标域特定归一化层dsbn_t的输出端、目标混合记忆存储器hm_t的输出端、各源域特定归一化层dsbn_si的输出端、各源混合记忆存储器hm_si的输出端分别对接多源域对比损失模块lhm的输入端。

12、作为本发明的一种优选技术方案：所述步骤b中，根据各源域样本集si、以及目标域样本集t，按如下数据处理方式，针对待训练模型进行训练，获得关于各目标人物的目标人物识别模型；

13、步骤i.应用特征提取器，分别针对各源域样本集si、以及目标域样本集t进行特征提取，获得各源域样本集si分别对应的特征矩阵以及目标域样本集t对应的特征矩阵然后进入步骤ii；

14、步骤ii.分别针对各源域样本集si对应的特征矩阵以及目标域样本集t对应的特征矩阵由广义均值池化模块gem进行处理，更新获得各源域样本集si对应的特征矩阵以及目标域样本集t对应的特征矩阵然后进入步骤iii；

15、步骤iii.分别针对各源域样本集si对应的特征矩阵以及目标域样本集t对应的特征矩阵由多域信息融合模块进行处理，获得各源域样本集si分别对应的特征矩阵以及目标域样本集t对应的特征矩阵然后进入步骤iv；

16、步骤iv.各特征矩阵以及特征矩阵分别经对应各源域特定归一化层dsbn_si、以及目标域特定归一化层dsbn_t进行处理，获得相应各特征矩阵以及特征矩阵

17、步骤v.各特征矩阵以及特征矩阵分别经对应各源混合记忆存储器hm_si、以及目标混合记忆存储器hm_t进行处理，获得各源混合记忆存储器hm_si分别所输出对应源域样本集si的源域身份标签以及目标混合记忆存储器hm_t所输出目标域样本集t所有未聚类目标域实例特征矩阵和目标域聚类伪标签

18、步骤vi.针对特征矩阵各特征矩阵各源域身份标签以及目标域样本集t所有未聚类目标域实例特征和目标域聚类伪标签应用多源域对比损失模块lhm进行损失计算。

19、作为本发明的一种优选技术方案：所述步骤i中，分别针对各源域样本集si、以及目标域样本集t，首先依次经过第一层残差网络l0、第二层残差网络l1进行特征提取，获得各源域样本集si分别对应的特征矩阵si′、以及目标域样本集t对应的特征矩阵t′，并输送至第一精准特征分布匹配模块efdm1进行处理；

20、接着第一精准特征分布匹配模块efdm1的处理中，分别针对各特征矩阵si′、以及特征矩阵t′，先对特征矩阵的各行按值升序排序，获得各特征矩阵si″、以及特征矩阵t″，再分别针对各特征矩阵si″，按如下公式(1)，获得相应各特征矩阵

21、

22、并由第一精准特征分布匹配模块efdm1输出各特征矩阵以及特征矩阵t″至第三层残差网络l2进行处理，其中，<·>表示停止梯度操作，λ～beta(α,a)，α∈(0,∞)为可调的超参数，beta(α,a)表示为形状参数为α的贝塔分布；

23、然后第三层残差网络l2处理中，分别针对各特征矩阵进行特征提取，获得相应各特征矩阵并结合特征矩阵t″输送至第二精准特征分布匹配模块efdm2进行处理，在第二精准特征分布匹配模块efdm2的处理中，分别针对各特征矩阵先对特征矩阵的各行按值升序排序，获得各特征矩阵再分别针对各特征矩阵按如下公式(2)，获得相应各特征矩阵

24、

25、并由第二精准特征分布匹配模块efdm2输出各特征矩阵以及特征矩阵t″；

26、最后分别针对各特征矩阵以及特征矩阵t″，依次经过第四层残差网络l3、第五层残差网络l4进行特征提取，即更新获得各源域样本集si分别对应的特征矩阵以及目标域样本集t对应的特征矩阵

27、作为本发明的一种优选技术方案：所述步骤iii由多域信息融合模块执行如下步骤：

28、步骤iii-1.分别针对各源域样本集si对应的特征矩阵以及目标域样本集t对应的特征矩阵按如下公式(3)：

29、

30、获得各特征矩阵分别对应的域代理节点向量以及特征矩阵对应的域代理节点向量n表示特征矩阵中实例的数量，表示特征矩阵中第n个实例对应的向量，win表示特征矩阵中第n个实例对应的预设可学习加权向量，表示特征矩阵中第n个实例对应的向量，wn表示特征矩阵中第n个实例对应的预设可学习加权向量；

31、步骤iii-2.按如下公式(4)：

32、

33、获得多域信息融合矩阵f(0)，其中∪表示按列堆叠，c表示特征矩阵每一行的长度；

34、步骤iii-3.按如下公式(5),构建第一图卷积神经网络gcn1和第二图卷积神经网络gcn2的邻接矩阵l＝1、2，a(1)表示第一图卷积神经网络gcn1的邻接矩阵，a(2)表示第二图卷积神经网络gcn2的邻接矩阵；

35、

36、其中，r和c分别表示邻接矩阵a(l)的行索引和列索引，表示邻接矩阵a(l)中第r行第c列的值；

37、步骤iii-4.根据第一图卷积神经网络gcn1的邻接矩阵a(1)，针对多域信息融合矩阵f(0)，按如下公式(6):

38、

39、获得多域信息融合矩阵f(0)经过第一图卷积神经网络gcn1处理后的多域信息融合矩阵f(1),w1表示第一图卷积神经网络gcn1对应的预设可学习加权矩阵；

40、步骤iii-5.根据第二图卷积神经网络gcn2的邻接矩阵a(2)，针对多域信息融合矩阵f(1)，按如下公式(7):

41、

42、获得多域信息融合矩阵f(1)经过第二图卷积神经网络gcn2处理后的多域信息融合矩阵f(2),w2表示第二图卷积神经网络gcn2对应的预设可学习加权矩阵；

43、步骤iii-6.针对多域信息融合矩阵f(0)与多域信息融合矩阵f(2)经融合模块进行融合，获得多域信息融合特征矩阵并针对多域信息融合特征矩阵按对应各源域样本集si、以及目标域样本集t进行分解，获得各源域样本集si分别对应的特征矩阵以及目标域样本集t对应的特征矩阵

44、作为本发明的一种优选技术方案：所述步骤vi中，针对特征矩阵各特征矩阵各源域身份标签以及目标域样本集t所有未聚类目标域实例特征矩阵和目标域聚类伪标签应用多源域对比损失模块lhm，按如下公式(9)，进行损失计算；

45、

46、获得损失计算结果lhm，其中，fj为f中的第j个向量，是中的第k个特征向量，表示中第m个特征向量，是中的第o个特征向量，<·，·>表示两个特征向量之间的内积，z+表示与fj对应的正类原型，σ表示温度参数；ns表示中特征向量的数量，nv表示中特征向量的个数，nc表示中特征向量的数量。

47、作为本发明的一种优选技术方案：所述步骤c中，由目标人物识别模型接收待分析人物图像，依次经特征提取器、广义均值池化模块gem、多域信息融合模块、目标域特定归一化层dsbn_t、目标混合记忆存储器hm_t进行处理，获得待分析人物图像所对应目标域聚类伪标签，即获得待分析人物图像关于目标人物的身份标签识别结果。

48、本发明所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：

49、本发明所设计一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法，针对源域和目标域之间的特征分布差异、以及多源数据集训练时存在的域差异问题，以特征提取器、广义均值池化模块gem、多域信息融合模块、目标域特定归一化层dsbn_t、目标混合记忆存储器hm_t，创建待训练模型，并结合源域样本集与目标域样本集进行训练，获得目标人物识别模型，进而针对图像实现关于各目标人物的识别，经试验表明，本发明设计相较现有技术，实际实施应用性能优越，能够有效提高图像中人物识别的准确率与效率。