自适应建模域特征的域泛化行人重识别方法

1.本发明涉及计算机视觉领域，特别地涉及一种自适应建模域特征的域泛化行人重识别方法。


背景技术：

2.行人重识别是一个频繁面临跨域识别的问题，为了解决跨域问题，传统机器学习方法会联合多个域的数据进行联合训练，然而不同域内包含许多特有的特征，这类特征对于自己域内样本的建模有很大帮助，但是对于其他域样本的建模是无用甚至有害的。针对这类域冲突问题，传统方法会选择直接丢弃或为每个域的特征单独维护，这会导致较差的特征建模能力或极高的计算存储成本开销，无法适应不同场景下部署的行人重识别模型的要求。


技术实现要素：

3.针对以上问题，本发明提供了一种自适应建模域特征的域泛化行人重识别方法。
4.本发明具体采用的技术方案如下：
5.一种自适应域特征建模的域泛化行人重识别方法，其包括以下步骤：
6.s1、获取用于训练行人重识别网络的多源域数据集；
7.s2、构建行人重识别网络，所述行人重识别网络包括主干深度神经网络、若干嵌入于主干深度神经网络中的跨域嵌入块以及连接于主干深度神经网络后的分类网络；
8.所述主干深度神经网络采用resnet-50-ibn模型，用于从输入的域样本中提取基础特征进而用于后续的跨域特征表达；resnet-50-ibn模型中除第一个阶段(stage)之外的每个阶段中最后一个特征表达瓶颈块被替换为一个跨域嵌入块；
9.所述跨域嵌入块包含子特征嵌入网络、域样本自适应的子特征组合模块、静态域通用特征提取模块以及动静特征融合模块，跨域嵌入块的块输入为当前跨域嵌入块前端级联的特征表达瓶颈块的输出；所述子特征嵌入网络有多个，分别用于从所述块输入中提取出域无关子特征，将所有子特征嵌入网络提取的域无关子特征构建为公共子特征嵌入空间；所述域样本自适应的子特征组合模块中，先利用域感知适配器根据当前域样本自适应的生成公共子特征嵌入空间中每个域无关子特征的权重，然后再对公共子特征嵌入空间中所有域无关子特征进行加权聚合，获得动态域样本自适应特征；所述静态域通用特征提取模块，用于从所述块输入中提取静态域通用特征；所述动静特征融合模块，用于融合静态域通用特征与动态域样本自适应特征并进行精调，最终得到的特征作为跨域嵌入块的块输出；
10.所述分类网络用于根据所述主干深度神经网络的最终输出进行分类；
11.s3、基于所述多源域数据集对构建的行人重识别网络进行模型训练，并利用最终训练好的行人重识别网络对未知的目标域图像数据进行行人重识别。
12.作为优选，所述s1中，多源域数据集中包含不同源域的域样本数据，每个域样本为
一张rgb彩色图像i
train
。
13.作为优选，所述s2中，以在imagenet上预训练过的resnet-50-ibn模型作为主干深度神经网络，resnet-50-ibn模型中除第一个阶段之外的每个阶段中最后一个特征表达瓶颈块被去除；对于每一帧彩色图像i
train
，将其输入主干深度神经网络中获取网络中插有跨域嵌入块的每个阶段输出的特征，第l个阶段输出的特征被输入第l个阶段末尾连接的跨域嵌入块中，经过跨域嵌入块处理后再输入下一个级联的模块。
14.作为优选，所述s2中，所述跨域嵌入块内的处理步骤包括：
15.s21、基于当前第l个跨域嵌入块的前端模块输出的特征通过n个子特征嵌入网络分别得到n个域无关子特征，构成当前域样本的公共子特征嵌入空间；其中第n个子特征嵌入网络提取到的域无关子特征为
[0016][0017]
式中：表示第l个跨域嵌入块中的第n个子特征嵌入网络，采用一个特征表达瓶颈块实现；
[0018]
s22、根据域样本自适应的子特征组合模块，预测s21中公共子特征嵌入空间内所有域无关子特征的组合权重w
l
：
[0019][0020]
式中：w
l
为n维向量，mlp()表示用于预测权重的多层感知机；
[0021]
基于所述组合权重w
l
对s21所述中公共子特征嵌入空间内所有域无关子特征进行加权聚合，获得样本自适应的动态组合特征表达：
[0022][0023]
式中：表示第l个跨域嵌入块中的动态域样本自适应特征，w
l,n
表示组合权重w
l
中的第n维权重值，n＝1,2,
…
,n；
[0024]
s23、根据静态域通用特征提取模块，额外从特征中提取静态域通用特征：
[0025][0026]
式中：mlps()表示静态域通用特征提取模块中的特征表达瓶颈块；
[0027]
s24、利用动静特征融合模块对动态域样本自适应特征和静态域通用特征进行特征融合，动静特征融合模块中包含数值归一化模块、特征加权融合模块、及特征重组精调模块，最终得到用于匹配的特征
[0028][0029][0030]
式中：norms()和normd()分别为数值归一化模块中的归一化函数；a
l
为特征加权融合模块中的融合权重，为可学习参数；sigmoid()和mlp()分别表示特征重组精调模块中的激活函数和多层感知机。
[0031]
作为优选，所述s3中，对构建的行人重识别网络进行模型训练的具体方法如下：
[0032]
s31、针对多源域数据集中的每一个训练样本，将s24中预测得到的彩色图像i
train
的特征输入池化层，池化结果再输入分类网络获得预测的分类结果并使用和人工标注的域内类别结果y计算交叉熵损失函数l
ce
、三元组损失函数l
triplet
、中心聚类损失函数l
center
和域感知聚类损失函数l
cluster
四项指标；
[0033]
s33、针对每一个训练样本，计算最终的损失函数为：
[0034]
l
total
＝l
ce
+l
triplet
+l
center
+l
cluster
[0035]
并使用sgd优化方法和反向传播算法在损失函数l
total
下训练整个行人重识别网络，直到网络收敛。
[0036]
作为优选，所述域感知聚类损失函数l
cluster
基于s22中预测得到的组合权重进行计算，首先获得全局的组合权重w＝[w1,w2,
…
,w
l
]，基于组合权重计算域内聚类损失l
intra
和域间聚类损失l
inter
，再将两者求和得到l
cluster
：
[0037][0038][0039]
l
cluster
＝l
intra
+l
inter
[0040]
式中：l为resnet-50-ibn模型中插入跨域嵌入块的总阶段数，k代表域的数量，m代表域内的实例数，m1及m2为距离约束超参数，w
i,j
代表第i个域内第j个样本的全局组合权重，和分别代表第i个和第j个域的平均全局组合权重。
[0041]
作为优选，所述主干深度神经网络中具有五个阶段，在第二到第五个阶段末尾分别插入跨域嵌入块。
[0042]
作为优选，所述跨域嵌入块内，子特征嵌入网络的数量n取4。
[0043]
作为优选，所述域感知聚类损失函数中，距离约束超参数m1取0.1，m2取0.3。
[0044]
作为优选，所述s3中，对于未知的目标域图像数据，将其输入去除分类网络后的行人重识别网络中在池化层得到特征表达，利用该特征表达在库中进行检索，实现行人重识别。
[0045]
本方法基于深度神经网络，建模rgb图像中的域内特有特征和域间共享特征空间，探索域自适应的子特征组合方法，自适应提取样本域敏感的特征表征，并采用元学习技术提升模型应对未知域时的表达能力，能够更好地适应不同域场景下的行人重识别模型的要求。相比于现有技术中的方法，本发明具有如下有益效果：
[0046]
首先，本发明提出了一种对不同域的通用或特有的子特征进行分解的方法，从而能够构建一个独立于不同域间的公共子特征空间。
[0047]
其次，本发明采用元参数生成的方法构建了域感知的子特征组合器。通过设计这个部分，可以大幅提高模型对于不同域样本的适应能力，提取域自适应的特征表达，实现更具有泛化性的行人重识别模型。
[0048]
本方法在行人重识别任务中，能够有效提高对于场景改变的鲁棒性，具有良好的应用价值。例如，可以在一组固定的数据中训练模型并直接在不同场景部署，不需要再次收集指定区域的数据去做模型调整。
附图说明
[0049]
图1为本发明方法的基本步骤示意图；
[0050]
图2为本发明的自适应特征提取行人重识别网络结构示意图；
[0051]
图3为本发明实施例展示的部分实验效果图。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0053]
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
[0054]
参考图1，在本发明的一个较佳实施例中，提供了一种使用自适应域特征提取行人重识别方法，用于在给定多个域的彩色图像的情况下，对不同域的彩色图像进行无冲突建模的过程。该方法具体包括以下步骤：
[0055]
s1、获取用于训练行人重识别网络的多源域数据集。
[0056]
在本发明的实施例中，上述s1中，多源域数据集中包含不同源域的域样本数据，每个域样本为一张rgb彩色图像i
train
。
[0057]
s2、构建行人重识别网络，所述行人重识别网络包括主干深度神经网络、若干嵌入于主干深度神经网络中的跨域嵌入块(code-block)以及连接于主干深度神经网络后的分类网络。
[0058]
行人重识别网络的整体网络结构如图2所示，其中主干深度神经网络采用resnet-50-ibn模型，用于从输入的域样本中提取基础特征进而用于后续的跨域特征表达；resnet-50-ibn模型中除第一个阶段(stage)之外的每个阶段中最后一个特征表达瓶颈块(representational bottleneck block)被替换为一个跨域嵌入块；
[0059]
所述跨域嵌入块包含子特征嵌入网络、域样本自适应的子特征组合模块、静态域通用特征提取模块以及动静特征融合模块，跨域嵌入块的块输入为当前跨域嵌入块前端级联的特征表达瓶颈块的输出；所述子特征嵌入网络有多个，分别用于从所述块输入中提取出域无关子特征，将所有子特征嵌入网络提取的域无关子特征构建为公共子特征嵌入空间；所述域样本自适应的子特征组合模块中，先利用域感知适配器根据当前域样本自适应的生成公共子特征嵌入空间中每个域无关子特征的权重，然后再对公共子特征嵌入空间中所有域无关子特征进行加权聚合，获得动态域样本自适应特征；所述静态域通用特征提取模块，用于从所述块输入中提取静态域通用特征；所述动静特征融合模块，用于融合静态域通用特征与动态域样本自适应特征并进行精调，最终得到的特征作为跨域嵌入块的块输
出；
[0060]
所述分类网络用于根据所述主干深度神经网络的最终输出进行分类。
[0061]
在本发明的实施例中，上述s2中，以在imagenet上预训练过的resnet-50-ibn模型作为主干深度神经网络，resnet-50-ibn模型中除第一个阶段之外的每个阶段中最后一个特征表达瓶颈块被去除，以保证网络的简洁性，去除的特征表达瓶颈块位置被替换为一个跨域嵌入块。主干深度神经网络参照resnet-50-ibn模型，一共具有五个阶段，其中第一个阶段是卷积和池化操作，无需插入特征表达瓶颈块，因此本实施例中在第二到第五个阶段末尾分别插入跨域嵌入块(上述图2中的code1～4)。
[0062]
对于每一帧彩色图像i
train
，将其输入主干深度神经网络中获取网络中插有跨域嵌入块的每个阶段输出的特征，第l个阶段输出的特征被输入第l个阶段末尾连接的跨域嵌入块中，经过跨域嵌入块处理后再输入下一个级联的模块。
[0063]
在本发明的实施例中，上述s2中，所述跨域嵌入块内的处理步骤包括：
[0064]
s21、基于当前第l个跨域嵌入块的前端模块输出的特征通过n个子特征嵌入网络分别得到n个域无关子特征，构成当前域样本的公共子特征嵌入空间；其中第n个子特征嵌入网络提取到的域无关子特征为
[0065][0066]
式中：表示第l个跨域嵌入块中的第n个子特征嵌入网络，采用一个特征表达瓶颈块实现。
[0067]
在本发明的实施例中，上述跨域嵌入块内，子特征嵌入网络的数量n取4。
[0068]
s22、根据域样本自适应的子特征组合模块，预测s21中公共子特征嵌入空间内所有域无关子特征的组合权重w
l
：
[0069][0070]
式中：w
l
为n维向量，mlp()表示用于预测权重的多层感知机；
[0071]
基于所述组合权重w
l
对s21所述中公共子特征嵌入空间内所有域无关子特征进行加权聚合，获得样本自适应的动态组合特征表达：
[0072][0073]
式中：表示第l个跨域嵌入块中的动态域样本自适应特征，w
l,n
表示组合权重w
l
中的第n维权重值，n＝1,2,
…
,n。
[0074]
s23、根据静态域通用特征提取模块，额外从特征中提取静态域通用特征：
[0075][0076]
式中：mlps()表示静态域通用特征提取模块中的特征表达瓶颈块。
[0077]
s24、利用动静特征融合模块对动态域样本自适应特征和静态域通用特征进行特征融合，动静特征融合模块中包含数值归一化模块、特征加权融合模块、及特征重组精调模块，最终得到用于匹配的特征
[0078][0079][0080]
式中：norms()和normd()分别为数值归一化模块中的归一化函数；α
l
为特征加权融合模块中的融合权重，为可学习参数；sigmoid()和mlp()分别表示特征重组精调模块中的激活函数和多层感知机。
[0081]
另外，需要说明的是，行人重识别网络的框架中，分类网络中的分类器数据需要根据实际的任务情况进行确定，可以有一个或多个，图2中展示了3个分类器。分类网络主要用于辅助主干网络进行训练，在测试阶段或者实际应用阶段需要去除该分类网络。因此，对于未知的目标域图像数据，将其输入去除分类网络后的行人重识别网络中在池化层得到特征表达，利用该特征表达在库中进行检索，实现行人重识别。在实际检索时，可将目标域图像数据的特征表达与库中已有行人的特征表达进行相似度计算，根据相似度进行匹配推荐。
[0082]
s3、基于所述多源域数据集对构建的行人重识别网络进行模型训练，并利用最终训练好的行人重识别网络对未知的目标域图像数据进行行人重识别。
[0083]
在本发明的实施例中，上述s3中，对构建的行人重识别网络进行模型训练的具体方法如下：
[0084]
s31、针对多源域数据集中的每一个训练样本，将s24中预测得到的彩色图像i
train
的特征输入池化层，池化结果再输入分类网络获得预测的分类结果并使用和人工标注的域内类别结果y计算交叉熵损失函数l
ce
、三元组损失函数l
triplet
、中心聚类损失函数l
center
和域感知聚类损失函数l
cluster
四项指标；
[0085]
在本发明的实施例中，上述域感知聚类损失函数l
cluster
基于s22中预测得到的组合权重进行计算，首先获得全局的组合权重w＝[w1,w2,
…
,w
l
]，基于组合权重计算域内聚类损失l
intra
和域间聚类损失l
inter
，再将两者求和得到l
cluster
：
[0086][0087][0088]
l
cluster
＝l
intra
+l
inter
[0089]
式中：l为resnet-50-ibn模型中插入跨域嵌入块的总阶段数，k代表域的数量，m代表域内的实例数，m1及m2为距离约束超参数，w
i,j
代表第i个域内第j个样本的全局组合权重，和分别代表第i个和第j个域的平均全局组合权重。
[0090]
在本发明的实施例中，上述域感知聚类损失函数中，距离约束超参数m1取0.1，m2取0.3。
[0091]
本发明中，衡量分类准确率和特征度量差异的指标分别为交叉熵损失和三元组损失，两者的具体计算方式均属于现有技术，对此不再赘述。
[0092]
s33、针对每一个训练样本，计算最终的损失函数为：
[0093]
l
totar
＝l
ce
+l
triplet
+l
center
+l
cluster
[0094]
并使用sgd优化方法和反向传播算法在损失函数l
total
下训练整个行人重识别网络，直到网络收敛。
[0095]
经过上述训练后收敛的行人重识别网络即可用于对实际的不同域的rgb彩色图像进行行人重识别特征表达。应用时只需要将待表征的rgb彩色图像输入行人重识别网络，即可输出对应的特征表达，通过与库中已知行人的特征表达进行相似匹配，即可实现行人重识别。下面将上述s1～s3所述的方法应用于具体实施例中，以便本领域技术人员能够更好地理解本发明的效果。
[0096]
实施例
[0097]
本实施例的实现方法如前s1～s3所述，不再详细阐述具体的步骤，下面仅针对案例数据展示其效果。本发明在四个具有真值标注的数据集上实施，分别为：
[0098]
market1501数据集：该数据集包含12936张图像用于训练，19281张图像用于测试。
[0099]
cuhk03数据集：该数据集包含7368张图像用于训练，6728张图像用于测试。
[0100]
msmt17数据集：该数据集包含30248张图像用于训练，96193张图像用于测试。
[0101]
cuhksysu数据集：该数据集包含34574张图像用于训练。
[0102]
本实例从分别选择4个数据集中的三个用于基于前述方法的训练，其他作为测试集，重复3次实验取平均值。
[0103]
如图3所示，图中红色三角标型点为查询点，绿色五边形点为库中的参考点，本发明的方法得到的特征可以使得查询点与对应的参考点更加相似。
[0104]
本实施例检测结果的检测精度如下表1所示，主要采用平均rank1以及map两个指标对各种方法的预测精度进行比较，其中平均rank1指标用于衡量预测的置信度最高的结果的正确率，值越大代表预测结果越准确；map指标是全部预测的平均准确率，值越大代表预测结果越全面且越准确。如表1中所示，本发明的方法(记为our network)与其它方法相比，平均rank1和map指标均存在明显优势。
[0105]
表1
[0106][0107]
上述实施例中，本发明的跨域自适应行人重识别方法首先将建模一个域无关的公共特征空间，接下来根据域感知的权重生成器组合出域自适应的特征表达，将不同域直接区分开进行监督训练，得到更好的行人重识别模型。
[0108]
通过以上技术方案，本发明实施例基于深度学习技术发展了一种自适应建模域特征的域泛化行人重识别方法。本发明可以对不同域的样本建模域自适应的特征，能够更好适应不同域复杂场景下的行人重识别任务。
[0109]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。