基于多代理相似度聚合的跨模态行人再辨识方法与流程

1.本发明涉及机器视觉、智能视频监控技术领域，特别涉及一种基于多代理相似度聚合的跨模态行人再辨识方法。


背景技术：

2.由于昼夜光照差异大，视频监控摄像头在白天工作在可见光模态，而在夜晚工作在红外模态，不同成像模态下的目标亦难以区分，造成白天目标图像和夜晚目标图像再辨识极其困难。现有的研究对跨模态行人再辨识重视尚且不足，多数采用与单模态行人再辨识相同的单代理softmax损失函数。单代理softmax损失函数对跨模态图像的类内差异重视程度不够，制约了跨模态行人再辨识的准确性，继而导致跨模态行人再辨识算法在视频监控系统中的实战能力受到限制。


技术实现要素：

3.针对现有技术存在的问题，本发明的目的在于提供一种基于多代理相似度聚合的跨模态行人再辨识方法，其为每个类别建立多个可学习代理，并利用聚合机制将多代理相似度重新聚合，以更好地描述跨模态图像类内变化和相似度学习，从而提升跨模态行人再辨识模型对模态变化的适应能力，进而提升跨模态行人再辨识的准确性。
4.为实现上述目的，本发明采用的技术方案是：
5.一种基于多代理相似度聚合的跨模态行人再辨识方法，采用多代理相似度聚合来构建损失函数，其步骤如下所示：
6.步骤1.1：采用多代理相似度聚合机制来构建损失函数，如公式(1)所示，
[0007][0008]
其中，m表示训练样本数量，c表示类别数量，表示第i个样本xi与第ci个类别的多代理聚合相似度，ci∈[1,2,3,...,c]表示xi的类别标签，表示样本xi与第j个类别的多代理聚合相似度。
[0009]
步骤1.2：利用聚合机制将样本分别与每个类别的多个代理之间的相似度进行聚合，获得样本xi与每个类别的多代理聚合相似度，如公式(2)所示，
[0010][0011]
其中，表示第i个样本xi与第j个类别的多代理聚合相似度，aggregate表示聚合函数，表示第i个样本xi与第j个类别的第k个代理之间的相似度，k表示每个类别的代理个数。
[0012]
步骤1.3：第i个样本xi与第j个类别的第k个代理之间的相似度的计算如公式
(3)所示，
[0013][0014]
其中，表示多个第j个类别的第k个可学习的代理，t是转置操作，表示经由神经网络net从xi中提取的d维特征向量，θ是神经网络net的权重参数。
[0015]
步骤1.4：相似度聚合方式采用下列三种方式之一聚合：
[0016]
i)如图1所示，相似度聚合方式采用均值聚合，如公式(4)所示，
[0017][0018]
ii)如图2所示，相似度聚合方式采用注意力机制聚合，如公式(5)所示，
[0019][0020]
其中，表示聚合权重，由注意力子网络anet算得，即表示聚合权重，由注意力子网络anet算得，即表示经由神经网络net从xi中提取的d维特征向量，φ为anet的权重参数。
[0021]
iii)如图3所示，相似度聚合方式采用困难挖掘策略聚合，如公式(6)所示，
[0022][0023]
其中，ci∈[1,2,3,...,c]表示样本xi的类别标签，在与xi同类的代理(即j＝ci)中，挖掘最小相似度作为xi与第j个类别的困难相似度进行优化，在xi异类的代理(即j≠ci)中，挖掘最大相似度作为xi与第j个类别的困难相似度进行优化。
[0024]
采用上述方案后，本发明为每个类别分配多个可学习的代理，获得多代理相似度，并设计多代理相似度聚合机制，实现跨模态行人再辨识。一方面，本发明为每个类别学习多个代理，可以更好地刻画由于数据跨模态引起的剧烈类内差异；另一方面，本发明设计聚合机制，学习最佳的多代理相似度聚合方式，提升跨模态行人再辨识的准确性。因此，本发明可广泛应用于智慧城市、智慧交通以及智慧安防中的智能视频监控系统。
附图说明
[0025]
图1为本发明基于多代理相似度聚合的跨模态行人再辨识方法的示意图，其中多代理相似度聚合方式采用均值聚合。
[0026]
图2为本发明基于多代理相似度聚合的跨模态行人再辨识方法的示意图，其中多代理相似度聚合方式采用注意力机制聚合。
[0027]
图3为本发明基于多代理相似度聚合的跨模态行人再辨识方法的示意图，其中多代理相似度聚合方式采用困难挖掘策略聚合。
具体实施方式
[0028]
本实施例中，基于多代理相似度聚合的跨模态行人再辨识方法，其训练阶段如下：
[0029]
1.1)获取行人可见光和红外训练集图像，其中每个图像配有身份标识。
[0030]
1.2)构建双分支深度学习网络net。本实施例中，如图1、图2和图3所示，所述双分支深度学习网络由resnet50、广义平均池化层(generalized-meanpooling,gep)和全连接层(fully connected,fc)组成。本实施例中，双分支构建方式具体为resnet50的茎部(stem)、残差组layer1和layer2不共享参数，而layer3和layer4共享参数。
[0031]
1.3)利用多代理相似度聚合损失函数对所构建的双分支深度学习网络进行训练：
[0032]
1.3.1)采用多代理相似度聚合机制来构建损失函数，如公式(1)所示，
[0033][0034]
其中，m表示训练样本数量，c表示类别数量，表示第i个样本xi与第ci个类别的多代理聚合相似度，ci∈[1,2,3,...,c]表示xi的类别标签；表示样本xi与第j个类别的多代理聚合相似度。
[0035]
1.3.2)利用聚合机制将样本分别与每个类别的多个代理之间的相似度进行聚合，获得样本xi与每个类别的多代理聚合相似度，如公式(2)所示，
[0036][0037]
其中，表示第i个样本xi与第j个类别的多代理聚合相似度，aggregate表示聚合函数，表示第i个样本xi与第j个类别的第k个代理之间的相似度，k表示每个类别的代理个数。
[0038]
1.3.3)第i个样本xi与第j个类别的第k个代理之间的相似度的计算如公式(3)所示，
[0039][0040]
其中，表示多个第j个类别的第k个可学习的代理，t是转置操作，表示经由神经网络net从xi中提取的d维特征向量，θ是神经网络net的权重参数。
[0041]
1.3.4)相似度聚合方式可采用下列三种方式聚合：
[0042]
i)如图1所示，相似度聚合方式可采用均值聚合，如公式(4)所示，
[0043][0044]
ii)如图2所示，相似度聚合方式可采用注意力机制聚合，如公式(5)所示，
[0045][0046]
其中，表示聚合权重，由注意力子网络anet算得，即其中，
表示经由神经网络net从xi中提取的d维特征向量，φ为anet的权重参数。
[0047]
iii)如图3所示，相似度聚合方式可采用困难挖掘策略聚合，如公式(6)所示，
[0048][0049]
其中，ci∈[1,2,3,...,c]表示样本xi的类别标签，在与xi同类的代理(即j＝ci)中，挖掘最小相似度作为xi与第j个类别的困难相似度进行优化，在xi异类的代理(即j≠ci)中，挖掘最大相似度作为xi与第j个类别的困难相似度进行优化。
[0050]
1.4)采用梯度下降法最小化损失函数(公式(1))，完成跨模态行人再辨识模型训练，获得跨模态行人再辨识方法模型。
[0051]
本实施例中，基于多代理相似度聚合的跨模态行人再辨识方法，其测试阶段为：使用训练阶段得到的跨模态行人再辨识方法模型，对查询图像和注册图像集进行特征提取，得到查询图像的特征和注册图像的特征(即图1到图3中的fc层的输出)，基于所提取的特征，分别计算查询图像与注册图像之间的距离，并根据距离进行升序排序，选取排名靠前的注册图像即为与查询图像相似的注册图像，作为跨模态行人再辨识模型识别的结果。
[0052]
本发明的关键在于，通过多代理的方法来充分实现每个类的特征表示，可以更好地描述跨模态图像类内变化，并设计三种多代理相似度聚合方法，可以更好地进行相似度学习，从而提升跨模态行人再辨识模型对模态变化的适应能力，进而提升跨模态行人再辨识的准确性。因此，本发明可广泛应用于智慧城市、智慧交通以及智慧安防中的智能视频监控系统。
[0053]
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。