基于自适应距离度量学习的跨摄像机行人再识别方法与流程

本发明涉及一种视频图像处理技术领域的方法，具体为一种基于自适应距离度量学习的跨摄像机行人再识别方法。

背景技术：

在镜头互不重叠的摄像机监控网络中对指定目标行人进行匹配识别具有广泛的应用前景，这一技术被称为跨摄像机行人再识别，它是智能监控系统中跨摄像机目标跟踪及行为分析的基础和前提条件。由于具有巨大的商业价值，因此跨摄像机行人再识别在近年来受到了广泛的关注和研究。跨摄像机行人再识别研究中的重点和难点在于摄像机之间的光照、视角差异以及行人本身的姿态变化和遮挡情况变化。除此之外，低分辨率监控视频使得人脸等信息在大多数情况下不再适用。

为了克服上述问题，很多研究者希望能设计出对跨摄像机视觉变化鲁棒性高的特征。然而，由于现实场景中摄像机间的差异存在很强的不确定性，行人的姿态也存在诸多变数，找出一个对所有这些变化鲁棒性强但又能有效分辨不同行人的特征实属困难。因此，距离度量学习被引入到跨摄像机行人再识别问题中来。具体来说，距离度量学习将已经标注的行人样本对(正样本对表示两张图片属于同一行人，负样本对表示两张图片属于不同行人)作为训练集合，通过对训练集合上样本对之间的距离进行优化，学习得到一个距离度量矩阵，可以将所有样本投影到一个新的特征空间，在这个特征空间里，正样本对之间的相互距离较小，而负样本对之间的相互距离较大。例如郑伟诗等人于2012年在《ieeetransactionsonpatternanalysisandmachineintelligence》(国际电气与电子工程师协会模式分析与机器智能学报)发表的论文“reidentificationbyrelativedistancecomparison”(基于相对距离比较的跨摄像机行人匹配)利用训练样本学习得到最优的概率相对距离度量标准，并用此标准来对数据库中的其它图片进行距离度量。通过把特征映射到公共空间，距离度量学习可以在一定程度上解决不同摄像机之间的差异性问题。然而，现有距离度量学习算法通常在训练过程中平等地对待所有样本，没有考虑不同样本之间的差异性。由于不同的样本在原始特征空间上具有不同的可区分性，因此对于距离度量学习的重要程度实质上是不同的。

技术实现要素：

针对上述现有技术的不足，本发明提供一种基于自适应距离度量学习的跨摄像机行人再识别方法，能够根据训练样本原始特征空间上的分布情况对样本进行自适应分类和加权，使得不同的样本能在距离度量学习的过程中起到不同的作用，从而训练得到判别性更强的距离度量函数。

为实现上述目的，本发明首先利用训练集中来自不同摄像机的行人图片构成样本对，为距离度量学习提供约束；然后根据训练样本在原始特征空间中的可区分性为不同的样本对自适应性地分配训练权重；接着采用加速近端梯度算法对距离度量学习的目标函数进行求解，得到马氏距离度量矩阵；最后将学习得到的距离度量矩阵代入马氏距离度量函数，并计算测试阶段行人图片特征向量之间的马氏距离，得到相似性排序结果。

本发明方法通过以下具体步骤实现：

基于自适应距离度量学习的跨摄像机行人再识别方法，包括以下步骤：

步骤1：输入距离度量学习的训练数据，将不同摄像机下的行人图片分别表示为查询集和候选集其中是第i张查询图片和第j张候选图片的特征向量，而和为对应行人的身份标签，n为训练阶段查询集的图片总数，m为训练阶段候选集的图片总数；

步骤2：选取查询集中的查询图片xi和候选集中的候选图片yj构成样本对(xi,yj)，为样本对分配二分类标签zij，其中当时zij＝1，(xi,yj)被称为正样本对，而当时zij＝-1，(xi,yj)被称为负样本对；定义任意样本对(xi,yj)之间的马氏距离度量函数为：

其中m为马氏距离中的距离度量矩阵；

步骤3：利用logistic损失函数为训练集中的每一样本对(xi,yj)建立距离度量学习的损失函数：

其中ξ为训练集中所有样本对特征向量之间的欧式距离均值，当(xi,yj)为正样本对时，损失函数约束马氏距离dm(xi,yj)小于而当(xi,yj)为负样本对时，损失函数约束马氏距离dm(xi,yj)大于

步骤4：同时考虑训练集中所有样本对之间的损失函数约束，定义自适应距离度量学习的总体目标函数为：

步骤5：根据训练样本的差异性，为不同样本对的损失函数ψ(xi,yj)分配不同的训练权重wij，使自适应距离度量学习的目标函数变为：

步骤6：根据目标函数，将自适应距离度量学习定义为如下优化问题：

步骤7：使用加速近端梯度算法求解步骤6中的优化问题，得到对应的距离度量矩阵m；

步骤8：在测试阶段，对于给定的查询模板图片的特征向量x^p和其它摄像机下可疑行人目标构成的候选图片的特征向量组n为测试阶段候选集的图片总数，将距离度量矩阵m代入步骤2中的马氏距离度量函数，分别计算x^p与每张候选图片的特征向量之间的马氏距离并按照马氏距离大小对候选图片进行排序，使与x^p马氏距离较小的候选图片排在队列的前端。

进一步的：步骤5中所述的根据训练样本的差异性，为不同样本对的损失函数ψ(xi,yj)分配不同的训练权重wij，具体实现过程为：

步骤5.1：对于训练集中的查询图片的特征向量xi，计算候选集中所有候选图片特征向量与xi在欧式空间的特征距离，然后按照距离从小到大的顺序对中的图片进行排序；

步骤5.2：根据步骤5.1中的排序结果，将候选集划分成对于xi的困难集合中等集合以及简单集合

困难集合的定义为：

公式中，ri(yj)表示候选图片yj在步骤5.1得到的排序队列中的位置，而则表示xi在候选集中的正确匹配y⁺在排序队列中的位置；

中等集合的定义为：

其中m为候选集中行人图片数量的总数，也即步骤5.1中排序队列的总长度；

简单集合的定义为：

步骤5.3：根据步骤5.2中候选集的划分结果，为样本对(xi,yj)的损失函数自适应分配训练权重wij；当(xi,yj)为正样本对时，将ψ(xi,yj)的训练权重wij设为1/n⁺，其中n⁺为训练集中正样本对的总数；而当(xi,yj)为负样本对时，通过下式定义其损失函数ψ(xi,yj)的训练权重wij：

其中，n^-表示训练集中权重不为零的负样本对总数，β1和β2为调节训练权重变化范围的平衡参数。

进一步的：步骤7中所述的使用加速近端梯度算法求解步骤6中的优化问题，得到对应的距离度量矩阵m，其具体包括以下步骤：

步骤7.1：初始化m0和m-1为单位矩阵，并对其进行迭代更新；

步骤7.2：具体地，对于第t次迭代，首先计算聚合前向矩阵st：

其中系数在第一次迭代时被设为0；

步骤7.3：定义矩阵其中是距离度量学习的总体目标函数ψ(m)在st处的梯度，ηt为迭代步长；

步骤7.4：对矩阵pt进行特征值分解，将其表示为然后对第t次迭代的距离度量矩阵m进行更新，得到迭代结果mt：

其中用于确保距离度量矩阵mt是半正定的；

步骤7.5：重复步骤7.2至7.4，直至达到收敛条件：

步骤7.6：返回收敛时的mt作为自适应距离度量学习的训练结果m。

与现有技术相比，本发明的有益效果如下：

1)本发明根据训练样本在原始特征空间上的可区分性对样本对进行自适应性的分类和加权，相比于现有距离度量学习技术在训练过程中平等地对待所有训练样本，本发明能够更好地利用训练样本之间的差异性；

2)本发明通过将部分样本对的训练权重设置为零，舍去了训练集中部分原始特征空间中容易区分的负样本，不仅有效缓解了行人再识别问题中负样本对过多的问题，还减少了训练过程中的计算量；

3)本发明能够利用训练样本的标注信息，学习得到特定的马氏距离度量函数，使同一行人的图片特征距离较近，而不同行人图片的特征距离较远，有效克服了不同摄像机之间的差异对跨摄像机行人再识别的影响。

附图说明

图1为本发明基于自适应距离度量学习的跨摄像机行人再识别方法整体流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及具体实施例，对本发明的技术方案做进一步的详细说明。

以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例通过将摄像机a中出现过的行人作为目标，并在与摄像机a不存在重叠视域的摄像机b中寻找与行人目标最相似的可疑行人对象，以完成跨摄像机行人再识别，在本发明的实施例中，该方法包括以下步骤：

步骤1：输入距离度量学习的训练数据，将摄像机a中出现过的行人图片集合定义为查询集而将摄像机b中出现过的行人图片集合候选集其中是第i张查询图片和第j张候选图片的特征向量，而和为对应行人的身份标签。n为训练阶段查询集的图片总数，m为训练阶段候选集的图片总数；

步骤2：选取查询集中的查询图片xi和候选集中的候选图片yj构成样本对(xi,yj)，为样本对分配二分类标签zij，其中当时zij＝1，(xi,yj)被称为正样本对，而当时zij＝-1，(xi,yj)被称为负样本对。定义任意样本对(xi,yj)之间的马氏距离度量函数为：

其中m为马氏距离中的距离度量矩阵。

步骤3：利用logistic损失函数为训练集中的每一样本对(xi,yj)建立距离度量学习的损失函数：

其中ξ为训练集中所有样本对特征向量之间的欧式距离均值。当(xi,yj)为正样本对时，损失函数约束马氏距离dm(xi,yj)小于而当(xi,yj)为负样本对时，损失函数约束马氏距离dm(xi,yj)大于

步骤4：同时考虑训练集中所有样本对之间的损失函数约束，定义自适应距离度量学习的总体目标函数为：

步骤5：根据训练样本的差异性，为不同样本对的损失函数ψ(xi,yj)分配不同的训练权重wij，使自适应距离度量学习的目标函数变为：

在本实施例中，步骤5所述的根据训练样本的差异性，为不同样本对的损失函数ψ(xi,yj)分配不同的训练权重wij，其具体实现过程如下：

步骤5.1：对于训练集中的查询图片的特征向量xi，计算候选集中所有候选图片特征向量与xi在欧式空间的特征距离，然后按照距离从小到大的顺序对中的图片进行排序；

步骤5.2：根据步骤5.1中的排序结果，将候选集划分成对于xi的困难集合中等集合以及简单集合

困难集合的定义为:

公式中，ri(yj)表示候选图片yj在步骤5.1得到的排序队列中的位置，而则表示xi在候选集中的正确匹配y⁺在排序队列中的位置。

中等集合的定义为：

其中m为候选集中行人图片数量的总数，也即步骤5.1中排序队列的总长度。

简单集合的定义为：

步骤5.3：根据步骤5.2中候选集的划分结果，为样本对(xi,yj)的损失函数自适应分配训练权重wij。当(xi,yj)为正样本对时，将ψ(xi,yj)的训练权重wij设为1/n⁺，其中n⁺为训练集中正样本对的总数。而当(xi,yj)为负样本对时，通过下式定义其损失函数ψ(xi,yj)的训练权重wij：

其中，n^-表示训练集中权重不为零的负样本对总数，β1和β2为调节训练权重变化范围的平衡参数，在本实施例中β1＝0.75而β2＝0.25。

步骤6：根据目标函数，将自适应距离度量学习定义为如下优化问题：

步骤7：使用加速近端梯度算法求解步骤6中的优化问题，得到对应的距离度量矩阵m。

在本实施例中，步骤7中所述的使用加速近端梯度算法求解步骤6中的优化问题，得到对应的距离度量矩阵m，其具体实现步骤如下：

步骤7.1：初始化m0和m-1为单位矩阵，并对其进行迭代更新；

步骤7.2：具体地，对于第t次迭代，首先计算聚合前向矩阵st：

其中系数在第一次迭代时被设为0；

步骤7.3：定义矩阵其中是距离度量学习的目标函数ψ(m)在st处的梯度，ηt为迭代步长；在本实施例中，ηt在每次迭代时被初始化为2⁸，并检查下列条件是否满足：

其中<·,·>表示矩阵的内积，||·||f表示矩阵的frobenius范数，当上式中的条件满足时，使用ηt作为迭代步长；否则用ηt/2替换ηt，直至条件满足；

步骤7.4：对矩阵pt进行特征值分解，将其表示为然后对第t次迭代的距离度量矩阵m进行更新，得到迭代结果mt：

其中用于确保距离度量矩阵mt是半正定的；

步骤7.5：重复步骤7.2至7.4，直至达到收敛条件：

步骤7.6：返回收敛时的mt作为自适应距离度量学习的训练结果m。

步骤8：在得到距离度量矩阵m之后，对于摄像机a中出现过的任意行人目标模板图片，提取其特征向量x^p，同时将摄像机b中出现过的身份未知的行人图片集合定义为候选集，提取每张候选图片的特征向量，组成特征向量组n为测试阶段候选集的图片总数。将步骤7中求得的距离度量矩阵m代入步骤2中的马氏距离度量函数，分别计算x^p与每张候选图片的特征向量之间的马氏距离并按照马氏距离大小对候选图片进行排序，使与x^p马氏距离较小的候选图片排在队列的前端。最终，排序越靠前的候选图片越有可能是行人目标在摄像机b中的正确匹配。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。