一种面向目标人物距离量度学习的人物再识别方法与流程

文档序号:14653891发布日期:2018-06-08 22:38阅读:561来源:国知局

本发明涉及视频处理技术领域,尤其是一种人物再识别方法。



背景技术:

人物再识别是对不同摄像机所拍摄的人物图像进行关联匹配,用于理解目标人物在摄像机监控网络中的行为活动,是摄像机监控系统中重要技术。随着摄像机网络及视频监控系统的广泛部署,人物再识别技术受到越来越多的关注。

由于监控摄像机分辨率较低、监控摄像机较远的原因,人物面部及步姿等生物信息无法用于人物再识别技术。因此,当前研究工作假设人物在摄像机监控网络中,人物衣着等外观信息没有发生显著变化,并在此基础之上研究构建具有区分能力的人物外观表示模型。由于这种假设,当人物外观衣着等发生变化,该人物即被认为新的目标人物。因此,人物再识别任务中仅有少量数据能够用于机器学习等统计方法。在少量训练数据上获得的统计模型会出现过拟合(Over-fitting),最终影响人物再识别任务结果。Wu等人的研究工作从第三方数据集采样数据作为‘ThirdParty’,利用稀疏编码方法对查询人物与候选人物进行联合特征表示,通过‘ThirdParty’数据作为中间特征表示填补查询人物与候选人物特征表示之间的语义间隙。Zheng等人在迁移学习的框架中,将人物再识别问题形式化描述为集合验证(Set-basedVerification)问题,通过引入目标(TargetPerson)与非目标人物(Non-targetPerson)关联关系作为额外约束条件,在学习过程中强化了统计模型的鲁棒性。Li等人在任务目标数据集上学习具有泛化能力的距离量度(DistanceMetric),根据目标查询人物的相似性对非目标查询人物进行选择与重新量化,进一步学习具有candidate-set-specific距离量度。

上述研究方法通过引入第三方数据集作为辅助信息对目标任务的统计模型进行训练。一方面,如上讨论人物再识别任务数据集获得十分困难,当目标任务规模较大时,引入第三方数据集仍难以满足目标任务的需求;另一方面,由于目标任务数据集与第三方数据集数据的多样性与差异性,第三方数据集数据难以完全应用于目标任务。同时,上述研究方法侧重在目标人物与候选人物之间单一图像比较的人物再识别任务,由于同一人物多帧图像的类内方差大于图像类间方差的问题,这些研究方法无法直接应用于更具挑战性的多帧图像比较的人物再识别任务。



技术实现要素:

为了克服现有技术的不足,本发明目的为设计一种面向目标人物距离量度学习的人物再识别方法,通过在目标任务数据集上引入非目标查询人物作为辅助约束,在距离量度迁移学习框架下,在线学习(Online Learning)面向目标查询人物的距离量度,解决多帧图像比较的人物再识别问题。

本发明解决其技术问题所采用的技术方案包括以下步骤:

第一步:将目标任务数据集中图像缩放成相同大小,并按照不同人物将数据集随机划分为训练集与测试集,按照人物所处的不同摄像机视野,将测试集再划分为查询人物集和候选人物集;

第二步:在数据集图像数据上提取颜色和纹理特征,构建人物特征表示模型;

第三步:在训练集上利用距离量度学习方法大边缘最邻近(Large Margin Nearest Neighbor,LMNN)学习得到训练集的距离量度Mt

第四步:学习面向目标查询人物的距离量度Mp

在测试集的查询人物集合中,任意选择目标查询人物P,由于P由多帧图像组成,P表示为P={x1,x2,...xi,...,xN},其中xi为人物特征实例,N表示人物P的特征实例个数,将查询人物集合中除去查询人物P之外的其他人物特征实例构成的集合作为非目标人物R={y1,y2,...yj,...yK},其中yj为人物特征实例,K表示非目标人物R的特征实例个数,根据目标查询人物的距离量度Mp,特征实例之间的临近距离,定义损失函数如下:

公式(1)中,L(Mp)示损失函数,表示正则函数,α为权重系数,用以调节损失函数与正则函数间的比例关系;

令xi表示目标查询人物P的特征实例,定义P中与xi最邻近的特征实例为损失函数L(Mp)定义形式如下:

公式(2)中,表示特征实例xi,yj在距离量度Mp作用下的距离;[a]+=max(0,a),为hing损失函数,公式(2)表示集合R中特征实例yi,对集合P中任意最临近特征实例xi与间造成的损失,最小化损失函数L(Mp)能够使得拉近集合P中相同人物的特征距离,推远不同人物的特征实例距离,针对公式(1)中正则函数,使用LogDet分散计算训练集距离量度Mt与面向查询人物的距离量度Mp,正则函数定义如下:

公式(3)中,d表示距离量度维度,tr(*)表示求解矩阵迹的操作;

对面向目标查询人物的距离量度Mp的求解,通过对公式(1)最小化实现,本发明通过优化如下问题实现对Mp的求解:

公式(4)中,ζi,j为松弛因子,满足及ζi,j≥0的约束;β为权重参数,调节公式(4)中两项比例;表示xi与在距离量度Mt作用下的距离;其中,Mp≥0约束距离量度Mp为半正定矩阵,使用半正定规划(Semi-DefiniteProgramming,SDP)对公式(4)进行求解;

第五步:根据目标查询人物距离量度Mp,计算目标查询人物与所有候选人物的距离,距离计算公式为距离最小的候选人物即为目标查询人物的再识别结果。

本发明的有益效果在于由于采用一种面向目标人物距离量度学习的人物再识别方法,通过引入目标任务数据集中的非目标查询人物数据,辅助目标查询人物距离量度学习。避免引入第三方人物再识别任务数据集时,由于数据集的多样性及差异性对目标任务数据集上统计模型训练学习造成的影响。缓解少量训练数据造成的统计模型过拟合的问题。进一步,本发明在目标人物特征实例临近距离定义损失函数,克服同一人物特征实例类内方差大于类间方差的问题,解决多帧图像比较的人物再识别任务。

附图说明

图1为本发明面向目标人物距离量度学习的人物再识别方法的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明目的为设计一种面向目标人物距离量度学习的人物再识别方法,通过在目标任务数据集上引入非目标查询人物作为辅助约束,在距离量度迁移学习框架下,在线学习面向目标查询人物的距离量度,解决多帧图像比较的人物再识别问题。为使本发明提出面向目标人物距离量度学习的人物再识别方法更加清楚,下面以本发明在人物再识别数据集ETHZ,CAVIAR4REID,及PersonREID上的使用为例,将本发明(Proposed)与适配距离量度中目标距离量度(TargetDistanceMetric,Target),泛化距离量度(GenericDistanceMetric,Generic)及适配距离量度(AdaptiveDistanceMetric,Adaptive),以及迁移量度学习(TransferMetricLearning,TML),多任务大边缘最近邻(Mult-taskLargeMarginNearestNeighbor,mtLMNN),MutualSubspaceMethod(MSM),SparseApproximatedNearestPoints(SANP)和Symmetry-drivenAccumulationofLocalFeatures(SDALF)等方法比较,考察人物再识别任务AUC(AreaUnderCurve,线下面积)及PUR(ProportionofUncertainRemoved,PUR)指标,对本发明进一步说明。

本发明的流程图如图1所示,详细技术方案包括以下步骤:

第一步:将目标任务数据集中图像缩放成相同大小,并按照不同人物将数据集随机划分为训练集与测试集,按照人物所处的不同摄像机视野,将测试集再划分为查询人物集和候选人物集;

本发明对ETHZ,CAVIAR4REID,及PersonREID数据集数据预处理,将数据集分割为训练集与测试集,进一步将测试集分割为查询人物集合与候选人物集合,并采用归一化方法将图像缩放成一致大小。

第二步:在数据集图像数据上提取颜色和纹理特征,构建人物特征表示模型;

本发明在数据集图像数据上提取denseRGB,denseHUE,denseSIFT,Gabor及HOG等特征构建人物特征表示向量,利用PCA(PrincipalComponentAnalysis,主成成分分析)获取120维度特征表示作为特征表示模型。

第三步:在训练集上利用距离量度学习方法LMNN学习得到训练集的距离量度Mt

第四步:学习面向目标查询人物的距离量度Mp

在测试集的查询人物集合中,任意选择目标查询人物P,由于P由多帧图像组成,P表示为P={x1,x2,...xi,...,xN},其中xi为人物特征实例,N表示人物P的特征实例个数,将查询人物集合中除去查询人物P之外的其他人物特征实例构成的集合作为非目标人物R={y1,y2,...yj,...,yK},其中yj为人物特征实例,K表示非目标人物R的特征实例个数,根据目标查询人物的距离量度Mp,特征实例之间的临近距离,定义损失函数如下:

公式(1)中,L(Mp)表示损失函数,R(Mp,Mt)表示正则函数,α为权重系数,本发明取α=0.5,用以调节损失函数与正则函数间的比例关系;

令xi表示目标查询人物P的特征实例,定义P中与xi最邻近的特征实例为损失函数L(Mp)定义形式如下:

公式(2)中,表示特征实例xi,yj在距离量度Mp作用下的距离;[a]+=max(0,a),为hing损失函数,公式(2)表示集合R中特征实例yi,对集合P中任意最临近特征实例xi与间造成的损失,最小化损失函数L(Mp)能够使得拉近集合P中相同人物的特征距离,推远不同人物的特征实例距离,针对公式(1)中正则函数,使用LogDet分散计算训练集距离量度Mt与面向查询人物的距离量度Mp,正则函数定义如下:

公式(3)中,d表示距离量度维度,tr(*)表示求解矩阵迹的操作;

对面向目标查询人物的距离量度Mp的求解,通过对公式(1)最小化实现,本发明通过优化如下问题实现对Mp的求解:

公式(4)中,ζi,j为松弛因子,满足及ζi,j≥0的约束;β为权重参数,调节公式(4)中两项比例,本发明取β=0.8;表示xi与在距离量度Mt作用下的距离;其中,Mp≥0约束距离量度Mp为半正定矩阵,使用半正定规划(Semi-DefiniteProgramming,SDP)对公式(4)进行求解;在求解优化过程汇总,本发明在每次更新迭代过程中使用新的距离量度Mp计算查找

第五步:根据目标查询人物距离量度Mp,计算目标查询人物与所有候选人物的距离,距离计算公式为距离最小的候选人物即为目标查询人物的再识别结果。

完成ETHZ,CAVIAR4REID(CAVIAR)及PersonREID(Re-ID)数据集所有查询人物再识别任务后,统计CMC及AUC指标如表1所示:

表1面向目标人物的距离量度与其他方法的AUC及PUR指标比较

从表1中可以发现,本发明提出面向目标人物距离量度学习的方法与其他人物再识别方法比较在AUC及PRU两个指标上取得了最好结果。从实验结果上证明,本发明方法利用非查询人物数据辅助目标查询人物距离量度学习,能够缓解少量训练数据造成的统计模型过拟合的问题,较好的解决多帧图像比较的人物再识别任务。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1