基于相似性和不相似性融合排序优化的行人重识别方法
【专利摘要】本发明公开了一种基于相似性和不相似性融合排序优化的行人重识别方法，行人重识别是一种针对特定行人的检索问题，本发明的主要思想是正确检索的行人目标应该跟查询行人的极正样本相似，并且跟查询行人的极负样本不相似。同时我们将与极正样本相似的那些行人定义为疑正样本，与极负样本相似的样本为疑负样本，通过提高疑正样本的排名，同时降低疑负样本的排名，来达到通过排序优化的方式来提升行人重识别的效果。此外，融合多种方法的结果来加强这种相似性和不相似性关系。本发明通过对相似性和不相似性的排序结果进行融合，进而提升多摄像头下同一行人匹配的准确性。
【专利说明】基于相似性和不相似性融合排序优化的行人重识别方法
【技术领域】
[0001] 本发明属于监控视频检索【技术领域】，涉及一种行人重识别方法，尤其涉及一种基 于相似性和不相似性融合排序优化的行人重识别方法。
【背景技术】
[0002] 在实际视频侦查中，侦查员需要根据指定行人对象在多摄像头下的活动画面和轨 迹来快速排查、追踪和锁定嫌疑目标，但是需要耗费大量的人力物力和时间，影响破案效 率，极易错过最佳的破案时机。行人重识别是一种针对特定行人对象的跨摄像头监控视频 自动检索技术，即在照射区域无重叠的多摄像头下匹配同一行人对象。该技术用以辅助视 频侦查员快速、准确地发现嫌疑目标的活动画面和轨迹，对公安部门提高破案率、维护人民 群众生命财产安全具有重要意义。
[0003] 目前行人重识别技术所面临的挑战主要是来自于多摄像头下的行人图像往往存 在视角变化、光照变化、姿态变化和尺寸变化等，使得相同行人之间的差异甚至比不同行 人之间的还要大。现有行人重识别技术大致可以分为三类：基于特征表示的行人重识别技 术、基于尺度学习的行人重识别技术、基于排序优化的行人重识别技术。现有行人重识别 所有基于特征方法包括：文献1所述的ELF方法，文献2所述的SDALF方法，文献3所述的 LDFV方法，文献4所述的SDC方法，文献5所述的BiCov方法，文献6所述的SCND方法，文 献7所述的PCCA方法，文献8所述的PRDC方法，文献9所述的LMNN方法，文献10所述的 ITML方法，文献11所述的KISSME方法和文献12所述的FPM方法以及他们的一些变形方 法；
[0004] 其中现有基于优化排序的行人重识别技术仅用到相似性而没有用到不相似性，其 优化结果并不理想。
[0005] 【文献 1】：Douglas Gray and Hai Taoj "Viewpoint invariant pedestrian recognition with an ensemble of localized features，" in European Conference on Computer Vision (ECCV), 2008
[0006] 【文献 2】：MichelaFarenzena，Loris Bazzanij Alessandro Perinaj Vittorio Murinoj and Marco Cristanij "Person reidentification by symmetry-driven accumulation of localfeatures，''in IEEE Conference on Computer Vision andPattern Recognition (CVPR)，2010.
[0007] 【文献 3】：Ma，B.，Su，Y.，Jurie，F. :Local descriptors encoded by fisher vectors for person re-identification. ImEuropean Conference on Computer Vision Workshops andDemonstrations (ECCV Workshop), pp. 413 - 422 (2012)
[0008] 【文献 4】：Zhao, R.，Ouyang，W.，Wang，X. :Unsupervised salience learning for personre-identification. In: Computer Vision and Pattern Recognition (CVPR)， pp. 3586 - 3593(2013)
[0009] 【文献 5】：B. Ma，Y. Su，and F. Jurie，"Bicov:a novel image representationfor person re-identification and face verification, " in BritishMachine Vision Conference(BMVC), 2012.
[0010] 【文献6】：Yan J et al. Yang Y，Yang J，uSalient color names forperson re-identification, ^ in European Conference onComputer Vision (ECCV), 2014
[0011] 【文献7】:A. Mignon and F. Jurie，"Pcca:A new approach for distancelearning from sparse pairwise constraints，" in IEEE Conferenceon Computer Vision and Pattern Recognition (CVPR), 2012
[0012] 【文献 8】：Zheng W S，Gong S，Xiang T. Person re-identification by probabilistic relative distance comparison[C]//Computer Vision and Pattern Recognition (CVPR), 2011IEEE Conference on.IEEE, 2011:649-656.
[0013] 【文献 9】：K. Q. Weinberger，J. Blitzer，and L K. Saul. Distance metriclearning for large margin nearest neighbor classification. InAdvances NIPS, 2006
[0014] 【文献 10 】：J. V. Davi s，B. Ku I i s，P. Jain，S. Sra，and I · S. Dh i 11 on. Information-theoretic metric learning. In Proc.IEEE Intern.Conf.on Machine Learning, 2007.
[0015] 【文献 11】：M. Kostinger，M. Hirzer，P. Wohlhart，P. Roth，and H. Bischof，"Large scale metric learning from equivalence constraints， "inIEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012
[0016] 【文献 12】：Wang Y，Hu R，Liang C，et al. Camera compensation using feature projection matrix for person re-identification[C]//Multimedia and Expo (ICME)，2013IEEE International Conference on.IEEE, 2013:1-6.
【发明内容】
[0017] 针对现有技术存在的不足，本发明提供了一种基于相似性和不相似性融合排序优 化的行人重识别方法，该方法通过对相似性和不相似性的排序结果进行融合，进而提升多 摄像头下同一行人匹配的准确性。
[0018] 本发明所采用的技术方案是：一种基于相似性和不相似性融合排序优化的行人重 识别方法，其特征在于：任选ELF方法、SDALF方法、LDFV方法、SDC方法、BiCov方法、SCND 方法、PCCA方法、PRDC方法、LMNN方法、ITML方法、KISSME方法和FPM方法中的两种方法 (以下简称为方法1和方法2)进行相似性和不相似性融合排序优化；其具体实现包括以下 步骤：
[0019] 步骤1 :针对一个特定的查询p，分别采用方法1和方法2得到p的排序列表RL1 (p) 和RL2 (p)，分别取两个排序列表的前k+个结果，得到/叫,,（川;
[0020] 步骤2 :通过对两个排序列表AIUp)和的前k个结果取并集，得到双方都 认同的极相似样本集= υ>Ι·/=1,2，···Κ <~，即都认同的极相似样本数有< 个；
[0021] 步骤3 :对极相似样本集⑷里的每一个样本作为一个新的查询；保留 原先的待查集，进行交叉的反向查询；对于方法1和方法2,计算每个新查询排序列表与原 始查询P的排序列表的Jaccard相似度，分别对匕（/0进行重排；其具体实现包括以下子 步骤：
[0022] 步骤3. 1:对<\+Cp)中的每个新的查询g&+c/)，根据它在G' 〇?)中的位置，计算 每个^+ω的排序列表赋的权重Μ/(^+ω);
[0023] 步骤 3. 2 :
[0024] 对于方法中的每一个gAi+(/l进行反向查询时，用方法2去查询； 对(0中的每一个新的查询gu(/)得到的新排序列表i?L2(&i(/>)，构建一个双层图 Graph+= <G, E, w>，第一层采用初始的方法1得到的top-k个结果，第二层采用方法2,取 top-k结果，计算两层的Jaccard相似度MYO, g&m)，并计算出每个极相似样本的权重 >对(妁中进行重排，并输出排序优化的结果逆^ ;
[0025] 对于方法2,对W1 (/7)中的每一个尽^+€/)进行反向查询时，用方法1去查询； 对GA:+〇?)中的每一个新的查询^ + ω得到的新排序列表构建一个双层图 Graph+= <G, E, w>，第一层采用初始的方法2得到的top-k个结果，第二层采用方法1，取 top-k结果，计算两层的Jaccard相似度&?Π>，W l;i)，并计算出每个极相似样本的权重 对⑶中进行重排，并输出排序优化的结果巧(i；);
[0026] 步骤4 :对两种优化后的排序列表进行融合，得到交叉反向查询的排序融合排序 列表RL#(p)，+ 其中，α表示融合的权重，可根据实际情况 调整；
[0027] 步骤5 :对于分别通过方法1和方法2得到ρ的排序列表RL1 (ρ)和RL2 (ρ)，分别取 两个排序列表的后k_个结果，得到/?/；(/;)和/?€ (/;);
[0028] 步骤6 :通过对两个排序列表(/;)的前ke_个结果取并集，得到极不 相似样本集(?) = & ,,,Ι./_=1，2，._Λ. Λ <々丨，即极不相似样本数有1^。_个；
[0029] 步骤7:把极不相似样本集GA;?里的每一个极不相似样本作为一个新的 查询，保留原先的待查集，进行交叉的反向查询，其具体实现包括以下子步骤：
[0030] 步骤7. 1 :对于方法1，对中G4O7)的每一个极不相似样本w进行 反向查询时，用方法2去查询，得到一个新的排序列表(gA. (P))，取新排序 列表的前k+个结果，iVl+(gAV(/>);用< +(<5Αν(ρ))表示所有的新排序集合，即： iVl+(GA. (p)) = {Nl(gKc U)) I ； = 1,2,...kj ；
[0031] 步骤7. 2 :对于方法2,对GA· J>)中的每一个极不相似样本ω进 行反向查询时，用方法1去查询，得到一个新的排序列表(Au);取新排序 列表的前k +个结果，<+(^_(/>);用(W)表示所有的新排序集合，即： NI(GkJp)) = {Nl(gKe_u>) I j = 1,2,..IfJ ;
[0032] 步骤8 :对步骤7得到的排序集合(户))=ω) I J = 1，2，···<_}和 4(*? (/7)) = I) = i，2, 求其极不相似样本并集 G dis (P);对 Gdis (P)中 的每个样本gi，统计其在和％2+(Ga;?)中的频数，用tf (gi)表示；其中 tf (gi) <ke_;G dis (p)中所有样本在(P))和<+((^ (P))中出现的频数表示为：
【权利要求】
1. 一种基于相似性和不相似性融合排序优化的行人重识别方法，其特征在于：任选 ELF方法、SDALF方法、LDFV方法、SDC方法、BiCov方法、SCND方法、PCCA方法、PRDC方法、 LMNN方法、ITML方法、KISSME方法和FPM方法中的两种方法（以下简称为方法1和方法2) 进行相似性和不相似性融合排序优化；其具体实现包括以下步骤： 步骤1 :针对一个特定的查询P，分别采用方法1和方法2得到p的排序列表RL1 (p)和RL2 (p)，分别取两个排序列表的前k+个结果，得到ΑΙ；?和办)； 步骤2 :通过对两个排序列表AZ1h (的和+(妁的前k个结果取并集，得到双方都认同 的极相似样本集乂以)=也即都认同的极相似样本数有&个； 步骤3 :对极相似样本集Gri 里的每一个样本gA+C/)作为一个新的查询；保留原先 的待查集，进行交叉的反向查询；对于方法1和方法2,计算每个新查询排序列表与原始查 询P的排序列表的Jaccard相似度，分别对<^ (川进行重排；其具体实现包括以下子步 骤： 步骤3. 1:对中的每个新的查询gjf+ (y)，根据它在G&07)中的位置，计算每个 k+w的排序列表赋的权重4&^七 步骤3. 2 : 对于方法1，对cV(P)中的每一个&ω进行反向查询时，用方法2去查询；对 中的每一个新的查询&^,得到的新排序列表构建一个双层图Graph+= <G,E,w>，第一层采用初始的方法1得到的top-k个结果，第二层采用方法2,取 top-k结果，计算两层的Jaccard相似度g&+(/,)，并计算出每个极相似样本的权重 对G&⑶中进行重排，并输出排序优化的结果^ 对于方法2,对中的每一个gA:+(il进行反向查询时，用方法1去查询；对 G&+ (P)中的每一个新的查询g&+ω得到的新排序列表(&?+ (/))，构建一个双层图Graph+= <G,Ε,w>，第一层采用初始的方法2得到的top-k个结果，第二层采用方法1，取 top-k结果，计算两层的Jaccard相似度Wm) *并计算出每个极相似样本的权重 对G&⑶中进行重排，并输出排序优化的结果逆％ ; 步骤4 :对两种优化后的排序列表进行融合，得到交叉反向查询的排序融合排序列表RL*(p)，虹*〇) = ?/^丨（夕）+ (1_α)/?12(ρ);其中，α表示融合的权重，可根据实际情况调 整； 步骤5 :对于分别通过方法1和方法2得到ρ的排序列表RL1 (ρ)和RL2 (ρ)，分别取两个 排序列表的后k_个结果，得到 < (川和M(/小 步骤6:通过对两个排序列表和的前个结果取并集，得到极不相似 样本集^^户)=I户1，2,…<_人_ ^}，即极不相似样本数有、_个； 步骤7:把极不相似样本集Gt(P)里的每一个极不相似样本为一个新的查 询，保留原先的待查集，进行交叉的反向查询，其具体实现包括以下子步骤： 步骤7. 1 :对于方法1，对中GA_?的每一个极不相似样本gA; u)进行反 向查询时，用方法2去查询，得到一个新的排序列表W2 (gA. (/;))，取新排序 列表的前k+个结果，<+(§1(7));用Al(GA;(片）表示所有的新排序集合，即： (P))= Λ(^.υ,) IJ= U,..Λ-}； 步骤7. 2 :对于方法2,对Ga?川中的每一个极不相似样本gxvc/)进行反 向查询时，用方法1去查询，得到一个新的排序列表^_(心.取新排序列 表的前k+个结果，<+(gAV(/));用(P))表示所有的新排序集合，即：N;+(GKc_ (p)) = {Nl(gKc{J})Ij=1,2,..IcJ; 步骤8 :对步骤7得到的排序集合iVl+(C^?) = {<+(gA; (/))|_/ = 1，2，..尤_}和 (/?)) = {W+(gAVW)IJ=l，2，"ireJ求其极不相似样本并集Gdis (P);对Gdis (P)中 的每个样本gi，统计其在M+(GA·?)和Λ^+((^中的频数，用tf(gi)表示；其中 tf(gi)〈kc_;Gdis(p)中所有样本在<+(G^?)和中出现的频数表示为：
步骤9:对于RlZ(P)中&的，根据频数将其在RL#(p)中的顺序优化Jank^gi) =四111^化)*61?(|3>1^化)）；根据四111^化）将1^?优化排序，得到最终排序优化的 RLhoh(P);其中rankYgi)是RLiXp)中的排列序号； 步骤10 :重新计算排序优化后的CMC值，此处CMC值是指N次查询中，返回前r个结果 中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表示行人检索性能越好。
2. 根据权利要求1所述的基于相似性和不相似性融合排序优化的行人重识别方法，其 特征在于：步骤2中所述的双方都认同的极相似样本集定义为：
其中，/< (/7)和/^ (/;)表示方法1和方法2排序列表的前k+个结果。
3. 根据权利要求1所述的基于相似性和不相似性融合排序优化的行人重识别方法，其 特征在于：步骤3中所述的<A定义为：
其中，ω，表示新查询&+w在排序列表ga:+⑶中的序号。
4. 根据权利要求1所述的基于相似性和不相似性融合排序优化的行人重识别方法，其 特征在于：步骤3中所述的两层的Jaccard相似度分别定义为：
5. 根据权利要求1所述的基于相似性和不相似性融合排序优化的行人重识别方法，其 特征在于：步骤6中的所述的极不相似样本集定义为： Cja-{p) = {R^ {p)}u\RL：{ρ)'\ ο
【文档编号】G06K9/00GK104462550SQ201410827080
【公开日】2015年3月25日 申请日期:2014年12月25日 优先权日:2014年12月25日
【发明者】胡瑞敏, 叶茫, 梁超, 刘俊, 王正, 陈军, 阮威健 申请人:武汉大学