提取与融合的行人重识别，对运组数据集 进行行人比对，包括如下具体步骤：
[0042] 第一步:设P= {pi I 1 y卽访相机A下的行人图片集合，Q= {qi I 1 y如访相机B 下的行人图片集合；
[0043] 第二步:在低尺度下，应用颜色化S)和轮廓化OG)的比对方法，进行第一次行人筛 选，得到候选行人集巧，在高尺度下提取人脸特征化PQ)，补充巧，将候选行人集扩充为 Qcandidate;
[0044] 本步骤中，对P和Q中的原始行人图片进行降采样，得到低尺度图片，运是因为在低 尺度图片上提取服和HOG进行行人重识别准确率不会降低，但是提取特征速度会提高。为了 进一步提升方法的效率，采用筛选机制，即：先将行人图片集Q用HS和HOG筛选，得到筛选后 的集合谷；；。然后在高尺度图片上提取LPQ特征。运里的高尺度图片是原始行人图片集合P和 Q，运是因为用LPQ表示人脸，对细节特征要求较高，所W使用原始行人图片。P和Q分别为相 机A和相机B下的行人图片集合。在P上可W检测出人脸特征的行人图片集合记为Pf,在Q上 可W检测出人脸特征的行人图片集合记为Qf。最后用可W检测到人脸的行人图片集合Qf来 补充候选行人集這，将候选行人集扩充为Qeandidate，&。"做旅=巧U ;
[0045] 具体实现步骤为：
[0046] a)对行人图片集合中的行人图片进行降采样，然后提取颜色特征和轮廓特征向 量，分别进行直方图归一化；
[0047] b)在低尺度图像上采用颜色和轮廓特征进行行人比对，对于行人pep,计算P与集 合Q中各行人的相似度后，归一化至[0,1]，得到初始分数曲线9116巧。。1化和9116巧。。。1;〇11。
[0048] C)将集合QW相似度降序排列，即可得到集合Q中与P最相似的行人集合，记为Qp, 选取Qp中排名前r%的行人进行下一尺度上的比对，记为集合巧，r的选择与复杂度有关；
[0049] d)在未采样的高尺度图片上提取人脸特征LPQ，可W提取到人脸的行人集合分别 记为Pf和Qf。对于行人PEPf，计算P与集合Qf中各行人的相似度后，归一化至[0，1]，得到初 始分数曲线queryiPQ;
[0050] e ) Qf和雙'合并得到新的候选行人集合Candidate ;
[0051] 第S步:在高尺度上提取有空间限制的纹理特征化SCP)，极大稳定颜色区域特征 (MSCR)和加权颜色特征(W服V)。具体实现步骤为：
[0052] a)所述有空间限制的纹理特征是一种改进的基于纹理特征的比对方法，其步骤 为：
[0053] 首先在高尺度图片上对行人图像进行SURF特征点提取，对每个特征点进行纹理特 征提取，并在特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，进一步提高局 部特征点的显著性；
[0054] 然后在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配 准确率；
[0055] 最后对于行人pePf，计算P与集合Candidate中各行人的相似度后，归一化至[0，1]， 得到初始分数曲线query I^SCF;
[0056] b)在高尺度图片上提取MSCR特征和wHSV特征。对于行人P ePf，计算P与集合 Qcandidate中各行人的相似度后，归一化至[0,1]，得到初始分数曲线queryMSCR和querywHsv;
[0057] 第四步:采用自适应加权的方法融合在低尺度和高尺度上提取的特征。针对行人 P，对巧行人集合中的各行人进行相似度计算。并对得到的相似度按降序排列，得到Q中与P 最相似的行人集合。具体实现步骤为：
[005引 a)对特征HS，册G，LPQ，LSCF ,MSCR W及W服V训练多条参考曲线，参考分数曲线分数 降序排列；
[0059] b)对特征 HS、HOG、LPQ、LSCF、MSCR、WHSV 的初始分数曲线 queryHS、queryHOG、 queryLPQ、queryLSGF、queryMSGR、querywHsv按分数高低降序排列，并用初始分数曲线减去最接 近初始分数曲线走势的参考分数曲线，归一化后得到归一化后的分数曲线，计算归一化后 的分数曲线下的面积;面积越大的特征其区分性越差，其权重也越小；
[0060] C)将queryHS，queryHOG，queryLPQ，queiTLSGF，queryMSGR，querywHsv 按照权重加权，得到 融合分数曲线;根据分数高低降序排列，得到Q中最接近P的行人集合。
[0061] 通过实验证明，本发明较之前方法能取得更好的比对效果。图4是行人比对结果， 通过分别与其他行人比对方法的比对，可W看出本发明（RAF)优于传统的基于单一特征的 行人重识别方法。运是因为本发明（RAF)融合了多种特征，可W提高特征的稳定性。本发明 (RAF)也优于SDALF，运是因为采用了生物特征和外貌特征相结合的方法，W及采用了自适 应融合的方法，运样可W克服一些行人姿势变化带来的影响，并且针对不同的图片可W调 整不同特征的系数，提高好特征的系数，降低坏特征带来的不好的影响。本发明还比较了 LSCF和洲RF特征的性能，可W看到LSCF优于洲RF。运是因为LSCF融合了纹理特征和颜色特 征，并且加上了空间限制。
[0062] W上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可W在权利要求的范围内做出各种变形或修改，运并不影 响本发明的实质内容。
【主权项】
1. 一种分辨率自适应特征提取与融合的行人重识别方法，其特征在于，包括以下步骤： 第一步:设P={pi| 1 < i <N}为相机A下的行人图片集合，Q={qi| 1 < i <N}为相机B下的 行人图片集合； 第二步:对P和Q中的原始行人图片进行降采样，得到低尺度图片;采用筛选机制，先将 行人图片集合Q用HS和HOG筛选，得到筛选后的集合0，然后在高尺度图片上提取LPQ特征， 所述高尺度图片是原始行人图片集合P和Q，在P上能检测出人脸特征的行人图片集合记为 Pf，在Q上能检测出人脸特征的行人图片集合记为Qf，最后用能检测到人脸的行人图片集合 Qf来补充候选行人集名，将候选行人集扩充为Qcandidate，仏―; 第三步：在Qcandldate的原始行人图片上即高尺度图片上提取有空间限制的纹理特征 (LSCP)、极大稳定颜色区域特征（MSCR)和加权颜色特征（wHSV)，得到初始分数曲线 queryLscp，queryMSCR 和 querywHsv; 第四步:采用自适应加权的方法融合在低尺度和高尺度上提取的特征，针对行人P，P e P，对行人集合中的各行人进行相似度计算，并对得到的相似度按降序排列，得到Q中P最相 似的行人集合。2. 根据权利要求1所述的一种分辨率自适应特征提取与融合的行人重识别方法，其特 征是所述第二步的具体实现步骤为： a) 对行人图片集合中的行人图片进行降采样，然后提取颜色特征和轮廓特征向量，分 别进行直方图归一化； b) 在低尺度图片上采用颜色和轮廓特征进行行人比对，对于行人pep，计算p与集合Q 中各行人的相似度后，归一化至[〇，1 ]，得到初始分数曲线queryHS和query·; c) 将集合Q以相似度降序排列，即得到集合Q中与p最相似的行人集合，记为QP，选取％中 排名前r%的行人进行下一尺度上的比对，记为集合的选择与复杂度有关； d) 在未采样的高尺度图片上提取人脸特征LPQ，提取到人脸的行人集合分别记为Pf和 Qf;对于行人pepf，计算p与集合Qf中各行人的相似度后，归一化至[〇，1]，得到初始分数曲 线 queryLPQ; e) Qf^Pg合并得到新的候选行人集合Qcandidate。3. 根据权利要求1所述的一种分辨率自适应特征提取与融合的行人重识别方法，其特 征是:第三步中，所述有空间限制的纹理特征是一种改进的基于纹理特征的比对方法，其步 骤为： 首先在高尺度图片上对行人图像进行SURF特征点提取，对每个特征点进行纹理特征提 取，并在特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，进一步提高局部特 征点的显著性； 然后在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配准确 率； 最后对于行人pGPf，计算p与集合Qc^ndidat中各行人的相似度后，归一化至[〇，1]，得到 初始分数曲线queryLSCF。4. 根据权利要求3所述的一种分辨率自适应特征提取与融合的行人重识别方法，其特 征是:第三步中，在高尺度图片上提取MSCR特征和wHSV特征，对于行人p e Pf，计算p与集合 (Candidate中各行人的相似度后，归一化至[0,1]，得到初始分数曲线queryMSCR和queryWHsv 〇5.根据权利要求1-4任一项所述的一种分辨率自适应特征提取与融合的行人重识别方 法，其特征是:所述第四步，具体步骤为： a) 对特征HS，HOG，LPQ，LSCF，MSCR以及wHSV训练多条参考曲线，参考分数曲线分数降序 排列； b) 对特征 HS、HOG、LPQ、LSCF、MSCR、wHSV 的初始分数曲线 queryHS、queryHQG、queryLPQ、 queryLSCF、queryMS(；R、queryWHsv按分数高低降序排列，并用初始分数曲线减去最接近初始分 数曲线走势的参考分数曲线，归一化后得到归一化后的分数曲线，计算归一化后的分数曲 线下的面积;面积越大的特征其区分性越差，其权重也越小； c) 将queryHS，query·，queryLPQ，queryLSGF，queryMSGR，query wHsv按照权重加权，得到融合 分数曲线;根据分数高低降序排列，得到Q中最接近P的行人集合。
【专利摘要】本发明公开一种分辨率自适应特征提取与融合的行人重识别方法，该方法融合生物特征和外貌特征，用人脸特征和外貌特征融合的方法识别行人，增强特征的差异性，同时根据特征在不同图像尺度上的表现，不同的行人特征将在不同尺度上进行比对；同时采用筛选机制，先用颜色特征和轮廓特征得到的融合特征进行筛选，然后用人脸特征对筛选结果进行补充，最后在筛选的行人上提取纹理特征，极大稳定颜色区域特征和加权颜色特征，并使用自适应加权的方法融合提取的全局特征和局部特征特征得到融合特征。本发明通过生物特征和外貌特征的自适应融合可以提高方法的准确率。通过在低尺度提取外貌特征以及筛选机制可以降低复杂度。
【IPC分类】G06K9/62, G06K9/00
【公开号】CN105718882
【申请号】CN201610035405
【发明人】王新宇, 杨华, 朱继
【申请人】上海交通大学
【公开日】2016年6月29日
【申请日】2016年1月19日