一种分辨率自适应特征提取与融合的行人重识别方法

一种分辨率自适应特征提取与融合的行人重识别方法
【技术领域】
[0001 ]本发明属于计算机视觉领域，具体的，设及一种分辨率自适应特征提取与融合的 行人重识别方法。
【背景技术】
[0002] 行人重识别在视频监控中是非常重要的问题。尽管目前已经有很多研究聚焦于运 一领域，行人重识别依旧面临很多挑战。一、目前监控场所捕捉到的行人图片分辨率低，提 取清晰的生物特征用于行人重识别非常困难。二、不同的行人在两个摄像机场景出现的时 间变化非常大，使用时间和空间限制帮助行人重识别非常困难。=，仅仅依靠外貌特征用来 识别行人并不稳定，因为行人的外貌特征会受到姿态，光照，背景和遮挡的影响。四、在大型 的视频监控网络行人重识别计算效率低也给行人重识别应用带来非常大的挑战。
[0003] 特征提取和行人比对是行人重识别中的两个研究方向。
[0004] 特征提取作为行人重识别的基础和关键，提取出具有区别性的可靠特征是非常重 要的。目前已经提出了大量的特征用于行人重识别，比如颜色，形状，纹理，边缘，兴趣点等。 目前多特征融合是行人重识别中可W提高识别准确率的一个有效方法。因为单一特征不能 强大到捕捉所有行人图片间的细微差别。Bazzani等人融合MSCR，WCHW及畑SP等特征取得 了非常好的效果。（参见Bazzani ,L. ,Cristani ,M. ,Murino ,V. : Symmetry-driven accumulation of local features for human characterization and re-identification.Comput.Vis. Image Underst.117(2),130-144(2013))
[0005] 行人比对目前主流的方法是基于度量学习的比对方法。运种方法通过学习找到最 能区分正确行人对和错误行人对的最佳距离度量，用于进行行人比对。度量学习的方法通 过对特定场景进行标定训练，会对比对效果有较大提升，但普适性不强，针对新的场景需要 进行重新训练，训练标定过程较为复杂，且方法的空间复杂度都较高，目前还很难应用到实 际系统中。

【发明内容】

[0006] 本发明的目的在于充分利用高清图片，提出了一种新的行人比对方法---一种分 辨率自适应特征提取与融合的行人重识别方法（Resolution Adaptive Feature Extracting and Fusing Framework for Person Re-identif ication,RAF)，该方法通过 生物特征和外貌特征的自适应融合可W提高方法的准确率，通过在低尺度提取外貌特征W 及筛选机制可W降低方法的复杂度。
[0007] 为实现上述目的，本发明采用的技术方案:本发明融合生物特征和外貌特征，用人 脸特征和外貌特征融合的方法识别行人，增强特征的差异性。同时根据特征在不同图像尺 度上的表现，不同的行人特征将在不同尺度上进行比对:颜色和轮廓特征在低尺度上提取， 纹理特征，极大稳定颜色区域特征和加权HSV特征W及人脸特征在高尺度上提取。同时采用 筛选机制，先用颜色特征和轮廓特征得到的融合特征进行筛选，然后用人脸特征对筛选结 果进行补充，最后在筛选的行人上提取纹理特征，极大稳定颜色区域特征和加权颜色特征， 并使用自适应加权的方法融合提取的特征得到融合特征。
[0008] 具体地，所述方法包括W下几个步骤：
[0009] 第一步:设P= {pi I 1 y卽访相机A下的行人图片集合，Q= {qi I 1 y如访相机B 下的行人图片集合；
[0010] 第二步:对P和Q中的原始行人图片进行降采样，得到低尺度图片;采用筛选机制， 先将行人图片集合Q用HS和HOG筛选，得到筛选后的集合终，然后在高尺度图片上提取LPQ 特征，所述高尺度图片是原始行人图片集合P和Q，在P上能检测出人脸特征的行人图片集合 记为Pf,在Q上能检测出人脸特征的行人图片集合记为Qf,最后用能检测到人脸的行人图片 集合Qf来补充候选行人集将候选行人集扩充为Qeandidate,沒。。做=强U沒/ ;
[00川第立步:在Qcandidate的原始行人图片上即高尺度图片上提取有空间限审揃纹理特 征化SCP )，极大稳定颜色区域特征（MSCR)和加权颜色特征（wHSV)，得到初始分数曲线 queryLscp，queryMSCR 和 querywHsv;
[0012] 第四步:采用自适应加权的方法融合在低尺度和高尺度上提取的特征，针对行人 p，peP，对行人集合中的各行人进行相似度计算，并对得到的相似度按降序排列，得到Q中 与P最相似的行人集合。
[0013] 进一步的，所述第二步的具体实现步骤为：
[0014] a)对行人图片集合中的行人图片进行降采样，然后提取颜色特征和轮廓特征向 量，分别进行直方图归一化；
[0015] b)在低尺度图片上采用颜色和轮廓特征进行行人比对，对于行人pep,计算P与集 合Q中各行人的相似度后，归一化至[0，1 ]，得到初始分数曲线queryHS和queryHOG;
[0016] C)将集合QW相似度降序排列，即得到集合Q中与P最相似的行人集合，记为Qp，选 取Qp中排名前r%的行人进行下一尺度上的比对，记为集合巧，r的选择与复杂度有关；
[0017] d)在未采样的高尺度图片上提取人脸特征LPQ，提取到人脸的行人集合分别记为 Pf和Qf;对于行人PEPf，计算P与集合Qf中各行人的相似度后，归一化至[0，1]，得到初始分 数曲线queryiPQ;
[001引 e)Qf和终合并得到新的候选行人集合Qcandidateo
[0019] 进一步的，第=步中，所述有空间限制的纹理特征是一种改进的基于纹理特征的 比对方法，其步骤为：
[0020] 首先在高尺度图片上对行人图像进行SURF特征点提取，对每个特征点进行纹理特 征提取，并在特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，进一步提高局 部特征点的显著性；
[0021] 然后在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配 准确率；
[0022] 最后对于行人pePf，计算P与集合Qcandidat冲各行人的相似度后，归一化至[0，1]， 得到初始分数曲线queryLSCF。
[0023] 进一步的，第S步中，在高尺度图片上提取MSCR特征和wHSV特征，对于行人P ePf， 计算P与集合Qcandidate中各行人的相似度后，归一化至[O，I ]，得到初始分数曲线queryMSCR和 querywHSVo
[0024] 进一步的，所述第四步，具体步骤为：
[0025] a)对特征HS，册G，LPQ，LSCF ,MSCR W及W服V训练多条参考曲线，参考分数曲线分数 降序排列；
[0026] b)对特征 HS、HOG、LPQ、LSCF、MSCR、wHSV 的初始分数曲线 queryHS、queryHOG、 queryLPQ、queryLSGF、queryMSGR、querywHsv按分数高低降序排列，并用初始分数曲线减去最接 近初始分数曲线走势的参考分数曲线，归一化后得到归一化后的分数曲线，计算归一化后 的分数曲线下的面积;面积越大的特征其区分性越差，其权重也越小；
[0027] C)将queryHS，queryHOG，queryLPQ，queiTLSGF，queryMSGR，querywHsv 按照权重加权，得到 融合分数曲线;根据分数高低降序排列，得到Q中最接近P的行人集合。
[0028] 与现有技术相比，本发明的具有W下有益效果：
[0029] 1)本发明所述的分辨率自适应特征提取与融合的行人重识别方法，提取全局和局 部特征在适当的图像尺度上，根据不同特征的特性。在低尺度上提取颜色和纹理特征。选取 前r%的行人作为候选行人。在高尺度上提取局部特征1^^，1^5〔。，150?，*册￥，并用1^^检测 到的行人补充候选行人集。运样不仅提高了行人重识别准确率，并且通过筛选极大的提高 了效率；
[0030] 2)为了充分利用高清摄像机的信息并且为了克服姿势变化大带给行人重识别的 困难，本发明提取人脸信息，用生物特征和外貌特征相结合得到更有区别性更稳定的特征；
[0031] 3)本发明采用局部空间约束的特征，基于特征点，将颜色特征加入纹理特征，并且 加入至间约束，提局准确率；
[0032] 4)在融合不同特征时，本发明采用一种无监督的自适应融合特征的方法。根据特 征对不同图片的识别效果得到融合系数，提高行人重识别准确率。
[0033] 综上，本发明方法根据特征在分辨率上的特点，在不同的图像尺度提取特征，然后 用颜色、轮廓和人脸特征筛选行人，然后再自适应融合在高尺度和低尺度提取的特征，选出 与目标行人最接近的行人;通过生物特征和外貌特征的自适应融合可W提高方法的准确 率，通过在低尺度提取外貌特征W及筛选机制可W降低方法复杂度。
【附图说明】
[0034] 通过阅读参照W下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0035] 图1为本发明一实施例中方法原理图。
[0036] 图2为本发明一实施例中一张行人图片不同特征的初始分数曲线，最接近的参考 分数曲线和归一化后的分数曲线图。
[0037] 图3为本发明一实施例中行人比对场景图和行人图片样本。
[0038] 图4为本发明一实施例中行人比对结果图。
【具体实施方式】
[0039] 下面结合具体实施例对本发明进行详细说明。W下实施例将有助于本领域的技术 人员进一步理解本发明，但不W任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可W做出若干变形和改进。运些都属于本发明 的保护范围。
[0040] 如图1所示，为一种分辨率自适应特征提取与融合的行人重识别的一实施例原理 图：在低尺度下，提取颜色和轮廓特征，等比加权后得到融合特征，然后选取前r %的行人作 为候选集合。在高尺度下提取人脸特征LPQ，对候选集合进行补充。然后在高尺度下提取 LSCF特征，MSCR特征，W及WHSV特征。用自适应融合特征的方法，针对目标行人，对筛选出的 行人集合中的各行人进行相似度计算，对相似度分数按降序排列，得到与目标行人最相似 的行人集合。
[0041] 在一具体实施例中：采用的行人图片集应用了道路和校园场景的比对数据集。道 路和校园场景的比对数据集是来自上海一个行人密集的广场上W及上海一个校园中相邻 两个相机下的两组行人集，在其中一个相机下的行人都对应另一个相机下唯一一个相同的 行人，共89对。本实施例设及的分辨率自适应特征