基于多特征融合的行人重识别方法与流程

本发明属于图像检索技术领域，涉及一种基于多特征融合的行人重识别方法与一种加权的距离度量方法。

背景技术

近年来，人工智能的一门分支学科“机器视觉”被广泛重视，它通过研究相关的理论和技术，建立能从图像或视频中获取“感兴趣信息”的智能系统，使计算机代替人眼及大脑，对周围环境进行感知、解释和理解。而随着科技的进步，摄像机已经被广泛用于对各种场所的实时监控，例如：市区道路、学校、广场、军事基地等等。随着监控摄像机越来越普遍的应用，传统的依靠人工的监控方式已经很难在有限的时间内完成如此巨大的工作量，因此，监控的自动化和智能化成为了监控领域的发展趋势。

在广域摄相机网络中跟踪一个行人是一个棘手的问题，近几年，大型摄相机网络监控系统有了更高安全性的迫切要求。传感器的价格大幅下降，极大地促进了广域摄相机网络的快速发展。尽管如此，随着公共场所规模的不断增长，很难在每一个场所都部署一个摄像头，事实上，在大多数广域摄相机网络中，总有一些区域不能被摄像机覆盖。这些被称为“盲区”的区域非常的关键，因为很难从“盲区”获得任何信息。这个问题引出了一个新的问题，通常被称为行人重识别问题。获取了一个行人的图像，行人重识别就是检测同一个行人是否存在于不同相机、不同时间、不同地点所获得的其他图像中。

在行人重识别领域已经确定了两种主流的方法：分别是基于视觉特征的方法和基于生物特征的方法。基于视觉特征的方法仅使用视觉信息来建立一个行人的特征，基于视觉特征的方法分为两种：基于单幅图像(single-shot)和基于多幅图像(multiple-shot)，前者使用单个图像来建立每个行人的特征表示模型；后者使用同一个人的多幅图像来构建此行人的特征表示模型。目前大多数现有的方法都是利用视觉特征，视觉特征有很多种，如：颜色特征(l.bazzani,m.cristani,a.perina,etal.multiple-shotpersonre-identificationbyhpesignature[c].internationalconferenceonpatternrecognition,2010:1413-1416.)、轮廓特征(liuwanjun,liudaqian,feibowen,etal.objectcontourtrackingbasedonlocallymodelmatching[j].computerengineeringandapplications,2015.)、纹理特征(o.oreifej,r.mehran,andm.shah.humanidentityrecognitioninaerialimages[c].inieeecomputervisionandpatternrecognition,2010:709-716.)等,但是由于现实环境的复杂，如：遮挡，光线，类间干扰等因素的影响，仅利用单一特征识别率并不足以满足实际应用的要求。与基于视觉特征的方法相比，基于生物特征的方法利用生物识别技术来构建行人特征，尽管在面部识别和步态识别(a.bissaccoands.soatto.hybriddynamicalmodelsofhumanmotionfortherecognitionofhumangaits.internationaljournalofcomputervision,85(1):101-114,may2009.)方面的研究很多，但是生物特征通常需要更高分辨率的摄相机配置和精度更高的传感器部署，而目前的真实环境满足不了如此精密的硬件配置。

技术实现要素：

本发明的目的在于提供一种基于多特征融合的行人重识别方法，能够一定程度上克服遮挡、视角、光线等干扰因素的影响，实现在广域摄像机网络中的行人重识别。

为实现上述目的本发明采用以下技术方案：

基于多特征融合的行人重识别方法，包括以下步骤：

步骤1、对训练集中的图像进行行人的提取，将行人从图片背景中提取出来；

步骤2、对步骤1得到的行人图像进行人体部位识别，将人体分为头部、上半身与下半身三部分；

步骤3、利用步骤2得到的人体三个部分，在上半身与下半身分别提取颜色特征、轮廓特征与纹理特征，在头部提取颜色特征与轮廓特征，根据获取的诸多特征建立此行人的特征表示模型；

步骤4、将步骤3得到的两个行人的特征表示模型进行特征变换，通过学习一个特征投影矩阵，将摄像头a下行人图像的特征向量变换到摄像头b下行人图像的特征空间中，从而消除不同监控摄像头特征空间分布不一致问题；

步骤5、在马氏距离函数的基础上，将步骤4变换后的颜色特征、轮廓特征和纹理特征之间的距离进行加权组合，得到一种加权距离度量方法；

步骤6、对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。

所述步骤3具体按照以下方法实施：

步骤3.1、在提取颜色特征之前，先对行人图像进行如下处理：将每个行人图像投影到hsv颜色空间中，为了应对光照变化和颜色变化，先利用sift特征计算出关键点坐标，再以其为圆心提取一个圆形区域，具体如下：

对于每一个sift特征关键点向量k＝[x,y]^t-其中x和y是关键点的坐标-提取以k为中心φ为半径的圆形图像区域s；

步骤3.2、经步骤3.1后，进行加权高斯颜色直方图特征的提取，具体方法如下：

在每个提取的s区域利用高斯分布函数计算加权高斯色直方图特征向量bi和i分别表示直方图的bins和提取直方图的图像通道；

步骤3.3、轮廓特征是利用分层梯度方向直方图提取的，具体方法为：

首先将行人图像投影到hsv颜色空间中，然后提取三个phog特征向量m和i分别是直方图的bins和提取直方图的图像通道。phog特征最终在中积累，i是图像通道的总数量；

步骤3.4、步骤3.2、3.3都是在人体三个部分均提取了特征，但纹理特征仅在上半身与下半身提取，因为头部的纹理特征没有较高的区别度，具体方法如下：

haralick纹理特征是基于灰度共生矩阵(gray-levelco-occurrencematrix，glcm)提取的，所以识别出的人体部位首先被转换到灰度颜色空间，为了降低计算成本，上半身(t)和下半身(l)两个区域都被扩展到ng灰度级别，利用四邻接分别从四个方向计算灰度共生矩阵，四个灰度共生矩阵最终被用来提取haralick的特征f1，f2，…，f14，因此，分别提取出两个特征向量：和

步骤3.5、利用步骤3.1-3.4提取的诸多特征得到行人特征表示模型。

所述步骤4具体按照以下方法实施：

步骤4.1、给定两个行人图像的特征向量xa和xb，其距离可以定义为一种马氏距离形式的距离：

d(xa,xb)＝(xa-xb)^τm(xa-xb)(1)；

步骤4.2、由于距离函数的非负性，表达式中矩阵m是一个半正定矩阵，通过对矩阵进行特征值分解m＝l^τl，其距离可以转化为：

步骤4.3、从上面公式推导，看特征转换的本质在于学习一个投影矩阵l，将特征向量投影到新的特征空间中，从而消除不同监控摄像头特征空间分布的不一致。

所述步骤5具体按照以下方法实施：

步骤5.1、在计算加权高斯颜色直方图距离之前，先进行以下步骤：计算l²-范数距离，利用一种ransac算法检测sift特征的匹配：如果两个匹配的sift特征关键点不在同一个主体上，则匹配被拒绝，以上工作提高了结果的准确性，因为在加权高斯颜色直方图距离计算中不考虑不属于同一身体部分的sift特征，给定一个sift匹配，采用χ²加权距离测量方法来匹配相关加权高斯颜色直方图特征，加权距离χ²计算为：

其中和分别是特征表示模型a和特征表示模型b在图像通道i上的加权高斯颜色直方图向量，ak和bk分别是两个sift特征关键点。χ²(·,·)函数计算χ²距离，ψi是归一化权重。加权函数m(·,·)是mahalanob距离函数，用来处理遮挡和姿态变化，每个直方图之间的距离都是这样加权的：

m(k1,k2)＝max(dm(k1x,k1y),dm(k2x,k2y))

(4)；

其中kl和k2是两个sift特征的关键点向量，而dm(·,·)是马氏距离函数计算出的每个身体部位之间的距离，最后，通过计算特征表示模型a和特征表示模型b每一对匹配的距离，给出了加权高斯颜色直方图距离dwgch(a,b)；

步骤5.2、类似于加权高斯颜色直方图距离的计算，使用加权χ²距离来计算phog特征矩阵之间的距离，给出两个行人特征表示模型a和b的phog特征矩阵，a和b之间的距离是这样计算的：

和是在图像通道i上特征向量a和特征向量b的phog特征，λi是归一化权重；

步骤5.3、给定两个行人特征表示模型a和b，一个l²范数距离用来比较在相同身体部分提取的haralick纹理特征向量，最后的距离dhar(a,b)是由每对haralick纹理特征向量的l²范数距离取平均值得到的；

步骤5.4、最后，两个行人图像特征表示模型a和特征表示模型b之间的总距离是这样计算的：

d(a,b)＝αdwgch(a,b)

+βdphog(a,b)

+γdhar(a,b)

(6)。

所述步骤6具体按照以下方法实施：对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。

(1)本发明具有以下优点：本发明基于多特征融合的行人重识别方法中将人体分为三部分，再分别提取多个特征，一定程度上解决了视角、光照与遮挡等因素的影响，提高了行人特征表示模型的鲁棒性；

(2)本发明基于多特征融合的行人重识别方法中提出了一种基于投影矩阵的特征变换方法，将来源于不同监控摄像头行人图像的特征向量进行变换，从而消除差异；

(3)本发明基于多特征融合的行人重识别方法中提出了一种特征加权距离度量方法，解决了行人重识别领域的距离度量问题，提高了匹配结果的准确性；

(4)本发明基于多特征融合的行人重识别方法，既适用于基于单幅图像(single-shot)的行人重识别，也适用于基于多幅图像(multiple-shot)的行人重识别。

附图说明

图1是本发明基于多特征融合的行人重识别方法的框架图；

图2是步骤4特征变换原理示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细阐述。

基于多特征融合的行人重识别方法的框架图，如图2所示，可将其分为三大部分，分别为：训练集图像处理部分、测试集图像处理部分和距离度量部分。训练集图像处理部分的处理对象是目标所在视频库，产生视频库中每个行人的特征表示模型；测试集图像处理部分的处理对象是所有查询目标，产生每个查询目标的特征表示模型；距离度量部分的处理对象是前两个部分生成的特征表示模型，将训练集与测试集生成的特征表示模型进行距离度量，得出匹配结果。

训练集图像处理部分完成对目标所在视频库中所有行人的特征表示模型的建立，对每幅图像进行sift特征提取、加权高斯颜色直方图提取、分层梯度方向直方图提取、灰度共生矩阵提取，根据提取的特征得到一个行人的特征表示模型，以供距离度量部分的比对。

测试集图像处理部分完成对所有目标对象的特征表示模型的建立，对每幅图像进行sift特征提取、加权高斯颜色直方图提取、分层梯度方向直方图提取、灰度共生矩阵提取，根据提取的特征得到一个行人的特征表示模型，以供距离度量部分的比对。

距离度量部分完成对训练集图像处理部分和测试集图像处理部分生成的特征表示模型的比对，得出匹配结果。

本发明基于多特征融合的行人重识别方法，具体按照以下步骤实施：

步骤1、对训练集中的图像进行行人的提取，将行人从图片背景中提取出来，具体方法为：

行人提取是采用n.jojic,a.perina,m.cristani,etal.stelcomponentanalysis:modelingspatialcorrelationsinimageclassstructure[c].computervisionandpatternrecognition,2044-2051,2009.的方法，将行人从背景中提取出来。

步骤2、对步骤1得到的行人图像进行人体部位识别，具体方法为：

根据步骤1得到的行人图像，对其进行进一步处理，将人体突出的三个部分(头部、上半身与下半身)划分出来，人体部位识别是采用m.farenzena,l.bazzani,a.perina,etal.personre-identificationbysymmetry-drivenaccumulationoflocalfeatures[c].computervisionandpatternrecognition,2360-2367,2010.的方法。

步骤3、利用步骤2得到的人体三个部分，在上半身与下半身分别提取颜色特征、轮廓特征与纹理特征，在头部提取颜色特征与轮廓特征(因为不同行人头部的纹理特征区别度不高，故不在头部提取纹理特征)，根据获取的诸多特征建立此行人的特征表示模型，具体按照以下步骤实施：

步骤3.1、在提取颜色特征之前，先对行人图像进行如下处理：

将每个行人图像投影到hsv颜色空间中，为了应对光照变化和颜色变化，先利用sift特征计算出关键点坐标，再以其为圆心提取一个圆形区域，具体如下：

对于每一个sift特征关键点向量k＝[x,y]^t-其中x和y是关键点的坐标-提取以k为中心φ为半径的圆形图像区域s。

步骤3.2、经步骤3.1后，进行加权高斯颜色直方图特征的提取，具体方法如下：

在每个提取的s区域利用高斯分布函数计算加权高斯色直方图特征向量bi和i分别表示直方图的bins和提取直方图的图像通道。

步骤3.3、轮廓特征是利用分层梯度方向直方图(pyramidhistogramoforientedgradients，phog)提取的，具体方法为：

首先将行人图像投影到hsv颜色空间中，然后提取三个phog特征向量m和i分别是直方图的bins和提取直方图的图像通道。phog特征最终在中积累，i是图像通道的总数量。

步骤3.4、步骤3.2、3.3都是在人体三个部分均提取了特征，但纹理特征仅在上半身与下半身提取，因为头部的纹理特征没有较高的区别度，具体方法如下：

haralick纹理特征是基于灰度共生矩阵(gray-levelco-occurrencematrix，glcm)提取的，所以识别出的人体部位首先被转换到灰度颜色空间。为了降低计算成本，上半身(t)和下半身(l)两个区域都被扩展到ng灰度级别。利用四邻接分别从四个方向计算灰度共生矩阵，四个灰度共生矩阵最终被用来提取haralick的特征f1，f2，…，f14。因此，分别提取出两个特征向量：和

步骤3.5、利用步骤3.1-3.4提取的诸多特征得到行人特征表示模型。

步骤4、将步骤3得到的两个行人的特征表示模型进行特征变换，通过学习一个特征投影矩阵，将摄像头a下行人图像的特征向量变换到摄像头b下行人图像的特征空间中，从而消除不同监控摄像头特征空间分布不一致问题，具体按照以下步骤实施：

步骤4.1、给定两个行人图像的特征向量xa和xb，其距离可以定义为一种马氏距离形式的距离：

d(xa,xb)＝(xa-xb)^τm(xa-xb)

(1)

步骤4.2、由于距离函数的非负性，表达式中矩阵m是一个半正定矩阵。通过对矩阵进行特征值分解m＝l^τl，其距离可以转化为：

步骤4.3、从上面公式推导，可以看特征转换的本质在于学习一个投影矩阵l，将特征向量投影到新的特征空间中，从而消除不同监控摄像头特征空间分布的不一致(如图2)。

步骤5、在马氏距离函数的基础上，将步骤4变换后的颜色特征、轮廓特征和纹理特征之间的距离进行加权组合，得到一种加权距离度量方法，具体按照以下步骤实施：

步骤5.1、在计算加权高斯颜色直方图距离之前，先进行以下步骤：计算l²-范数距离，利用一种ransac算法检测sift特征的匹配，如果两个匹配的sift特征关键点不在同一个主体上，则匹配被拒绝。以上工作提高了结果的准确性，因为在加权高斯颜色直方图距离计算中不考虑不属于同一身体部分的sift特征。给定一个sift匹配，采用χ²加权距离测量方法来匹配相关加权高斯颜色直方图特征，加权距离χ²计算为：

其中和分别是特征表示模型a和特征表示模型b在图像通道i上的加权高斯颜色直方图向量，ak和bk分别是两个sift特征关键点。χ²(·,·)函数计算χ²距离，ψi是归一化权重。加权函数m(·,·)是mahalanob距离函数，用来处理遮挡和姿态变化。每个直方图之间的距离都是这样加权的：

m(k1,k2)＝max(dm(k1x,k1y),dm(k2x,k2y))

(4)

其中kl和k2是两个sift特征的关键点向量，而dm(·,·)是马氏距离函数计算出的每个身体部位之间的距离。最后，通过计算特征表示模型a和特征表示模型b每一对匹配的距离，给出了加权高斯颜色直方图距离dwgch(a,b)。

步骤5.2、类似于加权高斯颜色直方图距离的计算，使用加权χ²距离来计算phog特征矩阵之间的距离。给出两个行人特征表示模型a和b的phog特征矩阵，a和b之间的距离是这样计算的：

和是在图像通道i上特征向量a和特征向量b的phog特征，λi是归一化权重。

步骤5.3、给定两个行人特征表示模型a和b，一个l²范数距离用来比较在相同身体部分提取的haralick纹理特征向量。最后的距离dhar(a,b)是由每对haralick纹理特征向量的l²范数距离取平均值得到的。

步骤5.4、最后，两个行人图像特征表示模型a和特征表示模型b之间的总距离是这样计算的：

步骤6、对测试集中的行人图像也进行步骤1-3的处理，对步骤3得到的训练集与测试集的行人特征表示模型经步骤4特征变换后，再使用步骤5的距离度量方法进行距离度量，得出匹配结果。

本发明基于多特征融合的行人重识别方法，从功能执行上讲，首先执行对训练集中图像进行行人提取与人体部位识别；其次执行对训练集中图像提取颜色特征、轮廓特征与纹理特征；然后执行利用提取的诸多特征建立行人特征表示模型；接下来对测试集中图像进行相同的行人特征表示模型建立过程；接下来对行人特征表示模型进行特征变化，以消除不同摄像机特征空间分布不一致的影响；接下来执行在马氏距离函数的基础上，将变换后的颜色特征、轮廓特征和纹理特征之间的距离进行加权组合，得到一个针对行人重识别的距离函数；最后执行利用本发明提出的距离度量方法，将训练集与测试集的行人特征表示模型进行比对，得到匹配结果。本发明基于多特征融合的行人重识别方法，充分利用了颜色信息、轮廓信息和纹理信息，并提出了一种针对行人重识别的距离度量方法，实现在大规模的摄像网络中进行行人重识别。

以上所述为本发明较佳实施例，对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变型仍落入本发明的保护范围之内。