人脸识别装置及方法和利用其的目标人跟踪装置及方法与流程

本发明一般地涉及计算机视频处理技术领域，更具体地，涉及人脸识别装置、人脸识别方法、利用人脸识别装置的目标人跟踪装置以及利用人脸识别方法的目标人跟踪方法，上述的装置和方法适合城市安全管理，诸如机场、监狱和图书馆等公共区域。

背景技术：

现有的人脸识别技术对于图像质量较好的人脸具有较高的辨识度。对于lfw等数据库(其由美国马萨诸塞大学阿姆斯特分校技术视觉实验室整理完成的)的人脸识别精度能到达99％以上。但是如果直接将此类算法应用到监控场景中，其效果将会大打折扣。以lfw数据库为例，虽然一般认为此数据库是在不受控的条件下拍摄的图像，但是在分辨率，色彩真实度，人脸姿态等方面较监控场景的人脸图像好很多。因此，如果直接将一般的人脸识别算法移植到监控场景的人脸识别中，其效果将会下降很多。

利用上述lfw数据库的主要问题在于以下两点：1、常规人脸识别一般使用单张图像，而在监控场景中，由于图像质量较差，因此单张图像信息量有限，无法保证识别的准确性；2、常规人脸识别所面临的图像成像差异不大，因此一般不会针对于不同摄像头图像进行差异性减少处理，而在监控场景中，由于不同摄像头之间的人脸分辨率、颜色、姿态等都会有较大差异，因此需要先减少差异性，才能保证识别的准确性。因此，lfw数据库无法应用于现场监控场景。

监控场景的人脸识别较普通人脸识别具有一些新的特点。1、单目标物体可以被多张连续图所描述，而多图所提取的特征能够更完备的描述目标特点。目前，image-set的方法可以通过多张图形成类似于高维包络的空间来描述单一目标，对于两个不同的目标计算两个包络之间的最小距离，作为这两个目标的差异度，目前相关的算法有基于仿射包的图像集距离ahisd(affinehull basedimagesetdistance)、稀疏近似最近邻点sanp、crnp(collaborativelyregularizednearestpoints)和二元线性回归分类dlrc(duallinearregressionclassification)等。虽然此类算法能够比较丰富的描述目标的特征空间，但此类算法对于不同目标形成的包络易于重叠，原因在于其特征具有相似性，因此对于不同的目标，其所提取的特征差异度必须较大，基于特征形成的包络才不会重叠。2、跨摄像头的监控场景具有不同的光照，视角/姿态以及图像分辨率，这些会极大的影响识别的精度。目前，metric-learning(即，度量学习)的方法能够解决这一问题。这类算法能够将不同特征空间的特征投影到相同的度量空间，能够减小相同目标由于摄像头和姿态/光照/表情的不同造成的差异，增加不同目标的特征差异。metric-learning方法的这一特点能够弥补image-set(即，图像集，又称为图集)方法的不足。目前相关的算法有大间隔最近邻居lmnn(largemarginnearestneighbor)等。3、由于监控摄像头需要连续不断的记录数据，因此其存储的数据量是惊人的，而在大量的数据中寻找出目标图像，需要效率极快的算法，而对人脸特征进行压缩后再识别，能够极大的提高算法效率。

因此，在使用多摄像头的监控场景下存在多摄像头人脸识别的问题，由于与常规场景差异性较大，因此在处理方法上与常规的人脸识别具有较大不同。跨摄像头跟踪的对象一般是多源图像，摄像头的不同(制造商及型号)导致图像分辨率，色彩及变形情况会有较大不同；此外，环境光源差异、人为对焦差异及摄像头安装角度差异等也会让不同摄像头生成的图像中同一个目标差异性较大；其次，在监控场景中，运动的目标距离摄像头距离变化较大，会导致成像清晰度及颜色也具有较大差异。以上这些差异都是监控场景的人脸识别所面临的独特问题。此外，跨摄像头跟踪是对多个摄像头的海量数据进行处理，因此快速处理海量数据也是跨摄像头跟踪需要解决的关键问题。

技术实现要素：

针对现有技术中所存在的监控场景中的多摄像头人脸识别的差异性和针对多个摄像头的海量数据处理的技术问题，本发明提供了能够解决上述技问题的一种人脸识别装置和方法，以及目标人跟踪装置和方法。

为了解决上述缺陷，本发明提出一种能够适用于大尺度数据的监控场景下 跨摄像头识别的方法。具体地通过以下三种方式来提供优点：1、针对于多个摄像头，为了减少其差异性，使用特征度量空间归一化；2、针对于视频帧的连续性，提取及合并多张人脸特征来描述同一目标，使目标特征空间更完备；以及3、针对大规模数据集运算，使用特征压缩及二阶段匹配方法。

根据本发明的一方面，提供了一种人脸识别装置包括：人脸集生成模块，被配置为基于多幅视频图像生成人脸集；特征度量归一化模块，被配置为对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅不同摄像头下相同人脸图像之间的差异性；以及特征包络形成模块，被配置为对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间。

优选地，多幅不同摄像头下相同人脸图像之间的差异性包括背景光源的差异性和拍摄角度的差异性。

优选地，对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性进一步包括：将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的背景光源；以及将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的拍摄角度。

优选地，人脸识别装置还包括：识别模块，被配置为基于设定的目标人，从多个人脸集中选择出与设定的目标人匹配度最高的目标人脸集。

优选地，人脸集生成模块包括：人脸检测模块，被配置为以预定帧间隔获取的视频图像进行人脸检测，其中，根据视频帧率进行确定预定帧间隔。

优选地，人脸集生成模块还包括人脸对齐模块，被配置为对进行人脸检测的视频图像进行如下图像处理：被配置为从视频图像中的提取关键点，并且根据双眼瞳孔距离对人脸进行尺度变换；以及根据提取的关键点的位置，估计人脸的偏行角度，并根据人脸的偏航角度将人脸旋转为正面脸，生成包括同一目标人的多幅人脸图像的人脸集，其中，关键点包括眼睛、鼻子和嘴巴。

优选地，特征度量归一化模块还包括：特征提取模块，对人脸集进行特征提取，以形成原始特征人脸集；以及压缩模块，被配置为对原始特征进行压缩处理，以形成压缩特征人脸集。

优选地，识别模块还包括：粗匹配识别模块，被配置为基于设定的目标人，确定有序的预定数量的人脸集；以及精匹配识别模块，被配置为基于设定的目 标人，从有序的预定数量的人脸集中快速确定目标人脸集。

优选地，基于设定的目标人，从多个压缩特征人脸集中确定预定数量的人脸集；根据与设定的目标人的匹配度，以匹配度从高到低的顺序对预定数量的人脸集进行排序，以生成有序的预定数量的人脸集；以及基于设定的目标人，从与有序的预定数量的人脸集相对应的预定数量的原始特征人脸集中快速确定目标人脸集。

根据本发明的另一方面，提供了一种人脸识别方法，包括以下步骤：基于多幅视频图像生成人脸集；对人脸集中的多幅人脸图像进行度量空间变换，以消除多幅不同摄像头下相同人脸图像之间的差异性；以及对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间。

优选地，多幅不同摄像头下相同人脸图像之间的差异性包括背景光源的差异性和拍摄角度的差异性。

优选地，对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅不同摄像头下相同人脸图像之间的差异性进一步包括：将多幅不同摄像头下相同人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的背景光源；以及将多幅人脸图像进行度量空间变换，以使多幅人脸图像具有相同的拍摄角度。

优选地，人脸识别方法还包括：基于设定的目标人，从多个人脸集中选择出与设定的目标人匹配度最高的目标人脸集。

优选地，人脸识别方法还包括：在生成人脸集之前，以预定帧间隔获取的视频图像进行人脸检测，其中，根据视频帧率进行确定预定帧间隔。

优选地，在对多幅人脸图像进行度量空间变换之前，对进行人脸检测的视频图像进行如下图像处理：从视频图像中的提取关键点，并且根据双眼瞳孔距离对人脸进行尺度变换；以及根据提取的关键点的位置，估计人脸的偏行角度，并根据人脸的偏航角度将人脸旋转为正面脸，生成包括同一目标人的多幅人脸图像的人脸集，其中，关键点包括眼睛、鼻子和嘴巴。

优选地，在对人脸集中的多幅人脸图像进行度量空间变换之前还包括以下步骤：对人脸集进行特征提取，以形成原始特征人脸集；以及被配置为对原始特征进行压缩处理，以形成压缩特征人脸集。

优选地，人脸识别方法进一步包括：基于设定的目标人，确定有序的预定 数量的人脸集；以及基于设定的目标人，从有序的预定数量的人脸集中快速确定目标人脸集。

优选地，人脸识别方法进一步包括：基于设定的目标人，从多个压缩特征人脸集中确定预定数量的人脸集；根据与设定的目标人的匹配度，以匹配度从高到低的顺序对预定数量的人脸集进行排序，以生成有序的预定数量的人脸集；以及基于设定的目标人，从与有序的预定数量的人脸集相对应的预定数量的原始特征人脸集中快速确定目标人脸集。

根据本发明的又一方面，提供了一种目标人跟踪装置，包括：人脸集生成模块，被配置为基于多幅视频图像生成人脸集；特征度量归一化模块，被配置为对多幅人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性；特征包络形成模块，被配置为对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间；人脸识别模块，基于设定的目标人，从多个人脸集中选择出与设定的目标人的人脸图像匹配度最高的目标人脸集；跟踪模块，根据目标人脸集中的每一幅人脸图像的拍摄位置和时间，确定目标人的路线。

根据本发明的又一方面，提供了一种目标人跟踪方法，包括以下步骤：基于多幅视频图像生成人脸集；对人脸集中的多幅人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性；以及对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间；基于设定的目标人，从多个人脸集中选择出与设定的目标人的人脸图像匹配度最高的目标人脸集；根据目标人脸集中的每一幅人脸图像的拍摄位置和时间，确定目标人的路线。

本发明专门针对监控场景的人脸识别装置和方法。针对于不同摄像头的差异性进行特征度量空间归一化，并结合特征度量空间和人脸图像集进行识别，大幅提高了监控场景下的人脸识别的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的 前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明的实施例的人脸识别装置的框图；

图2是根据本发明的实施例的人脸识别方法的流程图；

图3是根据本发明的实施例的图2中的人脸识别方法中进一步包括的特征提取和压缩步骤的示意图。

图4是根据本发明的实施例的人脸识别方法中的包络化处理所生成的特征包络的示意图；

图5是根据本发明的实施例的目标人跟踪装置的框图；

图6是根据本发明的实施例的在目标人跟踪方法的流程图；

图7是根据本发明的实施例的在目标人跟踪过程中所进行的两个阶段匹配的示意图；

图8a、8b和8c分别地示出了根据本发明的实施例的目标人跟踪过程中的在一个摄像头中跟踪目标人、在多摄像头中继续跟踪目标人以及被跟踪在地图中的轨迹被显示的系统示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明的实施例的人脸识别装置的框图。图2是根据本发明的实施例的人脸识别方法的流程图。

参考图1，人脸识别装置包括人脸集生成模块102、特征度量归一化模块104和特征包络形成模块106。具体地，人脸集生成模块102被配置为基于多幅视频图像生成人脸集。特征度量归一化模块104被配置为对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅不同摄像头下相同人脸图像之间的差异性。特征包络形成模块106被配置为对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间。

在一个实施例中，人脸集生成模块102还包括：人脸检测模块，被配置为以预定帧间隔获取的视频图像进行人脸检测，其中，根据视频帧率进行确定预定帧间隔。此外，人脸集生成模块102还包括人脸对齐模块，被配置为对进行人脸检测的视频图像进行如下图像处理：被配置为从视频图像中的提取关键点，并且根据双眼瞳孔距离对人脸进行尺度变换；以及根据提取的关键点的位置，估计人脸的偏行角度，并根据人脸的偏航角度将人脸旋转为正面脸，生成包括同一目标人的多幅人脸图像的人脸集，其中，关键点包括眼睛、鼻子和嘴巴。

具体地，多幅不同摄像头下相同人脸图像之间的差异性包括背景光源的差异性和拍摄角度的差异性。利用特征度量归一化模块104对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性进一步包括：将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的背景光源；以及将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的拍摄角度。另外，特征度量归一化模块104还包括特征提取模块，对人脸集进行特征提取，以形成原始特征人脸集；以及压缩模块，被配置为对原始特征进行压缩处理，以形成压缩特征人脸集。

另外，人脸识别装置还包括识别模块，被配置为基于设定的目标人，从多个人脸集中选择出与设定的目标人匹配度最高的目标人脸集。识别模块还包括：粗匹配识别模块，被配置为基于设定的目标人，确定有序的预定数量的人脸集；以及精匹配识别模块，被配置为基于设定的目标人，从有序的预定数量的人脸集中快速确定目标人脸集。具体地，基于设定的目标人，从多个压缩特征人脸集中确定预定数量的人脸集；根据与设定的目标人的匹配度，以匹配度从高到低的顺序对预定数量的人脸集进行排序，以生成有序的预定数量的人脸集；以及基于设定的目标人，从与有序的预定数量的人脸集相对应的预定数量的原始特征人脸集中快速确定目标人脸集。

参考图2，人脸识别方法包括以下步骤：在步骤210中，基于多幅视频图像生成人脸集；在步骤220中，对人脸集中的多幅人脸图像进行度量空间变换，以消除多幅不同摄像头下相同人脸图像之间的差异性；以及在步骤230中，对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间。

人脸识别方法还包括：在生成人脸集之前，以预定帧间隔获取的视频图像进行人脸检测，其中，根据视频帧率进行确定预定帧间隔。另外，在对多幅人脸图像进行度量空间变换之前，对进行人脸检测的视频图像进行如下图像处理：从视频图像中的提取关键点，并且根据双眼瞳孔距离对人脸进行尺度变换；以及根据提取的关键点的位置，估计人脸的偏行角度，并根据人脸的偏航角度将人脸旋转为正面脸，生成包括同一目标人的多幅人脸图像的人脸集，其中，关键点包括眼睛、鼻子和嘴巴。

多幅不同摄像头下相同人脸图像之间的差异性包括背景光源的差异性和拍摄角度的差异性。在对人脸集中的多幅人脸图像进行度量空间变换之前还包括：对人脸集进行特征提取，以形成原始特征人脸集；以及被配置为对原始特征进行压缩处理，以形成压缩特征人脸集。对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅不同摄像头下相同人脸图像之间的差异性进一步包括：将多幅不同摄像头下相同人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的背景光源；以及将多幅人脸图像进行度量空间变换，以使多幅人脸图像具有相同的拍摄角度。

另外，人脸识别方法还包括：基于设定的目标人，从多个人脸集中选择出与设定的目标人匹配度最高的目标人脸集。人脸识别方法进一步包括：基于设定的目标人，确定有序的预定数量的人脸集；以及基于设定的目标人，从有序的预定数量的人脸集中快速确定目标人脸集。具体地，人脸识别方法进一步包括：基于设定的目标人，从多个压缩特征人脸集中确定预定数量的人脸集；根据与设定的目标人的匹配度，以匹配度从高到低的顺序对预定数量的人脸集进行排序，以生成有序的预定数量的人脸集；以及基于设定的目标人，从与有序的预定数量的人脸集相对应的预定数量的原始特征人脸集中快速确定目标人脸集。

根据本发明的上述实施例，利用监控场景的人脸识别装置和方法，其中，针对于不同摄像头的差异性进行特征度量空间归一化，并结合特征度量空间和人脸图像集进行识别，能够大幅度提高人脸识别的精度。

下文中将参照图3至图8c对目标人跟踪装置及目标人跟踪方法，然后在对目标人跟踪装置中所包括的人脸识别装置进行详细描述并且对目标人跟踪方法中所使用的人脸识别方法进行详细描述。

图5是根据本发明的实施例的目标人跟踪装置的框图。首先参照图5对目标人跟踪装置进行详细描述。参考图5，根据本发明的另一实施例，目标人跟踪装置包括人脸集生成模块502、特征度量归一化模块504、特征包络形成模块506、人脸识别模块510和跟踪模块512。人脸集生成模块502、特征度量归一化模块504、特征包络形成模块506包括在人脸识别装置中。在优选实施例中，图5所示的人脸集生成模块502、特征度量归一化模块504、特征包络形成模块506可以分别与图1所示的人脸集生成模块102、特征度量归一化模块104和特征包络形成模块106相同或相似。

下文中，将对目标人跟踪装置中的各个模块分别进行详细描述。

人脸集生成模块502被配置为基于多幅视频图像生成人脸集。在一个实施例中，人脸集生成模块502还包括：人脸检测模块，被配置为以预定帧间隔获取的视频图像进行人脸检测，其中，根据视频帧率进行确定预定帧间隔。此外，人脸集生成模块502还包括人脸对齐模块，被配置为对进行人脸检测的视频图像进行如下图像处理：被配置为从视频图像中的提取关键点，并且根据双眼瞳孔距离对人脸进行尺度变换；以及根据提取的关键点的位置，估计人脸的偏行角度，并根据人脸的偏航角度将人脸旋转为正面脸，生成包括同一目标人的多幅人脸图像的人脸集，其中，关键点包括眼睛、鼻子和嘴巴。

下文中，将对人脸生成模块502的实例进行详细描述。在具体实例中，首先通过人脸检测模块进行人脸检测和跟踪，然后通过人脸对齐模块进行人脸对齐。具体地，将监控视频分解为图片，每隔几帧对视频图片进行人脸检测。间隔的帧数根据实际的视频帧率确定。所检测的人脸区域，尽量少的包含背景信息，减少背景噪声对于识别的影响。为了获取同一个人的多张图片，需要对人脸图像进行跟踪。人脸跟踪可能会有两种错误：1、跟踪的目标不属于同一个人；解决方法为：实时检测相邻帧人脸图像的相似度，如果相似度低于阈值，则对所跟踪图像设定新的id，其中，该阈值可以根据用户需要进行设置；2、跟踪的目标属于同一个人，但是跟踪图像无法准确的覆盖人脸区域。解决方法为：利用人脸跟踪框最近的人脸检测图像修正人脸跟踪结果。

在具体实例中，接下来进行人脸对齐。人脸对齐对识别结果影响较大。首先对人脸进行眼睛、鼻子、嘴巴四个关键点的提取，然后根据两眼瞳孔的距离对人脸进行尺度变换；然后两个瞳孔连线与水平线之间的夹角，对人脸图像旋转为水平；根据这四个关键点的位置，估计人脸的偏航角度，将人脸旋转到正面脸。如果人脸的这四个关键点无法提取，那么对这些人脸图像不进行处理。在单个图像集的图像数量比较多的情况下，可以对这些关键点无法提取的图像进行丢弃处理，但是需要保证单个图像集的图像数量大于15个。

目标人跟踪装置还包括特征度量归一化模块504，被配置为对多幅人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性，具体地，多幅不同摄像头下相同人脸图像之间的差异性包括背景光源的差异性和拍摄角度等的差异性。具体地，对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性进一步包括：将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的背景光源；以及将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的拍摄角度。另外，特征度量归一化模块504还包括特征提取模块，对人脸集进行特征提取，以形成原始特征人脸集；以及压缩模块，被配置为对原始特征进行压缩处理，以形成压缩特征人脸集。利用该特征度量归一化模块504能够大幅度降低背景光源的差异性和拍摄角度等的差异性。

下文中，将对特征度量归一化模块504的实例进行详细描述。在具体实例中，当进行基于人脸集的多摄像头特征度量空间归一化时，首先通过特征提取模块和压缩模块人脸检测模块进行人脸检测和跟踪，然后通过特征度量归一化模块504进行多摄像头特征度量空间归一化。

图3是根据本发明的实施例的图2中的人脸识别方法中进一步包括的特征提取和压缩步骤的示意图。参考图3，通过特征提取模块和压缩模块人脸检测模块进行人脸检测和跟踪。在具体实例中，对对齐后的人脸图像集进行特征提取，所提取特征可以为lbp(即，局部二值模式)、gabor(即，盖博)或者dct(即，离散余弦变换)特征。一般情况下，对于32×32 或者64×64的图像，其特征维度能够达到1000以上，虽然单个图像处理耗时不多，但是如果当图像数量达到十万级时，其耗时长度将会极为可观，因此需要对所提取特征进行特征压缩处理。对所提取的特征进行采样；然后使用wtahash压缩技术对所采样的特征进行压缩，压缩结果为：局部最大特征值为1，其余特征值压缩为0；最后，将所有局部区域的压缩串联起来，其结果为此特征向量的压缩结果。在特征压缩过程中，特征采样间隔、局部区域长度根据实际需求确定。压缩后的特征向量为二值压缩，压缩后的特征维度将会减少。

在具体实例中，对多摄像头特征度量空间归一化进行详细描述。此过程需要先训练然后再使用。首先使用不同摄像头之间的样本进行变换矩阵训练，然后在使用过程中将此变换矩阵应用到对应的摄像头上。特征度量空间归一化的目的是减少同一个人在不同摄像头下由于光照及角度的不同导致的差异性。例如，通过该特征度量归一化模块504将左侧光照变换为右侧光照或者将右侧光照变换为左侧光照。另外，例如将不同摄像机相对于目标人进行拍摄的不同角度变换为在相同角度对目标人进行拍摄。此过程将压缩后的特征向量进行度量空间变换，将不同度量空间的特征变化到同一度量空间，即具有相同的metric。此过程使用了metric-learning的方法。metric-learning能够将输入特征空间变换到具有尺度意义的空间：l为变换矩阵。在将不同空间的特征度量标准投影到同一空间时，需要满足以下两个条件：1将不同id目标的特征空间距离变大，且距离超过安全距离；2将相同id目标特征空间距离缩小。这样，就可以避免误分类的情况出现。在描述其误差函数之前，先定义如下符号：

输入特征向量，

yij：如果和具有相同标签为1，否则为0，

ηij：如果的相邻目标是时为1，否则为0。

其误差函数如下：

ε(l)＝εpull(l)+εpush(l)

其中

εpull为将邻域内相同目标拉近的误差函数，εpush为将邻域内不同目标推远的误差函数。由于直接求解l可能会导致局部最优解，因此将其进行变换：m＝l^tl，这样ε(m)将具有全局最优解，相应的特征变换后的距离形式变换为：最终误差函数形式为：

minimize:

ε(m)＝εpull(m)+εpush(m)

subjectto:

m≥0

最优值求解利用树回归进行梯度逼近，在复杂情况比如线性不可分时，可引入核技巧。

接下来，特征包络形成模块506被配置为对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间508。具体地，对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性进一步包括：将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的背景光源；以及将多幅人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的拍摄角度。

图4是根据本发明的实施例的人脸识别方法中的包络化处理所生成的特征包络的示意图。下文中，将参照图4对通过特征包络形成模块所进行的包络化处理进行详细描述。

用若干图像即图像集来描述人脸是为了扩大人脸的特征空间，更加全面的描述人脸。对同一目标，在提取其多张人脸图基础上，对压缩人脸特征进行度量空间变换后，使用image-set方法对其进行包络化处理，最终结果是将同一目标的多张图像表现为不同的加权组合。所谓包络指的是相同的人不同的图片形成的一个图像集所形成的特征空间。假设xc为包含若干图像特征的特征集，xc,i为其中一个样本，其中c＝1,…,c，i＝1,…,nc。例如，nc为5-50或者任何其他的正整数，优选地，为15、20、和50。更优选地，当nc为5时，效率最高。包络表示为hc，具体形式为：

其中，αc,i为每个样本的权重。对于权重有不同的获取方法，在本发明中，采用dlrc权重计算的方法。

人脸识别模块(又称识别模块)510基于设定的目标人，从多个人脸集中选择出与设定的目标人的人脸图像匹配度最高的目标人脸集。识别模块还包括：粗匹配识别模块，被配置为基于设定的目标人，确定有序的预定数量的人脸集；以及精匹配识别模块，被配置为基于设定的目标人，从有序的预定数量的人脸集中快速确定目标人脸集。更具体地，基于设定的目标人，从多个压缩特征人脸集中确定预定数量的人脸集；根据与设定的目标人的匹配度，以匹配度从高到低的顺序对预定数量的人脸集进行排序，以生成有序的预定数量的人脸集；以及基于设定的目标人，从与有序的预定数量的人脸集相对应的预定数量的原始特征人脸集中快速确定目标人脸集。

在以下实例中，将参照附图7以及8a至8c对跨摄像头人脸集包络识别进行详细描述。

每个人脸集的特征包络形成后，需要度量不同人脸集特征的差异性，差异性是通过计算人脸集包络的最小距离确定的，最小距离通过求两组加权特征的最小化残差来确定。图3所示为不同人脸集的特征包络示意图，图中有三个人脸集，每个人人脸集由若干人脸图像组成。在实际识别过程中，每个人脸集是一组人脸图特征，每个人脸图特征包括两个特征：原始特征和压缩后特征。原始特征为附图3中的图像集特征以及压缩特征为图3中的图像集哈希编码特征。原始特征和压缩特征的特点分别是：原始特征识别率更高，但是所需时间长；压缩特征识别率低于原始特征，但是所需时间短。识别过程分为两个阶段：

1、粗匹配阶段：使用压缩后特征，对象为全体识别人脸集；此阶段速度优先；

2、精确匹配阶段：使用原始特征，对象为粗匹配结果中比较靠前的n个人脸集；此阶段精度优先。

图4为二阶段匹配示意图，在粗匹配阶段，所有的测试样本用于匹配， 使用压缩后的特征进行人脸图像集的距离计算，然后根据与待匹配人脸的距离对测试样本进行排序。在粗匹配阶段可能发生错误匹配问题，比如更相似的人脸排在后面，因此需要精确匹配来调整粗匹配的结果。精确匹配仅对根据距离排序在最前面的若干个图像集进行运算，所使用的特征为原始特征。例如，在粗匹配阶段，可以从要识别的被压缩的全体人脸集中快速选择出2-50个或任意其他数量的有序的人脸集；任何在精确匹配阶段中，从粗匹配阶段所获得的有序人脸集中确定目标人脸集。有序的人脸集的数量可以根据用户需要进行确定，例如，5个、10个、以及15。

跟踪模块512根据目标人脸集中的每一幅人脸图像的拍摄位置和时间，确定目标人的路线。具体地，在人脸识别模块选择出的与设定的目标人的人脸图像匹配度最高的目标人脸集之后，跟踪模块512根据所获得的目标人脸集中的每一幅人脸图像的拍摄位置和时间，在地图上显示出此人的运动轨迹。

在跨相机摄像头跟踪的场景下，本发明能够有效的对不同相机摄像头中的同一个人进行跟踪和识别，最终在地图上显示出此人的运动轨迹。图8a至图8c分别地显示了以下结果：(a)在一个相机摄像头中跟踪目标人物；(b)在多个相机摄像头中继续跟踪目标人物；(c)显示被跟踪人在地图中的轨迹。

图6是根据本发明的实施例的在目标人跟踪方法的流程图。以下将参照图6对目标人跟踪方法进行详细描述。

目标人跟踪方法包括以下步骤：

在步骤610中，基于多幅视频图像生成人脸集；在生成人脸集之前，以预定帧间隔获取的视频图像进行人脸检测，其中，根据视频帧率进行确定预定帧间隔。在对多幅人脸图像进行度量空间变换之前，对进行人脸检测的视频图像进行如下图像处理：从视频图像中的提取关键点，并且根据双眼瞳孔距离对人脸进行尺度变换；以及根据提取的关键点的位置，估计人脸的偏行角度，并根据人脸的偏航角度将人脸旋转为正面脸，生成包括同一目标人的多幅人脸图像的人脸集，其中，关键点包括眼睛、鼻子和嘴巴。

在步骤620中，对人脸集中的多幅人脸图像进行度量空间变换，以消除多幅人脸图像之间的差异性；在进行度量空间变换以前，对人脸集进行特征提取，以形成原始特征人脸集；以及被配置为对原始特征进行压缩处理，以形成压缩特征人脸集。其中，多幅不同摄像头下相同人脸图像之间的差异性包括背景光源的差异性和拍摄角度的差异性。具体地，对多幅不同摄像头下相同人脸图像进行度量空间变换，以消除多幅不同摄像头下相同人脸图像之间的差异性进一步包括：将多幅不同摄像头下相同人脸图像进行度量空间变换，以使多幅不同摄像头下相同人脸图像具有相同的背景光源；以及将多幅人脸图像进行度量空间变换，以使多幅人脸图像具有相同的拍摄角度。

在步骤630中，对度量空间变换的多幅人脸图像进行包络化处理，以将人脸集的多个不同的人脸集特征空间变换为一个相同的人脸集的特征空间；

在步骤640中，基于设定的目标人，从多个人脸集中选择出与设定的目标人的人脸图像匹配度最高的目标人脸集。具体地，基于设定的目标人，确定有序的预定数量的人脸集；以及基于设定的目标人，从有序的预定数量的人脸集中快速确定目标人脸集。更具体地，基于设定的目标人，从多个压缩特征人脸集中确定预定数量的人脸集；根据与设定的目标人的匹配度，以匹配度从高到低的顺序对预定数量的人脸集进行排序，以生成有序的预定数量的人脸集；以及基于设定的目标人，从与有序的预定数量的人脸集相对应的预定数量的原始特征人脸集中快速确定目标人脸集。

在步骤650中，根据目标人脸集中的每一幅人脸图像的拍摄位置和时间，确定目标人的路线。

因此，本发明的实施例首先对所提取的不变特征进行压缩，然后在image-set方法和metric-learning基础上，提出跨摄像头识别方法，解决监控场景下跨摄像头跟踪的问题。

因此，利用本发明的实施例的人脸识别装置和人脸识别方法能够提高监控场景下的人脸识别精度。此外，利用该人脸识别装置的目标人跟踪装置以及利用人脸识别方法的目标人跟踪方法能够不仅能够提供人脸识别精 度，而且能够通过两个阶段的匹配查找目标人可以在大量的数据中以极快的速度寻找到目标图像。也就是说，在实际应用中，本发明能够辅助使用者从海量数据库中寻找目标人并提取其时间和路径信息，极大的提高工作效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。