一种基于关系图谱的固定场景视频的人脸快速识别方法与流程

本发明属于人脸快速识技术领域。具体涉及一种基于关系图谱的固定场景视频的人脸快速识别方法。

技术背景

固定场景视频装置具有占地小、易安装、精度高、实时性和能耗小等优点，已成为安防系统搭建的首选方式。

固定场景视频表示在特定的背景环境下，对所出现在拍摄装置视野范围内的人或物体进行拍摄所得到的视频，如安保视频和考勤系统。现如今的监控和安保系统还需要工作人员在视频监控平台人为的进行监控，当工作人员面对大量的固定场景视频数据时，很难有足够的精力和时间观察监控中的具体内容，并且观测的结果很大程度上会被主观因素所干扰，以至于监控结果不准确，无法做出及时的应对策略。对快速移动的物体很难鉴别出来，如人迅速跑过监控范围。且用肉眼观察会消耗大量的人力和物力资源，造成浪费。也有很多基于深度学习和机器学习的人脸检测算法，但是由于它们考虑了很多额外的因素，如环境背景，虽然使得算法具有鲁棒性，但算法容易被不相干的因素所干扰，使得算法中的参数量变大。

“基于adaboost算法的人脸识别优化方法”(cn201510203079)专利技术，该技术需要对大量的人脸样本图像进行训练，虽然精确度高，但参数量巨大，很难做到实时性。“人脸识别方法及装置”(cn201410602236)专利技术，该技术考虑了人物的衣服特征或者照片的拍摄时间等环境背景因素，会加大数据量，且会引入不相关的特征，最终使人脸的识别结果受到干扰。“人脸识别方法”(cn201310748379)专利技术，该技术使用的人脸参数量太多，导致算法效率大大降低，不能达到实时性。

发明目的

本发明旨在克服现有技术缺陷，目的在于提供一种具有实时监控、参数量小和人脸识别的准确性高的基于关系图谱的固定场景视频的人脸快速识别方法。

为实现上述目的，本发明采用的技术方案的步骤是：

第1步、数据预处理

从固定场景视频中截取m张人脸图像和l张非人脸图像，组成训练数据集d2，其中一张人脸图像代表一种人脸。先把训练数据集d2中的n张图像逐张转化成c×c的灰度图像，n＝m+l；用k个不同比例系数和k1个不同旋转角度组成k2个gabor核，用k2个gabor核对灰度图像进行分解，将训练数据集d2中每张图像分解为k2个大小为c×c的矩阵；其中，k2＝k1×k，c、k、k1、k2均为自然数；将所述训练数据集d2中所有人脸图像组成人脸样本库d，标定所有人脸图像。

第2步、人脸检测器的训练过程

第2.1步、建立训练样本(x^p，y^p)，p＝1，......，n。

x^p表示训练数据集d2中第p个样本经过gabor分解得到的k2个大小为c×c的矩阵；

y^p表示训练数据集d2中第p个样本是否为人脸图像；

如果x^p为人脸图像，则y^p＝1；如果x^p为非人脸图像，则y^p＝-1。

第2.2步、初始化每个训练样本的权值所述训练样本的权值其中：

p＝1，......，n；

q＝1，......，k2；

n表示训练数据集d2中最后一张图像的序号数；

k2表示每个训练样本最后一个特征的序号数。

第2.3步、设为第i的训练样本的第j个特征，利用每个训练样本的第j个特征fj，寻找最优的弱分类器hj(fj，θj，γj)的阈值参数θj、类别参数γj，使得分类误差ej最小。

式(1)和(2)中：θj表示第j个弱分类器中的阈值参数；

γj表示第j个弱分类器中的类别参数；

表示每个训练样本的权值，

表示分类器hj(fj；θj，γj)对第i个训练样本中的第j个特征是否分类错误，

式(3)中：yⁱ＝hj(fj；θj，γj)表示分类正确；

yⁱ≠hj(fj；θj，γj)表示分类错误。

通过利用每个训练样本的第j个特征fj进行训练，得到最优的弱分类器hj(fj，θj，γj)：

式(4)中：θj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的阈值参数；

γj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的类别参数。

第2.4步、更新下次迭代每个特征的权值

如果利用第i个训练样本的第j个特征使得第i个训练样本被第j个最优的弱分类器hj(fj；θj，γj)正确识别，则下次迭代的第i个训练样本的第j+1个特征的权值

如果利用第i个训练样本的第j个特征使得第i个训练样本不能被第j个最优的弱分类器hj(fj；θj，γj)正确识别，则下次迭代的第i个训练样本的第j+1个特征的权值

第2.4步中：ej表示hj(fj；θj，γj)的分类误差。

第2.5步、重复第2.3步和第2.4步，直到遍历k2个特征，得到最终的强分类器h(x)：

式(5)和(6)中：x表示对待识别的固定场景视频中的一帧图像；

fj表示x中经过k2个gabor核分解后的全部k2个特征中的第j个特征；

θj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的阈值参数；

γj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的类别参数；

αj为表示第j个弱分类器hj(fj，θj，γj)在最终的强分类器h(x)中所占的权重；

ej表示hj(fj；θj，γj)的分类误差；

表示符号函数；

若则为1；

若则为0。

第3步、人脸快速分类过程

第3.1步、采用第2步得到的强分类器h(x)，对待识别的固定场景视频中的一帧图像进行人脸检测，经过人脸检测出的图像为待识别的人脸图像集合d3。

第3.2步、对待识别的人脸图像集合d3中所有人脸图像的k2个特征进行灰度直方图变换，得到待识别的人脸图像集合d3中所有人脸图像的灰度直方图集合x。

第3.3步、利用基于图的关系图谱快速分类算法，将所述灰度直方图集合x与人脸样本库d中每个人脸图像的k2个特征的灰度直方图进行最邻近匹配，得到待识别的人脸图像集合d3中所有待识别人脸图像的种类。

第3.4步、重复3.1～3.3步，直至待识别的固定场景视频中每一帧图像都识别完毕。

所述基于图的关系图谱快速分类算法的具体步骤是：

第1分步、利用图算法建立固定场景视频中人的关系图谱

第1.1分步、利用n段长度相同的固定场景视频建立人脸识别训练数据集d1，所述人脸识别训练数据集d1中共有m种人脸，建立大小为m×m的关系矩阵u；把关系矩阵u初始化为全部元素为零的矩阵，关系矩阵u的行和列都表示固定场景视频中的人脸种类。

第1.2分步、取人脸识别训练数据集d1中第j段固定场景视频，每隔t帧取一帧固定场景视频图像，第j段固定场景视频共有t幅固定场景视频图像，把t幅固定场景视频图像组成固定场景视频图像集合qj，1≤j≤n。

第1.3分步、取固定场景视频图像集合qj中的一帧固定场景视频图像om，1≤m≤t，对所述一帧固定场景视频图像om进行坐标系标定：左下角标定为坐标系零点，左侧边为y轴正方向，下侧边为x轴正方向建立直角坐标系。

第1.4分步、利用所述强分类器h(x)，对所述一帧固定场景视频图像om检测人脸部分，对检测出的人脸部分进行人工标定；每种人脸标定一个编号k，其中k＝1，2，……，m。

第1.5分步、把标定编号后的所述一帧固定场景视频图像om中的人脸部分的中心点设为(ak，bk)，其中k为每种人脸的编号。

第1.6分步、先设定距离阈值d，再计算所述一帧固定场景视频图像om中任意两个人脸部分中心点的距离l，如果所述距离l大于设定的距离阈值d，则所述距离l设置为无穷大；如果所属距离l小于设定的阈值d，则所述距离l不发生改变。

第1.7分步、若距离l为无穷大，则把1/l置为0，把所述距离l的倒数1/l加到关系矩阵u对应的位置上。

第1.8分步、重复第1.6分步和第1.7分步，直至所述一帧固定场景视频图像om中所有的任意两个人脸部分的中心点的距离l都被计算过。

第1.9分步、重复第1.3分步～第1.8分步，直至固定场景视频图像集合qj中的每帧固定场景视频图像中所有的任意两个人脸部分的中心点的距离l都被计算过。

第1.10分步、人脸识别训练数据集d1中的n段固定场景视频的处理方法同第1.9分步，最终得到大小为m×m的关系矩阵u；对关系矩阵u中的值进行归一化运算，关系矩阵u中的值越大，则说明关系矩阵u中的行和列代表的人关系越紧密，关系矩阵u为所得的关系图谱。

第2分步、利用关系图谱进行人脸的快速分类

第2.1分步、把待识别人脸图像的灰度直方图集合x与人脸样本库d中每个人脸图像的k2个特征的灰度直方图进行最邻近匹配，得到匹配度由大到小的匹配度优先级队列集合p＝(p1，p2，……，pr)，r表示待识别的人脸图像集合d3中人脸图像个数，pb＝(gb，1，gb，2，……，gb，m)，g表示匹配度的值，m表示人脸样本库d中人脸的种类个数，b表示待识别的人脸图像集合d3中的第b个人脸，1≤b≤r。

如果待识别人脸图像中第b个人脸的匹配度优先级队列pb中匹配度的最大值gbmax大于设定的匹配度阈值t1，则识别为匹配度最大值gbmax所对应的人脸种类；同理，待识别人脸图像中所有人脸的匹配度对应的最大值g1max，g2max，……，grmax中凡大于等于设定的匹配度阈值t1的人脸图像，则识别为匹配度最大值g1max，g2max，……，grmax所对应的人脸种类，构成已识别出的人脸数据集r1；则其余的人脸图像构成候选人脸集合r2。

第2.2分步、对候选人脸集合r2中的人脸图像，采用第1分步得出的关系图谱u和已识别出的人脸数据集r1中的人脸，在匹配度优先级队列集合p的基础上，更新候选人脸集合r2中所有人脸图像匹配度优先级队列p1，p2，……，pc的匹配度，c表示候选人脸集合r2中的人脸个数，增加匹配度优先级队列pc中匹配度gc，i的方法如下：

式(7)中：u表示第1分步中得到的关系图谱；

gc，i表示更新前候选人脸集合r2中第c个候选人脸图像中与已识别出的人脸数据集r1中第i个人脸图像的匹配度；

表示更新后候选人脸集合r2中第c个候选人脸图像中与已识别出的人脸数据集r1中第i个人脸图像的匹配度；

ui表示匹配度gc，i所属的人脸种类，i＝1，2，……，m；

vz表示已经识别出的人脸数据集r1中的人脸种类，1≤z＜m。

第2.3分步、对于更新后的候选人脸集合r2中的人脸图像匹配度优先级队列p1，p2，……，pc，若候选人脸集合r2中所有人脸的匹配度对应的最大值g1max，g2max，……，gcmax中凡大于等于设定的匹配度阈值t1的人脸图像，则识别为匹配度最大值g1max，g2max，……，gcmax所对应的人脸种类，把识别成功的人脸图像从候选人脸集合r2中移除，加入已识别出的人脸数据集r1，候选人脸集合r2中待识别的人脸图像个数为c1，0＜c1＜c。

第2.4分步、重复第2.2分步和第2.3分步，直到候选人脸集合r2中的人脸图像匹配度优先级队列p1，p2，……，pc1不再更新为止，如果最终匹配度优先级队列p1，p2，……，pc1的匹配度最大值g1max，g2max，……，gc1max依然小于匹配度阈值t1，则放弃识别候选人脸集合r2中剩余人脸图像；此帧待识别人脸图像识别完毕。

由于采用上述技术方案，本发明具有如下积极效果：

本发明利用了图的关系图谱技术，对固定场景视频中的人脸种类进行建模，挖掘出不同人脸的内在联系，无需对不同的人脸进行特殊的训练和学习，从而大大减少了识别算法的计算量、复杂度和参数量，缩短了处理的时长，参数量小和能实现实时监控。

本发明所提出的基于关系图谱的固定场景视频人脸快速识别方法使用简单，只要求工作人员事先标定好不同的人脸，就能在待识别固定场景视频里，如监控视频，快速准确地识别出人脸。

本发明能够在海量的离线固定场景视频中快速识别出指定的人脸，具有对历史固定场景视频进行重识别的功能。

本发明对于固定场景视频中从未出现的人脸也能做出快速地判断，在很短的时间内发出警报，可用于社区安防和人员排查。

本发明所建立的关系图谱技术能通过视频数据挖掘出不同人脸的内在联系，也可以建立出人之间的社交网络，可以用于反欺诈技术。在反欺诈中，经常出现团伙作案的特征，所以可以通过建立的社交网络，分析出人在网络上的聚类，对考察人之间的共性和研究社交网络中人的特性有很强的指导性。

因此，本发明具有实时监控、参数量小和人脸识别的准确性高的特点。

具体实施方式

下面结合具体实施方式对本发明作进一步的描述，并非对其保护范围的限定。

实施例1

一种基于关系图谱的固定场景视频的人脸快速识别方法。

第1步、数据预处理

从固定场景视频中截取20张人脸图像和40张非人脸图像，组成训练数据集d2，其中一张人脸图像代表一种人脸。先把训练数据集d2中的60张图像逐张转化成16×16的灰度图像，60＝40+20；用5个不同比例系数和5个不同旋转角度组成25个gabor核，用25个gabor核对灰度图像进行分解，将训练数据集d2中每张图像分解为25个大小为16×16的矩阵；其中，25＝5×5；将所述训练数据集d2中所有人脸图像组成人脸样本库d，标定所有人脸图像。

第2步、人脸检测器的训练过程

第2.1步、建立训练样本(x^p，y^p)，p＝1，……，60。

x^p表示训练数据集d2中第p个样本经过gabor分解得到的25个大小为16×16的矩阵；

y^p表示训练数据集d2中第p个样本是否为人脸图像；

如果x^p为人脸图像，则y^p＝1；如果x^p为非人脸图像，则y^p＝-1。

第2.2步、初始化每个训练样本的权值所述训练样本的权值其中：

p＝1，......，60；

q＝1，......，25；

60表示训练数据集d2中最后一张图像的序号数；

25表示每个训练样本最后一个特征的序号数。

第2.3步、设为第30的训练样本的第10个特征，利用每个训练样本的第10个特征f10，寻找最优的弱分类器h10(f10，θ10，γ10)的阈值参数θ10、类别参数γ10，使得分类误差e10最小。

式(1)和(2)中：θ10表示第10个弱分类器中的阈值参数；

γ10表示第10个弱分类器中的类别参数；

表示每个训练样本的权值，

表示分类器h10(f10；θ10，γ10)对第i个训练样本中的第10个特征是否分类错误，

式(3)中：yⁱ＝h10(f10；θ10，γ10)表示分类正确；

yⁱ≠h10(f10；θ10，γ10)表示分类错误。

通过利用每个训练样本的第10个特征f10进行训练，得到最优的弱分类器h10(f10，θ10，γ10)：

式(4)中：θ10表示通过优化得到的第10个最优的弱分类器h10(f10；θ10，γ10)的阈值参数；

γ10表示通过优化得到的第10个最优的弱分类器h10(f10；θ10，γ10)的类别参数。

第2.4步、更新下次迭代每个特征的权值

如果利用第30个训练样本的第10个特征使得第30个训练样本被第10个最优的弱分类器h10(f10；θ10，γ10)正确识别，则下次迭代的第30个训练样本的第10+1个特征的权值

如果利用第30个训练样本的第10个特征使得第30个训练样本不能被第10个最优的弱分类器h10(f10；θ10，γ10)正确识别，则下次迭代的第30个训练样本的第10+1个特征的权值

第2.4步中：e10表示h10(f10；θ10，γ10)的分类误差。

第2.5步、重复第2.3步和第2.4步，直到遍历25个特征，得到最终的强分类器h(x)：

式(5)和(6)中：x表示对待识别的固定场景视频中的一帧图像；

fj表示x中经过25个gabor核分解后的全部25个特征中的第j个特征；

θj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的阈值参数；

γj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的类别参数；

αj为表示第j个弱分类器hj(fj，θj，γj)在最终的强分类器h(x)中所占的权重；

ej表示hj(fj；θj，γj)的分类误差；

表示符号函数；

若则为1；

若则为0。

第3步、人脸快速分类过程

第3.1步、采用第2步得到的强分类器h(x)，对待识别的固定场景视频中的一帧图像进行人脸检测，经过人脸检测出的图像为待识别的人脸图像集合d3。

第3.2步、对待识别的人脸图像集合d3中所有人脸图像的25个特征进行灰度直方图变换，得到待识别的人脸图像集合d3中所有人脸图像的灰度直方图集合x。

第3.3步、利用基于图的关系图谱快速分类算法，将所述灰度直方图集合x与人脸样本库d中每个人脸图像的25个特征的灰度直方图进行最邻近匹配，得到待识别的人脸图像集合d3中所有待识别人脸图像的种类。

第3.4步、重复3.1～3.3步，直至待识别的固定场景视频中每一帧图像都识别完毕。

所述基于图的关系图谱快速分类算法的具体步骤是：

第1分步、利用图算法建立固定场景视频中人的关系图谱

第1.1分步、利用15段长度相同的固定场景视频建立人脸识别训练数据集d1，所述人脸识别训练数据集d1中共有20种人脸，建立大小为20×20的关系矩阵u；把关系矩阵u初始化为全部元素为零的矩阵，关系矩阵u的行和列都表示固定场景视频中的人脸种类。

第1.2分步、取人脸识别训练数据集d1中第10段固定场景视频，每隔5帧取一帧固定场景视频图像，第10段固定场景视频共有80帧固定场景视频图像，把80帧固定场景视频图像组成固定场景视频图像集合q10。

第1.3分步、取固定场景视频图像集合q10中的一帧固定场景视频图像o40，对所述一帧固定场景视频图像o40进行坐标系标定：左下角标定为坐标系零点，左侧边为y轴正方向，下侧边为x轴正方向建立直角坐标系。

第1.4分步、利用所述强分类器h(x)，对所述一帧固定场景视频图像o10检测人脸部分，对检测出的人脸部分进行人工标定；每种人脸标定一个编号k，其中k＝1，2，……，20。

第1.5分步、把标定编号后的所述一帧固定场景视频图像o40中的人脸部分的中心点设为(ak，bk)，其中k为每种人脸的编号。

第1.6分步、先设定距离阈值d＝80，再计算所述一帧固定场景视频图像o40中其中两个人脸部分中心点的距离l＝59，由于所述距离l＝59小于设定的距离阈值d＝80，则所述距离l＝59不发生改变。

第1.7分步、把所述距离l＝59的倒数1/59加到关系矩阵u对应的位置上。

第1.8分步、重复第1.6分步、第1.7分步，直至所述一帧固定场景视频图像o40中所有的任意两个人脸部分的中心点的距离l都被计算过。

第1.9分步、重复第1.3分步～第1.8分步，直至固定场景视频图像集合q10中的每帧固定场景视频图像中所有的任意两个人脸部分的中心点的距离l都被计算过。

第1.10分步、人脸识别训练数据集d1中的15段固定场景视频的处理方法同第1.9分步，最终得到大小为20×20的关系矩阵u；对关系矩阵u中的值进行归一化运算，关系矩阵u中的值越大，则说明关系矩阵u中的行和列代表的人关系越紧密，关系矩阵u为所得的关系图谱。

第2分步、利用关系图谱进行人脸的快速分类

第2.1分步、把待识别人脸图像的灰度直方图集合x与人脸样本库d中每个人脸图像的25个特征的灰度直方图进行最邻近匹配，得到匹配度由大到小的匹配度优先级队列集合p＝(p1，p2，……，p30)，30表示待识别的人脸图像集合d3中人脸图像个数，p16＝(g16，1，g16，2，……，g16，20)，g表示匹配度的值，20表示人脸样本库d中人脸的种类个数，16表示待识别的人脸图像集合d3中的第16个人脸。

如果待识别人脸图像中第16个人脸的匹配度优先级队列p16中匹配度的最大值g16max大于设定的匹配度阈值0.85，则识别为匹配度最大值g16max所对应的人脸种类；同理，待识别人脸图像中所有人脸的匹配度对应的最大值g1max，g2max，……，g30max中凡大于等于设定的匹配度阈值0.85的人脸图像，则识别为匹配度最大值g1max，g2max，……，g30max所对应的人脸种类，构成已识别出的人脸数据集r1；则其余的人脸图像构成候选人脸集合r2。

第2.2分步、对候选人脸集合r2中的人脸图像，采用第1分步得出的关系图谱u和已识别出的人脸数据集r1中的人脸，在匹配度优先级队列集合p的基础上，更新候选人脸集合r2中所有人脸图像匹配度优先级队列p1，p2，……，p10的匹配度，10表示候选人脸集合r2中的人脸个数，增加匹配度优先级队列p10中匹配度g10，5的方法如下：

式(7)中：u表示第1分步中得到的关系图谱；

g10，5表示更新前候选人脸集合r2中第10个候选人脸图像中与已识别出的人脸数据集r1中第5个人脸图像的匹配度；

表示更新后候选人脸集合r2中第10个候选人脸图像中与已识别出的人脸数据集r1中第5个人脸图像的匹配度；

u5表示匹配度g5所属的人脸种类；

vz表示已经识别出的人脸数据集r1中的人脸种类，1≤z＜20。

第2.3分步、对于更新后的候选人脸集合r2中的人脸图像匹配度优先级队列p1，p2，……，p10，若候选人脸集合r2中所有人脸的匹配度对应的最大值g1max，g2max，……，g10max中凡大于等于设定的匹配度阈值0.85的人脸图像，则识别为匹配度最大值g1max，g2max，……，g10max所对应的人脸种类，把识别成功的人脸图像从候选人脸集合r2中移除，加入已识别出的人脸数据集r1，候选人脸集合r2中待识别的人脸图像个数为3。

第2.4分步、重复第2.2分步和第2.3分步，直到候选人脸集合r2中的人脸图像匹配度优先级队列p1，p2，……，p3不再更新为止，最终匹配度优先级队列p1，p2，……，p3的匹配度最大值g1max，g2max，……，g3max依然小于匹配度阈值0.85，则放弃识别候选人脸集合r2中剩余人脸图像；此帧待识别人脸图像识别完毕。

实施例2

一种基于关系图谱的固定场景视频的人脸快速识别方法。本实施例所述人脸快速识别方法的步骤是：

第1步、数据预处理

从固定场景视频中截取30张人脸图像和43张非人脸图像，组成训练数据集d2，其中一张人脸图像代表一种人脸。先把训练数据集d2中的73张图像逐张转化成32×32的灰度图像，73＝30+43；用4个不同比例系数和7个不同旋转角度组成28个gabor核，用28个gabor核对灰度图像进行分解，将训练数据集d2中每张图像分解为28个大小为32×32的矩阵；其中，28＝4×7；将所述训练数据集d2中所有人脸图像组成人脸样本库d，标定所有人脸图像。

第2步、人脸检测器的训练过程

第2.1步、建立训练样本(x^p，y^p)，p＝1，……，73。

x^p表示训练数据集d2中第p个样本经过gabor分解得到的28个大小为32×32的矩阵；

y^p表示训练数据集d2中第p个样本是否为人脸图像；

如果x^p为人脸图像，则y^p＝1；如果x^p为非人脸图像，则y^p＝-1。

第2.2步、初始化每个训练样本的权值所述训练样本的权值其中：

p＝1，......，73；

q＝1，......，28；

73表示训练数据集d2中最后一张图像的序号数；

28表示每个训练样本最后一个特征的序号数。

第2.3步、设为第35的训练样本的第14个特征，利用每个训练样本的第14个特征f14，寻找最优的弱分类器h14(f14，θ14，γ14)的阈值参数θ14、类别参数γ14，使得分类误差e14最小。

式(1)和(2)中：θ14表示第14个弱分类器中的阈值参数；

γ14表示第14个弱分类器中的类别参数；

表示每个训练样本的权值，

表示分类器h14(f14；θ14，γ14)对第i个训练样本中的第14个特征是否分类错误，

式(3)中：yⁱ＝h14(f14；θ14，γ14)表示分类正确；

yⁱ≠h14(f14；θ14，γ14)表示分类错误。

通过利用每个训练样本的第14个特征f14进行训练，得到最优的弱分类器h14(f14，θ14，γ14)：

式(4)中：θ14表示通过优化得到的第14个最优的弱分类器h14(f14；θ14，γ14)的阈值参数；

γ14表示通过优化得到的第14个最优的弱分类器h14(f14；θ14，γ14)的类别参数。

第2.4步、更新下次迭代每个特征的权值

如果利用第35个训练样本的第14个特征使得第35个训练样本被第14个最优的弱分类器h14(f14；θ14，γ14)正确识别，则下次迭代的第35个训练样本的第14+1个特征的权值

如果利用第35个训练样本的第14个特征使得第35个训练样本不能被第14个最优的弱分类器h14(f14；θ14，γ14)正确识别，则下次迭代的第35个训练样本的第14+1个特征的权值

第2.4步中：e14表示h14(f14；θ14，γ14)的分类误差。

第2.5步、重复第2.3步和第2.4步，直到遍历28个特征，得到最终的强分类器h(x)：

式(5)和(6)中：x表示对待识别的固定场景视频中的一帧图像；

fj表示x中经过28个gabor核分解后的全部28个特征中的第j个特征；

θj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的阈值参数；

γj表示通过优化得到的第j个最优的弱分类器hj(fj；θj，γj)的类别参数；

αj为表示第j个弱分类器hj(fj，θj，γj)在最终的强分类器h(x)中所占的权重；

ej表示hj(fj；θj，γj)的分类误差；

表示符号函数；

若则为1；

若则为0。

第3步、人脸快速分类过程

第3.1步、采用第2步得到的强分类器h(x)，对待识别的固定场景视频中的一帧图像进行人脸检测，经过人脸检测出的图像为待识别的人脸图像集合d3。

第3.2步、对待识别的人脸图像集合d3中所有人脸图像的28个特征进行灰度直方图变换，得到待识别的人脸图像集合d3中所有人脸图像的灰度直方图集合x。

第3.3步、利用基于图的关系图谱快速分类算法，将所述灰度直方图集合x与人脸样本库d中每个人脸图像的28个特征的灰度直方图进行最邻近匹配，得到待识别的人脸图像集合d3中所有待识别人脸图像的种类。

第3.4步、重复3.1～3.3步，直至待识别的固定场景视频中每一帧图像都识别完毕。

所述基于图的关系图谱快速分类算法的具体步骤是：

第1分步、利用图算法建立固定场景视频中人的关系图谱

第1.1分步、利用40段长度相同的固定场景视频建立人脸识别训练数据集d1，所述人脸识别训练数据集d1中共有30种人脸，建立大小为30×30的关系矩阵u；把关系矩阵u初始化为全部元素为零的矩阵，关系矩阵u的行和列都表示固定场景视频中的人脸种类。

第1.2分步、取人脸识别训练数据集d1中第20段固定场景视频，每隔15帧取一帧固定场景视频图像，第20段固定场景视频共有18幅固定场景视频图像，把18幅固定场景视频图像组成固定场景视频图像集合q20。

第1.3分步、取固定场景视频图像集合q20中的一帧固定场景视频图像o10，对所述一帧固定场景视频图像o10进行坐标系标定：左下角标定为坐标系零点，左侧边为y轴正方向，下侧边为x轴正方向建立直角坐标系。

第1.4分步、利用所述强分类器h(x)，对所述一帧固定场景视频图像o10检测人脸部分，对检测出的人脸部分进行人工标定；每种人脸标定一个编号k，其中k＝1，2，……，30。

第1.5分步、把标定编号后的所述一帧固定场景视频图像o10中的人脸部分的中心点设为(ak，bk)，其中k为每种人脸的编号。

第1.6分步、先设定距离阈值d＝70，再计算所述一帧固定场景视频图像o10中任意两个人脸部分中心点的距离l＝83；由于所述距离l＝83大于设定的距离阈值d＝70，则所述距离l设置为无穷大。

第1.7分步、由于距离l为无穷大，把1/l置为0；把1/l＝0加到关系矩阵u对应的位置上。

第1.8分步、重复第1.6分步和第1.7分步，直至所述一帧固定场景视频图像o10中所有的任意两个人脸部分的中心点的距离l都被计算过。

第1.9分步、重复第1.3分步～第1.8分步，直至固定场景视频图像集合q20中的每帧固定场景视频图像中所有的任意两个人脸部分的中心点的距离l都被计算过。

第1.10分步、人脸识别训练数据集d1中的40段固定场景视频的处理方法同第1.9分步，最终得到大小为30×30的关系矩阵u；对关系矩阵u中的值进行归一化运算，关系矩阵u中的值越大，则说明关系矩阵u中的行和列代表的人关系越紧密，关系矩阵u为所得的关系图谱。

第2分步、利用关系图谱进行人脸的快速分类

第2.1分步、把待识别人脸图像的灰度直方图集合x与人脸样本库d中每个人脸图像的28个特征的灰度直方图进行最邻近匹配，得到匹配度由大到小的匹配度优先级队列集合p＝(p1，p2，……，p70)，70表示待识别的人脸图像集合d3中人脸图像个数，p55＝(g55，1，g55，2，……，g55，30)，g表示匹配度的值，30表示人脸样本库d中人脸的种类个数，55表示待识别的人脸图像集合d3中的第55个人脸。

如果待识别人脸图像中第55个人脸的匹配度优先级队列p55中匹配度的最大值g55max大于设定的匹配度阈值0.77，则识别为匹配度最大值g55max所对应的人脸种类；同理，待识别人脸图像中所有人脸的匹配度对应的最大值g1max，g2max，……，g70max中凡大于等于设定的匹配度阈值0.77的人脸图像，则识别为匹配度最大值g1max，g2max，……，g70max所对应的人脸种类，构成已识别出的人脸数据集r1；则其余的人脸图像构成候选人脸集合r2。

第2.2分步、对候选人脸集合r2中的人脸图像，采用第1分步得出的关系图谱u和已识别出的人脸数据集r1中的人脸，在匹配度优先级队列集合p的基础上，更新候选人脸集合r2中所有人脸图像匹配度优先级队列p1，p2，……，p38的匹配度，38表示候选人脸集合r2中的人脸个数，增加匹配度优先级队列p38中匹配度g38，3的方法如下：

式(7)中：u表示第1分步中得到的关系图谱；

g38，3表示更新前候选人脸集合r2中第38个候选人脸图像中与已识别出的人脸数据集r1中第3个人脸图像的匹配度；

表示更新后候选人脸集合r2中第38个候选人脸图像中与已识别出的人脸数据集r1中第3个人脸图像的匹配度；

u3表示匹配度g3所属的人脸种类；

vz表示已经识别出的人脸数据集r1中的人脸种类，1≤z＜30。

第2.3分步、对于更新后的候选人脸集合r2中的人脸图像匹配度优先级队列p1，p2，……，p38，若候选人脸集合r2中所有人脸的匹配度对应的最大值g1max，g2max，……，g38max中凡大于等于设定的匹配度阈值0.77的人脸图像，则识别为匹配度最大值g1max，g2max，……，g38max所对应的人脸种类，把识别成功的人脸图像从候选人脸集合r2中移除，加入已识别出的人脸数据集r1，候选人脸集合r2中待识别的人脸图像个数为20。

第2.4分步、重复第2.2分步和第2.3分步，直到候选人脸集合r2中的人脸图像匹配度优先级队列p1，p2，……，p20不再更新为止，最终匹配度优先级队列p1，p2，……，p20的匹配度最大值g1max，g2max，……，g20max大于匹配度阈值0.77，则识别为匹配度最大值g1max，g2max，……，g20max所属人脸，此帧待识别人脸图像识别完毕。

本具体实施方式具有如下积极效果：

本具体实施方式利用了图的关系图谱技术，对固定场景视频中的人脸种类进行建模，挖掘出不同人脸的内在联系，无需对不同的人脸进行特殊的训练和学习，从而大大减少了识别算法的计算量、复杂度和参数量，缩短了处理的时长，参数量小和能实现实时监控。

本具体实施方式所提出的基于关系图谱的固定场景视频人脸快速识别方法使用简单，只要求工作人员事先标定好不同的人脸，就能在待识别固定场景视频里，如监控视频，快速准确地识别出人脸。

本具体实施方式能够在海量的离线固定场景视频中快速识别出指定的人脸，具有对历史固定场景视频进行重识别的功能。

本具体实施方式对于固定场景视频中从未出现的人脸也能做出快速地判断，在很短的时间内发出警报，可用于社区安防和人员排查。

本具体实施方式所建立的关系图谱技术能通过视频数据挖掘出不同人脸的内在联系，也可以建立出人之间的社交网络，可以用于反欺诈技术。在反欺诈中，经常出现团伙作案的特征，所以可以通过建立的社交网络，分析出人在网络上的聚类，对考察人之间的共性和研究社交网络中人的特性有很强的指导性。

因此，本具体实施方式具有实时监控、参数量小和人脸识别的准确性高的特点。