专利名称：基于在线学习和贝叶斯推理的视频人脸识别与检索方法
技术领域：
本发明涉及一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，属于计算机视 觉中的智能监控技术，特别是人脸识别技术。
背景技术：
随着监控视频技术的广泛应用，越来越需要监控视频系统具有视频人脸识别功能以便能 够在线实时的进行视频人脸检索。其具体表现为对监控视频能够实现逐帧地进行目标人员 识别，并将识别结果和对应的图像以索引的形式加以保存。当用户需要了解特定目标的活动 轨迹时，将所有相关图像调出给用户查看，以人工参与的方式理解目标行为。
但是由于在监控视频中，存在着一些人员可能仅在小段时间内出现，与视频的海量数据 相比，其中包含这些人员的有关图像数量可能较少。因此如果在大量的视频样本中要把少量 的目标人员样本使用聚类算法来进行视频的可靠标记的视频标记算法提出了挑战，并且目前 的视频人脸标记算法的确很难满足对于有些人员在小段时间内出现并对其进行精确标记的精 度要求。此外监控视频系统应当具有在线和离线辨认目标人脸的功能，而基于视频的人脸识 别算法正好能满足这个要求。因此，监控视频中的人脸检索可采用视频中的人脸识别方法去 解决。
为了提高监控视频人脸检索的性能，需要对视频进行训练得到目标人脸的表示模型。因 为视频中包含了丰富的人脸模式信息，因此基于视频建模可以提高人脸表示模型的准确性。 现有的对训练视频进行人脸建模有在线学习方式和离线学习方式，在线学习的过程如下所示 迅速检测训练视频中的每一帧图像中出现的人脸模式并对之学习。学习完单之后丢弃当前帧， 然后对下一帧图像进行处理。在线学习方式相比于离线学习方式不仅能以模型更新的方式保 证模型的正确性，还能节约大量的存储空间。因此得到了较好的应用，现有的基于在线学习 方法得到训练视频模型的应用主要有K.C丄ee和X丄iu。下面分别对于K.C丄ee和X丄iu的 思想进行介绍。
K.C丄ee等人使用单初始模型检测人脸，并学习检测到的样本，使初始模型最终进化为 人脸类别模型。初始模型通过监督学习的方式获得，由固定数目的姿态子流形所组成，每个 子流形采用PCA子空间建模。在样本的学习过程中，首先利用初始模型检测人脸，并判断样 本的姿态，然后通过局部线性映射合成其他姿态下的虚拟样本，通过对这些样本的学习来调 整初始模型参数，最终得到与初始模型形式完全相同的人脸类别模型。
X丄iu等人他们采用HMM(Hidden Markov Model,隐马尔可夫模型)模型为视频序列
5建模。在训练阶段，通过监督学习的方法得到各训练序列的HMM模型。在识别阶段，根据 测试序列相对Gallery库中各HMM模型的置信度，使用整个测试序列更新目标HMM模型。 在使用有监督的在线学习方式得到训练视频模型的思想的基础上，K.C丄ee和X丄iu等 的方法所建立的训练模型有较好的人脸识别和检索的效果。但是他们的模型还是有值得改进 的地方(1)他们的模型是一个基于有监督学习的模型训练框架，需要用户参与，而建立一 个完全基于非监督学习的模型训练框架，可以进行自主学习，并且初始模型可以根据训练序 列的空间分布进化为形式不同的类别模型，更能符合监控视频中人脸识别与检索的要求。(2) K.C丄ee的方法采用固定数目的子空间表示视频人脸流形，这个并不能很好的拟合空间数据 的分布情况。因此使用GMM人脸识别模型来创建人脸识别的初始模型，相对于以上K.C丄ee 等人使用单初始模型检测人脸和X丄iu等人他们釆用HMM模型为视频序列建模。初始的人 脸识别模型(GMM)利用了多个单高斯分布的线性组合来描述观测数据在特征空间中的分布。 GMM是一种基于多变量的参数化混合模型。它利用了多个单高斯分布的线性组合来描 述观测数据在特征空间中的分布。给定观测数据5和模型义/，观测数据属于^莫型的概率为
卿^I义,)^X乖〃丄) (1)
式l中JV(5/^,^)表示均值为/^，方差为&的多维正态分布，f为观测数据，/为高 斯混合模型的个数，其表示该高斯混合模型G(^由/个不同的单个高斯模型所组成， 为观
测数据5属于第m个高斯成分的权重，并且满足 ^o,附-i,…,/和5;c^^:i的条件。通常
采用EM算法确定GMM人脸识别模型的参数，
初始样本假设Gw(幻=p(f I义,)表示高斯成分为/的人脸识别初始模型，并假定存在对于
人脸识别的初始模型Gw(5)， GMM初始模型G^(30建立的流程如图1所示，首先对于样本 数为户(户> 5000)的训练样本ft ，&，…,^J进行PCA降维处理，"为对于样本经过PCA降维
后的样本维数，随后从P个样本数据中随机选取/个样本作为/个高斯成分的初始化高斯均值 /V。)，并初始化人脸识别的初始模型&(巧中每个高斯成分的初始化高斯权重为"—,。)=1//。 为减小训练数据对类别模型的影响，仅从P样本集中挑选* << P)个随机样本数据计算高斯 成分的初始协方差矩阵《一)，其计算方法如公式(2)所示
1 1《 r
《附，o) = ^,race(^"^6 —附XS _附))J (2)
公式(2)中附=丄￡3 ,为所有《个随机样本的均值，"为对于样本经过PCA降维后的样本
维数，/为"维的单位矩阵。
6发明 内 容
本发明的目的是为了解决基于动态人脸识别的监控视频系统所面临的人脸类别模式训练 和动态人脸识别方面存在的问题，提出了一种基于在线学习和贝叶斯推理的视频人脸识别与 检索方法。在训练时，以非监督方式在线增量学习GMM模型，获得各人脸类别表示模型。 针对每个用户，本发明建立并实现了人脸识别初始模型，并以增量学习的方式对人脸识别初 始模型进行更新，最终得到个人特征数据空间分布的人脸类别模型。在识别时，本发明则采 用贝叶斯推理累积视频中的序列识别信息，并基于MAP规则得到人脸图像的识别结果。
本发明的一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，具体步骤如下
步骤一建立人脸识别模型的初始化模型。
本发明的人脸识别初始模型采用GMM人脸识别模型。
步骤二建立人脸类别模型。
当新的训练序列到来时，对每帧图像进行人脸检测，并学习检测到的人脸更新识别模型。 在完成对当前序列的处理后，由于学习了更多的人脸样本，人脸识别模型逐步进化为反映类 别信息的人脸类别模型。
在获得初始化人脸模型Gw(S)后，利用现有的人脸检测箅法检测训练视频每帧人脸图像， 并利用检测得到的训练视频序列，以增量学习的方式更新模型，得到人脸类别模型。
步骤三进行视频人脸的识别与检索。
给定测试序列和类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间 轴信息传播身份概率密度函数，并基于MAP(Maxinmm A Posterior,最大后验概率)规则得 到识别分数和视频人脸识别结果。
本发明的优点在于
(1) 本发明首先建立了一个完全基于非监督方式在线增量学习GMM模型获得人脸类
别模型而不需要通过用户参与的监督学习训练人脸类别模型从而提高了系统的自动化程度；
(2) 本发明的方法根据训练序列的空间分布，初始模型可以进化为形式不同的类别模型， 即可以调节人脸类别模型的高斯混和数以更好地拟合空间数据的分布；
(3) 积累了视频序列的识别信息，使得人脸识别的准确性得到很大的提高；
(4) 提供了一种更灵活、更准确的在线训练与识别机制。
图1为GMM建立模型的流程图2为本发明的基于在线学习和贝叶斯推理的视频人脸识别与检索方法的流程图； 图3为发明的建立人脸类别模型的流程图； 图4为发明的增量学习的流程7图5为本发明的进行视频人脸的识别与检索的流程图。
图6为实施例中测试数据库的部分样本；
图7为实施例中训练数据库的部分样本；
图8为实施例中识别率^与模型更新速度的关系曲线图9为实施例中BGMM、 GMM、 PCA和NN四种方法的识别率比较图。
具体实施例方式
下面将结合附图和实施方式对本发明作进一步的详细说明。
本发明的一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，流程如图2所示, 首先建立人脸识别模型的初始化模型，随后利用新的训练序列和人脸识别初始模型建立人脸 类别模型，最后利用贝叶斯推理过程累积视频中的序列识别信息实现对视频人脸的识别与检 索。具体步骤如下
步骤一建立人脸识别模型的初始化模型。
本发明的人脸识别初始化模型采用GMM人脸识别模型，人脸识别初始化模型在数量较 少的人脸样本集上学习获得，并且选择数目足够多的高斯成分和随机初始化均值向量，使得 人脸识别初始化模型覆盖整个人脸空间。本发明所述的用于训练的人脸样本均经过PCA降维处理。
初始的人脸识别模型(GMM)利用了多个单高斯分布的线性组合来描述观测数据在特征 空间中的分布。其是一个完全基于非监督学习的模型训练框架，并且根据训练序列的空间分 布，初始模型可以进化为形式不同的类别模型，从而可以更好的拟合空间数据的分布。
广泛的初始空间分布和少量的人脸样本集保证了人脸识别模型在学习过程中收敛的正确 性和能在学习有限长度的序列后迅速进化为人脸类别模型。
步骤二建立人脸类别模型。
当新的训练序列到来时，对每帧图像进行人脸检测，并学习检测到的人脸来更新识别模 型。在完成对当前序列的处理后，由于学习了更多的人脸样本，人脸识别模型逐步进化为反 映类别信息的人脸类别模型，如图3所示，使用不同的训练视频序列对初始化人脸模型进行 增量学习，最后得到当前训练视频序列所对应的人脸类别模型，具体步骤如下
在获得初始化人脸模型&(f)后，训练视频序列使用增量学习的方式对初始化的人脸模 型Gk(S)进行模型更新，从而得到人脸类别模型。假设第i个训练视频序列用{/(), ,/,, /wh 表示。其中(/o,…,/"…/^,表示现有的人脸检测算法检测训练视频每帧人脸图像，模型的更 浙过程可以表示为
Gw(幻④仏,…/"…,/wh ->G,(i) (3) 公式<3)中①表示增量学习，G,(f)为通过学习得到的第i个视频序列的类别模型。本
8发明以增量学习的方式对GMM模型进行更新。
所述的增量学习的学习过程如图4所示，其步骤如下
假定在当前视频序列{/0，…,/f，的当前帧中，《为从当前帧A中检测到的人脸禾莫式，利用《对初始化模型Gw (i)进行更新。
1、 采用当前训练视频序列训练当前人脸模型。假定Z-l时刻的高斯混合模型为G^(f)，其对应的参数为{/,, /^,w), 6^,M)}。其中/表示该高斯混合丰莫型由/个高斯成分组成，/^,,M)表示f -1时刻第附个高斯成分的均值，表示？ -1时刻第w个高斯成分的方差， ,m)表示^ -1时刻第附个高斯成分的权重。
当学习到新的检测到的人脸模式《时，《表示的是第i个视频序列{/o, — ,/,,.. ./wh中/;帧中的人脸模式，可以理解为高斯混合模型《(f)中的if。
2、 计算F/在各高斯成分中的隶属度o(^,)(F/):
W《)=、")《 ，m一(附，m)), (4)式中iV(《,/z^d,《屮))/C^)表示均值为，方差为《—d的多维正态分布。
3、 求新样本F/当前的高斯混合模型G^—、f)中不同的高斯成分的权重并确定;^ 。
利用0(w)(《)更新学习到了新的样本《之后，新样本当前的高斯混合模型1 (i)中不同的髙斯成分的权重为
— 丄3 、c ,c、
a(附，O = a(w-i) + 乂w ( n--a(附，《-i)) — 乂w Y7]^ l ^
公式(5)中/^为当前高斯混合模型C^—^)更新速率，其决定了模型进化为人脸类别模型的更新的速率，如果义w设置过小，样本的学习对模型参数的调整几乎不产生任何影响，将不能得到正确的人脸类别模型；如果义w设置过大，样本的学习将造成GMM模型参数的奇异性，同样无法得到人脸类别模型。0 = ，/2为一常数，其中义的值为0.5， N的取值通过公式iV:J + dW + l)/2确定，d表示经过PCA降维之后的样本的维数，N表示每个高斯函数需
要确定的参数数量；同时也表示为有效估计高斯函数参数，至少应该具有的训练样本数。
4、 判断高斯成分的纟又重"(^)是否小于零。
比较当前高斯混合模型中所有的高斯成分的权重"(^)的值。如果《(^)<0，则表示属
于第附个高斯成分的数据太少，不足以维持第m个高斯成分，故删除此高斯成分，如果 ,)》0,继续判断当前帧是否为最后一帧，若是则结束，不是则返回到步骤1继续进行人
脸模型的训练。
5、 更新模型各成分的高斯权重、均值、方差。
因为《(^)<0删除此时的高斯成分，高斯成分的总数减少一个，即/ = /-1，随后重新归一化不同高斯成分在新的混合模型中的权重"(W)。所述的权重"(w)的计算使用EM算法。
9相对应的更新后的第m个高斯成分的均值〃(—和方差^^)的更新形式为
f =《-〃(一) (6)
2 。(附，f)(《) "、"(附，")
"(/n，f-1)
然后使用{/，"—,0, ,),％，0}代替{/，"——D,〃(屮),^,M山并进行后续样本的学习。其中f
表示的是当前训练人脸样本巧*与高斯混合模型中对应的/-1时刻的第》7个高斯成分的均值1}之间的差值。
得到更新后的高斯模型后，接着从视频中检测人脸再进行人脸模型的更新学习，直到将
当前视频中的所有帧都检测完毕，便得到了人脸识别的最终的高斯混合模型Gw(f)。
对于人脸识别的高斯混合模型G^(f)，为了扩大人脸样本集，学习更多的类内差异和容忍人脸识别时的定位误差，围绕当前帧的人脸位置，生成存在定位误差的人脸图像，并通过镜像操作生成相应的镜像图像，从而在任意时刻能学习更多的人脸样本，保证Gw(;F)正确收敛到人脸类别模型。由于公式(4) (8)形式比较简单，Gw(i)模型的更新过程能实时进行。另外，为了保证初始人脸识别模型能快速进化为人脸类别模型，&向的模型更新速度^必须大于特定阈值。
基于以上的在线增量学习机制，人脸识别模型逐步更新。当完成对当前序列的处理后，Gw(i)将进化为人脸类别模型。即使^(30模型与人脸类别模型差别较大，由于使用了增加学习样本的机制，并在学习过程中，通过消除权值较小的高斯成分，使得C^(f)能收敛到正确的人脸类别模型。对应不同的训练序列，最终学习得到的人脸类别模型包含的高斯成分数目并不一致。
步骤三进行视频人脸的识别与检索。
给定测试序列和类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间轴信息传播身份概率密度函数，并基于MAP(Maximum A Posterior,最大后验概率)规则得到识别分数，并给用户提供视频人脸识别结果。
根据步骤一、步骤二，分别学习/个训练视频，可以得到对应的人脸类别模型((^(i),…，《(巧,…,G"f》。如图5所示，进行视频人脸的识别与检索具体步骤为
给定待检索的视频，禾,人脸检测的方法检测人脸图像《，结合步骤二所得到的人脸类
别模型，禾iJ用贝叶斯推理求取关于身份变量的后验概率，并采用MAP规则获得当前人脸的
身份信息
= arg max1尸(*) = ;7 arg max G,.(《) (9)
10式中7为归一化的常数。为了检索特定目标，对视频每帧图像所包含的人脸进行识别。由于希望能利用视频的历史识别信息来提高当前帧人脸识别的正确性。监控视频中，本发明假定在时空具有连续性的人脸样本集合其身份变量保持不变，基于贝叶斯推理过程，可以得到身份变量的后验概率形式
/* -argmaxpC/IF/,^,^)
=77 arg max p(7/ | i,冗") | )
( * * * (10)
=/7argmax/ (F, |1 ^—i,尸。:,一2)
=/7argmaxG, (f/) (,. |《
获得当前人脸的身份信息^ ，给用户提供视频人脸识别结果。实施例
实施例的训练数据库由28个人的视频组成，每个序列包括100 510帧图像。在这些视频中，人脸包括了各种表情和姿态的变化，姿态的变化主要体现为人脸的二维平面内旋转和三维立体旋转。测试数据库由一个长约4分钟，约2013帧图像的监控视频组成，共包含3个目标人员。通过人脸检测算法检测到2305张人脸图像，所有样本归一化为60 x 60象素的图像。图6和图7分别显示了测试数据库和训练数据库的部分样本的示例样本。
实施例中给定监控视频和所有目标的模型，通过计算当前视频人脸样本属于目标模型的概率，基于贝叶斯推理累积历史识别信息给出识别结果。在28个视频中，通过随机挑选的6个序列训练人脸样本及其镜像用于识别模型的初始化。虽然测试数据库只包含3个目标人员，但总共有2305张待识别人脸图像，且需要和28个训练模型作比较；监控视频中的人脸图像仅经过人脸检测初始定位，未做进一步归一化，人脸的姿态和表情变化剧烈。
^是本发明中算法的重要参数，它决定了人脸识别模型的进化速度。如果义w设置过小，样本的学习对模型参数的调整几乎不产生任何影响，将不能得到正确的人脸类别模型；如果^设置过大，样本的学习将造成GMM模型参数的奇异性，同样无法得到人脸类别模型。在实施例中，其它参数设置为初始人脸识别模型的高斯成分数/ =20，人脸特征维数为"=18。
义w取值结果如图8所示。在图8中，横坐标表示模型更新速度系数;^的取值变化，纵
坐标表示人脸识别率。从图中可以看出，在&"/500时，人脸识别模型进化速度过快，导致参数模型的协方差矩阵奇异，因此对应的人脸识别率为零。^在1/500 10—4范围内，人脸识别率保持相对稳定。甚至义w取更小的值，识别率也下降幅度不大。
比较四种逐帧识别的人脸识别算法，即本发明所述的基于人脸类别模型和贝叶斯推理的算法(BGMM)、 GMM、 PCA和最近邻算法(NN)。 BGMM的参数设置为初始人脸识别模型
11的高斯成分数/ = 20， PCA特征维数J-18，模型更新速度^ =0.0005 。 GMM算法采用离线训练的方式，在给定训练数据的情况下，利用EM算法得到人脸类别模型。PCA算法对应的特征维数为50。结果如图9所示，图9用柱状图表示各种方法正确识别的帧数与待识别帧数的比率，GMM， BGMM， NN和PCA的识别率分别为85.49%， 93.96%, 90.88%,68.33%,即本发明的基于人脸类别模型和贝叶斯推理的算法远远好于其它三种算法。
权利要求
1、一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，包括步骤一建立人脸识别模型的初始化模型；所述的人脸识别初始模型采用GMM人脸识别模型；其特征在于，还包括如下步骤，步骤二建立人脸类别模型；当新的训练序列到来时，对每帧图像进行人脸检测，并学习检测到的人脸来更新识别模型；在完成对当前序列的处理后，由于学习了更多的人脸样本，人脸识别模型逐步进化为反映类别信息的人脸类别模型，使用不同的训练视频序列对人脸初始模型进行增量学习，最后通过增量学习的方式得到当前训练视频序列所对应的人脸类别模型；步骤三进行视频人脸的识别与检索；给定测试视频序列和人脸类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间轴信息传播身份概率密度函数，并基于MAP规则得到识别分数，并给用户提供视频人脸识别结果；根据步骤一、步骤二，分别学习J个训练视频，得到对应的人脸类别模型进行视频人脸的识别与检索具体步骤为给定待检索的视频，利用人脸检测的方法检测人脸图像结合步骤二所得到的人脸类别模型，利用贝叶斯推理求取关于身份变量的后验概率，并采用MAP规则获得当前人脸的身份信息式中η为归一化的常数；监控视频中，假定在时空具有连续性的人脸样本集合中其身份变量保持不变，基于贝叶斯推理过程，得到身份变量的后验概率形式获得当前人脸的身份信息i*，给用户提供视频人脸识别结果。
2、 根据权利要求1所述的基于在线学习和贝叶斯推理的视频人脸识别与检索方法，其特征 在于步骤二所述的增量学习，其步骤如下假定在当前视频序列{/ ), ,/,， ■ 的当前帧中，《为从当前帧中检测到的人脸模式，利用《对初始化模型Q(30进行更新；(1) 釆用当前训练视频序列训练当前人脸模型;假定卜l时刻的高斯混合模型为GJT1②， 其对应的参数为仏"(^),/V,-d，《^));其中/表示该高斯混合模型由/个高斯成分组成，表示卜1时刻第m个高斯成分的均值，《m")表示卜1时刻第w个高斯成分的方差， 表示卜1时刻第^个高斯成分的权重； 当学习到新的检测到的人脸模式《时，芍表示的是第i个视频序列{/(), ■ ,/,,中厶 帧中的人脸模式，理解为高斯混合模型G,(f)中的S;(2) 计算i^在各高斯成分中的隶属度o(^,)(i^):W《)=^W"《/W,)，^m—d), (3) 式中A^r,/z(^),《^))/G(f)表示均值为〃d)，方差为的多维正态分布；(3) 求新样本F/当前的高斯混合模型(^—i②中不同的高斯成分的权重并确定^ ;利用0<(《)更新学习到了新的样本《之后，新样本《当前的高斯混合模型Gf (3f) 中不同的高斯成分的禾又重为<formula>formula see original document page 3</formula>(4)公式(5)中^为当前高斯混合模型GJj—、5)更新速率，其决定了模型进化为人脸类别模 型的更新的速率；C二抓/2为一常数，其中A的值为0.5， N的取值通过公式 JV二c + rf^ + l)/2确定，d表示经过PCA降维之后的样本的维数，N表示每个高斯函数需要确定的参数数量；同时也表示为有效估计高斯函数参数，至少应该具有的训练样本数；(4) 判断高斯成分的权重"(^)是否小于零；比较当前高斯混合模型中所有的高斯成分的权重"(^)的值，如果"( ^)<0，则表示属于第附个高斯成分的数据太少，不足以维持第附个高斯成分，故删除此高斯成分，如果 aK,)20，继续判断当前帧是否为最后一帧，若是则结束，不是则返回到步骤(1)继续进行人脸模型的训练；(5) 更新模型各成分的高斯权重、均值、方差； 因为a(^)〈0删除此时的高斯成分，高斯成分的总数减少一个，即/ = /-1,随后重新归一化不同高斯成分在新的混合模型中的权重"(w);所述的"(w)的计算使用EM算法来进行 计算；相对应的更新后的第m个高斯成分的均值和方差A^)和^^)的更新形式为<formula>formula see original document page 3</formula> (5)<formula>formula see original document page 3</formula> (6)然后使用{/,"(附，,), ,),％，0}代替仏"(附，卜d , ,M)}，并进行后续样本的学习；其中^ 表示的是当前训练人脸样本《与高斯混合模型中对应的f-l时刻的第w个高斯成分的均值 /^,M)之间的差值；得到更新后的高斯模型，随后接着从视频中检测人脸再进行人脸模型的更新学习，直到 将当前视频中的所有帧都检测完毕，随后便得到了人脸识别的最终的高斯混合模型(^(:0 。
全文摘要
本发明公开了一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，包括以下步骤步骤一建立人脸识别模型的初始化模型。人脸识别初始模型采用GMM人脸识别模型。步骤二建立人脸类别模型。使用增量学习的方式对初始化的人脸模型进行模型更新。步骤三进行视频人脸的识别与检索。给定测试序列和类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间轴信息传播身份概率密度函数，并基于MAP规则得到识别分数，并给用户提供视频人脸识别结果。本发明建立了一个完全基于非监督学习的模型训练框架，根据训练序列的空间分布，初始模型进化为形式不同的类别模型，通过调节人脸类别模型的高斯混和数以更好地拟合空间数据的分布。
文档编号G06K9/00GK101464950SQ20091007712
公开日2009年6月24日 申请日期2009年1月16日 优先权日2009年1月16日
发明者李江伟, 王蕴红, 苟高鹏 申请人:北京航空航天大学