专利名称：结合局部搜索和活动外观模型的人脸特征点定位方法
技术领域：
本发明涉及一种应用于人脸识别，表情识别，性别识别，年龄估计的结合局部搜索和活动外观模型(AAM)的人脸特征点定位方法，该方法涉及图像处理、数学建模、统计分析等领域。
背景技术：
人脸特征点检测是人脸识别、表情识别、性别识别、年龄估计等应用中最为关键的技术，其特征点位置定位的准确性直接影响到识别的精度，因此，准确地定位人脸特征点的位置可以大大地提高识别的精度。人脸特征点主要包括瞳孔圆心、眼角、嘴角、鼻尖、下腭上的边缘点，但是如果仅仅依赖这些点来进行人脸识别是远远不够的，因此还必须进一步找到其他一些人脸特征点，比如眉尖、眉尾、眉峰、鼻梁、唇谷、唇峰，然而同时找到所有的这些特征点是非常困难的。
经对现有技术文献的检索发现，Rein-Lien Hsu等(Rein-Lien Hsu，MohamedAbdel-Mottaleb，Anil K.Jain Face Detection In Color images IEEETRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，VOL 24，NO.5.MAY 2002)曾通过大量样本的统计给出了眼睛区域在YCbCr颜色空间的各个分量的分布，并根据这些分量的分布粗略地定位人眼和嘴巴的大概位置，但是该类方法找到的特征点的数目太少，远远达不到人脸识别所要的特征点的数目。T.Cootes等(T.Cootes，G.Edwards，and C.Taylor，“Active AppearanceModels，”IEEE Trans.Pattern Analysis and Machine Intelligence，vol.23，no.6，pp.681-685，June 2001.)提出了一种AAM(活动外观模型)的方法进行人脸特征点定位，该类全局特征点搜索方法首先手工在一部分人脸图像上标定一些特征点，然后用统计的方法对这些已经标定的特征点位置进行分析，得到一个通用的平均形状模型，接着用该形状模型在每个人脸图像上进行像素采样，同时进行统计分析得到一个纹理模型，然后对形状模型和纹理模型进行统计分析得到最终的外观模型。但是该方法对外观模型的初始位置的选定有很大的依赖性，如果外观模型的初始位置在期望的特征点附近，那该模型会非常容易找到期望的特征点，而且迭代次数非常少，但是如果该外观模型远离期望的特征点位置，那么该模型需要大量的迭代次数才能找到期望的特征点位置，有时候可能陷入一个错误的位置，从而不能给出正确的定位。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种结合局部搜索和活动外观模型的人脸特征点定位方法。使其把这两类方法相结合的新的快速的人脸特征点的定位方法，既提高了特征点数又增强了稳健性。使其建立的人脸特征点定位方法，可以用于人脸识别，性别识别，表情识别，年龄估计等领域。
本发明是通过以下技术方案实现的，本发明先用一部分人脸图像作为样本建立活动外观模型，然后人脸的检测，眼睛和嘴巴的定位，对一幅新的人脸图像进行人脸检测操作，得到一个包含人脸的矩形区域，在该区域上进行眼睛和嘴巴的定位，以眼睛和嘴巴的位置为初始位置，用活动外观模型进行搜索，最终找到众多人脸特征点，这样就完成人脸特征点的整体定位。
所述的活动外观模型的建立，是指首先在人脸库中随机地选择一部分n个人脸图像并在选定的图像中手工标定k个特征点，这样在每个图像就得到一个一维向量，该向量有2k个元素，前k元素表示k个特征点的x坐标，后k个元素表示k个特征点的y坐标，n个图像就对应n个这样的向量，对这n个向量进行校正处理，然后进行PCA处理得到一个平均形状模型mean_shape以及Bs；然后以mean_shape作为目标形状，建立每个训练样本图像中特征点和平均形状中特征点之间的对应关系，并以这个对应关系使用基于三角块的变形方法把原图像脸部区域变形到目标形状，同时对每个变形后的图像进行像素采样，获得一个纹理向量，对这n个纹理向量进行PCA处理，得到平均纹理模型mean_tex，以及Bg；由于Bs为m*n的矩阵，Bg为h×n的矩阵，把它们组成一个(m+h)×n的矩阵B，对这个矩阵进行PCA处理，得到一个a*n的矩阵Ba，a远小于(m+h)，Ba的每一列向量表示与其对应的图像的特征形状和灰度的变化情况，也就是外观变化情况，这样就得到了一个活动外观模型，即AAM，这样就完成了模型的建立。
所述的形状模型，是指把这n个向量通过仿射变换，包括旋转，平移，缩放，使其与第一个向量最为接近，这样就得到了n个新的向量，计算这n个新的向量的平均，对这个平均通过仿射变换使其与第一个向量最为接近，得到一个新的平均，然后以该平均为基准形状，把n个新的向量通过仿射变换使其与该平均最为接近，重复该过程，直到收敛，这样就得到了最终n个表示形状的向量，把它们组成一个2k×n的矩阵，对这个矩阵进行主元分析(PCA)处理，得到一个m×n的矩阵Bs和一个2k×1的向量mean_shape，m远小于2k，Bs的每一列向量表示与其对应的图像中特征点坐标的变化情况，mean_shape表示这n个向量的平均，也就是平均形状，这样就得到了一个形状模型；所述的纹理模型，是指对于每个经过变形后的图像就得到一个对应的纹理向量，每个向量有s个元素，每个元素表示对应的灰度值，n个图像对应n个这样的向量，把这n向量组成一个s×n的矩阵，对该矩阵进行PCA分析，得到一个h×n的矩阵Bg和一个s×1的向量mean_tex，h远小于s，Bg的每一列向量表示与其对应的图像像素灰度值的变化情况，mean_tex表示这n个向量的平均，也就是平均纹理，这样就得到了一个纹理模型。
所述的人脸检测，眼睛和嘴巴的定位，是指对大量样本进行统计分析，给出肤色，眼睛和嘴巴在YCbCr空间里的分布情况，首先根据肤色的分布找到可能的肤色区域，然后根据眼睛和嘴巴的分布情况对每个可能的肤色区域进行分析，如果某个区域既有眼睛又有嘴巴，就认为该区域为人脸区域，这样既完成了人脸的检测，又给出了眼睛和嘴巴的大概位置。
所述的以眼睛和嘴巴的位置为初始位置，用活动外观模型进行搜索，是指以眼睛和嘴巴的位置作为外观模型的初始搜索位置，然后用活动外观模型搜索方法不断的迭代，在人脸图像上找到与外观模型最为匹配的位置，该位置即为最终找到的位置，这样就完成了整个特征点群的搜索。
本发明的方法能够获得较高的准确率和非常快的速度。由于利用人脸检测方法定位出人脸区域，在这个区域上定位眼睛和嘴巴，以眼睛和嘴巴的位置作为AAM搜索的初始位置，这就在不失初始定位精度的前提下进一步提高了特征点定位的速度。该发明是结合了局部特征点搜索方法精度高和活动外观模型搜索方法能够搜索大量特征点且具有良好稳健性的优点。
具体实施例方式
以下结合具体的实施例对本发明的技术方案作进一步详细描述。
实施例采用的人脸图像来于拍摄的人脸图像库。整个发明实现过程如下1.建立AAM模型。从人脸库中选择n个图像作为训练样本，在选定的人脸图像上手工标定k个特征点，每个图像中的这些特征点组成一个向量，把这n个向量通过仿射变换，包括旋转，平移，缩放，使其与第一个向量最为接近，这样就得到了n个新的向量，计算这n个向量的平均，对这个平均通过仿射变换使其与第一个向量最为接近，得到一个新的平均，然后以该平均为基准形状，把n个向量通过仿射变换使其与该平均最为接近，重复该过程，直到收敛，这样就得到了最终n个表示形状的向量，把它们组成一个2k×n的矩阵，对这个矩阵进行主元分析(PCA)处理，得到一个m×n的矩阵Bs和一个2k×1的向量mean_shape，m远小于2k，Bs的每一列向量表示与其对应的图像中特征点坐标的变化情况，mean_shape表示这n个向量的平均，也就是平均形状，这样就得到了一个形状模型；然后以mean_shape作为目标形状，对训练样本中的每个图像建立该样本图像中特征点和平均形状中特征点之间的对应关系，并以这个对应关系使用基于三角块的变形方法把原图像脸部区域变形到目标形状，同时对每个变形后的图像进行像素采样，获得一个纹理向量，每个向量有s个元素，每个元素表示对应的灰度值，n个图像就对应n个这样的纹理向量，对这n个向量进行PCA处理，得到一个h×n的矩阵Bg和一个s×1的向量mean_tex，h远小于s，Bg的每一列向量表示与其对应的图像像素灰度值的变化情况，mean_tex表示这n个向量的平均，也就是平均纹理，这样就得到了一个纹理模型。由于Bs为m*n的矩阵，Bg为h×n的矩阵，把它们组成一个(m+h)×n的矩阵B，对这个矩阵进行PCA处理，得到一个a*n的矩阵Ba，a远小于(m+h)，Ba的每一列向量表示与其对应的图像的特征形状和灰度的变化情况，也就是外观变化情况，因此就得到了一个活动外观模型，即AAM，这样就完成了模型的建立。
2.对大量人脸图像样本进行统计分析，给出肤色，眼睛和嘴巴各自在YCbCr空间的分布情况，即它们在YCbCr颜色空间所处的阈值范围[minskinmaxskin]，[mineye maxeye]以及[minmouth maxmouth]，对于图像中的每个像素点，计算其在YCbCr空间的值val，并判定它属于哪一个阈值范围，例如val处于[mineye maxeye]这个范围内就把它判定为眼睛区域，以此类推，这样对图像中每个像素都完成这样的操作也就可以给出肤色，眼睛和嘴巴的大概位置。
3.以眼睛和嘴巴的大概位置作为AAM初始位置，用AAM搜索方法进行搜索，找到众多人脸特征点的最终位置。以上一步找到的眼睛和嘴巴的大概位置作为AAM模型的初始位置，把已经建立好的活动外观模型放在初始位置处，用该模型拟和一个与活动外观模型一样大小的图像并把其转换成一个向量，并计算该向量与平均纹理mean_tex的差值diff，然后通过仿射变换(缩放，平移，旋转)以及Ba中参数的调整使diff变小，重复上述步骤直至diff小于某个阈值，这样就完成了AAM的搜索过程，也就完成了特征点的定位。
权利要求
1.一种结合局部搜索和活动外观模型的人脸特征点定位方法，其特征在于，先用一部分带有特征点坐标位置的人脸图像作为样本建立活动外观模型，然后进行人脸检测，眼睛和嘴巴的定位，对一幅新的人脸图像进行人脸检测操作，得到一个包含人脸的矩形区域，在该区域上进行眼睛和嘴巴的定位，以眼睛和嘴巴的位置为初始位置，用活动外观模型进行搜索，最终找到众多人脸特征点，这样就完成人脸特征点的整体定位。
2.根据权利要求1所述的结合局部搜索和活动外观模型的人脸特征点定位方法，其特征是，所述的活动外观模型的建立，是指首先在人脸库中随机地选择n个人脸图像并在选定的图像中手工标定k个特征点，这样在每个图像就得到一个一维向量，该向量有2k个元素，前k元素表示k个特征点的x坐标，后k个元素表示k个特征点的y坐标，n个图像就对应n个这样的向量，对这n个向量进行仿射变换以及校准处理，然后进行PCA处理，得到一个形状模型，该形状模型包括一m×n的矩阵Bs和一个2k×1的向量mean_shape；然后以mean_shape坐标目标形状，建立每个训练样本图像中特征点和平均形状中特征点之间的对应关系，并以这个对应关系使用基于三角块的变形方法把原图像脸部区域变形到目标形状，同时对每个变形后的图像进行像素采样，获得一个纹理向量，n个图像就对应n个这样的向量，对这n个向量进行PCA处理，得到一个纹理模型，该纹理模型包括一h×n的矩阵Bg和一个s×1的向量mean_tex；由于Bs为m*n的矩阵，Bg为h×n的矩阵，把它们组成一个(m+h)×n的矩阵B，对这个矩阵进行PCA处理，得到一个a*n的矩阵Ba，a远小于(m+h)，Ba的每一列向量表示与其对应的图像的特征形状和灰度的变化情况，也就是外观变化情况，这样就得到了一个活动外观模型，即AAM，这样就完成了模型的建立。
3.根据权利要求2所述的结合局部搜索和活动外观模型的人脸特征点定位方法，其特征是，所述的形状模型，是指把这n个向量通过仿射变换，包括旋转，平移，缩放，使其与第一个向量最为接近，这样就得到了n个新的向量，计算这n个向量的平均，对这个平均通过仿射变换使其与第一个向量最为接近，得到一个新的平均，然后以该平均为基准形状，把n个新的向量通过仿射变换使其与该平均最为接近，重复该过程，直到收敛，这样就得到了最终n个表示形状的向量，把它们组成一个2k×n的矩阵，对这个矩阵进行主元分析处理，得到一个m×n的矩阵Bs和一个2k×1的向量mean_shape，m远小于2k，Bs的每一列向量表示与其对应的图像中特征点坐标的变化情况，mean_shape表示这n个向量的平均，也就是平均形状，这样就得到了一个形状模型。
4.根据权利要求2所述的结合局部搜索和活动外观模型的人脸特征点定位方法，其特征是，所述的纹理模型，是指对于每个变形后图像就得到一个对应的向量，每个向量有s个元素，每个元素表示对应的灰度值，n个图像对应n个这样的向量，把这n向量组成一个s×n的矩阵，对该矩阵进行PCA分析，得的一个h×n的矩阵Bg和一个s×1的向量mean_tex，h远小于s，Bs的每一列向量表示与其对应的图像像素灰度值的变化情况，mean_tex表示这n个向量的平均，也就是平均纹理，这样就得到了一个纹理模型。
5.根据权利要求1所述的结合局部搜索和活动外观模型的人脸特征点定位方法，其特征是，所述的人脸检测，眼睛和嘴巴的定位，是指对大量样本进行统计分析，给出肤色，眼睛和嘴巴在YCbCr空间里的分布情况，首先根据肤色的分布找到可能的肤色区域，然后根据眼睛和嘴巴的分布情况对每个可能的肤色区域进行分析，如果某个区域既有眼睛又有嘴巴，就认为该区域为人脸区域，这样既完成了人脸的检测，又给出了眼睛和嘴巴的大概位置。
6.根据权利要求1所述的结合局部搜索和活动外观模型的人脸特征点定位方法，其特征是，所述的以眼睛和嘴巴的位置为初始位置，用活动外观模型进行搜索，是指以眼睛和嘴巴的位置作为外观模型的初始搜索位置，然后用活动外观模型搜索方法不断的迭代，在人脸图像上找到与外观模型最为匹配的位置，该位置即为最终找到的位置，这样就完成了整个特征点群的搜索。
全文摘要
一种结合局部搜索和活动外观模型的人脸特征点定位方法。先用一部分带有特征点坐标的人脸图像作为样本建立活动外观模型，然后进行人脸检测，眼睛和嘴巴的定位，对一幅新的人脸图像进行人脸检测操作，得到一个包含人脸的矩形区域，在该区域上进行眼睛和嘴巴的定位，以眼睛和嘴巴的位置为初始位置，用活动外观模型进行搜索，最终找到众多人脸特征点，这样就完成人脸特征点的整体定位。该发明提出了人脸特征点位置的定位方法，可以进一步应用于人脸识别，性别识别，表情识别，年龄估计等方面。
文档编号G06K9/00GK1687957SQ200510026388
公开日2005年10月26日 申请日期2005年6月2日 优先权日2005年6月2日
发明者杨杰, 杜春华 申请人:上海交通大学