专利名称：一种基于五官相关aam模型的面部特征定位方法
技术领域：
本发明涉及基于数字图像处理与模式识别的人脸图像五官检测及定位技术领域， 尤其涉及一种基于五官相关AAM模型的面部特征定位方法。
背景技术：
人脸识别技术通过分析比较人脸视觉特征信息进行身份鉴别，是生物特征识别领域甚至人工智能领域最困难的研究课题之一，人脸识别的困难主要来自人脸作为生物特征的特点，是一个热门的计算机技术研究领域。基于模型的人脸识别主要方法包括主动形状模型(Active Shape Model, ASM)和主动表观模型(Active Appearance Model, AAM)。ASM利用物体的形状信息学习训练得到形状变化的模型，然后借助训练得到的模型搜索图像中的目标。ASM虽然利用了物体的形状信息，但还可以进一步利用区域内的纹理信息，对目标物体形状区域内纹理的统计规律进行建模，这样就可以得到AAM，通过使用AAM能够大大提高定位的准确率。基于AAM的人脸识别分为模型建立和模型拟合计算两部分。作为主动表观模型，AAM是在形状模型的基础之上结合对象的纹理而建立的。在模型拟合计算中，以AAM模型实例与输入图像差的平方和来定义一个能量函数，利用该能量函数来评价拟合程度，通过不断反复迭代以实现能量函数的最小化，达到模型实例与输入图像之间拟合的目的，而最终得到的各形状控制点的位置则描述了当前图像中的人脸面部特征。在处理无遮挡面部图像特征点定位问题方面，大量研究者在增强算法鲁棒性、提高准确率和提高效率方面提出了很多方法；但是在处理面部部分遮挡情况方面，所提出的方法并不多且仍以AAM算法为主，例如基于PO的AAM、基于ERN的AAM。目前处理部分遮挡面部特征定位算法主要存在的问题是(1)依靠人脸区域检测的结果，如果人脸检测结果不准确或者失败，将直接影响特征定位算法的准确率；(2)现有算法对遮挡比较敏感，当遮挡面积较大时，准确率不高；C3)传统的模型搜索方式效率较低。
发明内容
本发明主要是解决现有技术所存在的依靠人脸区域检测的结果，如果人脸检测结果不准确或者失败，将直接影响特征定位算法的准确率等的技术问题；提供了一种按被搜索概率的大小分为第一、第二、第三搜索区域，从而增强了特征定位算法的鲁棒性的一种基于五官相关AAM模型的面部特征定位方法。本发明还有一目的是解决现有技术所存在的对遮挡比较敏感，当遮挡面积较大时，准确率不高等的技术问题；提供了一种根据人脸的面部五官划分来处理遮挡误差，降低了对遮挡的敏感度，提高了特征定位的准确率的一种基于五官相关AAM模型的面部特征定位方法。本发明再有一目的是解决现有技术所存在的搜索方式效率较低等的技术问题；提供了一种对模型搜索过程进行优化，不仅提高了模型搜索的效率，而且尽量避免了可能出现的局部最优化问题的一种基于五官相关AAM模型的面部特征定位方法。本发明的上述技术问题主要是通过下述技术方案得以解决的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，包括以下步骤步骤1，基于样本图像集，分别对每个面部器官建模，训练得到与每个面部器官对应的五官相关AAM模型；步骤2，在面部区域初始定位时利用Haar特征人脸检测技术，确定上述每个AAM模型的搜索区域，并对其按照被搜索的概率进行分类；步骤3，在AAM模型拟合计算部分，基于五官的遮挡权值对每个面部器官分别进行误差计算，然后通过能量函数综合评价模型与图像的拟合程度；步骤4，使用遗传算法对已完成步骤3同时结合步骤2的分类进行AAM模型拟合过程的搜索优化。在上述的一种基于五官相关AAM模型的面部特征定位方法，所述的步骤1中，基于样本图像集，分别对每个面部器官建模，训练得到五官相关AAM模型，包括以下步骤步骤1. 1，选取人脸数据库，对图像中的人脸进行手工的特征点标记；步骤1.2，基于步骤1. 1所标记的特征点，对人脸进行基于Delaimay三角化的 Delaunay三角划分，并按五官的不同，训练得到各自的形状模型；然后在五官对应的三角网格区域进行线性仿射，训练得到各自的纹理模型；融合形状模型和纹理模型最终得到 AAM模型，五官分别为左眼睛和左眉毛、右眼睛和右眉毛、鼻子、嘴巴以及面部轮廓。在上述的一种基于五官相关AAM模型的面部特征定位方法，所述步骤2中在面部区域初始定位时利用Haar特征人脸检测技术，确定AAM模型的搜索区域，并对其按照被搜索的概率进行分类，包括以下子步骤步骤2. 1，利用级联的Haar特征分类器对图像进行人脸检测；步骤2. 2，如果检测到人脸或类似人脸区域，对其进行三个优先级别的划分，按照被搜索概率的大小分为第一、第二、第三搜索区域；步骤2. 3，如果检测不到人脸区域，则在整个图像空间进行AAM模型的搜索。在上述的一种基于五官相关AAM模型的面部特征定位方法，所述步骤3中在AAM 模型拟合计算部分，基于五官的遮挡权值对每个面部器官分别进行误差计算，然后通过能量函数综合评价模型与图像的拟合程度，包括以下子步骤步骤3. 1，在AAM模型中，分别计算不同器官区域的纹理统计信息，即模型归一化后各个器官区域的纹理平均值；步骤3. 2，将五官相关AAM模型应用于面部无遮挡的样本图像集，确定样本图像的五官后，分别计算每个器官区域的纹理统计信息，即图像归一化后各个器官区域的纹理平均值；步骤3. 3，以图像纹理均值与模型纹理均值的比值作为器官的遮挡权值，基于面部无遮挡样本图像集在模型拟合计算中反复迭代的所有结果，确定各个器官区域的最大和最小遮挡权值；步骤3. 4，针对待处理的非样本图像，计算五官相关AAM模型拟合过程中各器官的遮挡权值，如果权值在该器官最小和最大权值之间，认为无遮挡，否则判断为遮挡，遮挡时当前图像器官纹理值取代为相应的样本图像器官纹理平均值；
步骤3. 5，对于因样本图像集特征空间有限而可能导致的判断错误，通过均值滤波的方法对拟合过程中误差向量序列的噪声进行滤波处理。在上述的一种基于五官相关AAM模型的面部特征定位方法，所述步骤4中使用遗传算法对AAM模型拟合过程进行搜索优化，包括以下子步骤步骤4. 1，引入遗传算法对AAM模型的搜索过程进行优化，按照概率大小分别在第一、第二、第三搜索区域中选取个体形成种群，并采用适当的遗传策略；步骤4. 2，通过基于样本图像的一系列实验，确定遗传算法各个参数的值；步骤4. 3，使用遗传算法进行AAM模型的拟合计算，在图像搜索中同时考虑模型的平移、缩放、旋转变换。在上述的一种基于五官相关AAM模型的面部特征定位方法，所述的步骤1.2中， 基于手工标记的特征点集进行Delaimay三角化，把人脸区域划分为包括左眼、右眼、鼻子、 嘴巴、面部轮廓在内的5个器官，形状模型S因此可表达为五官的组合，即S = (SeyeL, SeyeE, Snose, Sfflouth, S。utliJ，其中各个器官区域的三角网格构成描述如下左眼(包括眼睛和眉毛)对应的三角网格SeyeL = {TriangleLi i e [1，Nl] }其中Triangleu为位于左眼区域的三角网格，Nl是该区域三角形数目；右眼(包括眼睛和眉毛)对应的三角网格SeyeE = {TriangleEi i e [1，Nj}其中Triangle为位于右眼区域的三角网格，Ne是该区域三角形数目；鼻子对应的三角网格Snose = {TriangleNi i e [1，Nj}其中Triangle为位于鼻子区域的三角网格，Nn是该区域三角形数目；嘴巴对应的三角网格Smouth = {TriangleMi i e [1，Nj}其中Triangle为位于嘴巴区域的三角网格， 是该区域三角形数目；面部轮廓对应的三角网格Soutline = (Triangle0i |i e [1,N0]}其中Triangle为位于面部轮廓区域的三角网格，N0是该区域三角形数目。在上述的一种基于五官相关AAM模型的面部特征定位方法，所述的步骤1. 2中，根据手工标记及三角化的结果，训练得到五官各自的形状模型，经过归一化和PCA处理后的形状模型S可表示为
权利要求
1.一种基于五官相关AAM模型的面部特征定位方法，其特征在于，包括以下步骤 步骤1，基于样本图像集，分别对每个面部器官建模，训练得到与每个面部器官对应的五官相关AAM模型；步骤2，在面部区域初始定位时利用Haar特征人脸检测技术，确定上述每个AAM模型的搜索区域，并对其按照被搜索的概率进行分类；步骤3，在AAM模型拟合计算部分，基于五官的遮挡权值对每个面部器官分别进行误差计算，然后通过能量函数综合评价模型与图像的拟合程度；步骤4，使用遗传算法对已完成步骤3同时结合步骤2的分类进行AAM模型拟合过程的搜索优化。
2.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，所述的步骤1中，基于样本图像集，分别对每个面部器官建模，训练得到五官相关AAM模型，包括以下步骤步骤1. 1，选取人脸数据库，对图像中的人脸进行手工的特征点标记； 步骤1.2，基于步骤1. 1所标记的特征点，对人脸进行基于Delaimay三角化的 Delaunay三角划分，并按五官的不同，训练得到各自的形状模型；然后在五官对应的三角网格区域进行线性仿射，训练得到各自的纹理模型；融合形状模型和纹理模型最终得到 AAM模型，五官分别为左眼睛和左眉毛、右眼睛和右眉毛、鼻子、嘴巴以及面部轮廓。
3.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，所述步骤2中在面部区域初始定位时利用Haar特征人脸检测技术，确定AAM模型的搜索区域，并对其按照被搜索的概率进行分类，包括以下子步骤步骤2. 1，利用级联的Haar特征分类器对图像进行人脸检测； 步骤2. 2，如果检测到人脸或类似人脸区域，对其进行三个优先级别的划分，按照被搜索概率的大小分为第一、第二、第三搜索区域；步骤2. 3，如果检测不到人脸区域，则在整个图像空间进行AAM模型的搜索。
4.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，所述步骤3中在AAM模型拟合计算部分，基于五官的遮挡权值对每个面部器官分别进行误差计算，然后通过能量函数综合评价模型与图像的拟合程度，包括以下子步骤步骤3. 1，在AAM模型中，分别计算不同器官区域的纹理统计信息，即模型归一化后各个器官区域的纹理平均值；步骤3. 2，将五官相关AAM模型应用于面部无遮挡的样本图像集，确定样本图像的五官后，分别计算每个器官区域的纹理统计信息，即图像归一化后各个器官区域的纹理平均值；步骤3. 3，以图像纹理均值与模型纹理均值的比值作为器官的遮挡权值，基于面部无遮挡样本图像集在模型拟合计算中反复迭代的所有结果，确定各个器官区域的最大和最小遮挡权值；步骤3. 4，针对待处理的非样本图像，计算五官相关AAM模型拟合过程中各器官的遮挡权值，如果权值在该器官最小和最大权值之间，认为无遮挡，否则判断为遮挡，遮挡时当前图像器官纹理值取代为相应的样本图像器官纹理平均值；步骤3. 5，对于因样本图像集特征空间有限而可能导致的判断错误，通过均值滤波的方法对拟合过程中误差向量序列的噪声进行滤波处理。
5.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，所述步骤4中使用遗传算法对AAM模型拟合过程进行搜索优化，包括以下子步骤步骤4. 1，引入遗传算法对AAM模型的搜索过程进行优化，按照概率大小分别在第一、 第二、第三搜索区域中选取个体形成种群，并采用适当的遗传策略；步骤4. 2，通过基于样本图像的一系列实验，确定遗传算法各个参数的值； 步骤4. 3，使用遗传算法进行AAM模型的拟合计算，在图像搜索中同时考虑模型的平移、缩放、旋转变换。
6.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法， 其特征在于，所述的步骤1.2中，基于手工标记的特征点集进行Delaimay三角化， 把人脸区域划分为包括左眼、右眼、鼻子、嘴巴、面部轮廓在内的5个器官，形状模型 S因此可表达为五官的组合，即
7.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，所述的步骤1. 2中，根据手工行l·己及三角化的结果，训练得到五官各自的形状模型，经过归一化和PCA处理后的形状模型S可表示为
8.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，所述步骤2. 2中，根据检测到的人脸，对AAM模型的搜索区域按照被搜索的概率划分为 3类，即第一、第二、第三搜索区域，分别表述如下第一搜索区域，人脸矩形框中心点的K邻域(如10*10区域)，为AAM模型与输入图像之间最有可能实现拟合的区域，该区域被搜索的概率为P ；第二搜索区域，位于人脸矩形框中心点K邻域之外与人脸矩形框之内的区域，该区域被搜索的概率为；第三搜索区域，位于人脸矩形框之外的整个图像空间的剩余区域，该区域被搜索的概率为F'.所述三个搜索区域的被搜索概率间的关系为
9.根据权利要求1所述的一种基于五官相关AAM模型的面部特征定位方法，其特征在于，所述步骤3. 1中，具体操作方法如下将人脸区域划分为5个器官，各器官的模型纹理均值的计算公式如下，其中，戎功表示像素ι对应的纹理特征向量左眼(包括眼睛和眉毛)的模型纹理均值
全文摘要
本发明涉及一种针对复杂场景中部分遮挡图像的面部特征定位方法。本发明包括基于样本图像集，分别对每个面部器官建模，训练得到五官相关的AAM模型；在面部区域初始定位时利用Haar特征人脸检测技术，确定AAM模型的搜索区域，并对其按照被搜索的概率进行分类；在AAM模型拟合计算部分，基于五官的遮挡权值对每个面部器官分别进行误差计算，然后通过能量函数综合评价模型与图像的拟合程度；使用遗传算法对AAM模型拟合过程进行搜索优化。相比现有的相关算法，本发明可以对部分遮挡人脸图像的面部特征作出更加精确的定位，在保证更高准确率的同时，增强了算法的鲁棒性，提高了算法的效率。
文档编号G06K9/66GK102270308SQ20111020502
公开日2011年12月7日 申请日期2011年7月21日 优先权日2011年7月21日
发明者李磊, 袁志勇, 赵俭辉 申请人:武汉大学