专利名称：眼镜遮挡下的人脸识别方法和系统的制作方法
眼镜遮挡下的人脸识别方法和系统技术领域
本发明属于模式识别领域，具体涉及一种有遮挡的人脸识别方法和系统。
技术背景
人脸识别作为一种重要的身份鉴别技术，在安全、金融、人机交互、信息、教育等诸 多领域有着广泛的应用前景。目前的人脸识别系统通过将模版库中的模板图像与待识别 人脸形成的识别图像相比较来进行人脸识别，在模板图像与识别图像获取条件基本一致时 有很好的识别效果。但识别图像存在遮挡物而模板图像无遮挡时，会由于图像之间特征的 差异而降低识别率，其中眼镜的遮挡尤为突出，由于眼镜镜框纹理、形状、位置、镜片颜色、 模糊程度和镜片反光等因素的变化，使人脸形成的识别图像稳定性下降，因此眼镜遮挡的 人脸识别难以进行识别。而随着日常生活中人们配戴眼镜的比例越来越高，眼镜对人脸的 遮挡则成为了人脸识别中必须解决的一个问题，现有技术对该问题进行了不断的研究和讨 论。
目前主要的解决眼镜遮挡的人脸识别方法可以分为两类一类是图像分块，从遮 挡图像中获得未被遮挡的图像特征；一类是眼镜消除，从遮挡图像中消除眼镜，获得无眼镜 的对应图像。
1、基于图像分块的方法
基于图像分块的方法把人脸图像划分成很多小块，检测每一块是否被遮挡，从而 从未被遮挡的小块中提取特征作为该图像的特征进行识别。比较典型的是Hyim Jun Oh 等人在"In Proceedings Asian Conference on Computer Vision，，，2006，Vol. 3851, PP. 120-129，Jan. 2006”上提到的的方法，他把人脸分成很多小块，利用最近邻的分类方 法检测每一小块是否为遮挡区域，继而从未被遮挡的小块中获取图像特征进行识别。特 征的选择是根据大量的样本分成同样的小块后获得的每一块的NMFOiormegative matrix factorization)特征。这类方法过于依赖区域检测结果，区域检测的方法一般为从训练样 本学习出分类器进行检测，本身检测的结果便会有误差。同时区域划分的方法在粗划分时 容易造成图像大面积的丢失，使得未被遮挡的图像区域难以描述整幅图像特征，而进行细 划分时，虽然对整张人脸特征的描述更为准确，但也给识别的效率带来了负担。
2、基于眼镜消除的方法
基于眼镜消除的方法通过学习带眼镜图像与对应无眼镜图像之间的关系来消 除图像中的眼镜遮挡。其主要思路是用主成分分析(Principal Component Analysis) 的方法训练一批没有配戴眼镜的图像，投影戴眼镜的人脸图像到该空间以获得无眼镜图 像特征对戴眼镜图像的描述，从而重建出对应摘掉眼镜的人脸图像。最早由Saito在 “International Conference on Image Processing", Vol. 4,pp. 197-201,Oct. 1999，，中提 出，之后又有Du等人在《I^attern Recognition Letters)), Vol. 26,pp. 2215-2220，Oct. 2005 上做了一定的改进先利用阈值强化重建的图像与原图像之间的差异获得眼镜的区域，通 过迭代的方法逐渐消除原图中眼镜区域，使得重建的图像更为真实。在这其中，应用了各3种眼镜检测的方法，比如主动形状模型(active shape model)、snake模型、人工神经网络 (Artificial Neural Networks)、Hough变换等方法，但这类方法的问题在于过于依赖眼 镜检测的结果，而由于眼镜的多样性，本身眼镜检测就难以达到要求；重建图像存在失真， 重建图像由训练样本线性组成，必然与原图存在差异；对于镜片模糊或者有反光的情况以 及镜框颜色较深的情况都表现很差，重建图像中总会有镜框和黑斑等遗留的存在，需要特 定的戴眼镜与对应无眼镜样本进行学习。发明内容
本发明所要解决的技术问题是提供了一种眼镜遮挡下的人脸识别方法和系统。通 过对单张人脸图像重建出其姿态校正后的模型，在模型上添加各种眼镜模型，粘贴人脸和 眼镜纹理，并对眼镜模型的镜片做相应模糊和反光处理，投影模型生成虚拟样本进行识别。 不需要大规模的特定样本集进行先验知识学习和大量的三维数据库，重建效率更高，模拟 更加真实。
一种眼镜遮挡下人脸识别方法，包含以下步骤
步骤1、输入单张无眼镜人脸图像和通用人脸网格模型，将人脸图像与通用人脸网 格模型调整到同一坐标系下，得到粗略人脸网格模型；
步骤2、对粗略人脸网格模型进行处理，获得姿态校正后的精细人脸网格模型；
步骤3、在精细人脸网格模型上添加眼镜网格模型，并粘贴人脸和眼镜的纹理，获 得真实感人脸模型；
步骤4、对真实感人脸模型中眼镜模型的镜片进行模糊处理和反光处理；
步骤5、对镜片处理后的真实感人脸模型进行投影，生成多个配戴眼镜的虚拟样 本；
步骤6、将虚拟样本存储为待匹配图像进行人脸识别。
其中，所述步骤2包括
步骤21、用径向基函数插值法对粗略人脸网格模型进行变形；
步骤22、对粗略人脸网格模型进行姿态校正，得到精细人脸网格模型。
其中，所述步骤3包括
步骤31、在精细人脸网格模型上添加眼镜网格模型；
步骤32、在精细人脸网格模型上粘贴人脸纹理，在眼镜网格模型上粘贴眼镜纹理。
其中，所述步骤22在姿态校正时，结合粗略人脸网格模型的空间位置进行姿态的 估计，并在估计的姿态下，通过迭代计算获得姿态校正后的精细人脸网格模型。
所述添加眼镜网格模型时，根据精细人脸网格模型与眼镜网格模型的相对坐标来 调节眼镜模型得到大小和位置。
所述步骤4在对镜片做模糊处理时，采用openGL的多纹理混合的方式对镜片和人 眼区域进行混合，并使镜片透明度在
范围内变化来模拟镜片的模糊效果。
所述步骤4在对镜片做反光处理时，采用束光源来模拟镜片上的高亮区域，束光 源的位置和投射大小根据眼镜模型的空间位置进行调节。
一种眼镜遮挡下的人脸识别系统，包括
输入单元，用于输入单张无眼镜人脸图像和通用人脸模型，将人脸图像与通用人脸模型调整到同一坐标系下，得到粗略模型；
预处理单元，用于对粗略模型进行处理，获得姿态校正后的精细模型；
图像生成单元，用于在精细模型上添加眼镜模型并粘贴纹理；
镜片处理单元，用于对眼镜模型的镜片进行模糊处理和反光处理；
样本生成单元，用于投影模型以生成不同条件下戴眼镜的虚拟样本；
人脸识别单元，将虚拟样本存储为待匹配图像进行人脸识别。
相对于其他方法，本发明一种眼镜遮挡下的人脸识别方法和系统不需要进行眼镜 检测，因此不依赖眼镜检测的结果；不需要大规模的特定样本集进行先验知识学习，仅仅从 当前图像三维重建即可；直接对单张图像重建，并结合模型进行姿态校正，不需要大量的三 维数据库，重建的虚拟图像更加真实，重建效率更高；在处理中把眼镜分解为镜框和镜架两 个部分，尤其对眼镜镜片做了相应模糊反光的处理，模拟更加真实，不会出现图像特征的丢 失与变形。
图1为本发明重建三维戴眼镜模型并生成虚拟样本进行识别的方法流程图2(a)为本发明中通用人脸网格模型与二维图像特征点的对应点示意图2(b)为本发明中根据二维图像对通用人脸网格模型进行模型变形后示意图2(c)为本发明中根据二维图像对变形后模型进行姿态校正示意图2(d)为本发明中对模型进行姿态校正选择的参考点示意图3(a)为本发明中人脸网格模型与眼镜模型对应点的示意图3(b)为本发明中添加眼镜模型后网格模型的示意图4(a)为本发明中生成不同镜片透明度处理虚拟样本的示意图4(b)为本发明中生成不同镜片反光处理虚拟样本的示意图5为本发明对模型进行投影后生成不同姿态不同光照不同眼镜的虚拟样本的 示意图；具体实施方式
图1示出了根据本发明重建三维戴眼镜模型并生成虚拟样本以进行识别的整体 流程图，参照该图，以下将对本发明的各个步骤进行详细的描述。
步骤101、输入单张无眼镜人脸图像和通用人脸网格模型，将人脸图像与通用人脸 网格模型调整到同一坐标系下，得到粗略人脸网格模型。
如图2(a)所示，对三维通用人脸网格模型可以很方便的获得，并在openGL下对 通用人脸网格模型的所有稀疏点的进行坐标读取和变换，并将所有稀疏点均调整到openGL 自定义的视图坐标系下。对输入的正面的人脸图像，本实施例中自定义了 65个关键点，这 些关键点包括额头，脸部轮廓，眉毛，眼睛，鼻子，嘴巴等器官部位的边界点。在设定人脸图 像的关键点之后，与预先在通用人脸模型上指定的稀疏点一起建立关联，使关键点与稀疏 点两者对应，并将所有关键点调整到与对应稀疏点所在的openGL自定义的视图坐标系下， 这样就得到了粗略人脸网格模型。
步骤102、用径向基函数插值法对粗略人脸网格模型进行变形，获得变形后的人脸网格模型。
径向基函数的实质是一种多变量离散数据插值方法。对于已知的点集，可以以获 得最小能量为目的拟合出非线性的函数关系。已知点集X= {Xl，X2，...，Xn}和其对应函数 值f = {f1; f2，...，fj，由这两组值可以建立函数关系y = S (X)，使得对于每个点Xi都有 fi = S(Xi)0该函数关系为
权利要求
1.一种眼镜遮挡下的人脸识别方法，其特征在于，该方法包括以下步骤步骤1、输入单张无眼镜人脸图像和通用人脸网格模型，将人脸图像与模型上的对应点 调整到同一坐标系下，得到粗略人脸网格模型；步骤2、对粗略人脸网格模型进行处理，获得姿态校正后的精细人脸网格模型； 步骤3、在精细人脸网格模型上添加眼镜网格模型，并在获得的配戴眼镜人脸网格模型 上粘贴人脸和眼镜的纹理，获得真实感的人脸模型；步骤4、对真实感人脸模型中眼镜模型的部分进行镜片的模糊处理和反光处理； 步骤5、对处理后的真实感人脸模型进行投影，生成多个不同条件下的配戴眼镜的虚拟 样本；步骤6、将虚拟样本存储为待匹配图像进行人脸识别。
2.如权利要求1所述的人脸识别方法，其特征在于其中所述步骤2包括 步骤21、用径向基函数插值法对粗略人脸网格模型进行变形；步骤22、对粗略人脸网格模型进行姿态校正，得到精细人脸网格模型。
3.如权利要求1所述的人脸识别方法，其特征在于其中所述步骤3包括 步骤31、在精细人脸网格模型上添加眼镜网格模型；步骤32、在精细人脸网格模型上粘贴人脸纹理，在眼镜网格模型上粘贴眼镜纹理。
4.如权利要求2所述的人脸识别方法，其特征在于其中所述步骤22在姿态校正时， 结合粗略人脸网格模型的空间位置进行姿态的估计，并在估计的姿态下，通过迭代计算获 得姿态校正后的精细人脸网格模型。
5.如权利要求1或3所述的人脸识别方法，其特征在于所述添加眼镜模型时，根据精 细人脸网格模型与眼镜网格模型的相对坐标来调节眼镜网格模型的大小和位 置。
6.如权利要求1所述的人脸识别方法，其特征在于其中所述步骤4在对镜片做模糊 处理时，采用openGL的多纹理混合的方式对镜片和人眼区域进行混合，并使镜片透明度在
范围内变化来模拟镜片的模糊效果。
7.如权利要求1所述的人脸识别方法，其特征在于其中所述步骤4在对镜片做反光 处理时，采用束光源来模拟镜片上的高亮区域，束光源的位置和投射大小均根据眼镜模型 的空间位置进行调节。
8.—种眼镜遮挡下的人脸识别系统，其特征在于，该系统包括输入单元，用于输入单张无眼镜人脸图像和通用人脸网格模型，将人脸图像与模型上 的对应点调整到同一坐标系下，得到粗略人脸网格模型；预处理单元，用于对粗略人脸网格模型进行处理，获得姿态校正后的精细人脸网格模型；模型生成单元，用于在精细人脸网格模型上添加眼镜网格模型并粘贴人脸和眼镜的纹理；镜片处理单元，用于对眼镜模型的镜片进行模糊处理和反光处理； 样本生成单元，用于投影模型以生成不同条件下戴眼镜的虚拟样本； 人脸识别单元，将虚拟样本存储为待匹配图像进行人脸识别。
全文摘要
本发明公开了一种眼镜遮挡下的人脸识别方法，包括以下步骤输入单张无眼镜人脸图像和通用人脸模型，获得人脸图像与模型上对应点，对所有顶点均进行坐标变换，调整到同一坐标系下；对模型进行处理，获得姿态校正后的正面人头模型；在人头模型上添加眼镜模型并粘贴纹理；对眼镜镜片进行模糊处理和反光处理；投影模型生成不同条件下戴眼镜的虚拟样本。本发明还提供了一种相应的人脸识别系统。本发明模拟范围更广，可以涵盖更多眼镜的变化，通用性更强，识别效果也有了更大改善，具有实时快速，操作简单，实用性强，识别率高等多方面优点。
文档编号G06K9/00GK102034079SQ20091009326
公开日2011年4月27日 申请日期2009年9月24日 优先权日2009年9月24日
发明者刘昌平, 熊鹏飞, 黄磊 申请人:汉王科技股份有限公司