专利名称：一种利用主动网格与人脸识别结合生成新人脸的方法
技术领域：
本发明涉及一种人脸识别和图像处理技术，具体地说，涉及一种利用主动 网格与人脸识别结合生成新人脸的方法。
背景技术：
随着图像处理技术的发展，人脸图像也成为一门新兴的研究课题。 一张人 脸图像变到另一张有意义的图像，由于具有广泛的应用前景而备受人们的关 注。
例如，在侦破刑事案件过程中，案犯经常会通过乔装打扮来躲避警方的注 意，而当一个犯罪嫌疑人藏匿多年，再经过装扮，警方就更难对其进行辨认。 如果能够建立一个人脸识别的数据库，将案犯人脸图像根据年龄匹配变换到多 年后的样子，显然对刑事侦査有很大的帮助。同样，人脸变换技术还可用于人 脸识别、人脸预测、数字娱乐等场合。
现在的人脸变换，基本是以美工人员通过软件手工调整得到，其最终效果 取决于美工人员的技术和经验，难以高效率、大批畺的处理，故不能得到广泛 的应用。
发明内容
本发明要解决的技术问题是提供一种利用主动网格与人脸识别结合生成 新人脸的方法，对于给定的人脸图像，可自动生成与照片相似的多年龄序列照 片以及具有特定脸部特征的照片，且处理效率高。
为了达到上述目的，本发明的技术方案如下
一种利用主动网格与人脸识别结合生成新人脸的方法，包括如下步骤建 立人脸图像数据库；以人脸的主动网格为基础，获取输入人脸照片中的特征点； 在人脸图像数据库中检索，以获取相似人脸;采用无缝拼接技术进行纹理映射， 获得新的人脸照片。本发明的变脸技术是以生物特征为基础，完全自动化实现了人像的表情变 换、年龄变换、角色变换等，可广泛应用于电影制作中的特技，互联网上的照 片合成。它保留了人像关键的生物特征，以便于身份的直观辨认。同时借助计 算机处理图像，获得给定条件下的视觉效果，最终使处理过的人脸图像照片， 具有熟悉的特征和预期的艺术效果。具有计算复杂度低、方法直观明晰、效 果逼真等特点。
采用人机交互模式，通过ASM和弹性图匹配的方法找到精确的人脸的主 动网格。
以MPEG-4所定义的人脸特征点标准为模板，通过ASM算法自动定位出
人脸的特征点，在此基础上结合局部搜索和活动外观模型，调整ASM定位出
的人脸特征点的结果。
在人脸图像数据库中的检索通过SVM， k-NN人脸识别模块进行。 以人脸定位模块获得的特征点分布为基础，基于Hausdorff距离按照权重
投票的方式提取人脸形状参数用于和人脸数据库中的数据进行比对，来获取相
似人脸。
特征点涵盖嘴、眼、眉、鼻、脸形五部分。
根据嘴、眼、眉、鼻、脸形五部分的特征点集，权重按照脸型0.3，眼睛 0.2，嘴巴0.2，鼻子0.2，眉毛0.1来计算输入人脸照片与数据库照片中的人脸 特征点集加权距离，人脸特征点集加权距离做为人脸相似度的比对依据。
所述无缝拼接技术采用图像梯度域编辑方法。与直接拷贝源图像的像素值 不同，我们拷贝图像的梯度信息，即图像像素的变化信息，这将导致较自然的 结果。
图1是本发明的利用主动网格与人脸识别结合生成新人脸的方法的流程
图2显示了人脸特征自动定位的效果，图中人脸上的黑点为特征点； 图3显示了本发明的相似性图像检索的界面；
图4a至图4c显示了人脸图像变换的过程，图4a和图4b中的是源图像， 图4c中的是图4a和图4b拼合图像。图5a和图5b显示了采用图像梯度域编辑方法进行无缝拼接的过程。
具体实施例方式
下面根据图1至图5b，给出本发明一个较好实施例，并予以详细描述， 使能更好地理解本发明的功能、特点。
图1显示了本发明的生成新人脸的方法的流程。如图所示，本发明的人脸 合成系统包括了照片输入模块、人脸定位模块、人脸形状参数提取模块、数据 库检索模块、五官无缝拼接人脸合成模块五个模块。
照片输入模块可采用视频实时采集和打开图像文件两种方式实现。人脸定 位模块采用人脸主动网格获取人脸照片中的特征点分布。人脸形状参数提取模 块以人脸定位模块获得的特征点分布为基础，基于Hausdorff距离按照权重投 票的方式提取人脸形状参数用于和人脸数据库中的数据进行比对。数据库检索 模块以人脸形状参数提取模块提取出来的参数为基础，运用现代模式识别的分 类方法SVM， k-NN从建立的大规模人脸数据库中发现相关人脸。五官无缝拼 接人脸合成模块采用图像梯度域编辑方法，将用户照片五官与待合成的人脸五 官进行替换和纹理合成，从而获得明星脸或者不同年龄脸的人脸合成效果。
本发明基于图像的形状和纹理分析，结合局部搜索和活动外观模型，实现 对输入的照片自动检测出人脸，并以MPEG-4标准对输入的人脸照片的网格点 实现主动网格点(特征点)的精确定位，所定位的特征点可描述对人脸的形状以 及五官的特征，如图2所示。
1) 采集的不同年龄段的人脸照片库，经过美工人员的横向年龄段扩展，覆 盖所需要的各年龄段的各种脸型以及五官的形状，可充分保证最终获取的照片 与输入照片的相似度，从而可以保证系统运行达到理想效果。
2) 采用人脸识别的方法，从人脸特征库中进行相似性检索，发现相关人脸。 在人脸定位的基础上，以自己定义的人脸相似度参数为标准，加上人脸年
龄权值，从人脸特征库中进行对应年龄段的相似性检索，从而获得输入人脸的 相似脸形及相似五官。图3给出了基于相似性进行图像检索的例子。
3) 将检索得到的相似五官拼接到人脸上，同时对图像添加纹理细节，以增 强真实感。采用无缝拼接方法获得人脸的纹理图像，将纹理映射到输入到2) 中获取的相关人脸，得出输入人脸的各年龄段人脸序列图。根据人脸自动定位得到的特征点，计算待拼接五官的有效区域，利用我们 的五官克隆技术(采用图像梯度域编辑方法)，将不同部分人脸拼接后，可以 达到逼真的效果。图像梯度域编辑处理流程为首先，在源图上选中一个区域， 如图5a中选中的区域，计算该区域的梯度信息，我们定义为梯度场V;然后， 为了将图5a中选中的区域里内容拼接到图5b中选择的区域里，使合成后图 5b中选中的区域中的梯度信息与梯度场V相同。以图5b区域的边界的像素为 基准，从图5b的边界开始，其区域内的新的像素值由该像素左边的像素值和 与该像素位置对应的梯度场V的值相加得到。
图4a至图4b给出了人脸五官克隆的过程。其中图4a和图4b中的是源图 像，图4c中的是将图4a中的眼、鼻部分拷贝到图4b后的图像。
本发明的方法主要应用在人脸年龄变换、明星相似脸制作、父母照片预测 子女脸等方面。下面分别对人脸年龄变换、明星相似脸制作、父母照片预测子 女脸三种具体应用做出说明。
实例一人脸年龄变换
在人脸年龄变换系统中，用户输入照片，以MPEG-4所定义的人脸特征点 标准为模板，采用人机交互模式，通过ASM和弹性图匹配的方法找到精确的 人脸的主动网格。相对于局部人脸特征点定位方法，活动形状模型(Active Shape Models, ASM)方法可以同时定位很多人脸特征点，速度快、精度高。 但是ASM方法对模型的初始位置非常敏感，如果初始模型中特征点位置靠近 实际特征点位置，ASM方法将会非常快速且准确地找到所有特征点，但如果 初始位置远离实际特征点位置，ASM方法通常可能给出错误的定位而无法用 于识别。因此，在ASM算法基础上，还结合局部搜索和活动外观模型，调整 ASM定位出的人脸特征点的结果，从而得到如图2所示的精确的人脸特征点， 所定位的特征点可描述对人脸的形状以及五官的特征。根据嘴、眼、眉、鼻、 脸形五部分的特征点集，权重按照脸型0.3，眼睛0.2，嘴巴0.2，鼻子0.2，眉 毛O.l来计算输入照片与数据库照片中的人脸特征点集加权距离，人脸特征点 集加权距离做为人脸相似度的比对依据，从不同年龄段人脸数据库中选取最为 相似的人脸，即人脸特征点集加权距离最小的人脸。利用系统中的无缝拼接技 术将数据库中的相似人脸做五官替换，从而获得不同年龄段的人脸变换效果，可用于娱乐或刑侦中。
实例二明星相似脸制作
在明星相似脸制作系统中，用户可输入自己的照片以及想进行变换的明星 照片，与人脸年龄变换系统特征点定位方法相同，系统自动定位出两张照片的 特征点。对人脸库中的嘴、眼、眉、鼻、脸形五部分的特征点集做统计，获得 人脸这五部分的平均特征，计算明星脸与平均点集的距离，距离最大的部分也 就最能反映出明星脸的最明显特征，将此部分利用系统中的无缝拼接技术替换 到用户照片中，从而获得具有明星特征的人脸照片，达到娱乐的效果。
实例三父母照片预测子女脸
在预测子女脸系统中，用户可输入一男一女两张照片，与人脸年龄变换系 统特征点定位方法相同，系统自动定位出两张照片的特征点。如人脸年龄变换 系统中的搜索方法，可选择女性照片或男性照片在小孩数据库中搜索，得到最 相似的小孩。按照明星相似脸制作系统中统计明显特征的方法，将男性和女性 照片中最明显的特征部分与小孩照片做将无缝拼接合成，从而获得即有爸爸特 征又有妈妈特征的小孩照片，达到娱乐的效果。
本发明实现了一种利用主动网格与人脸识别结合生成新人脸的方法，给定 一张人脸照片，可自动生成与照片相似的多年龄序列照片以及与明星相似的照 片。在此方法的基础上，本发明实现了一种利用主动网格与人脸识别结合生 成新人脸的系统，本系统应用在人脸年龄变换、明星相似脸制作方面的应用。
以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，即 凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修 饰，皆落入本发明专利的权利要求保护范围。
权利要求
1、一种利用主动网格与人脸识别结合生成新人脸的方法，包括如下步骤建立人脸图像数据库；以人脸的主动网格为基础，获取输入人脸照片中的特征点；在人脸图像数据库中检索，以获取相似人脸；采用无缝拼接技术进行纹理映射，获得新的人脸照片。
2、 如权利要求1所述的利用主动网格与人脸识别结合生成新人脸的方法， 其特征在于，采用人机交互模式，通过ASM和弹性图匹配的方法找到精确的 人脸的主动网格。
3、 如权利要求2所述的利用主动网格与人脸识别结合生成新人脸的方法， 其特征在于，以MPEG-4所定义的人脸特征点标准为模板，通过ASM算法自 动定位出人脸的特征点，在此基础上结合局部搜索和活动外观模型，调整ASM 定位出的人脸特征点的结果。
4、 如权利要求1所述的利用主动网格与人脸识别结合生成新人脸的方法， 其特征在于，在人脸图像数据库中的检索通过SVM， k-NN人脸识别模块进行。
5、 如权利要求4所述的利用主动网格与人脸识别结合生成新人脸的方法， 其特征在于，以人脸定位模块获得的特征点分布为基础，基于Hausdorff距离 按照权重投票的方式提取人脸形状参数用于和人脸数据库中的数据进行比对， 来获取相似人脸。
6、 如权利要求5所述的利用主动网格与人脸识别结合生成新人脸的方法， 其特征在于，特征点涵盖嘴、眼、眉、鼻、脸形五部分。
7、 如权利要求6所述的利用主动网格与人脸识别结合生成新人脸的方法， 其特征在于，根据嘴、眼、眉、鼻、脸形五部分的特征点集，权重按照脸型 0.3，眼睛0.2，嘴巴0.2，鼻子0.2，眉毛0.1来计算输入人脸照片与数据库照 片中的人脸特征点集加权距离，人脸特征点集加权距离做为人脸相似度的比对 依据。
8、 如权利要求1至7中任一权利要求所述的利用主动网格与人脸识别结 合生成新人脸的方法，其特征在于，所述无缝拼接技术采用图像梯度域编辑方 法。
全文摘要
本发明公开了一种利用主动网格与人脸识别结合生成新人脸的方法，包括如下步骤建立人脸图像数据库；以人脸的主动网格为基础，获取输入人脸照片中的特征点；在人脸图像数据库中检索，以获取相似人脸；采用无缝拼接技术进行纹理映射，获得新的人脸照片。本发明的变脸技术是以生物特征为基础，完全自动化实现了人像的表情变换、年龄变换、角色变换等，可广泛应用于电影制作中的特技，互联网上的照片合成。它保留了人像关键的生物特征，以便于身份的直观辨认。同时借助计算机处理图像，获得给定条件下的视觉效果，最终使处理过的人脸图像照片，具有熟悉的特征和预期的艺术效果。具有计算复杂度低、方法直观明晰、效果逼真等特点。
文档编号G06T5/00GK101308571SQ20071004066
公开日2008年11月19日 申请日期2007年5月15日 优先权日2007年5月15日
发明者崔国勤, 杨立志, 晨 谢, 陈立珍, 岩 高 申请人:上海中科计算技术研究所;中国科学院计算技术研究所