一种人脸合成系统及实现方法

专利名称：一种人脸合成系统及实现方法
技术领域：
本发明涉及人脸识别技术领域，特别是一种多幅非正面人脸的合成系统及实现方法。
背景技术：
人脸识别具有自然、友好、对用户干扰少、易被用户接受等优势，因而有着广阔的应用前景。目前人脸识别包括二维人脸识别和三维人脸识别，其中基于二维图像的人脸识别方法，主要是通过线性或非线性的降维方法，提取人脸外观特征以识别人脸。无论是二维还是三维人脸识别，进行人脸识别的前提是需要获得人脸的正面图才能进行有效、准确的识别。但是，在一些进行实时视频监控和人员识别的应用环境下，被监控对象不可能直接站好让系统照相以获取正脸图像，随着被监控对象移动，监控系统拍到正脸的几率是非常小的，往往只能排到人脸其它角度的图。所以，为了进行人脸识别，必须解决多幅非正面人脸如何准确合成为正脸图像的问题。中国专利申请《基于正脸图像合成的人脸识别方法》专利申请号201110054493. 3， 公开了一种基于正脸图像合成的人脸识别方法，该方法主要包括步骤a)读取多个侧脸图像，获得每个侧脸图像的控制点图；b)从正面人脸库读取一个正脸图像，获得该正脸图像的控制点图等手段解决多幅非正面人脸合成。但是该方法的待合成图像定位复杂、进行合成过程中只采用了一种合成算法，而没有考虑不同角度、不同姿势的人脸图在转换成正面人脸时候应该根据两者之间的转换关系采用不同的算法。同时也没有结合人工辅助识别， 无法发挥网络、人识别的优势。

发明内容
本发明的目的针对上述的现有问题，提出人脸合成系统及实现方法，它采用新的流程和系统结构，能提高多幅非正面人脸的合成速率，同时发挥网络、人工识别等优势，实现它们优势融合。本发明通过如下方案实现一种人脸合成系统，其特征在于，系统内部设有训练图像库、合成算法库、提取模型、基准点标识器、过滤器和正脸图像合成器，其中训练图像库，用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图；合成算法库，用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法；提取模型，为基于贝叶斯正切轮廓的提取模型，用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具；基准点标识器，用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段；
过滤器，用于调用各提取模型对待合成人脸图像进行依次提取轮廓与控制点，并分别与训练图像库人脸样图进行比对，选出相互间控制点特征最相近的一个轮廓提取结果进而确定控制点，并把该人脸样图作为参考姿势图；正脸图像合成器，用于确定正脸模板，并选择合成算法，将待合成人脸图像合成为正脸图像输出。系统的实现方法一种多幅非正面人脸的合成方法，其特征在于，包括如下步骤步骤一，建立训练图像库，使其存储一个或一个以上的正脸模板，以及与每个正脸模板对应的不同姿势人脸样图；步骤二，系统为训练图像库内每个姿势人脸样图分别训练一个基于贝叶斯正切轮廓的提取模型；步骤三，系统读入所有待合成人脸图像；步骤四，基准点标识器形成待合成人脸图像的显示界面供用户浏览、用户直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识作为基准点；步骤五，各提取模型依次从基准点标识器获取基准点，并根据基准点和图像中心点计算提取模型的搜索初始控制点；步骤六，过滤器将各提取模型提取轮廓、控制点，分别与训练图像库人脸样图的进行比对，选出相互间控制点特征最相近的一个轮廓提取结果作为依据确定最终控制点，并把该人脸样图作为参考姿势图；步骤七，正脸图像合成器选定正脸模板，并利用参考姿势图对应合成算法，将待合成人脸图像合成为正脸图像并输出。


图1是多幅非正面人脸示意图；图2是合成系统的结构框图；图3是发明方法的核心流程图。
具体实施例方式参考图2，本发明人脸合成系统由训练图像库、合成算法库、提取模型、基准点标识器、过滤器和正脸图像合成器等组成。它们在系统的作用和互相联系为训练图像库，用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图；合成算法库，用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法；提取模型，为基于贝叶斯正切轮廓的提取模型，用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具；基准点标识器，用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段；过滤器，用于调用各提取模型对待合成人脸图像进行依次提取轮廓与控制点，并分别与训练图像库人脸样图进行比对，选出相互间控制点特征最相近的一个轮廓提取结果进而确定控制点，并把该人脸样图作为参考姿势图；正脸图像合成器，用于确定正脸模板，并选择合成算法，将待合成人脸图像合成为正脸图像输出。正脸图像合成器还用于计算正脸图像每个像素点的灰度值，从训练图像库内选择一正脸模板作为正脸图像基板或随机分配一幅正脸模板作为正脸图像基板。如1和2所示，系统的输入为多幅非正面人脸，经过系统合成后，输入为正面的人脸图。基准点标识器为用户提供进行待合成图片的定位操作界面。用户可以通过本地或网络终端，进行点击多幅非正面人脸的两眼睛中心点、鼻尖点进行直接标识。标识完成后，将反馈至基准点标识器为系统内部的下一步处理提供基础信息。其中，多幅非正面人脸可以发送给一个用户进行标识，也可以发送到多个终端用户进行，充分利用云计算、分布式协作处理技术等的优势。在训练图像库里面，每个正脸模板应该预先存有多个不同姿势的人脸样图与其对应，同时没个姿势的人脸样图进行转化为正脸图时分别对应一种不同的转换算法。每个姿势的人脸样图应该训练一个提取模型。其它没提及的地方，可以根据现有技术和实际需要进行实施。下面，有必要对该系统实现方法进一步描述如图3，整体上主要包括建立训练图像库、训练提取模型、通过基准点标识器进行基准标识、确定最终控制点和参考姿势图和合成正脸图像等步骤。更具体如下首先建立训练图像库，使其存储一个或一个以上的正脸模板，以及与每个正脸模板对应的不同姿势人脸样图；不同姿势人脸样图分别对应一种转换并合成于正脸图像的算法。系统为训练图像库内每个姿势人脸样图分别训练一个基于贝叶斯正切轮廓的提取模型；系统读入所有待合成人脸图像；基准点标识器形成待合成人脸图像的显示界面供用户浏览、用户直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识作为基准点；各提取模型依次从基准点标识器获取基准点，并根据基准点和图像中心点计算提取模型的搜索初始控制点；过滤器将各提取模型提取轮廓、控制点，分别与训练图像库人脸样图的进行比对， 选出相互间控制点特征最相近的一个轮廓提取结果作为依据确定最终控制点，并把该人脸样图作为参考姿势图；正脸图像合成器判断是否存在正脸模板控制点特征与待合成人脸图像的控制点相近似，如果存在，则以该正脸模板作为正脸图像基板；否则从训练图像集中随机分配一幅正脸模板作为正脸图像基板；正脸图像合成器根据每幅待合成人脸图像对应的参考姿势图的算法计算合成在正脸图像基板每个像素点的灰度值，然后计算所有待合成图像在正脸图像上每个像素点灰度值加权总和，最后才形成合成正脸图像输出。
权利要求
1.一种人脸合成系统，其特征在于，系统内部设有训练图像库、合成算法库、提取模型、 基准点标识器、过滤器和正脸图像合成器，其中训练图像库，用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图；合成算法库，用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法；提取模型，为基于贝叶斯正切轮廓的提取模型，用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具；基准点标识器，用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段；过滤器，用于调用各提取模型对待合成人脸图像进行依次提取轮廓与控制点，并分别与训练图像库人脸样图进行比对，选出相互间控制点特征最相近的一个轮廓提取结果进而确定控制点，并把该人脸样图作为参考姿势图；正脸图像合成器，用于确定正脸模板，并选择合成算法，将待合成人脸图像合成为正脸图像输出。
2.如权利要求1所述的人脸合成系统，其特征在于，正脸图像合成器还用于计算正脸图像每个像素点的灰度值。
3.如权利要求2所述的人脸合成系统，其特征在于，正脸图像合成器还用于从训练图像库内选择一正脸模板作为正脸图像基板或随机分配一幅正脸模板作为正脸图像基板。
4.一种多幅非正面人脸的合成方法，其特征在于，包括如下步骤步骤一，建立训练图像库，使其存储一个或一个以上的正脸模板，以及与每个正脸模板对应的不同姿势人脸样图；步骤二，系统为训练图像库内每个姿势人脸样图分别训练一个基于贝叶斯正切轮廓的提取模型；步骤三，系统读入所有待合成人脸图像；步骤四，基准点标识器形成待合成人脸图像的显示界面供用户浏览、用户直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识作为基准点；步骤五，各提取模型依次从基准点标识器获取基准点，并根据基准点和图像中心点计算提取模型的搜索初始控制点；步骤六，过滤器将各提取模型提取轮廓、控制点，分别与训练图像库人脸样图的进行比对，选出相互间控制点特征最相近的一个轮廓提取结果作为依据确定最终控制点，并把该人脸样图作为参考姿势图；步骤七，正脸图像合成器选定正脸模板，并利用参考姿势图对应合成算法，将待合成人脸图像合成为正脸图像并输出。
5.如权利要求4所述多幅非正面人脸的合成方法，其特征在于，所述步骤七中，正脸图像合成器判断是否存在正脸模板控制点特征与待合成人脸图像的控制点相近似，如果存在，则以该正脸模板作为正脸图像基板；否则从训练图像集中随机分配一幅正脸模板作为正脸图像基板。
6.如权利要求5所述多幅非正面人脸的合成方法，其特征在于，所述步骤七中，正脸图像合成器根据每幅待合成人脸图像对应的参考姿势图的算法计算合成在正脸图像基板每个像素点的灰度值，然后计算所有待合成图像在正脸图像上每个像素点灰度值加权总和， 最后才形成合成正脸图像输出。
7.如权利要求4、5、6任一所述多幅非正面人脸的合成方法，其特征在于，不同姿势人脸样图分别对应一种转换并合成于正脸图像的算法。
全文摘要
本发明公开一种人脸合成系统及实现方法，其特征在于，系统内部设有训练图像库、合成算法库、提取模型、基准点标识器、过滤器和正脸图像合成器，其中训练图像库，用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图；合成算法库，用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法；提取模型，为基于贝叶斯正切轮廓的提取模型，用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具；基准点标识器，用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段；正脸图像合成器，用于确定正脸模板，并选择合成算法，将待合成人脸图像合成为正脸图像输出。
文档编号G06K9/64GK102567716SQ20111042766
公开日2012年7月11日 申请日期2011年12月19日 优先权日2011年12月19日
发明者卢林发, 叶灿才, 黄家祺 申请人:中山爱科数字科技股份有限公司