专利名称：用于合成人脸图像的方法和系统的制作方法
技术领域：
本发明涉及用于合成人脸的方法和系统，尤其涉及用于基于马尔科夫网络模型 合成人脸图像的方法和系统。
背景技术：
人脸识别技术的一个重要应用是协助司法鉴定。例如，从警察局的照片数据库 中自动检索出犯罪嫌疑人可以帮助警方很快缩小犯罪嫌疑人的范围。但是，在很多情况 下，警方无法得到犯罪嫌疑人的照片。此时最好的替代品通常是根据目击证人描述而所 画的画像。因此能够根据画像在照片数据库中自动寻找照片变得非常重要。然而，画像 与照片存在很大的差异，并且产生画像的心理过程也较为复杂，因此基于人脸画像的识 别比通常基于人脸照片的识别困难得多。很难将画像与照片这两种不同类型的数据进行 匹配。解决上述问题的一个方法是先把事先存储在数据库中的人脸照片转换为人脸画 像，然后将要查询的人脸画像与数据库中所转换的人脸画像相匹配；或者先把要查询的 人脸画像转换为人脸照片，然后将所转换的人脸照片与事先存储在数据库中的人脸照片 相匹配。生成画像的心理过程很难准确地用规则和语法来表达。画像与照片的差别主要 存在于两个方面纹理和形状。图3显示了人脸照片和画像的一个对比例子。铅笔在纸 上画的图像与照片中人的皮肤有着不同的纹理。为了表达三维投影信息，在画像上通常 会增加一些阴影的纹理。关于形状，画像会像卡通画一样夸张一些脸部突出的特征，从 而引起形状上的变化。例如，一张人脸有一个大的鼻子，在画像上这个鼻子会被画得更 大。近些年已经出现了一些用计算机生成画像的系统。它们大多输出没有可以表 达三维投影信息纹理的线条画像。例如H.Koshimizu，M.Tominaga, T.Fujiwara,和 K.Murakami 在“On Kansei Facial Processing for ComputerizedFacial Caricaturing System PICAS SO” IEEE International Conference on Systems, Man, and Cybernetics, Vol.6, 1999 ( “用于计算面部漫画系统PICASSO的Kansei面部处理”，关于系统制造和控制的 IEEE 国际会议，1999 年第 6 卷)禾口 S.Iwashita，Y.Takeda，禾口 T.Onisawa 在 “Expressive Facial CaricatureDrawing, ” IEEE International Conference on Fuzzy Systems, Vol.3, 1999 ( “面部表情漫画绘制”，关于模糊系统的IEEE国际会议，1999年第3卷)中都提 出了用计算机生成画像的系统。在这些系统中，首先从照片中提取人脸的形状，然后根 据某些规则对人脸的形状进行夸张，从而使生成的结果在形状上更类似于画像。然而它 们不是基于机器学习的方法。W.T.Freeman, J.B.Tenenbaum, and Ε.Pasztor, "An Example-BasedApproach to Style Translation for Line Drawings.” Technical Report 11, MERLTechnical Report, Cambridge, MA, Feb. 1999( “基于样本的线条画像的风格转化方法”，技术报，1999年2月)提出了一个基于训练样本的系统，它可以将线条的图像转换成不同的风格。 H.Chen, Y.Xu，H.Shum, S.Zhu，and N.Zheng, "Example-Based Facial Sketch Generation with No-parametric Sampling, " in Proceedings of ICCV, 2001 ( “无参量的基于采样的面 部画像生成”，ICCV会议记录，2001年)提出了一个基于训练样本的人脸卡通图像生成 系统。它也只限于生成线条画像，并且需要照片和线条画像在形状上完全匹配。这些系 统需要利用一些方法，例如活动外 观模型(AAM)提取人脸的形状。这些线条画像比那 些具有阴影纹理的画像缺少表现力。本申请的发明人在X.Tang，and X.Wang, "Face Sketch Recognition, ” IEEETrans.on CSVT, Vol.14, No.l, January, pp.50-57, 2004 (汤晓鸥 和王晓刚，“面部画像识别”，“IEEE Trans.on CSVT"第1期第14卷第50-57页) 禾口 X.Tang, and X.Wang, "Face Sketch Synthesis and Recognition, ” in Proceedings of ICCV，Nice, France, pp.687-694，Oct.13-16，2003 (汤晓鸥和王晓刚，“面部画像合成 与识别”，2003年10月的ICCV学报，第687-694页)中提出了一个基于主分量变换的人 脸识别系统。这种系统不只限于线条画像，而且能够合成有纹理的画像。根据该系统， 如果满足两个条件，由主分量变换转换的画像将是对所画画像的一个很好地近似，艮口， (1)人脸图像能够通过主分量分析(PCA)从训练集中很好地重构；以及(2)照片-画像 的转换过程能够被近似成线性。然而，在某些情况下，特别是当包括头发区域的时候， 这些条件很难被满足。不同人的发型变化很大，不能很好地由PCA从训练集中重构。Q.Liu, X.Tang, H.Jin, H.Lu, and S.Ma, "A NonlinearApproach for FaceSketch Synthesis and Recognition,，，in Proceedings of CVPR，2005 ( “非线性的人脸画像合成和 识别的方法”，CVPR学报，2005年)提出了一个非线性的人脸画像转换和识别的方法。 但是该方法对局部的小块进行主分量变换而不是整个人脸。其缺点是局部小块是在单一 固定的比例上彼此独立转换的，因此无法学习一些大的人脸结构，特别是无法学习人脸 的形状。
发明内容
在本发明申请中提出了一种用于人脸画像的识别方法和系统。根据本发明申请的人脸画像生成方法不学习整个人脸结构，因为整个人脸结构 太复杂而不能被很好地转换，而是转换局部的小块，因为它们的结构更加简单。人脸区 域被划分成相互重叠的小块。在画像生成过程中，对于一个人脸照片上的局部小块，在 预先提供的训练集中找到一个与之相似的照片小块，然后用训练集中相对应的画像小块 来估计要生成的画像小块。该方法所基于的假设是如果两个照片小块相似，则他们的画 像小块也应该相似。另外，该方法所基于的另外一个假设是两个相邻的转换的画像小 块应该匹配。小块的大小决定了所能学习的人脸结构的尺度。因此，本发明用多尺度马尔科 夫随机场学习不同比例的人脸结构。这样根据本发明申请的方法联合学习不同区域不同 尺度的小块，而不是像Qliu等提出的非线性的人脸画像转换和识别的方法中那样彼此独 立地学习他们。一方面，本文公开了一种基于训练集识别人脸的方法，所述训练集包括多个图像小块对，所述多个图像小块对中的每一个包括一个第一类型的图像小块和一个第二类 型的图像小块，所述方法包括接收第一类型的人脸图像；将所接收的第一类型的测试人脸图像分割为多个图像小块；在所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分 割出的多个图像小块中的每一个选择匹配小块；根据所选择的匹配小块从所述训练集的所述图像小块对中确定与其对应的第二 类型的图像小块；以及将确定的第二类型的图像小块合成为第二类型的人脸图像。另一方面，本文公开了基于训练集识别的人脸的系统，所述训练集包括多个图 像小块对，所述多个图像小块对中的每一个包括一个第一类型的图像小块和一个第二类 型的图像小块，所述系统包括预处理单元，用于接收一个第一类型的测试人脸图像，并将将所接收的第一类 型的人脸图像分割为多个图像小块；匹配单元，用于在所述训练集的第一类型的图像小块中为从所述第一类型的测 试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块；选择单元，用于根据所选择的匹配小块从所述训练集的所述图像小块对中选择 与其对应的第二类型的图像小块；以及合成单元，用于将选择的第二类型的图像小块合成为第二类型的人脸图像。在上述的方法和系统中，所述第一类型的人脸图像为人脸照片，所述第二类型 的人脸图像为人脸画像。作为一种选择，所述第二类型的人脸图像为人脸画像，所述第 一类型的人脸图像为人脸照片。优选地，在上述的方法和系统中，根据所选择的匹配小块从所述训练集的所述 图像小块对中选择与其对应的第二类型的图像小块是基于单一尺度马尔科夫网络模型来 实现的。这样，一个画像小块不但接收来自于相邻的小块信息，还通过置信传播接收来 自于更远小块的信息。优选地，基于多尺度马尔科夫网络模型来实现。这样，能够避免了现有技术中 采用同一尺度对小块大或小会导致转换结果中不同的问题。因此，本发明的方法可以更 好地学习大范围的人脸结构、整体的形状特征，并且产生更加平滑的结果。另外，根据本发明对画像生成方法是基于局部小块，它不需像主分量变换法一 样要求人脸由PCA从训练集中很好地重构，也不需要照片_画像的转换过程近似为线性 过程，所以本发明对画像生成方法可以转换更加复杂的人脸结构，比如说头发。然而， 例如现有的主分量变换法很难转换不同的发型，而头发在用于娱乐的人脸画像转换应用 中是重要的特征。对于识别任务来说，在某些情况下，特别是当同一个人的两个图像相 隔很久的时候，比如几个月甚至几年，头发可能不是一个稳定的用于识别的特征因为发 型可能发 生改变。但是在某些情况下，当间隔时间不长的时候，头发仍然是用于识别的 显著的特征。当警察要求目击者生成犯罪嫌疑人画像的时候，会要求画出头发。
图1示出了根据本发明一个实施方式的从人脸照片转换人脸画像的方法；图2示出了根据本发明另一个实施方式的从人脸照片转换人脸画像的方法；图3显示了人脸照片和画像的一个对比例子；图4示出了人脸区域被划分成多个小块的例子；图5示出了从输入照片上的一个小块寻找候选画像小块的例子；图6示出了从训练集中收集候选画像小块的例子；图7示出了单一尺度的马尔科夫网络模型的例子；图8示出了画家所画画像小块具有的特征的例子；图9示出了多尺度马尔科夫随机场的金字塔形结构的例子；图10示出了在两个相邻重叠画像小块之间具有的最小错误边界；图11出了根据本发明一个实施方式的从人脸照片转换人脸画像的系统；图12出了根据本发明另一个实施方式的从人脸照片转换人脸画像的系统；图13示出了来自训练集的图像对的例子；图14示出了人脸画像的合成结果的例子；图15示出了根据本发明的方法利用不同次数置信传递之后生成的画像的例子；图16示出了用最小均方误差估计和最大似然估计生成画像的比较的例子；图17示例性地示出了用单一尺度马尔科夫随机场模型和多尺度马尔科夫随机场 模型合成画像的比较结果；图18示例性地示出了当包括头发区域时，用整体主分量变换和多尺度马尔科夫 随机场模型合成的画像的比较结果；图19示例性地示出了非线性方法和多尺度马尔科夫随机场合成的画像的比较结 果；以及图20示例性地示出了合成人脸照片的结果。
具体实施例方式下面将参照附图描述根据本发明申请的基于局部小块的画像转换方法。下面虽 然以将人脸照片转换成人脸画像为例对本发明申请的转换方法进行了描述，但是，应该 理解，简单地交换照片和画像的角色，该方法可以很容易地扩展到将人脸画像转换为人 脸照片进行识别的方法。如图1所示，根据本发明一个实施方式的从人脸照片转换人脸画像的方法1000 包括1)对输入的人脸照片进行预处理(步骤102) ； 2)将经过预处理的人脸照片上的 小块与训练集中的照片小块进行匹配(步骤104) ； 3)估计输入的人脸照片的画像小块 以确定出匹配的画像小块(步骤106) ； 4)利用匹配的画像小块合成整个人脸画像(步 骤108)。此外，根据本发明的合成方法还以用来与存储在数据库中的画像进行识别匹配 (步骤110)，如图2所示。下面对步骤102-110进行详细描述。1.人脸照片预处理(步骤102)在步骤102中，对输入的人脸照片进行几何校正和颜色空间的变换。具体地， 在该步骤中，所有的照片和画像进行平移，旋转和缩放，以使得它们的两只眼睛的中心处于固定的位置。这个简单的几何标准化处理将不同图像上的人脸器官大致校正到相同 的区域。人脸照片可以是灰度图像或者彩色图像。如果人脸照片是彩色的，则首先将人 脸照片的RGB彩色空间转换成Luv彩色空间，因为Luv空间中的欧几里德(Euclidean)距 离能与人眼感觉到的色彩变化更好的相关。此外，在该步骤中还将输入的人脸照片的脸部区域划分成N(N为正整数)个小 块X(j = 0，1....N-1)，其中相邻的小块彼此重叠。如图4(a)所示，人脸区域被划分成 多个小块，从图4(b)中可以看出，在所划分的多个小块中，相邻的小块彼此重叠。2匹配小块(步骤104)。为了估计输入照片小块y“j = 0，1....N-1)的画像小块、，对于输入照片上的每 一个小块χ在训练集中找到与χ匹配最好的κ(ο < K)个照片小块试}f=i。然后，利用在训 练集中与它们各自对应的画像小块闻丨/^作为用于估计与、相对应的生成的画像小块的候 选。在这里，训练集包括多个照片-画像对，并且例如是香港中文大学学生数据库、 普杜数据库或XM2VTS数据库。假设如果训练集中的一个照片上的小块冗与输入照片上的小块χ相似，与冗相对 应的画像小块^将被看作是用来估计、的一个候选。图5描述了寻找画像小块的过程。 对于输入照片上的每一个小块y“例如，图5中用窗口 W2示出的局部小块)，在训练集 中找到它在一个照片上的对应位置。因为人脸图像在形状上不是完全准确校正好的，因 此，同样的人脸器官在不同的人脸图像上可能不位于完全相同的位置，所以不能直接在 训练集的照片(以下简称“训练照片”)上与输入照片上同样的位置的小块采样，而是在 所找到的位置附近设定一个寻找的范围，如图5中的虚线窗口Wl所示；在这个搜索范围 内，找到与χ最佳匹配的小块作为在这个训练照片上的采样。在这里，采用两个小块灰度或颜色的Euclidean距离D1^t为匹配量度，如式(1) 所示。
权利要求
1.用于基于训练集合成人脸图像的方法，所述训练集包括多个图像对，所述图像对 中的每一对被分割成多个图像小块对，所述多个图像小块对中的每一对包括一个第一类 型的图像小块和一个第二类型的图像小块，所述方法包括接收第一类型的测试人脸图像；将所接收的第一类型的测试人脸图像分割为多个图像小块；在所述训练集的第一类型的图像小块中，为从所述第一类型的测试人脸图像中分割 出的多个图像小块中的每一个选择匹配小块；根据所选择的匹配小块从所述训练集的所述图像小块对中确定与其对应的第二类型 的图像小块；以及将确定的第二类型的图像小块合成为第二类型的人脸图像。
2.如权利要求1所述的方法，还包括将所合成的第二类型的人脸图像与预定数据库中的第二类型的测试人脸图像进行识 别匹配。
3.如权利要求1所述的方法，其中，为从所述第一类型的测试人脸图像中分割出的多 个图像小块中的每一个选择匹配小块的步骤还包括在所述训练集的第一类型的图像小块中为从所述第一类型的人脸图像中分割出的多 个图像小块中的每一个选择多个候选匹配小块；以及从所选择的多个候选匹配小块中确定与所分割的多个测试小块中的每一个最佳匹配 的一个的候选匹配小块。
4.如权利要求3所述的方法，其中，在所述训练集的第一类型的图像小块中为从所述 第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择多个候选匹配小块还 包括在所述训练集的第一类型的图像中的每一个上确定与从所述第一类型的测试人脸图 像中分割出的多个图像小块中的每一个相对应的位置；以及以所确定的位置为基准，在所述训练集的第一类型的图像小块中的每一个上设定一 个范围；以及在所设定的范围内确定所述训练集的第一类型的图像中的每一个是否和从所述第一 类型测试的人脸图像中分割出的多个图像小块中的每一个匹配，如果匹配，则所匹配的 图像小块被选择为所述候选匹配小块。
5.如权利要求4所述的方法，其中，在所设定的范围内确定所述训练集第一类型的图 像小块中的每一个是否和从所述第一类型的测试人脸图像中分割出的多个图像小块中的 每一个匹配的步骤基于单一尺度马尔科夫网络模型实现。
6.如权利要求4所述的方法，其中，在所设定的范围内确定所述训练集的第一类型的 图像小块中的每一个是否和从所述第一类型的人脸图像中分割出的多个图像小块中的每 一个匹配的步骤基于多尺度马尔科夫网络模型实现。
7.如权利要求1所述的方法，其中，在所述训练集的第一类型的图像小块中为从所述 第一类型的人脸图像中分割出的多个图像小块中的每一个选择匹配小块的步骤包括以单一尺度马尔科夫网络为模型，在所述训练集的第一类型的图像小块中为从所述 第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块。
8.如权利要求1所述的方法，其中，在在所述训练集的第一类型的图像小块中为从所 述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块的步 骤包括以多尺度马尔科夫网络为模型，在所述训练集的第一类型的图像小块中为从所述第 一类型测试的人脸图像中分割出的多个图像小块中的每一个选择一个匹配小块。
9.如权利要求1所述的方法，其中，在所述测试图像多个分割的图像小块中，相邻的 图像小块具有重叠区域。
10.如权利要求9所述的方法，其中，在所述训练集的第一类型的图像小块之间以及 第二类型的图像小块之间分别具有重叠区域，将确定的第二类型的图像小块合成为第二类型的人脸图像的步骤包括在每两个重叠的第二类型的图像小块之间确定最小误差边界；根据所确定最小误差边界，将所述确定的第二类型的图像小块合成为第二类型的人 脸图像。
11.如权利要求1-10中任意一项所述的方法，其中，所述第一类型的人脸图像为人脸 照片，所述第一类型的人脸图像为人脸画像。
12.如权利要求1-10中任意一项所述的方法，其中，所述第一类型的人脸图像为人脸 画像，所述第一类型的人脸图像为人脸照片。
13.用于基于训练集合成人脸图像的系统，所述训练集多个图像对，所述图像对中的 每一对被分割成多个图像小块对，所述多个图像小块对中的每一对包括一个第一类型的 图像小块和一个第二类型的图像小块，所述系统包括预处理单元，用于接收一个第一类型的人脸图像，并将将所接收的第一类型的人脸 图像分割为多个图像小块；匹配单元，用于在所述训练集的第一类型的图像小块中为从所述第一类型的测试人 脸图像中分割出的多个图像小块中的每一个选择一个匹配小块；选择单元，用于根据所选择的第一类型的匹配小块从所述训练集的所述图像小块对 中选择与其对应的第二类型的图像小块；以及合成单元，用于将选择的第二类型的图像小块合成为第二类型的人脸图像。
14.如权利要求13所述的系统，还包括识别单元，用于将所合成的第二类型的人脸图 像与预定数据库中的第二类型的人脸图像进行识别匹配。
15.如权利要求11所述的系统，其中，所述匹配单元被配置为执行以下步骤而在所述 训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图像 小块中的每一个选择一个匹配小块在所述训练集的第一类型的图像小块中为从所述第一类型的侧试人脸图像中分割出 的多个图像小块中的每一个选择多个候选匹配小块；以及从所选择的多个候选匹配小块中确定与从所述第一类型的测试人脸图像中分割出的 多个小块中的每一个最佳匹配的一个的候选匹配小块。
16.如权利要求15所述的系统，其中，在所述训练集的第一类型的图像小块中为从所 述第一类型的测试人脸图像中分割出的多个图像小块中的每一个选择多个候选匹配小块 还包括在所述训练集的第一类型的图像小块中的每一个上确定与从所述第一类型的测试人 脸图像中分割出的多个图像小块中的每一个相对应的位置；以及以所确定的位置为基准，在所述训练集的第一类型的图像的每一个上设定一个范围；在所设定的范围内确定所述训练集的第一类型的图像小块中的每一个是否和从所述 第一类型的测试人脸图像中分割出的多个图像小块中的每一个匹配，如果匹配，则所匹 配的图像小块被选择为所述候选匹配小块。
17.如权利要求16所述的系统，其中，所述匹配单元基于单一尺度马尔科夫网络模 型，在所设定的范围内确定所述训练集第一类型的图像小块中的每一个是否和从所述第 一类型的测试人脸图像中分割出的多个图像小块中的每一个匹配。
18.如权利要求16所述的系统，其中，所述匹配单元基于多尺度马尔科夫网络模型， 在所设定的范围内确定所述第一类型的图像小块中的每一个是否和从所述第一类型的测 试人脸图像中分割出的多个图像小块中的每一个匹配。
19.如权利要求13所述的系统，其中所述匹配单元基于单一尺度马尔科夫网络模型在 所述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个 图像小块中的每一个选择一个匹配小块。
20.如权利要求13所述的系统，其中所述匹配单元基于多尺度马尔科夫网络模型在所 述训练集的第一类型的图像小块中为从所述第一类型的测试人脸图像中分割出的多个图 像小块中的每一个选择一个匹配小块。
21.如权利要求13所述的系统，其中，在所述预处理单元分割的多个图像小块中，相 邻的图像小块具有重叠区域。
22.如权利要求21所述的系统，其中，在所述训练集的第一类型的图像小块之间以及 第二类型的图像小块之间分别具有重叠区域；以及其中，所述合成单元被配置为在每两个重叠的第二类型的图像小块之间确定最小误 差边界；并根据所确定最小误差边界，将所述选择单元所选择的第二类型的图像小块合 成为第二类型的人脸图像。
23.如权利要求13-22中任意一项所述的系统，其中，所述第一类型的人脸图像为人 脸照片，所述第一类型的人脸图像为人脸画像。
24.如权利要求13-22中任意一项所述的系统，其中，所述第一类型的人脸图像为人 脸画像，所述第一类型的人脸图像为人脸照片。
全文摘要
公开了用于基于训练集合成人脸图像的方法和系统，其中，训练集包括多个图像对；所述图像对中的每一对被分割成多个图像小块对，所述多个图像小块对中的每一对包括一个第一类型的图像小块和一个第二类型的图像小块。基于训练集的合成人脸图像的方法包括接收第一类型的测试人脸图像；将所接收的第一类型的人脸图像分割为多个图像小块；在所述训练集的第一类型的图像小块中为测试图像上所分割的多个图像小块中的每一个选择匹配小块；根据所选择的匹配小块从所述训练集的所述图像小块对中确定与其对应的第二类型的图像小块；以及将确定的第二类型的图像小块合成为第二类型的人脸图像。
文档编号G06K9/66GK102013020SQ20091017370
公开日2011年4月13日 申请日期2009年9月8日 优先权日2009年9月8日
发明者汤晓鸥, 王晓刚 申请人:汤晓鸥, 王晓刚