基于单照片与画像对的人脸画像合成方法
【技术领域】
[0001] 本发明属于图像处理技术领域，具体涉及一种基于单照片与画像对的人脸画像合 成方法。
【背景技术】
[0002] 人脸画像合成有许多重要的实际应用，比如辅助警方缉凶以及数字娱乐。当由于 某些因素而无法获取罪犯的照片时，警方需要通过目击证人的描述绘制出嫌疑犯的画像， 然后在警方的人脸照片数据库中进行匹配。由于照片和画像的模态存在较大的差异，因此 在匹配之前要先将警方人脸照片数据库中所有的照片转化成画像，然后再将嫌疑犯的画像 在合成画像数据库中进行匹配。目前推特和微博等社交网络变得越来越流行，很多用户将 自己的画像上传到网上作为账户的头像以增加娱乐效果。
[0003] 目前的人脸画像合成方法可以分成以下三大类：一，基于子空间学习的人脸画像 合成方法；二，基于贝叶斯推断的人脸画像合成方法；三，基于稀疏表示的人脸画像合成方 法。
[0004] Liu 等人在文献 "Liu Q, TangX, JinH, et al. Anonlinear approach f o r f a c e sketch synthesis andrecognition[C]//Computer Vision andPatternRecognition,2005.CVPR2005.IEEE Computer Society Conference on. IEEE, 2005, 1:1005-1010. "中采用子空间学习的方法来模拟照片转化成画像的非线性 过程。【具体实施方式】是：先将训练集中的照片-画像对及测试照片划分成大小相同及重叠 区域相同的图像块，对于测试照片中的每一个照片块在训练集中寻找它的K个近邻照片块 并计算重建系数W，然后再将K个照片块对应的K个画像块用重建系数W进行加权组合得到 待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在以下缺点： 各合成画像块都是单独合成，没有考虑画像块之间的邻域关系，导致融合处的画像不自然， 存在噪声。
[0005] Wang 等人在文献 "Wang X，Tang X. Face photo-sketch synthesis and recognition[J]. PatternAnalysis and Machine Intelligence, IEEE Transactions on，2009, 31 (11) : 1955-1967. "中提出了一种基于贝叶斯推断的人脸画像合成方法。具体操 作步骤如下：首先将训练集中的照片-画像对以及测试照片用相同的方式分块，然后对每 一个测试照片块在训练集中寻找它的K个候选照片块，根据测试照片块与K个候选照片块 之间的关系以及合成画像中相邻位置的画像块之间的关系，建立马尔可夫随机场模型对每 个测试照片块寻找一个最佳的训练画像块作为待合成画像块，最后将所有的待合成画像块 融合得到最终的合成画像。该方法存在以下缺陷：每个测试照片块最终只选择一个训练画 像块而非合成画像块作为待合成画像块进行画像合成，导致合成画像存在块效应和细节缺 失的问题。
[0006] 高新波等人申请的专利技术"基于稀疏表示的画像-照片生成方法"（【申请号】 201010289330. 9申请日：2010-09-24申请公布号：CN 101958000A)中公开了一种基于稀疏 表示的人脸画像合成方法。【具体实施方式】是：首先采用已有的画像合成方法生成画像的初 始估计，然后再利用稀疏表示的方法合成出合成画像的细节信息，最后将初始估计和细节 信息进行线性叠加得到最后的合成画像。该方法存在以下缺陷：合成画像的好坏依赖于初 始画像合成方法，此外细节信息的线性叠加使得合成画像不自然。
[0007] 上述三类画像合成方法只适用于测试照片与训练集照片背景相同的情况，当测试 照片与训练集照片背景不同时，测试照片用上述三类方法合成的画像的背景会存在噪声。 当测试照片中存在眼镜、发卡等非人脸部件，而训练集照片中都不存在这些非人脸部件时， 测试照片用上述三类方法合成的对应画像会丢失测试照片中的非人脸部件。此外上述三类 画像合成方法都需要用大量的照片-画像对作为训练集，当训练集中只有单照片-画像对 时，合成效果很差，然而收集大量的照片-画像对又费时费力。
【发明内容】
[0008] 有鉴于此，本发明的主要目的在于提供一种基于单照片与画像对的人脸画像合成 方法。
[0009] 为达到上述目的，本发明的技术方案是这样实现的：
[0010] 本发明实施例提供一种基于单照片与画像对的人脸画像合成方法，该合成方法 为：在数据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试 照片样本集，将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集 和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第 二图像块子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的 测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距 离所述第二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得 的前K个系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合 成图像；将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块， 再将所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块 子集，将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，所述 查找到的图像块构成最终合成图像。
[0011] 上述方案中，所述在数据库样本集内随机选择一对照片与画像对作为初始图像 对，剩余的照片作为测试照片样本集，具体为：将数据库样本集中所有照片与画像对中的图 像由彩色图像变成灰度图像，再从照片与画像对集合中选择一对照片与画像作为训练样本 集A，再将剩下的照片与画像对中的所有照片作为测试照片样本集B，并从测试照片样本集 B中选取一张测试照片T。
[0012] 上述方案中，所述将对所述初始图像对进行分块后得到的图像块进行划分获得第 一图像块子集和第二图像块子集，具体为：
[0013] 2a)对训练样本集A中的照片与画像对建立η层高斯金字塔，高斯金字塔中的每一 层都对应着某个尺度下的照片与画像对：
[0014] 2al)构造尺度值为σ的高斯函数：
【主权项】
1. 一种基于单照片与画像对的人脸画像合成方法，其特征在于，该合成方法为：在数 据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试照片样本 集，将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图 像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块 子集投影到投影矩阵得到第一投影系数集合；然后将从测试照片样本集中选择的测试照片 分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离所述第 二投影系数集合在第一投影系数集合中查找到距离最近的前K个系数，根据获得的前K个 系数在第二图像块子集查找到匹配的图像块，将查找到的图像块合成得到初始合成图像； 将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将所 述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集，将 所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，所述查找到的 图像块构成最终合成图像。
2. 根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述在数据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试照 片样本集，具体为：将数据库样本集中所有照片与画像对中的图像由彩色图像变成灰度图 像，再从照片与画像对集合中选择一对照片与画像作为训练样本集A，再将剩下的照片与画 像对中的所有照片作为测试照片样本集B，并从测试照片样本集B中选取一张测试照片T。
3. 根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图 像块子集，具体为： 2a)对训练样本集A中的照片与画像对建立n层高斯金字塔，高斯金字塔中的每一层都 对应着某个尺度下的照片与画像对： 2al)构造尺度值为〇的高斯函数：
其中，G(x，y，〇)表示在〇尺度值下的高斯函数，x，y分别表示图像中像素点对应的 横、纵坐标值； 2a2)将图像与（2al)所得的高斯函数进行卷积，得到高斯金字塔第一层的图像； 2a3)设i= 1 ; 2a4)将尺度值〇乘以一个比例系数i+