基于多特征融合的图像合成方法
【专利摘要】本发明涉及一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其实现步骤是：首先划分数据库样本集；将所有的图像进行图像滤波后，对图像分块并提取图像块特征，得到训练画像块字典和照片块字典；利用这两个字典根据输入的测试照片块或测试画像块，寻找近邻块；建立马尔可夫网络模型得到待合成画像块或待合成照片块；对所有的待合成画像块或待合成照片块进行融合即可得到合成画像或合成照片。本发明与现有方法相比，合成结果具有更高的清晰度和更少的结构缺失，可用于人脸检索与识别。
【专利说明】基于多特征融合的图像合成方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，更进一步涉及模式识别与计算机视觉【技术领域】中的基于多特征融合的图像合成方法，可用于刑侦破案中的人脸检索与识别。
【背景技术】
[0002]随着科学技术的发展，如何准确的对一个人的身份进行鉴别和认证，已成为亟需解决的问题之一，其中人脸识别具有直接、友好和方便等特点，得到了广泛的研究与应用。人脸识别技术的一个重要应用就是协助警方进行案件侦破。但是在很多情况下，嫌疑犯的照片是很难获得的，警方可以根据现场目击证人的描述绘制出嫌疑犯的画像，之后在警方的照片数据库中进行检索与识别。由于人脸照片和画像在成像机制、形状和纹理方面都存在较大的差异，直接采用现有的人脸识别方法识别效果较差。针对上述问题，一种解决方案是将警方人脸数据库中的照片转化成合成画像，之后将待识别画像在合成画像数据库中进行识别；另一种方案是将待识别画像转化成合成照片，之后对其在警方的照片数据库中进行识别。目前人脸画像-照片合成通常基于三种方法:其一，基于局部线性的人脸画像-照片合成方法；其二，基于马尔可夫网络模型的人脸画像-照片合成方法；其三，基于稀疏表示的人脸画像-照片合成方法。
[0003]Liu 等人在文献“Q.S.Liu and X.0.Tang, A nonlinear approach for facesketch synthesis and recognition,in Proc.1EEE Int.Conference on ComputerVision, San Diego, CA, pp.1005-1010，20_26Jun.2005.” 中提出了一种借助局部线性来近似全局非线性的方法将照片转化成合成画像。该方法实施方式是:首先将训练集中的照片到画像对及待变换照片划分成相同大小及相同重叠区域的图像块，对于待变换照片的每一个照片块在训练照片块中寻找它的K个近邻照片块，然后将K个照片块对应的画像块进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是:由于近邻个数是固定的，导致合成结果存在清晰度低、细节模糊的缺陷。
[0004]Wang 等人在文献“X.Wang, and X.Tang, “Face Photo-Sketch Synthesis andRecognition,，，IEEE Transactions on Pattern Analysis and Machine Intelligence, 3I (11) ,1955-1967，2009”中提出了一种基于马尔可夫网络模型的人脸画像-照片合成方法。该方法实施方式是:首先将训练集中的画像-照片对及测试照片分块，然后根据测试照片块与训练照片块之间的关系以及相邻位置的画像块之间的关系，建立马尔可夫网络模型，对每个测试照片块寻找一个最佳的训练画像块作为待合成画像块，最后将所有的待合成画像块融合得到合成画像。但是该方法存在的不足之处是:由于每个照片块位置只选择一个训练画像块进行画像合成，导致合成结果存在块效应和细节缺失的问题。
[0005]高新波等人申请的专利技术“基于稀疏表示的画像-照片生成方法”(申请号:201010289330.9，申请日:2010-09-24申请公布号:CN101958000A)中公开了一种基于稀疏表示的人脸画像-照片合成方法，该方法实施方式是:首先采用已有方法生成合成画像或合成照片的初始估计，然后利用稀疏表示的方法合成出细节信息，最后将初始估计和细节信息进行融合。但是该方法存在的不足之处是:忽略了相邻位置的图像块之间的关系，导致合成结果存在模糊和块效应。
【发明内容】
[0006]本发明所要解决的技术问题是克服上述现有方法的不足，提出一种基于多特征融合的图像合成方法，该方法能提高合成画像或合成照片的图像质量。
[0007]本发明解决上述技术问题所采用的技术方案为:一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其特征在于:
[0008]当需要将照片合成为画像时，包括如下步骤:
[0009](la)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试照片P ；
[0010](2a)、将训练照片样本集中的M张训练照片和测试照片P分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练照片进行高斯差分滤波后的M张第一类滤波照片，M张训练照片进行中心-周边归一化滤波后的M张第二类滤波照片，M张训练照片进行高斯滤波后的M张第三类滤波照片，测试照片进行高斯差分滤波后的一张第四滤波照片，测试照片进行中心-周边归一化滤波后的一张第五滤波照片，测试照片进行高斯滤波后的一张第六滤波照片；
[0011 ] (3a)、将训练照片样本集中的M张训练照片、M张第一类滤波照片、M张第二类滤波照片和M张第三类滤波照片组合一个包含有4M张照片的照片集，将该照片集内的每张照片划分为N块大小相同、重叠程度相同的训练照片块，该训练照片块称为原始训练照片块，原始训练照片块的数目为4M*N ;然后对每个原始训练照片块提取该原始训练照片块的SURF特征和LBP特征，原始训练照片块提取SURF特征后的照片称为第一类训练照片块，第一类训练照片块的数目也为4M*N张；原始训练照片块提取LBP特征后的照片称为第二类训练照片块，第二类训练照片块的数目也为4M*N张；将原始训练照片块、第一类训练照片块和第二类训练照片块组合在一起，从而得到4M*N*3即12*M*N张训练照片块，将这12*M*N张训练照片块组成训练照片块字典，用Dp表示；
[0012](4a)、将训练画像样本集中的M张画像分别划分为N块大小相同及重叠程度相同的训练画像块，从而得到M*N个训练图像块，将这M*N个训练图像块组成训练画像块字典，用Ds表不；
[0013](5a)、将测试照片和第四滤波照片、第五滤波照片、第六滤波照片这四张照片分别划分为N块大小相同及重叠程度相同的测试照片块，该测试照片块称为原始测试照片块，原始测试照片块的数目为4*N张；对每个原始测试照片块进行SURF特征和LBP特征提取，原始测试照片块提取SURF特征后的照片称为第一类测试照片块，第一类测试照片块的数目也为4*N张；原始测试照片块提取LBP特征后的照片称为第二类测试照片块，第二类测试照片块的数目也为4*N张；将原始测试照片块、第一类测试照片块和第二类测试照片块组合在一起，从而得到4*N*3即12*N张测试照片块，将这12*N张测试照片块组成测试照片块字典，用Dt表示；[0014](6a)、将测试照片块字典Dt中的任一原始测试照片块及其对应的第一类测试照片块与第二类测试照片块按列组合成一个向量，那么从测试照片块字典Dt中能得到N个这样的向量，将从测试照片块字典Dt中得到N个向量称为原始测试照片块向量字典Dtv;同时，将训练照片块字典Dp中的任一原始训练照片块及其对应的第一类训练照片块和第二类训练照片块按列组合在一起形成一个向量，那么从训练照片块字典Dp中可以得到M*N个向量，将从训练照片块字典Dp中得到的M*N个向量称为原始训练照片块向量字典Dpv ；
[0015](7a)、对于原始测试照片块向量字典Dtv中的任一向量，计算其与原始训练照片块向量字典Dpv中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练照片块向量字典Dpv中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练照片块、第一类训练照片块和第二类训练照片块，将得到的K张原始训练照片块称为第一类候选照片块，而将与K张原始训练照片块对应的K张原始训练画像块，称为候选画像块；将得到的K张第一类训练照片块称为第二类候选照片块，将得到的K张第二类训练照片块称为第三类候选照片块；
[0016](8a)、利用第一类候选照片块、第二类候选照片块、第三类候选照片块、候选画像块、原始测试照片块、第一类测试照片块和第二类测试照片块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选照片块、第二类候选照片块、和第三类候选照片块的权值μ 1、μ 2、μ 3，同时得到候选画像块的权值W ;
[0017](9a)、将步骤(7a)得到的候选画像块和步骤(8a)得到的权值w相乘得到合成画像块；
[0018](IOa)、重复执行步骤(8a)_(9a)，直至得到N块合成画像块，最后将得到的N块合成画像块进行组合得到原始测试照片P对应的合成画像。
[0019]当需要将画像合成为照片时，包括如下步骤:
[0020](lb)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试画像S ；
[0021](2b)、将训练画像样本集中的M张训练画像和测试画像S分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练画像进行高斯差分滤波后的M张第一类滤波画像，M张训练画像进行中心-周边归一化滤波后的M张第二类滤波画像，M张训练画像进行高斯滤波后的M张第三类滤波画像，测试画像进行高斯差分滤波后的一张第四滤波画像，测试画像进行中心-周边归一化滤波后的一张第五滤波画像，测试画像进行高斯滤波后的一张第六滤波画像；
[0022](3b)、将训练画像样本集中的M张训练画像、M张第一类滤波画像、M张第二类滤波画像和M张第三类滤波画像组合一个包含有4M张画像的画像集，将该画像集内的每张画像划分为N块大小相同、重叠程度相同的训练画像块，该训练画像块称为原始训练画像块，原始训练画像块的数目为4M*N ;然后对每个原始训练画像块提取该原始训练画像块的SURF特征和LBP特征，原始训练画像块提取SURF特征后的画像称为第一类训练画像块，第一类训练画像块的数目也为4M*N张；原始训练画像块提取LBP特征后的画像称为第二类训练画像块，第二类训练画像块的数目也为4M*N张；将原始训练画像块、第一类训练画像块和第二类训练画像块组合在一起，从而得到4M*N*3即12*M*N张训练画像块，将这12*M*N张训练画像块组成训练画像块字典，用Ds’表示；
[0023](4b)、将训练照片样本集中的M张照片分别划分为N块大小相同及重叠程度相同的训练照片块，从而得到M*N个训练照片块，将这M*N个训练照片块组成训练照片块字典，用Dp’表不；
[0024](5b)、将测试画像和第四滤波画像、第五滤波画像、第六滤波画像这四张画像分别划分为N块大小相同及重叠程度相同的测试画像块，该测试画像块称为原始测试画像块，原始测试画像块的数目为4*N张；对每个原始测试画像块进行SURF特征和LBP特征提取，原始测试画像块提取SURF特征后的画像称为第一类测试画像块，第一类测试画像块的数目也为4*N张；原始测试画像块提取LBP特征后的画像称为第二类测试画像块，第二类测试画像块的数目也为4*N张；将原始测试画像块、第一类测试画像块和第二类测试画像块组合在一起，从而得到4*N*3即12*N张测试画像块，将这12*N张测试画像块组成测试画像块子典，用Dt’表不；
[0025](6b)、将测试画像块字典Dt’中的任一原始测试画像块及其对应的第一类测试画像块与第二类测试画像块按列组合成一个向量，那么从测试画像块字典Dt’中能得到N个这样的向量，将从测试画像块字典Dt’中得到N个向量称为原始测试画像块向量字典Dtv’ ；同时，将训练画像块字典Ds’中的任一原始训练画像块及其对应的第一类训练画像块和第二类训练画像块按列组合在一起形成一个向量，那么从训练画像块字典Ds’中可以得到M*N个向量，将从训练画像块字典Ds’中得到的M*N个向量称为原始训练画像块向量字典Dsv’ ；
[0026](7b)、对于原始训练画像块向量字典Dtv’中的任一向量，计算其与原始训练画像块向量字典Dsv’中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练画像块向量字典Dsv’中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练画像块、第一类训练画像块和第二类训练画像块，将得到的K张原始训练画像块称为第一类候选画像块，而将与K张原始训练画像块对应的K张原始训练照片块，称为候选照片块；将得到的K张第一类训练画像块称为第二类候选画像块，将得到的K张第二类训练画像块称为第三类候选画像块；
[0027](Sb)、利用第一类候选画像块、第二类候选画像块、第三类候选画像块、候选照片块、原始测试画像块、第一类测试画像块和第二类测试画像块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选画像块、第二类候选画像块、和第三类候选画像块的权值μ1’、μ2’、μ 3’，同时得到候选照片块的权值W’ ；
[0028](9b)、将步骤(7b)得到的候选照片块和步骤(Sb)得到的权值w’相乘得到合成照片块；
[0029](IOb)、重复执行步骤(8b)_(9b)，直至得到N块合成照片块，最后将得到的N块合成照片块进行组合得到原始测试画像S对应的合成照片。
[0030]与现有技术相比，本发明的优点在于:
[0031]第一，本发明考虑了相邻位置图像块之间的关系，同时在每个图像块位置选择个近邻图像块进行重建，使得合成结果更加清晰；
[0032]第二，本发明采用了多特征融合的方法衡量两个图像块之间的距离关系，提高了合成结果的质量并有效的避免结构缺失的问题。【专利附图】
【附图说明】
[0033]图1为本发明基于多特征融合的照片到画像的合成方法流程图；
[0034]图2为本发明基于多特征融合的画像到照片的合成方法流程图；
[0035]图3为本发明与现有的两种方法在CUHK student数据库上的合成画像的对比结果图；
[0036]图4为本发明与现有的两种方法在CUHK student数据库上的合成照片的对比结果图。
【具体实施方式】
[0037]以下结合附图实施例对本发明作进一步详细描述。
[0038]本发明提供的基于多特征融合的图像合成方法，可以将照片合成为画像，或者将画像合成为照片，当需要将照片合成为画像时，包括如下步骤，参见图1所示:
[0039](la)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试照片P ；
[0040](2a)、将训练照片样本集中的M张训练照片和测试照片P分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练照片进行高斯差分滤波后的M张第一类滤波照片，M张训练照片进行中心-周边归一化滤波后的M张第二类滤波照片，M张训练照片进行高斯滤波后的M张第三类滤波照片，测试照片进行高斯差分滤波后的一张第四滤波照片，测试照片进行中心-周边归一化滤波后的一张第五滤波照片，测试照片进行高斯滤波后的一张第六滤波照片；本步骤中，高斯差分滤波、中心-周边归一化滤波和高斯滤波为现有常规技术；
[0041](3a)、将训练照片样本集中的M张训练照片、M张第一类滤波照片、M张第二类滤波照片和M张第三类滤波照片组合一个包含有4M张照片的照片集，将该照片集内的每张照片划分为N块大小相同、重叠程度相同的训练照片块，该训练照片块称为原始训练照片块，原始训练照片块的数目为4M*N ;然后对每个原始训练照片块提取该原始训练照片块的SURF特征和LBP特征，原始训练照片块提取SURF特征后的照片称为第一类训练照片块，第一类训练照片块的数目也为4M*N张；原始训练照片块提取LBP特征后的照片称为第二类训练照片块，第二类训练照片块的数目也为4M*N张；将原始训练照片块、第一类训练照片块和第二类训练照片块组合在一起，从而得到4M*N*3即12*M*N张训练照片块，将这12*M*N张训练照片块组成训练照片块字典，用Dp表示；
[0042]本步骤中，SURF特征的提取方法和LBP特征的提取方法为常规技术，可以分别参考文献“H.Bay, A.Ess, T.Tuytelaars, L.Gool.SURF: Speeded Up RobustFeatures.Computer Vision and Image Understanding, 110 (3): 346-359，2008，， 与“T.0jala，M.Piclikaincn, T.Maonpaa.Multiresolution Gray-Scale and RotationInvariant Texture Classification with Local Binary Patterns.1EEE Transactionson Pattern Analysis and Machine Intelligence, 24(7):971-987，2002” ；
[0043](4a)、将训练画像样本集中的M张画像分别划分为N块大小相同及重叠程度相同的训练画像块，从而得到M*N个训练图像块，将这M*N个训练图像块组成训练画像块字典，用Ds表不；
[0044](5a)、将测试照片和第四滤波照片、第五滤波照片、第六滤波照片这四张照片分别划分为N块大小相同及重叠程度相同的测试照片块，该测试照片块称为原始测试照片块，原始测试照片块的数目为4*N张；对每个原始测试照片块进行SURF特征和LBP特征提取，原始测试照片块提取SURF特征后的照片称为第一类测试照片块，第一类测试照片块的数目也为4*N张；原始测试照片块提取LBP特征后的照片称为第二类测试照片块，第二类测试照片块的数目也为4*N张；将原始测试照片块、第一类测试照片块和第二类测试照片块组合在一起，从而得到4*N*3即12*N张测试照片块，将这12*N张测试照片块组成测试照片块子典，用Dt表不；
[0045](6a)、将测试照片块字典Dt中的任一原始测试照片块及其对应的第一类测试照片块与第二类测试照片块按列组合成一个向量，那么从测试照片块字典Dt中能得到N个这样的向量，将从测试照片块字典Dt中得到N个向量称为原始测试照片块向量字典Dtv;同时，将训练照片块字典Dp中的任一原始训练照片块及其对应的第一类训练照片块和第二类训练照片块按列组合在一起形成一个向量，那么从训练照片块字典Dp中可以得到M*N个向量，将从训练照片块字典Dp中得到的M*N个向量称为原始训练照片块向量字典Dpv ；
[0046](7a)、对于原始测试照片块向量字典Dtv中的任一向量，计算其与原始训练照片块向量字典Dpv中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练照片块向量字典Dpv中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练照片块、第一类训练照片块和第二类训练照片块，将得到的K张原始训练照片块称为第一类候选照片块，而将与K张原始训练照片块对应的K张原始训练画像块，称为候选画像块；将得到的K张第一类训练照片块称为第二类候选照片块，将得到的K张第二类训练照片块称为第三类候选照片块；
[0047](8a)、利用第一类候选照片块、第二类候选照片块、第三类候选照片块、候选画像块、原始测试照片块、第一类测试照片块和第二类测试照片块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选照片块、第二类候选照片块、和第三类候选照片块的权值μ 1、μ 2、μ 3，同时得到候选画像块的权值W ;
[0048](9a)、将步骤(7a)得到的候选画像块和步骤(8a)得到的权值w相乘得到合成画像块；
[0049](IOa)、重复执行步骤(8a)_(9a)，直至得到N块合成画像块，最后将得到的N块合成画像块进行组合得到原始测试照片P对应的合成画像。
[0050]当需要将画像合成为照片时，包括如下步骤，参见图2所示:
[0051](lb)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试画像S ；
[0052](2b)、将训练画像样本集中的M张训练画像和测试画像S分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练画像进行高斯差分滤波后的M张第一类滤波画像，M张训练画像进行中心-周边归一化滤波后的M张第二类滤波画像，M张训练画像进行高斯滤波后的M张第三类滤波画像，测试画像进行高斯差分滤波后的一张第四滤波画像，测试画像进行中心-周边归一化滤波后的一张第五滤波画像，测试画像进行高斯滤波后的一张第六滤波画像；
[0053](3b)、将训练画像样本集中的M张训练画像、M张第一类滤波画像、M张第二类滤波画像和M张第三类滤波画像组合一个包含有4M张画像的画像集，将该画像集内的每张画像划分为N块大小相同、重叠程度相同的训练画像块，该训练画像块称为原始训练画像块，原始训练画像块的数目为4M*N ;然后对每个原始训练画像块提取该原始训练画像块的SURF特征和LBP特征，原始训练画像块提取SURF特征后的画像称为第一类训练画像块，第一类训练画像块的数目也为4M*N张；原始训练画像块提取LBP特征后的画像称为第二类训练画像块，第二类训练画像块的数目也为4M*N张；将原始训练画像块、第一类训练画像块和第二类训练画像块组合在一起，从而得到4M*N*3即12*M*N张训练画像块，将这12*M*N张训练画像块组成训练画像块字典，用Ds’表示；
[0054](4b)、将训练照片样本集中的M张照片分别划分为N块大小相同及重叠程度相同的训练照片块，从而得到M*N个训练照片块，将这M*N个训练照片块组成训练照片块字典，用Dp’表不；
[0055](5b)、将测试画像和第四滤波画像、第五滤波画像、第六滤波画像这四张画像分别划分为N块大小相同及重叠程度相同的测试画像块，该测试画像块称为原始测试画像块，原始测试画像块的数目为4*N张；对每个原始测试画像块进行SURF特征和LBP特征提取，原始测试画像块提取SURF特征后的画像称为第一类测试画像块，第一类测试画像块的数目也为4*N张；原始测试画像块提取LBP特征后的画像称为第二类测试画像块，第二类测试画像块的数目也为4*N张；将原始测试画像块、第一类测试画像块和第二类测试画像块组合在一起，从而得到4*N*3即12*N张测试画像块，将这12*N张测试画像块组成测试画像块子典，用Dt’表不；
[0056](6b)、将测试画像块字典Dt’中的任一原始测试画像块及其对应的第一类测试画像块与第二类测试画像块按列组合成一个向量，那么从测试画像块字典Dt’中能得到N个这样的向量，将从测试画像块字典Dt’中得到N个向量称为原始测试画像块向量字典Dtv’ ；同时，将训练画像块字典Ds’中的任一原始训练画像块及其对应的第一类训练画像块和第二类训练画像块按列组合在一起形成一个向量，那么从训练画像块字典Ds’中可以得到M*N个向量，将从训练画像块字典ds’中得到的M*N个向量称为原始训练画像块向量字典Dsv’ ；
[0057](7b)、对于原始训练画像块向量字典Dtv’中的任一向量，计算其与原始训练画像块向量字典Dsv’中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练画像块向量字典Dsv’中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练画像块、第一类训练画像块和第二类训练画像块，将得到的K张原始训练画像块称为第一类候选画像块，而将与K张原始训练画像块对应的K张原始训练照片块，称为候选照片块；将得到的K张第一类训练画像块称为第二类候选画像块，将得到的K张第二类训练画像块称为第三类候选画像块；
[0058](Sb)、利用第一类候选画像块、第二类候选画像块、第三类候选画像块、候选照片块、原始测试画像块、第一类测试画像块和第二类测试画像块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选画像块、第二类候选画像块、和第三类候选画像块的权值μ1’、μ2’、μ 3’，同时得到候选照片块的权值W’ ；
[0059](9b)、将步骤(7b)得到的候选照片块和步骤(Sb)得到的权值w’相乘得到合成照片块；
[0060](IOb)、重复执行步骤(8b)_(9b)，直至得到N块合成照片块，最后将得到的N块合成照片块进行组合得到原始测试画像S对应的合成照片。
[0061]本发明的效果可以通过以下仿真实验做进一步的说明。
[0062]1、仿真条件
[0063]本发明是在中央处理器为Inter (R) Core (TM) i5-34703.20GHz、内存 8G、WIND0WS7操作系统上，运用美国Mathworks公司开发的MATLAB2012b进行仿真，数据库采用香港中文大学CUHK student数据库。
[0064]2、仿真内容
[0065]实验1:照片到画像的合成
[0066]根据本发明方法【具体实施方式】中所述，利用基于多特征融合的方法在香港中文大学的CUHK student数据库上进行照片到画像的合成，用基于局部线性的方法LLE以及基于马尔可夫网络模型的方法MRF在CUHK student数据库上进行照片到画像的合成，实验结果对比图如图3，其中图3(a)为原始照片，图3(b)为基于局部线性的方法LLE合成的画像，图3(c)为基于马尔可夫网络模型的方法MRF合成的画像，图3(d)为本发明方法合成的画像；
[0067]实验2:画像到照片的合成
[0068]根据本发明方法【具体实施方式】二中所述，利用基于多特征融合的方法在香港中文大学的CUHK student数据库上进行画像到照片的合成，用基于局部线性的方法LLE以及基于马尔可夫网络模型的方法MRF在CUHK student数据库上进行画像到照片的合成，实验结果对比图如图4，其中图4(a)为原始画像，图4(b)为基于局部线性的方法LLE合成的照片，图4(c)为基于马尔可夫网络模型的方法MRF合成的照片，图4(d)为本发明方法合成的照片。
[0069]由实验I和实验2结果可见，由于借助了多特征融合的思想，可以更好的衡量两个图像块之间的距离关系，使得合成结果优于其他的人脸画像-照片合成方法，验证了本发明的先进性。
【权利要求】
1.一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其特征在于: 当需要将照片合成为画像时，包括如下步骤: (la)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试照片P ; (2a)、将训练照片样本集中的M张训练照片和测试照片P分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练照片进行高斯差分滤波后的M张第一类滤波照片，M张训练照片进行中心-周边归一化滤波后的M张第二类滤波照片，M张训练照片进行高斯滤波后的M张第三类滤波照片，测试照片进行高斯差分滤波后的一张第四滤波照片，测试照片进行中心-周边归一化滤波后的一张第五滤波照片，测试照片进行高斯滤波后的一张第六滤波照片； (3a)、将训练 照片样本集中的M张训练照片、M张第一类滤波照片、M张第二类滤波照片和M张第三类滤波照片组合一个包含有4M张照片的照片集，将该照片集内的每张照片划分为N块大小相同、重叠程度相同的训练照片块，该训练照片块称为原始训练照片块，原始训练照片块的数目为4M*N ;然后对每个原始训练照片块提取该原始训练照片块的SURF特征和LBP特征，原始训练照片块提取SURF特征后的照片称为第一类训练照片块，第一类训练照片块的数目也为4M*N张；原始训练照片块提取LBP特征后的照片称为第二类训练照片块，第二类训练照片块的数目也为4M*N张；将原始训练照片块、第一类训练照片块和第二类训练照片块组合在一起，从而得到4M*N*3即12*M*N张训练照片块，将这12*M*N张训练照片块组成训练照片块字典，用Dp表示； (4a)、将训练画像样本集中的M张画像分别划分为N块大小相同及重叠程度相同的训练画像块，从而得到M*N个训练图像块，将这M*N个训练图像块组成训练画像块字典，用Ds表不; (5a)、将测试照片和第四滤波照片、第五滤波照片、第六滤波照片这四张照片分别划分为N块大小相同及重叠程度相同的测试照片块，该测试照片块称为原始测试照片块，原始测试照片块的数目为4*N张；对每个原始测试照片块进行SURF特征和LBP特征提取，原始测试照片块提取SURF特征后的照片称为第一类测试照片块，第一类测试照片块的数目也为4*N张；原始测试照片块提取LBP特征后的照片称为第二类测试照片块，第二类测试照片块的数目也为4*N张；将原始测试照片块、第一类测试照片块和第二类测试照片块组合在一起，从而得到4*N*3即12*N张测试照片块，将这12*N张测试照片块组成测试照片块字典，用Dt表不； (6a)、将测试照片块字典Dt中的任一原始测试照片块及其对应的第一类测试照片块与第二类测试照片块按列组合成一个向量，那么从测试照片块字典Dt中能得到N个这样的向量，将从测试照片块字典Dt中得到N个向量称为原始测试照片块向量字典Dtv;同时，将训练照片块字典Dp中的任一原始训练照片块及其对应的第一类训练照片块和第二类训练照片块按列组合在一起形成一个向量，那么从训练照片块字典Dp中可以得到M*N个向量，将从训练照片块字典Dp中得到的M*N个向量称为原始训练照片块向量字典Dpv ； (7a)、对于原始测试照片块向量字典Dtv中的任一向量，计算其与原始训练照片块向量字典Dpv中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练照片块向量字典Dpv中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练照片块、第一类训练照片块和第二类训练照片块，将得到的K张原始训练照片块称为第一类候选照片块，而将与K张原始训练照片块对应的K张原始训练画像块，称为候选画像块；将得到的K张第一类训练照片块称为第二类候选照片块，将得到的K张第二类训练照片块称为第三类候选照片块； (8a)、利用第一类候选照片块、第二类候选照片块、第三类候选照片块、候选画像块、原始测试照片块、第一类测试照片块和第二类测试照片块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选照片块、第二类候选照片块、和第三类候选照片块的权值μ 1、μ 2、μ 3，同时得到候选画像块的权值W ; (9a)、将步骤(7a)得到的候选画像块和步骤(8a)得到的权值w相乘得到合成画像块；(IOa)、重复执行步骤(8a)_(9a)，直至得到N块合成画像块，最后将得到的N块合成画像块进行组合得到原始测试照片P对应的合成画像； 当需要将画像合成为照片时，包括如下步骤: (lb)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试画像S ； (2b)、将训练画像样本集中的M张训练画像和测试画像S分别同时进行高斯差分滤波、中心-周边归一化滤波和高斯滤波，分别得到M张训练画像进行高斯差分滤波后的M张第一类滤波画像，M张训练画像进行中心-周边归一化滤波后的M张第二类滤波画像，M张训练画像进行高斯滤波后的M张第三类滤波画像，测试画像进行高斯差分滤波后的一张第四滤波画像，测试画像进行中心-周边归一化滤波后的一张第五滤波画像，测试画像进行高斯滤波后的一张第六滤波画像； (3b)、将训练画像样本集中的M张训练画像、M张第一类滤波画像、M张第二类滤波画像和M张第三类滤波画像组合一个包含有4M张画像的画像集，将该画像集内的每张画像划分为N块大小相同、重叠程度相同的训练画像块，该训练画像块称为原始训练画像块，原始训练画像块的数目为4M*N ;然后对每个原始训练画像块提取该原始训练画像块的SURF特征和LBP特征，原始训练画像块提取SURF特征后的画像称为第一类训练画像块，第一类训练画像块的数目也为4M*N张；原始训练画像块提取LBP特征后的画像称为第二类训练画像块，第二类训练画像块的数目也为4M*N张；将原始训练画像块、第一类训练画像块和第二类训练画像块组合在一起，从而得到4M*N*3即12*M*N张训练画像块，将这12*M*N张训练画像块组成训练画像块字典，用Ds’表示； (4b)、将训练照片样本集中的M张照片分别划分为N块大小相同及重叠程度相同的训练照片块，从而得到M*N个训练照片块，将这M*N个训练照片块组成训练照片块字典，用Dp’表不; (5b)、将测试画像和第四滤波画像、第五滤波画像、第六滤波画像这四张画像分别划分为N块大小相同及重叠程度相同的测试画像块，该测试画像块称为原始测试画像块，原始测试画像块的数目为4*N张；对每个原始测试画像块进行SURF特征和LBP特征提取，原始测试画像块提取SURF特征后的画像称为第一类测试画像块，第一类测试画像块的数目也为4*N张；原始测试画像块提取LBP特征后的画像称为第二类测试画像块，第二类测试画像块的数目也为4*N张；将原始测试画像块、第一类测试画像块和第二类测试画像块组合在一起，从而得到4*N*3即12*N张测试画像块，将这12*N张测试画像块组成测试画像块字典，用Dt，表不； (6b)、 将测试画像块字典Dt’中的任一原始测试画像块及其对应的第一类测试画像块与第二类测试画像块按列组合成一个向量，那么从测试画像块字典Dt’中能得到N个这样的向量，将从测试画像块字典Dt’中得到N个向量称为原始测试画像块向量字典Dtv’；同时，将训练画像块字典Ds’中的任一原始训练画像块及其对应的第一类训练画像块和第二类训练画像块按列组合在一起形成一个向量，那么从训练画像块字典Ds’中可以得到M*N个向量，将从训练画像块字典Ds’中得到的M*N个向量称为原始训练画像块向量字典Dsv’ ； (7b)、对于原始训练画像块向量字典Dtv’中的任一向量，计算其与原始训练画像块向量字典Dsv’中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练画像块向量字典Dsv’中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练画像块、第一类训练画像块和第二类训练画像块，将得到的K张原始训练画像块称为第一类候选画像块，而将与K张原始训练画像块对应的K张原始训练照片块，称为候选照片块；将得到的K张第一类训练画像块称为第二类候选画像块，将得到的K张第二类训练画像块称为第三类候选画像块； (Sb)、利用第一类候选画像块、第二类候选画像块、第三类候选画像块、候选照片块、原始测试画像块、第一类测试画像块和第二类测试画像块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选画像块、第二类候选画像块、和第三类候选画像块的权值μL’、μ 2’、μ 3’，同时得到候选照片块的权值W’ ； (%)、将步骤(7b)得到的候选照片块和步骤(Sb)得到的权值w’相乘得到合成照片块； (IOb)、重复执行步骤(8b)-(9b)，直至得到N块合成照片块，最后将得到的N块合成照片块进行组合得到原始测试画像S对应的合成照片。
【文档编号】G06T11/00GK103984954SQ201410165469
【公开日】2014年8月13日 申请日期:2014年4月23日 优先权日:2014年4月23日
【发明者】李洁, 彭春蕾, 王楠楠, 高新波, 任文君, 张铭津, 张声传, 胡彦婷 申请人:西安电子科技大学宁波信息技术研究院