1作为新的尺度因子来卷积原图像，再将卷积后 的图像做比例因子为24勺降采样，得到高斯金字塔第i+1层的图像； 2a5)设i=i+1 ; 2a6)重复步骤2a4)-2a5)n-2次，即可得到n层高斯金字塔。 2b)将高斯金字塔中奇数层对应的照片与画像对设为字典训练样本集A1，即第一图像 块子集，将高斯金字塔中偶数层对应的照片与画像对设为合成训练样本集A2,即第二图像 块子集。
4. 根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，具体为： 3a)将字典训练样本集A1中所有的照片划分为相同大小及相同重叠程度的块，从而得 到字典训练照片块集合PA1， 3b)对字典训练照片块集合PA1利用有效稀疏编码方法得到训练照片块特征字典Dp，即 投影矩阵： 3bl)初始化训练照片块特征字典为高斯矩阵，并将高斯矩阵每一个列向量归 一化为单位向量；其中，1表示训练照片块特征字典Dp中字典元素的维数，m表示训练照片 块特征字典Dp中字典元素的个数； 3b2)给定字典训练照片块集合PA1以及初始化训练照片块特征字典Dp，按照下式得到 字典训练照片块集合PA1的初始稀疏表示集合C:
其中，A是正则化参数，设值为0.15, || ? ||2表示2范数，|| ? ||i表示1范数，当给 定Dp时，C可以通过特征符号搜索算法进行求解； 3b3)给定字典训练照片块集合PA1以及由（3b2)得到的初始稀疏表示集合C，按照下式 得到估计的训练照片块特征字典Dp:
当给定C时，通过拉格朗日对偶方法求解出Dp; 3b4)交替迭代3b2)和3b3)，直到以下目标函数收敛，得到最终的训练照片块特征字典Dp-
5.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述将所述第二图像块子集投影到投影矩阵得到第一投影系数集合，具体为：将合成训练样 本集A2中所有的照片与画像对划分为相同大小及相同重叠程度的块，从而分别得到合成 训练照片块集合？；\2 = {xp…，Xj,…，xN}以及合成训练画像块集合SA2= {y:，…，y」，…，yN}。 5a)给定合成训练照片块集合PA2中的一个训练照片块h和训练照片块特征字典Dp; 5b)利用最小角回归方法求解以下最优化问题：
，得到训练照片块&对应的稀疏表示h，其中，入是 正则化参数，设值为〇. 15 ; 5c)对合成训练照片块集合PA2中的每个训练照片块h重复步骤5a)和5b)，得到合成 训练照片块集合PA2对应的稀疏表示集合： Cp -{c" …，Cj，…，cN}， 其中，q表示第j个照片块h的稀疏表示，由于每个稀疏表示h都包含稀疏系数值 以及稀疏系数值在稀疏编码中被求解的顺序(V因此稀疏表示集合Cp包含有稀疏系数值集 合vp以及对应的稀疏系数值在稀疏编码中被求解的顺序集合0p，其表示如下： Vp= {v 1，…，Vj，…，VJ ; 〇p- 1，…，〇j，…，。
6. 根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述将从测试照片样本集中选择的测试照片分块后得到的图像块投影到投影矩阵得到第二 投影系数集合，具体为： 6a)将测试照片T划分为相同大小及相同重叠程度的测试照片块集合：P= {Xl，一 ，Xi，…，xM}，Xi表示测试照片T中的第i个照片块； 6b)将每个测试照片块Xi用训练照片块特征字典Dp进行稀疏编码，得到xi对应的稀疏 表不 其中，Ci表示第i个测试照片块Xi的稀疏表示，每个稀疏表示ci都包含稀疏系数值Vi以及稀疏系数值在稀疏编码中被求解的顺序0i。
7. 根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述根据相似性尺度距离所述第二投影系数集合在第一投影系数集合中查找到距离最近的 前K个系数，根据获得的前K个系数在第二图像块子集查找到匹配的图像块，具体为： 7a)设t= 1，9 = 2K; 7b)从顺序集合0p中选出与求解顺序〇i中第t个值相同的所有稀疏表示q，并将这些 选出的稀疏表示记为集合^，并用值替代稀疏表示集合Cp，再判断中稀疏表示的个 数T:如果0 <T< 0，则转到步骤7e)，如果T= 0,则保留替代前的稀疏表示集合Cp，并转 到步骤7e)，如果T> 0，则转到步骤7c); 7c)从稀疏系数值集合Vp中选出与稀疏系数值vi中第t个值欧式距离最相近的1/9稀 疏表示h，并将这些选出的稀疏表示记为集合，并用C；'值替代稀疏表示集合Cp，再判断 $中稀疏表示的个数T:如果0 <T彡0，则转到步骤7e)，如果T= 0,则保留替代前的稀 疏表示集合Cp，并转到步骤7e)，如果T> 0，则转到步骤7d); 7d)令t=t+1，返回步骤7b); 7e)将稀疏表示集合Cp中所有T个稀疏表示对应的合成训练照片块集合PA2中的T个照 片块作为稀疏表示(^对应的测试照片块、的待选择照片块集合{^，1，'2，一，'1}:如果丁 <K，则利用复制操作将待选择照片块从T个增加到K个，如果T>K，则利用测试照片块Xi 的高频信息与待选择照片块的高频信息的欧式距离将待选择照片块从T个减少为K个，使 待选择照片块集合从{xu，xi;2，…，Xi，T}变成无= {xu,x,.2，…，卜最后再从合成训练画像 块集合SA2中选择集合夕对应的K个画像块作为待选择画像块集合：兑= (.%，.，…，。
8. 根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述将查找到的图像块合成得到初始合成图像，具体为： 根据求解马尔可夫随机场模型来从待选择画像块集合只中得到每个测试照片块\最 终对应的训练画像块，并将这些训练画像块进行融合得到与测试照片T对应的初始合成画 像St，t= 0〇
9.根据权利要求1所述的基于单照片与画像对的人脸画像合成方法，其特征在于，所 述将所述初始合成图像与测试照片构成第一图像对，并对所述第一图像对进行分块，再将 所述第一图像对得到的图像块与所述初始图像对得到的图像块整合构成第三图像块子集， 将所述测试照片分块后得到的图像块在第三图像块子集内查找匹配的图像块，所述查找到 的图像块构成最终合成图像，具体为： 9a)测试照片T与初始合成画像St对和训练样本集A中的照片与画像对组成新的训练 样本集At，t= 0 ; 9b)对新的训练样本集At，t= 0,通过求解级联图像合成模型来得到测试照片T对应 的最终合成画像St，t=m，其中，m表示级联迭代次数： 9bl)设t= 0 ; 9b2)将新的训练样本集At中的照片和画像划分为相同大小及相同重叠程度的 ±夬，得到新的合成训练照片块集合& =hA}以及新的合成训练画像块集合 9b3)对每个测试照片块Xi，根据欧式距离从新的合成训练照片块集合&中寻找K个相 近的照片块作为待选择照片块足.，….~卜同时从新的合成训练画像块集合\中 选择对应的画像块作为待选择画像块丸，…，; 9b4)利用步骤9b3)得到的待选择画像块集合另，通过求解马尔可夫随机场模型来得 到每个测试照片块\最终对应的训练画像块，并将这些训练画像块进行融合得到与测试照 片T对应的合成画像St，t=t+1 ; 9b5)利用步骤9b4)得到的测试照片T与合成画像St对与训练样本集A中的照片与画 像对组成新的训练样本集At，t=t+1 ; 9b6)迭代执行步骤9b2) -9b5)直至迭代次数达到规定次数m，则St，t=m，就是最终的 合成画像。
【专利摘要】本发明公开了一种基于单照片与画像对的人脸画像合成方法，在数据库样本集内随机选择一对照片与画像对作为初始图像对，剩余的照片作为测试照片样本集，将对所述初始图像对进行分块后得到的图像块进行划分获得第一图像块子集和第二图像块子集，将所述获得的第一图像块子集进行矩阵分解得到投影矩阵，将所述第二图像块子集投影到投影矩阵得到第一投影系数集合；然后将测试照片分块后得到的图像块投影到投影矩阵得到第二投影系数集合，根据相似性尺度距离将在第二图像块子集查找到匹配的图像块合成得到初始合成图像；最后进行迭代合成最终合成图像。本发明增强初始合成画像的质量，省去费时费力的收集大量照片与画像对的过程。
【IPC分类】G06T7-00, G06T5-50
【公开号】CN104700380
【申请号】CN201510109027
【发明人】王楠楠, 高新波, 张声传, 李洁, 王峰, 于昕晔, 张铭津, 彭春蕾, 胡彦婷
【申请人】陕西炬云信息科技有限公司
【公开日】2015年6月10日
【申请日】2015年3月12日