基于贝叶斯推断的人脸画像合成方法
【专利摘要】本发明公开了一种基于贝叶斯推断的人脸画像合成方法，主要解决现有方法在近邻寻找或者在权值求解阶段没有考虑相邻图像块之间的相似性约束问题。其方案是：1.划分训练画像样本集、训练照片样本集和测试样本集；2.将所有图像划分成图像块，并组成块集合；3.将训练照片块集合与对应的画像块集合划分为多个子集；4.从训练照片?画像块集合中选择出最近邻块；5.将最近邻块按欧式距离从训练照片?画像块集合中进行近邻块再选择，对求解再选近邻块的线性组合权值；6.依据近邻块和组合权值，求解待合成画像块；7.迭代执行步骤5?6共N次，融合得到最终的合成画像。本发明具有合成结果清晰度高、细节更完整的优点，可用于人脸检索与识别。
【专利说明】
基于贝叶斯推断的人脸画像合成方法
技术领域
[0001] 本发明是属于图像处理的技术领域，更进一步涉及一种人脸画像合成方法，可用 于刑侦破案中的人脸检索与识别。
【背景技术】
[0002] 人脸画像合成在数字娱乐和刑侦破案中作用巨大。例如在3D巧克力打印中，通常 需要利用人脸画像合成算法合成一张黑白画像来作为打印机的打印轨迹;在刑侦破案过程 中往往并不总能得到犯罪嫌疑人的照片，得到的经常是目击者的一些描述或视频图像资 料，为了快速破案，可行的方案是根据目击者描述及视频图像提供的线索绘制一幅画像，进 而通过画像进行身份确认。但由于人脸照片和画像在成像机制、形状和纹理方面都存在较 大的差异，直接采用现有的人脸识别技术在公民照片数据库中对画像进行识别，其识别率 非常低。为了减小画像与照片之间的差异，可以将公民照片数据库中的照片利用画像合成 技术转换为画像，进而再进行素描手绘画像和合成画像之间的比对。
[0003] 现有的人脸画像合成通常基于以下三种方法：
[0004] 其一，是基于局部线性的人脸画像合成方法，如Liu等人在文献"Q.S.Liu and X.0.Tang,A nonlinear approach for face sketch synthesis and recognition, in Proc · IEEE Int · Conference on Computer Vision,pp · 1005-1010,2005 ·" 中提出了一种借 助局部线性来近似全局非线性的方法将照片转化成合成画像。该方法的实施方式是:首先 将训练集中的照片-画像对及待变换照片划分成相同大小及相同重叠区域的图像块，对于 待变换照片的每一个照片块在训练照片块中寻找它的K个近邻照片块，然后将K个照片块对 应的画像块进行加权组合得到待合成画像块，最后将所有的待合成画像块融合得到合成画 像。但是该方法存在的不足之处是：由于没有将相邻图像块之间的相似性约束考虑进模型 内，导致合成结果存在块效应和细节模糊的缺陷。
[0005] 其二，是基于马尔可夫网络模型的人脸画像合成方法，如Wang等人在文献 uX. Wang , and X. Tang ,uFace Photo-Sketch Synthesis and RecognitionIEEE Transactions on Pattern Analysis and Machine Intelligence ,31(11),1955-1967, 2009."中提出了一种基于马尔可夫网络模型的人脸画像合成方法。该方法实施方式是：首 先将训练集中的画像-照片对及测试照片分块;然后根据测试照片块与训练照片块之间的 关系以及相邻位置的画像块之间的关系，建立马尔可夫网络模型;对每个测试照片块寻找 一个最佳的训练画像块作为待合成画像块；最后将所有的待合成画像块融合得到合成画 像。但是该方法存在的不足之处是：由于每个照片块位置只选择一个训练画像块进行画像 合成，导致合成结果存在形变。
[0006] 其三，基于马尔科夫权重网络的人脸画像合成方法，如Zhou等人在文献"H. Zhou， Z . Kuang , and K · Wong，"Markov Weight Fields for Face Sketch Synthesis，'，in Proc .IEEE Int .Conference on Computer Vision，pp. 1091-1097,2012." 中提出了一种基 于加权的马尔科夫网络模型的人脸画像合成方法。该方法与上面的基于马尔科夫网络模型 不同的是将线性组合引入进马尔科夫网络，从而克服了因为基于马尔科夫网络方法选择一 个画像块而导致的形变问题。但是该方法合成结果因为在选择近邻时没有考虑相邻图像块 之间的相似性约束，导致合成结果噪声多，较为模糊。
【发明内容】
[0007] 本发明的目的在于克服上述现有方法的不足，提出一种基于贝叶斯推断的人脸画 像合成方法，以减小图像噪声，提高合成画像的图像质量。
[0008] 为实现上述目的，本发明的技术方案包括如下：
[0009] (1)从照片-画像对集中取出M张照片组成训练照片样本集Tp，并取出与训练照片 样本集T P*的照片一一对应的M张画像组成训练画像样本集Ts，将剩余照片-画像对组成测 试样本集，从测试样本集中选取一张测试照片L，2彡M彡U-I，U为照片-画像对集中的照片-画像对个数；
[0010] (2)对所有图像进行划分，得到训练照片集样本块集合R和训练画像集样本块集合 Q；
[0011] (3)将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集 组成集合：
[0012]
[0013]
[0014]其中，Rn表示所有训练照片样本块子集组成的集合，化表示训练照片样本块第j个 子集，Qn表示所有训练画像样本块子集组成的集合，(^表示训练画像样本块第j个子集，j e U，…，N};
[0015] (4)对于测试照片块集合P中的每一个测试照片块其中K j<N，从其对应的训 练照片块子集R冲根据欧式距离寻找&个最近的照片块，记为.?~_>^1^同时从训练 画像块子集Qj中取出与％· · …巧f5对应的画像块…彡m彡Ki;
[0016] (5)对每一个测试照片样本块通过最大化基于后验概率的马尔科夫网络从心个 近邻照片和画像〕中挑选出最近邻照片^和画像离)1彡 KKi;
[0017] (6)对每一个测试照片样本块叭根据#与1?冲照片块的距离，挑选出1(2个近邻照 片块记作|φ…~其对应的画像块：
[0018] (7)对每一个测试照片样本块其中1彡j彡Ν，通过求解马尔科夫权重网络，得到 重构权{!
其中T表示转置；
[0019] (8)利用步骤(6)得到的画像彰和步骤(7)得到的权值，计算每个 测试照片块少对应的待合成画像块d:
[0020]
[0021] (9)迭代执行步骤（6)_(8)直至得到N块待合成画像块，并将N个合成画像块 IV，…，￥，···，#}进行组合，得到与测试照片L对应的合成画像。
[0022]本发明由于在近邻块选择和权值优化过程中分别通过马尔科夫网络和马尔科夫 权重网络，考虑相邻图像块之间的相似性约束关系，提高了合成图像的质量并使图像的细 节更加完整。
【附图说明】
[0023]图1为本发明的实现流程图；
[0024]图2为用发明与现有的三种方法在XM2VTS数据库上的合成画像的对比结果图。
【具体实施方式】
[0025]本发明的核心思想是:通过贝叶斯推断的思想提出一种人脸画像合成方法，使得 在近邻块选择和权值求解阶段都将相邻块之间的相似性约束通过马尔科夫网络考虑在内， 从而提高合成结果的图像质量。
[0026]参照图1，本发明的实施步骤如下：
[0027] 步骤1，划分训练画像样本集、训练照片样本集和测试样本集。
[0028] 从照片-画像对集中取出M张照片组成训练照片样本集Tp，并取出与训练照片样本 集TP*的照片一一对应的M张画像组成训练画像样本集T s，将剩余照片-画像对组成测试样 本集，从测试样本集中选取一张测试照片L，2彡M彡U-I，U为照片-画像对集中的照片-画像 对个数。
[0029] 步骤2,对训练画像样本集中的画像、训练照片样本集中的照片和测试照片进行图 像块划分。
[0030] 常用的图像划分方法是将图像划分为相同大小的矩形图像块，并且相邻的图像块 在水平或竖直方向上保留一定程度的重叠，其划分步骤如下：
[0031] (2a)将测试照片L划分成相同大小及相同重叠程度的N个图像块，并组成测试照片 块集合P·
[0032]
[0033]其中，表示测试照片中的第j个照片块，je{i，···，《;
[0034] (2b)将训练照片样本集Tp中的M张照片划分成相同大小及相同重叠程度的N个图 像块，并组成训练照片集样本块集合：
[0035]
[0036] 其中，R表示训练照片集样本块集合，表示第i张照片中的第j个照片块，ie U，…，M};
[0037] (2c)将训练画像样本集Ts中的M张画像划分成相同大小及相同重叠程度的图像块 并组成训练画像集样本块集合：
[0038]
[0039] 其中，Q表示训练画像集样本块集合，f表示第i张画像中的第j个画像块。
[0040] 步骤3,将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将 子集组成集合：
[0041] Rn= {Ri, ··· ,Rj, ··· ,Rn}
[0042] Qn= {Qi, ,Qj, ,QnI
[0043] 其中，Rn表示所有训练照片样本块子集组成的集合，化表示训练照片样本块第j个 子集，Qn表示所有训练画像样本块子集组成的集合，(^表示训练画像样本块第j个子集，j e U，…，N};
[0044] 步骤4，初始近邻块选择。
[0045] 对于测试照片块集合P中的每一个测试照片块p\从其对应的训练照片块子集Rj中 根据欧式距离寻找心个最近的照片块，记为4 s-5琴,…、琴％其中I < j SN;
[0046] 从训练画像块子集Qj中取出与_对应的画像块……,jfUl彡 m^Ki；
[0047] 步骤5,基于马尔科夫网络的最近邻块选择。
[0048] 对每一个测试照片样本块通过最大化基于后验概率的马尔科夫网络从心个近
邻照片和画像对 P挑选出最近邻照片< 和画像 SKi;
[0049]所述最大化基于后验概率的马尔科夫网络参考文献"X.Wang,and X.Tang, "Face Photo-Sketch Synthesis and Recognition，'，IEEE Transactions on Pattern Analysis and Machine Intelligence，31(11)，1955-1967,2009" 〇
[0050] 步骤6,近邻块的再选择。
[0051] 对于由步骤5得到的每一个测试照片块f对应的最近邻照片块:?%按欧式距离从f 对应训练照片块子集R冲寻找K2个最近的照片块，记作|歉..4
[0052] 从训练画像块子集Qj中取出与辱、对应的画像块 h$K2〇
[0053] 步骤7,基于马尔科夫权重网络的权值求解。
[0054]对每一个测试照片样本块p\通过求解马尔科夫权重网络，得到重构权值：
[0055]
，其中T表示转置，KjSN;
[0056] 所述马尔科夫权重网络权值求解参考文献"H.Zhou，Z.Kuang，andK.Wong， uMarkov Weight Fields for Face Sketch Synthesis，"in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2012，pp. 1091-1097'，。
[0057] 步骤8，求解待合成画像块s'
[0058] 利用步骤6得到的画像块和步骤7得到的重构权值，计算每个测 试照片块N对应的待合成画像块V:
[0059]
[0060]步骤9,求解并融合N个待合成画像块得到最终合成画像
[0061]迭代执行步骤6-8共N次，直至得到每个测试照片块f对应的待合成画像块，并将 得到的N个合成画像块{s1，…，…，sN}进行组合，得到与测试照片L对应的合成画像，其 中，l<j<N。
[0062]本发明的效果可以通过以下仿真实验做进一步的说明。
[0063] 1.仿真条件
[0064] 本发明是在中央处理器为Intel(R)Core i7-4790 3.6GHZ、内存 16G、WIND0WS 7操 作系统上，使用美国Mathworks公司开发的MATLAB软件进行的仿真。数据库采用XM2VTS数据 库。
[0065] 实验中所用的对比方法包括如下3种：
[0066] -是基于局部线性嵌入的方法，实验中记为LLE ;参考文献为Q. Liu，X. Tang， H.Jin,H. Lu ,and S.Ma. A Nonlinear Approach for Face Sketch Synthesis and Recognition.In Proc·IEEE Int.Conference on Computer Vision,pp.1005-1010,2005；
[0067] 二是基于马尔科夫随机场的方法，实验中记为MRF ;参考文献为X. Wang，and X. Tang. Face Photo-Sketch Synthesis and Recognition . IEEE Transactions on Pattern Analysis and Machine Intelligence,31(11),1955-1967,2009；
[0068] 三是基于马尔可夫权重场模型的方法，实验中记为MWF ;参考文献为H. Zhou， Z.Kuang,and K·Wong·Markov Weight Fields for Face Sketch Synthesis . In Proc. IEEE Int.Conference on Computer Vision,pp.1091-1097,2012。
[0069] 2.仿真内容
[0070] 用本发明方法和现有基于局部线性的方法LLE、基于马尔可夫随机场的方法MRF以 及基于马尔可夫权重场的方法MWF，在XM2VTS数据库上进行照片到画像的合成，实验结果如 图2,其中：
[0071]图2(a)为原始照片；
[0072]图2(b)为基于局部线性的方法LLE合成的画像；
[0073]图2 (c)为基于马尔可夫随机场的方法MRF合成的画像；
[0074]图2 (d)为基于马尔可夫权重场的方法MffF合成的画像；
[0075] 图2(e)为本发明方法合成的画像。
[0076] 由图2可见，由于本发明借助了贝叶斯推断的思想，将近邻块之间的相似性约束同 时考虑在近邻选择和权值优化过程中，使得合成结果优于其他的人脸画像合成方法，验证 了本发明的先进性。
【主权项】
1. 基于贝叶斯推断的人脸画像合成方法，包括： (1) 从照片-画像对集中取出Μ张照片组成训练照片样本集TP，并取出与训练照片样本集 ^中的照片一一对应的Μ张画像组成训练画像样本集T s，将剩余照片-画像对组成测试样本 集，从测试样本集中选取一张测试照片L，2彡Μ彡U-1，U为照片-画像对集中的照片-画像对 个数； (2) 对所有图像进行划分，得到训练照片集样本块集合R和训练画像集样本块集合Q; (3) 将训练照片样本块集合R与对应的画像样本块集合Q划分为N个子集，并将子集组成 集合： Rn= {Ri, ··· ,Rj, ··· ,Rn} Qn= {Qi, ·' ,Qj , ,Qn} 其中，Rn表示所有训练照片样本块子集组成的集合，心表示训练照片样本块第j个子集， QN表示所有训练画像样本块子集组成的集合，表示训练画像样本块第j个子集，j e {1，…， N}； (4) 对于测试照片块集合P中的每一个测试照片块p\其中l<j<N，从其对应的训练照 片块子集R冲根据欧式距离寻找L个最近的照片块，记为％ 块子集％中取出与；对应的画像块彡m (5) 对每一个测试照片样本块通过最大化基于后验概率的马尔科夫网络从心个近邻 照片和画像对（1'广，、^，、5、'广|中挑选出最近邻照片考和画像.〇1彡1< Κι； (6) 对每一个测试照片样本块少，根据|与&中照片块的距离，挑选出心个近邻照片块记 作轉。'、广."書:j f其对应的画像块为|:_ (7) 对每一个测试照片样本块少，其中l<j<N，通过求解马尔科夫权重网络，得到重构 权值％ r…喊纖其中T表示转置； (8) 利用步骤(6)得到的画像块 照片块Pj对应的待合成画像块Sj: (9) 迭代执行步骤（6)-(8)直至得到N块待合成画像块，并将N个合成画像块{s1，…， s\…，sN}进行组合，得到与测试照片L对应的合成画像。2. 根据权利要求书1所述的方法，其中步骤(2)中对所有图像进行划分，按如下步骤进 行： (2a)将测试照片L划分成相同大小及相同重叠程度的N个图像块，并组成测试照片块集 合P: P={pV"，pJ，."，pN}， 其中，f表示测试照片中的第j个照片块，j e {1，…，N}; (2b)将训练照片样本集TP中的Μ张照片划分成相同大小及相同重叠程度的N个图像块， 并组成训练照片集样本块集合： R ψ'',<'、、、<、：'、卜 , r' I 其中，R表示训练照片集样本块集合，rJ表示第i张照片中的第j个照片块，ie{l，···， Μ}； (2c)将训练画像样本集Ts中的Μ张画像划分成相同大小及相同重叠程度的图像块并组 成训练画像集样本块集合： ^ ^ - <·.：'4' ^ ^" |.：r *：r?：：：χ -it>.} ^rs 1?? λ λ ^ ·? .? s ^j )). ? 其中，Q表示训练画像集样本块集合，￥表示第i张画像中的第j个画像块。
【文档编号】G06T5/50GK106056561SQ201610224521
【公开日】2016年10月26日
【申请日】2016年4月12日 公开号201610224521.4, CN 106056561 A, CN 106056561A, CN 201610224521, CN-A-106056561, CN106056561 A, CN106056561A, CN201610224521, CN201610224521.4
【发明人】王楠楠, 高新波, 孙雷雨, 李洁, 朱明瑞, 于昕晔, 张宇航, 曹兵, 査文锦, 马卓奇
【申请人】西安电子科技大学