基于超像素的人脸画像生成方法
【技术领域】
[0001] 本发明属于图像处理技术领域，特别涉及一种人脸画像生成方法，可用于公共安 全领域中人脸检索与识别。
【背景技术】
[0002] 在公共安全管理中，基于人脸的身份识别是最方便有效的身份认证技术之一。例 如在刑侦破案当中，当嫌疑犯的照片很难获取时，法医可以根据目击证人的描述绘制出嫌 疑犯的画像。由于照片和画像在成像原理上的不同，在形状和纹理方面都存在很大的差异， 给基于画像的人脸识别带来诸多困难。人脸画像生成技术是通过图像处理技术将警方人脸 数据库中的照片转化为伪画像，之后可以将嫌疑犯的画像在伪画像数据库中进行识别，是 提尚基于画像的人脸识别的有效技术之一，因此受到广泛的关注。
[0003] 目前，根据对人脸图像的表示方式不同，人脸画像生成方法主要分为三类：
[0004] -是基于全局表示的方法，这种方法是将整幅人脸图像看作一个向量进行人脸画 像生成。比如X.Tang等人在文献"X.TangandX.Wang.FaceSketchRecognition.IEEE TransactionsonCircuitsandSystemsforVideoTechnology, 14 (1) : 1-7, 2004" 中提 出了一种基于特征变换的方法，通过将整幅人脸图像看作一个向量，将人脸画像生成过程 看作线性过程，通过主成分分析的方法进行画像生成。该方法存在的不足之处是，将整幅人 脸图像看作一个向量进行表示，不能有效的刻画人脸图像的局部信息，在画像生成的过程 中存在细节的丢失。
[0005] 二是基于独立局部块表示的方法，这种方法首先将人脸图像划分为大小相同的矩 形块，通过局部线性来近似全局非线性。比如Q.Liu等人在文献"Q.Liu，X.Tang，H.Jin，H. Lu,andS.Ma.ANonlinearApproachforFaceSketchSynthesisandRecognition.In Proc.IEEEInt.ConferenceonComputerVision,pp. 1005-1010, 2005"中提出了一种基于 局部线性嵌入的方法，通过将训练集和测试集中的人脸图像分块，对测试照片的每个图像 块在训练集中寻找它的K个相似的照片近邻块，然后利用局部线性嵌入的思想计算照片近 邻块的线性组合权值，并利用对应的K个画像近邻块和组合权值得到伪画像块并最终融合 成伪画像。该方法存在的不足之处是，对测试照片的每个图像块单独进行处理，忽略了人脸 图像本身的结构信息，在画像生成的过程中存在人脸结构的丢失。
[0006] 三是基于空间约束局部块表示的方法，这种方法首先将人脸图像划分为大小相同 的矩形块，然后在考虑相邻图像块之间的约束关系的基础上，利用贝叶斯模型进行建模， 实现人脸画像生成。比如X.Wang等人在文献"X.WangandX.Tang.FacePhoto-Sketch SynthesisandRecognition.IEEETransactionsonPatternAnalysisandMachineInt elligence. 31(11) =1955-1967, 2009"中提出了一种基于马尔可夫网络模型的方法，通过将 训练集和测试集中的人脸图像划分成大小相同、互相重叠的局部块，利用马尔可夫网络模 型建立人脸照片和人脸画像之间的关系模型，通过对模型求解实现人脸画像生成。该方法 存在的不足之处是，在将人脸图像分块的过程中，将图像划分成矩形块而忽略了人脸图像 本身的结构特点，生成的伪画像存在细节部位的丢失。
【发明内容】
[0007] 本发明的目的在于针对上述现有方法的不足，提出一种基于超像素的人脸画像生 成方法，以提高生成的伪画像的质量，使得生成的伪画像的细节部位更明显。
[0008] 实现本发明目的的技术方案包括如下步骤：
[0009] (1)从画像-照片对集中取出L张画像组成训练画像样本集TK，并取出与训练画 像样本集1中的画像一一对应的L张照片组成训练照片样本集TE，将剩余画像-照片对组 成测试样本集，从测试样本集中选取一张测试照片S，2<L<U-1，U为画像-照片对集中 的画像-照片对个数；
[0010] (2)将测试照片S、训练画像样本集TK中的画像和训练照片样本集TE中的照片分 别划分成超像素块：
[0011] 利用超像素算法将测试照片S划分为互相不重叠的超像素块，并将每个超像素 块向四周扩大d个像素，得到相互重叠的超像素块，组成测试照片超像素块集 ，Si，…，SN}，其中Si为经过扩大后的第i个超像素块，i= 1，2,…，N，N为测试照片超像素 块的总个数；
[0012] 按照测试照片S的划分结果对训练画像样本集TK中的画像和训练照片样本集TE 中的照片进行超像素块划分，得到训练画像超像素块字典DK和训练照片超像素块字典DE;
[0013] (3)组成待选择照片超像素块集和待选择画像超像素块集：
[0014]根据测试照片超像素块集以，S2，…，Si，…，SN}，从训练照片超像素块字典％中 寻找每个测试照片超像素块的K个相似的照片超像素块，组成待选择照片超像素块集 {PpP2，…，Pi，…，PN}，其中Pi为测试照片超像素块Si的待选择照片超像素块集；
[0015] 从训练画像超像素块字典DK中选择与待选择照片超像素块集{PP2，…，Pi，… ，PN}中的照片超像素块--对应的画像超像素块，组成待选择画像超像素块集{QuQd- ，Qi，…，Qn}，其中Qi为测试照片超像素块Si的待选择画像超像素块集；
[0016] (4)根据测试照片超像素块集{Si，S2，…，Si，…，SN}、待选择照片超像素块集 也，P2，…，Pi，…，PN}和待选择画像超像素块集他，Q2，…，Qi，…，QJ，按照下式求解待选择 画像超像素块权值集{Wi,w2，…，Wi,…，wN}:
[0017]
[0018] 其中Wi表示第i个待选择画像超像素块权值，L表示与测试照片超像素块Si具有 重叠区域的测试照片超像素块个数，(^表示与测试照片超像素块S,具有重叠区域的第j个 测试照片超像素块的待选择画像超像素块集，％表示与测试照片超像素块Si具有重叠区域 的第j个测试照片超像素块的待选择画像超像素块权值，*t表示对矩阵进行转置操作，rt 表示计算矩阵的2范数，a为调节因子，取值为0.25;
[0019] (5)根据待选择画像超像素块集他，Q2，…，Qi，…，QJ和待选择画像超像素块权值 集iwi，％，…，wi，…，wiJ，按照下式得到伪画像超像素块集H…，xi，…，:
[0020] Xj=QjWj,i= 1, 2, ???,N
[0021] 其中\为第i个伪画像超像素块；
[0022] (6)将伪画像超像素块集氏，X2，…，Xi，…，XN}中的N个伪画像超像素块进行组 合，得到与测试照片S对应的伪画像。
[0023] 本发明由于采用了超像素算法将人脸图像划分成超像素块，分块过程中利用了人 脸图像的结构信息，实现人脸画像生成，与现有方法相比，由于考虑了人脸图像本身的结构 信息，使得生成的图像细节部位明显，克服了现有方法中对人脸图像分块时，将图像划分成 矩形块而忽略结构信息带来的细节不明显的问题。
[0024] 以下面结合附图，对本发明实现的步骤作进一步的详细描述。
【附图说明】
[0025] 图1为本发明基于超像素的人脸画像生成流程图；
[0026] 图2为本发明与现有的两种方法在CUHKstudent数据库上生成的伪画像的对比 结果图。
【具体实施方式】
[0027]参照图1，本发明实现的步骤如下：
[0028] 步骤1，划分训练画像样本集、训练照片样本集和测试样本集。
[0029] 从画像-照片对集中取出L张画像组成训练画像样本集TK，并取出与训练画像样 本集1中的画像一一对应的L张照片组成训练照片样本集TE，将剩余画像-照片对组成测 试样本集，从测试样本集中选取一张测试照片S，2彡L彡U-1，U为画像-照片对集中的画 像-照片对个数。
[0030] 步骤2,对训练画像样本集中的画像、训练照片样本集中的照片和测试照片进行超 像素块划分。
[0031] (2a)将测试照片S划分为超像素块：
[0032] 对测试照片S的划分可采用现有的超像素算法进行，超像素算法包括分水岭方 法、基于Mean-shift的方法和简单线性迭代聚类法等，本发明选用但不局限于简单线性迭 代聚类法，具体步骤如下：
[0033] (2al)在测试照片S上按照均匀网格采样，初始化H个聚类中心{A，C2，…，Ch，… ，CH}，其中Ch为第h个聚类中心，h= 1，2,…，H，对测试照片S上的每个像素点V设置类标 记1 (v) = -1和距离标记d(v) = + 〇°，v= 1，2,…，Ns，Ns为测试照片S上的像素点个数；
[0034] (2a2)对第h个聚类中心Ch，计算其周围aXa范围内的第v'个像素点和聚类中 心Ch的距离d'，其中a为搜索范围参数，取值为10,如果距离标记d(v' )>d'，则设置 距离标记d(v' )=cT和类标记l(v' )=h，否则，距离标记d(v')和类标记l(v') 保持不变；
[0035] (2a3)重复步骤（2a2)直至H个聚类中心{CpQ，…，Ch, ?'QJ的周围aXa范围 内的所有像素点的距离标记和类标记都更新一遍，将具有相同类标记的像素点看作一类， 重新计算H个聚类中心；
[0036] (2a4)重复步骤（2a2)_(2a3)，直至H个聚类中心都不再变化，再将具有相同类标 记的像素点看作一个超像素块，完成对测试照片S的超像素块划分；
[0037] (2b)在对测试照片S划分完成后，将每个超像素块向四周扩大d个像素，d取值为 3,得到相互重叠的超像素块，组成测试照片超像素块集以，S2，…，Si，…，SN}，其中Si为经 过扩大后的第i个超像素块，i= 1，2,…，N，N为测试照片超像素块的总个数。
[0038] (2c)按照（2b)对测试照片S的划分结果对训练画像样本集TK中的画像和训练照 片样本集TE中的照片进行超像素块划分，得到训练画像超像素块字典DK和训练照片超像素 块字典De。
[0039] 步骤3,组成待选择照片超像素块集和待选择画像超像素块集。
[0040] (3a)根据测试照片超像素块集{Si，S2，…，Si，…，SN}，从训练照片超像素块字典DE中寻找每个测试照片超像素块的K个相似的照片超像素块，组成待选择照片超像素块集 {PpP2，…，Pi，…，PN}，其中Pi为测试照片超像素块Si的待选择照片超像素块集；
[0041] (3b)从训练画像超像素块字典DK中选择与待选择照片超像素块集 ，Pi，…，PN}中的照片超像素块一一对应的画像超像素块，组成待选择画像超像素块集 {Qi，Q2，…，Qi，…，QN}，其中Qi为测试照片超像素块si的待选择画像超像素块集。
[0042] 步