专利名称：：基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
技术领域：
：本发明属于图像处理
技术领域：
，特别涉及基于照片的画像生成方法，可用于模式识别领域中根据画像在照片数据库中进行人脸检索和识别。
背景技术：
：人脸识别是比较容易为人们所接受的非侵犯性识别方法，从而成为备受计算机视觉与模式识别等领域关注的热点问题，然而在刑侦破案或反恐追逃等应用领域，犯罪嫌疑人的照片往往无法直接获取，通常情况下会通过目击者和画家的合作得到其模拟画像，然后在已有的照片数据库中进行基于内容的检索，縮小嫌疑人的排査范围，进而实现犯罪嫌疑人身份的确认和识别，这种应用需求催生了人脸识别的一个新分支——画像-照片识别。基于画像的人工人脸识别方法是一项极为耗时和枯燥的工作，而且识别结果受主观因素的影响较大，尤其是在大型数据库的情况下，容易因视觉疲劳和心情波动而造成漏警和误判。因此，基于画像的高性能人脸自动识别技术应运而生。现有的人脸识别方法大多是基于照片的，由于画像与照片的产生机理和信息表达方式不同，两者之间存在较大的几何变形及纹理和灰度差异，若采用画像与照片的直接匹配进行识别势必产生很大误差。因此，如何将两者变换到同种信息表达模式下，减小二者的差异成为画像-照片识别的重点和难点。现有的方法有两种，一种是从包含信息量较少的画像中恢复出信息丰富的照片，但这种方法从信息论的角度来看，由于缺乏足够先验知识不易实现；另一种方法是通过机器学习实现照片到画像的变换，这种方法由于较为符合人类感知和认知的过程，因此，画像的自动生成成为画像-照片识别技术的关键。目前画像生成的研究成果主要集中为以下两类第一类是卡通漫画及线条画等简单画像的生成技术。澳大利亚西澳大学心理学教授的Rhodes通过心理学实验发现，即使是几根线条组成的线条画仍然可以保留人脸的视觉特征。在计算机图形学和计算机视觉领域，一些研究者也在尝试如何利用人机交互方式来生成人脸的线条画及漫画。美国认知科学家Brennan提出了一种交互式的漫画生成系统，主要使用对称算子、矩形滤波器和特征轮廓来检测和定位人脸的特征点；日本AichiPrefectural大学的Murakami等人实现了一个基于模板的人脸漫画生成系统PICASSO和可以通过网络访问的Web-PICASSO系统；日本东京大学的Li等人以及西安交通大学的郑南宁等人分别提出了自动的人脸线条画生成系统，主要采用基于非参数化采样和线条画模板的样本学习方法；英国剑桥大学的Librande提出了一个基于样本的卡通绘画系统Xspace，它主要使用基于径向基函数的学习模块来扩展原有的绘画系统。第二类是人脸素描画像等复杂画像的生成技术。虽然提出有关这些卡通漫画及线条画等简单画像的生成技术比较多，但是从实际应用的角度看，仍然不及素描画的应用广泛，素描画由于真实，因此是刑侦破案领域画家常用的描绘犯罪嫌疑人的绘画方式。目前，人脸素描画像的生成方法可分为两种一种是不基于样本的，如浙江大学的王进等人提出的模拟画笔的画像生成方法；另一种是基于样本的方法，主要有香港中文大学的汤晓鸥等在画像生成及识别领域取得了一系列的结果。其主要思想是先将照片转变成伪画像，然后实现画像-伪画像间的匹配识别。伪画像的生成方法有以下两种1.基于特征变换的方法。首先将照片和画像分成两组，采用主成分分析算法分别进行训练构造各自的特征空间，求出待变换的照片在照片特征空间中的投影系数，然后利用所该投影系数在相应的画像特征空间中重构出伪画像。不过该方法假定照片与画像之间的映射是一种线性关系，而实际上二者之间的关系却要复杂的多。2.基于非线性的方法。该方法将训练集中的画像-照片对进行均匀分块处理，并将相应的画像块和照片块建立一一对应关系。对于给定的一幅新照片，首先进行同样的分块处理，对于每一个小块在照片块样本库中找到与其最相似的W个小块，然后通过对这7V个照片块对应的画像块进行线性加权来产生伪画像块，最后将伪画像块组合成完整的伪画像。该方法通过局部的线性组合来逼近全局的非线性关系，但是仍然不是真正意义上的非线性方法。见文献"LiuQS，TangX0.Anonlinearapproachforfacesketchsynthesisandrecognition.In:ProceedingsofInternationalConferenceonCVPR(CVPR2005),SanDiego，CA,USA，2005,1005~1010."。上述两种伪画像的生成方法都需要大量的训练样本，而训练样本的获取是有限的，例如为研究人员共享的公共的画像数据库资源非常有限，而获取人工画像又需要较高的代价，这些因素限制了人脸画像数据库的规模，导致伪画像的生成方法的应用与发展速度缓慢。因此，如何更为有效地利用较少的画像样本对照片与画像之间的非线性关系建模成为画像生成与识别的关键。发明的内容本发明的目的在于解决现有方法不能利用较小的画像库准确地学习照片与画像之间复杂的非线性关系的问题，提供一种基于嵌入式隐马尔可夫模型E-HMM和选择性集成的人脸画像自动生成方法，以更简单、更有效、更准确的实现基于照片的人脸素描画像生成。实现本发明目的的技术方案是通过采用机器学习的方法对训练样本库中照片-画像对之间的非线性关系进行学习和建模，针对每个照片-画像对得到一个个体画像生成器，利用选择性集成思想选择部分个体生成器进行融合，从而将待变换的照片映射成相应的伪画像，具体过程如下(1)采用留一法划分训练集，选取一张照片作为待变换照片P，其它的iV个照片及其所对应的画像构成照片-画像对作为训练样本；(2)对包括待变换照片和训练样本的所有人脸照片进行归一化；(3)对训练样本集中的每个照片-画像对(f，S,)进行联合训练，建立耦合模型对库，即建立(S,S,)的嵌入式隐马尔可夫模型对(^,;i,s.,)，其中/=1,2,3,…,iV，7V为训练样本的个数；(4)用前向-后向算法计算待变换照片户与训练样本集中的各个照片之间的相似度，对这些相似度排序，选择前"个相似度最大的照片对应的照片-画像耦合模型对，、)，=1,2,3,…，"，一般取"=7;(5)将待变换的照片尸在"个模型对中的每一个模型对(4,,义、)的照片模型4,下进行Viterbi解码，得到最优的解码状态序列g=…,&)以及混合序列M=(m,,m2，.，利用^和似这两个序列在画像模型、下重构生成伪画像S、[A,A,…，A]，n个模型可生成"个伪画像，式中T为图像中的像素个数；(6)将这"个伪画像进行加权融合，得到最终的合成画像。本发明由于采用了嵌入式隐马尔可夫模型E-HMM对照片-画像对之间的非线性关系进行建模，利用选择性集成的思想对部分个体生成器进行融合，与现有技术相比较，具有如下优点a)生成的画像更清晰，质量更高，如图3所示，与非线性方法相比，用本发明方法所生成的伪画像更加接近于原始画像；b)所生成的画像具有更高的识别能力，用相同的识别方法进行识别，本发明方法获得了显著的识别率优势，高出非线性方法20多个百分点；c)速度更快，在相同条件下，本发明方法所需时间仅仅为非线性方法的36.4%;d)本发明方法解决了单个模型对不足以建立照片与画像之间复杂的非线性关系，和所有模型对会造成计算复杂且效果不一定最优的矛盾，采用训练模型库中较少的模型对，达到更好的效果和更强的泛化能力，如图4所示。模型对数选为6-10时所生成的伪画像识别效果最好。图1为本发明的画像生成流程图2为照片-图像对联合训练的过程示意图3为画像生成效果图，其中(a)为原始照片，(b)为原始画像，(c)为非线性方法生成的伪画像，(d)为本发明生成的伪画像；图4为画像照片识别率与本发明的模型对数的关系。具体实施例方式本发明的核心思想是考虑到嵌入式隐马尔可夫模型E-HMM具有很好的人脸表示能力，利用嵌入式隐马尔可夫模型E-HMM获得画像-照片对之间的非线性关系，得到画像的个体生成器，采用选择性集成的思想选择部分个体生成器进行融合，产生合成的伪画像。'参照如图l，本发明的画像生成是选取出待变换照片和照片-画像训练库，将待变换照片和训练库中的照片进行几何和灰度归一化，分别对训练库中归一化后的每一张照片及其对应画像的非线性关系建模，构成训练样本模型库；将待变换照片与训练样本模型库中的照片进行相似度比对并排序，根据相似度最大的n个照片对应的照片-画像模型对生成n个伪画像，将这n个伪画像进行加权融合，得到最终的合成伪画像。具体过程如下一.划分训练库采用留一法划分训练库，选取一张照片作为待变换样本照片尸，其它的7V个照片及其所对应的画像构成照片-画像对作为训练样本。二.照片归一化对待变换样本照片和训练样本首先根据人脸照片眼部、嘴部中心的位置进行仿射变换，然后进行几何归一化，使得人脸照片对齐，最后进行灰度归一化。三.建立训练样本的模型库按照图2所示过程，对几何和灰度归一化后的训练样本进行联合训练建立耦合模型对库(、,&)，其中…1,2,3，…，W，W为训练样本的个数1.对训练样本中的每一对照片-画像对W,S,)分别进行特征提取，并将所提取的照片特征与画像特征进行组合；2.根据组合后的特征利用EM算法建立嵌入式隐马尔可夫模型E-HMM;3.对所建立的嵌入式隐马尔可夫模型进行分解，得到分别对应于照片和画像的嵌入式隐马尔可夫模型，构成耦合模型对(,4,)，每个嵌入式隐马尔可夫模型的状态划分形式为{6,6,6,6，6}，即将人脸从上至下划分成5个超状态，每个超状态又从左至右划分为6个子状态，训练样本模型库中的每个耦合模型对(&，yl,、.,)中的两个嵌入式隐马尔可夫模型具有相同的状态转移矩阵，但是，同一状态的均值向量和协方差矩阵不相同-,4.将每一个照片-画像对按照l3步建立每个照片-画像对之间的非线性关系，即可构成训练样本模型库。四.将待变换照片与模型库中的照片进行相似度比较用前向-后向算法计算待变换照片尸的观察向量与模型库中各个照片模型之间的相似度P((9lA)，并对这些相似度进行排序，选择前w个相似度最大的照片对应的照片-画像耦合模型对y、l，2,3,…，"，相似度分别为尸((^l;^)，尸(6Vl/^),.，尸(<^|^,)。"的值可以通过设定一个相似度水平阈值来控制，一般设为7。五.生成个体伪画像对所选择的照片-画像对模型进行解码、重构生成个体伪画像，具体过程如下1.将待变换的照片P在"个模型对中的每一个模型对(&,,)的照片模型下进行Viterbi解码，得到最优的解码状态序列2=(^，《2，一,^)以及混合序列似=—,/772，一,》0，其中r为图像中的像素个数；2.利用0和M解码序列在画像模型^下重构像素点A(y^l,2,…,r)，r为图像中的像素个数，即A在2及M中对应一个状态序号^及混合序号^，而&和在/L、.,中对应一个高斯分布，高斯分布的均值向量是A的观测序列g(A)，该观测序列的第一个值即为重构的A的灰度值，依次重构出每个象素点的灰度值即可得到一个伪画像S、[A,/72,…,A];3.对于w个照片-画像模型对均按如上两步进行，可生成w个模型的伪画像，六.合成最终的伪画像1.设定集成算法中的加权系数，假设选取的w个模型对为(&,^)，(、，4》,…,(&,&)，待变换照片尸与所选模型对中的照片S，A,…,^的相似度分别为《=尸(Al),^=p(o,,|/^2),…，《=尸(cvk)，则各伪画像的加权系数定义为W'=丁-，/=1,2,-..,(1)2.将所获得的"个伪画像根据加权系数^,,/=1,2，一,《进行融合，得到最终的合成伪画像。画像生成的效果与模型对数目"、嵌入式隐马尔可夫模型中每个状态包含的高斯混合个数m、以及训练嵌入式隐马尔可夫模型时所采用的特征有关，实验证明，模型对数取7，高斯混合个数取12，采用灰度值、高斯、拉普拉斯算子、水平和竖直一阶导数算子等作为训练嵌入式隐马尔可夫模型的特征时效果最好。本发明的优点可通过以下实验进一步说明本实验是在香港中文大学多媒体实验室提供的人脸照片和对应画像的样本集上进行的。取模型对数"=7，高斯混合个数》7=12。为了验证本发明提出的画像自动生成方法的有效性，设计了两组测试实验，将本发明与非线性方法进行对比(l)将通用图像质量指标UIQI作为客观标准来评价生成画像的质量。该标准中，待测试图像y==1,2,…,W在参考图像x={jc,|/=1,2,…,W下的图像质量指标g为<formula>formulaseeoriginaldocumentpage10</formula>(2)<formula>formulaseeoriginaldocumentpage10</formula>°实验中以原始画像作为参考图像，计算三组图像在对应的参考图像下的g值，第一组(a)为原始照片，第二组(c)为非线性方法得到的伪画像，第三组(d)为本发明方法生成的伪画像，S值越高，则表明图像质量越好，数据如表l，生成的伪画像如图3。表1不同图像与原始画像的g值比较<table>tableseeoriginaldocumentpage11</column></row><table>表1中给出将四个不同的人M,，M2，M3，M4的照片做为待变换照片所得到的实验结果，分别将这四个人的原始画像作为参考图像，分别与第一组(a)的原始照片、第二组(c)的非线性方法得到的伪画像、第三组(d)的本发明方法生成的伪画像比较可见，对于每个照片户,，即表的每一行，利用(c)和(d)两种伪画像生成方法生成的伪画像的g值均高于原始照片的g值，而本发明(d)所生成的伪画像对应的g值又高于非线性方法(c)的g值。由于g值越高，伪画像质量越好，因此本发明生成的伪画像更清晰，质量更高，更接近于原始画像。对应于表l的实验数据，图3给出了实验结果图，将对应于四个不同的人^6，M2，M3，M4分为四列，其中(a)列为原始照片，(b)列为原始画像，(c)列为非线性方法生成的伪画像，(d)列为本发明方法生成的伪画像。从视觉效果上来看，(d)列中的由本发明方法生成的伪画像最接近于(b)列中对应的原始画像，(c)列中的由非线性方法生成的伪画像次之，两种方法生成伪画像均比(a)列的原始照片接近于原始画像。因此，从图3可见，本发明与非线性方法相比，本发明可以生成更加接近于原始画像的伪画像。(2)将生成的伪画像用于画像-照片识别中，通过识别效果来评价画像生成方法的有效性。分别采用不同方法得到三组人脸图像样本集第一组为原始照片集；第二组为采用非线性方法变换后生成的伪画像集；第三组为本发明方法生成的伪画像集。用Eigenface方法对上述三组测试图像进行识别实验，数据如表2。表2不同人脸样本集识别效果比较人脸样本集原始照片集伪画像集'非线性方法本发明的方法识别率19.05%71.43%95.24%单幅画像生成时间(s)/40.038414.9808由表2可以看出，由非线性和本发明两种方法生成的伪画像的识别率均高于原始照片的识别率，而本发明生成的画像比非线性方法更具有识别率高的显著优势，即识别率高出非线性方法生成的画像20多个百分点。同时，在实验环境为P31.66GHzCPU/512Mbyte内存的PC机，WindowsXP操作系统，采用VisualC+十程序的条件下，生成一幅伪画像所耗时间如表2第3行所示，可以看出，本发明所需时间仅仅为非线性方法的37.4%。另外，图4给出了本发明方法生成的伪画像用于画像-照片识别中时，识别率与所选模型对数w的关系曲线。"=1日寸，识别率曲线处于最低点，模型对数w选为6-10时识别率曲线处于峰值，识别效果最好，">10时，随着"值的增大，识别率总体呈下降趋势，因此验证了选择性集成思想的有效性及试验中"取7的合理性。权利要求1.一种基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法，包括如下过程A.采用留一法划分训练集，选取一张照片作为待变换照片P，其它的N个照片及其所对应的画像构成照片-画像对(Pi，Si)作为训练样本；B.对包括待变换照片和训练样本的所有人脸照片进行归一化；C.对训练样本集中的每一个照片-画像对(Pi，Si)进行联合训练，建立耦合模型对库，即建立(Pi，Si)的嵌入式隐马尔可夫模型对(λPi，λSi)，其中i＝1，2，3，…，N，N为训练样本的个数；D.用前向-后向算法计算待变换照片P与训练样本集中的各个照片之间的相似度，对这些相似度排序，选择前n个相似度最大的照片对应的照片-画像耦合模型对(λPj，λSj)，j＝1，2，3，…，n，一般取n＝7；E.将待变换的照片P在n个模型对中的每一个模型对(λPj，λSj)的照片模型λPj下进行Viterbi解码，得到最优的解码状态序列Q＝(q1，q2，…，qτ)以及混合序列M＝(m1，m2，…，mτ)，利用Q和M这两个序列在画像模型λSj下重构生成伪画像S′＝[p1，p2，…，pτ]，n个模型可生成n个伪画像，式中τ为图像中的像素个数；F.将这n个伪画像进行加权融合，得到最终的合成画像。2.根据权利要求l所述的人脸画像自动生成方法，其特征在于步骤C所述的建立耦合模型对，按如下过程进行Cl.对训练样本中的每一对照片-画像对(《,S,)分别进行特征提取，并将所提取的照片特征与画像特征进行组合；C2.根据组合后的特征利用EM算法建立嵌入式隐马尔可夫模型；C3.对所建立的嵌入式隐马尔可夫模型进行分解，得到分别对应于照片和画像的嵌入式隐马尔可夫模型，构成耦合模型对(/1/,,,人)；C4.重复步骤C1C3，建立每个照片-画像对之间的非线性关系，即可构成训练样本模型库(^,;is.),z、l，2,3，…，W，AA为训练样本的个数。3.根据权利要求2所述的人脸画像自动生成方法，其特征在于步骤C3耦合模型对(^,;i、.,)中的每个模型的状态划分形式为{6，6,6,6,6}，即将人脸从上至下划分成5个超状态，每个超状态又从左至右划分为6个子状态，训练样本模型库中的每个耦合模型对(&，、)的两个嵌入式隐马尔可夫模型具有相同的状态转移矩阵，而同一状态的均值向量和协方差矩阵不相同。4.根据权利要求l所述的人脸画像自动生成方法，其特征在于歩骤E所述的利用g和M两个序列在画像模型^下重构生成伪画像S、[A，^,…,A]，按如下过程进行El.利用0和似解码序列在画像模型;i.、.,下重构像素点ft(A:-l,2,…,r)，r为图像中的像素个数，即A在2及M中对应一个状态序号^及混合序号^，而^和m,在A,中对应一个高斯分布，高斯分布的均值向量是ft的观测序列为，该观测序列的第一个值即为重构的A.的灰度值；E2.依次重构出每个象素点的灰度值即可得到了一个伪画像，即5.根据权利要求l所述的人脸画像自动生成方法，其特征在于歩骤F按如下过程进行Fl.对于"个照片-画像模型均按所述的El和E2两歩进行，生成n个模型的伪画像，w的值可以通过设定一个相似度水平阈值来控制，一般设为7;F2.设定集成算法中的加权系数，假设选取的n个模型对为<formula>formulaseeoriginaldocumentpage3</formula>待变换照片P与所选模型对相对应的照片5,S,…,A的相似度分别为<formula>formulaseeoriginaldocumentpage3</formula>则各伪画像的加权系数为<formula>formulaseeoriginaldocumentpage3</formula>F3.将所获得的"个伪画像根据加权系数>(;,,/=1,2，...，"进行融合，得到最终的合成伪画像。全文摘要本发明公开了一种基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法。该方法的生成过程是选取出待变换照片和照片-画像训练库；将包括待变换照片和训练库中照片在内的所有照片进行几何和灰度归一化；分别对训练库中归一化后的每一张照片及其对应画像进行联合训练；建立耦合模型对库；用前向-后向算法将待变换照片与训练样本模型库中的照片模型进行相似度比对并排序，根据相似度最大的n个照片对应的照片-画像模型对重构出n个伪画像；将这n个伪画像进行加权融合，得到最终的合成伪画像。本发明具有生成的画像清晰，质量高，速度快的优点，可用于刑侦破案或反恐追逃应用领域根据模拟画像，实现对犯罪嫌疑人身份的确认和识别。文档编号G06K9/62GK101169830SQ20071018841公开日2008年4月30日申请日期2007年11月30日优先权日2007年11月30日发明者洁李,李金秀,静温,田春娜,冰肖,亚苏,文路,成邓,钟娟娟,高新波申请人:西安电子科技大学