基于法医素描的人脸识别方法
【专利摘要】本发明公开了一种基于法医素描的人脸识别方法，主要解决现有方法容易受到背景和光照的干扰，识别率低的问题。其实现步骤是：(1)对图像库中的图像划分训练样本集和测试样本集；(2)根据训练样本集，将测试样本集中的法医素描和嫌疑犯照片分别生成对应的伪照片；(3)将法医素描生成的伪照片与嫌疑犯照片生成的伪照片进行人脸比对；(4)统计比对结果，作为人脸识别的识别率。本发明与现有方法相比，将法医素描和嫌疑犯照片同时转变为具有相同背景和相同光照的伪照片，排除了背景和光照的干扰，提高了识别率，可用于犯罪嫌疑人的身份识别。
【专利说明】基于法医素描的人脸识别方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，特别涉及一种人脸图像识别，可用于犯罪嫌疑人身份识别。
【背景技术】
[0002]人脸识别是刑侦破案中一种有效的身份认证技术。通常情况下，嫌疑犯的照片是很难获取的，但是根据受害人或目击证人的描述，由法医绘制出嫌疑犯的素描图像，然后将法医素描图像在警方的人脸数据库中进行检索和识别，确定嫌疑犯的身份。由于受害人或目击证人在回忆和描述嫌疑犯的样貌时会存在错误，法医在绘制素描图像时也会受到自身绘画习惯的影响，这些都将导致法医素描图像与嫌疑犯的真实照片之间存在差异。此外，由于法医素描图像和嫌疑犯照片的生成机制不同，信息表达方式不一样，直接在法医素描图像和嫌疑犯照片之间进行识别比较困难，因此需要将法医素描图像和嫌疑犯照片转变到相同的表示空间下，进而再采用一般的人脸识别方法进行识别。
[0003]目前，通过法医素描图像和嫌疑犯照片进行人脸识别的方法主要分为两类:
[0004]一是基于画像-照片生成的方法，这种方法是将法医素描图像转变成照片，或者将嫌疑犯的照片转变成素描图像，然后进行一般的人脸识别。高新波等人申请的专利技术“基于稀疏表示的画像-照片生成方法”(申请号:201010289330.9申请日:2010-09-24申请公布号:CN101958000A)中公开了一种基于稀疏表示的人脸画像-照片生成方法。该方法首先采用已有方法生成合成画像或者合成照片的初始估计，然后利用稀疏表示的方法生成图像的细节信息，最后将初始估计和细节信息进行融合。该方法存在的不足之处是，进行画像-照片生成的过程忽略了相邻位置图像块之间的关系，在将法医素描图像转变成合成照片后，合成照片与嫌疑犯的照片之间仍存在较大的背景和光照差异，导致识别结果较差。
[0005]二是基于特征表示的直接识别方法，这种方法是将法医素描图像和嫌疑犯的照片分别利用特征进行表示，然后通过衡量特征之间的距离进行识别。B.Klare等人在文献“B.Klare, Z.Li, and A.K.Jain.Matching Forensic Sketches to Mugshot Photos.1EEETransactions on Pattern Analysis and Machine Intelligence, 33(3):639-646，Mar201I”中提出了一种基于特征编码的方法，利用SIFT和MLBP特征对法医素描图像和嫌疑犯的照片进行编码，然后采用基于局部特征的判别分析法进行识别。该方法存在的不足之处是，直接在法医素描图像和嫌疑犯的照片上提取特征进行识别，容易受到图像不同背景和不同光照的干扰，导致识别率低。
【发明内容】
[0006]本发明的目的在于针对上述现有方法的不足，提出一种基于法医素描的人脸识别方法，以减小基于法医素描图像生成的伪照片与嫌疑犯照片之间的背景和光照差异，提高人脸识别的识别率。
[0007]实现本发明目的的技术方案包括如下步骤:[0008](I)将训练画像数据库中的画像-照片对集划分为训练画像样本集和训练照片样本集，将法医素描数据库中的法医素描-嫌疑犯照片对集划分为法医素描测试样本集和嫌疑犯照片测试样本集，且法医素描测试样本集与嫌疑犯照片测试样本集中的样本个数相同，均表不为N ；
[0009](2)选取法医素描测试样本集中的第i张法医素描测试样本Si,利用人脸画像-照片生成方法，生成对应的伪照片Spi,得到N张伪照片组成法医素描测试伪照片集，用Ds表示；选取嫌疑犯照片测试样本集中的第i张嫌疑犯照片测试样本Pi,利用人脸画像-照片生成方法,在生成过程中将训练画像样本集替换为训练照片样本集,生成对应的伪照片Ppi,得到N张伪照片组成嫌疑犯照片测试伪照片集，用Dp表示；
[0010](3)选取法医素描测试伪照片集Ds中的第i张伪照片Spi,利用人脸识别方法，逐个与嫌疑犯照片测试伪照片集Dp中的伪照片进行人脸比对，若比对到的伪照片为Ppi,表示识别正确；
[0011](4)重复步骤(3)，直至处理完法医素描测试伪照片集Ds中的所有伪照片，统计识别正确的次数为n，得出识别率r:
[0012]r = n/N。
[0013]本发明由于将法医素描和嫌疑犯照片利用相同的训练画像数据库进行处理，分别生成具有相同背景和相同光照的伪照片，再对生成的伪照片进行人脸比对，实现基于法医素描的人脸识别，与现有方法相比排除了背景和光照的干扰，提高了识别率。
[0014]以下面结合附图，对本发明实现的步骤作进一步的详细描述:
【专利附图】
【附图说明】
[0015]图1为本发明基于法医素描的人脸识别流程图；
[0016]图2为本发明在法医素描-嫌疑犯照片数据上生成的伪照片结果图。
【具体实施方式】
[0017]参照图1，本发明实现的步骤如下:
[0018]步骤1，划分训练样本集和测试样本集。
[0019](Ia)将训练画像数据库中的画像-照片对集划分为训练画像样本集和训练照片样本集；
[0020](Ib)将法医素描数据库中的法医素描-嫌疑犯照片对集划分为法医素描测试样本集和嫌疑犯照片测试样本集，法医素描测试样本集和嫌疑犯照片测试样本集中的样本个数相同，表示为N。
[0021]步骤2，对法医素描和嫌疑犯照片分别生成对应的伪照片。
[0022](2a)选取法医素描测试样本集中的第i张法医素描测试样本Si,利用人脸画像-照片生成方法，生成对应的伪照片Spi,得到N张伪照片组成法医素描测试伪照片集，用Ds表不，
[0023]所述人脸画像-照片生成方法，是一种成熟的现有技术，其包括基于子空间学习的画像-照片生成方法、基于稀疏表示的画像-照片生成方法和基于贝叶斯估计的画像-照片生成方法，本发明选用但不局限于基于稀疏表示的画像-照片生成方法，该生成方法参考专利“基于稀疏表示的画像-照片生成方法”(申请号:201010289330.9申请日:2010-09-24申请公布号:CN101958000A)，其步骤如下:
[0024](2al)根据训练画像数据库和测试样本St，用伪非线性方法生成一幅初始伪照片Sl;
[0025](2a2)将初始伪照片&和测试样本St重新分为相同大小及相同重叠程度的块，其中& = {SL1, SL2,…，S1J，St = {Stl, St2,…，StM}，M为块的总个数，提取测试样本St中每一块的特征向量f ;
[0026](2a3)利用训练画像样本集和训练照片样本集联合学习，得到画像块字典Dts和照片块字典Dtp ；
[0027](2a4)利用步骤(2a2)中得到的特征向量f和步骤(2a3)中得到的画像块字典Dts，按照下式寻找其稀疏表示，得到其稀疏表示系数w:
[0028]min||/.- Dtsw\\l + PIMIi，
[0029]其中β为稀疏表示惩罚因子，取值为0.05 ；
[0030](2a5)利用步骤(2a3)中得到的照片块字典Dtp和步骤(2a4)中得到的稀疏表示系数W，按照下式合成高清晰度细节明显的特征信息块SHi:
[0031]Sm = DtpW,
[0032]其中i = 1,2，...，M' ,M/为信息块的总个数；
[0033](2a6)将步骤(2a5)得到的高清晰度细节明显的特征信息块SHi加到步骤(2al)得到的初始伪照片&对应的块Su上，以增强清晰度和细节，得到最终的伪照片块；
[0034](2a7)重复执行步骤(2a4)-(2a6)直至得到M块最终的伪照片块，并将得到的这些最终伪照片块进行组合得到与测试样本对应的伪照片。
[0035](2b)选取嫌疑犯照片样本集中的第i张嫌疑犯照片测试样本Pi，利用人脸画像-照片生成方法，在生成过程中将训练画像样本集替换为训练照片样本集，生成对应的伪照片Ppi，得到N张伪照片组成嫌疑犯照片测试伪照片集，用Dp表示:
[0036](2bl)根据训练画像数据库和测试样本St，用伪非线性方法生成一幅初始伪照片Sl;
[0037](2b2)将初始伪照片&和测试样本St重新分为相同大小及相同重叠程度的块，其中& = {SL1, SL2,…，S1J，St = {Stl, St2,…，StM}，M为块的总个数，提取测试样本St中每一块的特征向量f ;
[0038](2b3)利用训练照片样本集进行学习，得到照片块字典Dtp ；
[0039](2b4)利用步骤(2b2)中得到的特征向量f和步骤(2b3)中得到的照片块字典Dtp，按照下式寻找其稀疏表示，得到其稀疏表示系数w:
2
[0040]HiinIIz-DirpWlI" +^IIwII1 ,
W?
[0041]其中β为稀疏表示惩罚因子，取值为0.05 ;
[0042](2b5)利用步骤(2b3)中得到的照片块字典Dtp和步骤(2b4)中得到的稀疏表示系数W，按照下式合成高清晰度细节明显的特征信息块SHi:
[0043]Sm = DtpW,
[0044]其中i = 1,2，...，M' ,M/为信息块的总个数；[0045](2b6)将步骤(2b5)得到的高清晰度细节明显的特征信息块SHi加到步骤(2bl)得到的初始伪照片&对应的块Su上，以增强清晰度和细节，得到最终的伪照片块；
[0046](2b7)重复执行步骤(2b4)_(2b6)直至得到M块最终的伪照片块，并将得到的这些最终伪照片块进行组合得到与测试样本对应的伪照片。
[0047]步骤3，对生成的伪照片进行人脸比对。
[0048]选取法医素描测试伪照片集Ds中的第i张伪照片Spi,利用人脸识别方法，逐个与嫌疑犯照片测试伪照片集Dp中的伪照片进行人脸比对，若比对到的伪照片为Ppi,表示识别正确。
[0049]所述人脸识别方法，是成熟的现有技术，其包括Eigenface法、Fisherface法和Null-space LDA法等，本发明选用但不局限于Fisherface法，具体方法参考文献“P.BelhumeurjJ.Hespandaj and D.Kiregeman.Eigenfaces vs.fisherfaces!recognitionusing class specific linear projection.1EEE Transactions on Pattern Analysisand Machine Intelligence，19 (7): 711 - 720，1997”，具体步骤如下:
[0050](3a)选取伪照片集Ds中的前c张伪照片和伪照片集Dp中的前c张伪照片作为训练样本集，c为训练样本集中的样本个数，伪照片集Ds和伪照片集Dp中剩余的伪照片作为测试样本集；
[0051](3b)将训练样本集中伪照片集Ds的第i张伪照片Spi和伪照片集Dp的第i张伪照片Ppi划分成一类，则总共划分成C类，c为大于等于2的整数，计算类内离散度矩阵Sw和类间离散度矩阵Sb:
【权利要求】
1.一种基于法医素描的人脸识别方法，包括如下步骤: (1)将训练画像数据库中的画像-照片对集划分为训练画像样本集和训练照片样本集，将法医素描数据库中的法医素描-嫌疑犯照片对集划分为法医素描测试样本集和嫌疑犯照片测试样本集，且法医素描测试样本集与嫌疑犯照片测试样本集中的样本个数相同，均表不为N ； (2)选取法医素描测试样本集中的第i张法医素描测试样本Si,利用人脸画像-照片生成方法，生成对应的伪照片Spi,得到N张伪照片组成法医素描测试伪照片集，用Ds表示；选取嫌疑犯照片测试样本集中的第i张嫌疑犯照片测试样本Pi,利用人脸画像-照片生成方法，在生成过程中将训练画像样本集替换为训练照片样本集，生成对应的伪照片Ppi,得到N张伪照片组成嫌疑犯照片测试伪照片集，用Dp表示； (3)选取法医素描测试伪照片集Ds中的第i张伪照片Spi,利用人脸识别方法，逐个与嫌疑犯照片测试伪照片集Dp中的伪照片进行人脸比对，若比对到的伪照片为Ppi,表示识别正确； (4)重复步骤(3)，直至处理完法医素描测试伪照片集队中的所有伪照片，统计识别正确的次数为n，得出识别率r:
r = η/N。
2.根据权利要求1中基于法医素描的人脸识别方法，其中所述步骤(2)所述中的人脸画像-照片生成方法，采用基于稀疏表示的画像-照片生成方法，其步骤如下: (2a)根据训练画像数据库和测试样本St，用伪非线性方法生成一幅初始伪照片& ； (2b)将初始伪照片&和测试样本St重新分为相同大小及相同重叠程度的块，其中&={SL1, SL2,…，S1J，St = {Stl, St2,…，StM}，M为块的总个数，提取测试样本St中每一块的特征向量f ; (2c)利用训练画像样本集和训练照片样本集联合学习，得到画像块字典Dts和照片块字典Dtp; (2d)利用步骤(2b)中得到的特征向量f和步骤(2c)中得到的画像块字典Dts，按照下式寻找其稀疏表示，得到其稀疏表示系数W: min||f — Dtrw||22+β||w||1， 其中β为稀疏表示惩罚因子，取值为0.05 ; (2e)利用步骤(2c)中得到的照片块字典Dtp和步骤(2d)中得到的稀疏表示系数W，按照下式合成高清晰度细节明显的特征信息块SHi:
SHi = Dtpw? 其中i = 1,2，...，M' ,M/为信息块的总个数； (2f)将步骤(2e)得到的高清晰度细节明显的特征信息块Sm加到步骤(2a)得到的初始伪照片&对应的块Su上，以增强清晰度和细节，得到最终的伪照片块； (2g)重复执行步骤(2d)-(2f)直至得到M块最终的伪照片块，并将得到的这些最终伪照片块进行组合得到与测试样本对应的伪照片。
3.根据权利要求1中基于法医素描的人脸识别方法，其中所述步骤(3)中的人脸识别方法，采用Fisherface法,其步骤如下:(3a)选取伪照片集Ds中的前c张伪照片和伪照片集Dp中的前c张伪照片作为训练样本集，c为训练样本集中的样本个数，伪照片集Ds和伪照片集Dp中剩余的伪照片作为测试样本集； (3b)将训练样本集中伪照片集Ds的第i张伪照片Spi和伪照片集Dp的第i张伪照片Ppi划分成一类，则总共划分成c类，c为大于等于2的整数，计算类内离散度矩阵Sw和类间离散度矩阵Sb:
【文档编号】G06K9/00GK103902991SQ201410166300
【公开日】2014年7月2日 申请日期:2014年4月24日 优先权日:2014年4月24日
【发明者】高新波, 彭春蕾, 王楠楠, 李洁, 张声传, 张铭津, 任文君, 胡彦婷 申请人:西安电子科技大学