专利名称：一种基于人脸的身份认证方法及系统的制作方法
技术领域：
本发明涉及模式识别技术领域，特别是涉及一种基于人脸的身份认证方法及系统。
背景技术：
生物特征识别技术是利用个体特有的生理和行为特征来达到身份识别和(或)个体验证目的的一门科学，如人脸、指纹、掌纹、虹膜、声音等的识别。在生物特征识别技术中， 近年来以人脸为特征的识别技术发展十分迅速。随着人脸识别技术的发展，人脸识别相关的应用系统逐渐增多，人脸认证系统作为应用人脸识别技术相关的应用系统在自动门禁、人脸登录等方面取得了越来越多的应用。人脸认证系统是利用摄像头采集应用人员的人脸图像，并与库中对应身份的人脸图像进行比对，如果比对通过，则认为待认证者与库中对应身份的人脸图像具有相同的身份，认证通过；否则，认证不通过。为了认证通过，冒充者可能拿着库中人员的照片进行认证，如果认证系统不能区分照片和真人，将会使冒充者认证通过。因此，需要在认证系统中增加区分照片和真人的功能。照片与真人的区别主要有照片是二维的，而真人是三维的。利用这种区别，通过三维人脸的重构，包括双目图像合成等方法，可以区分照片和真人。但是，三维数据量很大， 计算速度慢，双目摄像头还需要定标等操作，因此，这种方法需要占用的资源较多，导致系统识别速度大大下降，很难满足实时的应用需求。综上所述，如何快速区分真人和照片是目前人脸认证系统需要解决的问题之一。
发明内容
本发明所要解决的技术问题是提供一种基于人脸的身份认证方法及系统，以解决人脸认证过程中区分真人和照片的问题。为了解决上述问题，本发明公开了一种基于人脸的身份认证方法，包括将当前帧图像进行人脸认证和表情识别；将连续多帧的人脸认证结果和表情识别结果按照预置策略进行综合认证，如果综合认证结果为人脸认证通过且至少有两种表情，则该人脸的身份认证通过。优选的，所述将当前帧图像进行人脸认证和表情识别之前，还包括对当前帧图像进行人脸检测和跟踪；如果跟踪上，则为同一人脸；如果跟踪不上，则为不同人脸。优选的，如果跟踪上，则继续判断前一帧图像是否通过身份认证，如果通过，则输出身份认证已通过的信息；如果没有通过，则将当前帧图像进行人脸认证和表情识别；如果跟踪不上，则将前一人脸进行综合认证的相关数据清除，并将当前帧图像进行人脸认证和表情识别。优选的，所述预置策略为条件一，跟踪上的帧数大于预置阈值一；条件二，通过人脸认证的帧数与跟踪上的帧数相除的结果大于预置阈值二 ；条件三，表情数目大于等于2 ；如果同时满足以上三个条件，则符合所述综合认证结果。基于所述策略，所述人脸认证为仅识别一种表情的人脸图像，或者识别多种表情的人脸图像。优选的，所述预置策略还可以为条件一，连续M帧图像通过人脸认证，并且表情识别结果为表情一；条件二，第M帧图像后的连续N帧图像通过人脸认证，并且表情识别结果为表情二 ；其中，M和N为自然数；如果同时满足以上两个条件，则符合所述综合认证结^ ο本发明还提供了一种基于人脸的身份认证系统，包括人脸认证模块，用于对当前帧图像进行人脸认证；表情识别模块，用于对当前帧图像进行表情识别；综合认证模块，用于将连续多帧的人脸认证结果和表情识别结果按照预置策略进行综合认证，如果综合认证结果为人脸认证通过且至少有两种表情，则该人脸的身份认证通过。优选的，所述身份认证系统还包括人脸检测模块，用于对当前帧图像进行人脸检测；人脸跟踪模块，用于对当前帧图像中检测到的人脸进行人脸跟踪；如果跟踪上，则为同一人脸；如果跟踪不上，则为不同人脸，将当前帧图像分别输入人脸认证模块和表情识别模块。优选的，所述身份认证系统还包括判断模块，用于当跟踪上时，判断前一帧图像是否通过综合认证模块的身份认证，如果通过，则输出身份认证已通过的信息；如果没有通过，则将当前帧图像分别输入人脸认证模块和表情识别模块。优选的，所述身份认证系统还包括重置模块，用于当跟踪不上时，将综合认证模块中前一人脸的相关数据清除。优选的，所述预置策略为条件一，跟踪上的帧数大于预置阈值一；条件二，通过人脸认证的帧数与跟踪上的帧数相除的结果大于预置阈值二 ；条件三，表情数目大于等于2 ；如果同时满足以上三个条件，则符合所述综合认证结果。
基于所述策略，所述人脸认证模块仅识别一种表情的人脸图像，或者识别多种表情的人脸图像。优选的，所述预置策略还可以为条件一，连续M帧图像通过人脸认证，并且表情识别结果为表情一；条件二，第M帧图像后的连续N帧图像通过人脸认证，并且表情识别结果为表情 --；其中，M和N为自然数；如果同时满足以上两个条件，则符合所述综合认证结果。与现有技术相比，本发明具有以下优点首先，本发明提供一种基于表情识别的人脸认证系统，要求使用者在认证过程中做出至少两种表情，由于照片无法进行表情变化，因此可以区分单张照片和真人。同时，利用人脸跟踪来确定表情变化的是同一个人脸，如果利用两张表情不同的照片进行认证，变换照片时无法跟踪上，从而区分真人和照片。本发明通过人脸跟踪、表情识别和人脸识别相结合，提高了认证性能，避免冒充者用照片通过认证。其次，与现有的利用三维信息区分真人和照片的方法相比，本发明计算数据量小， 占用系统资源少，能够快速区分出真人和照片，满足了实时应用的需求。
图1是本发明实施例所述一种基于人脸的身份认证方法的流程图；图2是本发明实施例所述一种基于人脸的身份认证系统的结构图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。经分析，照片与真人的另一主要区别是真人可以进行各种各样的表情变化，而单张照片只可能具有一种表情；虽然多张照片可能具有多个表情，但是表情的变化不是连续的。基于上述分析，本发明的核心是提供一种基于表情识别的人脸认证系统，要求使用者在认证过程中做出至少两种表情，由于照片无法进行表情变化，因此可以区分单张照片和真人。同时，利用人脸跟踪来确定表情变化的是同一个人脸，如果利用两张表情不同的照片进行认证，变换照片时无法跟踪上，从而区分真人和照片。下面通过实施例进行详细说明。参照图1，是本发明实施例所述一种基于人脸的身份认证方法的流程图。在身份认证过程中，对采集到的每一帧图像进行如下处理步骤101，对当前帧图像进行人脸检测和跟踪；如果跟踪上，则为同一人脸，继续执行步骤102 ；如果跟踪不上，则为不同人脸，同时执行步骤104、105和106 ；人脸检测和跟踪属于目前比较成熟的技术。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态等。人脸检测多采用基于Adaboost的方法，通过大量人脸和非人脸图像训练人脸的分类器。人脸跟踪是指在给定视频中，确定人脸的运动轨迹及其大小变化的过程。人脸跟踪有基于Mean Shift的方法、基于统计模型的方法等，人脸跟踪可用于视频中跟踪同一人脸。如果当前帧中检测到的人脸在下一帧中不消失，则会被跟踪上；如果前后几帧的人脸没有跟踪上，可以认为视频中的人脸不再是同一个人脸。因此，通过人脸跟踪可以确定当前帧中的人脸与前一帧中检测到的人脸是否是同一个人脸。如果当前帧跟踪上了，说明当前帧中的人脸与前一帧中的人脸是同一个人脸；如果当前帧没有跟踪上，则说明当前帧中检测到的是一个新的人脸，则按照步骤106重置进行多帧综合认证的数据，并将此人脸输入给表情识别和人脸识别的步骤，继续后续的处理。除上述通过人脸跟踪技术判断是否为同一个人脸之外，还可以采用其他方法进行判断，本实施例在此不做限定。步骤102，判断前一帧中的人脸图像是否通过身份认证，如果通过，则执行步骤 103 ；如果没有通过，则同时执行步骤104和105 ；如果前一帧此人脸的身份已经认证通过，则直接给出身份认证通过的信号，不再进行后续的处理。如果前一帧此人脸没有通过身份认证，可能是此人脸的数据还不够，不能满足身份认证通过的要求，则将此人脸输入给表情识别和人脸识别的步骤，继续后续的处理。步骤103，输出身份认证已通过的信息，流程结束；步骤104，将当前帧图像进行人脸认证，然后继续执行步骤107 ；人脸认证是将输入的人脸图像与用户选择的身份对应的样本进行比对，如果比对成功则认证通过，否则认证不通过。其中，用户选择身份的方法可以是刷卡、鼠标点击等方法。人脸认证的流程为先进行特征提取，然后将特征向量输入给分类器，根据分类器的输出结果确定认证是否通过。常用的特征有PCA降维特征、Gabor特征、LBP特征、直方图特征等，如果需要，还可以在特征提取后进行特征的挑选，常用的分类器有boosting分类器、SVM分类器、贝叶斯分类器、类内类间分类器等。通过人脸识别，可以知道当前人脸图像是否与库中的身份相符合。步骤105，将当前帧图像进行表情识别，然后继续执行步骤107 ；表情识别的目的是识别当前人脸的表情，如果当前人脸在跟踪过程中具有多种表情，则当前人脸不是照片。这是因为单张照片只有一种表情，如果是多张照片，即使照片之间的表情不同，但照片切换时也会由于跟踪不上而被认为是一个新的人脸出现(因为照片切换的速度远远达不到跟踪算法要求的速度)，因此新人脸仍然只有一种表情。这里，多张照片指的是两张或两张以上。表情识别可以通过表情分类器进行。首先，对表情进行分类，通常将表情分为中性表情、笑、惊讶、生气等，也有其他的分法，如增加悲伤等表情。然后，为每种表情选择大量人脸样本，然后对样本进行特征提取，如提取Gabor特征，并进行特征挑选，可以采用 Adaboost的方法进行特征挑选，然后训练表情分类器，常用的为SVM(支持向量机)分类器。 利用表情分类器，可以对给定的人脸图像进行表情分类。需要说明的是，根据不同应用的需要，上述步骤105和106可以同时执行，也可以先后执行，如果同时执行，这两个步骤分别是独立的。步骤106，将前一人脸进行综合认证的相关数据清除；如果当前帧中的人脸图像跟踪不上，说明当前帧中检测到的是一个新的人脸，则当前进行综合认证的数据是前一人脸的数据，需要清除后来接收这个新人脸的相关数据。 所述相关数据包括人脸识别结果和表情识别结果。步骤107，将连续多帧的人脸识别结果和表情识别结果按照预置策略进行综合认证；如果综合认证结果为人脸认证通过且至少有两种表情，则该人脸的身份认证通过；否则，如果只有一种表情，则图像中的人脸可能是照片而不是真人，身份认证不通过。本实施例提供以下2种综合认证策略
1)策略一如果同时满足以下三个条件，则符合上述综合认证要求，认为人脸认证通过且至少有两种表情条件一，跟踪上的帧数大于预置阈值一；条件二，通过人脸认证的帧数与跟踪上的帧数相除的结果大于预置阈值二 ；
条件三，表情数目大于等于2。其中，阈值一和阈值二可以根据应用需求设定。上述条件一保证了连续多帧图像中的人脸是同一人脸，上述条件二保证了人脸通过了人脸人证，上述条件三保证了至少有两种表情。符合这三个条件，即可以得出人脸认证通过且具有至少两种表情的认证结果，则身份认证通过。2)策略二 如果同时满足以下两个条件，则符合所述综合认证要求，认为人脸认证通过且至少有两种表情条件一，连续M帧图像通过人脸认证，并且表情识别结果为表情一；条件二，第M帧图像后的连续N帧图像通过人脸认证，并且表情识别结果为表情 --；其中，M和N为自然数。上述表情一和表情二可以是指定的表情，如可以采用中性表情和笑两种表情。在采集每种表情的图像之前，可以给出提示信息，提示方法可以是语音、屏幕图像等方法。如果是复杂一些的处理，则表情一和表情二可以由用户自己选定，这时系统就需要具有识别更多种表情的处理能力。除上述2种策略外，也可以采用其他策略，但总的思想是保证人脸认证通过且至少有两种表情才能通过认证。步骤108，输出综合认证结果。综合认证结果包括身份认证通过和身份认证不通过两种，这两种结果都会以语音、声音提示或图像提示等多种方式或组合方式输出。上述流程中，综合认证步骤是影响身份认证效果的主要因素，所提供的两种策略各有优缺点，可以根据认证方法等进行选择。其中，策略一没有表情提示，待认证者可以自然地进行认证，自然变化表情，但缺点是如果待认证者不知道需要进行表情变化，则无法通过认证；并且，策略一中的人脸识别可以只识别一种表情的人脸图像，也可以支持多种表情的人脸识别，不过需要多帧以保证认证性能。对于只能支持一种表情的人脸识别，由于人脸识别与表情识别是分开进行的，所以即使只能识别一种表情的人脸图像，也可以同时满足策略一中的三个条件，因此这种情况是可以存在的。例如，人脸识别模型只能识别中性人脸图像，当人脸具有表情时无法进行识别，此时可以先识别中性人脸，人脸认证通过后再提醒用户变换表情，如果表情变化了， 并且跟踪上的帧数大于预置阈值一，则认为此时人脸认证通过、表情要求也通过，认为该用户的身份认证通过。策略二有表情提示，需要人脸识别的分类器支持多种表情的识别，这种策略由于有提示，可以方便用户进行配合；并且，有两种以上的表情的人脸图像都通过了认证，可以更多的降低误识率。例如，以计算机的人脸开机登录系统为例。首先需要获取用户的人脸信息，并存储；开机后通过摄像头进行人脸的检测和跟踪，并进行人脸的认证。认证过程中先提示用户做出一种表情，当连续M帧图像通过人脸认证，并且通过该表情识别后，再提示用户作出另一种表情，当连续N帧图像通过人脸认证，并且通过该表情的识别，则身份认证通过，实现登录，否则拒绝登录。综上所述，本发明通过人脸跟踪、表情识别和人脸认证相结合，提高了身份认证性能，避免冒充者用照片通过身份认证。而且，与现有的利用三维信息区分真人和照片的方法相比，本发明计算数据量小，占用系统资源少，能够快速区分出真人和照片，满足了实时应用的需求。针对上述方法实施例的说明，本发明还提供了相应的系统实施例。参照图2，是本发明实施例所述一种基于人脸的身份认证系统的结构图。所述人脸认证系统主要包括人脸认证模块21，用于对当前帧图像进行人脸认证；表情识别模块22，用于对当前帧图像进行表情识别；综合认证模块23，用于将连续多帧的人脸认证结果和表情识别结果按照预置策略进行综合认证，如果综合认证结果为人脸认证通过且至少有两种表情，则该人脸的身份认证通过。优选的，为了判断前后几帧图像中的人脸是同一人脸，所述系统还可以包括人脸检测模块M，用于对当前帧图像进行人脸检测；人脸跟踪模块25，用于对当前帧图像中检测到的人脸进行人脸跟踪；如果跟踪上，则为同一人脸；如果跟踪不上，则为不同人脸，将当前帧图像分别输入人脸认证模块21 和表情识别模块22。相应的，所述系统还可以包括判断模块沈，用于当跟踪上时，判断前一帧图像是否通过综合认证模块23的身份认证，如果通过，则输出身份认证已通过的信息；如果没有通过，则将当前帧图像分别输入人脸认证模块21和表情识别模块22。相应的，所述系统还可以包括重置模块27，用于当跟踪不上时，将综合认证模块23中前一人脸的相关数据清除。基于上述模块，本实施中的综合认证模块23提供了两种策略1)策略一如果同时满足以下三个条件，则符合上述综合认证结果，认为人脸认证通过且至少有两种表情条件一，跟踪上的帧数大于预置阈值一；条件二，通过人脸认证的帧数与跟踪上的帧数相除的结果大于预置阈值二 ；条件三，表情数目大于等于2。其中，阈值一和阈值二可以根据应用需求设定。
这种策略下，所述人脸识别模块21可以仅识别一种表情的人脸图像，也可以识别多种表情的人脸图像。2)策略二 如果同时满足以下两个条件，则符合所述综合认证结果，认为人脸认证通过且至少有两种表情条件一，连续M帧图像通过人脸认证，并且表情识别结果为表情一；条件二，第M帧图像后的连续N帧图像通过人脸认证，并且表情识别结果为表情 --；其中，M和N为自然数。这种策略下，所述系统还可以包括表情提示模块观，用于针对条件一和条件二，分别提示用户进行表情变化。此外，所述系统还可以包括认证结果输出模块四，用于以语音、声音提示或图像提示等多种方式或组合方式， 输出身份认证通过和身份认证不通过两种结果。综上所述，本系统可以在人脸认证过程中区分出照片和真人，而且认证速度大大提高，能够满足了时应用的需求。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。以上对本发明所提供的一种基于人脸的身份认证方法及系统，进行了详细介绍， 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种基于人脸的身份认证方法，其特征在于，包括 将当前帧图像进行人脸认证和表情识别；将连续多帧的人脸认证结果和表情识别结果按照预置策略进行综合认证，如果综合认证结果为人脸认证通过且至少有两种表情，则该人脸的身份认证通过。
2.根据权利要求1所述的方法，其特征在于，所述将当前帧图像进行人脸认证和表情识别之前，还包括对当前帧图像进行人脸检测和跟踪；如果跟踪上，则为同一人脸；如果跟踪不上，则为不同人脸。
3.根据权利要求2所述的方法，其特征在于如果跟踪上，则继续判断前一帧图像是否通过身份认证，如果通过，则输出身份认证已通过的信息；如果没有通过，则将当前帧图像进行人脸认证和表情识别；如果跟踪不上，则将前一人脸进行综合认证的相关数据清除，并将当前帧图像进行人脸认证和表情识别。
4.根据权利要求2或3所述的方法，其特征在于，所述预置策略为 条件一，跟踪上的帧数大于预置阈值一；条件二，通过人脸认证的帧数与跟踪上的帧数相除的结果大于预置阈值二； 条件三，表情数目大于等于2;如果同时满足以上三个条件，则符合所述综合认证结果。
5.根据权利要求1至3任一所述的方法，其特征在于，所述预置策略为 条件一，连续M帧图像通过人脸认证，并且表情识别结果为表情一；条件二，第M帧图像后的连续N帧图像通过人脸认证，并且表情识别结果为表情二 ； 其中，M和N为自然数；如果同时满足以上两个条件，则符合所述综合认证结果。
6.根据权利要求4所述的方法，其特征在于所述人脸认证为仅识别一种表情的人脸图像，或者识别多种表情的人脸图像。
7.一种基于人脸的身份认证系统，其特征在于，包括 人脸认证模块，用于对当前帧图像进行人脸认证； 表情识别模块，用于对当前帧图像进行表情识别；综合认证模块，用于将连续多帧的人脸认证结果和表情识别结果按照预置策略进行综合认证，如果综合认证结果为人脸认证通过且至少有两种表情，则该人脸的身份认证通过。
8.根据权利要求7所述的系统，其特征在于，还包括 人脸检测模块，用于对当前帧图像进行人脸检测；人脸跟踪模块，用于对当前帧图像中检测到的人脸进行人脸跟踪；如果跟踪上，则为同一人脸；如果跟踪不上，则为不同人脸，将当前帧图像分别输入人脸认证模块和表情识别模块。
9.根据权利要求8所述的系统，其特征在于，还包括判断模块，用于当跟踪上时，判断前一帧图像是否通过综合认证模块的身份认证，如果通过，则输出身份认证已通过的信息；如果没有通过，则将当前帧图像分别输入人脸认证模块和表情识别模块。
10.根据权利要求8所述的系统，其特征在于，还包括重置模块，用于当跟踪不上时，将综合认证模块中前一人脸的相关数据清除。
11.根据权利要求8至10任一所述的系统，其特征在于，所述预置策略为 条件一，跟踪上的帧数大于预置阈值一；条件二，通过人脸认证的帧数与跟踪上的帧数相除的结果大于预置阈值二； 条件三，表情数目大于等于2;如果同时满足以上三个条件，则符合所述综合认证结果。
12.根据权利要求7至10任一所述的系统，其特征在于，所述预置策略为 条件一，连续M帧图像通过人脸认证，并且表情识别结果为表情一；条件二，第M帧图像后的连续N帧图像通过人脸认证，并且表情识别结果为表情二 ； 其中，M和N为自然数；如果同时满足以上两个条件，则符合所述综合认证结果。
13.根据权利要求11所述的系统，其特征在于所述人脸认证模块仅识别一种表情的人脸图像，或者识别多种表情的人脸图像。
全文摘要
本发明提供了一种基于人脸的身份认证方法及系统，以解决人脸认证过程中区分真人和照片的问题。所述方法包括将当前帧图像进行人脸认证和表情识别；将连续多帧的人脸认证结果和表情识别结果按照预置策略进行综合认证，如果综合认证结果为人脸认证通过且至少有两种表情，则该人脸的身份认证通过。本发明通过表情识别和人脸识别相结合，提高了认证性能，避免冒充者用照片通过认证。
文档编号G06K9/62GK102385703SQ201010266199
公开日2012年3月21日 申请日期2010年8月27日 优先权日2010年8月27日
发明者王俊艳, 黄英 申请人:北京中星微电子有限公司