一种在人脸识别中使用的方法和装置制造方法
【专利摘要】本发明的实施方式提供了一种在人脸识别中使用的方法。该方法包括：将用户图像经过人脸特征点检测获得人脸特征点坐标；根据人脸特征点坐标计算人脸与水平方向的角度差，将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度；根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，将该用户图像根据尺寸比率缩放；根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置，通过将用户图像预处理，得到大小一致、对齐的人脸图像，使同一用户的人脸特征更加接近一致，消除低质量图像对人脸识别的影响，此外，还提供了一种在人脸识别中使用的装置。
【专利说明】一种在人脸识别中使用的方法和装置
【技术领域】
[0001]本发明的实施方式涉及身份识别领域，更具体地，本发明的实施方式涉及一种在人脸识别中使用的方法和装置。
【背景技术】
[0002]本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]在日常生活中，对人身份识别的需求广泛存在于各行各业，例如金融服务、海关出入境、国家安全等领域，都需要频繁地识别人的身份。常用的识别手段包括签字、密码、人工照片对比等等，但这些方法都有各自的弊端。比如签字容易被伪造，密码可能被盗用，而人工照片对比费时费力。随着科技的发展，生物计量学在身份识别领域的优点越来越明显，其中，人脸识别是近年来发展较为迅速的一个研究方向。
[0004]人脸识别通过分析用户的人脸信息来确定身份，在现有技术中，已经出现一些人脸识别技术，例如，人脸考勤应用技术，通过摄像头采集用户图像、在检测到人脸时，对用户图像进行人脸特征提取，将人脸特征与数据库保存的特征信息进行比对，进而实现对用户的人脸识别。
【发明内容】
[0005]但是，出于人脸识别实际应用的环境比较复杂，采集到的用户图像质量不稳定的原因，现有技术提取到的用户图像的特征无法保证一致性，无法满足人脸识别的应用。
[0006]因此在现有技术中，基于质量不稳定的用户图像进行人脸识别是非常令人烦恼的过程。
[0007]为此，非常需要一种改进的在人脸识别中使用的技术，以消除低质量的用户图像的影响，保证进入人脸识别模块的是高质量用户图像，以降低识别难度，提高识别精度。
[0008]在本上下文中，本发明的实施方式期望提供一种在人脸识别中使用的方法和装置。
[0009]在本发明实施方式的第一方面中，提供了一种在人脸识别中使用的方法，例如，可以包括:
[0010]将用户图像经过人脸特征点检测获得人脸特征点坐标；
[0011]根据人脸特征点坐标计算人脸与水平方向的角度差，将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度；
[0012]根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，将该用户图像根据尺寸比率缩放；
[0013]根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置。
[0014]可选地，其中所述人脸特征点坐标可以为左眼特征点坐标和右眼特征点坐标。
[0015]可选地，其中所述根据人脸特征点坐标计算人脸与水平方向的角度差，具体可以为根据左眼特征点坐标和右眼特征点坐标计算两特征点连线与水平方向的角度差；
[0016]所述将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度，具体可以将该用户图像旋转至两特征点连线与水平方向的角度差为零度。
[0017]可选地，其中所述根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，具体可以根据左眼特征点坐标和右眼特征点坐标计算两特征点距离与预设的第一标准距离的比率。
[0018]可选地，其中所述根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置，具体可以为根据两特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且两特征点处于该标准区域的标准位置；
[0019]所述用户图像的外边框为预设标准尺寸具体可以为用户图像的高和宽为预设标准尺寸。
[0020]可选地，还可以通过以下步骤获得所述用户图像:
[0021]提取所述用户图像的图像特征；
[0022]判断所述图像特征是否在标准阈值范围内；
[0023]如果是，获得所述用户图像。
[0024]可选地，其中，所述图像特征具体可以为用户图像的左脸和右脸的灰度直方图；
[0025]所述标准阈值范围具体可以为光照阈值范围。
[0026]可选地，其中，所述提取用户图像的图像特征具体可以为采用梯度算子计算用户图像的图像质量评价指标度；
[0027]所述标准阈值范围具体可以为图像质量评价指标度阈值范围。
[0028]可选地，其中，所述图像特征具体可以为人脸图像灰度直方图明暗分布比率；
[0029]所述标准阈值范围具体可以为标准比率阈值范围。
[0030]可选地，所述判断图像特征是否在标准阈值范围内之前，还可以包括:判断该用户图像用于注册还是用于认证；
[0031]如果用于注册，所述判断图像特征是否在标准阈值范围内具体可以为判断图像特征是否在用于注册的第一标准阈值范围内；
[0032]如果用于认证，所述判断图像特征是否在标准阈值范围内具体可以为判断图像特征是否在用于认证的第二标准阈值范围内。
[0033]可选地，该方法还可以包括:
[0034]对经过裁剪的图像进行伽马变换；
[0035]使用滤波器滤除高频和低频部分，获得更新的用户图像。
[0036]可选地，该方法还可以包括:
[0037]利用标准人脸模板覆盖经过裁剪的用户图像，
[0038]将被覆盖的用户图像在预设模板有效区域内的部分截取出来作为更新的经过裁剪的用户图像。[0039]可选地，该方法还可以包括:提取经过裁剪的用户图像的Gabor特征、LBP特征和HOG特征作为人脸特征信息。
[0040]可选地,该方法还可以包括:采用AdaBoost算法选择Gabor特征、LBP特征和HOG特征作为人脸特征信息。
[0041]可选地，该方法还可以包括:获得用户注册信息，判断该用户注册信息状态是否满足更新条件，如果满足，以所述经过裁剪的用户图像的人脸特征信息替换用户注册信息中包含的原人脸特征信息。
[0042]在本发明实施方式的第二方面中，提供了一种在人脸识别中使用的装置，例如，可以包括:
[0043]人脸检测单元:配置用于将用户图像经过人脸特征点检测获得人脸特征点坐标；
[0044]预处理单元:配置用于根据人脸特征点坐标计算人脸与水平方向的角度差，将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度；根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，将该用户图像根据尺寸比率缩放；根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置。
[0045]可选地，所述人脸检测单元:具体可以配置用于将用户图像经过人脸特征点检测获得左眼特征点坐标和右眼特征点坐标。
[0046]可选地，所述预处理单元:具体可以配置用于根据左眼特征点坐标和右眼特征点坐标计算两特征点连线与水平方向的角度差，将该用户图像旋转至两特征点连线与水平方向的角度差为零。
[0047]可选地，所述预处理单元:具体可以配置用于根据左眼特征点坐标和右眼特征点坐标计算两特征点距离与预设的第一标准距离的比率。
[0048]可选地，所述预处理单元:具体可以配置用于根据两特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且两特征点处于该标准区域的标准位置。
[0049]可选地，该装置还可以包括:
[0050]图像质量评价单元:配置用于提取所述用户图像的图像特征，判断所述图像特征是否在标准阈值范围内，如果是，获得所述用户图像。
[0051]可选地，所述图像质量评价单元:具体可以配置用于提取所述用户图像的左脸和右脸的灰度直方图，判断所述灰度直方图是否在标准光照阈值范围内，如果是，获得所述用户图像。
[0052]可选地，所述图像质量评价单元:具体可以配置用于采用梯度算子计算用户图像的图像质量评价指标度，判断所述图像质量评价指标度是否在图像质量评价指标度阈值范围内，如果是，获得所述用户图像。
[0053]可选地，所述图像质量评价单元:具体可以配置用于提取用户图像的人脸图像灰度直方图明暗分布比率，判断所述比率是否在标准比率阈值范围内，如果是，获得所述用户图像。
[0054]可选地，所述图像质量评价单元:还可以配置用于判断该用户图像用于注册还是用于认证，如果用于注册，所述判断图像特征是否在标准阈值范围内具体可以为判断图像特征是否在用于注册的第一标准阈值范围内，如果用于认证，所述判断图像特征是否在标准阈值范围内具体可以为判断图像特征是否在用于认证的第二标准阈值范围内。
[0055]可选地，该装置还可以包括:光照处理单元:配置用于对经过裁剪的图像进行伽马变换，使用滤波器滤除高频和低频部分，获得更新的用户图像。
[0056]可选地，该装置还可以包括:除干扰单元:配置用于利用标准人脸模板覆盖经过裁剪的用户图像，将被覆盖的用户图像在预设模板有效区域内的部分截取出来作为更新的经过裁剪的用户图像。
[0057]可选地，该装置还可以包括:特征提取单元:配置用于提取经过裁剪的用户图像的Gabor特征、LBP特征和HOG特征作为人脸特征信息。
[0058]可选地，所述特征提取单元:还可以配置用于采用AdaBoost算法选择Gabor特征、LBP特征和HOG特征作为人脸特征信息。
[0059]可选地，该装置还可以包括:更新单元:配置用于获得用户注册信息，判断该用户注册信息状态是否满足更新条件，如果满足，以所述经过裁剪的用户图像的人脸特征信息替换用户注册信息中包含的原人脸特征信息。
[0060]通过对上述技术方案的描述，容易得知，本发明具有如下有益效果:
[0061]由于本发明实施方式的方法和装置将用户图像经过人脸特征点检测获得人脸特征点坐标之后，根据人脸特征点坐标在用户图像中的位置，将用户图像进行了包括调整角度、调整尺寸、调整人脸位置、和裁剪图像大小的归一化人脸处理，进而使得图像质量不稳定的用户图像经过处理后能够得到大小一致、对齐的人脸图像，使同一用户图像提取的人脸特征更加接近一致，消除低质量图像对人脸识别的影响，以降低后续人脸识别难度、提高识别精度。
【专利附图】
【附图说明】
[0062]通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中:
[0063]图1示意性地示出了适于实现本发明实施方式的示例性计算系统100的框图；
[0064]图2示意性地示出了本发明的一应用场景下的用户图像示意图；
[0065]图3示意性地使出了根据本发明实施例的一种在人脸识别中使用的方法流程图；
[0066]图4示意性地示出了根据本发明实施例的左眼特征点的示意图；
[0067]图5示意性地示出了根据本发明实施例的标准人脸模板的示意图；
[0068]图6示意性地示出了根据本发明实施例的一种在人脸识别中使用的装置组成图；
[0069]在附图中，相同或对应的标号表不相同或对应的部分。
【具体实施方式】
[0070]下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。[0071]图1示出了适于实现本发明实施方式的示例性计算系统100的框图。如图1所示，计算系统100可以包括:中央处理单元(CPU) 101、随机存取存储器(RAM) 102、只读存储器(ROM) 103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。这些设备中，与系统总线104耦合的有CPU101、RAM102、R0M103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。
[0072]本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
[0073]可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0074]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0075]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
[0076]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言一诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0077]下面将参照本发明实施例的方法的流程图和设备(或系统)的框图描述本发明的实施方式。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
[0078]也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。
[0079]也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
[0080]根据本发明的实施方式，提出了一种在人脸识别中使用的方法和装置。
[0081]在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0082]下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
[0083]发明概沭
[0084]本发明人发现，在人脸识别中，用户图像质量不稳定是造成识别失败的主要原因，而用户图像质量不稳定主要体现在人脸在用户图像中的角度、尺寸、位置和图像大小不一致，如果能够解决人脸在用户图像中的一致性问题，就能够大大提高各种质量的用户图像的特征的一致性。
[0085]在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
[0086]应用场景总览
[0087]首先参考图2，图2为用于人脸识别的用户图像，该图像质量较差，本发明的实施方式可以在该应用场景下提高用户图像特征的一致性。
[0088]示例性方法
[0089]下面结合图2的应用场景，参考图3来描述根据本发明示例性实施方式用于该应用场景的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
[0090]参见图3，为本发明一种在人脸识别中使用的方法示例性流程图，如图所示，该示例性方法例如可以包括:
[0091]S301、将用户图像经过人脸特征点检测获得人脸特征点坐标；
[0092]S302、根据人脸特征点坐标计算人脸与水平方向的角度差，将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度；
[0093]S303、根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，将该用户图像根据尺寸比率缩放；
[0094]S304、根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置。
[0095]应用上述实施例方法，将用户图像经过人脸特征点检测获得人脸特征点坐标之后，将图像中的人脸进行了包括调整角度、调整尺寸、调整人脸位置、和裁剪图像大小的归一化人脸处理，使得图像质量不稳定的用户图像经过处理能够得到大小一致、对齐的人脸图像，使同一用户图像提取的人脸特征更加接近一致、消除低质量图像对人脸识别的影响，以降低后续人脸识别难度、提高识别精度。
[0096]需要说明的是，本发明方法可以应用于二维人脸识别，也可以应用于三维人脸识另IJ，具体可以根据实施需要，相应将二维图像或者三维图像作为本发明方法的输入进行处理，本发明在此方面没有限制。
[0097]下面，对步骤S301将用户图像经过人脸特征点检测获得人脸特征点坐标进行详细说明，在本发明一实施例中，具体可以通过以下步骤获得人脸特征点坐标，例如:
[0098]将用户图像转换为灰度图；
[0099]调用OpenCV图像处理库的人脸检测模块对该灰度图进行人脸检测，其中，OpenCV库使用的是基于Haar特征和级联AdaBoost分类的人脸检测算法；
[0100]在检测到人脸时，确定人脸矩形区域四个顶点在整幅灰度图中的坐标；
[0101]将四个顶点坐标和灰度图作为人脸特征点检测模型的输入进行处理，获得人脸特征点坐标，其中，所述人脸特征点检测模型具体可以预先采用ASM算法对已标记了人脸特征点的用户图像进行训练获得。
[0102]其中，采用ASM算法对已标记了人脸特征点的用户图像进行训练具体可以包括以下步骤:
[0103]建立一个包含N幅训练图像的数据集，每幅图像必须包含一张人脸，其中训练图像的采集情况要尽量与实际使用时可能遇到的采集情况类似，如:训练图像数据集包含各种可能的光照条件、用户表情、用户头部角度、戴眼镜或不戴眼镜等等；
[0104]对训练数据集中的每幅图像进行如下操作:
[0105]对每幅图像中的M个人脸特征点进行手工标注，其中包括人脸矩形区域的四个顶点，获得特征点在整幅图像中的坐标，例如，M可以取68个人脸特征点，手工标注的人脸特征点可以包括左眼特征点、右眼特征点、鼻根特征点、鼻尖特征点、嘴角特征点、脸颊轮廓特征点等等;
[0106]使用OpenCV对每幅图像中的人脸进行检测，获得人脸矩形区域四个顶点在图像中的坐标；
[0107]将训练数据集及所有坐标信息输入至ASM算法中进行训练，得到特征点检测模型。
[0108]需要说明的是，步骤S301所述将用户图像经过人脸特征点检测获得人脸特征点坐标，其中人脸特征点具体可以为左眼特征点和右眼特征点，也可以为例如鼻根特征点和鼻尖特征点等其他人脸特征点，具体根据实施需要选取，下面，以人脸特征点为左眼特征点和右眼特征点为例，对本发明步骤S302到S304进行详细说明:
[0109]其中，步骤S302根据人脸特征点坐标计算人脸与水平方向的角度差，具体可以为根据左眼特征点坐标和右眼特征点坐标计算两特征点连线与水平方向的角度差；
[0110]其中，步骤S302所述将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度，具体可以为将该用户图像旋转至两特征点连线与水平方向的角度差为零度；
[0111]其中，步骤S303所述根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，具体可以为根据左眼特征点坐标和右眼特征点坐标计算两特征点距离与预设标准距离的比率；
[0112]其中，步骤S303所述将该用户图像根据尺寸比率缩放，具体可以缩放到两特征点距离与预设标准距离相等，也可以缩放到两特征点距离与预设标准距离的比率等于预设比率，具体可以根据实施需要预先设置；
[0113]其中，步骤S304所述根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置，具体可以为根据两特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且两特征点处于该标准区域的标准位置，例如，裁剪后两特征点其中之一到用户图像的至少两个非平行边缘的距离为预设标准距离，例如，如图3所示，将经过旋转和缩放的用户图像裁剪至左眼特征点到用户图像的顶边框距离a和左边框距离b为预设标准距离；
[0114]其中，步骤S304所述裁减至标准区域大小具体可以裁剪至用户图像的外边框为预设标准尺寸，具体可以为如图4所示，用户图像的高H和宽W为预设标准尺寸。
[0115]下面，以人脸特征点为鼻根特征点和鼻尖特征点例，对本发明步骤S302到S304进行详细说明:
[0116]其中，步骤S302根据人脸特征点坐标计算人脸与水平方向的角度差，具体可以为根据鼻根特征点坐标和鼻尖特征点坐标计算两特征点连线与水平方向的角度差；
[0117]其中，步骤S302所述将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度，具体可以为将该用户图像旋转至两特征点连线与水平方向的角度差为90度；
[0118]其中，步骤S303所述根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，具体可以为根据鼻根特征点坐标和鼻尖特征点坐标计算两特征点距离与预设标准距离的比率；
[0119]其中，步骤S303所述将该用户图像根据尺寸比率缩放，具体可以缩放到两特征点距离与预设标准距离相等，也可以缩放到两特征点距离与预设标准距离的比率等于预设比率，具体可以根据实施需要预先设置；
[0120]其中，步骤S304所述根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置，具体为根据两特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且两特征点处于该标准区域的标准位置，例如，将经过旋转和缩放的用户图像裁剪至鼻尖特征点到用户图像的顶边框距离a和左边框距离b为预设标准距离；
[0121]需要说明的是，本发明所述的用户图像可以由摄像头采集后直接获得，也可以经过其他预处理之后获得，考虑到实际环境中采集环境不同，用户图像发生不一致的情况可能较多，为了提高人脸识别的成功率，本发明还提出通过以下质量评价预处理步骤获得质量合格的用户图像、筛除质量不合格的图像，例如，质量评价预处理步骤可以包括:
[0122]提取所述用户图像的图像特征；
[0123]判断所述图像特征是否在标准阈值范围内；
[0124]如果是，获得所述用户图像。[0125]其中，所提取的用户图像的图像特征具体可以依据实施需要进行设定，可以不同于下述实施例中人脸识别时提取的人脸特征信息，可以包括:例如，可以针对光照影响，采用对比左右脸部区域的灰度直方图分布，挑选合理光照阈值范围来筛除分辨过亮、过暗的图像，例如，具体可以包括:
[0126]所述图像特征具体可以为用户图像的左脸和右脸的灰度直方图；
[0127]所述标准阈值范围具体可以为光照阈值范围。
[0128]再例如，可以针对散焦模糊、运动模糊以及分辨率过低，采用梯度算子计算图像的图像质量评价指标度，例如锐化程度，挑选合理图像质量评价指标度阈值来筛除模糊图像，例如，具体可以包括:
[0129]所述提取用户图像的图像特征具体可以为采用梯度算子计算用户图像的图像质量评价指标度；
[0130]所述标准阈值范围具体可以为图像质量评价指标度阈值范围。
[0131]再例如，可以针对左右脸的明暗比率，将小于标准比率阈值的不合格图像筛选出来以筛除左右阴阳脸的图像，例如，具体可以包括:
[0132]所述图像特征具体可以为人脸图像灰度直方图明暗分布比率；
[0133]所述标准阈值范围具体可以为标准比率阈值范围。
[0134]可以理解的是，如果所述图像特征不在阈值范围内，具体可以依据所提取的图像特征内容和所判断的标准阈值范围内容相应向用户返回例如以下内容的消息，例如:
[0135]人脸区域光照过亮！环境光线太亮，请调整后重新采集；
[0136]或者，
[0137]人脸区域光照过暗！环境光线太暗，请调整后重新采集；
[0138]或者，
[0139]左右阴阳脸！脸部左右光照不均，请调整光线重新采集；
[0140]或者，
[0141]分辨率过低、散焦模糊或运动模糊！摄像头像素太低或晃动造成图像模糊。
[0142]可见，通过以上质量评价预处理步骤可以获得质量可靠的用户图像，有效提高人脸识别的成功率。此外，考虑到人脸识别的注册阶段和认证阶段的用户图像质量需求不同，例如，注册阶段为了提取更完整的有效人脸特征信息，通常需要所获得的用户图像有更高的图像质量，而认证阶段为了降低用户认证的难度，通常需要所获得的用户图像可以有略低的图像质量，因此，本发明提出在判断图像特征是否在标准阈值范围内之前，还可以包括:
[0143]判断该用户图像用于注册还是用于认证；
[0144]如果用于注册，所述判断图像特征是否在标准阈值范围内具体可以为判断图像特征是否在用于注册的第一标准阈值范围内；
[0145]如果用于认证，所述判断图像特征是否在标准阈值范围内具体可以为判断图像特征是否在用于认证的第二标准阈值范围内。
[0146]另外，为了减少采集环境中的光照对采集的用户图像像素值的影响，使用户图像在各种光照环境中仍保持稳定质量，本发明还提出对用户图像进行光照预处理，使得不同光照下采集的用户图像在经过处理后具有近似的光照分布，最大程度降低光照对用户图像的影响，具体地，例如，本发明还可以包括:
[0147]对经过裁剪的用户图像进行伽马变换；
[0148]使用滤波器滤除高频和低频部分，获得更新的用户图像。
[0149]在经过上述各实施例处理之后所获得的用户图像，基本具有了良好的一致性和光照分布，但是，由于人脸区域并非严格的矩形，一般情况下，经过上述实施例处理后的用户图像在左下角和右下角会引入部分背景，有时额头区域也会受到头发的干扰，因此，在本发明一实施例中，为了进一步提高用户图像中的有效人脸区域，还进一步提出通过以下方法去除用户图像中人脸部分以外的背景干扰，具体地，例如，可以包括:
[0150]利用标准人脸模板覆盖经过裁剪的用户图像，例如，所述标准人脸模板为如图5所示的模板；
[0151]将被覆盖的用户图像在预设模板有效区域内的部分截取出来作为更新的经过裁剪的用户图像。
[0152]可见，提取上述各实施例处理之后获得的用户图像的人脸特征信息，能够保证人脸特征信息的一致性，提高人脸识别的成功率。
[0153]在本发明中，为了所提取的人脸特征信息能够有效描述人脸特征，经过大量实验对比分析，最终确定提取经过裁剪的用户图像的Gabor特征、LBP特征和HOG特征作为人脸特征信息，下面对这三个特征进行详细说明:
[0154]其中，Gabor特征是人脸识别领域最接近人类视觉特性的特征。在本发明中，主要利用Gabor特征的多尺度、多方向特性来提取人脸区域的有效信息，具体描述如下:
[0155]二维Gabor小波的定义为:
【权利要求】
1.一种在人脸识别中使用的方法，包括: 将用户图像经过人脸特征点检测获得人脸特征点坐标； 根据人脸特征点坐标计算人脸与水平方向的角度差，将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度； 根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，将该用户图像根据尺寸比率缩放； 根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置。
2.根据权利要求1所述的方法，其中所述人脸特征点坐标为左眼特征点坐标和右眼特征点坐标。
3.根据权利要求2所述的方法，其中所述根据人脸特征点坐标计算人脸与水平方向的角度差，具体为根据左眼特征点坐标和右眼特征点坐标计算两特征点连线与水平方向的角度差; 所述将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度，具体为将该用户图像旋转至两特征点连线与水平方向的角度差为零度。
4.根据权利要求2所述的方法，其中所述根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，具体为根据左眼特征点坐标和右眼特征点坐标计算两特征点距离与预设的第一标准距离的比率。
5.根据权利要求2所述的方法，其中所述根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置，具体为根据两特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且两特征点处于该标准区域的标准位置。
6.根据权利要求1所述的方法，还包括通过以下步骤获得所述用户图像: 提取所述用户图像的图像特征； 判断所述图像特征是否在标准阈值范围内； 如果是，获得所述用户图像。
7.根据权利要求6所述的方法，其中 所述图像特征具体为用户图像的左脸和右脸的灰度直方图； 所述标准阈值范围具体为光照阈值范围。
8.根据权利要求6所述的方法，其中 所述提取用户图像的图像特征具体为采用梯度算子计算用户图像的图像质量评价指标度； 所述标准阈值范围具体为图像质量评价指标度阈值范围。
9.根据权利要求6所述的方法，其中 所述图像特征具体为人脸图像灰度直方图明暗分布比率； 所述标准阈值范围具体为标准比率阈值范围。
10.根据权利要求6所述的方法，所述判断图像特征是否在标准阈值范围内之前，还包括:判断该用户图像用于注册还是用于认证； 如果用于注册，所述判断图像特征是否在标准阈值范围内具体为判断图像特征是否在用于注册的第一标准阈值范围内； 如果用于认证，所述判断图像特征是否在标准阈值范围内具体为判断图像特征是否在用于认证的第二标准阈值范围内。
11.根据权利要求1所述的方法，还包括: 对经过裁剪的用户图像进行伽马变换； 使用滤波器滤除高频和低频部分，获得更新的用户图像。
12.根据权利要求1所述的方法，还包括: 利用标准人脸模板覆盖经过裁剪的用户图像； 将被覆盖的用户图像在预设模板有效区域内的部分截取出来作为更新的经过裁剪的用户图像。
13.根据权利要求1到12任意一项所述的方法，还包括:提取经过裁剪的用户图像的Gabor特征、LBP特征和HOG特征作为人脸特征信息。
14.根据权利要求13所述的方法,还包括:采用AdaBoost算法选择Gabor特征、LBP特征和HOG特征作为人脸特征信息。
15.根据权利要求1所述的方法，还包括:获得用户注册信息，判断该用户注册信息状态是否满足更新条件，如果满足，以所述经过裁剪的用户图像的人脸特征信息替换用户注册信息中包含的原人脸特征信息。
16.一种在人脸识别中使用的装置，包括: 人脸检测单元:配置用于将用户图像经过人脸特征点检测获得人脸特征点坐标； 预处理单元:配置用于根据人脸特征点坐标计算人脸与水平方向的角度差，将该用户图像旋转至人脸与水平方向的角度差符合预设标准角度；根据人脸特征点坐标计算人脸与预设标准人脸的尺寸比率，将该用户图像根据尺寸比率缩放；根据人脸特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且人脸特征点处于该标准区域的标准位置。
17.根据权利要求16所述的装置，所述人脸检测单元:具体配置用于将用户图像经过人脸特征点检测获得左眼特征点坐标和右眼特征点坐标。
18.根据权利要求17所述的装置，所述预处理单元:具体配置用于根据左眼特征点坐标和右眼特征点坐标计算两特征点连线与水平方向的角度差，将该用户图像旋转至两特征点连线与水平方向的角度差为零。
19.根据权利要求17所述的装置，所述预处理单元:具体配置用于根据左眼特征点坐标和右眼特征点坐标计算两特征点距离与预设的第一标准距离的比率。
20.根据权利要求17所述的装置，所述预处理单元:具体配置用于根据两特征点在用户图像中的位置，将经过旋转和缩放的用户图像裁剪至标准区域大小且两特征点处于该标准区域的标准位置。
21.根据权利要求16所述的装置，还包括: 图像质量评价单元:配置用于提取所述用户图像的图像特征，判断所述图像特征是否在标准阈值范围内，如果是，获得所述用户图像。
22.根据权利要求21所述的装置，所述图像质量评价单元:具体配置用于提取所述用户图像的左脸和右脸的灰度直方图，判断所述灰度直方图是否在标准光照阈值范围内，如果是，获得所述用户图像。
23.根据权利要求21所述的装置，所述图像质量评价单元:具体配置用于采用梯度算子计算用户图像的图像质量评价指标度，判断所述图像质量评价指标度是否在图像质量评价指标度阈值范围内，如果是，获得所述用户图像。
24.根据权利要求21所述的装置，所述图像质量评价单元:具体配置用于提取用户图像的人脸图像灰度直方图明暗分布比率，判断所述比率是否在标准比率阈值范围内，如果是，获得所述用户图像。
25.根据权利要求21所述的装置，所述图像质量评价单元:还配置用于判断该用户图像用于注册还是用于认证，如果用于注册，所述判断图像特征是否在标准阈值范围内具体为判断图像特征是否在用于注册的第一标准阈值范围内，如果用于认证，所述判断图像特征是否在标准阈值范围内具体为判断图像特征是否在用于认证的第二标准阈值范围内。
26.根据权利要求16所述的装置，还包括:光照处理单元:配置用于对经过裁剪的图像进行伽马变换，使用滤波器滤除高频和低频部分，获得更新的用户图像。
27.根据权利要求16所述的装置，还包括:除干扰单元:配置用于利用标准人脸模板覆盖经过裁剪的用户图像，将被覆盖的用户图像在预设模板有效区域内的部分截取出来作为更新的经过裁剪的用户图像。
28.根据权利要求16到27任意一项所述的装置，还包括:特征提取单元:具体配置用于提取经过裁剪的用户图像的Gabor特征、LBP特征和HOG特征作为人脸特征信息。
29.根据权利要求28所述的装置，所述特征提取单元:还配置用于采用AdaBoost算法选择Gabor特征、LBP特征和HOG特征作为人脸特征信息。
30.根据权利要求28所述的装置， 包括:更新单元:配置用于获得用户注册信息，判断该用户注册信息状态是否满足更新条件，如果满足，以所述经过裁剪的用户图像的人脸特征信息替换用户注册信息中包含的原人脸特征信息。
【文档编号】G06K9/00GK103914676SQ201210592215
【公开日】2014年7月9日 申请日期:2012年12月30日 优先权日:2012年12月30日
【发明者】李晓燕, 李鹏, 胡光龙, 陈刚 申请人:杭州朗和科技有限公司