一种人脸识别方法及系统的制作方法
【专利摘要】本发明适用于计算机视觉【技术领域】，提供了一种人脸识别方法及系统，所述方法包括：将待识别人脸图像与人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像，并结合最匹配的二维人脸图像对应的三维人脸模型获得待识别人脸图像和三维人脸模型之间的投影矩阵，基于投影矩阵和三维人脸模型生成新的二维人脸图像，将所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配，获得最匹配的LBP特征向量，并将最匹配的LBP特征向量对应的二维人脸图像的身份作为最终识别身份。本发明通过将二维和三维方法相结合的方式对人脸图像进行识别，可有效解决现有技术在人脸姿态变换较大时，人脸识别率较低的问题。
【专利说明】—种人脸识别方法及系统
【技术领域】
[0001]本发明属于计算机视觉【技术领域】，尤其涉及一种人脸识别方法及系统。
【背景技术】
[0002]在现有的人脸识别技术中，需要通过摄像头采集人脸二维图像，获取人脸二维图像上的特征点(例如:眼睛、鼻子、嘴等)，并与预存储的特征点进行比较以达到人脸识别的目的。然而，由于每个人的习惯不同或者采集过程中镜头晃动等原因，使得采集到的人脸二维图像在垂直方向可能存在一定的偏移，造成人脸的识别率较低。
【发明内容】
[0003]本发明实施例在于提供一种人脸识别方法及系统，以解决现有基于二维图像的人脸识别，在人脸姿态变换较大时识别率较低的问题。
[0004]本发明实施例的第一方面，提供一种人脸识别方法，所述方法包括:
[0005]建立人脸图像数据库，所述人脸图像数据库包括二维人脸图像以及与所述二维人脸图像对应的带有纹理的三维人脸模型；
[0006]获取待识别人脸图像，并将获取的所述待识别人脸图像与所述人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像对应的带有纹理的三维人脸模型；
[0007]根据所述最匹配的二维人脸图像对应的带有纹理的三维人脸模型计算获得所述待识别人脸图像与该三维人脸模型之间的投影矩阵；
[0008]基于所述投影矩阵和所述人脸图像数据库中的每个三维人脸模型生成多个新的二维人脸图像，其中每一个三维人脸模型对应一个新的二维人脸图像；
[0009]提取所述待识别人脸图像的LBP特征向量以及所述新的二维人脸图像的LBP特征向量，将提取的所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配，获得最匹配的LBP特征向量对应的二维人脸图像，并将该二维人脸图像的身份作为所述待识别人脸图像的最终识别身份。
[0010]本发明实施例的第二方面，提供一种人脸识别系统，所述系统还包括:
[0011]数据库建立单元，用于建立人脸图像数据库，所述人脸图像数据库包括二维人脸图像以及与所述二维人脸图像对应的带有纹理的三维人脸模型；
[0012]匹配单元，用于获取待识别人脸图像，并将获取的所述待识别人脸图像与所述人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像对应的带有纹理的二维人脸模型；
[0013]计算单元，用于根据所述最匹配的二维人脸图像对应的带有纹理的三维人脸模型计算获得所述待识别人脸图像与该三维人脸模型之间的投影矩阵；
[0014]新图像生成单元，用于基于所述投影矩阵和所述人脸图像数据库中的每个三维人脸模型生成多个新的二维人脸图像，其中每一个三维人脸模型对应一个新的二维人脸图像；[0015]识别单元，用于提取所述待识别人脸图像的LBP特征向量以及所述新的二维人脸图像的LBP特征向量，将提取的所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配，获得最匹配的LBP特征向量对应的二维人脸图像，并将该二维人脸图像的身份作为所述待识别人脸图像的最终识别身份。
[0016]本发明实施例与现有技术相比存在的有益效果是:本发明实施例将待识别人脸图像与人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像，并结合最匹配的二维人脸图像对应的三维人脸模型获得待识别人脸图像和三维人脸模型之间的投影矩阵，基于所述投影矩阵和所述人脸图像数据库中的每个三维人脸模型生成多个新的二维人脸图像，提取所述新的二维人脸图像的LBP特征向量并存储至人脸图像数据库，提取所述待识别人脸图像的LBP特征向量，并将所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配，获得最匹配的LBP特征向量对应的二维人脸图像，将该二维人脸图像的身份作为所述待识别人脸图像的最终识别身份。本发明实施例通过将二维和三维方法相结合的方式对人脸图像进行识别，可有效解决现有技术在人脸姿态变换较大时，单纯通过二维图像提取特征方式导致人脸识别率较低的问题。本发明实施例人脸识别准确、高效，对硬件要求较低，从而有利于降低产品成本，使得产品适用面更广，具有较强的易用性和实用性。
【专利附图】
【附图说明】
[0017]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本发明第一实施例提供的人脸识别方法的实现流程图；
[0019]图2是本发明第一实施例提供的对新的二维人脸图像进行分块的示例图；
[0020]图3是本发明第二实施例提供的人脸识别系统的组成结构图。
【具体实施方式】
[0021]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0022]为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0023]实施例一:
[0024]图1示出了第一实施例提供的人脸识别方法的实现流程，该方法过程详述如下:
[0025]在步骤SlOl中，建立人脸图像数据库，所述人脸图像数据库包括二维人脸图像以及与所述二维人脸图像对应的带有纹理的三维人脸模型。
[0026]在本实施例中，为每个身份的用户存储一张二维人脸图像，即每一张二维人脸图像对应一个唯一身份，并基于所述二维人脸图像通过三维建模技术进行建模，在建模时把人脸的纹理信息保存下来并映射在最终的三维人脸模型上。因此，所述人脸图像数据库中保存有每个身份的一张二维人脸图像以及对应的三维人脸模型。[0027]在步骤S102中，获取待识别人脸图像，并将获取的所述待识别人脸图像与所述人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像对应的带有纹理的三维人脸模型。
[0028]在本实施例中，可通过摄像头等采集待识别人脸图像，并将采集的所述待识别人脸图像与所述人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像。基于所述二维人脸图像与所述三维人脸模型的对应关系，获取最匹配的二维人脸图像对应的带有纹理的三维人脸模型。
[0029]在步骤S103中，根据所述最匹配的二维人脸图像对应的带有纹理的三维人脸模型计算获得所述待识别人脸图像与该三维人脸模型之间的投影矩阵。
[0030]在本实施例中，通过步骤S102的匹配过程，可以获得待识别人脸图像与其最匹配图像之间的对应关系，再基于最匹配图像和其三维人脸模型之间的对应关系，可以获得待识别人脸图像与三维人脸模型之间的对应关系，通过所述对应关系获得投影矩阵，其具体过程属于计算机视觉领域的常用技术手段，在此不再赘述。
[0031]在步骤S104中，基于所述投影矩阵和所述人脸图像数据库中的每个三维人脸模型生成多个新的二维人脸图像，其中每一个三维人脸模型对应一个新的二维人脸图像。
[0032]在本实施例中，所述投影矩阵计算出来后，将三维人脸模型上的视点左乘以该投影矩阵即获得二维人脸图像的视点。再基于三维模型的纹理信息，可获得投影到所述二维人脸图像的视点的颜色，基于所述二维人脸图像的视点和颜色，最终生成一张新的二维人脸图像。其中所述视点是指人脸图像相对于摄像头的位置。
[0033]在步骤S105中，提取所述待识别人脸图像的LBP特征向量(即表示所述待识别人脸图像的特征的向量)以及所述新的二维人脸图像的LBP特征向量，将提取的所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配，获得最匹配的LBP特征向量对应的二维人脸图像，并将该二维人脸图像的身份作为所述待识别人脸图像的最终识别身份。
[0034]其中，所述提取所述新的二维人脸图像中的LBP特征向量包括:
[0035]对所述新的二维人脸图像进行分块(如图2所示，假定二维人脸图像大小为WXh像素，其中w为图像的宽度，h为图像的高度，每个块的大小定为32X32像素，那么该二维人脸图像最终被分成(w/32) X (h/32)个小块)，并针对每一个分块提取多个不同尺度下的局部二值模式(Local Binary Patterns, LBP)特征向量,例如提取LBP特征向量时采用1、
3、5、7不同像素大小的半径，每个半径对应一个尺度，从而获得4个尺度下的LBP特征向量，每个半径下的LBP特征为59维的特征向量；
[0036]合并不同尺度下的LBP特征向量，将合并后的LBP特征向量作为对应分块的LBP特征向量，如上示例，将4个59维的特征向量合并成一个236维的特征向量，将236维的特征向量作为该分块对应的LBP特征向量；
[0037]合并每个分块的LBP特征向量，将每个分块合并后的LBP特征向量作为对应新的二维人脸图像的特征向量，如上示例，将每个分块的LBP特征向量合并成一个维数为(w/32) X (h/32) X236的向量，并对该向量进行归一化处理，归一化处理后的向量标记为\BPi，所述Vmji即为新的二维人脸图像对应的LBP特征向量。
[0038]进一步的，为了减少新的二维人脸图像对应的LBP特征向量的噪音，本实施例还包括:
[0039]基于新的二维人脸图像的LBP特征向量，获取新的二维人脸图像的强LBP特征向量，其公式具体为:
[0040]
【权利要求】
1.一种人脸识别方法，其特征在于，所述方法包括: 建立人脸图像数据库，所述人脸图像数据库包括二维人脸图像以及与所述二维人脸图像对应的带有纹理的三维人脸模型； 获取待识别人脸图像，并将获取的所述待识别人脸图像与所述人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像对应的带有纹理的三维人脸模型； 根据所述最匹配的二维人脸图像对应的带有纹理的三维人脸模型计算获得所述待识别人脸图像与该三维人脸模型之间的投影矩阵； 基于所述投影矩阵和所述人脸图像数据库中的每个三维人脸模型生成多个新的二维人脸图像，其中每一个三维人脸模型对应一个新的二维人脸图像； 提取所述待识别人脸图像的LBP特征向量以及所述新的二维人脸图像的LBP特征向量，将提取的所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配，获得最匹配的LBP特征向量对应的二维人脸图像，并将该二维人脸图像的身份作为所述待识别人脸图像的最终识别身份。
2.如权利要求1所述的方法，其特征在于，所述提取所述新的二维人脸图像中的LBP特征向量包括: 对所述新的二维人脸图像进行分块，并针对每一个分块提取多个不同尺度下的LBP特征向量； 合并不同尺度下的LBP特征向量，将合并后的LBP特征向量作为对应分块的LBP特征向量; 合并每个分块的LBP特征向量，将每个分块合并后的LBP特征向量作为对应新的二维人脸图像的特征向量。
3.如权利要求2所述的方法，其特征在于，所述方法还包括: 对每个分块合并后的LBP特征向量进行归一化处理。
4.如权利要求2或3所述的方法，其特征在于，所述方法还包括: 基于新的二维人脸图像的LBP特征向量，获取新的二维人脸图像的强LBP特征向量，其公式具体为:
Vi=WXBPi 其中，Vi表示第i个新的二维人脸图像的强LBP特征向量，'BPi表示第i个新的二维人脸图像的LBP特征向量,W=Iiq1 q2...q k ]，Q k为
5.如权利要求1所述的方法，其特征在于，所述将提取的所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配的公式为:
f=l-VLBP1TVLBp2 其中，Vlbpi为所述待识别人脸图像的LBP特征向量，Vlbp2为所述新的二维人脸图像的LBP特征向量，f值越小表示匹配度越高。
6.一种人脸识别系统，其特征在于，所述系统包括:数据库建立单元，用于建立人脸图像数据库，所述人脸图像数据库包括二维人脸图像以及与所述二维人脸图像对应的带有纹理的三维人脸模型； 匹配单元，用于获取待识别人脸图像，并将获取的所述待识别人脸图像与所述人脸图像数据库中的二维人脸图像进行匹配，获得最匹配的二维人脸图像对应的带有纹理的三维人脸模型； 计算单元，用于根据所述最匹配的二维人脸图像对应的带有纹理的三维人脸模型计算获得所述待识别人脸图像与该三维人脸模型之间的投影矩阵； 新图像生成单元，用于基于所述投影矩阵和所述人脸图像数据库中的每个三维人脸模型生成多个新的二维人脸图像，其中每一个三维人脸模型对应一个新的二维人脸图像； 识别单元，用于提取所述待识别人脸图像的LBP特征向量以及所述新的二维人脸图像的LBP特征向量，将提取的所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配，获得最匹配的LBP特征向量对应的二维人脸图像，并将该二维人脸图像的身份作为所述待识别人脸图像的最终识别身份。
7.如权利要求6所述的系统，其特征在于，所述识别单元包括: 特征提取模块，用于对所述新的二维人脸图像进行分块，并针对每一个分块提取多个不同尺度下的LBP特征向量； 第一合并模块，用于合并不同尺度下的LBP特征向量，将合并后的LBP特征向量作为对应分块的LBP特征向量； 第二合并模块，用于合并每个分块的LBP特征向量，将每个分块合并后的LBP特征向量作为对应新的二维人脸图像的特征向量。
8.如权利要求7所述的系统，其特征在于，所述第二合并模块还用于: 对每个分块合并后的LBP特征向量进行归一化处理。
9.如权利要求7或8所述的系统，其特征在于，所述识别单元还包括: 强特征获取模块，用于基于新的二维人脸图像的LBP特征向量，获取新的二维人脸图像的强LBP特征向量，其公式具体为:
Vi=WXBPi 其中，Vi表示第i个新的二维人脸图像的强LBP特征向量，'BPi表示第i个新的二维人脸图像的LBP特征向量,W=Iiq1 q2...q k ]，Q k为
10.如权利要求6所述的系统，其特征在于，所述识别单元将提取的所述待识别人脸图像的LBP特征向量与所述新的二维人脸图像的LBP特征向量进行匹配的公式为:
f=l-VLBP1TVLBp2 其中，Vlbpi为所述待识别人脸图像的LBP特征向量，Vlbp2为所述新的二维人脸图像的LBP特征向量，f值越小表示匹配度越高。
【文档编号】G06K9/64GK103745206SQ201410040458
【公开日】2014年4月23日 申请日期:2014年1月27日 优先权日:2014年1月27日
【发明者】冯良炳 申请人:中国科学院深圳先进技术研究院