人脸识别方法及装置的制造方法
【专利摘要】本公开提供一种人脸识别方法及装置，其中，上述方法包括：采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括：图像特征和面部属性特征；根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度；根据所述匹配度确定所述待识别人脸图像的识别结果。本公开在进行人脸识别的过程中，基于人脸面部图像特征和面部属性特征进行综合比对，有效提高了人脸识别的准确度。
【专利说明】
人脸识别方法及装置
技术领域
[0001]本公开涉及图像识别技术领域，尤其涉及一种人脸识别方法及装置。
【背景技术】
[0002]人脸识别技术被广泛应用于涉及隐私或安全相关的身份验证工具中，主要包括两部分:面部特征提取部分和特征比对匹配部分。近年来随着深度学习技术的发展，在面部特征提取部分，基于人工神经网络模型，通过监督信号对模型进行指导性的特征学习的做法越来越普遍，有效提高了人脸识别的准确度。
[0003]然而，相关技术主要基于图像特征进行特征比对，如果待识别人脸图像与人脸图像样本中的两张人脸的五官相似但性别或人种不同，或者上述两张人脸图像为同一个人在两个不同年龄段的面部图像，采用相关技术对上述情况还无法做到准确识别，因此人脸识别的准确度有待进一步提尚。
【发明内容】
[0004]有鉴于此，本公开提供一种人脸识别方法及装置，可以有效提高人脸识别的准确度。
[0005]根据本公开实施例的第一方面，提供了一种人脸识别方法，所述方法包括:
[0006]采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征；
[0007]根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度；
[0008]根据所述匹配度确定所述待识别人脸图像的识别结果。
[0009]可选地，所述面部属性特征用于表达以下至少一项面部属性的特征:年龄、性别、人种。
[0010]可选地，在所述采用预设深度学习模型提取待识别人脸图像的人脸特征向量之前，还包括:建立人脸模板数据库；
[0011 ]所述建立人脸模板数据库包括:
[0012]基于预设数量的人脸图像训练样本和每个所述人脸图像训练样本标定的面部属性信息，训练所述卷积神经网络模型，以确定所述卷积神经网络模型的权值参数；
[0013]使用训练好的所述卷积神经网络模型提取样本集合中每一个人脸图像样本的人脸特征向量，所述每一个人脸图像样本的人脸特征向量包括图像特征和面部属性特征；
[0014]根据所述样本集合中每一个所述人脸图像样本的人脸特征向量和已标定的身份标识，建立人脸模板数据库。
[0015]可选地，所述卷积神经网络模型为基于深度学习的卷积神经网络模型；
[0016]所述采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，包括:
[0017]将所述待识别人脸图像作为输入图像分别在所述卷积神经网络模型连接的若干类别分类器进行特征提取；
[0018]提取所述若干类别分类器的全链接层或者指定链接层输出的特征向量，作为所述待识别人脸图像的人脸特征向量。
[0019]可选地，所述根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度，包括:
[0020]计算所述待识别人脸图像与所述人脸图像样本的人脸特征向量之间的向量距离；其中，所述向量距离用于表征所述待识别人脸图像与所述人脸图像样本之间的匹配度；
[0021]根据预设的匹配度转换策略将计算出的所述向量距离转换为对应的匹配度取值。
[0022]可选地，所述根据所述匹配度确定所述待识别人脸图像的识别结果，包括:判断所述匹配度取值是否达到预设阈值；
[0023]当所述匹配度取值达到预设阈值时，确认所述待识别人脸图像与所述人脸图像样本相同，并将所述人脸图像样本及对应的属性信息、身份标识作为识别结果输出。
[0024]可选地，所述向量距离包括余弦距离或者欧氏距离。
[0025]根据本公开实施例的第二方面，提供了一种人脸识别装置，所述装置包括:
[0026]特征向量获取模块，被配置为采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征；
[0027]计算模块，被配置为根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度；
[0028]识别模块，被配置为根据所述匹配度确定所述待识别人脸图像的识别结果。
[0029]可选的，所述面部属性特征用于表达以下至少一项面部属性的特征:年龄、性别、人种。
[0030]可选的，所述人脸识别装置还包括:
[0031 ]模板建立模块，被配置为建立人脸模板数据库；
[0032]所述模板建立模块包括:
[0033]模型训练子模块，被配置为基于预设数量的人脸图像样本和每个所述人脸图像样本标定的面部属性信息，训练所述卷积神经网络模型，以确定所述卷积神经网络模型的权值参数；
[0034]样本特征提取子模块，被配置为使用训练好的所述卷积神经网络模型提取样本集合中每一个人脸图像样本的人脸特征向量，所述每一个人脸图像样本的人脸特征向量包括图像特征和面部属性特征；
[0035]模板建立子模块，被配置为根据所述样本集合中每一个所述人脸图像样本的人脸特征向量和已标定的身份标识，建立人脸模板数据库。
[0036]可选的，所述卷积神经网络模型为基于深度学习的卷积神经网络模型；
[0037]所述特征向量获取模块包括:
[0038]特征提取子模块，被配置为将所述待识别人脸图像作为输入图像分别在所述卷积神经网络模型连接的若干类别分类器进行特征提取；
[0039]向量输出子模块，被配置为提取所述若干类别分类器的全链接层或者指定链接层输出的特征向量，作为所述待识别人脸图像的人脸特征向量。
[0040]可选的，所述计算模块包括:
[0041]计算子模块，被配置为计算所述待识别人脸图像与所述人脸图像样本的人脸特征向量之间的向量距离;其中，所述向量距离用于表征所述待识别人脸图像与所述人脸图像样本之间的匹配度；
[0042]匹配度确定子模块，被配置为根据预设的匹配度转换策略将计算出的所述向量距离转换为对应的匹配度取值。
[0043]可选的，所述识别模块包括:
[0044]判断子模块，被配置为判断所述匹配度取值是否达到预设阈值；
[0045]识别结果输出子模块，被配置为在所述匹配度取值达到预设阈值的情况下，确认所述待识别人脸图像与所述人脸图像样本相同，并将所述人脸图像样本及对应的属性信息、身份标识作为识别结果输出。
[0046]可选的，所述向量距离包括余弦距离或者欧氏距离。
[0047]根据本公开实施例的第三方面，还提供了一种人脸识别装置，包括:处理器；用于存储处理器可执行指令的存储器；
[0048]其中，所述处理器被配置为:
[0049]采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征；
[0050]根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度；
[0051 ]根据所述匹配度确定所述待识别人脸图像的识别结果。
[0052]本公开的实施例提供的技术方案可以包括以下有益效果:
[0053]本公开中，对于一幅待识别人脸图像，服务端可以采用卷积神经网络模型提取该待识别人脸图像的人脸特征向量，该人脸特征向量不仅包括面部图像特征还包括面部属性特征，然后根据所述上述人脸特征向量与人脸模板数据库中的人脸图像样本进行匹配，输出人脸识别结果。本公开在进行人脸识别的过程中，基于人脸面部图像特征和面部属性特征进行综合比对，有效提高了人脸识别的准确度。
[0054]本公开中，对待识别人脸图像提取的人脸特征向量中包括的面部属性特征可以包括年龄、性别、人种等特征，可以有效避免将五官相似但性别或人种不同的两张人脸误判为属于同一个人，也可以有效避免容貌随年龄的变化，将本属于同一个人不同年龄段的人脸误判为不同人的人脸，有效提高的人脸识别的准确性。
[0055]本公开中，在对待识别人脸图像进行人脸识别之前，如果服务器端没有预先存储的人脸模板数据库，还可以首先训练卷积神经网络模型，然后使用训练好的卷积神经网络模型对样本集合中的每一个人脸图像样本进行人脸特征向量提取，然后根据样本图像已标定的身份标识建立人脸模板数据库。新建立的人脸模板数据库中，每个人脸图像样本对应的人脸特征向量中除了包括面部图像特征，还包括面部属性特征，以便在人脸检测阶段可以提供更准确的信息比对模板，确保人脸识别的准确性。
[0056]本公开中，采用基于深度学习的多层卷积神经网络模型对待识别人脸图像进行特征提取，多层卷积神经网络模型相当于连接有若干分类器的深度网络模型，可以将所有分类器提取的特征整合为待识别人脸图像对应的人脸特征向量以确保人脸识别结果的精确度;在不影响识别准确度的情况下，也可以将部分分类器提取的特征整合为上述待识别人脸图像的人脸特征向量，减少识别过程中的计算量，提高人脸识别效率。
[0057]本公开中，在提取人脸特征向量后，利用人脸特征向量进行特征匹配的过程中，可以通过计算特征向量之间的向量距离的方式确定待识别人脸图像与所述人脸图像样本之间的匹配度，提高计算速度，进而提高人脸识别效率。
[0058]本公开中，在通过计算的向量距离按照预设匹配度策略转换为对应的匹配度取值之后，可以根据预设的匹配度阈值确定待识别人脸图像是否与人脸图像样本匹配，降低了计算量，提高了人脸识别效率。
[0059]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
【附图说明】
[0060]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0061 ]图1是本公开根据一示例性实施例示出的一种人脸识别方法的流程图；
[0062]图2是本公开根据一示例性实施例示出的另一种人脸识别方法的流程图；
[0063]图3-1是本公开根据一示例性实施例示出的一种人脸识别的应用场景示意图；
[0064]图3-2是本公开根据一示例性实施例示出的另一种人脸识别应用场景示意图；
[0065]图4是本公开根据一示例性实施例示出的另一种人脸识别方法的流程图；
[0066]图5是本公开根据一示例性实施例示出的另一种人脸识别方法的流程图；
[0067]图6是本公开根据一示例性实施例示出的另一种人脸识别方法的流程图；
[0068]图7是本公开根据一示例性实施例示出的另一种人脸识别方法的流程图；
[0069]图8是本公开根据一示例性实施例示出的另一种人脸识别装置的框图；
[0070]图9是本公开根据一示例性实施例示出的另一种人脸识别装置的框图；
[0071 ]图10是本公开根据一示例性实施例示出的另一种人脸识别装置的框图；
[0072]图11是本公开根据一示例性实施例示出的另一种人脸识别装置的框图；
[0073]图12是本公开根据一示例性实施例示出的另一种人脸识别装置的框图；
[0074]图13是本公开根据一示例性实施例示出的另一种人脸识别装置的框图；
[0075]图14是本公开根据一示例性实施例示出的一种用于人脸识别的装置的一结构示意图。
【具体实施方式】
[0076]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0077]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0078]应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0079]在相关技术中，人脸识别过程为:采用预设深度学习模型从待识别人脸图像中抽取出面部图像特征，并结合特定算法对抽取的面部图像特征进行降维后，与人脸模板数据库中的人脸图像样本的面部图像特征进行比对，进行匹配度度量，最终得到人脸识别结果。然而，在进行人脸识别的过程中，由于识别的准确度取决于提取出的面部图像特征，而面部的特征全部来自于图像本身，对于不同的性别或种族的、长相相近的人，由于相关技术仅在面部特征上有区分度，很可能造成误检。或者，同一个人在不同年龄段下，容貌会有变化，采用相关技术无法识别上述容貌变化，也可能会造成人脸识别结果不准确。
[0080]有鉴于此，本公开提供了一种人脸识别方法，参照图1根据一示例性实施例示出的一种人脸识别方法的流程图，该人脸识别方法用于服务端，可以包括以下步骤:
[0081]在步骤11中，采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征；
[0082]在本实施例中，服务端可以是面向用户提供人脸识别服务的服务器、服务器集群或者云平台。
[0083]在基于深度学习的卷积神经网络模型中，可以包括输入层、多个用于进行特征提取的卷积层、链接层以及输出层。输入层用于为待识别人脸图像提供输入通道;卷积层可以作为独立的特征提取层对人脸图像的局部特征进行提取，链接层可以对各卷积层提取出的局部特征进行整合，将各卷积层提取出的图像特征链接为一个一维向量;输出层用于输出对输入的待识别人脸图像的分类结果，即人脸特征向量。
[0084]本公开中，采用多层卷积神经网络模型对待识别人脸图像提取的人脸特征向量中除了包括面部图像特征，还包括上述待识别人脸的面部属性特征，比如性别、年龄、人种等属性特征。其中，性别包括男、女;人种可以包括白种人、黑种人、黄种人等。
[0085]参照图2根据一示例性实施例示出的另一种人脸识别方法的流程图，上述步骤11可以包括:
[0086]在步骤111中，将所述待识别人脸图像作为输入图像分别在所述卷积神经网络模型连接的若干类别分类器进行特征提取；
[0087]本公开实施例中，参照图3-1根据一示例性实施例示出的一种人脸识别的应用场景示意图，上述卷积神经网络模型可以看作是一个深度神经网络200连接的若干类别的分类器，比如人物分类器201、性别分类器202、年龄分类器203、人种分类器204;各分类器可以提取不同类别的特征，比如，人物分类器201可以提取待识别人脸图像中映射人脸五官的面部图像特征;性别分类器202可以从上述待识别人脸图像中提取映射性别的特征;年龄分类器203可以从待识别人脸图像中提取映射年龄的特征;人种分类器204可以从上述待识别人脸图像中提取映射人种的特征，最后对各分类器或者指定的分类器提取的特征进行整合，链接为待识别人脸图像对应的人脸特征向量。上述各分类器可以同时或者依次提取待识别图像中的特征。
[0088]参照图3-2根据一示例性实施例示出的另一种人脸识别的应用场景示意图，上述卷积神经网络模型也可以是多个独立的深度神经网络分别连接的分类器，比如4个，分别为:人类分类器所在的网络301;年龄分类器所在的网络302;性别分类器所在的网络303;人种分类器所在的网络304。上述各网络均以上述待识别人脸图像为输入图像，每个网络连接的分类器提取相应类别的特征，最后将4个独立网络提取的特征整合为上述待识别人脸图像的人脸特征向量，或者将人物分类器所在网络301输出的特征与其他至少一个网络输出的特征，整合为上述待识别人脸图像的人脸特征向量。
[0089]在步骤112中，提取所述若干类别分类器的全链接层或者指定链接层输出的特征向量，作为所述待识别人脸图像的人脸特征向量。
[0090]为提高人脸识别的准确性，本公开获取的人脸特征向量中包括面部图像特征和至少一个类别的面部属性特征，比如，所述人脸特征向量包括:面部图像特征、性别特征、年龄特征、人种特征;又比如，所述人脸特征向量包括:面部图像特征、性别特征，用以准确区分两个五官相似、性别不同的两个人;或者，所述人脸特征向量包括:面部图像特征、人种特征，用以准确区分两个五官相似、人种不同的两个人。
[0091]在步骤12中，根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度；
[0092]本公开实施例中，在进行人脸识别之前，服务端存储有人脸模板数据库。该人脸模板数据库中存储有大量人脸图像样本和每个人的人脸特征向量，其中，每个人的人脸特征向量是通过上述卷积神经网络对每个人的一个或多个人脸图像样本进行特征提取后获取的。人脸模板数据库中每个人的人脸特征向量也包括面部图像特征和面部属性特征，上述面部属性特征可以包括至少一个面部属性，一般情况下，会包括比较全面的面部属性，比如，同时包括性别、年龄、人种等属性信息。
[0093]在人脸识别阶段，当服务端获取待识别人脸图像的人脸特征向量后，可以基于提取出的人脸特征向量，采用预设分类算法如支持向量机(Support Vector Machine，SVM)算法与人脸模板数据库中的人脸图像样本进行匹配度度量。
[0094]参照图4根据一示例性实施例示出的另一种人脸识别方法的流程图，上述步骤12可以包括以下步骤:
[0095]在步骤121中，计算所述待识别人脸图像与所述人脸图像样本的人脸特征向量之间的向量距离;其中，所述向量距离用于表征所述待识别人脸图像与所述人脸图像样本之间的匹配度；
[0096]在本实施例中，在基于提取出的人脸特征向量进行匹配度度量时，可以计算待识别人脸图像与人脸模板数据库中的人脸图像样本的人脸特征向量的向量距离，通过二者的向量距离来表征待识别人脸图像与人脸图像样本的匹配度。其中，上述向量距离可以是余弦距离，也可以是欧氏距离，在本实施例中不进行特别限定。
[0097]在实现时，服务端可以依次计算待识别人脸图像的人脸特征向量与数据库中人脸图像样本的人脸特征向量之间的向量距离，然后根据预设的匹配度转换策略将计算出的向量距离转换成对应的匹配度取值。
[0098]在步骤122中，根据预设的匹配度转换策略将计算出的所述向量距离转换为对应的匹配度取值。
[0099]该匹配度转换策略可以是服务端根据向量距离与匹配度之间的关系预先建立一个向量距离与匹配度取值的对应关系列表，该对应关系列表中可以根据预设的向量距离阈值划分为多个不同的匹配度等级，并为每一个匹配度等级设置一个对应的匹配度取值，由于特征向量之间的向量距离通常与特征向量之间的匹配度成反比，因此当向量距离越小时，匹配度取值越高，当向量距离越大时，匹配度取值越低。通过这种方式，可以直接查询该对应关系列表，得到与计算出的向量距离对应的匹配度取值。
[0100]在步骤13中，根据所述匹配度确定所述待识别人脸的识别结果。
[0101]参照图5根据一示例性实施例示出的另一种人脸识别的方法流程图，在图4所示实施例的基础上，上述步骤13可以包括以下步骤:
[0102]在步骤131中，判断所述匹配度取值是否达到预设阈值；
[0103]本公开实施例中，可以根据人工经验设置一个匹配度阈值，用于区分待识别图像是否与人脸图像样本属于同一个人的人脸图像。
[0104]在步骤132中，当所述匹配度取值达到预设阈值时，确认所述待识别人脸图像与所述人脸图像样本相同，并将所述人脸图像样本及对应的属性信息、身份标识作为识别结果输出。
[0105]当服务端将计算出的向量距离转换成对应的匹配度取值后，可以判断该匹配度取值是否达到匹配度阈值，如果该匹配度取值达到匹配度阈值时，此时服务端可以确认上述待识别人脸图像与该人脸图像样本是同一个人的人脸图像，并将该人脸图像样本和对应的身份标识作为识别结果进行输出，上述识别结果中也可以包括人脸图像样本的属性信息比如性别、年龄、人种。
[0106]当然，如果该匹配度取值未达到匹配度阈值时，此时服务端可以确认该待识别人脸图像与该人脸图像样本不是同一个人的人脸图像，此时服务端可以重复以上过程，继续计算该待识别人脸图像与数据库中下一个人的人脸图像样本的匹配度取值，直到查找到相同人的人脸图像，或者遍历整个数据库，未发现与待识别人脸图像匹配的人脸图像时，停止运算。
[0107]本公开实施例中，采用卷积神经网络模型准确提取待识别人脸图像的人脸特征向量，该人脸特征向量中不仅包括面部图像特征，还包括映射性别、年龄、人种等属性信息的面部属性特征。在进行人脸识别时，与人脸模板数据库中同样包含面部图像特征和面部属性特征的人脸图像样本的人脸特征向量进行匹配，不仅比对五官特征，还比对性别、年龄、人种等特征，当待识别人脸图像的上述综合特征与人脸图像样本的上书统合特征匹配时，才判定待识别人脸图像与人脸图像样本属于同一个的人脸图像，依据所述人脸图像样本输出识别结果。
[0108]采用上述人脸识别方法，对于长相相似但性别不同的两个人的人脸图像，由于不仅比对二者的五官特征还会比对二者的性别特征，因此，可以准确识别出二者不属于同一个人，有效避免误判。类似地，对于五官相似但人种不同的两个人，在人脸识别时，不仅会比对二者的五官特征，还会比对二者的人种特征，因此，也不会将二者误判为同一个人的人脸图像。对于同一个人在不同年龄段的图像，在进行人脸识别时，在性别特征、人种特征相同的基础上，如果年龄特征的差异与五官特征的差异在合理误差范围内，比如，符合相貌随年龄的变化规律，也可以将二者判定为同一个人的人脸图像，避免漏检。因此，采用本公开提供的人脸识别方法，可以有效提尚人脸识别的精确度。
[0109]参照图6根据一示例性实施例示出的另一种人脸识别方法的流程图，在图1所示实施例的基础上，在步骤11之前，还可以包括:
[0110]在步骤10中，建立人脸模板数据库。
[0111]本公开实施例适用于服务端在系统初始化阶段还没有存储有人脸模板数据库的情况。因此，在进行人脸识别之前，需要首先建立人脸模板数据库。在上述人脸模板数据库中存储用作参考图像的人脸图像样本及其对应的人脸特征向量。也就是说，该数据库中的每一个人脸图像样本均可在对待识别人脸图像进行人脸识别时，作为与该待识别人脸图像进行比对的参照物。
[0112]参照图7根据一示例性实施例示出的另一种人脸识别方法的流程图，在图6所示实施例的基础上，上述步骤10可以包括以下步骤:
[0113]在步骤101中，基于预设数量的人脸图像训练样本和每个所述人脸图像训练样本标定的面部属性信息，训练所述卷积神经网络模型，以确定所述卷积神经网络模型的权值参数；
[0114]该步骤属于模型训练步骤，在基于深度学习的卷积神经网络模型中，每一个基层包括若干线性一维排列的节点，其中基层与基层的节点之间是处于一种全链接的状态，而节点之间的链接通常具有一个权重参数。在初始状态下，节点之间连接的权重参数均为默认值，因此在正式使用该深度学习模型对待识别人脸图像以及人脸图像样本进行人脸特征向量提取之前，需要对该深度学习模型进行训练，以确定出各节点之间的链接的最佳权值参数。
[0115]其中，在对该深度学习模型进行训练时，可以准备预设数量的人脸图像训练样本，并且对这些人脸图像训练样本进行分类;例如，可以准备一个包括5万张人脸图像训练样本的训练集，然后按照这些人脸图像训练样本所属的用户，对上述训练集中的5万张人脸图像训练样本按照用户的身份标识进行分类，该身份标识可以包括用户的姓名、身份证号、血型等信息，并将每一个分类的人脸图像训练样本按照所属的用户进行标定，比如，可以将分类后的每一个分类分别标定为:用户A、用户B、用户C等并标定对应的性别、人种等属性信息，每一个用户具备10?1000张不等的图片，这些图片可以包括该用户不同年龄段的图像，此时每一个分类中的人脸图像样本均归属于同一个用户。
[0116]当准备的预设数量的人脸图像训练样本分类完成后，此时可以将包含多个卷积层的多层卷积神经网络模型作为多个分类器，将这些人脸图像训练样本输入到该多层卷积神经网络模型中进行训练，并根据模型输出的分类结果，不断对该深度学习模型各基层上节点之间以及各卷积层之间链接的权值参数进行调整。在不断的调整过程中，该深度学习模型在基于输入的训练样本进行训练后，输出的分类结果与用户标定的监督信息相比，误差会逐渐减小，其中，上述监督信息为预先标定的身份信息、年龄、性别、人种等信息。与此同时，用户可以预先设置一个预测误差，在不断的调整过程中，如果该深度学习模型输出的分类结果与用户标定的监督信息相比，误差达到上述预测误差，多层卷积神经网络模型收敛。此时该模型中各基层节点之间和各卷积层之间链接的权值参数可以确定为最佳权值参数，此时可以认为该多层卷积神经网络模型已经训练完毕。
[0117]在步骤102中，使用训练好的所述卷积神经网络模型提取样本集合中每一个人脸图像样本的人脸特征向量，所述每一个人脸图像样本的人脸特征向量包括图像特征和面部属性特征；
[0118]接下来，使用训练好的卷积神经网络模型对人脸图像样本集合中每个人的人脸图像样本进行特征提取，获取对应的人脸特征向量，该特征向量中包括:面部图像特征和面部属性特征。
[0119]需要说明的是，上述样本集合中的人脸图像样本可以是训练集中的样本图像，大部分情况下，是根据应用场景重新采集的样本图像。比如在公司使用的基于人脸识别技术的门禁系统中，上述样本集合中的样本图像可能是公司每一位员工的人脸图像。不同应用场景对应的样本图像也将不同。
[0120]由于在该深度学习模型中，全链接层可以对各卷积层提取出的局部特征进行整合，因此将全链接层输出的特征向量作为该人脸图像样本的人脸特征向量，可以获取由全链接层整合后的该人脸图像样本的全局特征，比如包括面部图像特征和性别、年龄、人种等属性特征，使用全局特征进行匹配度度量时，人脸识别结果将更加精确。
[0121]在步骤103中，根据所述样本集合中每一个所述人脸图像样本的人脸特征向量和已标定的身份标识，建立人脸模板数据库。
[0122]在使用已训练好的卷积神经网络模型对应用场景的样本图像进行人脸特征提取输出人脸特征向量之后，可以将每个人脸特征向量与身份信息、人脸图像样本之间的对应关系存储在数据库中，建立人脸模板数据库。在对待识别人脸图像进行人脸识别时，在匹配成功的情况下，可以输出识别结果。该识别结果中可以包括人脸图像样本、身份标识、面部属性信息等。
[0123]对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。
[0124]其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
[0125]与前述应用功能实现方法实施例相对应，本公开还提供了应用功能实现装置及相应的终端的实施例。
[0126]参照图8根据一示例性实施例示出的一种人脸识别装置的框图，所述装置可以包括:
[0127]特征向量获取模块21，被配置为采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征;其中，所述面部属性特征用于表达以下至少一项面部属性的特征:年龄、性别、人种。
[0128]计算模块22，被配置为根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度；
[0129]识别模块23，被配置为根据所述匹配度确定所述待识别人脸图像的识别结果。
[0130]参照图9根据一示例性实施例示出的另一种人脸识别装置的框图，在图8所示实施例的基础上，所述装置可以包括:
[0131 ]模板建立模块20，被配置为建立人脸模板数据库；
[0132]参照图10根据一示例性实施例示出的另一种人脸识别装置的框图，在图9所示实施例的基础上，所述模板建立模块20可以包括:
[0133]模型训练子模块210，被配置为基于预设数量的人脸图像样本和每个所述人脸图像样本标定的面部属性信息，训练所述卷积神经网络模型，以确定所述卷积神经网络模型的权值参数；
[0134]样本特征提取子模块220，被配置为使用训练好的所述卷积神经网络模型提取样本集合中每一个人脸图像样本的人脸特征向量，所述每一个人脸图像样本的人脸特征向量包括图像特征和面部属性特征；
[0135]模板建立子模块230，被配置为根据所述样本集合中每一个所述人脸图像样本的人脸特征向量和已标定的身份标识，建立人脸模板数据库。
[0136]可选的，在本公开另一装置实施例中，所述卷积神经网络模型为基于深度学习的卷积神经网络模型。
[0137]参照图11根据一示例性实施例示出的另一种人脸识别装置的框图，在图8所示实施例的基础上，所述特征向量获取模块21可以包括:
[0138]特征提取子模块211，被配置为将所述待识别人脸图像作为输入图像分别在所述卷积神经网络模型连接的若干类别分类器进行特征提取；
[0139]向量输出子模块212，被配置为提取所述若干类别分类器的全链接层或者指定链接层输出的特征向量，作为所述待识别人脸图像的人脸特征向量。
[0140]参照图12根据一示例性实施例示出的另一种人脸识别装置的框图，在图8所示实施例的基础上，所述计算模块22可以包括:
[0141]计算子模块221，被配置为计算所述待识别人脸图像与所述人脸图像样本的人脸特征向量之间的向量距离;其中，所述向量距离用于表征所述待识别人脸图像与所述人脸图像样本之间的匹配度；
[0142]其中，所述向量距离可以是两特征向量之间的余弦距离或者欧氏距离。
[0143]匹配度确定子模块222，被配置为根据预设的匹配度转换策略将计算出的所述向量距离转换为对应的匹配度取值。
[0144]参照图13根据一示例性实施例示出的另一种人脸识别装置的框图，在图8所示实施例的基础上，所述识别模块23可以包括:
[0145]判断子模块231，被配置为判断所述匹配度取值是否达到预设阈值；
[0146]识别结果输出子模块232，被配置为在所述匹配度取值达到预设阈值的情况下，确认所述待识别人脸图像与所述人脸图像样本相同，并将所述人脸图像样本及对应的属性信息、身份标识作为识别结果输出。
[0147]对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0148]相应的，本公开还提供了一种人脸识别装置，所述装置包括:
[0149]处理器；
[0150]用于存储处理器可执行指令的存储器；
[0151]其中，所述处理器被配置为:
[0152]采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征；
[0153]根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度；
[0154]根据所述匹配度确定所述待识别人脸图像的识别结果。
[0155]图14是根据一示例性实施例示出的一种用于人脸识别装置1400的一结构示意图。例如，装置1400可以被提供为一服务器。参照图14，装置1400包括处理组件1422，其进一步包括一个或多个处理器，以及由存储器1432所代表的存储器资源，用于存储可由处理部件1422的执行的指令，例如应用程序。存储器1432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1422被配置为执行指令，以执行上述智能设备的控制方法。
[0156]装置1400还可以包括一个电源组件1426被配置为执行装置1400的电源管理，一个有线或无线网络接口 1450被配置为将装置1400连接到网络，和一个输入输出(I/O)接口1458。装置1400可以操作基于存储在存储器1432的操作系统，例如Windows ServerTM,MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
[0157]本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0158]应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
【主权项】
1.一种人脸识别方法，其特征在于，所述方法包括: 采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征； 根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度； 根据所述匹配度确定所述待识别人脸图像的识别结果。2.根据权利要求1所述的方法，其特征在于，所述面部属性特征用于表达以下至少一项面部属性的特征:年龄、性别、人种。3.根据权利要求1所述的方法，其特征在于，在所述采用预设深度学习模型提取待识别人脸图像的人脸特征向量之前，还包括:建立人脸模板数据库； 所述建立人脸模板数据库包括: 基于预设数量的人脸图像训练样本和每个所述人脸图像训练样本标定的面部属性信息，训练所述卷积神经网络模型，以确定所述卷积神经网络模型的权值参数； 使用训练好的所述卷积神经网络模型提取样本集合中每一个人脸图像样本的人脸特征向量，所述每一个人脸图像样本的人脸特征向量包括图像特征和面部属性特征； 根据所述样本集合中每一个所述人脸图像样本的人脸特征向量和已标定的身份标识，建立人脸模板数据库。4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型为基于深度学习的卷积神经网络模型； 所述采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，包括: 将所述待识别人脸图像作为输入图像分别在所述卷积神经网络模型连接的若干类别分类器进行特征提取； 提取所述若干类别分类器的全链接层或者指定链接层输出的特征向量，作为所述待识别人脸图像的人脸特征向量。5.根据权利要求4所述的方法，其特征在于，所述根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度，包括: 计算所述待识别人脸图像与所述人脸图像样本的人脸特征向量之间的向量距离；其中，所述向量距离用于表征所述待识别人脸图像与所述人脸图像样本之间的匹配度； 根据预设的匹配度转换策略将计算出的所述向量距离转换为对应的匹配度取值。6.根据权利要求5所述的方法，其特征在于，所述根据所述匹配度确定所述待识别人脸图像的识别结果，包括: 判断所述匹配度取值是否达到预设阈值； 当所述匹配度取值达到预设阈值时，确认所述待识别人脸图像与所述人脸图像样本相同，并将所述人脸图像样本及对应的属性信息、身份标识作为识别结果输出。7.根据权利要求5所述的方法，其特征在于，所述向量距离包括余弦距离或者欧氏距离。8.一种人脸识别装置，其特征在于，所述装置包括: 特征向量获取模块，被配置为采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征； 计算模块，被配置为根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度； 识别模块，被配置为根据所述匹配度确定所述待识别人脸图像的识别结果。9.根据权利要求8所述的装置，其特征在于，所述面部属性特征用于表达以下至少一项面部属性的特征:年龄、性别、人种。10.根据权利要求8所述的装置，其特征在于，所述装置还包括: 模板建立模块，被配置为建立人脸模板数据库； 所述模板建立模块包括: 模型训练子模块，被配置为基于预设数量的人脸图像样本和每个所述人脸图像样本标定的面部属性信息，训练所述卷积神经网络模型，以确定所述卷积神经网络模型的权值参数； 样本特征提取子模块，被配置为使用训练好的所述卷积神经网络模型提取样本集合中每一个人脸图像样本的人脸特征向量，所述每一个人脸图像样本的人脸特征向量包括图像特征和面部属性特征； 模板建立子模块，被配置为根据所述样本集合中每一个所述人脸图像样本的人脸特征向量和已标定的身份标识，建立人脸模板数据库。11.根据权利要求8所述的装置，其特征在于，所述卷积神经网络模型为基于深度学习的卷积神经网络模型； 所述特征向量获取模块包括: 特征提取子模块，被配置为将所述待识别人脸图像作为输入图像分别在所述卷积神经网络模型连接的若干类别分类器进行特征提取； 向量输出子模块，被配置为提取所述若干类别分类器的全链接层或者指定链接层输出的特征向量，作为所述待识别人脸图像的人脸特征向量。12.根据权利要求11所述的装置，其特征在于，所述计算模块包括: 计算子模块，被配置为计算所述待识别人脸图像与所述人脸图像样本的人脸特征向量之间的向量距离;其中，所述向量距离用于表征所述待识别人脸图像与所述人脸图像样本之间的匹配度； 匹配度确定子模块，被配置为根据预设的匹配度转换策略将计算出的所述向量距离转换为对应的匹配度取值。13.根据权利要求12所述的装置，其特征在于，所述识别模块包括: 判断子模块，被配置为判断所述匹配度取值是否达到预设阈值； 识别结果输出子模块，被配置为在所述匹配度取值达到预设阈值的情况下，确认所述待识别人脸图像与所述人脸图像样本相同，并将所述人脸图像样本及对应的属性信息、身份标识作为识别结果输出。14.根据权利要求11所述的装置，其特征在于，所述向量距离包括余弦距离或者欧氏距离。15.一种人脸识别装置，其特征在于，包括: 处理器； 用于存储处理器可执行指令的存储器； 其中，所述处理器被配置为: 采用卷积神经网络模型提取待识别人脸图像的人脸特征向量，所述人脸特征向量包括:图像特征和面部属性特征； 根据所述人脸特征向量计算所述待识别人脸图像与人脸模板数据库中人脸图像样本的匹配度； 根据所述匹配度确定所述待识别人脸图像的识别结果。
【文档编号】G06K9/00GK106022317SQ201610483560
【公开日】2016年10月12日
【申请日】2016年6月27日
【发明人】罗瑾文, 侯文迪, 杨松
【申请人】北京小米移动软件有限公司