一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法与流程

本发明的实施例涉及卷积神经网络及多任务学习，具体为将卷积神经网络与多任务学习相结合，并将其应用到了人脸识别领域，即提出了一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法。

背景技术：

随着人工智能和计算机视觉技术的不断进步，生物特征识别技术逐渐走入人们的生活中。生物特征识别指的是利用特定的生物传感器设备分析人固有的生理和行为特征，进一步对数据进行建模，从而实现对个人身份的认证。最为常见的生物识别技术包括：指纹识别，人脸识别，虹膜识别，声音识别等。而其中人脸识别作为生物特征识别最重要也是硏究历史最为悠久的分支，在生活的各个方面，例如公安和犯罪领域，智能人脸图像检索，智能人机交互系统都有着巨大的应用前景。相比于其他例如指纹，视网膜等特征识别技术，人脸识别有着无法比拟的优点，也正是因此，人脸识别技术成为最容易被大众所接受的识别技术。

深度学习的突破使得人脸识别技术在大数据条件下有了新的进展。卷积神经网络作为一种深度学习的网络结构，对图像具有良好的处理能力。卷积神经网络的特征提取在计算机视觉的一系列领域中取得了广泛的成功，逐步取代了传统的手工特征的研究，成为了人脸识别技术一个新的研究重点与热点。与手工提取特征不同，经过随机初始化的卷积神经网络可以基于大量的图像数据自动学习图像的特征。并且，由于卷积神经网络的深度结构，这些特征通过网络的层次逐层进行传导，从而可以获得图像的低层简单特征到高层抽象特征的表达，相比于传统的手工提取特征具有更强的判别和泛化性能。但是过于复杂的卷积神经网络需要消耗大量的内存和时间进行训练，这就需要较高的硬件配置，因此如何在取得高识别率的同时尽量简化卷积神经网络的结构成为需要解决的问题之一。

在许多问题或者任务之间都存在有内在的联系，而这些内在的联系在单任务的方法中常常是被忽略的，不能被充分的利用，这样就失去了一些提高识别率的重要信息。考虑到人类的学习过程，人们通常都是在学习一个内容的时候，还会学习与其相关的其他的知识，从而对事物有更全面的认识。假设将该行为应用于机器学习中，即分类器在学习一个任务的时候，能够同时学习其他多个任务，那么类似于人类的行为，这些任务则对分类的内容具有更全面的描述。根据该思想人们就提出了多任务学习(multitasklearning,mtl)方法，多任务学习方法的主要原理是机器对与主要问题相关的一些经验或数据进行分析，归纳得到能够准确真实反映主要问题的模型。

现有的人脸识别算法大都是针对单任务的，然而不应该将人脸识别看成一个单一的问题，它通常伴随着其他问题。而传统的学习算法理论是单任务学习模式，对于复杂的学习任务，一般先将复杂任务分解为不相关的多个任务，然后对每个任务进行学习。多任务学习(mtl)可以学习多个任务的共享表示，这个共享表示具有较强的抽象能力，能够适应多个不同但相关的目标，使得主任务获得更好的泛化能力，以提高主任务和所有任务的性能。此外，在样本较少的情况下，多任务学习的泛化能力明显优于单任务学习，多任务学习能更好地利用有限的数据，训练时间相对较短。

目前多任务学习已成功应用于行人检测，人脸对齐，属性估计，人脸检测等。尽管多任务学习在其他领域取得了较好的成果，但在人脸识别方面的研究才刚刚起步。所以如何更好的将多任务学习应用到人脸识别中是另一个需要解决的问题。

技术实现要素：

本发明的实施例提供一种基于卷积神经网络的多任务人脸识别方法，其特征在于包括以下步骤：步骤1：确定主任务及侧面任务，根据主任务及侧面任务对图片添加多个标签，其中，图片分为测试集和训练集；步骤2：根据不同任务对主任务的影响，构建分类损失函数；步骤3：构建卷积神经网络，使其适应多任务人脸识别；步骤4：用多标签训练集对卷积神经网络进行训练，并保存训练好的模型；步骤5：用多标签测试集图片对网络进行测试，得到人脸识别及其他侧面任务的识别率。

例如在本公开发明的实施例提供的基于卷积神经网络的多任务人脸识别方法中，其特征在于，所述步骤1中，为图片添加多个标签并分为测试集和训练集的步骤为：步骤11：根据要进行人脸识别的图片，确定主任务人脸识别及其他侧面任务；步骤12：根据确定的每个侧面任务，对图片进行分类；步骤13：根据每个侧面任务的分类结果为每张图片添加对应每个任务分类的标签，做成多标签数据集；步骤14：随机选取数据集的20％作为测试集，剩下的80％作为训练集。

例如在本公开发明的实施例提供的基于卷积神经网络的多任务人脸识别方法中，其特征在于，所述步骤2中，所述分类损失函数为：

其中，分别为主任务及侧面任务的交叉熵损失函数，δid、δp、δo、δi为每个任务损失函数的权重。

例如在本公开发明的实施例提供的基于卷积神经网络的多任务人脸识别方法中，其特征在于，所述步骤3，构建卷积神经网络使其适应多任务人脸识别，根据多任务的个数不同，其所需要的卷积神经网络的结构也不同，通过调节卷积神经网络的层数，使其能够适应多标签人脸识别。

例如在本公开发明的实施例提供的基于卷积神经网络的多任务人脸识别方法中，其特征在于，所述步骤4，用多标签训练集对卷积神经网络进行训练，并保存训练好的模型的步骤如下：步骤41：将所述步骤14生成的训练集放入到所述卷积神经网络中；步骤42：多次训练调节所述每个任务的损失函数的权重，即δid、δp、δo、δi的值；步骤43：到最好的权重分配结果，并保存与该权值相对应的训练好的卷积神经模型。

例如在本公开发明的实施例提供的基于卷积神经网络的多任务人脸识别方法中，其特征在于，所述步骤5中，用多标签测试集图片对网络进行测试，得到人脸识别及其他侧面任务的识别率的步骤如下：将步骤14生成的测试集放入到步骤43保存的卷积神经网络模型中进行测试，得到主任务及各项侧面任务的识别结果并保存。

例如在本公开发明的实施例提供的基于卷积神经网络的多任务人脸识别方法中，其特征在于，通过多次实验调节δid、δp、δo、δi的值，使得分类损失的值最小，当分类损失函数取得最小值时δid、δp、δo、δi的值即为最好权重分配结果。

例如在本公开发明的实施例提供的基于卷积神经网络的多任务人脸识别方法中，其特征在于，采用一种多尺度特征融合的卷积神经网络结构，提取多尺度的特征。

本发明的实施例提供的基于多尺度特征融合卷积神经网络的多任务人脸识别方法，将多任务学习应用到人脸识别中，使其与卷积神经网络相结合，同时提高主任务及其他侧面任务的识别率。且多尺度特征融合卷积神经网络结构能够提取多尺度特征，在提高识别率的同时减少内存消耗和训练时间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。

图1为本发明实施例提供的流程图。

图2为本发明实施例提供的为图片添加多个标签并分为测试集和训练集的流程图。

图3为本发明实施例提供的卷积神经网络基本结构图。

图4为本发明实施例提供的多任务卷积神经网络结构图。

图5为本发明实施例提供的多尺度特征融合卷积神经网络结构图。

图6为本发明实施例提供的用多标签训练集训练卷积神经网络并保存模型的流程图。

图7为本发明实施例提供的cmu数据库下各种算法cmc曲线图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前多任务学习尚未在人脸识别中得到充分应用，限制了人脸识别性能提升。

本发明的实施例提供的基于多尺度特征融合卷积神经网络的多任务人脸识别方法，将多任务学习应用到人脸识别中，使其与卷积神经网络相结合，同时提高主任务及其他侧面任务的识别率。且多尺度特征融合卷积神经网络结构能够提取多尺度特征，在提高识别率的同时减少内存消耗和训练时间。

如图1所述，本发明的实施例提供一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法，所述方法包括步骤：

步骤1：如图2所示，确定主任务及侧面任务，根据主任务及侧面任务对图片添加多个标签，图片分为测试集和训练集：在得到需要进行人脸识别的图像之后，对图像进行预处理。观察图片的影响因素，根据影响因素的种类确定侧面任务。一般对人脸识别的图片产生影响的因素主要包括以下几种：光照、遮挡、角度、表情、年龄。光照指是否有光照对图片产生影响，如光照不足，光照过量，侧面光照等。遮挡指图片中的人脸是否佩戴围巾、帽子、口罩、眼镜等饰物或是否有刘海、胡子等遮挡。角度指人脸图像是否为正面人脸或侧面人脸。表情指人脸图片的存在微笑、大笑、生气等表情。年龄为同一人的人脸图片是否存在年龄差是得图片产生较大差异。根据是否存在以上几种影响因素确定侧面任务，并根据每项实际情况对每项影响因素进行分类，如角度可分为左侧面，右侧面，上侧面，下侧面和正面等。根据每项任务的分类为图片添加多个标签。标签指该张人脸图片属于哪个分类，即有几项任务有几个对应的标签。添加多个标签的图片组成多标签数据集。随机选取多标签数据集中的20％作为测试集，剩下的80％作为训练集，用来训练卷积神经网络。

步骤2：根据不同任务对主任务的影响，构建分类损失函数：将主任务及各个侧面任务放入到卷积神经网络，得到每个任务单独的识别率。(所用图片仅含有与之对应的单个任务的标签，即每张图片只含有一个标签，训练集和测试集的分类方法与多标签数据集相同)。再将各项任务与主任务分别结合，如“人脸识别+光照”，“人脸识别+遮挡”，“人脸识别+角度”等，得出此时主任务及侧面任务的识别率。比较双任务与单个任务时的识别率，确定哪项侧面任务使主任务的识别率提升最多，哪项最少，根据分类损失函数

为δid、δp、δo、δi赋值，侧面任务对主任务影响大的其对应的损失函数赋值比重高，反之赋值比重小。

步骤3：构建卷积神经网络，使其适应多任务人脸识别：卷积神经网络是深度学习的一种网络结构，主要由多个卷积层和池化层及全连接层组成，如图3所示。卷积层和池化层的目的是进行特征提取。所提取出来的全部特征在全连接层构成一个一维向量。然后通过softmax分类器进行分类得到识别结果。softmax分类器是由softmax函数和交叉熵函数构成的。根据侧面任务的个数不同，其所需要的卷积神经网络的结构也不同，通过调节卷积神经网络的层数，使其能够适应多标签人脸识别。如图4所示，原始数据集添加多标签后产生的多标签数据集先通过共享网络层，在该部分，所有任务提取出来的特征进行共享，然后到达每个任务的网络层，此部分各个任务间参数不进行共享。然后算出每个任务的交叉熵损失函数，通过所述步骤2中确定的各项任务权重，使分类损失函数最小。本发明实施例提供一种多尺度特征融合卷积神经网络结构，能够提取多尺度的特征，网络结构如图5所示。网络共有五个卷积池化模块，每个卷积池化模块包含两个卷积层和一个池化层。分别将经过第三、四卷积池化模块的特征进行卷积操作，然后与经过卷积池化模块五的特征进行连接，再将连接后的特征进行卷积操作后输入到全连接层。

步骤4：用多标签训练集对卷积神经网络进行训练，并保存训练好的模型：将步骤一中生成的训练集放入到步骤三构建的卷积神经网络中，同时采用步骤二中的分类损失函数，得到主任务及各个侧面任务的识别率。多次实验，每次对分类损失函数的各项系数δid、δp、δo、δi在步骤二的基础上进行微调，最终得到一个最好的权重分配方案，是得主任务及各项侧面任务的识别率最好，保存该设定对应的经过训练的卷积神经网络模型。

步骤5：如图6所示，用多标签测试集图片对网络进行测试，得到人脸识别及其他侧面任务的识别率：将步骤一中生成的测试集放入到步骤四保存的卷积神经网络模型中，测试该模型的识别率。得到主任务及各个侧面任务的识别率并保存。

结果验证：应用本发明的实施例提供基于多尺度特征融合卷积神经网络的多任务人脸识别方法，结果在图7中给出。本发明的方法多任务人脸识别算法在不同相似度阈值下的识别准确性高达98.1％，本发明的方法单任务人脸识别算法在不同相似度阈值下的识别准确性高达96.5％，比传统的人脸识别方法和其他卷积神经网络人脸识别算法的准确率都要高，因此，本发明的识别方法可极大提升系统识别性能。