一种基于多任务深度学习网络的训练、识别方法及系统与流程

本发明涉及人脸识别技术领域，特别是涉及一种基于多任务深度学习网络的训练方法、识别方法及系统。

背景技术：

人脸识别技术是基于生物特征的识别方式，利用人类自身拥有的、并且能够唯一标示其身份的生理特征或行为特征进行身份验证的技术。随着人机交互技术的应用日益广泛，在人机交互领域中，人脸识别技术具有非常重要的意义。作为模式识别与机器学习领域的主要研究方法之一，己经有大量的人脸识别算法被提出。

目前，在人脸识别及其各种属性识别方式中，通常是根据不同的任务单独对深度学习网络进行训练得到各自的深度学习网络模型，然后根据训练得到的深度学习网络模型单独进行识别。然而，现有的单任务深度学习网络，训练和识别的效率较低，从而导致网络的整体性能降低。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于多任务深度学习网络的训练方法、识别方法及系统，能够提高多任务深度学习网络训练和识别的效率及识别率。

为实现上述目的及其他相关目的，本发明实施例提供一种基于多任务深度学习网络的训练方法，该方法包括：

获取训练集中人脸图像的人脸区域；

对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像；

将对齐的人脸图像输入到多任务深度学习神经网络进行训练，得到多任务深度学习神经网络模型；

其中，所述多任务深度学习神经网络的结构采用GoogleNet结构，所述多任务深度学习神经网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习神经网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

优选地，所述将对齐的人脸图像输入到多任务深度学习神经网络进行训练，得到多任务深度学习神经网络模型，包括：

将对齐的人脸图像输入到多任务深度学习神经网络的第一层卷积完成卷积运算；

将得到的运算结果输入到所述多任务深度学习神经网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习神经网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的训练结果；

根据所述训练结果确定所述多任务深度学习神经网络模型。

优选地，所述人脸识别任务、所述年龄识别任务及所述性别识别任务每个任务的损失函数按照权重比例相加得到所述多任务深度学习神经网络的总损失函数。

本发明实施例还提供一种基于多任务深度学习网络的识别方法，该方法包括：

获取待识别人脸图像的人脸区域；

对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

根据所述关键特征位置将待识别人脸图像经仿射变换得到对齐的人脸图像；

将对齐的人脸图像输入到训练后的多任务深度学习神经网络模型进行特征提取，得到所述待识别人脸图像的特征信息；

将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果；

其中，所述多任务深度学习神经网络的结构采用GoogleNet结构，所述多任务深度学习神经网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习神经网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

优选地，所述将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果，包括：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

根据上述方法，本发明实施例提供了一种基于多任务深度学习网络的训练系统，该系统包括：人脸区域获取模块、关键点检测模块、人脸对齐模块、训练模块；其中，

所述人脸区域获取模块，用于获取训练集中人脸图像的人脸区域；

所述关键点检测模块，用于对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

所述人脸对齐模块，用于根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像；

所述训练模块，用于将对齐的人脸图像输入到多任务深度学习神经网络进行训练，得到多任务深度学习神经网络模型；

其中，所述多任务深度学习神经网络的结构采用GoogleNet结构，所述多任务深度学习神经网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习神经网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

优选地，所述训练模块具体用于：

将对齐的人脸图像输入到多任务深度学习神经网络的第一层卷积完成卷积运算；

将得到的运算结果输入到所述多任务深度学习神经网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习神经网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的训练结果；

根据所述训练结果得到所述多任务深度学习神经网络模型。

优选地，所述人脸识别任务、所述年龄识别任务及所述性别识别任务每个任务的损失函数按照权重比例相加得到所述多任务深度学习神经网络的总损失函数。

根据上述方法，本发明实施例提供了一种基于多任务深度学习网络的识别系统，该系统包括：人脸区域获取模块、关键点检测模块、人脸对齐模块、特征提取模块、匹配识别模块；其中，

所述人脸区域获取模块，用于获取待识别人脸图像的人脸区域；

所述关键点检测模块，用于对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

所述人脸对齐模块，用于根据所述关键特征位置将待识别人脸图像经仿射变换得到对齐的人脸图像；

所述特征提取模块，用于将对齐的人脸图像输入到训练后的多任务深度学习神经网络模型进行特征提取，得到所述待识别人脸图像的特征信息；

所述匹配识别模块，用于将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果；

其中，所述多任务深度学习神经网络的结构采用GoogleNet结构，所述多任务深度学习神经网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习神经网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

优选地，所述匹配识别模块具体用于：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

本发明提供的基于多任务深度学习网络的训练方法、识别方法及系统，训练方法包括：获取训练集中人脸图像的人脸区域；对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像；将对齐的人脸图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；识别方法包括：获取待识别人脸图像的人脸区域；对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；根据所述关键特征位置将待识别人脸图像经仿射变换得到对齐的人脸图像；将对齐的人脸图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果；其中，所述多任务深度学习网络的结构采用GoogleNet结构，所述多任务深度学习网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。如此，本发明实施例中将人脸识别任务、性别识别任务、年龄识别任务设置在一个多任务深度学习网络中，并在所述多任务深度学习网络中建立起它们之间的相关性，通过所述多任务深度学习网络进行共同特征的训练及学习，得到一个多任务深度学习网络模型，然后通过训练后的多任务深度学习网络进行特征提取及识别，不仅能够提高整体多任务深度学习网络训练和识别的效率及识别率，而且能够提高单个任务的识别率。

附图说明

图1显示为本发明的基于多任务深度学习网络的训练方法的流程示意图；

图2显示为本发明的基于多任务深度学习网络的识别方法的流程示意图；

图3显示为本发明的基于多任务深度学习网络的训练系统的组成结构示意图；

图4显示为本发明的基于多任务深度学习网络的识别系统的组成结构示意图。

具体实施方式

本发明实施例中，首先获取训练集中人脸图像的人脸区域；对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像；将对齐的人脸图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；然后，根据训练后的多任务深度学习网络模型对待识别人脸图像进行特征提取及识别。

下面结合附图及具体实施例对本发明做进一步详细的说明。

本发明实施例提出了一种基于多任务深度学习网络的训练方法，如图1所示，该方法包括：

步骤S100：获取训练集中人脸图像的人脸区域。

本步骤中，首先收集包含人脸的图像，按照预设规则对所述人脸图像中人脸区域与关键特征点进行标定，生成训练集。具体地，为用户通过各种途径采集到的包含有人脸的图像按照训练集的预设规则对人脸图像中人脸区域与关键特征点进行标定，将标定的人脸区域的位置和尺度信息、关键特征点的坐标信息上传至PC、服务器存储到相应的文档。

本步骤中，可以采用人脸检测算法获取所述训练集中人脸图像的人脸区域，所述人脸检测算法可以采用AdaBoost算法或深度学习的人脸检测算法，具体如何采用AdaBoost算法或深度学习的人脸检测算法获取所述训练集中人脸图像的人脸区域属于现有技术，重复之处不再赘述。这里对人脸检测算法不作具体限定。

本步骤中，所述训练集中的人脸图像为以下任意格式中bmp、jpg、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw一种，且为无压缩的图像。

步骤S101：对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置。

本步骤中，如何对所述人脸区域进行关键点检测采用现有关键点检测算法，重复之处不再赘述。

步骤S102：根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像。

本步骤中，如何根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像属于现有技术，重复之处不再赘述。

步骤S103：将对齐的人脸图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型。

本步骤中，所述多任务深度学习网络的结构采用GoogleNet结构，所述多任务深度学习网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

具体的，所述人脸识别任务的triplet损失函数为：

其中，Γ为训练集中人脸图像的三元组的合集,为人脸图像矩阵,为与所述人脸图像属于同一类别的另一人脸图像矩阵,为与所述人脸图像不属于同一类别的人脸图像矩阵，α为三元组中矩阵和矩阵的相似度值与矩阵和矩阵的相似度值的余量，i为正整数。

具体的，所述性别识别任务的softmax损失函数为：

L＝-(1-g)·log(1-p₀)-g·log(p₁)

其中，若性别为女士，则设置g＝0；若性别为男士，则设置g＝1；P₀为从所述多任务深度学习网络中计算得到的性别为女士的概率，P₁为从所述多任务深度学习网络中计算得到的性别为男士。

具体的，所述年龄识别任务的softmax损失函数为：

L＝-(g₀)·log(p₀)-g₁·log(p₁)-…g_n·log(p_n)

其中，P_n为从所述多任务深度学习网络中计算得到的每个年龄的概率，g_n为每个年龄的权重系数，n为正整数。

具体的，每个任务的损失函数按照权重比例分配，所述人脸识别任务、所述年龄识别任务及所述性别识别任务每个任务的损失函数按照权重比例相加得到的所述多任务深度学习网络的总损失函数为：

其中，L_all为所述多任务深度学习网络的总损失函数，L_n为所述多任务深度学习网络中第n个任务的损失函数，λ_n为第n个任务在整体损失中的权重比例系数。

这里，按照实际情况及需求设置所述人脸识别任务、所述年龄识别任务及所述性别识别任务每个任务的损失函数的权重比例，这里对所述人脸识别任务、所述年龄识别任务及所述性别识别任务每个任务的损失函数的权重比例不作具体限定。

本步骤中，需要对所述多任务深度学习网络进行训练，所述多任务深度学习网络具体通过以下方式进行训练：

将对齐的人脸图像输入到多任务深度学习网络的第一层卷积完成卷积运算；

将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的训练结果；

根据所述训练结果确定所述多任务深度学习网络模型。

需要说明的是，所述多任务深度学习网络的卷积过程属于现有技术，重复之处不再赘述。

本发明实施例提出了一种基于多任务深度学习网络的识别方法，如图2所示，该方法包括：

步骤S200：获取待识别人脸图像的人脸区域。

本步骤中，采用与步骤S100相同的人脸检测算法获取待识别人脸图像的人脸区域，重复之处不再赘述。

步骤S201：对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置。

本步骤中，采用与步骤S101相同的关键点检测算法对待识别人脸图像的人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置。

步骤S202：根据所述关键特征位置将待识别人脸图像经仿射变换得到对齐的人脸图像。

本步骤中，与步骤S102相同，如何根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像属于现有技术，重复之处不再赘述。

步骤S203：将对齐的人脸图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息。

本步骤中，所述多任务深度学习网络模型为通过步骤S100～S102进行训练得到的网络模型，其中，所述多任务深度学习网络的结构采用GoogleNet结构，所述多任务深度学习网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

本步骤中，将所述对齐的人脸图像输入到训练后的深度学习网络模型进行特征提取，以所述多任务深度学习网络模型的第一个全链接层的输出作为所述待识别人脸图像的特征信息。

步骤S204：将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果。

具体的，首先通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

然后根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

这里，如何计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离属于现有技术，重复之处不再赘述。

这里，可以根据实际情况及需求预设相似度阈值，这里对所述相似度阈值不作具体限定。

下面对如何根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果，进行详细说明：

若任意一个相似度值大于等于预设的相似度阈值，则匹配成功并输出识别结果为识别成功及相应类别的编号。

若所有相似度值均小于预设的相似度阈值，则匹配失败并输出识别结果为识别失败。

为实现上述方法，本发明实施例还提供了一种基于多任务深度学习网络融合关键特征点的训练系统、及一种基于多任务深度学习网络融合关键特征点的识别系统，由于系统解决问题的原理与方法相似，因此，系统的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。

本发明实施例提供了一种基于多任务深度学习网络的训练系统，如图3所示，该系统包括：人脸区域获取模块300、关键点检测模块301、人脸对齐模块302、训练模块303；其中，

所述人脸区域获取模块300，用于获取训练集中人脸图像的人脸区域；

所述关键点检测模块301，用于对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

所述人脸对齐模块302，用于根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像；

所述训练模块303，用于将对齐的人脸图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；

其中，所述多任务深度学习网络的结构采用GoogleNet结构，所述多任务深度学习网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

具体实施中，所述训练模块303具体用于：

将对齐的人脸图像输入到多任务深度学习网络的第一层卷积完成卷积运算；

将得到的运算结果输入到所述多任务深度学习网络的第二层卷积完成卷积运算，直到将得到的运算结果输入到所述多任务深度学习网络的第N层卷积完成卷积运算，再链接两层全链接层得到最终的训练结果；

根据所述训练结果得到所述多任务深度学习网络模型。

具体实施中，所述人脸识别任务、所述年龄识别任务及所述性别识别任务每个任务的损失函数按照权重比例相加得到所述多任务深度学习网络的总损失函数。

以上功能模块的划分方式仅为本发明实施例给出的一种优选实现方式，功能模块的划分方式不构成对本发明的限制。为了描述的方便，以上所述系统的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本发明实施例提供了一种基于多任务深度学习网络的识别系统，如图4所示，该系统包括：人脸区域获取模块400、关键点检测模块401、人脸对齐模块402、特征提取模块403、匹配识别模块404；其中，

所述人脸区域获取模块400，用于获取待识别人脸图像的人脸区域；

所述关键点检测模块401，用于对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；

所述人脸对齐模块402，用于根据所述关键特征位置将待识别人脸图像经仿射变换得到对齐的人脸图像；

所述特征提取模块403，用于将对齐的人脸图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；

所述匹配识别模块404，用于将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果；

其中，所述多任务深度学习网络的结构采用GoogleNet结构，所述多任务深度学习网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。

具体实施中，所述匹配识别模块404具体用于：

通过计算所述待识别人脸图像的特征信息分别与所述注册集中每张人脸图像对应的特征信息的欧式距离，确定所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值；

根据所述待识别人脸图像分别与所述注册集中每张人脸图像的相似度值及预设的相似度阈值确定识别结果。

以上功能模块的划分方式仅为本发明实施例给出的一种优选实现方式，功能模块的划分方式不构成对本发明的限制。为了描述的方便，以上所述系统的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

综上所述，本发明实施例在训练过程中，首先获取训练集中人脸图像的人脸区域；对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；根据所述关键特征位置将所述人脸图像经仿射变换得到对齐的人脸图像；将对齐的人脸图像输入到多任务深度学习网络进行训练，得到多任务深度学习网络模型；在识别过程中，获取待识别人脸图像的人脸区域；对所述人脸区域进行关键点检测，得到所述人脸区域的关键特征点位置；根据所述关键特征位置将待识别人脸图像经仿射变换得到对齐的人脸图像；将对齐的人脸图像输入到训练后的多任务深度学习网络模型进行特征提取，得到所述待识别人脸图像的特征信息；将所述待识别人脸图像的特征信息分别与注册集中每张人脸图像对应的特征信息进行匹配，得到识别结果；其中，所述多任务深度学习网络的结构采用GoogleNet结构，所述多任务深度学习网络包括人脸识别任务、年龄识别任务、性别识别任务，所述人脸识别任务、所述年龄识别任务及所述性别识别任务共享所述多任务深度学习网络的卷积层及第一个全链接层，所述第一个全链接层连接每个任务特有的全链接层及每个任务的损失函数，所述人脸识别任务的损失函数为triplet函数、所述年龄识别任务的损失函数为softmax函数、所述性别识别任务的损失函数为softmax函数。如此，本发明实施例通过上述的多任务深度学习网络训练得到一个多任务深度学习网络模型，该模型可提取出包括人脸识别、性别识别和年龄识别的融合特征信息，根据该特征信息进行多任务识别，实现了人脸及其属性特征的多任务识别，不但能够提高整体多任务深度学习网络训练和识别的效率及识别率，而且能够提高单个任务的识别率。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。