基于长短期记忆网络和人脸关键点的相貌评估方法与流程

本发明涉及长短期记忆神经网络深度学习的方法，具体讲是基于长短期记忆网络和人脸关键点的相貌评估方法。

背景技术：

人脸的相貌在人际交往与社会活动中有着巨大的作用。使人愉悦的相貌作为第一印象可以影响企业用人的录用决策、相亲的成功概率、自媒体平台的关注率等。人脸相貌的评估也可以应用于对美妆、整容等行业的指导，以及社交平台与婚恋交友网站的个性化推荐。

传统的人脸相貌评估主要研究几何特征和纹理特征的影响。但现有的几何特征都有其局限性。纹理特征对同年龄段的人脸相貌不足以进行有效区分。因此，依据人工定义提取得到的相貌特征并不能完全解决人脸相貌评估问题。

近年来基于神经网络的深度学习模型在各个领域都取得了较大的进步，而长短期记忆网络(long-shorttermmemory，lstm)可以学习不同特征之间的相关性。因人脸相貌的特殊性，如何有效利用人脸的局部/细节信息是相貌评估问题的关键。而在现有的相貌评估方法中并没有相应的突破。

技术实现要素：

本发明提供了一种基于长短期记忆网络和人脸关键点的相貌评估方法，以解决现有技术中的人脸局部信息利用率低、回归误差高的问题，提高人脸相貌评估的有效性。

本发明基于长短期记忆网络和人脸关键点的相貌评估方法，包括：

a.采集输入图像中人脸的关键点，根据所述关键点对人脸图像预处理后，将预处理后的人脸数据分为训练集和测试集；

b.构建包括前端网络和后端网络的深度学习模型，并完成对所述深度学习模型的初始化，在所述的前端网络中包括不含全局平均池化层和全连接层的resnext-50神经网络，在后端网络中包括一个长短期记忆网络(long-shorttermmemory，lstm)和一个全连接层；

c.将所述训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练，得到优化后的深度学习模型；

d.将所述测试集的数据输入到优化后的深度学习模型，得到人脸相貌评估的结果。

进一步的，步骤a所述的预处理包括通过仿射变换将倾斜的人脸区域进行校正，并计算校正后的关键点的位置。

具体的，步骤b所述的前端网络通过将所述关键点进行尺度变换映射至前端网络的输出特征图，再利用双线性插值计算关键点映射的深度特征信息，将得到的深度特征信息作为后端网络的输入，实现前端网络和后端网络的连接。

具体的，步骤b中，由所述的关键点得到人脸局部信息，所述后端网络中的长短期记忆网络根据人脸局部信息的相关性，使前端网络在将学习到的深度特征映射到不同的关键点位置之间时，各关键点的信息能够交互，以及学习不同局部位置的抽象信息和相关性。

具体的，步骤b中所述对深度学习模型的初始化包括：将通过imagenet数据集(一个用于视觉对象识别软件研究的大型可视化数据库)预训练的参数作为前端网络的初始值，后端网络中长短期记忆网络的循环卷积层使用随机产生的标准均匀分布的参数进行初始化。

进一步的，步骤c所述的对深度学习模型的训练包括：以预测的相貌评估值的均方误差作为损失函数，以随机梯度下降算法对深度学习模型中的参数进行优化，其中初始学习率设置为0.001，训练过程中根据损失误差的下降程度相适应的降低学习率，直到损失误差不再下降时训练结束。

优选的，所述的关键点包括人脸图像中的两个眼睛关键点位置和两个嘴角关键点位置。

本发明以resnext-50神经网络为主干网络提取人脸深度特征，利用人脸关键点尺度变换得到映射至人脸深度特征的关键点位置，采用双线性差值计算得到局部深度特征，再利用长短期记忆网络获取局部深度特征之间的相关性，有效解决了人脸相貌评估过程中回归误差大的问题，将长短期记忆网络结合局部深度特征最终得到了更准确的人脸相貌评估效果。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1为本发明基于长短期记忆网络和人脸关键点的相貌评估方法的流程图。

图2为图1中对深度学习模型训练的流程图。

具体实施方式

如图1所示本发明基于长短期记忆网络和人脸关键点的相貌评估方法，包括：

a.通过人脸检测器采集输入图像中人脸的关键点，包括人脸图像中的两个眼睛关键点位置和两个嘴角关键点位置。对所述关键点进行预处理，通过仿射变换将倾斜的人脸区域进行校正，并计算校正后的关键点的位置，再对校正后的人脸图像减去人脸图像的均值得到预处理后的人脸图像。然后将预处理后的人脸数据分为训练集和测试集。

b.构建包括前端网络和后端网络的深度学习模型，并对所述深度学习模型的初始化：将通过imagenet数据集(一个用于视觉对象识别软件研究的大型可视化数据库)预训练的参数作为前端网络的初始值，在后端网络中包括有一个长短期记忆网络(long-shorttermmemory，lstm)，并且该长短期记忆网络的循环卷积层使用随机产生的标准均匀分布的参数进行初始化。

在基本的resnext-50神经网络中一共具有六个卷积模块，第一个卷积模块包括大小为7×7、步长为2、输出通道为64的卷积层、一个bn层和非线性池化层；第二个卷积模块包括大小为3×3、步长为2的最大池化层和三个输入通道为128、输出通道为256的resnext基本模块；第三个卷积模块包括四个输入通道为256、输出通道为512的resnext基本模块；第四个卷积模块包括六个输入通道为512、输出通道为1024的resnext基本模块；第五个卷积模块包括三个输入通道为1024、输出通道为2048的resnext基本模块；第六个卷积模块包括和一个全局平均池化层和一个全连接层。其运算原理为，在resnext基本模块中，首先对输入特征图进行卷积核大小为1×1，输出通道与resnext基本模块的输入通道数相同的卷积运算，再将第一个卷积和输出通道平分成32等份，每份分别进行卷积核大小为3×3的卷积运算，将运算的结果串联到一起，输出与输入通道数相同的特征图，最后对特征图进行卷积核大小为1×1的卷积运算，输出特征图的通道数与resnext基本模块的输出通道数相同。

本发明中所述的前端网络包括有不含全局平均池化层和全连接层(第六个卷积模块)的resnext-50神经网络。前端网络使用resnext-50神经网络的前五个卷积模块，通过将所述关键点进行尺度变换映射至前端网络的输出特征图，再利用双线性插值计算关键点映射的深度特征信息，将得到的深度特征信息作为后端网络的输入，实现前端网络和后端网络的连接。

在后端网络中包括一个步长为4、隐藏节点数为2048的长短期记忆网络和一个结点数为1的全连接层。通过所述的关键点得到人脸局部信息后，后端网络中的长短期记忆网络根据人脸局部信息的相关性，使前端网络在将学习到的深度特征映射到不同的关键点位置之间时，各关键点的信息能够交互，以及学习不同局部位置的抽象信息和相关性。长短期记忆网络采用最后一个输出状态序列作为输出，再连接所述的全连接层，将全连接层的输出作为深度学习模型的输出。

c.将所述训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练：如图2所示，深度学习模型的前端网络通过将训练集中采集的关键点进行尺度变换映射至输出特征图，再利用双线性插值计算关键点映射的深度特征信息，将得到的深度特征信息输入到后端网络。后端网络以预测的相貌评估值的均方误差作为损失函数，以随机梯度下降算法对深度学习模型中的参数进行优化，其中初始学习率设置为0.001。在训练过程中根据损失误差的下降程度相适应的降低学习率，直到损失误差不再下降时训练结束。训练完成后得到优化后的深度学习模型。

d.将所述测试集的数据输入到优化后的深度学习模型，得到人脸相貌评估的结果。