基于深度学习和多任务学习的人脸属性预测方法及装置的制造方法
【技术领域】
[0001]本发明涉及图像处理领域，具体涉及一种基于深度学习和多任务学习的人脸属性预测方法及装置。
【背景技术】
[0002]目前，根据人脸图像预测人脸属性越来越受到关注。人脸属性包括表情，动作单元，性别，年龄，人种，嘴巴大小，鼻梁高低，是否戴眼镜，是否戴墨镜，眼睛大小，眼睛睁开或者闭着，嘴巴张开或者闭着，头发长短或者发型类别，颜值，正面或侧面等。人脸属性预测技术现广泛应用于人机交互，用户建模等领域。
[0003]现有的人脸属性预测主要基于传统的机器学习框架，首先提取人工设计的特征，然后对特征降维，以得到紧凑的特征，最后使用分类或者回归模型预测人脸属性。近来也出现以深度学习来预测人脸属性的技术。
[0004]基于传统的机器学习框架存在以下几个问题:1)传统的机器学习方法很难有效的利用越来越多的训练数据，要么训练过程复杂，所需时间长，硬件资源多，要么随着训练数据增加效果提高不明显；2)传统的机器方法依赖人工设计的特征，需要开发者对问题本身有深入的了解；3)在传统的机器学习方法中，特征提取，属性预测是两个独立的模块，没有联合优化，因此只能得到次优的结果。
[0005]现有基于深度学习的方法存在以下几个问题:1)简单把属性识别当作分类或者回归问题，使用现有的softmax或者cross entropy损耗层来训练深度网络，对有些具有顺序性且离散的属性类别，如年龄，不能取得很好的训练效果；2)现有的技术针对每个属性独立训练一个深度网络，从而导致模型的大小随着属性的个数增加而线性增加，限制了人脸属性在实际场景中应用。
[0006]发明专利申请CN104036151A公开了一种人脸属性值计算方法和系统，该方法通过对收集到的人脸图片的属性值生成特征向量，进而转化为基准向量，通过基准向量和特征值建立计算模型，最后利用该模型计算目标人脸图片的属性值。该方法存在的缺点是，1)特征向量是人工设计，不是自动学习产生，对人脸属性的表达能力不强；2)该方法提出的计算模型是基于基准向量和特征值的简单拟合模型，不能拟合很复杂的非线性关系；3)该方法预测属性时，需要计算目标人脸的特征与已经收集的图片库的特征的距离最小值，时间复杂度高；4)该方法的特征提取与计算模型的建立是两个独立的过程，最终得到的属性预测模型不能联合优化，从而只能得到次优的结果。
[0007]发明专利申请CN104143079A公开了一种人脸属性识别方法和系统。该方法通过将图像样本中人脸的有效区域图像，抽取纹理特征，依次根据种族分类器、性别分类器和年龄分类器对该纹理特征进行种族、性别和年龄的分类，进而得到人脸的种族属性、性别属性以及年龄属性，从而实现人脸属性的识别。该方法存在的缺点是，1)基于人工设计的生物启发特征BIM，需要调试不同的参数才能使得特征的表达能力较强；2)该方法只识别人脸种族，性别，年龄三种属性，不具有普适性，不容易拓展到其它属性；3)该方法采用多级分类的方法，如果在初始分类错误，会导致最终分类严重错误。
[0008]发明专利申请CN103294998A公开了一种基于属性空间的人脸可视化特征表征方法。该方法通过对64种人脸全部或局部属性进行数据模拟、预处理和数据评估，得到数据底层特征，利用高斯混合模型对属性数据分布进行估计，形成人脸属性空间；将输入人脸数据投影至属性空间中，获得量化的人脸可视化特征；通过Z-score方法对可视化特征进行标准化，从而对输入数据进行识别。该方法存在的缺点是，1)该方法中的属性识别基于人工设计的局部特征SIFT和简单的分类器SVM，其局部特征不一定适合每种属性的分类；2)每种特征提取和分类是两个独立的过程，没有联合优化，因此，只能得到次优的结果。
【发明内容】
[0009]为了解决现有技术中人脸属性预测方法结果不够优，计算过程复杂，属性值表达能力不强的问题，本发明提出了一种基于深度学习和多任务学习的人脸属性预测方法。该方法的流程如下:
[0010]步骤S1:收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；
[0011]步骤S2:检测人脸，以及人脸关键点，通过多个关键点对齐人脸；
[0012]步骤S3:对类别中具有顺序的属性进行编码；
[0013]步骤S4:构造一个深度神经网络；
[0014]步骤S5:利用步骤S1形成的训练数据集合，训练步骤S4中的深度神经网络，并部署训练得到的神经网络模型。
[0015]步骤S6，利用步骤S5中的神经网络模型，预测图片中的人脸属性。
[0016]此外，本发明还提出了一种基于深度学习和多任务学习的人脸属性预测装置，该装置包括以下单元:
[0017]收集标注单元，用于收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合；
[0018]检测对齐单元，用于检测人脸，以及人脸关键点，通过多个关键点对齐人脸；
[0019]编码单元，用于对类别中具有顺序的属性进行编码；
[0020]神经网络构造单元，用于构造一个深度神经网络；
[0021]神经网络训练单元，用于利用收集标注单元中形成的训练数据集合，训练神经网络构造单元中的深度神经网络，并部署训练得到的神经网络模型；
[0022]人脸属性预测单元，用于利用神经网络训练单元中的神经网络模型，预测图片中的人脸属性。
[0023]本发明具有以下显著特点:1)通过多个属性联合训练，一个深度神经网络可以同时预测多个属性；2)针对一些属性，首先对其编码，然后使用编码作为监督信息训练深度神经网络；通过联合训练，不但一个网络可以同时预测多个属性，而且每种属性的训练可以相互帮助，预测效果提高明显。
【附图说明】
[0024]图1是基于深度学习和多任务学习的人脸属性预测方法流程图；
[0025]图2是深度神经网络结构示意图；
[0026]图3是基于深度学习和多任务学习的人脸属性预测装置结构示意图。
【具体实施方式】
[0027]结合附图1对本发明提出的基于深度学习和多任务学习的人脸属性预测方法作详细说明。
[0028]如附图1所示，该基于深度学习和多任务学习的人脸属性预测方法，包括以下步骤:
[0029]步骤S1:收集人脸图片并标注对应的多个属性的类别，形成一个训练数据集合。
[0030]人脸属性的类别由局部属性和全局属性组成。局部属性包括但不限于头发颜色，头发长短，眉毛长短，眉毛浓密或者稀疏，眼睛大小，眼睛睁开或者闭着，鼻梁高低，嘴巴大小，嘴巴张开或者闭着，是否佩戴眼镜，是否佩戴墨镜，是否戴口罩等。全局属性包括但不限于人种，性别，年龄，颜值，表情等。
[0031]针对收集的人脸图片，人工标注其对应的属性，并根据属性对应的类别形成一个训练数据集合。
[0032]步骤S2:检测人脸，以及人脸关键点，通过多个关键点对齐人脸。
[0033]利用AdaBoost分类器(自适应增强分类器)或者深度学习的人脸检测算法检测人脸。
[0034]其中利用AdaBoost分类器检测人脸的算法为现有技术，具体可以参见CN102254183B公开的算法。
[0035]利用深度学习算法检测人脸的方法也为现有技术，具体可以参见CN103778414A和/或CN104866810A公开的算法。
[0036]本发明的重点并不在于人脸检测算法，因此，采用任何一现有的AdaBoost分类器或深度学习算法实现人脸及人脸关键点的检测即可。
[0037]由于不同的人脸照片，可能具有不同的姿态。为了达到更好的预测