基于多任务正则化与逐层监督神经网络的人脸点检测系统的制作方法
【技术领域】
[0001] 本发明涉及一种计算机视觉领域的人脸点检测方法，具体是一种基于多任务正则 化与逐层监督神经网络的人脸点检测系统。
【背景技术】
[0002] 在计算机视觉领域，人脸点，如眼睛、鼻子、嘴巴等的检测是一个非常基本而重要 的问题，是后续的人脸识别、追踪及3D人脸建模的基础。即使有大量的研究投入其中，由于 图像中人的头部姿势变化及部分遮挡问题，人脸点检测在环境下受限的情况下仍然是一个 富有挑战性的问题。
[0003] 现有的人脸点检测方法主要分为两类:模板适配与基于回归的方法。基于回归的 方法首先对输入图像进行特征提取，然后将学习到的特征映射至人脸特征点的空间。卷积 神经网络将原始图片作为输入，利用多个线性滤波器自动计算高层次的特征表示，在实际 特征提取应用中取得显著成果。
[0004] Y. Sun等人在2013年的《IEEE Computer Vision and Pattern Recognition》 (IEEE CVPR)会议上发表的 "Deep convolutional network cascade for facial point detection"一文中提出了一种多个卷积神经网络级联的人脸点检测方法，它预先将人脸分 成几个部分，对每个部分单独使用卷积神经网络进行由粗到细的特征点检测，但是这种级 联的方法使得网络参数成倍增加导致训练困难，并且会带来非常大的计算开销。
[0005] Z.Zhang等人在2014年的《European Conference on Computer Vision》会议上发 表的 "Facial landmark detection by deep multi-task learning" 一文中提出了一种多 任务学习的方法。这种方法利用人脸其他特性与特征点的相关性进行卷积神经网络模型建 立，以促进对主任务即人脸点的检测。这种方法降低了模型复杂度，却没有考虑到主任务和 相关任务的具体关系。
【发明内容】
[0006] 本发明针对现有技术中的缺陷，提供了一种基于多任务正则化与逐层监督神经网 络的人脸点检测系统，可以有效解决传统卷积神经网络的过拟合与特征鲁棒性不确定的问 题。
[0007] 本发明是通过以下技术方案实现的：
[0008] 本发明所述的一种基于多任务正则化与逐层监督神经网络的人脸点检测系统，包 括两部分:多任务正则化模块和逐层监督网络模块，其中：
[0009] 所述逐层监督网络模块，对输入图像根据其像素值进行特征提取，不同于传统卷 积神经网络只对输出层目标函数进行优化，该模块对每一中间层都引入监督目标函数，从 而加强中间层学习到的特征的显著性，再将输出特征输入给多任务正则化模块进行信号的 反向传播，以此重复直至网络收敛；
[0010] 所述多任务正则化模块，包括主任务与相关任务，主任务与相关任务共同学习逐 层监督网络模块的参数得到所有任务共有的特征空间，再利用相关任务的辅助标签提供附 加正则项以加强网络的泛化能力，最后输出主任务的预测坐标值。
[0011]优选地，所述多任务正则化模块，包括主任务子模块与相关任务子模块，其中：
[0012] 所述主任务子模块对输入人脸图像5个特征点的检测，分别是：左眼、右眼、鼻子、 左嘴角和右嘴角的检测，预测每个点的坐标值作为最终输出。
[0013] 所述相关任务子模块分别对输入人脸图像进行姿态估计、笑容检测、眼镜检测与 性别预测，预测每个分类任务的标签值以提升主任务的预测准确率。
[0014] 更优选地，所述多任务正则化模块的主要目的是产生待优化目标函数，即预测值 与真实值之差，对该目标函数进行最小化问题求解以使预测值尽可能逼近真实值。
[0015] 更优选地，所述多任务正则化模块的优化目标函数是主任务损失函数和相关任务 损失函数的线性组合。
[0016]更优选地，所述主任务损失函数和相关任务损失函数分别用平方差回归函数和交 叉熵函数表示。
[0017] 优选地，所述逐层监督网络模块，在中间每个卷积层之后添加回归监督函数，与多 任务正则化模块中的待优化目标函数一起进行信号的反向传播。
[0018] 优选地，所述逐层监督网络模块，其中回归监督函数是该卷积层输出坐标值与真 实坐标值的平方差函数。
[0019] 优选地，所述逐层监督网络模块，只对主任务进行监督，而不对相关任务监督以保 证主任务的优先性。
[0020] 优选地，所述逐层监督网络模块，其中逐层监督神经网络的反向传播，减轻了传统 卷积神经网络的梯度弥散问题。
[0021] 与现有技术相比，本发明具有如下的有益效果：
[0022] 本发明上述技术方案针对传统卷积神经网络存在的问题，提出了改进的方法。本 发明对传统卷积神经网的每一层添加监督项，以增强所学特征的透明性与减轻梯度弥散的 问题。本发明的4个相关任务一一姿态检测、笑容检测、眼镜检测和性别预测与主任务一一 人脸点的检测共享特征空间以增强主任务的准确率，也增强网络的整体泛化能力。
【附图说明】
[0023]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0024] 图1为本发明系统一实施例的结构框图；
[0025] 图2是本发明方法中逐层监督网络示意图。
【具体实施方式】
[0026] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0027]本发明针对传统卷积神经网络所存在的问题，提出一种基于多任务正则化与逐层 监督神经网络的人脸点检测系统。本系统在多任务正则部分，针对传统卷积神经网络的过 拟合问题，利用相关任务标签的优势以学习到高层次识别任务的共有特征表示。在逐层监 督学习部分，本系统针对传统卷及神经网络梯度弥散所学特征显著性不够的问题，在神经 网络的每一中间层添加监督层，以提升从输出层反向传播回来的梯度信号。本发明将此系 统用于人脸点检测，有效证明了多任务正则与逐层监督神经网络的有效性。
[0028]如图1所示，为本发明系统一实施例的结构框图，包括:多任务正则化模块和逐层 监督网络模块。
[0029]本实施例中，所述的多任务正则化模块中的主任务与几个相关任务共同学习得到 共有的特征空间，再利用相关任务的辅助标签提供附加正则项以加强网络的泛化能力。
[0030] 本实施例中，优化目标函数由主任务损失函数与相关任务损失函数的线性组合表 示而成：
[0031]
(1)
[0032] 其中λ3是第a个相关任务的权重，是主任务损失函数，是第a个相关任务的损 失函数，T是所有任务的总个数，w是神经网络的各层待求参数。
[