对人体面部微笑表情深度卷积神经网络的检测方法
【技术领域】
[0001] 本发明属于图像处理及模式识别的技术领域，具体地涉及一种对人体面部微笑表 情深度卷积神经网络的检测方法。
【背景技术】
[0002] 作为人类情感表达的重要方式之一，微笑常常代表着人们快乐、欢喜、满意等情 绪。人们能够一眼看出其他人的快乐心情，如果计算机也能自动解读人的情绪，计算机将会 为人类提供更全面的服务。近年来，微笑自动检测技术逐渐得到研究人员和服务行业的关 注，并渗透于人们日常生活的各个技术领域。例如，2013年，巴塞罗那一家喜剧倶乐部 Teatreneu利用平板电脑通过识别人脸表情实行"按微笑收费"，这种创新实效的举措赢得 了用户的青睐，并使得倶乐部的收入飙涨。再如，2007年，在索尼公司的S0NYT200数码相机 中，提供了由索尼和欧姆龙公司合作开发出来"微笑快门"用来捕捉刹那间笑容。此后，索尼 爱立信将该功能引入到Cyber-shot系列手机W61S。但是，一般来说"微笑快门"灵敏度尚不 理想。
[0003] 目前，人们对微笑表情识别方法开始考虑遮挡和噪声的影响，比如身份、年龄、性 另IJ、姿态、光照、遮挡、拍摄环境、图像质量等因素。由于面部微笑表情易受多种客观因素影 响，使得微笑表情特征复杂多变，难以人为的设计特征，因此，微笑表情识别成为一项具有 挑战性的研究课题。
[0004] 现有人脸表情识别多是对人脸正面成像的图像进行分析，用一种或多种特征融合 的方法识别人脸表情，因此特征提取和选择算法不可避免的损失了部分信息，且易受人脸 角度姿态、尺度变化和噪声干扰。
【发明内容】
[0005] 本发明所要解决的技术问题在于克服现有技术的缺点，提供一种设计特征简单、 全面、检测准确率高、检测速度快的对人体面部微笑表情深度卷积神经网络的检测方法。
[0006] 解决上述技术问题所采用的技术方案它是由训练步骤和测试步骤组成，本发明的 训练步骤为：
[0007] (1)对训练样本图像进行预处理
[0008] 包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤；
[0009] 图像灰度化:用（1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度 图像：
[0010] I=ffrXR+ffgXG+ffbXB (1)
[0011] 式中I为灰度化后的亮度，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为 彩色图像的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重， Wb为彩色图像的蓝色分量的权重。
[0012] 嘴巴子图定位:用五个关键点横坐标的平均值作为中心点的横坐标X，用五个关键 点纵坐标的平均值作为中心点的纵坐标y，用欧式距离或曼哈顿距离或棋盘距离计算五个 关键点到中心点的距离;计算上述五个距离的最大距离D或平均距离D或最小距离D，以（（X-(0.75~0.77)0)，7)为左上角，裁剪成宽为（1.5~1.58)0、高为（1.7~1.78)0的矩形，得到 嘴巴子图。
[0013] 嘴巴子图大小归一化:将上述嘴巴子图用双三次插值法或B样条插值法或三次样 条插值法或等距插值法或四次样条插值法或拉格朗日插值法，归一化为32 X 32嘴巴子图， 像素总个数为322。
[0014] 对嘴巴子图进行亮度调节:采用自适应亮度调节法或分段线性拉伸法或直方图均 衡化算法，获得亮度调节后的嘴巴子图。
[0015] 自适应亮度调节法，用(4)式计算32X32嘴巴子图的直方图h(x)累加和与像素总 个数的比值cdf (X):
[0016]
(4)
[0017] 式中xe [0,255]，在cdf (X)中寻找第一个大于0.01的索引值i low和第一个大于 0.99的索引值ihigh。
[0018] 用（5)式得到亮度范围[low，high]:
[0019] low= (i low-1 )/255, high = (ihigh-1 )/255 (5)
[0020] 用(6)式计算调节后的亮度值J
[0021] J= (tmp-low)/(high-low) (6)
[0022] 式中1：11^1=11^1(1〇￥，111；[11(11丨811，1))，1为灰度化后的亮度，得到32\32标准嘴巴图 像。
[0023] (2)训练卷积神经网络
[0024] 将训练样本预处理后得到的32X32标准嘴巴图像输入卷积神经网络，经前向传播 和反向传播两个步骤反复循环至达到设定的最大迭代次数，得到卷积神经网络和训练样本 的多尺度特征。
[0025] (3)训练支持向量机分类器
[0026] 把多尺度特征输入支持向量机，支持向量机根据多尺度特征寻找最优分类超平 面，得到支持向量机分类器，该分类器的输出是1或〇，1为微笑，0为不微笑。
[0027] 本发明的测试步骤为：
[0028] (1)对测试样本图像进行预处理
[0029]测试样本图像的预处理与对训练样本图像进行预处理步骤(1)相同。
[0030] (2)用预处理后的测试样本输入到卷积神经网络中，提取测试样本的多尺度特征。
[0031] (3)将多尺度特征输入到支持向量机分类器中，得到检测结果，即是否微笑。
[0032]本发明的卷积神经网络的结构为:输入层是32X32的标准嘴巴图像;C1层是第一 个卷积层，有10个28X28的特征图，每个特征图中的1个像素点与输入层的1个5X5区域相 连接，共（5X5+1 )X 10 = 260个训练参数;S2层是下2采样层，有10个14X14特征图，每个特 征图中的1个像素点与C1层相应特征图的1个2X2区域相连接，共IX 10个偏置参数;C3层是 第二个卷积层，有12个10 X 10的特征图，每个特征图中的1个像素点与S2层相应的1个5 X 5 区域相连接，共（5X5+1 )X 10X12 = 3120个参数;S4层为第二个下2采样层，有12个5X5的 特征图，共IX 12个偏置参数;F5层是S4中12个5X5的特征图以列序为主序依次排列生成的 1个300维的多尺度特征;输出层由2个结点1和0组成，F5层与输出层之间全连接，共300X2 = 600个参数;该深度卷积神经网络共260+10+3120+12+600 = 4002个参数，通过前向传播和 反向传播反复循环至达到设定的最大迭代次数，确定网络参数。
[0033]本发明的支持向量机为：支持向量机的核函数选择径向基函数，其参数gamma = 0.05,支持向量机的输入是从卷积神经网络得到的多尺度特征，输出是1或0，1为微笑，0为 不微笑。
[0034]本发明的多尺度特征的生成过程为:将32X32的标准嘴巴图像输入到卷积神经网 络的输入层中，经C1层、S2层、C3层和S4层的2次卷积和下2采样，得到12个5X5的特征图，以 列序为主序依次排列生成的1个300维的多尺度特征。
[0035] 本发明针对真实场景下拍摄的不同姿态、光照和胡须等干扰的人脸图像，采用卷 积神经网络的自动学习能力，从大量样本图像中自动地提取微笑特征，避免了人工设计特 征的复杂性和片面性，再利用支持向量机分类器进行微笑检测，提高了检测的准确率，可用 于新产品用户体验评价、服务人员微笑服务评价、相机微笑快门控制及照片选择等。
【附图说明】
[0036] 图1是本发明实施例1对人体面部微笑表情深度卷积神经网络的检测方法流程图。 [0037]图2是图1中测试步骤的流程图。
[0038]图3是经过预处理后部分32X32的标准嘴巴图像。
[0039] 图4是深度卷积神经网络的结构图。
[0040] 图5是非正面成像的测试样本人体面部微笑表情的检测结果图。
[0041] 图6是人体面部有胡须的测试样本微笑表情的检测结果图。
【具体实施方式】
[0042]下面结合具体附图和实例对本发明进行进一步的说明，但本发明不限于下述实 例。
[0043] 实施例1
[0044] 本实施例的人脸图像来自多任务人脸标注(the Multi-Task Facial Landmark， MTFL)数据库，该库包括12995幅人脸图像，其中10000幅图像为训练样本，2995幅图像为测 试样本。
[0045] 本实施例微笑表情深度卷积神经网络的检测方法由训练步骤和测试步骤组成，训 练步骤如下：
[0046] 1、对10000幅训练样本图像进行预处理
[0047]包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤；
[0048] 10000幅图像灰度化：用（1)式对被训练的样本图像进行灰度化处理，将彩色图像 转为灰度图像：
[0049] I = 0.2989 XR+0.5870 XG+0.1140 XB (1)
[0050] 式中I为灰度化后的亮度，