惊讶 表情30幅，所W针对数据库中27幅惊讶表情，该数学模型可W识别出90%的惊讶表情。
[0巧0] 2)高兴表情
[0巧1] 依据高兴表情数学模型，满足T> 0. 7时，符合高兴表情数学模型并初步判断该表 情为高兴表情。对JAFFE数据库中183幅人脸表情图像有50幅图像满足该模型，其中高兴 表情28幅，所W针对数据库中32幅高兴表情，该数学模型可W识别出88%的高兴表情。
[0巧2] 3)厌恶表情
[0巧3] 依据厌恶表情数学模型，满足T > 0. 9时，符合厌恶表情数学模型并初步判断该表 情为厌恶表情。对JAFFE数据库中183幅人脸表情图像有44幅图像满足该模型，其中厌恶 表情23幅，所W针对数据库中29幅厌恶表情，该数学模型可W识别出79%的厌恶表情。
[0巧4] 4)害怕表情
[0555]依据害怕表情数学模型，满足T > 0. 4时，符合害怕表情数学模型并初步判断该表 情为害怕表情。对JAFFE数据库中183幅人脸表情图像有59幅图像满足该模型，其中害怕 表情24幅，所W针对数据库中32幅害怕表情，该数学模型可W识别出75%的害怕表情。
[0巧引 W悲伤表情
[0巧7] 依据悲伤表情数学模型，满足T > 0. 3时，符合悲伤表情数学模型并初步判断该表 情为悲伤表情。对JAFFE数据库中183幅人脸表情图像有34幅图像满足该模型，其中悲伤 表情23幅，所W针对数据库中29幅悲伤表情，该数学模型可W识别出79%的悲伤表情。
[0巧引 6)生气表情
[0巧9] 依据生气表情数学模型，满足T > 0. 6时，符合生气表情数学模型并初步判断该表 情为生气表情。对JAFFE数据库中183幅人脸表情图像有43幅图像满足该模型，其中生气 表情16幅，所W针对数据库中31幅生气表情，该数学模型可W识别出52%的生气表情。
[0560] 表4-19模型二表情图像识别结果
[0561]
[0562] 综上所述，依据所建立的两种数学模型实现了对JAF阳人脸表情数据库的表情识 另IJ，验证了本文新算法的有效性，而且本文是通过数学方法解决表情识别问题，使得识别速 度上得W提高。另外，依据表情识别结果本文分析总结出两种模型的适用情况，对于模型一 的识别环境我们可W归为对各表情识别的通用情况，而对于模型二我们可W将其应用到 特定情况或场所下，如前面引用的疲劳驾驶的例子。
[0563] W上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技 术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可W做出若干改进和 变型，该些改进和变型也应视为本发明的保护范围。
【主权项】
1. 一种基于主动形状模型算法识别人脸表情的方法，其特征在于，所述方法包括： 存储或选取人脸表情数据库，选取所述人脸表情数据库中部分或全部人脸表情作为训 练图像； 基于主动形状模型算法对所述训练图像进行特征点定位，其中所述特征点为针对所述 训练图像的眉毛、眼睛、鼻子和嘴巴四部分定位出的特征点，所述特征点形成所述的眉毛、 眼睛、鼻子和嘴巴各部分的轮廓数据信息； 基于所述的眉毛、眼睛、鼻子和嘴巴各部分的轮廓数据信息，对所述训练图像进行数据 训练，得到各基本表情以及中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征的数 据定义； 基于所述的数据定义分别对各基本表情相较于中性表情的几何特征变化进行数值计 算，得到各表情的数值约束条件； 基于各表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人脸识 别。2. 根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 选取日本ATR女性表情数据库中部分或全部人脸图像作为训练图像，其中所述训练图 像至少包括6种基本表情中的各一副人脸图像和中性表情的至少一副人脸图像； 基于主动形状模型算法对所述训练图像进行人脸特征点定位，其中所述特征点为针对 人脸眉毛、眼睛、鼻子和嘴巴部分定位出的特征点，所述特征点形成所述眉毛、眼睛、鼻子和 嘴巴各部分的轮廓形状数据信息； 基于所述的各部分的轮廓特征数据信息，对各表情体现在眉毛、眼睛、鼻子和嘴巴各部 分的几何特征进行数据定义； 基于所述的数据定义分别对各表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征 进行数值计算； 对各基本表情相较于中性表情的几何特征变化进行数值计算，得到各基本表情相较于 中性表情的数值约束条件； 基于各基本表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人 脸识别。3. 根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 所述的主动形状模型算法对所述训练图像进行人脸特征点定位具体包括： 选取所述的表情数据库中的70副人脸图像作为进行训练，在每张所述训练图像上选 取94个特征点，将左眉毛、右眉毛、左眼睛上眼睑、左眼睛下眼睑、右眼睛上眼睑、右眼睛下 眼睑、鼻子、上嘴唇、下嘴唇部分的特征点依次构成特征向量SpS2,S3,S4,S5,S6,S7,S8,S9; 对所述的特征点进行线性插值运算，其中所述线性插值运算具体包括：使用插值函数interp对坐标数据信息进行5倍原采样频率值重新采样；利用interpl函数在选定特征 点之间平均插入20个点，构成特征向量S'^S'2,S'3,S'4,S'5,S'6,S'7,S'8， Sr9； 对所有特征向量进行对齐； 特征向量对齐之后，构建形状模型，通过对特征向量进行PCA运算得到特征值、特征向 量、平均形状Evalues，Evectors，x_mean; [Evalues，Evectors，x_mean] = PCA(x)， 选取98%的特征向量来减少轮廓噪声，并对特征值设置参数限制，选取前t个特征向 量和特征值，特征值按照从大到小排列，获得全局统计形状模型X， P = Evectors (1，2…，t)，X = x_mean+Pb. 依据ASM算法构造局部纹理模型，得到第j个特征点的局部纹理模型力，Sj; 应用ASM模型到数据库中各人脸图像上，基于多分辨率的搜索策略，高斯图像金字塔 层数为2层，对每一层进行特征点定位，所述的定位过程包括： 对平均形状进行旋转、平移等变换，获得初始形状，在目标图像上选取与其接近的位置 确定初始形状的位置； 更新参数，不断优化目标图像的特征点定位； 重复上述过程，直到迭代次数达到阈值。4. 根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 各表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数据定义分别为： 计算眉毛的曲率％来判断眉毛是否发生弯曲等形变； 计算眉毛内点与外点在垂直方向上的距离dB来判断眉毛形状的改变； 分别计算上眼睑和下眼睑进行曲率计算得到来判断眼睛是否发生弯曲形 变； 计算上下眼睑对应点在垂直方向上的距离4来判断眼睛睁开的大小变化； 计算左右鼻孔的左侧点、右侧点进行水平方向上的距离差值计算，得到dN，判断鼻子是 否变宽； 嘴巴部分通过计算上嘴唇、下嘴唇的曲率胃来判断嘴巴的弯曲等形变，同时 通过上下嘴唇对应点的垂直方向上的距离差dM来判断嘴唇张开大小的变化，计算下嘴唇相 邻轮廓点之间的x坐标差值之和pM来度量嘴巴的长度变化。5. 根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 所述的曲率通过对相邻特征点的曲率运算获得曲率值kappa，所述曲率运算公式为：=x(,i+l；+z：*xU；+xU-l；, A2y(i) =y(i+l)+2*y(i)+y(i-l)，。6. 根据权利要求根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法， 其特征在于，中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数值计算的方 法包括： 眉毛 左眉毛的20个特征点构成向量Sp除去起始点和终点，依据曲率计算公式计算获得18个曲率值及眉毛曲率均值1=1 计算眉毛内点与外点垂直方向上的距离:计算眉毛与眼睛垂直方向上的距离:眼睛 针对上下眼睑各20个特征点进行计算，即讨论上眼睑、下眼睑2个特征点向量：获得上眼睑和下眼睑的曲率均值&坤P，％&胃。然后为了更准确地获得眼睛睁开大小 的变化，计算上眼睑和下眼睑对应的18个特征点的垂直方向上的距离及其平均值:鼻子 对于鼻子我们同样选取了 20个特征点构成特征点向量：根据训练过程中选取点的顺序及鼻子的特征，针对第7个特征点和第14个特征点水平 方向上的距离进行计算，第7个特征点和第14个特征点均是定位在左右鼻孔的左侧点和右 侧点，得到嘴巴 和眼睛部分的特征点选取及计算相似，对于嘴巴部分，上嘴唇和下嘴唇分别选取20个 特征点构成两个特征点向量：对上嘴唇和下嘴唇分别进行曲率计算，得到上嘴唇和下嘴唇的曲率均值为 &細，计算上嘴唇和下嘴唇对应的18个特征点垂直方向上的距离及平均值 以及下嘴唇的周长7. 根据权利要求2所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 基于各基本表情的数值约束条件建立人脸表情的数学模型为： T = a a 2T2+ a 3T3+ a 4T4+ a 5T5+ a 6T6+ a 7T7. 其中％a2，a3，a4，a5，a6，a7为数学模型中的权值，所述参数分别为〇. 6,0. 35， 0. 15,0. 1，0. 05,0. 05,0. 05 ; I\，T2,T3,T4,T5,T6,T7为表情识别数据约束条件，其中TpT4为判断惊讶表情的条件，T2 为判断高兴表情的条件，T3为判断厌恶、悲伤和生气表情的条件。8. 根据权利要求2所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 基于各表情的数值约束条件建立人脸表情的数学模型为： 惊讶表情的数学模型为： Tsurp=aiT4+a2T7+a3T8+a4T3+a5(l-T9)， 其中a"a2，a3，a4，〇5分别为0.2,0.2,0.2,0.1，0.1。 高兴表情的数学模型为： Thapp=aJ9+a2T5+a3(l-T6) +a4(l-T4)， 其中a"a2，a3，〇4分别为 0.3,0.2,0.2,0.1。 厌恶表情的数学模型为： Tdisg=ai(l-T3) +a2(l-T6) +a3T4+a4T7+a5T8， 其中a"a2，a3，a4，a5分别为 0? 3,0. 3,0. 2,0. 1，0. 1 ; 害怕表情的数学模型为： 针对各人脸的害怕表情数据约束，总结数学模型如式： Tfear一° 1^6+ ° 2^8+ ° 3^9 ? 其中a"a2，a3分别为 〇. 3,0. 1，0. 1 ; 悲伤表情的数学模型为： 针对各人脸的悲伤表情数据约束，总结数学模型如式： Tsad=a"l-Tj+Ml-L)， 其中a"a2分别为〇? 2,0. 1 ; 生气表情的数学模型为： Tangry=ai(H3) +a2T5+a3(l-T2) +a4(l-T4)， 其中a"a2，a3，〇4分别为 0.3,0.2,0.1，0.1。9. 根据权利要求2所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 所述方法还包括对所述特征点进行平滑运算的步骤，其中所述平滑运算公式为：其中，其中n为曲线终点。10. 根据权利要求6所述的基于主动形状模型算法识别人脸表情的方法，其特征在于， 中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数值计算的结果由对所有 参与计算的中性表情的训练图像的数值计算取平均值得到的。
【专利摘要】本发明涉及一种基于主动形状模型算法识别人脸表情的方法。所述方法包括：存储或选取人脸表情数据库，选取所述人脸表情数据库中部分或全部人脸表情作为训练图像；基于主动形状模型算法对所述训练图像进行特征点定位，其中所述特征点为针对所述训练图像的眉毛、眼睛、鼻子和嘴巴四部分定位出的特征点，所述特征点形成所述的眉毛、眼睛、鼻子和嘴巴各部分的轮廓数据信息，进行数据训练得到各表情的数值约束条件；基于各表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人脸识别。
【IPC分类】G06K9/00, G06K9/62
【公开号】CN104951743
【申请号】CN201510096479
【发明人】钟宝江, 候婕
【申请人】苏州大学
【公开日】2015年9月30日
【申请日】2015年3月4日