b在一定范围内， 由参数的概率分布模型，得出其变化范围与前t个特征值之间的关系如公式（2-15):
[0191]
(2-15)
[0192] 局部纹理模型
[0193] 局部纹理模型[61]就是针对图像中每个特征点的局部特征进行统计分析，即在 垂直于每个轮廓点的方向上进行灰度邻域取样。局部纹理模型通过平均纹理和协方差矩阵 两个参数来描述，在特征点捜索时不断优化特征点位置。
[0194] 局部纹理模型在捜索过程中，首先是查找每个特征点特定范围内的像素点信息 (局部灰度邻域），确定与局部纹理模型更匹配的新的特征点位置，用新特征点来取代原特 征点，然后对新特征点进行相似性变换，再利用所创建的形状模型进行特征脸的形状约束， 之后迭代进行纹理匹配。持续该过程直到迭代次数达到阔值或者是形状匹配误差达到最 小。
[0195] 1.获得局部纹理向量
[0196] 对特征点建立局部纹理模型。在第i个训练图像上的第j个特征点的两侧，沿着 垂直于该点的法向量方向上分别选择m个像素W构成一个长度为2m+l的向量，对该向量所 包含的像素的灰度值求导得到一个局部纹理，对训练集中其他训练样本图像上的第j个特 征点进行同样的操作，便可得到第^'个特征点的〇个局部纹理曲馬2，...，各;'。
[0197] 2.构造局部纹理模型
[0198] 同构造全局形状模型类似，构造纹理模型过程也需要求纹理均值和方差，其中n 个局部纹理的均值：
[0199]
(2-16)
[0200] W及方差：
[0201]
(2-17)
[0202] 该样就得到了第j个特征点的局部特征。对其他所有的特征点进行相同的操作， 就可得到每个特征点的局部特征。该样，一个特征点的新的特征g与其训练好的局部特征 之间的相似性度量就可W用马氏距离来表示：
[020引= (g-容,)S,' (g-容,. (2-18)
[0204] 单分辨率捜索策略
[0205] ASM算法应用过程，就是利用全局形状模型和局部纹理模型在人脸图像上进行特 征点定位。最初Cootes等人提出的是单分辨率的捜索策略，其后又在单分辨率的捜索策略 基础上提出了改进策略，即基于图像金字塔的多分辨率捜索方法。
[0206] 单分辨率捜索策略就是直接在原始图像上应用ASM模型进行定位，具体过程将如 下详细介绍。
[0207] 1.手动选择初始位置
[020引 ASM算法中初始形状的位置是很重要的，需要选择合理的初始位置，尽量将平均形 状置于目标人脸的形状附近，否则容易陷入局部最优解。那么，在得到一个人脸各器官的初 始形状之后，首先对平均形状进行仿射变换得到一个较好的初始模型：
[020引 义= M(.v，60S+/,， 口-19)
[0210] 上面的式子表示对平均形状W其中屯、逆时针旋转0缩放S，然后再平移t。得到 初始形状模型X。
[0211] 2.计算每个特征点的新位置
[0212] 在检测过程中，为了达到更高的准确性，我们需要对轮廓点的位置进行迭代调整 和优化。此过程就用到了局部纹理模型，通过统计的纹理信息和对特征点建立的关联矩阵 来不断优化特征点的位置信息，直到迭代次数达到指定阔值为止。对待定位图像捜索目标 形状[61]，通过不断进行仿射变换和调整参数b，使最终形状中的特征点和相对应的真正 特征点最为接近。
[0213] 对于模型中的第i个特征点[61]，在其灰度邻域附近W其为中屯、两边各选择 k (k〉m)个像素，并对该k个像素的灰度值进行求导和归一化，从而得到一个局部特征，然后 对该些子局部特征与当前特征点的局部特征之间进行马氏距离计算，如果马氏距离最小， 那么选取那个子局部特征的中屯、为当前特征点的最佳候选点，该样就会产生一个位移。为 所有的特征点找到其新位置，并把它们的位移组成一个向量：
[0214] X' = X+dX,
[0引引 dX = (dXi, dX],. ..，dXh). (2-20)
[0216] 通过仿射变换和调整参数，使得新形状不断调整趋近于目标图像的人脸形状，同 时也将模型的形变约束在全局形状模型的范围内。对新形状进行仿射变换后便可W得到仿 射变换参数的变化量''/、，^<，''/<，同时由式（2-19)得：
[0217]瓜/(.s'(l + (/v)，（。+ (W))LX+ 尸/) + (化]+ (t, + 成,）二（+ (/A〇. (2-21)
[021引用式（2-19)表示X来代换上式中的X，因此上式又可W如下表示：
[0219] A/('v(l + (/'v)，(0 + (WWLX+戶/，+山木]=A/('v，0)5^K -(1-, +(//, ). 口-22)
[0220] 结合式（2-13)可得：
[022U db = pTdX. (2-2：3)
[0222] 在匹配过程中，通过更新参数检查新形状是否满足全局形状模型约束，需要对仿 射变换参数和b做如下更新：
[022引tc= t e+Wtdt"日二日+Wed 日，s = S (1+Wsds), b = b+WbCib. (2-24)
[0224] 上面的式子中Wt，We,W,，Wb是用于控制参数变化的权值。当仿射变换的参数和b 的变化不是很大或者迭代次数达到指定的阔值就结束该优化过程，否则将不断转入模型捜 索应用的整个过程。
[0225] 多分辨率捜索策略
[0226] 多分辨率捜索策略，就是对原始图像进行高斯滤波构建高斯图像金字塔，ASM算法 对图像金字塔中的每层图像进行操作。首先从粗趟的图像定位开始，之后在精确的图像中 不断改善特征点位置。高斯图像金字塔，是对原图像进行高斯低通滤波获取，W原始图像为 金字塔的最底层，然后逐层W上一层的一半为步长进行抽样。本文使用的是多分辨率捜索 策略，选取的图像金字塔层数为2层。
[0227] 本文使用的多分辨率捜索策略，与上面介绍的单分辨率捜索策略基本相似，但是 有两点不同；首先，多分辨率捜索策略在建立局部纹理模型时，需要对所有样本图像建立高 斯图像金字塔，同时也要对每一个特征点在金字塔的每一层图像中建立相应的局部纹理模 型，相对单分辨率捜索策略则只需要在原始样本图像上进行局部纹理建模即可；其次，就是 在模型应用的过程中，捜索过程与单分辨率的捜索过程基本相同，只是多分辨率捜索策略 需要在图像的每一层上进行捜索，并且是从高层开始向低层捜索。
[022引 日本ART女性人脸表情数据库（JAFFE)，主要包括10个女性的7种不同表情图 像，本章选取其中一位人脸的7种表情介绍建模相关的数值定义及约束条件，依次介绍中 性、惊讶、高兴、厌恶、害怕、生气、悲伤7种基本表情的建模思想。
[022引表情分类
[0230] 人脸是人类表达情感的主要体现之处，通过对人脸的研究可W 了解到人内屯、情感 及屯、理状态，所W近些年来对于人脸表情识别的研究越来越受到广大学者的关注。表情识 别是设及到屯、理学、生理学、图像处理、模式识别等多个学科的复杂研究领域，但目前来说 该研究课题已经取得了不错的研究成果。
[0231] 表3-1人脸表情运动特征规律
[0232]
[0233] 最早由屯、理学家Ekman[3]对表情进行了基本的分类，包括：中性、惊讶、高兴、厌 恶、害怕、悲伤、生气7种基本表情，本发明也将主要对该7种基本表情进行研究。为了区分 本发明将惊讶、高兴、厌恶、害怕、悲伤、生气称为基本表情，其中每种表情都会引起人脸各 器官变化，主要变化器官包括眼睛、眉毛、鼻子和嘴己，当然也包括脸部各肌肉及纹理的变 化，但本发明将只考虑各表情体现在眉毛、眼睛、鼻子和嘴己的形状及相对位置等几何特征 变化，并通过曲率及相对坐标关系来描述几何特征变化。
[0234] 针对表3-1表情脸运动特征，我们可W分析得出各基本表情的曲率等其它数据变 化规律，并且根据数据约束条件建立表情识别的数学模型。
[0235] 数据约束条件
[0236] 提取特征点之后，需要对其做平滑运算和曲率值等的数值计算。然后对获得的7 种基本表情的数据信息进行分析，通过将其它6种基本表情数据与中性表情数据比较实现 数据约束。
[0237] 数据定义
[023引对所有特征点按照公式（3-1)进行平滑运算，对相邻特征点的曲率运算过程如公 式（3-2)，获得曲率值kappa。
[0245] 依据表3-1人脸表情运动特征所讲述的各表情脸的运动特征及 人脸对称性，本发明主要对左眉毛、左眼睛及嘴己进行曲率计算，得到数据 &，^及/p，^姑側，巧1卸，巧并通过曲率值大小比较来判断该部分的几何特征变化； 计算左眉毛内外角点的垂直方向坐标差，得到数据屯判断眉毛上扬、皱起等变化；计算左眼 睛对应上下眼脸垂直方向坐标差，得到数据屯判断眼睛睁开的大小变化；计算嘴己上下嘴 唇对应垂直方向坐标差，得到数据dM判断嘴己张开的大小变化；计算嘴己下嘴唇对应水平 方向坐标差之和Pm，判断嘴己的周长变化。
[0246] 1)眉毛、眼睛部分
[0247] 可W通过计算眉毛的曲率&来判断眉毛是否发生弯曲等形变，从而得到眉毛曲 率数据约束条件。另外，可W通过眉毛内点与外点在垂直方向上的距离屯来判断眉毛形状 的改变。对于眼睛部分同样如此，分别对上眼脸和下眼脸进行曲率计算得到^￡^，^￡&胃来 判断眼睛是否发生弯曲等形变。对于眼睛睁开的大小变化，我们可W通过上下眼脸对应点 在垂直方向上的距离屯来判断。综合W上内容眉毛眼睛部分的数据定义如表3-2。
[024引表3-2眉毛、眼睛数据定义[0249]
[0巧0] 1)鼻子、嘴己部分
[0巧1] 大多数表情的变化不是很明显，所W该里我们选取左右鼻孔的左侧点、右侧点进 行水平方向上的距离差值计算，得到由判断鼻子是否变宽。和眼睛的计算相似，嘴己部分 也是通过计算上嘴唇、下嘴唇的曲率胃来判断嘴己的弯曲等形变，同时通过上下 嘴唇对应点的垂直方向上的距离差d"来判断嘴唇张开大小的变化，另外计算下嘴唇相邻轮 廓点之间的X坐标差值之和Pm来度量嘴己的长度变化。综合W上内容鼻子嘴己部分数据 定义如表3-3。
[0252]表3-3鼻子、嘴己数据定义
[0 巧 31
[0254] 综上所述，我们得到如表3-4数据定义，然后依据此定义对各基本表情进行数学 运算获得数值约束条件。
[0巧引表3-4数据定义
[0 巧 6]
[0巧7] 中性表情
[0巧引特征点定位之后，依次存取左眉毛、左眼睛（左上眼脸，左下眼脸）、鼻子和嘴己 (上嘴唇，下嘴唇）的特征向量为Si，S2,S3,S4,Ss，Se。然后依据公式（3-1)和（3-。对所有 特征点进行特征点平滑和曲率计算，另外依据数据定义对各器官的几何特征变化进行其它 数值计算，下面其它基本表情运算过程类似不再详细寶述。
[0巧9] 首先介绍中性表情的数据计算过程，，其数值定义如表3-5。
[0260] 表3-5中性表情数据定义
[0261]
[026引眉毛
[0263] 左眉毛的20个特征点构成向量Si:
[0264]
[0265] 除去起始点和终点，依据公式（3-2)可W计算获得18个曲率值及眉毛曲率均值 巧如
[026引同时计算眉毛内点与外点垂直方向上的距离端W.
[0269]
[0270] 计算眉毛与眼睛垂直方向上的距离诚r.
[0271]
[0272] 眼睛
[0273] 针对上下眼脸各20个特征点进行计算，即讨论上眼脸、下眼脸2个特征点向量；
[0276] 获得上眼脸和下眼脸的曲率均值姑胃。然后为了更准确地获得眼睛睁开 大小的变化，计算上眼脸和下眼脸对应的18个特征点的垂直方向上的距离及其平均值 d'r;
[0277]
[0280] 鼻子
[0281] 对于鼻子我们同样选取了20个特征点构成特征点向量：
[0282]