基于嘴部特征的笑脸识别系统及方法
【专利摘要】本发明揭示了一种基于嘴部特征的笑脸识别系统及方法，所述笑脸识别系统包括：人脸定位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持向量机的分类模块。基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上，根据人脸面部的结构特征结合经验实现嘴部的粗定位，接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度；而后对经过处理的嘴部图像进行二值化，并对二值化结果使用灰度投影法来实现嘴部的精定位。基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类。本发明提出的基于嘴部特征的笑脸识别系统及方法，可提高笑脸识别的效率及精度。
【专利说明】基于嘴部特征的笑脸识别系统及方法
【技术领域】
[0001] 本发明属于笑脸识别【技术领域】，涉及一种笑脸识别系统，尤其涉及一种基于嘴部 特征的笑脸识别系统；同时，本发明还涉及一种基于嘴部特征的笑脸识别方法。
【背景技术】
[0002] 随着人们生活水平的不断提高，以及多媒体技术的发展，具有拍照功能的移动终 端产品得到了广泛的普及，比如手机、数码相机等，这自然而然也就带动了各个生产商之间 的竞争。各个生产商为了能够在激烈的市场竞争中立于不败之地，纷纷在他们的产品中增 加一些特殊功能以吸引消费者的眼球，而笑脸识别正是这些特殊功能中重要的一种。
[0003] 笑脸识别功能是基于对消费者行为和需求的深入了解而推出的一款人性化的产 品。它可以更好地满足用户在拍摄中对于笑脸拍摄的需要，方便用户拍摄到生活中难得的 瞬间的灿烂笑容。目前，笑脸识别功能已经广泛地用于数码相机、手机、数码摄像机等数码 广品中。
[0004] 虽然近年来笑脸识别的功能被广泛地用于数码相机、手机等移动终端中，但是，人 类表情的表现方式有细微的和强烈的、缓和的和激动的、轻松的和紧张的诸多形式，同一种 表情往往表现出不同的强度。比如同样是高兴的表情，不同的人却有不同的表现形式，有些 只是嘴角稍微向两侧上抬：而有些则不仅仅是嘴角的上抬，而是先将整个嘴轻微的张开，然 后向左右两边运动等。这就给笑脸的确切识别带来了一定的困难，从而也就影响了笑脸识 别功能的实际应用性能。
[0005] 有鉴于此，如今迫切需要设计一种新的笑脸识别方法，以便克服现有识别方法的 上述缺陷。
【发明内容】
[0006] 本发明所要解决的技术问题是：提供一种基于嘴部特征的笑脸识别系统，可提高 笑脸识别的效率及精度。
[0007] 此外，本发明还提供一种基于嘴部特征的笑脸识别方法，可提高笑脸识别的效率 及精度。
[0008] 为解决上述技术问题，本发明采用如下技术方案：
[0009] -种基于嘴部特征的笑脸识别系统，所述笑脸识别系统包括：人脸定位与预处理 模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持 向量机的分类模块；
[0010] 人脸定位与预处理模块用以对人脸定位，在输入的图像中如果存在人脸区域，则 检测出人脸，确定所有人脸的大小、位置和位姿；采用Haar-Like特征与级联的Adaboost学 习算法相结合的方法定位；包括：对人脸进行Haar-Like特征计算，运用"积分图"算法快速 提取特征；根据AdaBoost算法提取最有效的Haar-Like特征，经过多次迭代确定各个弱分 类器的权值；将训练得到的弱分类器进行级联，组成完整的人脸检测系统； toon] 直方图均衡化模块用以对人脸样本图像进行直方图均衡化，把原始图像的灰度直 方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布；
[0012] 尺寸归一化模块用以通过尺度校正、平移、旋转的方法去除图像中的结构变形，使 人脸图像标准化；采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸；
[0013] 基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上，根 据人脸面部的结构特征结合经验实现嘴部的粗定位，接着通过对定位到的嘴部大致图片的 直方图进行规定化来提高图像的对比度；而后对经过处理的嘴部图像进行二值化，并对二 值化结果使用灰度投影法来实现嘴部的精定位；
[0014] 基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类；在 分类阶段中，将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果， 若输出的结果为1表不对应的样本为正样本，若为-1对应的样本则为负样本；
[0015] 基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结 果获取单元；所述训练优化单元用以进行训练优化，寻找合适的内核函数及其对应的最优 参数；所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训 练样本特征集进行训练，以获得支持向量机最优分类模型；所述分类结果获取单元将待分 类样本特征集与最优分类模型送入到预测函数中，获取最终的分类结果；
[0016] 所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元、基于嘴部的H0G 特征的笑脸特征提取单元；
[0017] 嘴部粗定位单元用以根据人脸的面部的结构特征，将嘴部区域划定为人脸的下 三分之一，且距离左右人脸边界为人脸宽度的四分之一；嘴部精定位单元用以对嘴部粗定 位得到的图像进行直方图规定化处理后，通过二值化处理来实现嘴部的精定位；具体采用 Ostu方法通过阈值将图像分割成两个区域，每个区域有着相似的灰度值，分别为目标和背 景，来实现嘴部的精定位；
[0018] 基于嘴部的H0G特征的笑脸特征提取单元用以在对嘴部进行H0G特征提取的过程 中，分别对H0G特征提取的信息进行了以下处理：
[0019] 对于输入图像：为了降低算法运算的复杂度，输入的嘴部图像为灰度图像；
[0020] 对于颜色空间标准化与预处理：对输入的嘴部图像进行直方图规定化处理使得图 像的轮廓更为清晰，所有的嘴部图像尺寸归一化为64*42的大小；
[0021] 对于梯度向量的计算：采用一阶梯度算子（_1，〇, 1)，（_1，〇, 1)τ来进行梯度的计 算，即嘴部图像点（x，y)的梯度大小G(x，y)和方向Θ (x，y)为：
【权利要求】
1. 一种基于嘴部特征的笑脸识别系统，其特征在于，所述笑脸识别系统包括：人脸定 位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模 块、基于支持向量机的分类模块； 人脸定位与预处理模块用以对人脸定位，在输入的图像中如果存在人脸区域，则检测 出人脸，确定所有人脸的大小、位置和位姿；采用Haar-Like特征与级联的Adaboost学习算 法相结合的方法定位；包括：对人脸进行Haar-Like特征计算，运用"积分图"算法快速提取 特征；根据AdaBoost算法提取最有效的Haar-Like特征，经过多次迭代确定各个弱分类器 的权值；将训练得到的弱分类器进行级联，组成完整的人脸检测系统； 直方图均衡化模块用以对人脸样本图像进行直方图均衡化，把原始图像的灰度直方图 从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布； 尺寸归一化模块用以通过尺度校正、平移、旋转的方法去除图像中的结构变形，使人脸 图像标准化；采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸； 基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上，根据人 脸面部的结构特征结合经验实现嘴部的粗定位，接着通过对定位到的嘴部大致图片的直方 图进行规定化来提高图像的对比度；而后对经过处理的嘴部图像进行二值化，并对二值化 结果使用灰度投影法来实现嘴部的精定位； 基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类；在分类 阶段中，将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果，若输 出的结果为1表不对应的样本为正样本，若为-1对应的样本则为负样本； 基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结果获 取单元；所述训练优化单元用以进行训练优化，寻找合适的内核函数及其对应的最优参数； 所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训练样 本特征集进行训练，以获得支持向量机最优分类模型；所述分类结果获取单元将待分类样 本特征集与最优分类模型送入到预测函数中，获取最终的分类结果； 所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元、基于嘴部的HOG特征 的笑脸特征提取单元； 嘴部粗定位单元用以根据人脸的面部的结构特征，将嘴部区域划定为人脸的下三分之 一，且距离左右人脸边界为人脸宽度的四分之一；嘴部精定位单元用以对嘴部粗定位得到 的图像进行直方图规定化处理后，通过二值化处理来实现嘴部的精定位；具体采用Ostu方 法通过阈值将图像分割成两个区域； 基于嘴部的HOG特征的笑脸特征提取单元用以在对嘴部进行HOG特征提取的过程中， 分别对HOG特征提取的信息进行了以下处理： 对于输入图像：为了降低算法运算的复杂度，输入的嘴部图像为灰度图像； 对于颜色空间标准化与预处理：对输入的嘴部图像进行直方图规定化处理使得图像的 轮廓更为清晰，所有的嘴部图像尺寸归一化为64*42的大小； 对于梯度向量的计算：采用一阶梯度算子（-1，〇, 1)，（-1，〇, 1)τ来进行梯度的计算，即 嘴部图像点（x，y)的梯度大小G(x，y)和方向θ (X，y)为：
其中，i(x，y)为点（x，y)处的灰度值，θ (x，y))为[〇,36〇]区间内的值； 对于空间和方向上的梯度信息统计：将嘴部图像分成2*2个Block，每个Block上含有 2*2个Cell，梯度向量的方向在360°的方位内分成40个区域，则每个Cell的HOG特征的 维数为40D，整幅图像的HOG特征的维数为640D ; 对于块内标准化：采用L2-hys来进行数据归一化； 所述基于嘴部的HOG特征的笑脸特征提取单元包括： 梯度计算子单元，用以对经过预处理的嘴部图片进行梯度计算； 第一 HOG特征获取子单元，以各像素点的幅度为权重，统计各Cell的梯度方向直方图， 得到Cell的HOG特征； 第二HOG特征获取子单元，用以对同一 Block内的Cell的HOG特征进行归一化处理， 得到Block的HOG特征； 嘴部HOG生成子单元，用以将所有Block的HOG特征连接组成嘴部的HOG特征。
2. -种基于嘴部特征的笑脸识别系统，其特征在于，所述笑脸识别系统包括：人脸定 位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模 块、基于支持向量机的分类模块； 人脸定位与预处理模块用以对人脸定位，在输入的图像中如果存在人脸区域，则检测 出人脸，确定所有人脸的大小、位置和位姿；采用Haar-Like特征与级联的Adaboost学习算 法相结合的方法定位；包括：对人脸进行Haar-Like特征计算，运用"积分图"算法快速提取 特征；根据AdaBoost算法提取最有效的Haar-Like特征，经过多次迭代确定各个弱分类器 的权值；将训练得到的弱分类器进行级联，组成完整的人脸检测系统； 直方图均衡化模块用以对人脸样本图像进行直方图均衡化，把原始图像的灰度直方图 从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布； 尺寸归一化模块用以通过尺度校正、平移、旋转的方法去除图像中的结构变形，使人脸 图像标准化；采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸； 基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上，根据人 脸面部的结构特征结合经验实现嘴部的粗定位，接着通过对定位到的嘴部大致图片的直方 图进行规定化来提高图像的对比度；而后对经过处理的嘴部图像进行二值化，并对二值化 结果使用灰度投影法来实现嘴部的精定位； 基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类；在分类 阶段中，将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果，若输 出的结果为1表不对应的样本为正样本，若为-1对应的样本则为负样本。
3. 根据权利要求2所述的基于嘴部特征的笑脸识别系统，其特征在于： 基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结果获 取单元；所述训练优化单元用以进行训练优化，寻找合适的内核函数及其对应的最优参数； 所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训练样 本特征集进行训练，以获得支持向量机最优分类模型；所述分类结果获取单元将待分类样 本特征集与最优分类模型送入到预测函数中，获取最终的分类结果。
4. 根据权利要求2所述的基于嘴部特征的笑脸识别系统，其特征在于： 所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元； 嘴部粗定位单元用以根据人脸的面部的结构特征，将嘴部区域划定为人脸的下三分之 一，且距离左右人脸边界为人脸宽度的四分之一；嘴部精定位单元用以对嘴部粗定位得到 的图像进行直方图规定化处理后，通过二值化处理来实现嘴部的精定位；具体采用Ostu方 法通过阈值将图像分割成两个区域。
5. 根据权利要求4所述的基于嘴部特征的笑脸识别系统，其特征在于： 所述笑脸特征提取模块还包括基于嘴部的HOG特征的笑脸特征提取单元，用以在对嘴 部进行HOG特征提取的过程中，分别对HOG特征提取的信息进行了以下处理： 对于输入图像：为了降低算法运算的复杂度，输入的嘴部图像为灰度图像； 对于颜色空间标准化与预处理：对输入的嘴部图像进行直方图规定化处理使得图像的 轮廓更为清晰，所有的嘴部图像尺寸归一化为64*42的大小； 对于梯度向量的计算：采用一阶梯度算子（-1，〇, 1)，（-1，〇, 1)τ来进行梯度的计算，即 嘴部图像点（x，y)的梯度大小G(x，y)和方向θ (X，y)为：
其中，i(x，y)为点（x，y)处的灰度值，θ (x，y))为[〇,36〇]区间内的值； 对于空间和方向上的梯度信息统计：将嘴部图像分成2*2个Block，每个Block上含有 2*2个Cell，梯度向量的方向在360°的方位内分成40个区域，则每个Cell的HOG特征的 维数为40D，整幅图像的HOG特征的维数为640D ; 对于块内标准化：采用L2-hys来进行数据归一化。
6. 根据权利要求5所述的基于嘴部特征的笑脸识别系统，其特征在于： 所述基于嘴部的HOG特征的笑脸特征提取单元包括： 梯度计算子单元，用以对经过预处理的嘴部图片进行梯度计算； 第一 HOG特征获取子单元，以各像素点的幅度为权重，统计各Cell的梯度方向直方图， 得到Cell的HOG特征； 第二HOG特征获取子单元，用以对同一 Block内的Cell的HOG特征进行归一化处理， 得到Block的HOG特征； 嘴部HOG生成子单元，用以将所有Block的HOG特征连接组成嘴部的HOG特征。
7. -种基于嘴部特征的笑脸识别方法，其特征在于，所述笑脸识别方法包括如下步 骤： 人脸定位与预处理步骤：对人脸定位，在输入的图像中如果存在人脸区域，则检测出人 脸，确定所有人脸的大小、位置和位姿；采用Haar-Like特征与级联的Adaboost学习算法相 结合的方法定位；包括：对人脸进行Haar-Like特征计算，运用"积分图"算法快速提取特 征；根据AdaBoost算法提取最有效的Haar-Like特征，经过多次迭代确定各个弱分类器的 权值；将训练得到的弱分类器进行级联，组成完整的人脸检测系统； 直方图均衡化步骤：对人脸样本图像进行直方图均衡化，把原始图像的灰度直方图从 比较集中的某个灰度区间变成在全部灰度范围内的均匀分布； 尺寸归一化步骤：通过尺度校正、平移、旋转的方法去除图像中的结构变形，使人脸图 像标准化；采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸； 基于嘴部特征的笑脸特征提取步骤：在对人脸进行准确的定位的基础之上，根据人脸 面部的结构特征结合经验实现嘴部的粗定位，接着通过对定位到的嘴部大致图片的直方图 进行规定化来提高图像的对比度；而后对经过处理的嘴部图像进行二值化，并对二值化结 果使用灰度投影法来实现嘴部的精定位； 基于支持向量机的分类步骤：使用支持向量机的分类方法对样本进行分类；在分类阶 段中，将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果，若输出 的结果为1表不对应的样本为正样本，若为-1对应的样本则为负样本。
8. 根据权利要求7所述的基于嘴部特征的笑脸识别方法，其特征在于： 基于支持向量机的分类步骤包括： 训练优化步骤：进行训练优化，寻找合适的内核函数及其对应的最优参数； 最优分类模型获取步骤：将寻找到的最优内核函数及参数送入到训练函数中对训练样 本特征集进行训练，以获得支持向量机最优分类模型； 分类结果获取步骤：将待分类样本特征集与最优分类模型送入到预测函数中，获取最 终的分类结果。
9. 根据权利要求7所述的基于嘴部特征的笑脸识别方法，其特征在于： 所述笑脸特征提取步骤包括： -嘴部粗定位步骤：根据人脸的面部的结构特征，将嘴部区域划定为人脸的下三分之 一，且距离左右人脸边界为人脸宽度的四分之一； -嘴部精定位步骤：对嘴部粗定位得到的图像进行直方图规定化处理后，通过二值化 处理来实现嘴部的精定位；具体采用Ostu方法通过阈值将图像分割成两个区域，每个区域 有着相似的灰度值，分别为目标和背景，来实现嘴部的精定位； -基于嘴部的HOG特征的笑脸特征提取步骤：在对嘴部进行HOG特征提取的过程中，分 别对HOG特征提取的信息进行了以下处理： 对于输入图像：为了降低算法运算的复杂度，输入的嘴部图像为灰度图像； 对于颜色空间标准化与预处理：对输入的嘴部图像进行直方图规定化处理使得图像的 轮廓更为清晰，所有的嘴部图像尺寸归一化为64*42的大小； 对于梯度向量的计算：采用一阶梯度算子（-1，〇, 1)，（-1，〇, 1)τ来进行梯度的计算，即 嘴部图像点（x，y)的梯度大小G(x，y)和方向θ (X，y)为： Gx (χ, y) = I (χ+l, y) -I (χ-1, y) Gy (x, y) = I (x, y+1) -I (x, y-1)
其中，i(x，y)为点（x，y)处的灰度值，θ (x，y))为[〇,36〇]区间内的值； 对于空间和方向上的梯度信息统计：将嘴部图像分成2*2个Block，每个Block上含有 2*2个Cell，梯度向量的方向在360°的方位内分成40个区域，则每个Cell的HOG特征的 维数为40D，整幅图像的HOG特征的维数为640D ; 对于块内标准化：采用L2-hys来进行数据归一化。
10.根据权利要求9所述的基于嘴部特征的笑脸识别方法，其特征在于： 所述基于嘴部的HOG特征的笑脸特征提取步骤包括： 梯度计算子步骤，对经过预处理的嘴部图片进行梯度计算； 第一 HOG特征获取子步骤，以各像素点的幅度为权重，统计各Cell的梯度方向直方图， 得到Cell的HOG特征； 第二HOG特征获取子步骤，对同一 Block内的Cell的HOG特征进行归一化处理，得到 Block的HOG特征； 嘴部HOG生成子步骤，将所有Block的HOG特征连接组成嘴部的HOG特征。
【文档编号】G06K9/00GK104143081SQ201410321034
【公开日】2014年11月12日 申请日期:2014年7月7日 优先权日:2014年7月7日
【发明者】李保印 申请人:闻泰通讯股份有限公司