基于图像异构计算的人脸动作实时捕捉方法
【技术领域】
[0001] 本发明属于机器视觉技术领域，涉及嵌入式异构计算，基于模型的实时图像处理 以及人脸结构特征检测、模式识别方法。
【背景技术】
[0002] 目前有多家公司的技术涉及到人脸识别，甚至提供商业化的识别终端，进行身份 与人脸的相互匹配。人脸识别技术在少量样本的前提条件下表现得不错，但在大样本下面 则表现一般，所以身份识别通常情况下还是指纹识别以及虹膜识别，而在人脸特征检测较 为精准的前提条件下，才会涉及到脸部动作的检测。
[0003] 在人脸检测技术中，现有技术往往包含以下几点明显缺陷：
[0004] A.姿态问题是人脸识别研宄中需要解决的一个技术难点。针对姿态的研宄相对比 较少，多数的人脸识别算法主要是针对正面，或接近正面的人脸图像，当发生俯仰或者左右 侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。
[0005] B.运算量巨大。主流的人脸识别算法倾向于模式识别的机器学习。不仅缺少样本 进行学习，而且人脸模板的拟合速度较慢。
[0006] C.人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也 不同，特别是对于那些低分辨率、噪声大、质量差的人脸图像如何进行有效的人脸识别是 个需要关注的问题。
[0007] D.基于统计学习的人脸识别算法是人脸识别领域中的主流算法，但是统计学习方 法需要大量的培训。由于人脸图像在高维空间中的分布是一个不规则的流行分布，能得到 的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题 有待进一步的研宄。
[0008] E.随着人脸数据库规模的增长，人脸算法的性能将呈现下降态势。对于建立在人 脸识别之上的表情识别，现有技术则面临更多的挑战。首先需要注意的是运算量大的问题。 如果说运算速度慢在人脸身份匹配的时候无伤大雅，那么在脸部动作识别的过程中则会造 成严重的后果。
【发明内容】
[0009] 考虑到机器视觉越来越广泛的应用，本发明的目的在于提供一种人脸动作实时捕 捉方法，新的解决人脸动作动态的方案。
[0010] 为实现上述目的，本发明采用如下技术方案：
[0011] 一种基于图像异构计算的人脸动作实时捕捉方法，对检索人脸的算法进行局部降 维处理，对一维信号处理，尽最大可能降低运算量；在更低的画质下面试图找到足够多的信 息；试图舍弃样本训练；在最短的时间内给出动作判断。
[0012] 进一步，应用场景是人脸与移动端面对面，设定人脸占据全部图片的主要部分；通 过人体皮肤色域的某种变化来完成人脸检测；
[0013]关于原始的HSV转化的部分：
[0014] 首先将色调偏冷的部分舍去；
[0015] 将颜色中个分量较为相等的部分去掉；
[0016] 将所有的H值归一化，并且将所有暖色系的H值映射1到附近。
[0017] 关于稳定峰值的提取，采用降维的方式来解决。
[0018] 所述降维的方式是将所有像素点映射到一行横向像素点和一列纵向像素点，对一 维的数据集合进行划分。
[0019] 在所得的色域图的特征选取一定的阈值，大于这个阈值为可能的人脸区域，反之 则为背景；阈值的选择具有自主性，可以随着环境的变化而变化。
[0020] 对于暖色调的背景通过直方图分析选择合适的划分点，优选取值为0. 8。
[0021] 对于大于阈值的部分置1，其他部分置0,分别按行和按列求和；
[0022] 按行求和，最大值为人脸的最大宽度，给出了人脸宽度的上限；
[0023] 按列求和，最大值为人脸的最大高度，给出了人脸高度的上限；
[0024] 人为给定人脸大小最小值，当小于最小值的时候作为检测失败；
[0025] 仍然给定一个阈值；
[0026] 设置状态机。
[0027] 当人脸在转动之后，对人脸进行区域化划分，然后再进行降维；
[0028] 优选的：首先选取的判定区域相较于人脸区域要小；而左右半脸的划分具有重叠 性以使得对人脸扭转时仍然有效；剔除最上面以及最下面部分以减少背景以及额头的影 响；优选的，首先分别对左右半脸处理，试图将眉毛的上下沿，眼睛的上下沿进行标定。
[0029] 降维的映射关系定义为给定阈值对像素点进行某一方向求和平滑所得；
[0030] 优选的，步骤如下：
[0031] (1)给出合理阈值；优选的，通过直方图分析给出阈值；
[0032] (2)对检测区域按照阈值进行二值化；
[0033] (3)对二值化后的矩阵进行横向相加，得到纵向一维数据；
[0034] (4)按照上文的峰值状态机将明显的两个峰值取出来。
[0035] 检测出眼球以及眼睛的方法包括：
[0036] (1)按照给出的眼睛上下阈值以及皮肤特征量，剔除背景边缘，划定眼睛区域；
[0037] (2)在眼睛区域内部对眼球进行定位；
[0038] 优选的，为了从时域上判断动作的变化而不是从静图中得到动作信息，本文以帧 为处理单位，将这一帧及之前的29帧作为动作时域判断单元。
[0039] 由于采用上述方案，本发明的有益效果是：
[0040] 发明的效果明显，在主频1. 33G的双核双线程的处理器上运行可以跑满30fps，普 通的摄像头的帧率一般也在30fps左右，所占用的系统资源较少，仍剩余较多的处理性能。 处理结果迅速并且较准确。
[0041] 本发明在复杂背景以及复杂光照下面表现一定的稳定性，但仍然对强偏光照有较 强的敏感性，在特定的头部旋转（包含左右转以及上下点头），发明呈现了较好的稳定性以 及鲁棒性。在特定动作下如闭上单只眼睛会导致眼睛所在区域检测异常，但这一异常却可 以较好地反映进行了某一项特殊的动作。
【附图说明】
[0042] 图1为本发明实施例摄像头捕捉的640*480的YUV帧的原始图像。
[0043] 图2为对图1所示图像预处理，色域转换之后提取人脸的高度图。
[0044] 图3为对人脸区域去噪，增强，二值化后的二值特征图像。
[0045] 图4为对二值图像进行横向映射之后得到的曲线图。
[0046] 图5为按照人脸二值化得到的最初人脸五官划分中间结果图之一。
[0047] 图6为按照人脸二值化得到的最初人脸五官划分中间结果图之二。
[0048] 图7为按照人脸二值化得到的最初人脸五官划分中间结果图之三。
[0049] 图8为按照人脸二值化得到的最初人脸五官划分中间结果图之四。
[0050] 图9为按照人脸二值化得到的最初人脸五官划分中间结果图之五。
[0051] 图10为按照人脸二值化得到的最初人脸五官划分中间结果图之六。
[0052] 图11为真实检测结果效果图之一。
[0053] 图12为真实检测结果效果图之二。
[0054] 图13为真实检测结果效果图之三。
[0055] 图14为真实检测结果效果图之四。
[0056] 图15为真实检测结果效果图之五。
[0057] 图16为真实检测结果效果图之六。
[0058] 图17为检测过程中的区域划分标准图
[0059] 图18为流程图1 :降维峰值检测判断识别的状态转移图。
[0060] 图19为流程图2 :对于检测到的人脸特征提取表情的过程。
[0061] 图20为流程图3 :整个表情检测过程的流程图。
【具体实施方式】
[0062] 以下结合附图所示实施例对本发明作进一步的说明。
[0063] 具体的，涉及技术细节的，这里将分条陈述。
[0064] 1、运算量极小。本发明基于信号处理模型，而非模板匹配。适用于人脸占据屏幕 主要部分的检测。对于普通摄像头以及手持设备有较好的应用效果。首先是在自定义色域 下将人脸区域检测出来：
【主权项】
1. 一种基于图像异构计算的人脸动作实时捕捉方法，其特征在于：对检索人脸的算法 进行局部降维处理，对一维信号处理，尽最大可能降低运算量；在更低的画质下面试图找到 足够多的信息；试图舍弃样本训练；在最短的时间内给出动作判断。
2. 根据权利要求1所述的方法，其特征在于：应用场景是人脸与移动端面对面，设定人 脸占据全部图片的主要部分；通过人体皮肤色域的某种变化来完成人脸检测； 关于原始的HSV转化的部分： 首先将色调偏冷的部分舍去； 将颜色中个分量较为相等的部分去掉； 将所有的H值归一化，并且将所有暖色系的H值映射1到附近。
3. 根据权利要求1所述的方法，其特征在于：关于稳定峰值的提取，采用降维的方式来 解决。
4. 根据权利要求3所述的方法，其特征在于：所述降维的方式是将所有像素点映射到 一行横向像素点和一列纵向像素点，对一维的数据集合进行划分。
5. 根据权利要求1所述的方法，其特征在于：在所得的色域图的特征选取一定的阈值， 大于这个阈值为可能的人脸区域，反之则为背景；阈值的选择具有自主性，可以随着环境的 变化而变化。
6. 根据权利要求5所述的方法，其特征在于： 对于暖色调的背景通过直方图分析选择合适的划分点，优选取值为0. 8。
7. 根据权利要求5所述的方法，其特征在于： 对于大于阈值的部分置1，其他部分置〇,分别按行和按列求和； 按行求和，最大值为人脸的最大宽度，给出了人脸宽度的上限； 按列求和，最大值为人脸的最大高度，给出了人脸高度的上限； 人为给定人脸大小最小值，当小于最小值的时候作为检测失败； 仍然给定一个阈值； 设置状态机。
8. 根据权利要求1所述的方法，其特征在于：当人脸在转动之后，对人脸进行区域化划 分，然后再进行降维； 优选的：首先选取的判定区域相较于人脸区域要小；而左右半脸的划分具有重叠性以 使得对人脸扭转时仍然有效；剔除最上面以及最下面部分以减少背景以及额头的影响；优 选的，首先分别对左右半脸处理，试图将眉毛的上下沿，眼睛的上下沿进行标定。
9. 根据权利要求1所述的方法，其特征在于：降维的映射关系定义为给定阈值对像素 点进行某一方向求和平滑所得； 优选的，步骤如下： (1) 给出合理阈值；优选的，通过直方图分析给出阈值； (2) 对检测区域按照阈值进行二值化； (3) 对二值化后的矩阵进行横向相加，得到纵向一维数据； (4) 按照上文的峰值状态机将明显的两个峰值取出来。
10. 根据权利要求9所述的方法，其特征在于：检测出眼球以及眼睛的方法包括： (1)按照给出的眼睛上下阈值以及皮肤特征量，剔除背景边缘，划定眼睛区域； (2)在眼睛区域内部对眼球进行定位； 优选的，为了从时域上判断动作的变化而不是从静图中得到动作信息，本文以帧为处 理单位，将这一帧及之前的29帧作为动作时域判断单元。
【专利摘要】一种基于图像异构计算的人脸动作实时捕捉方法，对检索人脸的算法进行局部降维处理，对一维信号处理，尽最大可能降低运算量；在更低的画质下面试图找到足够多的信息；试图舍弃样本训练；在最短的时间内给出动作判断。本发明所占用的系统资源较少，处理结果迅速并且较准确。本发明在复杂背景以及复杂光照下面表现一定的稳定性，但仍然对强偏光照有较强的敏感性，在特定的头部旋转(包含左右转以及上下点头)状态下，本发明仍然呈现出较好的稳定性以及鲁棒性。
【IPC分类】G06K9-00
【公开号】CN104809432
【申请号】CN201510185940
【发明人】干子轩, 施文华, 蒋磊
【申请人】同济大学
【公开日】2015年7月29日
【申请日】2015年4月17日