专利名称：一种人脸识别方法及其系统的制作方法
技术领域：
本发明涉及人机交互技术，特别涉及一种人脸识别方法及其系统。
背景技术：
人机交互是目前国际上计算机科学研究领域中的一个热点。在人机交互技术中，人脸识别以其作为计算机识别用户并提供个性化服务的最便捷的方法逐步被应用于智能家居等场合。基于计算机视觉的人脸识别，其核心是利用计算机视觉，图像处理等技术对图像采集设备采集到的视频序列进行处理，并对用户进行分类，从而进行相应的响应。在现有的人脸识别技术中，已经分别实现了对人脸进行检测，对检测到的人脸跟踪，对给定的图像或视频序列进行人脸特征提取并与人脸库数据进行比对从而对用户进行识别，在此，我们把可以将这三部分模块结合在一起的人脸识别方法称为传统人脸识别系 统。然而，目前传统人脸识别系统并不能把一些效果比较好的技术进行模块的融合，因而存在如下问题(I)效果差。由于传统人脸识别系统不能把人脸识别系统各个模块进行有效地融合，传统人脸识别系统易产生人脸跟踪不到，跟踪漂移，识别不出、不确定甚至出错等问题，严重影响到人脸识别效果。(2)交互性差。传统人脸识别系统不能很好的与人进行交互。当出现人脸识别不出、不确定甚至出错时，系统不能很好的与人进行交互，因此在识别不准确的时候系统不能及时得到用户的反馈，性能得不到改善；甚至在识别不准确时由于系统认为自身识别正确从而用识别的结果修改系统中的原有参数(即自学习)，导致系统越用越差。(3)适应性差。传统人脸识别系统易受光照、胡须、眼镜、发型、表情等各种外界条件的影响，使识别率降低。因此，系统实用性不强。
发明内容
为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种人脸识别方法，具有自学习功能、时空特性，抗干扰能力强。本发明的另一目的在于提供实现上述人脸识别方法的人脸识别系统。本发明的目的通过以下技术方案实现一种人脸识别方法，包括以下步骤SI检测器检测帧序列中是否有人脸；若是，进行步骤S2，若否，重复步骤SI ；S2跟踪器对检测到的人脸进行跟踪；S3收集器收集人脸图像；S4分析器分析收集到的人脸图像是否为可靠样本；若是，进行步骤S5，若否，重复步骤S2 S4 ；S5分析器对可靠样本中的目标人脸提取形状参数和纹理参数，分别对目标人脸的形状和纹理进行建模，通过模型融合得到目标人脸的平均脸；
S6识别器通过线性判别特征脸方法得到平均脸与人脸类库中的最接近人脸类的匹配度C;若C〈B，则进行步骤S7 ;若C>A，识别用户身份，识别结束；若B〈C〈A，则通过人机交互模块要求用户输入名字，若用户输入的名字所对应的人脸类已存在人脸类库中，进行步骤S8 ;否则，进行步骤S7 'K、B的值由用户根据经验确定；S7在线学习模块在人脸类库中新建一个人脸类，将目标人脸的平均脸添加到新建的人脸类中并标注用户名，并将该人脸类传给识别器，进行步骤S9 ；S8在线学习模块更新用户输入的名字所对应的人脸类，并将更新的人脸类传给识别器；进行步骤S9 ；S9识别器更新人脸类库。 步骤S5所述分析器对可靠样本中的目标人脸提取形状和纹理特征，分别对目标人脸的形状和纹理进行建模，通过模型融合得到目标人脸的平均脸，具体包括以下步骤S5. I对可靠样本中的目标人脸进行描点；S5. 2对人脸的形状进行建模首先将描点后的人脸图像两两进行Procrustes变换，得到平均形状人脸，再通过主元分析降维得到形状参数和形状模型；S5. 3对人脸的纹理进行建模先将平均形状人脸进行delaunay三角划分，再用分片仿射法进行纹理填充，最终用主元分析法降维得到平均纹理模型和纹理参数；S5. 4将形状参数和纹理参数进行加权组合，采用主元分析法降维得到融合参数，最终得到平均脸。步骤S6所述线性判别特征脸方法，包括以下步骤S6. I对分析器传来的平均脸与人脸类库中的人脸类通过类间、类内最近邻样本算法，得到类间和类内差异的度量；S6. 2根据每个人脸类得到的类间和类内的差异，得到类间散布矩阵和类内散布矩阵；S6. 3根据步骤S6. 2得到的类间散布矩阵和类内散布矩阵，利用Fisher鉴别准则得到最优鉴别矢量集；S6. 4将分析器传来的平均脸向最优鉴别矢量集做投影，得到低维的特征数据；S6. 5根据最邻近匹配原则，得到平均脸与人脸类库中的最接近人脸类的匹配度C0步骤S5. I所述对可靠样本中的目标人脸进行描点，具体为对可靠样本中的目标人脸的轮廓、眉毛、眼睛、鼻子、嘴唇部位进行描点，将点的坐标位置写成向量形式。步骤S8所述在线学习模块更新用户输入的名字所对应的人脸类，具体为在线学习模块计算分析器传过来的平均脸与用户输入的名字所对应的人脸类中的所有的人脸样本的差值，如果差值超过类内距离，则更新该人脸类，否则不更新。实现上述人脸识别方法的人脸识别系统，包括检测器、跟踪器、收集器、分析器、在线学习模块、识别器及人机交互模块，所述检测器、跟踪器、收集器、分析器、识别器、人机交互模块、在线学习模块依次连接；所述在线学习模块还与识别器连接。与现有技术相比，本发明具有以下优点及有益效果
(I)本发明具有自学习功能和时空特性，通过集合人脸检测，人脸跟踪，数据采集与分析，识别，在线学习和监督六大模块对人脸进行识别，具有强抗干扰能力。(2)本发明交互性好，通过在系统不确定时向用户发出询问，根据用户的反馈进行下一步操作，防止了万一系统性能由于各种原因性能开始下降，用户可以通过人机交互模块对系统发出复位命令。此时系统把库中在使用过程中加入的数据删除，恢复到初始化状态，使系统性能不至于下降得越来越严重。
图I为本发明的人脸识别系统的框架图。图2为本发明的人脸识别的流程图。图3为破坏性样本的示例。图4为可靠样本的示例。·图5为经描点的人脸示例。
具体实施例方式下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。实施例如图I所示，本发明的人脸识别系统包括检测器、跟踪器、收集器、分析器、在线学习模块、识别器及人机交互模块，所述检测器、跟踪器、收集器、分析器、识别器、人机交互模块、在线学习模块依次连接；所述在线学习模块还与识别器连接。如图2所示，本发明的人脸识别方法，包括以下步骤SI检测器检测帧序列中是否有人脸；若是，进行步骤S2，若否，重复步骤SI ；检测器检测过程中采用Viola and Jones提出的人脸检测算法。在该算法中，选用Adaboost训练分类器，运用多姿态分类的方法，可以较高的检测率快速的检测人脸。S2跟踪器对检测到的人脸进行跟踪；跟踪过程中采用一种改进的Camshift结合Kalman滤波的算法。当出现大面积与目标颜色相近的背景干扰时，启动ROI (感兴趣区域)帧差法，只对Kalman预测区域进行帧差运算，通过运动对象的边缘信息提取运动对象面，然后与目标概率分布图进行与运算，把不运动的干扰背景滤除掉。当目标被严重遮挡时，由于Camshift算法失效，采用Kalman预测值代替Camshift计算出的最优位置值，并且将Kalman预测值作为Kalman滤波更新的观测值，这种算法可有效克服严重遮挡导致Kalman滤波失效的问题。这种算法能根据检测器中检测到的人脸进行实时跟踪，以保证图像区域内是同一个人的人脸。S3收集器收集人脸图像。S4分析器分析收集到的人脸图像是否为可靠样本；若是，进行步骤S5，若否，重复步骤S2 S4 ；通过可靠性分析，过滤掉一些头部旋转角度超过90度的破坏性样本(例如图3所示样本)，保留可用于识别人脸的可靠样本(例如图4所示样本)。S5分析器对可靠样本中的目标人脸提取形状参数和纹理参数，分别对目标人脸的形状和纹理进行建模，通过模型融合得到目标人脸的平均脸；具体包括以下步骤S5. I对可靠样本中的目标人脸的轮廓、眉毛、眼睛、鼻子、嘴唇部位描68个点(如图5所示)，将点的坐标位置写成向量形式；X= {xl, yl, x2, y2, x3, y3,......，x68, y68}。S5. 2对人脸的形状进行建模首先将描点后的人脸图像两两进行Procrustes变换，得到平均形状人脸，再通过主元分析降维得到形状参数和形状模型；S5. 3对人脸的纹理进行建模先将平均形状人脸进行delaunay三角划分，再用分片仿射法进行纹理填充，最终用主元分析法降维得到平均纹理模型和纹理参数；S5. 4将形状参数和纹理参数进行加权组合，采用主元分析法降维得到融合参数，最终得到平均脸。
S6识别器通过线性判别特征脸方法得到平均脸与人脸类库中的最接近人脸类的匹配度C ;所述线性判别特征脸方法，包括以下步骤S6. I对分析器传来的平均脸与人脸类库中的人脸类通过类间、类内最近邻样本算法，得到类间和类内差异的度量；S6. 2根据每个人脸类得到的类间和类内的差异，得到类间散布矩阵和类内散布矩阵；S6. 3根据步骤S6. 2得到的类间散布矩阵和类内散布矩阵，利用Fisher鉴别准则得到最优鉴别矢量集；S6. 4将分析器传来的平均脸向最优鉴别矢量集做投影，得到低维的特征数据；S6. 5根据最邻近匹配原则，得到平均脸与人脸类库中的最接近人脸类的匹配度C ；若匹配度C小于50%，则进行步骤S7 ;若匹配度C大于95%，识别用户身份，识别结束；若匹配度C大于50%且小于95%,则通过人机交互模块要求用户输入名字,若用户输入的名字所对应的人脸类已存在人脸类库中，进行步骤S8 ;否则，进行步骤S7。S7在线学习模块在人脸类库中新建一个人脸类，将目标人脸的平均脸添加到新建的人脸类中并标注用户名，并把该人脸类传给识别器，进行步骤S9。S8在线学习模块更新用户输入的名字所对应的人脸类，并将更新的人脸类传给识别器；进行步骤S9 ；所述在线学习模块更新用户输入的名字所对应的人脸类，具体为在线学习模块计算分析器传过来的平均脸与用户输入的名字所对应的人脸类中的所有的人脸样本的差值，如果差值超过类内距离，则更新该人脸类，否则不更新。S9识别器更新人脸类库。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
权利要求
1.一种人脸识别方法，其特征在于，包括以下步骤 SI检测器检测帧序列中是否有人脸；若是，进行步骤S2，若否，重复步骤SI ； S2跟踪器对检测到的人脸进行跟踪； S3收集器收集人脸图像； S4分析器分析收集到的人脸图像是否为可靠样本；若是，进行步骤S5，若否，重复步骤S2 S4 ； S5分析器对可靠样本中的目标人脸提取形状参数和纹理参数，分别对目标人脸的形状和纹理进行建模，通过模型融合得到目标人脸的平均脸； S6识别器通过线性判别特征脸方法得到平均脸与人脸类库中的最接近人脸类的匹配度C; 若C〈B，则进行步骤S7 ;若C>A，识别用户身份，识别结束；若B〈C〈A，则通过人机交互模块要求用户输入名字，若用户输入的名字所对应的人脸类已存在人脸类库中，进行步骤S8;否则，进行步骤S7 ;A、B的值由用户根据经验确定； S7在线学习模块在人脸类库中新建一个人脸类，将目标人脸的平均脸添加到新建的人脸类中并标注用户名，并将该人脸类传给识别器，进行步骤S9 ； S8在线学习模块更新用户输入的名字所对应的人脸类，并将更新的人脸类传给识别器；进行步骤S9 ； S9识别器更新人脸类库。
2.根据权利要求I所述的人脸识别方法，其特征在于，步骤S5所述分析器对可靠样本中的目标人脸提取形状和纹理特征，分别对目标人脸的形状和纹理进行建模，通过模型融合得到目标人脸的平均脸，具体包括以下步骤 S5. I对可靠样本中的目标人脸进行描点； S5. 2对人脸的形状进行建模首先将描点后的人脸图像两两进行Procrustes变换，得到平均形状人脸，再通过主元分析降维得到形状参数和形状模型； S5. 3对人脸的纹理进行建模先将平均形状人脸进行delaunay三角划分，再用分片仿射法进行纹理填充，最终用主元分析法降维得到平均纹理模型和纹理参数； 55.4将形状参数和纹理参数进行加权组合，采用主元分析法降维得到融合参数，最终得到平均脸。
3.根据权利要求I所述的人脸识别方法，其特征在于，步骤S6所述线性判别特征脸方法，包括以下步骤 56.I对分析器传来的平均脸与人脸类库中的人脸类通过类间、类内最近邻样本算法，得到类间和类内差异的度量； S6. 2根据每个人脸类得到的类间和类内的差异，得到类间散布矩阵和类内散布矩阵；S6. 3根据步骤S6. 2得到的类间散布矩阵和类内散布矩阵，利用Fisher鉴别准则得到最优鉴别矢量集； S6. 4将分析器传来的平均脸向最优鉴别矢量集做投影，得到低维的特征数据； S6. 5根据最邻近匹配原则，得到平均脸与人脸类库中的最接近人脸类的匹配度C。
4.根据权利要求2所述的人脸识别方法，其特征在于，步骤S5.I所述对可靠样本中的目标人脸进行描点，具体为对可靠样本中的目标人脸的轮廓、眉毛、眼睛、鼻子、嘴唇部位进行描点，将点的坐标位置写成向量形式。
5.根据权利要求I所述的人脸识别方法，其特征在于，步骤S8所述在线学习模块更新用户输入的名字所对应的人脸类，具体为 在线学习模块计算分 析器传过来的平均脸与用户输入的名字所对应的人脸类中的所有的人脸样本的差值，如果差值超过类内距离，则更新该人脸类，否则不更新。
6.实现权利要求f5任一项所述人脸识别方法的人脸识别系统，其特征在于，包括检测器、跟踪器、收集器、分析器、在线学习模块、识别器及人机交互模块，所述检测器、跟踪器、收集器、分析器、识别器、人机交互模块、在线学习模块依次连接；所述在线学习模块还与识别器连接。
全文摘要
本发明公开了一种人脸识别方法，具有自学习功能和时空特性，通过集合人脸检测，人脸跟踪，数据采集与分析，识别、在线学习、人机交互步骤对人脸进行识别。本发明还公开了实现上述人脸识别方法的系统，包括检测器、跟踪器、收集器、分析器、在线学习模块、识别器及人机交互模块。与现有技术相比，本发明具有强抗干扰能力，识别效率高的优点。
文档编号G06K9/62GK102867173SQ20121031064
公开日2013年1月9日 申请日期2012年8月28日 优先权日2012年8月28日
发明者徐向民, 罗梦娜, 郭咏诗, 尹飞云, 张阳东, 吴丹丹 申请人:华南理工大学