NEXT系列产品图像特征识别系统及其识别方法与流程

本发明属于图像识别领域，尤其涉及next系列产品图像特征识别系统及其识别方法。

背景技术：

随着社会和经济的快速发展，越来越多的公共安全、访问控制、人机交互、信息安全等方面都需要快速有效的验证客户的身份，并且这项工作需要大量人力物力的投入。由此可见，传统的身份鉴定方法在某些领域已然无法满足，因而身份识别这一领域迫切需要推陈出新，亟需一种有效、快速、安全的身份鉴定方法。

目前，人脸识别系统对拍照环境大多有比较严格的约束条件，例如正脸、无日光直射、光照强度基本固定、脸部自然无表情、无眼镜或者饰物等。这些基本满足的情况下，系统才会有比较好的性能。

（1）复杂背景的人脸识别问题。人脸识别的前提是检测到人脸和如何标定出人脸，用于识别的图像如果包含了过多背景信息，而背景又是复杂多变的，这势必影响识别准确度。

（2）人脸图像成像的问题。拍摄时候的光照，被捕捉到时候人脸的姿态和表情，有没有一些遮挡物、用于识别的人脸与数据库中人脸年龄的差异等。图像中人脸的这些变化对于计算机而言都是巨大的挑战。

（3）人脸识别是多学科研究课题，目前大多使用统计方面的理论进行研究，其他学科对于人脸识别的研究也很重要，如何深入地在其他学科研究也是一个难题。

技术实现要素：

针对上述问题，本发明的目的在于提供next系列产品图像特征识别系统及其识别方法，该发明提出的识别系统及其识别方法具备实时性和可靠性，可广泛用于身份认证、图像识别等领域。

为了实现上述系统，本发明采取的技术方案是：

next系列产品图像特征识别系统，其特征在于，该系统包括控制器、人脸数据库、图像标准化模块、特征提取模块、分类器、输出模块、摄像头模块、人脸检测模块和图像预处理模块；所述控制模块分别与所述人脸数据库、图像标准化模块、特征提取模块、分类器、输出模块、摄像头模块、人脸检测模块和图像预处理模块连接；所述人脸数据库依次通过图像标准化模块、特征提取模块和分类器与输出模块连接；所述摄像头模块依次通过人脸检测模块、图像预处理模块与特征提取模块相连；所述人脸检测模块与所述分类器相连；

所述人脸检测模块包括人脸检测单元、人眼定位单元和人脸裁剪单元，所述人脸检测单元设置在摄像头模块与人眼定位单元之间，所述人脸裁剪单元设置在人眼定位单元与图像预处理模块之间；

所述图像预处理模块包括灰度化单元、去噪单元、锐化单元、直方图均衡化单元和图像尺寸标准化单元，所述灰度化单元设置在所述人脸裁剪单元与去噪单元之间，所述去噪单元依次通过锐化单元、直方图均衡化单元、图像尺寸标准化单元与所述特征提取模块连接。

进一步的，所述摄像头模块的工作流程包括以下步骤：

摄像头模块实时采集监控区域的视频信息；

摄像头模块通过移动帧判断视频中是否存在移动物体，在确定视频中存在移动物体时，启动人脸检测模块，并采集每一帧视频图像。

进一步的，所述人脸检测模块的工作流程包括以下步骤：

启动人脸检测模块后，接收通过摄像头模块采集的视频图像；

加载分类器模块，将haarcascade_frontalface_alt_tree.xml文件转化为opencv内部格式cvhaarclassifiercascade，开始检测人脸；

确定是否检测到人脸；在确定没有检测到人脸时，继续加载所述视频图像；

在确定检测到人脸时，使用基于块的人眼定位方法定位双眼，确定所述视频图像中的人脸是否存在双眼；

在确定述视频图像中的人脸是不存在双眼时，舍去所述视频图像，并继续从摄像头模块加载视频图像；

在确定述视频图像中的人脸是存在双眼时，则根据所述双眼的位置截取人脸区域的视频图像，截取后的视频图形为人脸图像，保存所述人脸图像并将人脸图像传递给所述图像预处理模块。

进一步的，所述图像预处理模块的工作流程包括以下步骤：

所述灰度化单元采用opencv函数库中的cvcvtcolor()函数对所述人脸图像进行灰度化处理；

所述去噪单元使用opencv函数库中cvsmooth()函数对有高斯噪声和椒盐噪声的人脸图像进行均值滤中值滤波法进行平滑处理；

所述锐化单元使用拉普拉斯算子对所述人脸图像进行锐化处理；

所述直方图均衡化单元使用opencv函数库中的cvequalizehist()函数对所述人脸图像进行直方图均衡化处理；

所述图像尺寸标准化单元将所述人脸图像的尺寸统一处理为92*112像素。

本发明的next系列产品图像特征识别系统的有益效果是：

next系列产品图像特征识别系统，该识别系统包括控制器、人脸数据库、图像标准化模块、特征提取模块、分类器、输出模块、摄像头模块、人脸检测模块和图像预处理模块，本发明提出的识别系统不仅提高了正面人脸有旋转角度情况下的识别率，同时对不同强度的光照有非常好的鲁棒性。

next系列产品图像特征识别方法，其特征在于，包括特征提取算法，所述特征提取算法结合了主成分分析法（pca）与线性判别分析法（lda）进行人脸特征提取，包括如下步骤：

将测试图像f(x,y)进行光照补偿，得到f'(x,y)；

训练人脸数据库中所有样本，求出数据库的wpca和wlda，所有样本都在wcom做投影变换，得到每个样本的特征向量fij，其中，wpca为特征脸空间，wlda为最佳投影矩阵，wcom为两次投影变换矩阵；

将f'(x,y)在wcom做投影变换，得到特征向量f；

求特征向量f与数据库中每个样本的特征向量fij的欧式距离，距离最近的是其所属类别。

进一步的，还包括类别特征分类算法，所述类别特征分类算法包括如下步骤：

通过公式，计算所有类别的类别特征，其中，x是待测试样本，人脸数据库中包含n个类别，每类有m个样本，class[i]表示待测样本与人脸数据库中的每一类训练样本做方差，该方差就是类别特征；

通过公式，计算出最小类别特征，最小类别特征对应的类别就是待测样本的类别。

进一步的，还包括组合分类器实现算法，所述组合分类器实现算法包括如下步骤：

计算数据库中的l个类内样本之间的欧式距离，其中每一类中的最大欧氏距离为di，i=1,2,…,l，待测样本x与数据库中的每个训练样本a[i][j]的欧式距离为dij，若dij>di则判定x不是数据库中的人，否则对x应用k近邻法识别分类，判定其属于g类；

针对x采用如权利要求6所述的类别特征分类算法识别分类识别，所述x属于h类；

如果h=g则待测样本属于h，算法终止；

如果h≠g，则将测试样本x输入所述分类器，再次确定x所属的类别，以支持向量机的输出为准。

本发明的next系列产品图像特征识别方法的有益效果是：

next系列产品图像特征识别方法，该识别方法包括特征提取算法、类别特征分类实现算法和组合分类器实现算法，本发明提出的识别方法不仅提高了正面人脸有旋转角度情况下的识别率，同时对不同强度的光照有非常好的鲁棒性。

附图说明

以下结合附图和具体实施方式对本发明作进一步的解释说明。

图1是next系列产品图像特征识别系统的总体框架图；

图2是next系列产品图像特征识别方法的人脸检测流程图；

图3是next系列产品图像特征识别方法的人脸识别流程图；

图4是next系列产品图像特征识别方法的训练流程图。

具体实施方式

本发明的具体实施方式为：next系列产品图像特征识别系统包括控制器、人脸数据库、图像标准化模块、特征提取模块、分类器、输出模块、摄像头模块、人脸检测模块和图像预处理模块；所述控制模块分别与所述人脸数据库、图像标准化模块、特征提取模块、分类器、输出模块、摄像头模块、人脸检测模块和图像预处理模块连接；所述人脸数据库依次通过图像标准化模块、特征提取模块和分类器与输出模块连接；所述摄像头模块依次通过人脸检测模块、图像预处理模块与特征提取模块相连；所述人脸检测模块与所述分类器相连；所述人脸检测模块包括人脸检测单元、人眼定位单元和人脸裁剪单元，所述人脸检测单元设置在摄像头模块与人眼定位单元之间，所述人脸裁剪单元设置在人眼定位单元与图像预处理模块之间；所述图像预处理模块包括灰度化单元、去噪单元、锐化单元、直方图均衡化单元和图像尺寸标准化单元，所述灰度化单元设置在所述人脸裁剪单元与去噪单元之间，所述去噪单元依次通过锐化单元、直方图均衡化单元、图像尺寸标准化单元与所述特征提取模块连接。

图1是next系列产品图像特征识别系统的总体框架图，其中，摄像头模块的工作流程包括以下步骤：

摄像头模块实时采集监控区域的视频信息；

摄像头模块通过移动帧判断视频中是否存在移动物体，在确定视频中存在移动物体时，启动人脸检测模块，并采集每一帧视频图像。

其中，人脸检测模块的工作流程包括以下步骤：

启动人脸检测模块后，接收通过摄像头模块采集的视频图像；

加载分类器模块，将haarcascade_frontalface_alt_tree.xml文件转化为opencv内部格式cvhaarclassifiercascade，开始检测人脸；

确定是否检测到人脸；在确定没有检测到人脸时，继续加载所述视频图像；

在确定检测到人脸时，使用基于块的人眼定位方法定位双眼，确定所述视频图像中的人脸是否存在双眼；

在确定述视频图像中的人脸是不存在双眼时，舍去所述视频图像，并继续从摄像头模块加载视频图像；

在确定述视频图像中的人脸是存在双眼时，则根据所述双眼的位置截取人脸区域的视频图像，截取后的视频图形为人脸图像，保存所述人脸图像并将人脸图像传递给所述图像预处理模块。

其中，图像预处理模块的工作流程包括以下步骤：

所述灰度化单元采用opencv函数库中的cvcvtcolor()函数对所述人脸图像进行灰度化处理；

所述去噪单元使用opencv函数库中cvsmooth()函数对有高斯噪声和椒盐噪声的人脸图像进行均值滤中值滤波法进行平滑处理；

所述锐化单元使用拉普拉斯算子对所述人脸图像进行锐化处理；

所述直方图均衡化单元使用opencv函数库中的cvequalizehist()函数对所述人脸图像进行直方图均衡化处理；

所述图像尺寸标准化单元将所述人脸图像的尺寸统一处理为92*112像素。

具体的，图像标准化模块将人脸数据库中的图像做标准化处理，包括灰度处理、尺寸规格处理等。

图2是next系列产品图像特征识别方法的人脸检测流程图，系统对监控区域没有物体移动是不会启动人脸检测模块，当有移动物体出现在视频中，系统会通过移动侦测来判断，如果确定有移动物体则获取视频帧，并对每一帧做人脸检测和人眼检测。人脸检测模块的流程是，将视频帧输入检测模块，然后加载分类器，将haarcascade_frontalface_alt_tree.xml文件转化为opencv内部格式cvhaarclassifiercascade，开始检测人脸，如果没检测到人脸，则继续加载视频帧；如果检测到人脸，则使用基于块的人眼定位方法定位双眼，判断有没有双眼，没有双眼的人脸一般旋转角度比较大，这样的图片识别起来也比较困难，因此系统舍弃这样的视频帧，如果有双眼，则根据双眼位置截取人脸区域的图像，最后保存人脸图像并传递给识别模块，传递完成，释放保存人脸图像的内存。

图3是next系列产品图像特征识别方法的人脸识别流程图，把经过预处理的照片加载到特征提取程序中，依照上述训练的过程同样做一遍，得到特征值eigenvalmat、特征向量eigenvectarr、训练人脸集的平均图像pavgtrainimg、映射人脸projectedtrainfacemat。并保存文件。识别部分即是把第二次得到的图像特征和之前训练好的数据库里面的每个样本进行分类的过程，使用组合分类器进行分类。

将首先将待测样本的特征向量eigenvectarr与数据库中的每个特征向量eigenvectarr求距离方差，求出所有的类别特征，根据最小特征值的原则，确定其类别j。上述是类别特征法的步骤，k近邻法也是用其特征向量，确定类别l，最后l等于j则输出结果，l不等于j则将样本输入支持向量机做最后判断，最后以支持向量机为准。

图4是next系列产品图像特征识别方法的训练流程图。系统对人脸数据库的训练过程。首先使用loadfaceimgarray()加载训练图像信息，在此前，需要将数据库人脸样本信息录入“train.txt”文件中，次文件包含人脸数据库样本的名称，路径，类别信息。将人脸库的每一个样本都保存在全局变量faceimgarr中。然后调用主成分分析法（pca）与线性判别分析法（lda）法特征提取函数pcalda()求出人脸库样本的平均人脸、以及每个样本的特征值和特征向量对应保存到pavgtrainimg、eigenvalmat以及eigenvectarr中。然后，再调用函数cveigendecomposite()，将人脸数据库中的所有样本通过k-l变换矩阵投射到pca子空间中，实现人脸样本的降维。最后使用cvopenfilestorage()新建格式为xml的文件“facedata.xml”，调用storetrainingdata()函数将训练样本的所有数据保存到“facedata.xml”中，其中包含上述样本的eigenvalmat、eigenvectarr、pavgtrainimg、以及训练人脸矩阵projectedtrainfacemat。完成训练。

实际工作过程中，本发明采用基于块的人眼定位方法定位双眼，在人脸的灰度图像中，眼睛的灰度值小于人脸的大部分其他区域；和人眼的灰度值相似的有头发、眉毛、鼻孔等，二值化的人脸图像经过设定一定的阈值可以划分出很多块，如果拍摄的人眼有中间白色区域，计算机可以通过形态学的腐蚀进行处理，对于检测到的正面人脸图像，图片的旋转不会使得眼睛处于图片边缘，并且眼睛有独特的形状属性，根据以上所提的特征基本可以去除非眼睛对的块。然后，基于人眼定位的对人脸进行裁剪，具体步骤为：首先选择合适的阈值将图像二值化，二值化后的图像会出席一系列的白色块，然后利用两只眼睛的属性排除干扰块，最后验证眼睛对的正确性，最后确定眼睛中心的坐标，依据眼睛的坐标确定双眼与水平轴的角度，矫正之后依据人脸形态学裁剪人脸区域，经过裁剪后的人脸图像是正脸没有旋转角度的图片，这样的图片必然比有旋转角的图片识别率高，因为训练的数据库中的人脸图片都是没有旋转角的。有效的解决了人脸识别中人脸姿态识别难的问题，提高了在不同姿态下的人脸识别率。

需要说明的是，本发明在最近邻分类法的思路基础上提出了类别特征法（methodofclassfeature)，简称mcf。如果待测样本有可能可以被利用距离函数的不同分类方法正确分类的话，那么待测样本和人脸数据库中的其所属类的训练样本的距离方差应该是最小的。因为其他类有可能出现与待测样本很相近的训练样本，但是不可能类里所有的样本都相信，而和待测样本属于同一类的训练样本，虽然由于光照或者其他因素导致不同，但是大致还是一样的。具体的，类别特征分类算法包括如下步骤：

通过公式，计算所有类别的类别特征，其中，x是待测试样本，人脸数据库中包含n个类别，每类有m个样本，class[i]表示待测样本与人脸数据库中的每一类训练样本做方差，该方差就是类别特征；

通过公式，计算出最小类别特征，最小类别特征对应的类别就是待测样本的类别。

类别特征法不仅计算简单，思路明了，还借助了类别信息，相对于k近邻分类法提高了识别率。

同时，knn法大多数情况是很好用的，在人脸很普通的时候，识别效果却不尽人意。类别特征法，利用了类别信息，但是对于类内本身图像差别大的，方差也会出现很大的情况，也会导致分类失败。支持向量机可以构造最优分类面来分类，可惜计算量庞大，耗时太长，并且不能区分数据库外的样本。那如何能够利用这些分类器的优点，避其缺点，这是接下来要研究的组合分类器法。组合分类器的主要思路是由knn分类器和类别特征法先对待测样本做出判断，判断不一致交给支持向量机做判断。具体的，组合分类器实现算法包括如下步骤：

计算数据库中的l个类内样本之间的欧式距离，其中每一类中的最大欧氏距离为di，i=1,2,…,l，待测样本x与数据库中的每个训练样本a[i][j]的欧式距离为dij，若dij>di则判定x不是数据库中的人，否则对x应用k近邻法识别分类，判定其属于g类；

针对x采用如权利要求6所述的类别特征分类算法识别分类识别，所述x属于h类；

如果h=g则待测样本属于h，算法终止；

如果h≠g，则将测试样本x输入所述分类器，再次确定x所属的类别，以支持向量机的输出为准。

组合分类器实现算法利用svm解决不易分类的样本，但又不是所有的待检测样本都需要svm分类，因而平均下来，大大降低了svm的分类时间。

next系列产品图像特征识别系统及其识别方法，该识别系统包括控制器、人脸数据库、图像标准化模块、特征提取模块、分类器、输出模块、摄像头模块、人脸检测模块和图像预处理模块；该识别方法包括特征提取算法、类别特征分类实现算法和组合分类器实现算法，本发明提出的识别方法不仅提高了正面人脸有旋转角度情况下的识别率，同时对不同强度的光照有非常好的鲁棒性。本发明提出的识别系统及其识别方法具备实时性和可靠性，可广泛用于身份认证、图像识别等领域。

除了上述以外本发明所属技术领域的普通技术人员也都能理解到，在此说明和图示的具体实施例都可以进一步变动结合。虽然本发明是就其较佳实施例予以示图说明的，但是熟悉本技术的人都可理解到，在所述权利要求书中所限定的本发明的精神和范围内，还可对本发明做出多种改动和变动。