一种眼睛睁闭状态的检测方法及系统与流程

本发明属于人脸识别检测
技术领域：
，具体涉及一种眼睛睁闭状态的检测方法及系统。
背景技术：
：人工智能是二十一世纪最受人关注的一项科学技术，人工智能将把人们热爱的影视剧中的科幻情节，变成我们现实生活中的一部分。在人工智能大系统中，计算机视觉无疑是其中非常重要的一个环节，计算机视觉无论在设计的机器人还是当今火热的无人车驾驶中，其地位是毋庸置疑的，计算机视觉就像其名字一样，它是人工智能中的眼睛，它将接受外界各种情景来进行识别，没有计算机视觉，人工智能就像一个没有眼睛的盲人。计算机视觉是备受人们关注的，无论是静态的图像还是动态的视频，都是世界专家深度研究的领域，在计算机视觉中ImageNet比赛更是受到商界和科研界的积极参与。在计算机视觉大领域中识别人脸是当今无人不知的一项技术，尤其在2015年马云向德国总理演示了刷脸支付技术后，商界把人脸技术应用推向了一个新的高峰。在人脸识别的技术中，识别人脸眼睛睁闭状态是人们比较关注的，无论是从计算机视觉的宏观角度还是眼睛睁闭状态的活体检测，识别人脸眼睛睁闭状态无疑是计算机视觉中的第一步，但现实环境中干扰因素太多，复杂环境中的干扰不仅多，而且是多变的，这使得在实验研究领域识别性能非常好的睁闭状态检测，在实际的应用中会出现效果下降，甚至不能使用的情况。人脸眼睛睁闭状态的检测是计算机视觉领域非常受关注的一个课题，同时也是一项非常有使用价值的技术，如在机器人中机器人识别一个人的眼睛睁闭状态是最基本的一个要求，或者最近如火如荼的人脸识别技术中，对人脸活体没有分辨能力，此时可以利用眼睛睁闭状态进行活体检测，将照片和活体分辨出来。在此之前国内外领域专家已经在眼睛睁闭状态方面开展相关研究，但其效果通常是实验室中测试数据取得的，而现实环境是复杂多变的，如光照的明暗，使用人员头部姿态的变化以及有无遮挡等，这些因素都影响着眼睛状态检测结果。现实中的干扰因素太多，往往比预计的要多的多。现阶段如果简单收集各种干扰数据，利用分类器进行分类，其效果通常比我们预计的要差很多。利用一种分类器来解决现实中的各种情况的检测方法有许多缺点，其主要缺点为：一、现实环境是复杂多变的，往往比事先预计的要复杂，并且随着使用环境的改变，干扰因素同时会跟着改变，其导致此种方法的可扩展性变差；其二在各种干扰中，由于其干扰因素的不同，导致图像数据不同，如果将各种过多的异样数据混杂在一起，其结果往往会导致最终的训练模型过于庞大和过拟合，导致在现实使用中泛化能力很差。技术实现要素：本发明的目的在于解决上述的技术问题而提供一种眼睛睁闭状态的检测方法及系统，其能针对现实使用环境中的每种干扰情况进行处理，最终有效地检测出眼睛睁闭状态且易于扩展。本发明是这样实现的，一种眼睛睁闭状态的检测方法，包括以下步骤：构建用于检测眼睛睁闭状态的级联式强分类器：提取需要判断的眼睛图片数据的眼睛局部特征送入所述级联式强分类器的基本检测线性强分类器，由该基本检测线性强分类器判断眼睛目标是处于睁眼状态还是闭眼状态；若判断为闭眼状态，则将判断为闭眼状态的眼睛目标对应的眼睛图片数据的特征提取区域扩大，在扩大的特征提取区域提取眼睛局部特征，将在所述扩大的特征提取区域提取的眼睛局部特征送入干扰检测线性强分类器，由该干扰检测线性强分类器判断该眼睛目标是处于睁眼状态还是闭眼状态。所述基本检测线性强分类器包括一个线性强分类器，所述干扰检测线性强分类器包括至少一个干扰检测线性强分类器。所述干扰检测线性强分类器包括至少一个遮挡检测强分类器。所述基本检测线性强分类器与干扰检测线性强分类器采用支持向量机SVM、logistic回归和贝叶斯分类器的一种，所述眼睛局部特征包括LBP、Gabor、HOG特征的一种。所述眼睛局部特征包括LBP特征，所述基本检测线性强分类器与干扰检测线性强分类器采用SVM分类器。本发明的目的还在于提供一种眼睛睁闭状态的检测系统，包括：级联式强分类器，所述级联式强分类包括一个基本检测线性强分类器以及级联在该基本检测线性强分类器后面的干扰检测线性强分类器；所述基本检测线性强分类器，用于提取需要判断的眼睛图片数据的眼睛局部特征判断眼睛目标是处于睁眼状态还是闭眼状态；所述干扰检测线性强分类器，用于将判断为闭眼状态的眼睛目标对应的眼睛图片数据的特征提取区域扩大，在扩大的特征提取区域提取眼睛局部特征，判断该眼睛目标是处于睁眼状态还是闭眼状态。本发明通过构建构建用于检测眼睛睁闭状态的级联式强分类器，提取需要判断的眼睛图片数据的眼睛局部特征送入所述级联式强分类器，由基本检测线性强分类器进行初次检测判断，由遮挡检测线性强根据扩大的特征提取区域提取的眼睛局部特征来判断基本检测线性强分类器误判的眼睛目标，从而提高了眼睛状态检测的精确性，且由于级联式强分类器采用线性强分类器，使是本发明的级联式强分类器具有模型小、速度快和泛化能力强的优点。附图说明图1为本发明实施例提供的眼睛状态检测方法的检测流程图；图2为本发明实施例提供的眼睛状态检测系统的示意图。具体实施方式下面将结合本附图，对本发明技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明部分实施例，而不是全部实施例。本发明是以级联的方式将各种强分类器进行级联，从而使每种分类器解决现实使用环境中的各种干扰，最终将眼睛的睁闭状态检测出来。参见图1所示，一种眼睛睁闭状态的检测方法，包括以下步骤：构建用于检测眼睛睁闭状态的级联式强分类器：提取需要判断的眼睛图片数据的眼睛局部特征送入所述级联式强分类器的基本检测线性强分类器，由该基本检测线性强分类器判断眼睛目标是处于睁眼状态还是闭眼状态；若判断为闭眼状态，则将判断为闭眼状态的眼睛目标对应的眼睛图片数据的特征提取区域扩大，在扩大的特征提取区域提取眼睛局部特征，将在所述扩大的特征提取区域提取的眼睛局部特征送入干扰检测线性强分类器，由该干扰检测线性强分类器判断该眼睛目标是处于睁眼状态还是闭眼状态。需要说明的是，基本检测线性强分类器与干扰检测线性强分类器包括两部分构成，一个特征提取，一个是分类；所述特征提取是将输入图像转化为人工设计的某种数字编码，这样可以有效提取图像中的特征，来进行图像的表示；如果将图像直接送入分类器，由于其特征表示能力差，往往会导致模型训练效果差或者泛化能力差。本发明中，所述基本检测线性强分类器包括一个线性强分类器，主要用于对眼睛目标的基本检测判断，基本判断眼睛目标是睁眼状态还是闭眼状态，非专门对受环境干扰的眼睛目标的睁闭状态检测，所述干扰检测线性强分类器包括至少一个线性强分类器，主要用于对基本检测线性强分类器检测后判断为闭眼状态的眼睛目标进行排除环境干扰因素后检测，从而可以在基本检测线性强分类强在误判或无法判断睁闭状态的情况下，对眼睛目标的睁闭状态进一步的检测判断，以达到精确判断眼睛目标的睁闭状态情况。本发明中，所述干扰检测线性强分类器包括至少一个干扰检测线性强分类器，也就是所述干扰检测线性强分类器的强分类器可以是一个，两个，三个甚至是多个，具体不限。具体实现上，所述干扰检测线性强分类器中的每一个干扰检测强分类器可以是根据适应不同干扰环境或不同干扰因素训练而设计成的不同的强分类器，它们分别实现对相应的干扰环境或干扰因素的排除，以检测眼睛目标的睁闭状态，每一个干扰检测强分类器在检测时可分别根据自身检测的需要重新提取眼睛的局部特征，也可以是直接利用基本检测线性强分类器或前面任意一级的其中一个干扰检测线性强分类器提取的眼睛局部特征来进行相应的检测判断；在重新提取眼睛的局部特征时，可以按上面的方法在眼睛区域放大或扩大后再提取局部特征，具体不限。具体的，所述干扰检测线性强分类器包括至少一个遮挡检测强分类器，主要用于排除遮挡情况达到识别眼睛状态的睁闭检测。需要说明的是，本发明中，所述基本检测线性强分类器与干扰检测线性强分类器采用支持向量机SVM、logistic回归和贝叶斯分类器的一种，所述眼睛局部特征包括LBP、Gabor、HOG特征的一种。优选的，本发明中，所述眼睛局部特征包括LBP特征，所述基本检测线性强分类器与干扰检测线性强分类器采用SVM分类器。由于环境干扰因素的不同，级联式强分类器的分类和对应的特征提取方式是不同的。在每层级联的强分类器中，特征提取方式没有严格要求，可以根据具体情况具体分析。到目前为止，局部特征提取方式有许多的可选方案，如LBP，Gabor，HOG特征等。LBP特征：LBP(LocalBinaryPattern，局部二值模式)是一种用来描述局部纹理特征的算子，其由T.Ojala,M.和D.Harwood在1994年发明。LBP的原始计算公式如(1)所示：其中原始计算公式并不具有旋转不变性，因此人们提出旋转不变的LBP模式，旋转不变的LBP就算公式如(2)所示：其中，ROR为LBP按位平移函数，选择数值最小的XX作为LBP特征。虽然式(2)具有了旋转不变性，但大量实验表明，其36种情况在一幅图像中出现的频率差异较大，因此提出了uniformLBP模式，其公式如(3)所示：Gabor特征：Gabor算子具有优良的空间局部性和方向选择性，能够抓住图像局部区域内多个方向空间频率和局部特征结构。Gabor函数是一个用高斯函数调制的复正弦函数,能够在给定区域内提取出局部的频域特征。典型的2-DGabor函数h(x,y)及其傅里叶变换H(u，v)公式如(4)所示。其中:g(x,y)是用来调制的高斯函数；σx和σy是其在两个坐标轴上的标准方差；W为复正弦函数在横轴上的频率。将Gabor函数分解为实部hR(x,y)和虚部hI(x,y)两个分量,则用它滤波得到的图像为(5)其中,(h*I)表示图像I和滤波器h的卷积.S(x,y)经过高斯平滑,即为该Gabor滤波器提取出的特征图像。HOG特征：方向梯度直方图(HistogramofOrientedGradient,HOG)通过计算和统计图像局部区域的梯度方向直方图来构成特征。计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。图像中像素点(x,y)的梯度为(6)：Gx(x,y)＝H(x+1,y)-H(x-1,y)Gy(x,y)＝H(x,y+1)-H(x,y-1)(6)式中,Gx(x,y)，Gy(x,y)，H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为(7)所示：G(x,y)=Gx(x,y)2+Gy(x,y)2α(x,y)=tan-1(Gy(x,y)Gx(x,y))---(7)]]>在基本分类器中，系统采集人们在正常环境中的眼睛数据，如没有环境干扰的眼睛数据，如没有遮挡的眼睛数据。在基本检测强分类器的特征提取中，由于其目的是进行眼睛状态的基本检测，并不需要针对遮挡情况，因此基本检测强分类器的训练数据中并不需要采集环境干扰眼睛的数据，如遮挡眼睛的数据，因此基本检测强在特征提取方面，本发明采用局部特征提取方法来进行眼睛数据的特征提取，利用局部特征可以有效地表征眼睛的特征信息。目前的分类器种类众多，某些分类器非常具有代表性，由于其强大的分类能力，非常受科研者的青睐，如SVM，logistic回归和贝叶斯分类等。支持向量机(SupportVectorMachine，SVM)是Cortes和Vapnik于1995年首先提出的。SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的泛化能力。SVM的目标函数为(8):Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法.LR分类器(LogisticRegressionClassifier)训练之后是一个权值向量，其主要公式如(9)所示：式中w为训练模型的权重向量，x为特征向量，f(x)值为概率0-1之间。LR分类器的代价函数为式(10):朴素贝叶斯分类是一种十分简单的分类算法,其思想基础是：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。朴素贝叶斯分类器的核心原理是贝叶斯原理，其公式为(11)所示:在分类器的训练阶段，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，其各个特征属性的条件概率如公式(12)：P(a1|y1),P(a2|y1),...,P(am|y1)；P(a1|y2),P(a2|y2),...,P(am|y2)；P(a1|yn),P(a2|yn),...,P(am|yn)(12)式中{a1,a2,...,am}为一个训练本的特征向量，{y1,y2,...,yn}为n个类别。如果各个特征独立，根据贝叶斯定理有公式(13):P(x|yi)P(yi)=P(a1|yi)P(a2|yi)...P(am|yi)P(yi)=P(yi)Πj=1mP(aj|yi)---(13)]]>本发明中，所述干扰检测线性强分类器是在有环境干扰情况下的眼睛睁闭状态检测，如遮挡干扰情况。如在现实使用环境中，经常会出现人为或非人为的眼睛遮挡的情况，在此遮挡干扰下，基本检测器通常会将睁眼检测为闭眼，若将眼睛状态检测器应用在活体检测上，这将是非常大的漏洞，为解决此问题，同时不影响基本检测线性强分类器的使用下，本发明采用基本检测线性强分类器的后面级联干扰检测线性强分类器，具体如遮挡检测线性强分类器，当然也可根据不同的干扰情况训练其它干扰检测分类器，并级联在基本检测线性强分类器后，或者是级联遮挡检测线性强分类器后，具体不限。本发明的目的还在于提供一种眼睛睁闭状态的检测系统，参见图2所示，包括：级联式强分类器，所述级联式强分类包括一个基本检测线性强分类器(或称之基本分类器)以及级联在该基本检测线性强分类器后面的干扰检测线性强分类器(或称之干扰分类器)；所述基本检测线性强分类器，用于提取需要判断的眼睛图片数据的眼睛局部特征判断眼睛目标是处于睁眼状态还是闭眼状态；所述干扰检测线性强分类器，用于将判断为闭眼状态的眼睛目标对应的眼睛图片数据的特征提取区域扩大，在扩大的特征提取区域提取眼睛局部特征，判断该眼睛目标是处于睁眼状态还是闭眼状态。其中，如前述检测方法所述，所述基本检测线性强分类器包括一个线性强分类器，所述干扰检测线性强分类器包括至少一个干扰检测线性强分类器。所述干扰检测线性强分类器包括至少一个遮挡检测强分类器。所述基本检测线性强分类器与干扰检测线性强分类器采用支持向量机SVM、logistic回归和贝叶斯分类器的一种，所述眼睛局部特征包括LBP、Gabor、HOG特征的一种。所述眼睛局部特征包括LBP特征，所述基本检测线性强分类器与干扰检测线性强分类器采用SVM分类器。由于本发明的眼睛睁闭状态的检测系统的级联式强分类器具有扩展性，且环境干扰因素不确定，无法将每种情况一一详尽阐述，下面仅针对以基本检测分类器与遮挡检测分类器来介绍本发明的眼睛睁闭状态检测的过程。首先将眼睛图片数据送入到眼睛状态基本检测线性强分类器中，由于直接使用图片数据会使其特征表征能力非常差，因此将原始数据进行特征提取，所以本发明中采用局部特征提取方法，局部特征能够非常好地提取眼睛特征，在提取特征之后，将特征送入遮挡检测线性强分类器，强分类器采用线性分类器，线性分类器拥有模型小、速度快和泛化能力强的优点，但在数据复杂的情况下，容易出现误判，如在遮挡眼睛的情况下，会出现将睁眼状态判断为闭眼状态，因此需要将判断为闭眼的图片送入遮挡检测分类器进行再次判断，在遮挡判断分类器中，为了更加有效地分类出眼睛的睁闭状态，本发明将眼睛特征提取区域扩大，选用性能良好的局部特征提取方法，将提取出的特征送入线性强分类器，进行眼睛睁闭状态的检测，最终输出眼睛状态的检测结果。需要说明的是，在遮挡判断中，要采集闭眼数据和误判的遮挡睁眼数据，为了能够有效地检测遮挡状态，同时由于局部特征表征能力的强大，遮挡检测数据的特征仍然采用局部特征来进行表征，但此次遮挡检测的局部特征并不沿用基本检测的局部特征。为了更有效的检测出眼睛的遮挡情况，在遮挡检测时将眼睛表示区域扩大，从而提取出更广泛范围内的局部特征，且由于该遮挡检测分类器采用SVM强分类器，并且采用了级联方式进行检测，使此分类器的数据比较简单，且由于采用线性SVM强分类器，可避免过拟合现象。以上仅是对遮挡情况检测的说明，具体的在遮挡检测分类器之后输出检测结果后，若应用环境中存在新的干扰，可以在遮挡检测分类器的后面增加新的若干个强分类器，这样通过适应不同环境干扰的线性强分类器的依次级联，需要分类的数据较单一，模型小，准确率高，效率快，且易于随着环境的变化而进行扩展。在本发明中，在第一级的基本检测线性强分类器和第二级的遮挡检测线性强分类器都采用LBP特征和SVM分类器，并根据实际情况进行LBP特征提取，通过本发明应用测试结果如下表所示：测试集测试集大小(张)准确率睁眼28598.5965％闭眼12596.8％以上仅是本发明采用两个强分类器的示例性说明，但本发明的特点在于级联式扩展，在使用环境中如果遇到新的环境干扰可以方便地进行级联，进行眼睛状态的进一步检测。可以看出，本发明的检测方法及系统，主要是将需要判断的眼睛图片数据输入级联式判断系统，最终判断出眼睛的睁闭状态，由于采用级联式分类检测及易于扩展，这样可以在复杂多变的环境中，快速、有效地识别出眼睛的状态，增加适应环境能力，从而解决了目前的检测模型存在的以下技术问题：1)在面对现实环境中复杂多面的干扰，实验中训练的检测模型往往不能很好地适应使用环境，往往造成误判，同时在训练时如果将训练数据简单的增加各种干扰数据；2)会造成训练数据复杂性急速增加，造成模型过大，泛化能力差；3)实际环境是干扰多变的，无法将各种干扰数据采集，并且干扰情况多变，模型无法扩展。本发明的检测方法及系统，应用十分广泛，如应用于当今如火如荼的人脸识别方面的交互式活体识别，可以利用眼睛的状态来识别照片和真人，方法使用灵活，可用于移动终端设备或非移动终端设备中使用，易于根据现实中的干扰进行系统扩展。本发明通过利用级联强分类器进行实时人体眼睛状态检测，从面可以应对实际进行眼睛状态监测时环境的复杂性。通过级联应对各种干扰环境的强分类器，来进行眼睛睁闭状态检测，具有实时性和抗攻击性的特点，可用于移动终端人脸识别中的交互式活体检测。本发明通过集成分类器来应对现实环境的某种干扰和人为恶意攻击，实时检测人体眼睛睁闭状态，避免了用单独模型无法有效检测的现象，且可以通过级联强分类器有效解决现实环境中的各种干扰和人为攻击，并且随着现实环境干扰的变化，灵活地改变眼睛状态检测模型。本发明通过级联强分类器式的检测方式可以解决各种环境干扰，从而解决了了现实使用的移动终端设备环境复杂多变，单一模型不可能应对各种干扰带来的影响的问题，并且可以随时改变模型来解决环境带来的新影响，使得本发明的级联式眼睛状态检测方法灵活、易用，功能强大，可扩展性强。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，发明专利的范围由所附权利要求及其等同物限定。当前第1页1 2 3