基于图像的眼镜识别方法及装置与流程

本发明属于图像识别技术领域，尤其涉及一种基于图像的眼镜识别方法及装置。

背景技术：

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，通常也叫做人像识别、面部识别。人脸识别产品已广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。例如，人脸识别门禁考勤系统和人脸识别防盗门，关于信息安全的计算机登录、电子政务和电子商务。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域。其中，对人脸佩戴眼镜的识别可以精准的辅助实现人脸验证和人脸搜索等功能。

现有技术中，图像中眼镜的识别方法是将整个图像提取特征，然后通过分类器识别图像中面部是否佩戴眼镜。由于成像设备的关系，图像不一定会清晰的反应人的完整面部，大部分的图像会出现模糊、强光、黑暗等不清晰的情况，或者图像中人物出现低头、侧脸等不能完全显示整个面部的姿态，在这种复杂的成像条件下，现有技术单纯的提取整个图像的特征是无法准确判别是否有佩戴眼镜，进而增加识别结果的错误率。

技术实现要素：

本发明实施例提供一种基于图像的眼镜识别方法及装置，旨在解决由于外部成像因素的变化而导致的无法准确的判别是否有佩戴眼镜的问题。

本发明实施例提供的一种基于图像的眼镜识别方法，包括：通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到所述面部图像的面部类别和所述面部类别对应的概率值，其中所述面部类类别包括人脸类别和非人脸类别；若所述面部类别为人脸类别所对应的概率值大于预置极限值，则通过所述深度卷积神经网络中人脸先验模型，对所述面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；若概率值最大的类别为佩戴眼镜类别，则确定所述面部图像中面部有佩戴眼镜；若概率值最大的类别为非佩戴眼镜类别，则确定所述面部图像中面部没有佩戴眼镜。

本发明实施例提供的一种基于图像的眼镜识别装置，包括：判别处理模块用于通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到所述面部图像的面部类别和所述面部类别对应的概率值；所述判别处理模块还用于若所述面部类别为人脸类别所对应的概率值大于预置极限值，则通过所述深度卷积神经网络中人脸先验模型，对所述面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；确定模块用于若概率值最大的类别为佩戴眼镜类别，则确定所述面部图像中面部有佩戴眼镜；所述确定模块还用于若概率值最大的类别为非佩戴眼镜类别，则确定所述面部图像中面部没有佩戴眼镜。

本发明实施例提供的基于图像的眼镜识别方法及装置，通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到所述面部图像的面部类别和所述面部类别对应的概率值，其中所述面部类类别包括人脸类别和非人脸类别；若所述面部类别为人脸类别所对应的概率值大于预置极限值，则通过所述深度卷积神经网络中人脸先验模型，对所述面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；若概率值最大的类别为佩戴眼镜类别，则确定所述面部图像中面部有佩戴眼镜；若概率值最大的类别为非佩戴眼镜类别，则确定所述面部图像中面部没有佩戴眼镜，这样在复杂的成像情况下，通过预置的深度卷积神经网络先判别面部图像是否为人脸的图像，当判别是人脸的图像时，对面部图像中眼睛区域图像进行识别，可以准确的识别是否有佩戴眼镜，增加了识别佩戴眼镜的准确性，进而精准地辅助实现人脸验证和人脸搜索等功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1是本发明第一实施例提供的基于图像的眼镜识别方法的实现流程示意图；

图2是本发明第二实施例提供的基于图像的眼镜识别方法的实现流程示意图；

图3是本发明实施例中人脸检测的示意图；

图4是本发明第三实施例提供的基于图像的眼镜识别装置的结构示意图；

图5是本发明第四实施例提供的基于图像的眼镜识别装置的结构示意图；

图6是本发明第五实施例提供的执行基于图像的眼镜识别方法的电子设备的硬件结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明第一实施例提供的基于图像的眼镜识别方法的实现流程示意图，可应用于人脸考勤设备、人脸防盗系统、计算机等识别人脸图像的终端中。图1所示的基于图像的眼镜识别方法，主要包括以下步骤：

S101、通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值。

S102、若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值。

深度卷积神经网络为卷积神经网络(CNN，Convolutional Neural Networks)，至少包括两个非线性可训练的卷积层、两个非线性的固定卷积层和全连接层，一共至少5个隐含层，主要应用于语音分析以及图像识别领域。

通过预置的深度卷积神经网络训练图像样本就可以得到先验模型，其中训练图像样本以得到先验模型的过程是按照预置的面部类别对图像样本进行分类的过程，即本实施例中，该面部类别中包括人脸类别和非人脸类别。其中先验模型可用于对图像进行分类判别的模型。

通过分类判别可以得到该面部图像的面部类别和该面部类别对应的概率值，即该面部图像为人脸类别和面部图像所属人脸类别对应的概率值，以及该面部图像为非人脸类别和该面部图像所属非人脸类别对应的概率值。

预置极限值为大于或者等于60％的数值，本实施例优选的预置极限值为60％，那么当该面部图像所属人脸类别对应的概率值大于60％时，通过该深度卷积神经网络中先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；若该面部图像所属的人脸类别对应的概率值小于预置极限值，则进程结束。

通过该深度卷积神经网络训练人脸的图像样本就可以得到人脸先验模型，其中训练人脸的图像样本以得到人脸先验模型的过程是按照预置的类别对图像样本进行分类的过程，其中人脸先验模型可用于对图像进行分类判别的模型。本实施例中预置的类别有两类，一类是佩戴眼镜的类别，另一类是非佩戴眼镜的类别，然后通过人脸先验模型分类判别后，可以得到该面部图像中眼睛区域图像中眼睛佩戴眼镜的概率值和没有佩戴眼镜的概率值，即该面部图像中眼睛区域图像属于佩戴眼镜类别对应的概率值和该面部图像中眼睛区域图像属于非佩戴眼镜类别对应的概率值。

S103、若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜。

S104、若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜。

在实际应用中，若该眼睛区域图像属于佩戴眼镜类别对应的概率值最大，则确定该面部图像中面部有佩戴眼镜，若该眼睛区域图像属于非佩戴眼镜类别对应的概率值最大，则确定该面部图像中面部没有佩戴眼镜。

本发明实施例中，通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值，其中该面部类类别包括人脸类别和非人脸类别，若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜；若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜，这样在复杂的成像情况下，通过预置的深度卷积神经网络先判别面部图像是否为人脸的图像，当判别是人脸的图像时，对面部图像中眼睛区域图像进行识别，可以准确的识别是否有佩戴眼镜，增加了识别佩戴眼镜的准确性，进而精准地辅助实现人脸验证和人脸搜索等功能。

请参阅图2，图2为本发明第二实施例提供的基于图像的眼镜识别方法的实现流程示意图，可应用于人脸考勤设备、人脸防盗系统、计算机等识别人脸图像的终端中，主要包括以下步骤：

S201、通过人脸检测以及人脸关键点定位确定待识别图像中的该面部图像，并将该待识别图像中的该面部图像设定为检测区域。

通过小波(HAAR)分类器或者DLIB(C++library)算法对输入的图像进行人脸检测，然后对检测后的图像通过监督式下降算法(SDM，Supervised Descent Method)进行人脸关键点定位，其中通过SDM算法定位的人脸关键点包括：眉毛、眼睛、鼻子、嘴巴和面部轮廓。当然人脸检测和人脸关键点定位也可以通过其他算法来实现。

HAAR分类器，包含自适应增强(Adaboost)算法，在图像识别领域中，分类器是指对人脸和非人脸进行分类的算法。

DLIB是一种C++的算法库，可应用于人脸检测和人脸关键点定位。

图3为人脸检测的示意图，如图3所示，深黑色方形框为人脸检测框，圆形表示人脸，三角形表示动物，多边形表示树木，经过人脸检测可以在图像中提取人脸的图像。

S202、根据预置倍数扩大该检测区域，以使该面部图像中包括整体面部轮廓区域的图像。

根据预置倍数扩大该检测区域是将整体面部轮廓区域扩充到面部图像中，扩大检测区域的方式可以是将整个检测区域进行扩大，也可以是将检测区域的上部、下部、左右两部分均扩大预置倍数，还可以只扩大该检测区域的左侧和右侧。该预置倍数面部轮廓的宽度有关，本实施中优选的预置倍数的数值为0.1倍，即将该检测区域的右侧和左侧各扩大0.1倍。由于在检测眼镜时，眼镜框的宽度有可能比面部要宽，通过扩大检测区域，可以将整个眼镜显示进检测区域，这样可以增加识别的准确性。

S203、对该检测区域中眼睛区域进行矫正，以使该面部图像中该眼睛区域内的双眼处于同一水平线上。

矫正眼睛的方式不做限定，可以通过几何变换来矫正眼睛，也可以改变两个眼睛之间夹角来矫正眼睛，最终的目的是将该眼睛区域内的双眼处于同一水平线上。

S204、通过该人脸关键点定位确定该眼睛区域的位置，并根据该眼睛区域的位置，在该面部图像中提取该眼睛区域图像。

该眼睛区域图像包括同一侧的外眼角到耳朵顶部之间的面部区域图像。

S205、通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值。

深度卷积神经网络是一种带有卷积结构的深度神经网络，至少包括两个非线性可训练的卷积层、两个非线性的固定卷积层和全连接层，一共至少5个隐含层，主要应用于语音分析以及图像识别领域。

在步骤S201中执行了检测人脸的操作，但是通过HAAR分类器不能很精确的确定面部图像为人脸的图像，对于一些比较模糊的图像来讲，HAAR分类器很难精确的在图像中识别人脸。这样通过预置的深度卷积神经网络训练图像样本就可以得到先验模型，其中训练图像样本以得到先验模型的过程是按照预置的面部类别对图像样本进行分类的过程，即本实施例中，该面部类别中包括人脸类别和非人脸类别。其中先验模型可用于对图像进行分类判别的模型。

通过分类判别可以得到该面部图像的面部类别和该面部类别对应的概率值，即该面部图像为人脸类别和面部图像所属人脸类别对应的概率值，以及该面部图像为非人脸类别和该面部图像所属非人脸类别对应的概率值。

S206、若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值。

预置极限值为大于或者等于60％的数值，本实施例优选的预置极限值为60％。若该面部图像所属的人脸类别对应的概率值小于预置极限值，则进程结束。若该面部类别为人脸类别所对应的概率值大于预置极限值，则确定该面部图像为人脸的图像；当确定该面部图像为人脸的图像后，通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值。

通过该深度卷积神经网络训练人脸的图像样本就可以得到人脸先验模型，其中训练人脸的图像样本以得到人脸先验模型的过程是按照预置的类别对图像样本进行分类的过程，其中人脸先验模型可用于对图像进行分类判别的模型。本实施例中预置的类别有两类，一类是佩戴眼镜的类别，另一类是非佩戴眼镜的类别，然后通过人脸先验模型分类判别后，可以得到该面部图像中眼睛区域图像中眼睛佩戴眼镜的概率值和没有佩戴眼镜的概率值，即该面部图像中眼睛区域图像属于佩戴眼镜类别对应的概率值和该面部图像中眼睛区域图像属于非佩戴眼镜类别对应的概率值。

需要说明的是，该人脸先验模型和该先验模型为相同的模型或不同的模型，上述实施例描述的是二者不同的情况。若该人脸先验模型与该先验模型为相同的模型，则通过该深度卷积神经网络训练模型之前的图像样本中包括人脸图像样本和非人脸图像样本，其中人脸图像样本中包括佩戴有各种眼镜和没有佩戴眼镜的人脸图像样本。这样只需存储一个模型，能够节省存储空间，同时通过一个模型可以即判别面部类别又识别眼镜，进而提高了判别的效率。

S207、若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜。

在实际应用中，若该眼睛区域图像属于佩戴眼镜类别对应的概率值最大，则确定该面部图像中面部有佩戴眼镜。

S208、通过该深度卷积神经网络中该人脸先验模型，对该眼睛区域图像中佩戴眼镜的种类进行分类判别，得到各眼镜种类对应的概率值。

在步骤S206中人脸先验模型划分的种类包括佩戴眼镜的类别和非佩戴眼镜的类别，其中该佩戴眼镜的类别中包括眼镜种类，该眼镜种类中包括：近视镜、护目镜、太阳镜、眼镜框等眼镜种类，此处对眼镜的种类不做限定，本领域技术人员可以根据本实施例中列举的眼镜的种类进行添加或者替换。

每一眼镜种类均算出一个概率值，其中概率值最大的眼镜种类对应的概率值与预置概率值进行比较，若概率值最大的眼镜种类对应的概率值大于预置概率值，则执行步骤S209，若概率值最大的眼镜种类对应的概率值小于该预置概率值，则执行步骤S210。

S209、若概率值最大的眼镜种类对应的概率值大于预置概率值，则确定该面部图像中面部佩戴眼镜的种类为该概率值最大的眼镜种类。

该预置概率值可以和前述预置极限值的数值相同，也可以不同，本实施例优选该预置概率值为80％。如果概率值最大的眼镜种类为太阳镜，则确定该面部图像中面部佩戴眼镜的种类为太阳镜。

S210、若概率值最大的眼镜种类对应的概率值小于该预置概率值，则通过该面部图像中该眼睛区域图像的特征与预置眼镜图像样本的特征之间的余弦比对结果，识别该面部图像中面部佩戴眼镜的种类。

在图像识别领域中，图像的特征是图像识别领域的专有名词，图像的特征的提取是计算机视觉和图像处理中的一个概念。

在余弦比对之前，可选地，通过该深度卷积神经网络的全连接层可以提取该面部图像中该眼镜区域图像的特征，并同时提取多个眼镜图像样本的特征。通过该深度卷积神经网络的全连接层提取的眼睛区域图像的特征，可以有效的描绘眼睛区域图像中眼镜的边缘、纹理与颜色，增加识别眼镜种类的准确性。

该眼镜图像样本的特征可以存储在终端内置的存储模块中，也可以存储在云端服务器上，其中该眼镜图像样本的特征中包括有不同眼镜种类的眼镜图像样本的特征。

可选地，通过该面部图像中该眼睛区域图像的特征与预置眼镜图像样本的特征之间的余弦比对结果，识别该面部图像中面部佩戴眼镜的种类具体为：

将该眼睛区域图像的特征与该眼镜图像样本的特征进行余弦相似度比对，算出该眼睛区域图像与各眼镜图像样本之间的余弦相似度值；

根据算出的余弦相似度值，按照相似度由高到底的顺序，在该眼镜图像样本中选取预置数目的目标眼镜图像样本；

对该目标眼镜图像样本中眼镜种类进行数量统计，并选取样本数量最多的眼镜种类作为目标眼镜种类；

在该目标眼镜图像样本中选取与目标眼镜种类对应的相似眼镜图像样本，并提取该眼睛区域图像与相似眼镜图像样本之间的余弦相似度值作为目标余弦相似度值；

计算该目标余弦相似度值的平均值；

若该平均值大于预置数值，则将该目标眼镜种类作为该面部图像中面部佩戴眼镜的种类。

余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。余弦相似度值的数值越大，表示相似度越高。在实际应用中，首先按照算出的余弦相似度值，将眼镜图像样本由相似度高到相似度低进行排列，然后由相似度高开始，挑出预置数目的目标眼镜图像样本。预置数目的数值可以任意选取，当然选取的样本的数目多，则最后判别的准确性就会提高。本实施例优选的预置数目为20个。该预置数值为大于或者等于50的数值，本实施例中优选地预置数值为50。

下面对确定面部图像中面部佩戴眼镜的种类的过程进行举例说明，具体说明如下：

设，预置数目为20个。通过统计，在20个目标眼镜图像样本中，太阳镜的样本数量为11个，护目镜的样本数量为1个，近视镜的样本数量为8个，则目标眼镜种类为太阳镜，然后选取眼镜种类为太阳镜的11个图像样本作为相似眼镜图像样本，并提取该眼睛区域图像与11个相似眼镜图像样本之间的余弦相似度值作为目标余弦相似度值，其中每一相似眼镜图像样本均对应一个目标余弦相似度值，共提取出11个目标余弦相似度值，计算该11个目标余弦相似度值的平均值，算出的平均值为A值，当A值大于预置数值时，将该面部图像中面部佩戴眼镜的种类为太阳镜。

S211、若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜。

在确定面部图像中面部没有佩戴眼镜之后，进程结束。

本发明实施例中，通过人脸检测以及人脸关键点定位确定待识别图像中的该面部图像，并将该待识别图像中的该面部图像设定为检测区域，根据预置倍数扩大该检测区域，以使该面部图像中包括整体面部轮廓区域的图像，对该检测区域中眼睛区域进行矫正，以使该面部图像中该眼睛区域内的双眼处于同一水平线上，通过该人脸关键点定位确定该眼睛区域的位置，并根据该眼睛区域的位置，在该面部图像中提取该眼睛区域图像，通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值，若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值，若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜，通过该深度卷积神经网络中该人脸先验模型，对该眼睛区域图像中佩戴眼镜的种类进行分类判别，得到各眼镜种类对应的概率值，若概率值最大的眼镜种类对应的概率值大于预置概率值，则确定该面部图像中面部佩戴眼镜的种类为该概率值最大的眼镜种类，若概率值最大的眼镜种类对应的概率值小于该预置概率值，则通过该面部图像中该眼睛区域图像的特征与预置眼镜图像样本的特征之间的余弦比对结果，识别该面部图像中面部佩戴眼镜的种类，若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜，这样在复杂的成像情况下，通过预置的深度卷积神经网络仅对面部图像中眼睛区域图像进行识别，可以准确的识别是否有佩戴眼镜，同时可以识别出眼镜的种类，增加了识别佩戴眼镜的准确性，进而精准地辅助实现人脸验证和人脸搜索等功能。

请参阅图4，图4是本发明第三实施例提供的基于图像的眼镜识别装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图4示例的基于图像的眼镜识别装置可以是前述图1所示实施例提供的基于图像的眼镜识别方法的执行主体，可以是终端或终端中的一个控制模块。图4示例的基于图像的眼镜识别装置，主要包括：判别处理模块401、确定模块402。以上各功能模块详细说明如下：

判别处理模块401，用于通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值。

判别处理模块401，还用于若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值。

深度卷积神经网络为卷积神经网络，至少包括两个非线性可训练的卷积层、两个非线性的固定卷积层和全连接层，一共至少5个隐含层，主要应用于语音分析以及图像识别领域。

判别处理模块401还用于通过预置的深度卷积神经网络训练图像样本就可以得到先验模型，其中训练图像样本以得到先验模型的过程是按照预置的面部类别对图像样本进行分类的过程，即本实施例中，该面部类别中包括人脸类别和非人脸类别。其中先验模型可用于对图像进行分类判别的模型。

判别处理模块401通过分类判别可以得到该面部图像的面部类别和该面部类别对应的概率值，即该面部图像为人脸类别和面部图像所属人脸类别对应的概率值，以及该面部图像为非人脸类别和该面部图像所属非人脸类别对应的概率值。

预置极限值为大于或者等于60％的数值，本实施例优选的预置极限值为60％，那么当该面部图像所属人脸类别对应的概率值大于60％时，判别处理模块401通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；若该面部图像所属的人脸类别对应的概率值小于预置极限值，则进程结束。

判别处理模块401通过该深度卷积神经网络训练人脸的图像样本就可以得到人脸先验模型，其中训练人脸的图像样本以得到人脸先验模型的过程是按照预置的类别对图像样本进行分类的过程，其中人脸先验模型可用于对图像进行分类判别的模型。本实施例中预置的类别有两类，一类是佩戴眼镜的类别，另一类是非佩戴眼镜的类别，然后判别处理模块401通过人脸先验模型分类判别后，可以得到该面部图像中眼睛区域图像中眼睛佩戴眼镜的概率值和没有佩戴眼镜的概率值，即该面部图像中眼睛区域图像属于佩戴眼镜类别对应的概率值和该面部图像中眼睛区域图像属于非佩戴眼镜类别对应的概率值。

确定模块402，用于若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜。

确定模块402，还用于若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜。

在实际应用中，确定模块402若该眼睛区域图像属于佩戴眼镜类别对应的概率值最大，则确定该面部图像中面部有佩戴眼镜，确定模块402若该眼睛区域图像属于非佩戴眼镜类别对应的概率值最大，则确定该面部图像中面部没有佩戴眼镜。

需要说明的是，以上图4示例的基于图像的眼镜识别装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则，以下不再赘述。

本发明实施例中，判别处理模块401通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值，其中该面部类类别包括人脸类别和非人脸类别，判别处理模块401若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；确定模块402若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜；确定模块402若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜，这样在复杂的成像情况下，判别处理模块401通过预置的深度卷积神经网络先判别面部图像是否为人脸的图像，当判别是人脸的图像时，判别处理模块401对面部图像中眼睛区域图像进行识别，可以准确的识别是否有佩戴眼镜，增加了识别佩戴眼镜的准确性，进而精准地辅助实现人脸验证和人脸搜索等功能。

请参阅图5，本发明第四实施例提供的基于图像的眼镜识别装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图5示例的基于图像的眼镜识别装置可以是前述图2所示实施例提供的基于图像的眼镜识别方法的执行主体，可以是终端或终端中的一个控制模块。图5示例的基于图像的眼镜识别装置，主要包括：确定模块501、扩大模块502、矫正模块503、提取处理模块504、判别处理模块505和比对识别模块506。以上各功能模块详细说明如下：

确定模块501，用于通过人脸检测以及人脸关键点定位确定待识别图像中的该面部图像，并将该待识别图像中的该面部图像设定为检测区域。

通过HAAR分类器或者DLIB算法对输入的图像进行人脸检测，然后对检测后的图像通过SDM算法进行人脸关键点定位，其中通过SDM算法定位的人脸关键点包括：眉毛、眼睛、鼻子、嘴巴和面部轮廓。当然人脸检测和人脸关键点定位也可以通过其他算法来实现。

图3为人脸检测的示意图，如图3所示，深黑色方形框为人脸检测框，圆形表示人脸，三角形表示动物，多边形表示树木，经过人脸检测可以在图像中提取人脸的图像。

扩大模块502，用于根据预置倍数扩大该检测区域，以使该面部图像中包括整体面部轮廓区域的图像。

根据预置倍数扩大该检测区域是将整体面部轮廓区域扩充到面部图像中，扩大检测区域的方式可以是将整个检测区域进行扩大，也可以是将检测区域的上部、下部、左右两部分均扩大预置倍数，还可以只扩大该检测区域的左侧和右侧。该预置倍数面部轮廓的宽度有关，本实施中优选的预置倍数的数值为0.1倍，即将该检测区域的右侧和左侧各扩大0.1倍。由于在检测眼镜时，眼镜框的宽度有可能比面部要宽，通过扩大检测区域，可以将整个眼镜显示进检测区域，这样可以增加识别的准确性。

矫正模块503，用于对该检测区域中眼睛区域进行矫正，以使该面部图像中该眼睛区域内的双眼处于同一水平线上。

矫正眼睛的方式不做限定，可以通过几何变换来矫正眼睛，也可以改变两个眼睛之间夹角来矫正眼睛，最终的目的是将该眼睛区域内的双眼处于同一水平线上。

提取处理模块504，用于通过该人脸关键点定位确定该眼睛区域的位置，并根据该眼睛区域的位置，在该面部图像中提取该眼睛区域图像。

该眼睛区域图像包括同一侧的外眼角到耳朵顶部之间的面部区域图像。

判别处理模块505，用于通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值。

确定模块501通过HAAR分类器不能很精确的确定面部图像为人脸的图像，对于一些比较模糊的图像来讲，HAAR分类器很难精确的在图像中识别人脸。这样判别处理模块505通过预置的深度卷积神经网络训练图像样本就可以得到先验模型，其中训练图像样本以得到先验模型的过程是按照预置的面部类别对图像样本进行分类的过程，即本实施例中，该面部类别中包括人脸类别和非人脸类别。其中先验模型可用于对图像进行分类判别的模型。

判别处理模块505通过分类判别可以得到该面部图像的面部类别和该面部类别对应的概率值，即该面部图像为人脸类别和面部图像所属人脸类别对应的概率值，以及该面部图像为非人脸类别和该面部图像所属非人脸类别对应的概率值。

判别处理模块505，还用于若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值。

预置极限值为大于或者等于60％的数值，本实施例优选的预置极限值为60％。若该面部图像所属的人脸类别对应的概率值小于预置极限值，则进程结束。

判别处理模块505通过该深度卷积神经网络训练人脸的图像样本就可以得到人脸先验模型，其中训练人脸的图像样本以得到人脸先验模型的过程是按照预置的类别对图像样本进行分类的过程，其中人脸先验模型可用于对图像进行分类判别的模型。本实施例中预置的类别有两类，一类是佩戴眼镜的类别，另一类是非佩戴眼镜的类别，判别处理模块505然后通过人脸先验模型分类判别后，可以得到该面部图像中眼睛区域图像中眼睛佩戴眼镜的概率值和没有佩戴眼镜的概率值，即该面部图像中眼睛区域图像属于佩戴眼镜类别对应的概率值和该面部图像中眼睛区域图像属于非佩戴眼镜类别对应的概率值。

确定模块501，还用于若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜。

在实际应用中，确定模块501，若该眼睛区域图像属于佩戴眼镜类别对应的概率值最大，则确定该面部图像中面部有佩戴眼镜。

判别处理模块505，还用于通过该深度卷积神经网络中该人脸先验模型，对该眼睛区域图像中佩戴眼镜的种类进行分类判别，得到各眼镜种类对应的概率值。

人脸先验模型划分的种类包括佩戴眼镜的类别和非佩戴眼镜的类别，其中该佩戴眼镜的类别中包括眼镜种类，该眼镜种类中包括：近视镜、护目镜、太阳镜、眼镜框等眼镜种类，此处对眼镜的种类不做限定，本领域技术人员可以根据本实施例中列举的眼镜的种类进行添加或者替换。每一眼镜种类均算出一个概率值，其中概率值最大的眼镜种类对应的概率值与预置概率值进行比较。

需要说明的是，该人脸先验模型和该先验模型为相同的模型或不同的模型，上述实施例描述的是二者不同的情况。若该人脸先验模型与该先验模型为相同的模型，则通过该深度卷积神经网络训练模型之前的图像样本中包括人脸图像样本和非人脸图像样本，其中人脸图像样本中包括佩戴有各种眼镜和没有佩戴眼镜的人脸图像样本。这样只需存储一个模型，能够节省存储空间，同时通过一个模型可以即判别面部类别又识别眼镜，进而提高了判别的效率。

比对识别模块506，用于若概率值最大的眼镜种类对应的概率值大于预置概率值，则确定该面部图像中面部佩戴眼镜的种类为该概率值最大的眼镜种类。

该预置概率值可以和前述预置极限值的数值相同，也可以不同，本实施例优选该预置概率值为80％。如果概率值最大的眼镜种类为太阳镜，则确定该面部图像中面部佩戴眼镜的种类为太阳镜。

比对识别模块506，还用于若概率值最大的眼镜种类对应的概率值小于该预置概率值，则通过该面部图像中该眼睛区域图像的特征与预置眼镜图像样本的特征之间的余弦比对结果，识别该面部图像中面部佩戴眼镜的种类。

在余弦比对之前，可选地，提取处理模块504还用于通过该深度卷积神经网络的全连接层可以提取该面部图像中该眼镜区域图像的特征，并同时提取多个眼镜图像样本的特征。提取处理模块504通过该深度卷积神经网络的全连接层提取的眼睛区域图像的特征，可以有效的描绘眼睛区域图像中眼镜的边缘、纹理与颜色，增加识别眼镜种类的准确性。

该眼镜图像样本的特征可以存储在终端内置的存储模块中，也可以存储在云端服务器上，其中该眼镜图像样本的特征中包括有不同眼镜种类的眼镜图像样本的特征。

可选地，比对识别模块506包括：比对模块、选取模块、统计模块、计算模块和识别模块；

比对模块，用于将该眼睛区域图像的特征与该眼镜图像样本的特征进行余弦相似度比对，算出该眼睛区域图像与各眼镜图像样本之间的余弦相似度值；

选取模块，用于根据算出的余弦相似度值，按照相似度由高到底的顺序，在该眼镜图像样本中选取预置数目的目标眼镜图像样本；

统计模块，用于对该目标眼镜图像样本中眼镜种类进行数量统计，并选取样本数量最多的眼镜种类作为目标眼镜种类；

选取模块，还用于在该目标眼镜图像样本中选取与目标眼镜种类对应的相似眼镜图像样本，并提取该眼睛区域图像与相似眼镜图像样本之间的余弦相似度值作为目标余弦相似度值；

计算模块，用于计算该目标余弦相似度值的平均值；

识别模块，用于若该平均值大于预置数值，则将该目标眼镜种类作为该面部图像中面部佩戴眼镜的种类。

该预置数值为大于或者等于50的数值，本实施例中优选地预置数值为50。余弦相似度值的数值越大，表示相似度越高。在实际应用中，选取模块按照算出的余弦相似度值，将眼镜图像样本由相似度高到相似度低进行排列，并由相似度高开始，挑出预置数目的目标眼镜图像样本。预置数目的数值可以任意选取，当然选取的样本的数目多，则最后判别的准确性就会提高。本实施例优选的预置数目为20个。

确定模块501若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜。

在确定面部图像中面部没有佩戴眼镜之后，进程结束。

本发明实施例中，确定模块501通过人脸检测以及人脸关键点定位确定待识别图像中的该面部图像，并将该待识别图像中的该面部图像设定为检测区域，扩大模块502根据预置倍数扩大该检测区域，以使该面部图像中包括整体面部轮廓区域的图像，矫正模块503对该检测区域中眼睛区域进行矫正，以使该面部图像中该眼睛区域内的双眼处于同一水平线上，提取处理模块504通过该人脸关键点定位确定该眼睛区域的位置，并根据该眼睛区域的位置，在该面部图像中提取该眼睛区域图像，判别处理模块505通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值，判别处理模块505若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值，确定模块501若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜，判别处理模块505通过该深度卷积神经网络中该人脸先验模型，对该眼睛区域图像中佩戴眼镜的种类进行分类判别，得到各眼镜种类对应的概率值，比对识别模块506若概率值最大的眼镜种类对应的概率值大于预置概率值，则确定该面部图像中面部佩戴眼镜的种类为该概率值最大的眼镜种类，比对识别模块506若概率值最大的眼镜种类对应的概率值小于该预置概率值，则通过该面部图像中该眼睛区域图像的特征与预置眼镜图像样本的特征之间的余弦比对结果，识别该面部图像中面部佩戴眼镜的种类，确定模块501若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜，这样在复杂的成像情况下，通过预置的深度卷积神经网络仅对面部图像中眼睛区域图像进行识别，可以准确的识别是否有佩戴眼镜，同时可以识别出眼镜的种类，增加了识别佩戴眼镜的准确性，进而精准地辅助实现人脸验证和人脸搜索等功能。

图6是本发明实施例五提供的执行基于图像的眼镜识别方法的电子设备的硬件结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该电子设备可以为计算机、平板电脑、个人数字助理(PDA，Personal Digital Assistant)、人脸考勤设备、人脸防盗系统等识别人脸图像的电子设备。

该电子设备包括：一个或者多个处理器610、存储器620以及一个或者多个程序(模块)。其中该一个或者多个程序(模块)存储在该存储器620中。该电子设备还包括：输入装置630和输出装置640，处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线650连接为例。

当被该一个或者多个处理器610执行时，该处理器610执行以下操作：

通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值，其中该面部类类别包括人脸类别和非人脸类别；

若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；

若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜；

若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜。

本发明实施中，处理器610用于通过预置的深度卷积神经网络中先验模型，对待检测的面部图像进行分类判别，得到该面部图像的面部类别和该面部类别对应的概率值，其中该面部类类别包括人脸类别和非人脸类别，若该面部类别为人脸类别所对应的概率值大于预置极限值，则通过该深度卷积神经网络中人脸先验模型，对该面部图像中眼睛区域图像进行分类判别，得到各类别分别对应的概率值；若概率值最大的类别为佩戴眼镜类别，则确定该面部图像中面部有佩戴眼镜；若概率值最大的类别为非佩戴眼镜类别，则确定该面部图像中面部没有佩戴眼镜，这样在复杂的成像情况下，通过预置的深度卷积神经网络先判别面部图像是否为人脸的图像，当判别是人脸的图像时，对面部图像中眼睛区域图像进行识别，可以准确的识别是否有佩戴眼镜，增加了识别佩戴眼镜的准确性，进而精准地辅助实现人脸验证和人脸搜索等功能。

在本申请所提供的多个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。例如，以上所描述的基于图像的眼镜识别方法及装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的基于图像的眼镜识别方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。