疲劳状态判断方法、电子设备及计算机可读存储介质与流程
本发明涉及汽车安全技术领域，具体涉及一种疲劳状态判断方法、电子设备及计算机可读存储介质。
背景技术：
随着社会的不断进步，汽车已经成为当今世界的主要交通工具。然而随着汽车数量上升的同时，交通事故数量也随之猛增，特别是由于驾驶员疲劳驾驶引起的交通事故频率更是不断攀升。
驾驶员疲劳驾驶状态的检测成为当今研究的热点。存在如下多种方法可以用于检测驾驶员疲劳驾驶状态。例如，通过监控驾驶员的驾驶时间长度来确定驾驶员是否处于疲劳驾驶状态，但是由于每个人的个人体质、精神状态不同，同时在驾驶期间可能更换驾驶员导致这种检测方法准确性不高。
根据生理学显示，人的疲劳状态特征反映在人的面部表情中，因此基于机器视觉特征来确定驾驶员是否处于疲劳驾驶状态是目前研究的重要方向。精确地识别用于确定驾驶员是否处于疲劳状态的人脸特征点是基于视觉特征的检测技术的重点，因为人脸特征点识别的准确性直接影响到后续对疲劳驾驶状态的确定。
技术实现要素：
本发明的目的在于，针对上述现有技术中的不足，提供一种疲劳状态判断方法及装置，以解决确定疲劳驾驶状态的准确性较低的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种疲劳状态判断方法，该方法用于确定用户的疲劳状态，该方法可以包括：
获取人脸图像中多个视觉特征区域的视觉特征点，该人脸图像是通过当前采集用户的脸部来获得的；
基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上；
根据视觉特征点确定视觉特征参数，该视觉特征参数用于表示视觉特征区域的轮廓形态信息；
根据视觉特征参数确定用户是否处于疲劳状态。
可选地，所述根据视觉特征点确定视觉特征参数，包括：
根据每个视觉特征区域的轮廓边缘上的视觉特征点与预先获得的平均人脸视觉特征点之间的距离，对平均人脸视觉特征点进行修正，得到修正后的视觉特征点；
根据修正后的视觉特征点确定视觉特征参数。
可选地，在所述获取人脸图像中多个视觉特征区域的视觉特征点之前，还包括：
采集用户的初始人脸图像；
采用去噪模型降低初始人脸图像的噪声，得到人脸图像，该人脸图像保留初始人脸图像的细节特征。
可选地，所述基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上，包括：
采用边缘检测算法识别视觉特征区域的轮廓边缘；
计算视觉特征点的局部纹理值与所识别出的轮廓边缘上的每个点的局部纹理值之间的相似度；
根据相似度，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上。
可选地，所述根据相似度，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上，包括：
从所识别出的轮廓边缘上的各个点中选择局部纹理值与视觉特征点的局部纹理值之间具有最高相似度的点；
将视觉特征点移动到具有最高相似度的点。
可选地，所述根据视觉特征参数确定用户是否处于疲劳状态，包括：
将视觉特征参数与预定阈值进行比较，得到比较结果，该预定阈值为表征用户处于疲劳状态下时针对轮廓形态信息而预先设定的阈值；
根据比较结果，确定用户是否处于疲劳状态。
可选地，视觉特征区域包括眼睛部位，
所述根据视觉特征点确定视觉特征参数，包括：
根据眼睛部位的视觉特征点确定眼睛部位的轮廓形态信息；
根据眼睛部位的轮廓形态信息确定眼睛在预定时间段内闭合时间所占的比例或者眼睛在预定时间段内张开度的平均值。
可选地，视觉特征区域包括嘴巴部位，
所述根据视觉特征点确定视觉特征参数，包括：
根据嘴巴部位的视觉特征点确定嘴巴部位的轮廓形态信息；
根据嘴巴部位的轮廓形态信息确定嘴巴在预定时间段内打哈欠的次数或者嘴巴在预定时间段内打哈欠的时间长度。
第二方面，本发明实施例还提供了一种疲劳状态判断装置，该装置用于确定用户的疲劳状态，该装置可以包括：
视觉特征点获取模块，用于获取人脸图像中多个视觉特征区域的视觉特征点，该人脸图像是通过当前采集用户的脸部来获得的；
视觉特征点移动模块，用于基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上；
视觉特征参数确定模块，用于根据视觉特征点确定视觉特征参数，该视觉特征参数用于表示视觉特征区域的轮廓形态信息；
疲劳状态确定模块，用于根据视觉特征参数确定用户是否处于疲劳状态。
可选地，视觉特征参数确定模块，具体用于：
根据每个视觉特征区域的轮廓边缘上的视觉特征点与预先获得的平均人脸视觉特征点之间的距离，对平均人脸视觉特征点进行修正，得到修正后的视觉特征点；
根据修正后的视觉特征点确定视觉特征参数。
可选地，所述装置还包括：
图像采集模块，用于采集用户的初始人脸图像；
图像去噪模块，用于采用去噪模型降低初始人脸图像的噪声，得到人脸图像，该人脸图像保留初始人脸图像的细节特征。
可选地，视觉特征点移动模块，具体用于：
采用边缘检测算法识别视觉特征区域的轮廓边缘；
计算视觉特征点的局部纹理值与所识别出的轮廓边缘上的每个点的局部纹理值之间的相似度；
根据相似度，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上。
可选地，视觉特征点移动模块，具体用于：
从所识别出的轮廓边缘上的各个点中选择局部纹理值与视觉特征点的局部纹理值之间具有最高相似度的点；
将视觉特征点移动到具有最高相似度的点。
可选地，疲劳状态确定模块，具体用于：
将视觉特征参数与预定阈值进行比较，得到比较结果，该预定阈值为表征用户处于疲劳状态下时针对轮廓形态信息而预先设定的阈值；
根据比较结果，确定用户是否处于疲劳状态。
可选地，视觉特征区域包括眼睛部位，
视觉特征参数确定模块，具体用于：
根据眼睛部位的视觉特征点确定眼睛部位的轮廓形态信息；
根据眼睛部位的轮廓形态信息确定眼睛在预定时间段内闭合时间所占的比例或者眼睛在预定时间段内张开度的平均值。
可选地，视觉特征区域包括嘴巴部位，
视觉特征参数确定模块，具体用于：
根据嘴巴部位的视觉特征点确定嘴巴部位的轮廓形态信息；
根据嘴巴部位的轮廓形态信息确定嘴巴在预定时间段内打哈欠的次数或者嘴巴在预定时间段内打哈欠的时间长度。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并且能够在处理器上运行的程序，处理器执行该程序时实现如前述第一方面所述的疲劳状态判断方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有程序，该程序被处理器执行时实现如前述第一方面所述的疲劳状态判断方法。
本发明的有益效果包括：
本发明实施例通过获取人脸图像中多个视觉特征区域的视觉特征点，基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上，根据视觉特征点确定视觉特征参数，根据视觉特征参数确定用户是否处于疲劳状态。通过采用边缘检测算法确定视觉特征区域的轮廓边缘，然后将视觉特征点移动到轮廓边缘上，再根据移动后的视觉特征点所对应的视觉特征参数来确定用户是否处于疲劳状态，该方法采用边缘检测算法对视觉特征点进行修正，提高了视觉特征点的准确性，从而提高了确定用户疲劳状态的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一实施例提供的疲劳状态判断方法的流程示意图；
图2a为本发明实施例所获取的人脸图像示意图；
图2b为本发明实施例所确定的人脸图像视觉特征点示意图；
图3为本发明另一实施例提供的疲劳状态判断方法的流程示意图；
图4为本发明又一实施例提供的疲劳状态判断方法的流程示意图；
图5为本发明一实施例提供的疲劳状态判断装置的示意图；
图6为本发明另一实施例提供的疲劳状态判断装置的示意图；
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
可采用asm(activeshapemodel，主动形状模型)来识别人脸特征点，asm是一种基于统计的点分布模型(pointdistributionmodel，pdm)，在pdm中，物体的几何形状可以通过若干关键特征点的坐标按照一定次序串联形成的向量来表示。
然而，人脸特征点通常都在人脸图像中各个结构区域的边缘上，但是asm没有考虑特征点在图像结构边缘上这一因素，导致采用asm所得到的人脸特征点的准确性较低，从而导致对疲劳驾驶状态的确定的准确性较低。基于此，本发明提供一种疲劳状态判断方法，图1为本发明一实施例提供的疲劳状态判断方法的流程示意图，如图1所示，该方法用于确定用户的疲劳状态，该方法包括：
步骤101、获取人脸图像中多个视觉特征区域的视觉特征点。
其中，视觉特征点用于表示视觉特征区域的轮廓特征，人脸图像是通过当前采集用户的脸部来获得的。
为了识别已经获取的人脸图像中的视觉特征区域(例如，眼睛部位、嘴巴部位、眉毛部位、脸部部位、鼻子部位等)的轮廓形态信息(例如，眼睛的张开度、嘴巴的哈欠频率等)，首先需要获取视觉特征区域的轮廓特征，从而根据视觉特征区域的轮廓特征来确定视觉特征区域的轮廓形态信息。通常，通过获取人脸图像中表示视觉特征区域的轮廓特征的视觉特征点来实现。
在实际应用中，人脸图像是利用摄像装置(例如，摄像机、图像传感器、相机等)通过当前采集用户的脸部来获得的。例如，在确定车辆中驾驶员的疲劳状态时，可以通过安装在车辆前部的车载相机，实时采集驾驶员的脸部图像，然后再对所采集的脸部图像进行进一步处理。在人脸图像中的各种视觉特征区域中，通常可以利用眼睛和/或嘴巴的轮廓形态信息来确定驾驶员的疲劳状态。另外，在获取视觉特征点的过程中，除了获取眼睛部位和/或嘴巴部位的视觉特征点之外，还通过获取眉毛部位、脸部部位、鼻子部位等的视觉特征点来进行位置定位，使得最终获得的各个部位的视觉特征点位置更加准确。
在获取人脸图像后，可以采用asm来识别人脸图像中的视觉特征点。
asm是基于统计学习模型的特征点提取的一种方法。asm算法包括形状建模(训练)和形状匹配(搜索)两部分。在应用于检测人脸图像视觉特征点时，形状建模是利用大量已经确定人脸图像视觉特征点的图像来进行学习训练以建立平均人脸模型，然后在对新获取的人脸图像进行识别时，利用已经建立的平均人脸模型，进行形状匹配，以搜索得到新获取的人脸图像上的视觉特征点。
如果需要对人脸图像的视觉特征区域进行asm训练，首先需要搜集n副含有人脸面部区域的样本图像。为了使得训练后的平均人脸图像具有普适性，通常会选取较大数量的训练图像，例如，可以采用数百甚至数千个以上的训练图像(也就是说，n取值为几百或者几千或者更大)，并且训练图像中的人脸形态尽可能呈现各种形状。
对于任意一副样本图像，需要记录若干个(例如，k个)视觉特征点的位置坐标信息，并将其进行存储。通常，k可以为几十、几百或者其他数值，这取决于视觉特征区域的轮廓特征的复杂程度，轮廓特征越复杂，k值应当越大，反之，轮廓特征越简单，k值可以越小。当k值越大时，对模型训练的计算量就越大。
可以将一副人脸图像中的k个视觉特征点的坐标组成一个2k维向量：
其中，
为了研究训练图像的形状变化，比较不同形状中相对应的点，应首先对这些图像进行对齐。对齐是指以某个形状为基准，对其他形状进行旋转、缩放和平移，以使其他形状尽可能地与基准形状接近的过程。
接下来将根据对齐后的图像数据进行pca(principalcomponentanalysis，主成分分析)分析。pca分析是数据分析的常用方法,其原理是：反映对象特征的多个属性往往存在线形相关，所以可以找到一个合理的方法，将此多个属性变换为线性无关的另一组属性，变换后的属性个数小于最初的属性的个数，也就是起到了数据降维的作用，这样可以减少数据分析的复杂度。
上述由视觉特征点坐标形成的2k维向量维数很高，该2k维向量中每一维向量彼此是有很强的相关性的，彼此的位置距离是大致不变的。因此可以使用pca来进行降维，提取出主成分。于是任意一组视觉特征点集可以看做是主成分向量空间的一个坐标点，而坐标原点被认为是这些点集的平均，这样任意点就是坐标原点加上一个向量。即：
其中，ai为上述由视觉特征点坐标形成的2k维向量；
上述的平均形状向量
在asm匹配迭代过程中，为了能在每一次迭代过程中为每个视觉特征点寻找新的位置，需要为它们分别建立局部特征。对于用于训练的第j个人脸图像中的第i个视觉特征点，其局部特征的创建过程如下：沿着垂直于该点前后两个视觉特征点连线的方向上分别选择m个像素构成一个长度为2m+1的向量，对该向量所包含的像素的灰度值求导得到一个局部纹理值gij，然后对其他训练样本图像上的第i个特征点进行同样的操作，便可以得到第i个视觉特征点的n个局部纹理值gi1、gi2、…、gin，求取它们的平均值：
以及方差：
这样得到第i个特征点的局部特征。对其他所有的特征点进行相同的操作，就可得到每个特征点的局部特征。这样，一个特征点的新的特征g与其训练好的平均人脸的局部特征之间的相似度就可以通过如下的马氏距离f来表示：
接下来可以用平均人脸往图像上去匹配，由于第一次可能视觉特征点都匹配不准确，接下来对每个视觉特征点进行移动，移动到最可能是视觉特征点的位置。由于每个视觉特征点移动的随机性已经破坏了人脸的形状，需要对平均人脸模型进行仿射变换，使得变换后的平均人脸图像最接近当前视觉特征点所对应的人脸形状，并且将经变换后的平均人脸图像的视觉特征点作为当前期望的视觉特征点。
对平均人脸模型的仿射变换如下：
经变换后的平均人脸图像视觉特征点为x，其中，
其中，s表示对人脸图像的缩放操作，θ表示对人脸图像进行旋转操作，xt、yt分别表示对人脸图像进行横向和纵向平移操作。
如果当前视觉特征点为y，为了使得变换后的平均人脸图像最接近当前视觉特征点y所对应的人脸形状。可以通过使得当前视觉特征点与经变换后的平均人脸图像视觉特征点之间的欧氏距离最小，也就是通过使下式的值最小来确定仿射变换中的各个参数：
通过仿射变换后的平均人脸图像视觉特征点与经过视觉特征点移动后的人脸视觉特征点最接近的结果即为最后识别的人脸视觉特征点，该视觉特征点保留了人脸的平均形状。
步骤102、基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上。
图像边缘信息主要集中在高频段，通常说图像锐化或检测边缘，实质就是高频滤波。微分运算是求信号的变化率，具有加强高频分量的作用。在空间域运算中来说，对图像的锐化就是计算微分。由于数字图像的离散信号，微分运算就变成计算差分或梯度。图像处理中有多种边缘检测(梯度)算子，常用的包括普通一阶差分、robert(罗伯特)算子(交叉差分)、sobel(索贝尔)算子等等，都是基于寻找梯度强度的算子。拉普拉斯算子(二阶差分)是基于过零点检测，通过计算梯度、设置阀值，得到边缘图像。
由于asm没有考虑视觉特征点在图像结构边缘上这一因素，导致仅采用asm所得到的人脸视觉特征点的准确性较低，从而导致对疲劳驾驶状态的确定的准确性较低。因此，在本发明中，可以采用预设边缘检测算法来识别每个视觉特征区域的轮廓边缘，然后将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上。移动后的视觉特征点考虑了图像结构边缘的因素，因此使得视觉特征点的位置更加准确。详细步骤将在下文中进行描述。
本发明中所采用的预设边缘检测算法可以为上述边缘检测算法中的任何一种。特别地，本发明中所采用的预设边缘检测算法可以为坎尼(canny)边缘检测算法。canny边缘检测算法是一种多级检测算法。该边缘检测算法的三大准则如下：1.低错误率的边缘检测，检测算法应该精确地找到图像中的尽可能多的边缘，尽可能的减少漏检和误检；2.最优定位，检测的边缘点应该精确地定位于边缘的中心；3.图像中的任意边缘应该只被标记一次，同时图像噪声不应产生伪边缘。
如图2a所示，示出了所获取的人脸图像的示意图。通过采用asm算法，并且结合上述的边缘检测算法，可以获得人脸图像中位于视觉特征区域的轮廓边缘上的视觉特征点，如图2b所示。图2b示出了表示眉毛部位的轮廓特征的多个视觉特征点201、202；表示眼睛部位的轮廓特征的多个视觉特征点203、204；表示鼻子部位的轮廓特征的多个视觉特征点205；表示嘴巴部位的轮廓特征的多个视觉特征点206；以及表示脸部部位的轮廓特征的多个视觉特征点207。如上所述，在视觉特征点的搜索过程中，视觉特征点201、202、205、207有助于各个视觉特征区域的视觉特征点的定位，视觉特征点203、204以及206可以用于确定表示视觉特征区域的轮廓形态信息的特征参数。
步骤103、根据视觉特征点确定视觉特征参数。
其中，视觉特征参数用于表示视觉特征区域的轮廓形态信息。
在将视觉特征点移动到视觉特征区域的边缘上之后，需要根据移动后的视觉特征点来确定用于表示视觉特征区域的轮廓形态信息的特征参数。对于眼睛部位而言，眼睛的闭合时间一定程度地反映疲劳，因此可以用物理量perclos(percentageofeyelidclosureoverthepupil,overtime，单位时间眼睛闭合比例)作为用于表示眼睛部位的轮廓形态信息的特征参数，perclos定义为单位时间内(一般取1分钟或者30秒)眼睛闭合超过一定比例(例如，70％或80％)所占的时间比例，其中，p70：指眼睑遮住瞳孔的面积超过70％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例；p80：指眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。p80是公认最能反映人的疲劳程度。另外，也可以将眼睛的张开度作为用于表示眼睛部位的轮廓形态信息的特征参数，眼睛的张开度是一段时间内眼睛张开程度的平均值。对于嘴巴部位而言，可以将嘴巴的哈欠频率作为用于表示嘴巴部位的轮廓形态信息的特征参数。哈欠频率是指：设定嘴唇张开阈值，提取嘴巴部位的视觉特征点以计算嘴唇张开程度，当嘴唇张开程度大于嘴唇张开的阈值时就认为用户在打哈欠，统计一段时间内打哈欠的次数或者时间长度作为哈欠频率。
步骤104、根据视觉特征参数确定用户是否处于疲劳状态。
在确定特征参数(例如，perclos、眼睛的张开度、嘴巴的哈欠频率等)之后，可以确定用户是否处于疲劳状态。例如，当perclos大于设置的阈值或者眼睛的张开度小于设置的阈值、或者嘴巴的哈欠频率大于设置的阈值则认为用户已经处于疲劳状态。
综上所述，本发明实施例通过获取人脸图像中多个视觉特征区域的视觉特征点，基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上，根据视觉特征点确定视觉特征参数，根据视觉特征参数确定用户是否处于疲劳状态。通过采用边缘检测算法确定视觉特征区域的轮廓边缘，然后将视觉特征点移动到轮廓边缘上，再根据移动后的视觉特征点所对应的视觉特征参数来确定用户是否处于疲劳状态，该方法采用边缘检测算法对视觉特征点进行修正，提高了视觉特征点的准确性，从而提高了确定用户疲劳状态的准确性。
图3为本发明另一实施例提供的疲劳状态判断方法的流程示意图，如图3所示，该方法用于确定用户的疲劳状态，该方法包括：
步骤301、采集用户的初始人脸图像。
如步骤101中所述，在实际应用中，人脸图像是利用摄像装置，通过当前采集用户的脸部来获得的。例如，在确定车辆中驾驶员的疲劳状态时，可以通过安装在车辆前部的车载相机，实时采集驾驶员的脸部图像。当前采集到的初始人脸图像通常含有大量的噪声，如果将其直接用于确定视觉特征区域的视觉特征点，那么所确定的视觉特征点的位置由于受到噪声影响而往往不准确，因此，在获取人脸图像中视觉特征区域的视觉特征点之前，还需要进行如下所述的去噪处理。
步骤302、采用去噪模型降低初始人脸图像的噪声，得到人脸图像。
其中，人脸图像保留初始人脸图像的细节特征。
在采集到用户的初始人脸图像之后，可以采用去噪模型来降低初始人脸图像的噪声，得到用于后续处理的人脸图像。可以利用各种已知的图像去噪模型来降低初始人脸图像的噪声。特别地，可以利用tv(全变差)模型对初始人脸图像进行去噪处理，以获得光滑的人脸图像。tv模型不但能降低图像中原有的噪声，而且能有效地保留图像的细节特征(例如，细节特征可以包括纹理特征和边缘特征等)，是图像处理中的经典模型。
tv模型是具有全变差作为正则项的变分模型，如下：
其中λ＞0为拉格朗日乘子，d为求导算符，u和f为图像函数，ω为图像定义区域，bv表示有界变差函数空间。tv模型的解存在且唯一，其对应的欧拉-拉格朗日方程为：
其中div表示求散度算符。
然后用最快下降流求解，可以得到：
该方程的解即为去噪后光滑的图像。
步骤303、获取人脸图像中多个视觉特征区域的视觉特征点。
其中，视觉特征点用于表示视觉特征区域的轮廓特征，人脸图像是通过当前采集用户的脸部来获得的。
步骤304、基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上。
步骤305、根据视觉特征点确定视觉特征参数。
其中，视觉特征参数用于表示视觉特征区域的轮廓形态信息。
步骤306、根据视觉特征参数确定用户是否处于疲劳状态。
本步骤303至步骤306分别与步骤101至步骤104类似，在此不再赘述。
需要说明的是，在步骤303中所指的人脸图像为已经采用去噪模型降低噪声的人脸图像。
综上所述，本发明实施例通过采集用户的初始人脸图像，采用去噪模型降低初始人脸图像的噪声，得到人脸图像，然后获取人脸图像中多个视觉特征区域的视觉特征点，基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上，根据视觉特征点确定视觉特征参数，根据视觉特征参数确定用户是否处于疲劳状态。通过采用预设去噪模型降低初始人脸图像的噪声，减少了噪声对后续图像处理的影响，尤其是tv去噪模型属于全局去噪模型，在对图像光滑的同时保留了图像的细节特征，譬如边缘特征和纹理特征；采用边缘检测算法确定视觉特征区域的轮廓边缘，然后将视觉特征点移动到轮廓边缘上，再根据移动后的视觉特征点所对应的视觉特征参数来确定用户是否处于疲劳状态，该方法通过采用去噪模型降低图像噪声并且采用边缘检测算法对视觉特征点进行修正，提高了所确定的视觉特征点的准确性，从而提高了确定用户疲劳状态的准确性。
图4为本发明又一实施例提供的疲劳状态判断方法的流程示意图，如图4所示，该方法用于确定用户的疲劳状态，该方法包括：
步骤401、获取人脸图像中多个视觉特征区域的视觉特征点。
其中，视觉特征点用于表示视觉特征区域的轮廓特征，人脸图像是通过当前采集用户的脸部来获得的。
本步骤401与步骤101类似，在此不在赘述。
步骤402、采用边缘检测算法识别视觉特征区域的轮廓边缘。
在获取视觉特征区域的视觉特征点之后，可以对视觉特征区域引入边缘检测算法来识别轮廓边缘。
在人脸图像中眼睛部位的视觉特征点周围选取一个包括该视觉特征点的局部区域，该局部区域面积需要大于眼睛部位的视觉特征点覆盖面积，例如该局部区域面积为眼睛部位的视觉特征点覆盖面积的2倍、3倍或4倍。利用canny边缘检测算法识别出眼睛部位的外部轮廓。
在人脸图像中嘴巴部位的视觉特征点周围选取一个包括该视觉特征点的局部区域，该局部区域面积需要大于嘴巴部位的视觉特征点覆盖面积，例如该区域面积为嘴巴部位的视觉特征点覆盖面积的1.5倍、2倍或2.5倍。利用canny边缘检测算法识别出嘴巴部位的外部轮廓。
在人脸图像中人脸轮廓部位的视觉特征点周围选取一个包括该视觉特征点的局部区域，该局部区域面积需要大于人脸轮廓部位的视觉特征点覆盖面积，例如该区域面积为人脸轮廓部位的视觉特征点覆盖面积的1.1倍、1.2倍或1.3倍。利用canny边缘检测算法识别出人脸轮廓部位的边缘。
在人脸图像中眉毛部位的视觉特征点周围选取一个包括该视觉特征点的局部区域，该局部区域面积需要大于眉毛部位的视觉特征点覆盖面积，例如该区域面积为眉毛部位的视觉特征点覆盖面积的1.5倍、2倍或3倍。利用canny边缘检测算法识别出眉毛部位的外部轮廓。
在人脸图像中鼻子部位的视觉特征点周围选取一个包括该视觉特征点的局部区域，该局部区域面积需要大于鼻子部位的视觉特征点覆盖面积，例如该区域面积为鼻子部位的视觉特征点覆盖面积的1.5倍、2倍或3倍。利用canny边缘检测算法识别出鼻子部位的外部轮廓。
需要说明的是，为了确定用户的疲劳状态，可以采用预定边缘检测算法(例如canny边缘检测算法)识别至少一个视觉特征区域的轮廓。也就是说，上述对眼睛部位、嘴巴部位、人脸轮廓部位、眉毛部位、鼻子部位的轮廓的边缘检测，可以仅执行其中的一部分边缘检测。例如，可以执行对眼睛部位、嘴巴部位中的至少一个的轮廓的边缘检测。另外，还可以执行对人脸轮廓部位、眉毛部位、鼻子部位中的至少一个的轮廓的边缘检测。
步骤403、计算视觉特征点的局部纹理值与所识别出的轮廓边缘上的每个点的局部纹理值之间的相似度。
通过步骤101中所述的局部纹理值的计算方法，分别计算眼睛部位、嘴巴部位、人脸轮廓部位、眉毛部位和鼻子部位的视觉特征点的局部纹理值和步骤402中所识别出的对应轮廓边缘上的每个点的局部纹理值。
通过步骤101中所述的局部纹理值的相似度计算方法，分别计算眼睛部位、嘴巴部位、人脸轮廓部位、眉毛部位和鼻子部位的视觉特征点的局部纹理值与步骤402中所识别出的对应轮廓边缘上的每个点的局部纹理值之间的相似度。
步骤404、根据相似度，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上。
在根据步骤404计算出相似度之后，针对眼睛部位、嘴巴部位、人脸轮廓部位、眉毛部位和鼻子部位的当前视觉特征点，从所识别出的对应轮廓边缘上的各个点中选择其局部纹理值与当前视觉特征点的局部纹理值之间具有最高相似度的点，然后将当前视觉特征点移动到对应的具有最高相似度的点。对于属于每个视觉特征区域的每个视觉特征点均执行上述操作，从而实现了将视觉特征点移动到所识别出的轮廓边缘上。
步骤405、根据视觉特征点确定视觉特征参数。
其中，视觉特征参数用于表示视觉特征区域的轮廓形态信息。
可以根据步骤404中所确定的移动到所识别出的轮廓边缘上的视觉特征点来确定视觉特征参数。
可选地，可以根据每个视觉特征区域的轮廓边缘上的视觉特征点与预先获得的平均人脸视觉特征点之间的距离，对平均人脸视觉特征点进行修正，得到修正后的视觉特征点，然后根据修正后的视觉特征点确定视觉特征参数。具体地，可以根据轮廓边缘上的视觉特征点，对预先获得的平均人脸特征点进行仿射变换，使得经仿射变换的平均人脸特征点与轮廓边缘上的视觉特征点之间的距离(也就是步骤101中所述的欧氏距离)最小，然后将经仿射变换的平均人脸特征点作为修正后的视觉特征点，然后根据该修正后的视觉特征点确定视觉特征参数。本步骤中的仿射变换的方法与步骤101中所述的仿射变换相同，在此不再赘述。
步骤406、根据视觉特征参数确定用户是否处于疲劳状态。
步骤405和步骤406分别与步骤103和步骤104类似，在此不再赘述。
需要说明的是，可选地，步骤406还可以包括将视觉特征参数与预定阈值进行比较，得到比较结果，该预定阈值为为表征用户处于疲劳状态下时针对轮廓形态信息而预先设定的阈值；然后根据比较结果，确定用户是否处于疲劳状态。
可选地，在利用本发明所述方法判断驾驶员的疲劳状态时，若确定驾驶员不处于疲劳状态，则所述方法从头开始再次重新确定驾驶员的疲劳状态。若确定驾驶员当前处于疲劳状态时，可以对驾驶员进行疲劳提醒，提醒驾驶员需要将车停靠在路边休息一段时间后再继续驾车。例如，可以通过语音或者其他形式来提醒驾驶员。可选地，若提醒驾驶员处于疲劳状态后，在未来预定时间段(例如，2分钟或3分钟或5分钟)内确定驾驶员仍然处于疲劳状态，因此可以确定驾驶员在疲劳状态下继续驾驶车辆，此时可以自动将疲劳驾驶图像信息发送到其他设备(例如，预定的与驾驶员相关的人员的移动终端或者交通监管部门的终端)。
综上所述，本发明实施例采用边缘检测算法识别所获取的人脸图像中视觉特征区域的轮廓边缘，然后通过计算局部纹理值以及相似度，将视觉特征点移动到轮廓边缘上，再根据轮廓边缘上的视觉特征点所对应的视觉特征区域的轮廓形态信息的特征参数与预定阈值来确定用户是否处于疲劳状态，该方法通过采用边缘检测算法对视觉特征点进行修正，结合了图像结构的边缘信息，同时利用仿射变换，保证了所确定的视觉特征点对应于平均人脸形状，从而提高了所确定的视觉特征点的准确性，并且提高了确定用户疲劳状态的准确性。
图5为本发明一实施例提供的疲劳状态判断装置的示意图，如图5所示，该装置用于确定用户的疲劳状态，该装置可以包括：
视觉特征点获取模块501，用于获取人脸图像中多个视觉特征区域的视觉特征点，该人脸图像是通过当前采集用户的脸部来获得的；
视觉特征点移动模块502，用于基于边缘检测算法确定每个视觉特征区域的轮廓边缘，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上；
视觉特征参数确定模块503，用于根据视觉特征点确定视觉特征参数，该视觉特征参数用于表示视觉特征区域的轮廓形态信息；
疲劳状态确定模块504，用于根据视觉特征参数确定用户是否处于疲劳状态。
可选地，视觉特征参数确定模块503，具体用于：
根据每个视觉特征区域的轮廓边缘上的视觉特征点与预先获得的平均人脸视觉特征点之间的距离，对平均人脸视觉特征点进行修正，得到修正后的视觉特征点；
根据修正后的视觉特征点确定视觉特征参数。
可选地，如图6所示，该疲劳状态判断装置还包括：
图像采集模块505，用于采集用户的初始人脸图像；
图像去噪模块506，用于采用去噪模型降低初始人脸图像的噪声，得到人脸图像，该人脸图像保留初始人脸图像的细节特征。
可选地，视觉特征点移动模块502，具体用于：
采用边缘检测算法识别视觉特征区域的轮廓边缘；
计算视觉特征点的局部纹理值与所识别出的轮廓边缘上的每个点的局部纹理值之间的相似度；
根据相似度，将属于每个视觉特征区域的视觉特征点移动到该视觉特征区域的轮廓边缘上。
可选地，视觉特征点移动模块502，具体用于：
从所识别出的轮廓边缘上的各个点中选择局部纹理值与视觉特征点的局部纹理值之间具有最高相似度的点；
将视觉特征点移动到具有最高相似度的点。
可选地，疲劳状态确定模块504，具体用于：
将视觉特征参数与预定阈值进行比较，得到比较结果，该预定阈值为表征用户处于疲劳状态下时针对形态信息而预先设定的阈值；
根据比较结果，确定用户是否处于疲劳状态。
可选地，视觉特征区域包括眼睛部位，
视觉特征参数确定模块503，具体用于：
根据眼睛部位的视觉特征点确定眼睛部位的轮廓形态信息；
根据眼睛部位的轮廓形态信息确定眼睛在预定时间段内闭合时间所占的比例或者眼睛在预定时间段内张开度的平均值。
可选地，视觉特征区域包括嘴巴部位，
视觉特征参数确定模块503，具体用于：
根据嘴巴部位的视觉特征点确定嘴巴部位的轮廓形态信息；
根据嘴巴部位的轮廓形态信息确定嘴巴在预定时间段内打哈欠的次数或者嘴巴在预定时间段内打哈欠的时间长度。
结合图1至图6描述的根据本发明实施例的疲劳状态判断方法和装置可以由电子设备700来实现。图7为本发明实施例提供的电子设备700的结构示意图。
电子设备700包括存储器701、处理器702及存储在存储器701上并可在处理器702上运行的程序。
在一个示例中，上述处理器702可以包括中央处理器(cpu)，或者专用集成电路(asic)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器701可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器701可包括hdd、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器701可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器701可在电子设备700的内部或外部。在特定实施例中，存储器701是非易失性固态存储器。在特定实施例中，存储器701包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
处理器702通过读取存储器701中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行上述实施例中的疲劳状态判断方法。
在一个示例中，电子设备700还可包括通信接口703和总线704。其中，如图7所示，存储器701、处理器702、通信接口703通过总线704连接并完成相互间的通信。
通信接口703主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。也可将通信接口703接入输入设备和/或输出设备。
总线704包括硬件、软件或两者，将电子设备700的部件彼此耦接在一起。举例来说而非限制，总线704可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线704可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有程序，该程序被处理器执行时实现上述实施例中的疲劳状态判断方法。
- 还没有人留言评论。精彩留言会获得点赞！