一种疲劳度检测方法及装置与流程
本申请涉及车联网及智能检测技术领域，尤其涉及一种疲劳度检测方法及装置。
背景技术：
交通工具在人们的出行过程中有着至关重要的地位，驾驶员的安全驾驶，也是人们出平安出行的必要保障。当驾驶员的驾驶时间过长时，驾驶员的精神状态经常会发生改变，由于驾驶员在生理、心理方面的疲劳而导致判断错误、操作失误以及不遵守交通规则等异常驾驶的行为也时有发生，这些行为往往会导致危险事故的发生。因此，驾驶员的疲劳检测成为了备受关注的事情。
当前，关于驾驶行为的疲劳检测方法主要分为以下三类：一、驾驶员佩戴多种仪器，从而获取驾驶员生理状态的检测方法；二、车上安装传感器，以获取驾驶行为特征的检测方法；三、基于计算机视觉的检测方法。其中，第一类疲劳检测方法中，由于需要驾驶员佩戴很多仪器，会造成驾驶员的不适，且可能造成驾驶行为受阻，因而难以真正实际应用；第二类疲劳检测方法中，需要在驾驶舱中安装多种传感器，但是其很可能存在器件测量误差，且硬件成本较高。第三类基疲劳检测方法相对来说是最具有前景和实用价值的方法，目前也存在一些基于计算机视觉的疲劳检测方法，但是大多基于perclos方法，通过计算连续闭眼帧数占总帧数的比例，或者在一定时间内眼睛闭合所占的时间比例来判定驾驶员的疲劳程度。然而，由于个体习惯的不同，有些人习惯眨眼，因而，仅依靠闭眼状态进行疲劳检测会存有误差，性能较低。
技术实现要素：
为解决现有技术的不足，本申请提出一种疲劳度检测方法及装置。
一方面，本申请提出一种疲劳度检测方法，包括：
拍摄视频片段；
按照时间维度检测所述视频片段中的各人脸图像；
提取所述各人脸图像中多个区域的特征点；
根据所述多个区域的特征点，确定相应人员的疲劳度。
可选的，方法还包括：
采集图像样本，提取所述图像样本中的haar-like特征；
根据adaboost算法对所述haar-like特征进行训练，得到人脸检测模型；
对应的，所述按照时间维度检测所述视频片段中的各人脸图像，包括：按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。
可选的，所述提取所述各人脸图像中多个区域的特征点，包括：
根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
可选的，所述根据所述多个区域的特征点，确定相应人员的疲劳度，包括：
采用预先训练的分析模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行分析，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头概率；
根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度。
可选的，所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度，包括：
所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，分别计算对应的疲劳值；
根据计算的各疲劳值，确定相应人员的疲劳度。
另一方面，本申请提出一种疲劳度检测装置，包括：
拍摄模块，用于拍摄视频片段；
检测模块，用于按照时间维度检测所述视频片段中的各人脸图像；
提取模块，用于提取所述各人脸图像中多个区域的特征点；
确定模块，用于根据所述多个区域的特征点，确定相应人员的疲劳度。
可选的，装置还包括：训练模块；
所述训练模块，用于采集图像样本，提取所述图像样本中的haar-like特征；根据adaboost算法对所述haar-like特征进行训练，得到人脸检测模型；
对应的，所述检测模块，具体用于按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。
可选的，所述提取模块包括：人脸对齐单元和提取单元；
所述人脸对齐单元，用于根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
所述提取单元，用于提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
可选的，所述确定模块包括检测单元和计算单元；
所述检测单元，用于采用预先训练的检测模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行检测，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头频率；
所述计算单元，用于根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。
可选的，所述计算单元具体用于：
所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；
根据计算的各疲劳值，确定相应人员的疲劳度。
本申请的优点在于：
本申请中，基于计算机视觉，通过检测时间维度上的多个人脸图像，提取各人脸图像中多个区域的特征点，并将各时刻的特征点所对应的疲劳值相关联，计算连续时间内的疲劳值，从而综合该多个区域所对应的疲劳值，最终确定相应人员的疲劳度，极大的提升了疲劳检测性能及检测准确率；同时，在疲劳检测过程中，无需待检测人员佩戴任何仪器，也无需在检测环境中布设传感器，不仅操作方便、不会对待检测人员造成任何干扰，而且减低了检测成本。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1为根据本申请实施方式的一种疲劳度检测方法流程图；
附图2为根据本申请实施方式的眼镜区域特征点的示意图；
附图3为根据本申请实施方式的嘴巴区域特征点的示意图；
附图4为根据本申请实施方式的下巴区域特征点的示意图；
附图5为根据本申请实施方式的不同α对应的疲劳度曲线示意图；
附图6为根据本申请实施方式的轻度疲劳的疲劳曲线示意图；
附图7为根据本申请实施方式的中度疲劳的疲劳曲线示意图；
附图8为根据本申请实施方式的重度疲劳的疲劳曲线示意图；
附图9为根据本申请实施方式的一种疲劳度检测装置框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决现有技术的不足，本申请提出一种可广泛应用于驾驶员疲劳检测的疲劳检测装置，仅需将其安装于车辆中，而无需驾驶员佩戴任何仪器，也无需在车辆中安装过多的传感器；基于计算机视觉的图像处理技术，通过拍摄含有驾驶员人脸图像的视频片段并进行处理，达到疲劳检测的目的；该过程中不仅不会对驾驶员造成干扰，而且使用方便、成本低廉。应当理解的是，该装置不限于对驾驶员进行疲劳检测，还可以对其他人员进行疲劳检测，以下对本申请的疲劳度检测方法及装置进行详述。
实施例一
根据本申请的实施方式，提出一种疲劳度检测方法，如图1所示，包括：
步骤101：拍摄视频片段；
具体的，拍摄含有待检测人员人脸图像的视频片段，优选的，视频片段的每帧中均含有待检测人员人脸图像。
步骤102：按照时间维度检测视频片段中的各人脸图像；
根据本申请的实施方式，该方法还包括：采集图像样本，提取图像样本中的haar-like特征；根据adaboost算法对提取的haar-like特征进行训练，得到人脸检测模型；
具体的，采集预设数量的图像样本，确定各图像样本的haar-like特征模板，将haar-like特征模板在图像子窗口中扩展(平移伸缩)得到各图像样本的矩形特征，包括二邻接矩形、三邻接矩形、四邻接矩形等；采用积分图加速计算各矩形特征的特征值，并根据adaboost算法对计算的各特征值进行训练，得到多个弱分类器，将该多个弱分类器线性组合，得到一个强分类器，并作为人脸检测模型；
其中，haar-like特征模板内只有白色和黑色两种矩形，相应的，得到的矩形特征的特征值为白色矩形像素和减去黑色矩形像素和；
进一步的，采用积分图加速计算各矩形特征的特征值，包括：使用与原图像样本大小相同的二维矩阵，作为该原图像样本的积分图像，积分图像中任意一点的值是该点与图像左上角所围成的矩形区域中所有点的像素之和；基于该积分图像，可快速的计算各特征的特征值。
根据本申请的实施方式，步骤102包括：按照时间维度，采用所述人脸检测模型对拍摄的视频片段的各帧图像进行检测，得到相应的各人脸图像。
步骤103：提取各人脸图像中多个区域的特征点；
根据本申请的实施方式，步骤103包括：
步骤103-1：根据人脸对齐算法分别对检测的各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
其中，人脸对齐算法具体为ensembleofregressiontress算法，简称ert算法；该方法通过建立一个级联的残差回归树来使人脸形状从当前形状(即检测的人脸图像中的形状)一步一步回归到真实形状(即目标人脸图像)；其中，每一颗树的叶子结点上都存储一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，起到回归的目的，最终通过线性组合所有残差，完成人脸特征点检测，得到各特征点的真实位置。进一步的，建立级联的残差回归树的过程，由于是本领域技术人员公知的方法，故在此不再进行详述。
步骤103-2：提取各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
根据本申请的实施方式，步骤103-2包括：
步骤103-2-1：分别提取各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的多个特征点，得到各相应视频帧所在时刻的眼睛特征点子序列、嘴巴特征点子序列、下巴特征点子序列；
其中，眼睛区域、嘴巴区域、下巴区域的多个特征点的示意图分别如图2至4所示，眼睛区域包括眼睛睁开状态和眼睛闭合状态，嘴巴区域包括嘴巴张开状态和嘴巴闭合状态；需要指出的，可以根据实际需求调整各区域提取的特征点的数量。
步骤103-2-2：按照时间维度，分别对各眼睛特征点子序列、嘴巴特征点子序列、下巴特征点子序列排序，得到眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
步骤104：根据提取的多个区域的特征点，确定相应人员的疲劳度。
根据本申请的实施方式，步骤104包括：
步骤104-1：采用预先训练的分析模型分别对提取的时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行分析，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头概率；
本申请中，考虑到个体面部差异，预先训练分析模型，以适应于各用户的特征点分析；其中，分析模型包括第一分析模型、第二分析模型和第三分析模型，第一分析模型、第二分析模型和第三分析模型均为logisticsregression模型或svm模型；
相应的，步骤104-1包括：
步骤104-1-1：采用预先训练的第一分析模型对提取的时间维度上的眼睛特征点序列进行分析，得到相应时刻的眼睛闭合概率；
具体的，将提取的时间维度上的眼睛特征点序列输入预先训练的第一分析模型，在第一分析模型中根据各眼睛特征点子序列中各眼睛特征点的坐标，计算对应的眼睛横纵比，并根据该眼睛横纵比，确定相应视频帧所在时刻的眼睛闭合概率；其中，当眼睛横纵比越小时，判定眼睛的闭合状态的概率越大；
进一步的，眼睛横纵比的计算公式为：
步骤104-1-2：采用预先训练的第二分析模型对提取的时间维度上的嘴巴特征点序列进行分析，得到相应时刻的嘴巴张合度；
具体的，将提取的时间维度上的嘴巴特征点序列输入预先训练的第二分析模型，在第二分析模型中分析各嘴巴特征点子序列对应的嘴巴张合状态，并分别根据各嘴巴特征点子序列中的各嘴巴特征点的坐标，计算对应的嘴巴张合度。
其中，嘴巴张合度的计算公式为：
步骤104-1-3：采用预先训练的第三分析模型对提取的时间维度上的嘴巴特征点序列及下巴特征点序列进行分析，得到相应时刻的点头概率；
具体的，将提取的时间维度上的嘴巴特征点序列及下巴特征点序列输入预先训练的第三分析模型，根据各时刻的嘴巴特征点子序列和下巴特征点子序列确定嘴巴与下巴之间的距离，当该距离变小时，点头的概率变大。
需要指出的，上述步骤104-1-1至步骤104-1-3的执行顺序可以彼此互换，而不限为上述执行顺序。
步骤104-2：根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。
根据本申请的实施方式，步骤104-2包括：
步骤104-2-1：根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；
具体的，根据以下公式一依次对第二时刻起各时刻的眼睛闭合概率计算，得到对应的疲劳值，直至得到最后时刻的疲劳值；需要指出的，第一时刻的疲劳值根据初始的第一预设值进行计算。
公式一：
根据以下公式二依次对第二时刻起各时刻的嘴巴张合度计算，得到对应的疲劳值，直至得到最后时刻的疲劳值；需要指出的，第一时刻的疲劳值根据初始的第二预设值进行计算。
公式二：
根据以下公式三依次对第二时刻起各时刻的点头概率计算，得到对应的疲劳值，直至得到最后时刻的疲劳值；需要指出的，第一时刻的疲劳值根据初始的第三预设值进行计算。
公式三：
需要指出的，上述根据公式一至公式三进行计算的过程中，还包括：调整r、d、p。以调整r为例进行说明，当t时刻、
由此，本申请中，通过拍摄视频片段，获取待检测人员在一段时间内的多个状态，从而确定疲劳度；该过程中，考虑到人在疲劳状态下，眼睛闭合会持续一段时间，或会有频繁的睁闭眼行为，但是由于个体差异，并不能直接与预设的阈值进行比较来确定相应的疲劳值；还考虑到人在困乏时，往往会哈欠不断，以提醒人体大脑已经疲劳，需要睡眠休息，但是于惊讶或者大声讲话也会导致嘴巴张大，但是其持续时间会很小；以及考虑到人在疲劳时肌肉会不自觉的放松，然后头低下去，这时嘴巴处的特征点和下巴处的特征点之间距离会变小，所以低头行为也是疲劳的一种象征表现。因此，本申请中分别将眼睛闭合、嘴巴张合及点头行为作为一种隐状态，并将疲劳作为显状态，依次计算对应的疲劳值，以通过多种状态综合判断待检测人员是否处于疲劳状态，提高了疲劳状态检测的性能及准确率。
进一步的，本申请中，如图5所示，由于α(alpha)的改变对疲劳度的形状不会造成太大影响，因此，α还可以根据不同个体的差异而进行调整，当待检测人员认为疲劳检测装置对自身的行为状态反应不够灵敏时，可以调大α，当认为疲劳检测装置对自身的行为状态过于灵敏时，可以调小α。
步骤104-2-2：根据计算的各疲劳值，确定相应人员的疲劳度。
具体的，根据计算的各疲劳值及相应的权重，计算疲劳综合值，根据疲劳综合值所处的预设数值范围，判定相应待检测人员的疲劳度；其中，疲劳度包括不疲劳、轻度疲劳、中度疲劳、重度疲劳等；如图6至8所示的轻度疲劳、中度疲劳、重度疲劳的示意图，可以看到，当疲劳综合值f满足1<f<3时，判定为轻度疲劳；当f满足3≤f≤5时，判定为中度疲劳；当f满足f>5时，判定为重度疲劳。需要说明的，预设数值范围可根据个体差异的不同以及实验样本的不同而有所改变。
根据本申请的实施方式，方法还包括：当确定相应人员处于疲劳状态时，还包括：发出报警信息，以对相应人员进行提示。
至此，基于计算机视觉，通过检测时间维度上的多个人脸图像，提取各人脸图像中多个区域的特征点，并将各时刻的特征点所对应的疲劳值相关联，计算连续时间内的疲劳值，从而综合该多个区域所对应的疲劳值，最终确定相应人员的疲劳度，不仅提升了疲劳检测的准确率，而且在疲劳检测过程中不会对待检测人员造成任何干扰；同时，需要指出的是，该方法不限于用于驾驶员的疲劳检测，还可用于其他用户的疲劳检测。
实施例二
根据本申请的实施方式，还提出一种疲劳度检测装置，如图9所示，包括：
拍摄模块201，用于拍摄视频片段；
检测模块202，用于按照时间维度检测拍摄模块201拍摄的视频片段中的各人脸图像；
提取模块203，用于提取检测模块202检测的各人脸图像中多个区域的特征点；
确定模块204，用于根据提取模块203提取的多个区域的特征点，确定相应人员的疲劳度。
根据本申请的实施方式，该装置还包括：训练模块；
训练模块，用于采集图像样本，提取图像样本中的haar-like特征；根据adaboost算法对提取的haar-like特征进行训练，得到人脸检测模型；
对应的，检测模块202，具体用于按照时间维度，采用人脸检测模型对拍摄模块201拍摄的视频片段的各帧图像进行检测，得到相应的各人脸图像。
根据本申请的实施方式，提取模块203包括：人脸对齐单元和提取单元，其中：
人脸对齐单元，用于根据人脸对齐算法分别对检测模块202检测的各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；
提取单元，用于提取各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。
根据本申请的实施方式，确定模块204包括检测单元和计算单元，其中：
检测单元，用于采用预先训练的检测模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行检测，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头频率；
计算单元，用于根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。
进一步的，计算单元具体用于：根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；根据计算的各疲劳值，确定相应人员的疲劳度。
根据本申请的实施方式，还提出一种疲劳度检测设备，包括：一个或多个处理器、存储一个或多个程序的存储装置；当所述程序被所述处理器执行时，实现如实施例一所述的疲劳度检测方法。
进一步的，所述存储装置可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以进一步包括只读存储单元(rom)。
根据本申请的实施方式，还提出一种计算机可读存储介质，其上存储有计算机程序(即程序产品)，当该计算机程序被处理器执行时，实现如实施例一所述的疲劳度检测方法。
进一步的，所述计算机可读存储介质包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。
需要说明的，本说明书中的各实施例采用相关的方式描述，各实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！