一种疲劳驾驶检测方法和系统与流程

本发明涉及汽车安全驾驶技术领域，具体涉及一种疲劳驾驶检测方法和系统。

背景技术：

汽车做为一种方便快捷的交通工具，被广大群众所采用。随便经济的发展，汽车在中国出现了井喷式的发展，但汽车行驶安全问题却没有引起人们的足够重视。长时间的驾驶、睡眠不足的情况下驾驶等不安全驾驶每天都在发生。可见如何检测疲劳驾驶，并给于驾驶员正确的提醒是一个很重要的课题。目前有一些驾驶疲劳检测的手段，各有独自的特点。可以分为以下几类：

1、佩戴式：如手环、挂耳式、头环等佩戴在人体上，通过诸如陀螺仪、心跳检测仪等传感器检测人体状态；

2、结合汽车安装相应检测仪：如在方向盘上安装传感器，检测人手是否脱离方向盘；

3、机器视觉方式：通过安装在驾驶员前方的摄像头，采集驾驶员图像进而利用图像分析手段，判断驾驶员状态；

第一种方式，需要驾驶员佩戴相应的检测设备，给驾驶员带来一定的麻烦和心理影响。并且在长时间驾驶中，一直佩戴设备会造成驾驶员身体疲惫，反而还引起了疲劳驾驶。

第二种方式，需要改装汽车装置，安装复杂，而且有安全隐患。

现行大多数产品，都基于第三种方式。这种方式采用非接触式检测，具有安装方便，不影响驾驶员驾驶的特点。但大多数产品，只检测眼睛和嘴巴的状态，但是这种方式并不能有效地判断疲劳驾驶，当驾驶疲劳时，容易出现精神不集中，注意力分散，导致视线不在正前方，向左右两边看或者低头；这时不一定存在眨眼或者打哈欠的情况，但同样对驾驶安全存在隐患。

技术实现要素：

本发明实施例提供一种疲劳驾驶检测方法与系统，旨在解决现有技术不能全面、准确的检测疲劳驾驶的技术问题。

本发明实施例是这样实现的，一种疲劳驾驶检测方法，其中，所述方法包括下述步骤：

步骤S1：采集驾驶员头部区域图像；

步骤S2：在采集的图像中进行人脸检测；

步骤S3：在检测到的人脸中进一步定位眼睛和/或嘴巴；以及

步骤S4：跟踪多帧图像中眼睛和/或嘴巴的状态的变化，判断驾驶员是否疲劳；其中：

步骤S3还包括，在检测到的人脸中，进一步定位左半脸、右半脸、上半脸、下半脸；

步骤S4还包括，分别根据左半脸与右半脸的比例、上半脸与下半脸的比例计算出人脸左右朝向的角度以及人脸上下朝向的角度，以判断驾驶员视线方向，根据驾驶员的视线方向判断是否疲劳。

进一步的，在步骤S2中，采用机器学习SVM算法检测人脸，所述机器学习SVM算法，在训练参数时，采用左侧人脸图像集或右侧人脸图像集或左右侧人脸图像合集三种训练图集。

进一步的，在步骤S3中，基于点分布模型算法的ASM算法进行定位。

进一步的，在步骤S4中，跟踪多帧图像中眼睛和/或嘴巴的状态的变化判断驾驶员是否疲劳的方法如下：采用连续时间窗的方式，统计时间窗总时长T里，眼睛闭合程度超过80％的时间T1、嘴巴张开程度超过80％的时间T2，分别计算T1、T2占时间窗T的比例：P1＝T1/T*100％、P2＝T2/T*100％，根据P1、P2的大小判断是否疲劳。

进一步的，在步骤S4中，根据驾驶员的视线方向判断是否疲劳的方法如下：采用连续时间窗的方式，统计时间窗总时长T里，驾驶员视线方向不在正前方的时长T3，计算视线不在正前方的时间T3占时间窗T的比例：P3＝T3/T*100％，根据P3值的大小判断是否疲劳。

本发明还提供一种疲劳驾驶检测系统，其中，所述系统包括：

图像采集模块，用于采集驾驶员头部区域图像；

人脸检测模块，用于在驾驶员头部区域图像中检测驾驶员的面部；

定位模块，用于在所述面部中，定位驾驶员的眼睛和/或嘴巴以确定驾驶员眼睛和/或嘴巴的状态；还用于在所述面部中，进一步定位左半脸、右半脸、上半脸、下半脸；

疲劳驾驶判断模块，用于根据所述驾驶员眼睛和/或嘴巴的状态变化判断所述驾驶员是否疲劳；还用于根据左半脸与右半脸的比例、上半脸与下半脸的比例计算出人脸左右朝向的角度以及人脸上下朝向的角度以判断驾驶员视线方向并根据驾驶员的视线方向判断是否疲劳。

进一步的，所述人脸检测模块采用机器学习SVM算法检测人脸，所述机器学习SVM算法，在训练参数时，采用左侧人脸图像集或右侧人脸图像集或左右侧人脸图像合集三种训练图集。

进一步的，所述定位模块基于点分布模型算法的ASM算法进行定位。

进一步的，所述疲劳驾驶判断模块采用连续时间窗的方式，统计时间窗总时长T里，眼睛闭合程度超过80％的时间T1、嘴巴张开程度超过80％的时间T2，分别计算T1、T2占时间窗T的比例：P1＝T1/T*100％、P2＝T2/T*100％，根据P1、P2的大小判断是否疲劳。

进一步的，所述疲劳驾驶判断模块采用连续时间窗的方式，统计时间窗总时长T里，驾驶员视线方向不在正前方的时长T3，计算视线不在正前方的时间T3占时间窗T的比例：P3＝T3/T*100％，根据P3值的大小判断是否疲劳

本发明的有益效果如下：

1)采用非接触式疲劳检测方式，不影响驾驶员驾驶；

2)结合摄像头安装位置选用SVM参数，可以更快速、精确的检测人脸；

3)结合人脸朝向检测驾驶员视线的方法判断疲劳驾驶，比以往只检测眼睛和嘴部进行判断更全面、更有效。

附图说明

图1为本发明实施例提供的疲劳驾驶检测方法流程图。

图2为本发明实施例提供的疲劳驾驶检测系统结构示意图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1为本发明一实施例提供的疲劳驾驶检测系统的流程图，其包括如下步骤：

在步骤S1中，采集驾驶员头部区域图像。

在本发明的一实施例中，采集图像采用的是一个摄像头，该摄像头可以是普通摄像头，或者单目红外可见光摄像头，以加强在弱光线或夜间行驶条件下的图像采集的清晰度。可以理解，在本发明的实施例中，采集完图像后还应当包括对图像进行灰度处理，生成灰度图像。

在步骤S2中，对采集的图像进行人脸检测。

在本发明的实施例中，首先对所述灰度图像进一步预处理增强图像并提取图像特征，然后进行人脸检测。人脸检测是为了在整幅(帧)驾驶员图像中识别出驾驶员的面部，为进一步定位眼睛及嘴巴做基础。人脸检测可以采用现有的各种检测识别技术，如肤色分割，形状检测等。

优选的，在本发明的一实施例中，采用机器学习SVM算法检测人脸。所述机器学习SVM算法，在训练参数时，提供左侧人脸图像集、右侧人脸图像集、左右侧人脸图像合集三种训练图集，驾驶员可结合安装位置，手动或者自动设置选用三种训练图像集中的一种，以便更快速、精确地检测人脸。具体的，当摄像头安装在汽车左侧A柱时，可以设置人脸SVM检测模式为左侧脸图像集参数；当摄像头安装在汽车中后视镜下方时，可以设置人脸SVM检测模式为右侧脸图像集参数；或者不设置，采用左右脸图像集参数。

在步骤S3中，对检测到的人脸，进一步定位驾驶员的眼睛、嘴巴、左半脸、右半脸、上半脸、下半脸。

优选的，在本发明的一实施例中，采用基于点分布模型算法的ASM算法进行定位。

在步骤S4，跟踪多帧图像中眼睛和/或嘴巴的状态的变化，判断驾驶员是否疲劳；分别根据左半脸与右半脸的比例、上半脸与下半脸的比例计算出人脸左右朝向的角度以及人脸上下朝向的角度，以判断驾驶员视线方向，根据驾驶员的视线方向判断是否疲劳。

优选的，在本发明的一实施例中，判断方法如下：

1)采用连续时间窗的方式，统计时间窗总时长T里，眼睛睁开程度Pe低于80％的时间T1，计算T1占时间窗T的比例：P1＝T1/T*100％，根据P1值的大小判断是否疲劳。其中，眼睛睁开程度Pe的计算方式为：先计算正常睁开眼睛的情况下，眼睛高度所占像素Pnh，再计算开车情况下，眼睛高度所占像素Pdh，Pe＝Pdh/Pnh；另外，P1的阈值可视具体情况设定，在本实施例中，P1的阈值优选为50％，即当P1值大于50％时，判断为疲劳驾驶。

2)采用连续时间窗的方式，统计时间窗总时长T里，嘴巴张开程度Pm超过80％的时间T2，计算T2占时间窗T的比例：P2＝T2/T*100％，根据P2的大小判断是否疲劳。其中，嘴巴张开程度Pm由嘴巴张开时其高度所占的像素Ph2与嘴巴长度所占的像素Pl2比例决定，计算公式为Pm＝Ph2/Pl2；另外，P2的阈值可视具体情况设定，在本实施例中，P2的阈值优选为70％，即当P1值大于70％时，判断为疲劳驾驶。

3)采用连续时间窗的方式，统计时间窗总时长T里，驾驶员视线方向不在正前方的时长T3，计算视线不在正前方的时间T3占时间窗T的比例：P3＝T3/T*100％，根据P3值的大小判断是否疲劳。其中，驾驶员视线不在正前方的判断方法为：将左半脸所占像素PL除以右半脸所占像素PR，即e1＝PL/PR*100％，当e1大于120％或e1小于80％时，视线不在正前方；将上半脸所占像素Ph1除以下半脸所占像素Ph2，即e2＝Ph1/Ph2，当e2大于150％或者e2小于70％时，视线不在正前方。另外，P3的阈值可视具体情况设定，在本实施例中，P3的阈值优选为40％，即当P3值大于40％时，判断为疲劳驾驶。

可以理解，所述疲劳驾驶检测方法还包括根据检测到不同程度的疲劳状态，作出不同等级的预警提示。

本发明还提供一种疲劳驾驶检测系统，如图2所示，其包括包括图像采集模块101、人脸检测模块102、定位模块103以及疲劳驾驶判断模块104。

具体的，所述图像采集模块101用于采集驾驶员头部区域图像；

所述人脸检测模块102用于在接收的驾驶员头部区域活动图像中检测驾驶员的面部；

所述定位模块103用于在所述面部中，进一步定位驾驶员的眼睛、嘴巴、左半脸、右半脸、上半脸、下半脸；

所述疲劳驾驶判断模块104用于根据所述驾驶员眼睛和/或嘴巴的状态变化判断所述驾驶员是否疲劳，以及用于根据左半脸与右半脸的比例、上半脸与下半脸的比例计算出人脸左右朝向的角度以及人脸上下朝向的角度以判断驾驶员视线方向并根据驾驶员的视线方向判断是否疲劳。

优选的，所述人脸检测模块102采用机器学习SVM算法检测人脸，所述机器学习SVM算法，在训练参数时，采用左侧人脸图像集或右侧人脸图像集或左右侧人脸图像合集三种训练图集。

优选的，所述定位模块103基于点分布模型算法的ASM算法进行定位。

优选的，所述疲劳驾驶判断模块104采用连续时间窗的方式，统计时间窗总时长T里，眼睛闭合程度超过80％的时间T1、嘴巴张开程度超过80％的时间T2，分别计算T1、T2占时间窗T的比例：P1＝T1/T*100％、P2＝T2/T*100％，根据P1、P2的大小判断是否疲劳。

优选的，所述疲劳驾驶判断模块104采用连续时间窗的方式，统计时间窗总时长T里，驾驶员视线方向不在正前方的时长T3，计算视线不在正前方的时间T3占时间窗T的比例：P3＝T3/T*100％，根据P3值的大小判断是否疲劳。

可以理解，本发明疲劳驾驶检测系统还包括疲劳驾驶报警模块，所述疲劳驾驶报警模块用于根据驾驶员疲劳驾驶检测装置判断的疲劳驾驶程度向驾驶员发出报警信息。报警信息包括声音和/或光学报警。例如，报警装置包括喇叭和警示灯，在判定适当程度的疲劳驾驶后，喇叭发出鸣叫和/或警示灯发出闪烁的灯光。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。