基于人脸识别的疲劳驾驶监测方法与流程

本发明涉及智能驾驶控制的，特别涉及基于人脸识别的疲劳驾驶监测方法。

背景技术：

1、现有的车载摄像头能够对车内环境进行实时拍摄，并将拍摄得到的车内环境影像上传到云端，便于用户根据自身需要调取合适的车内环境影像进行查看。上述方式都是对车内环境进行大范围的拍摄，其并未针对驾驶员进行瞄准拍摄，也未对驾驶员在驾驶过程中的实时状态进行分析，无法实时判断驾驶员是否处于疲劳驾驶状态，并对驾驶员进行相应的提醒。可见，现有的车内摄像监控方式仅仅局限于影像拍摄，其并未拍摄得到的影像进行实时分析，无法准确甄别驾驶员是否处于疲劳驾驶状态，降低对驾驶员驾驶状态监控的实时性和全面性，无法保证当驾驶员存在疲劳驾驶时进行有针对性的控制措施，降低驾驶的安全性和可靠性。

技术实现思路

1、针对现有技术存在的缺陷，本发明提供基于人脸识别的疲劳驾驶监测方法，其先对驾驶座的人员进行人脸识别，得到人员的身份信息后，指示车辆是否启动点火；当车辆启动点火后，分析人员的脸部和上半身对应的实时影像，得到人员的脸部动作信息，以此初步判断人员是否出现疲劳表情；当人员出现疲劳表情时，再分析实时影像，得到人员的上半身动作信息，以此判断人员是否处于正常驾驶状态；当人员不处于正常驾驶状态，将车辆切换至自动驾驶模式和向人员发送提醒消息；当车辆处于自动驾驶模式，分析车辆前方的行驶环境影像，得到障碍物存在信息，以此指示车辆进行减速和靠边停车动作，其以从实时拍摄的人员影像中提取脸部动作信息和上半身动作信息为基准，判断人员是否出现疲劳表情和是否正常驾驶，这样能够准确获取人员的实时驾驶状态，便于及时对人员进行提醒和调整车辆的行驶状态，使得当人员驾驶异常时，车辆能够脱离人员的人为控制，自动进行减速和停靠，有效避免发生交通意外和提高车辆行驶的安全性与可靠性。

2、本发明提供基于人脸识别的疲劳驾驶监测方法，其包括如下步骤：

3、步骤s1，当确定车辆驾驶座乘坐有人员时，对所述人员进行人脸识别处理，得到所述人员的身份信息；根据所述人员身份信息，指示车辆进入锁定状态或者启动点火状态；

4、步骤s2，当车辆进入启动点火状态后，对采集所述人员的脸部和上半身对应的实时影像，并对所述实时影像进行分析处理，确定所述人员的脸部动作信息；根据所述脸部动作信息，初步判断所述人员当前的脸部表情是否属于疲劳表情；

5、步骤s3，若初步判断属于疲劳表情，则再对所述实时影像进行分析处理，确定所述人员的上半身动作信息；根据所述上半身动作信息，判断所述人员当前是否处于正常驾驶状态；若所述人员不处于正常驾驶状态，则指示所述车辆切换至自动驾驶模式，并向所述人员发送提醒消息；

6、步骤s4，当所述车辆切换至自动驾驶模式，采集所述车辆前方的行驶环境影像，对所述行驶环境影像进行分析处理，确定所述车辆前方的障碍物存在信息；根据所述障碍物存在信息，指示所述车辆进行减速和靠边停车动作。

7、进一步，在所述步骤s1中，当确定车辆驾驶座乘坐有人员时，对所述人员进行人脸识别处理，得到所述人员的身份信息具体包括：

8、当确定车辆驾驶座上乘坐有人员时，指示摄像头对所述人员的脸部区域进行拍摄，得到所述人员的脸部图像；

9、对所述脸部图像进行人脸识别处理，得到所述人员的脸部五官轮廓特征信息，以此作为所述人员的身份信息。

10、进一步，在所述步骤s1中，根据所述人员身份信息，指示车辆进入锁定状态或者启动点火状态具体包括：

11、将所述脸部五官轮廓特征信息与所述车辆的云端人员身份信息库进行比对，若所述脸部五官轮廓特征信息存在于所述云端人员身份信息库，则指示所述车辆进入启动点火状态；若所述脸部五官轮廓特征信息不存在于所述云端人员身份信息库，则指示所述车辆进入锁定状态；

12、当所述车辆进入启动点火状态后，从所述云端人员身份信息库中调取所述人员在所述车辆的历史驾驶记录信息，根据所述历史驾驶记录信息，设定所述车辆的最高行车速度。

13、进一步，在所述步骤s2中，当车辆进入启动点火状态后，对采集所述人员的脸部和上半身对应的实时影像，并对所述实时影像进行分析处理，确定所述人员的脸部动作信息具体包括：

14、当车辆进入点火启动状态后，对所述人员的脸部和上半身区域进行双目拍摄，得到相应的双目影像；根据所述双目影像的双目视差，得到所述人员的脸部和上半身区域对应的实时三维影像；

15、对所述实时三维影像中提取得到所述人员的眼睑开闭动作信息，以此作为所述人员的脸部动作信息。

16、进一步，在所述步骤s2中，根据所述脸部动作信息，初步判断所述人员当前的脸部表情是否属于疲劳表情具体包括：

17、根据所述眼睑开闭动作信息，确定所述人员在当前驾驶过程中眼睑处于闭合状态的实际持续时间大于预设时间阈值对应发生总次数；若所述发生总次数大于或等于预设次数阈值，则初步判断所述人员当前的脸部表情属于疲劳表情；若所述发生总次数小于预设次数阈值，则初步判断所述人员当前的脸部表情不属于疲劳表情。

18、进一步，在所述步骤s3中，若初步判断属于疲劳表情，则再对所述实时影像进行分析处理，确定所述人员的上半身动作信息具体包括：

19、若初步判断所述人员的脸部表情属于疲劳表情，则从所述实时三维影像中提取得到所述人员的头部区域画面部分和所述人员的手部区域画面部分；

20、对所述头部区域画面部分进行分析处理，得到所述人员的头部动作信息；

21、从所述手部区域画面部分中提取得到所述人员手部和所述车辆的方向盘各自的轮廓信息，根据所述轮廓信息，确定所述人员的手部对方向盘的握持动作信息。

22、进一步，在所述步骤s3中，根据所述上半身动作信息，判断所述人员当前是否处于正常驾驶状态；若所述人员不处于正常驾驶状态，则指示所述车辆切换至自动驾驶模式，并向所述人员发送提醒消息具体包括：

23、根据所述头部动作信息，判断是否发生人员头部低下事件；

24、根据所述握持动作信息，判断是否发生人员手部未正确握持方向盘事件；

25、若发生人员头部低下事件或人员手部未正确握持方向盘事件，则判断所述人员当前不处于正常驾驶状态；否则，判断所述人员当前处于正常驾驶状态；

26、若所述人员当前不处于正常驾驶状态，则指示所述车辆切换至自动驾驶状态，同时通过所述车辆内部的人机交互设备向所述人员发送语音提醒消息。

27、进一步，在所述步骤s4中，当所述车辆切换至自动驾驶模式，采集所述车辆前方的行驶环境影像，对所述行驶环境影像进行分析处理，确定所述车辆前方的障碍物存在信息；根据所述障碍物存在信息，指示所述车辆进行减速和靠边停车动作具体包括：

28、当所述车辆切换至自动驾驶模式，对所述车辆行驶前方路面进行扫描拍摄，得到相应的行驶环境影像；

29、对所述行驶环境影像进行物体景深分析处理，确定所述车辆前方存在的障碍物与所述车辆之间的相对位置信息；其中，所述相对位置信息包括所述障碍物与所述车辆的相对距离和相对方位；

30、根据所述相对位置信息，指示所述车辆在自动驾驶模式下进行减速行驶，并在减速行驶过程中，从所述行驶环境影像中定位出允许停靠区域，再指示所述车辆停靠在所述允许停靠区域。

31、相比于现有技术，该基于人脸识别的疲劳驾驶监测方法先对驾驶座的人员进行人脸识别，得到人员的身份信息后，指示车辆是否启动点火；当车辆启动点火后，分析人员的脸部和上半身对应的实时影像，得到人员的脸部动作信息，以此初步判断人员是否出现疲劳表情；当人员出现疲劳表情时，再分析实时影像，得到人员的上半身动作信息，以此判断人员是否处于正常驾驶状态；当人员不处于正常驾驶状态，将车辆切换至自动驾驶模式和向人员发送提醒消息；当车辆处于自动驾驶模式，分析车辆前方的行驶环境影像，得到障碍物存在信息，以此指示车辆进行减速和靠边停车动作，其以从实时拍摄的人员影像中提取脸部动作信息和上半身动作信息为基准，判断人员是否出现疲劳表情和是否正常驾驶，这样能够准确获取人员的实时驾驶状态，便于及时对人员进行提醒和调整车辆的行驶状态，使得当人员驾驶异常时，车辆能够脱离人员的人为控制，自动进行减速和停靠，有效避免发生交通意外和提高车辆行驶的安全性与可靠性。

32、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

33、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。