驾驶管理方法和系统、车载智能系统、电子设备、介质与流程

文档序号:16265537发布日期:2018-12-14 21:53阅读:161来源:国知局
驾驶管理方法和系统、车载智能系统、电子设备、介质与流程

本申请涉及人工智能技术,尤其是一种驾驶管理方法和系统、车载智能系统、电子设备、介质。

背景技术

智能车辆是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统,它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术,是典型的高新技术综合体。目前对智能车辆的研究主要致力于提高汽车的安全性、舒适性,以及提供优良的人车交互界面。近年来,智能车辆己经成为世界车辆工程领域研究的热点和汽车工业增长的新动力,很多发达国家都将其纳入到各自重点发展的智能交通系统当中。



技术实现要素:

本申请实施例提供的一种驾驶管理方法和系统、车载智能系统、电子设备、介质。

根据本申请实施例的一个方面,提供的一种驾驶管理方法,包括:

控制设置在车辆上的摄像组件采集车辆驾驶员的视频流;

获取所述视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果;其中,所述数据集中存储有至少一个已注册的驾驶员的预存人脸图像;

如果所述特征匹配结果表示特征匹配成功,控制车辆执行所述车辆接收到的操作指令。

可选地,还包括:

在所述车辆与云端服务器处于通信连接状态时,向所述云端服务器发送数据集下载请求;

接收并存储所述云端服务器发送的数据集。

可选地,还包括:

如果所述特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取所述车辆驾驶员的身份信息;

向所述云端服务器发送所述图像和所述身份信息。

可选地,还包括:

如果所述特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取所述车辆驾驶员的身份信息;

截取所述图像中的人脸部分;

向所述云端服务器发送所述截取的人脸部分和所述身份信息。

可选地,所述方法还包括:获取所采集的图像的活体检测结果;

所述根据特征匹配结果,控制车辆执行所述车辆接收到的操作指令,包括:

所述根据特征匹配结果和活体检测结果,控制车辆执行所述车辆接收到的操作指令。

可选地,所述数据集中的预存人脸图像还对应设置有驾驶权限;

所述方法还包括:如果所述特征匹配结果表示特征匹配成功,获取与特征匹配成功的预存人脸图像对应的驾驶权限;

所述控制车辆执行所述车辆接收到的操作指令,包括:控制车辆执行所述车辆接收到的在所述权限范围内的操作指令。

可选地,还包括:

基于所述视频流进行驾驶员状态检测;

根据驾驶员状态检测的结果,进行异常驾驶状态的预警提示和/或进行智能驾驶控制。

可选地,所述驾驶员状态检测包括以下任意一项或多项:驾驶员疲劳状态检测,驾驶员分心状态检测,驾驶员预定分心动作检测,驾驶员手势检测。

可选地,所述基于所述视频流进行驾驶员状态检测,包括:

对所述视频流中的至少一个图像的人脸至少部分区域进行检测,得到人脸至少部分区域的状态信息,所述人脸至少部分区域的状态信息包括以下任意一项或多项:眼睛睁合状态信息、嘴巴开合状态信息;

根据一段时间内的所述人脸至少部分区域的状态信息,获取用于表征驾驶员疲劳状态的指标的参数值;

根据用于表征驾驶员疲劳状态的指标的参数值确定驾驶员疲劳状态检测的结果。

可选地,所述用于表征驾驶员疲劳状态的指标包括以下任意一项或多项:闭眼程度、打哈欠程度。

可选地,所述闭眼程度的参数值包括以下任意一项或多项:闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率;和/或,

所述打哈欠程度的参数值包括以下任意一项或多项:打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

可选地,所述基于所述视频流进行驾驶员疲劳状态检测时,包括:

对所述视频流中驾驶员进行人脸朝向和/或视线方向检测,得到人脸朝向信息和/或视线方向信息;

根据一段时间内的所述人脸朝向信息和/或视线方向信息,确定用于表征驾驶员分心状态的指标的参数值;所述用于表征驾驶员分心状态的指标包括以下任意一项或多项:人脸朝向偏离程度,视线偏离程度;

根据用于表征所述驾驶员分心状态的指标的参数值确定驾驶员分心状态检测的结果。

可选地,所述人脸朝向偏离程度的参数值包括以下任意一项或多项:转头次数、转头持续时长、转头频率;和/或,

所述视线偏离程度的参数值包括以下任意一项或多项:视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

可选地,所述对所述视频流中驾驶员进行人脸朝向和/或视线方向检测,包括:

检测所述视频流中图像的人脸关键点;

根据所述人脸关键点进行人脸朝向和/或视线方向检测。

可选地,根据所述人脸关键点进行人脸朝向检测,得到人脸朝向信息,包括:

根据所述人脸关键点获取头部姿态的特征信息;

根据所述头部姿态的特征信息确定人脸朝向信息。

可选地,所述预定分心动作包括以下任意一项或多项:抽烟动作,喝水动作,饮食动作,打电话动作,娱乐动作。

可选地,所述基于所述视频流进行驾驶员分心状态检测时,包括:

对所述视频流中的至少一个图像进行所述预定分心动作相应的目标对象检测,得到目标对象的检测框;

根据所述目标对象的检测框,确定是否出现所述预定分心动作。

可选地,还包括:

若出现分心动作,获取一段时间内是否出现所述预定分心动作的确定结果,获取用于表征分心程度的指标的参数值;

根据所述用于表征分心程度的指标的参数值确定驾驶员预定分心动作检测的结果。

可选地,所述分心程度的参数值包括以下任意一项或多项:预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地,还包括:

若驾驶员预定分心动作检测的结果为检测到预定分心动作,提示检测到的分心动作。

可选地,还包括:

执行与所述驾驶员状态检测的结果对应的控制操作。

可选地,所述执行与所述驾驶员状态检测的结果对应的控制操作,包括以下至少之一:

如果确定的所述驾驶员状态检测的结果满足提示/告警预定条件,输出与所述提示/告警预定条件相应的提示/告警信息;和/或,

如果确定的所述驾驶员状态检测的结果满足预定条件,向预定联系方式发送预定信息或与预定联系方式建立通信连接;和/或,

如果确定的所述驾驶员状态检测的结果满足预定驾驶模式切换条件,将驾驶模式切换为自动驾驶模式。

可选地,还包括:

向所述云端服务器发送所述驾驶员状态检测的至少部分结果。

可选地,所述至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

可选地,还包括:

存储所述视频流中与所述异常驾驶状态信息对应的图像或视频段;和/或,

向所述云端服务器发送所述视频流中与所述异常驾驶状态信息对应的图像或视频段。

可选地,还包括:

在所述车辆与移动端设备处于通信连接状态时,向所述移动端设备发送数据集下载请求;

接收并存储所述移动端设备发送的数据集。

可选地,还包括:所述数据集是由所述移动端设备在接收到所述数据集下载请求时,从云端服务器获取所述数据集并发送给所述车辆的。

可选地,还包括:

如果所述特征匹配结果表示特征匹配不成功,拒绝执行接收到的操作指令。

可选地,还包括:

发出提示注册信息;

根据所述提示注册信息接收驾驶员注册请求,所述驾驶员注册请求包括驾驶员的注册人脸图像;

根据所述注册人脸图像,建立数据集。

可选地,所述获取所述视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果,包括:

在所述车辆与云端服务器处于通信连接状态时,将所述视频流中的至少一个图像的人脸部分上传到所述云端服务器,并接收所述云端服务器发送的特征匹配结果。

根据本申请实施例的另一个方面,提供的一种车载智能系统,包括:

视频采集单元,用于控制设置在车辆上的摄像组件采集车辆驾驶员的视频流;

结果获取单元,用于获取所述视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果;其中,所述数据集中存储有至少一个已注册的驾驶员的预存人脸图像;

操作单元,用于如果所述特征匹配结果表示特征匹配成功,控制车辆执行所述车辆接收到的操作指令。

可选地,还包括:

第一数据下载单元,用于在所述车辆与云端服务器处于通信连接状态时,向所述云端服务器发送数据集下载请求;

数据保存单元,用于接收并存储所述云端服务器发送的数据集。

可选地,还包括:

第一云端存储单元,用于如果所述特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取所述车辆驾驶员的身份信息;向所述云端服务器发送所述图像和所述身份信息。

可选地,还包括:

第二云端存储单元,如果所述特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取所述车辆驾驶员的身份信息;截取所述图像中的人脸部分;向所述云端服务器发送所述截取的人脸部分和所述身份信息。

可选地,所述系统还包括:活体检测单元,用于获取所采集的图像的活体检测结果;

所述操作单元,具体用于所述根据特征匹配结果和活体检测结果,控制车辆执行所述车辆接收到的操作指令。

可选地,所述数据集中的预存人脸图像还对应设置有驾驶权限;

所述系统还包括:

权限获取单元,用于如果所述特征匹配结果表示特征匹配成功,获取与特征匹配成功的预存人脸图像对应的驾驶权限;

所述操作单元,还用于控制车辆执行所述车辆接收到的在所述权限范围内的操作指令。

可选地,还包括:

状态检测单元,用于基于所述视频流进行驾驶员状态检测;

输出单元,用于根据驾驶员状态检测的结果,进行异常驾驶状态的预警提示;和/或,

智能驾驶控制单元,用于根据驾驶员状态检测的结果,进行智能驾驶控制。

可选地,所述驾驶员状态检测包括以下任意一项或多项:驾驶员疲劳状态检测,驾驶员分心状态检测,驾驶员预定分心动作检测,驾驶员手势检测。

可选地,所述状态检测单元基于所述视频流进行驾驶员疲劳状态检测时,用于:

对所述视频流中的至少一个图像的人脸至少部分区域进行检测,得到人脸至少部分区域的状态信息,所述人脸至少部分区域的状态信息包括以下任意一项或多项:眼睛睁合状态信息、嘴巴开合状态信息;

根据一段时间内的所述人脸至少部分区域的状态信息,获取用于表征驾驶员疲劳状态的指标的参数值;

根据用于表征驾驶员疲劳状态的指标的参数值确定驾驶员疲劳状态检测的结果。

可选地,所述用于表征驾驶员疲劳状态的指标包括以下任意一项或多项:闭眼程度、打哈欠程度。

可选地,所述闭眼程度的参数值包括以下任意一项或多项:闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率;和/或,

所述打哈欠程度的参数值包括以下任意一项或多项:打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

可选地,所述状态检测单元基于所述视频流进行驾驶员分心状态检测时,用于:

对所述视频流中驾驶员进行人脸朝向和/或视线方向检测,得到人脸朝向信息和/或视线方向信息;

根据一段时间内的所述人脸朝向信息和/或视线方向信息,确定用于表征驾驶员分心状态的指标的参数值;所述用于表征驾驶员分心状态的指标包括以下任意一项或多项:人脸朝向偏离程度,视线偏离程度;

根据用于表征所述驾驶员分心状态的指标的参数值确定驾驶员分心状态检测的结果。

可选地,所述人脸朝向偏离程度的参数值包括以下任意一项或多项:转头次数、转头持续时长、转头频率;和/或,

所述视线偏离程度的参数值包括以下任意一项或多项:视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

可选地,所述状态检测单元对所述视频流中驾驶员进行人脸朝向和/或视线方向检测,包括:

检测所述视频流中图像的人脸关键点;

根据所述人脸关键点进行人脸朝向和/或视线方向检测。

可选地,所述状态检测单元根据所述人脸关键点进行人脸朝向检测时,用于:

根据所述人脸关键点获取头部姿态的特征信息;

根据所述头部姿态的特征信息确定人脸朝向信息。

可选地,所述预定分心动作包括以下任意一项或多项:抽烟动作,喝水动作,饮食动作,打电话动作,娱乐动作。

可选地,所述状态检测单元基于所述视频流进行预定分心动作检测时,用于:

对所述视频流中的至少一个图像进行所述预定分心动作相应的目标对象检测,得到目标对象的检测框;

根据所述目标对象的检测框,确定是否出现所述预定分心动作。

可选地,所述状态检测单元,还用于:

若出现分心动作,获取一段时间内是否出现所述预定分心动作的确定结果,获取用于表征分心程度的指标的参数值;

根据所述用于表征分心程度的指标的参数值确定驾驶员预定分心动作检测的结果。

可选地,所述分心程度的参数值包括以下任意一项或多项:预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地,还包括:

提示单元,用于若驾驶员预定分心动作检测的结果为检测到预定分心动作,提示检测到的分心动作。

可选地,还包括:

控制单元,用于执行与所述驾驶员状态检测的结果对应的控制操作。

可选地,所述控制单元,用于:

如果确定的所述驾驶员状态检测的结果满足提示/告警预定条件,输出与所述提示/告警预定条件相应的提示/告警信息;和/或,

如果确定的所述驾驶员状态检测的结果满足预定信息发送条件,向预定联系方式发送预定信息或与预定联系方式建立通信连接;和/或,

如果确定的所述驾驶员状态检测的结果满足预定驾驶模式切换条件,将驾驶模式切换为自动驾驶模式。

可选地,还包括:

结果发送单元,用于向所述云端服务器发送所述驾驶员状态检测的至少部分结果。

可选地,所述至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

可选地,还包括:视频存储单元,用于:

存储所述视频流中与所述异常驾驶状态信息对应的图像或视频段;和/或,

向所述云端服务器发送所述视频流中与所述异常驾驶状态信息对应的图像或视频段。

可选地,还包括:

第二数据下载单元,用于在所述车辆与移动端设备处于通信连接状态时,向所述移动端设备发送数据集下载请求;接收并存储所述移动端设备发送的数据集。

可选地,所述第二数据下载单元由所述移动端设备在接收到所述数据集下载请求时,从云端服务器获取所述数据集并发送给所述车辆。

可选地,所述操作单元,还用于如果所述特征匹配结果表示特征匹配不成功,拒绝执行接收到的操作指令。

可选地,所述操作单元,还用于发出提示注册信息;

根据所述提示注册信息接收驾驶员注册请求,所述驾驶员注册请求包括驾驶员的注册人脸图像;

根据所述注册人脸图像,建立数据集。

可选地,所述结果获取单元,用于在所述车辆与云端服务器处于通信连接状态时,将所述视频流中的至少一个图像的人脸部分上传到所述云端服务器,并接收所述云端服务器发送的特征匹配结果。

根据本申请实施例的另一个方面,提供的一种驾驶管理方法,包括:

接收车辆发送的待识别的人脸图像;

获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果,其中,所述数据集中存储有至少一个已注册的驾驶员的预存人脸图像;

如果所述特征匹配结果表示特征匹配成功,向所述车辆发送允许控制车辆的指令。

可选地,还包括:

接收车辆发送的数据集下载请求,所述数据集中存储有至少一已注册的驾驶员的预存人脸图像;

向所述车辆发送所述数据集。

可选地,还包括:

接收车辆或移动端设备发送的驾驶员注册请求,所述驾驶员注册请求包括驾驶员的注册人脸图像;

根据所述注册人脸图像,建立数据集。

可选地,所述获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果,包括:

对所述人脸图像与数据集中至少一个预存人脸图像进行特征匹配,得到所述特征匹配结果。

可选地,所述获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果,包括:

从所述车辆获取所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

可选地,还包括:

接收所述车辆发送的驾驶员状态检测的至少部分结果,进行异常驾驶状态的预警提示和/或向所述车辆发送进行智能控制的指令。

可选地,所述至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

可选地,还包括:执行与所述驾驶员状态检测的结果对应的控制操作。

可选地,所述执行与所述驾驶员状态检测的结果对应的控制操作,包括:

如果确定的所述驾驶员状态检测的结果满足提示/告警预定条件,输出与所述提示/告警预定条件相应的提示/告警信息;和/或,

如果确定的所述驾驶员状态检测的结果满足预定条件,向预定联系方式发送预定信息或与预定联系方式建立通信连接;和/或,

如果确定的所述驾驶员状态检测的结果满足预定驾驶模式切换条件,将驾驶模式切换为自动驾驶模式。

可选地,还包括:

接收所述视频流中与所述异常驾驶状态信息对应的图像或视频段。

可选地,还包括:

基于所述异常驾驶状态信息进行以下至少一种操作:

数据统计、车辆管理、驾驶员管理。

可选地,所述基于所述异常驾驶状态信息进行数据统计,包括:

基于所述异常驾驶状态信息对接收的与所述异常驾驶状态信息对应的图像或视频段进行统计,使所述图像或视频段按不同异常驾驶状态进行分类,确定每种所述异常驾驶状态的统计情况。

可选地,所述基于所述异常驾驶状态信息进行车辆管理,包括:

基于所述异常驾驶状态信息对接收的与所述异常驾驶状态信息对应的图像或视频段进行统计,使所述图像或视频段按不同车辆进行分类,确定每个所述车辆的异常驾驶统计情况。

可选地,所述基于所述异常驾驶状态信息进行驾驶员管理,包括:

基于所述异常驾驶状态信息对接收的与所述异常驾驶状态信息对应的图像或视频段进行处理,使所述图像或视频段按不同驾驶员进行分类,确定每个所述驾驶员的异常驾驶统计情况。

根据本申请实施例的另一个方面,提供的一种电子设备,包括:

图像接收单元,用于接收车辆发送的待识别的人脸图像;

匹配结果获得单元,用于获得所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果,其中,所述数据集中存储有至少一个已注册的驾驶员的预存人脸图像;

指令发送单元,用于如果所述特征匹配结果表示特征匹配成功,向所述车辆发送允许控制车辆的指令。

可选地,还包括:

第一数据发送单元,用于接收车辆发送的数据集下载请求,所述数据集中存储有至少一已注册的驾驶员的预存人脸图像;向所述车辆发送所述数据集。

可选地,还包括:

注册请求接收单元,用于接收车辆或移动端设备发送的驾驶员注册请求,所述驾驶员注册请求包括驾驶员的注册人脸图像;

根据所述注册人脸图像,建立数据集。

可选地,所述匹配结果获得单元,具体用于对所述人脸图像与数据集中至少一个预存人脸图像进行特征匹配,得到所述特征匹配结果。

可选地,所述匹配结果获得单元,具体用于从所述车辆获取所述人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

可选地,还包括:

检测结果接收单元,用于接收所述车辆发送的驾驶员状态检测的至少部分结果,进行异常驾驶状态的预警提示和/或向所述车辆发送进行智能控制的指令。

可选地,所述至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

可选地,还包括:

执行控制单元,用于执行与所述驾驶员状态检测的结果对应的控制操作。

可选地,所述执行控制单元,用于:

如果确定的所述驾驶员状态检测的结果满足提示/告警预定条件,输出与所述提示/告警预定条件相应的提示/告警信息;和/或,

如果确定的所述驾驶员状态检测的结果满足预定条件,向预定联系方式发送预定信息或与预定联系方式建立通信连接;和/或,

如果确定的所述驾驶员状态检测的结果满足预定驾驶模式切换条件,将驾驶模式切换为自动驾驶模式。

可选地,还包括:

视频接收单元,用于接收所述视频流中与所述异常驾驶状态信息对应的图像或视频段。

可选地,还包括:

异常处理单元,用于基于所述异常驾驶状态信息进行以下至少一种操作:数据统计、车辆管理、驾驶员管理。

可选地,所述异常处理单元基于所述异常驾驶状态信息进行数据统计时,用于基于所述异常驾驶状态信息对接收的与所述异常驾驶状态信息对应的图像或视频段进行统计,使所述图像或视频段按不同异常驾驶状态进行分类,确定每种所述异常驾驶状态的统计情况。

可选地,所述异常处理单元基于所述异常驾驶状态信息进行车辆管理时,用于基于所述异常驾驶状态信息对接收的与所述异常驾驶状态信息对应的图像或视频段进行统计,使所述图像或视频段按不同车辆进行分类,确定每个所述车辆的异常驾驶统计情况。

可选地,所述异常处理单元基于所述异常驾驶状态信息进行驾驶员管理时,用于基于所述异常驾驶状态信息对接收的与所述异常驾驶状态信息对应的图像或视频段进行处理,使所述图像或视频段按不同驾驶员进行分类,确定每个所述驾驶员的异常驾驶统计情况。

根据本申请实施例的另一个方面,提供的一种驾驶管理系统,包括:车辆和/或云端服务器;

所述车辆用于执行如上任意一项所述的驾驶管理方法;

所述云端服务器用于执行如上任意一项所述的驾驶管理方法。

可选地,还包括:移动端设备,用于:

接收驾驶员注册请求,所述驾驶员注册请求包括驾驶员的注册人脸图像;

将所述驾驶员注册请求发送给所述云端服务器。

根据本申请实施例的另一个方面,提供的一种电子设备,包括:存储器,用于存储可执行指令;

以及处理器,用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述驾驶管理方法的操作。

根据本申请实施例的另一个方面,提供的一种计算机存储介质,用于存储计算机可读取的指令,所述指令被执行时执行如上任意一项所述驾驶管理方法的操作。

基于本申请上述实施例提供的一种驾驶管理方法和系统、车载智能系统、电子设备、介质,控制设置在车辆上的摄像组件采集车辆驾驶员的视频流;获取视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果;如果特征匹配结果表示特征匹配成功,控制车辆执行车辆接收到的操作指令,减少了驾驶员识别对网络的依赖,可以在无网情况下实现特征匹配,进一步提高了车辆的安全保障性。

下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例,并且连同描述一起用于解释本申请的原理。

参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:

图1为本申请实施例驾驶管理方法一个实施例的流程图。

图2为本申请实施例中基于视频流进行驾驶员疲劳状态检测一个实施例的流程图。

图3为本申请实施例中基于视频流进行驾驶员分心状态检测一个实施例的流程图。

图4为本申请实施例中基于视频流进行预定分心动作检测一个实施例的流程图。

图5为本申请实施例驾驶状态检测一个实施例的流程示意图。

图6为本申请实施例驾驶管理方法一个具体示例的流程示意图。

图7为本申请实施例车载智能系统一个实施例的结构示意图。

图8为本申请实施例驾驶管理方法一个实施例的流程图。

图9为本申请实施例电子设备一个实施例的结构示意图。

图10为本申请实施例驾驶管理系统一个示例的使用流程图。

图11为本申请实施例驾驶管理系统另一个示例的使用流程图。

图12为本申请实施例电子设备一个应用实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

图1为本申请实施例驾驶管理方法一个实施例的流程图。如图1所示,本实施例驾驶管理方法执行主体可为车辆端设备,例如执行主体可为车载智能系统或其他具有类似功能的设备,该实施例方法包括:

步骤110,控制设置在车辆上的摄像组件采集车辆驾驶员的视频流。

可选地,为了采集驾驶员的图像,摄像组件设置在车辆内部可对驾驶位进行拍摄的位置,该摄像组件的位置可以固定或不固定,不固定的情况下,可以根据不同驾驶员进行调整位置;固定的情况下,可针对不同驾驶员调整摄像组件的镜头方向。

步骤120,获取视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果。

其中,数据集中存储有至少一个已注册的驾驶员的预存人脸图像,即已经注册的驾驶员对应的人脸图像作为预存人脸图像保存在数据集中。

可选地,可以通过人脸检测(例如:基于神经网络进行人脸检测)获得图像中的人脸部分,将人脸部分与数据集中的预存人脸图像进行特征匹配,可以通过卷积神经网络分别获取人脸部分的特征和预存人脸图像的特征,之后进行特征匹配,以识别与人脸部分对应相同人脸的预存人脸图像,进而实现对采集到图像的驾驶员的身份进行识别。

步骤130,如果特征匹配结果表示特征匹配成功,控制车辆执行车辆接收到的操作指令。

可选地,特征匹配结果包括两种情况:特征匹配成功和特征匹配不成功,当特征匹配成功时,表示该车辆驾驶员是已经注册的驾驶员,可以控制车辆,此时,控制车辆执行接收到的操作指令(驾驶员发出的操作指令)。

基于本申请上述实施例提供的一种驾驶管理方法,控制设置在车辆上的摄像组件采集车辆驾驶员的视频流;获取视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果;如果特征匹配结果表示特征匹配成功,控制车辆执行车辆接收到的操作指令,减少了驾驶员识别对网络的依赖,可以在无网情况下实现特征匹配,进一步提高了车辆的安全保障性。

在一个或多个可选的实施例中,还包括:

在车辆与云端服务器处于通信连接状态时,向云端服务器发送数据集下载请求;

接收并存储云端服务器发送的数据集。

可选地,通常数据集保存在云端服务器中,本实施例需要实现在车辆端进行人脸匹配,为了可以在无网络的情况下也能对人脸进行匹配,可以在有网络的情况下,从云端服务器下载数据集,并将数据集保存在车辆端,此时,即使没有网络,无法与云端服务器通信,也可以在车辆端实现人脸匹配,并且方便车辆端对数据集的管理。

在一个或多个可选的实施例中,还包括:

如果特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取车辆驾驶员的身份信息;

向云端服务器发送图像和身份信息。

本实施例中,当匹配成功时,说明该驾驶员是已经注册的驾驶员,从数据集中可获得对应的身份信息,而将图像和身份信息发送到云端服务器,可以在云端服务器对该驾驶员建立实时追踪(例如:某个驾驶员在什么时间、什么地点驾驶某一车辆),由于图像是基于视频获得的,在存在网络的情况下,将图像实时上传到云端服务器,可实现对驾驶员驾驶状态的分析、统计和/或管理。

在一个或多个可选的实施例中,还可以包括:

如果特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取车辆驾驶员的身份信息;

截取图像中的人脸部分;

向云端服务器发送截取的人脸部分和身份信息。

本实施例中,在向云端服务器发送图像时,仅发送基于图像分割获得的人脸部分,由此有利于减少车载端和云端服务器之间的通信网络开销,云端服务器接收到后,可以将该人脸部分作为新的该驾驶员的人脸图像存入数据集中,存入可以是增加或替换现有的人脸图像;以作为下次进行人脸识别的基础。

在一个或多个可选的实施例中,本申请驾驶管理方法还可以包括:获取所采集的图像的活体检测结果;

步骤130可以包括:

根据特征匹配结果和活体检测结果,控制车辆执行车辆接收到的操作指令。

活体检测是用来判断图像是否来自真人(或活人),通过活体检测可使得驾驶员的身份验证更为准确。本申请实施例对活体检测的具体方式不做限定,例如,可以采用对图像的三维信息深度分析、面部光流分析、傅里叶频谱分析、边缘或反光等防伪线索分析、视频流中多帧视频图像帧综合分析等等方法实现,不再赘述。

可选地,数据集中的预存人脸图像还对应设置有驾驶权限;

本申请驾驶管理方法还可以包括:如果特征匹配结果表示特征匹配成功,获取与特征匹配成功的预存人脸图像对应的驾驶权限;

步骤130可以包括:控制车辆执行车辆接收到的在权限范围内的操作指令。

本实施例中,通过对不同驾驶员设置不同的驾驶权限实现分类管理,以提高车辆的安全性,并保障权限高的驾驶员拥有更高的控制权,以提高用户体验。不同权限的设置可以通过限制操作时间和/或操作范围进行区分,例如:一些驾驶员对应的驾驶权限仅仅可以在白天或特定时段进行开车,另一些驾驶员对应的驾驶权限可以在全天开车等等;或者,一些驾驶员对应的驾驶权限可以在驾驶车辆时使用车内娱乐设备,而另一些驾驶员对应的驾驶权限仅可以开车。

在一个或多个可选的实施例中,还包括:

基于视频流进行驾驶员状态检测;

根据驾驶员状态检测的结果,进行异常驾驶状态的预警提示和/或进行智能驾驶控制。

在其中一些实施方式中,可以根据驾驶员状态检测的结果,输出驾驶员的驾驶员状态检测的结果。

在其中一些实施方式中,可以根据驾驶员状态检测的结果,对车辆进行智能驾驶控制。

在其中一些实施方式中,可以根据驾驶员状态检测的结果,输出驾驶员的驾驶员状态检测的结果,同时对车辆进行智能驾驶控制。

在其中一些实施方式中,输出驾驶员的驾驶员状态检测的结果可以包括:本地输出驾驶员状态检测的结果和/或远程输出驾驶员状态检测的结果。其中,本地输出驾驶员状态检测的结果即通过驾驶状态检测装置或者驾驶员监控系统输出驾驶员状态检测的结果,或者向车辆中的中控系统输出驾驶员状态检测的结果,以便车辆基于该驾驶员状态检测的结果对车辆进行智能驾驶控制。远程输出驾驶员状态检测的结果,例如可以是向云服务器或管理节点发送驾驶员状态检测的结果,以便由云端服务器或管理节点进行驾驶员状态检测的结果的收集、分析和/或管理,或者基于该驾驶员状态检测的结果对车辆进行远程控制。

在一个可选示例中,根据驾驶员状态检测的结果,进行异常驾驶状态的预警提示和/或进行智能驾驶控制,可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的输出模块和/或智能驾驶控制模块执行。

在一个可选示例中,上述操作可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的驾驶员状态检测单元执行。

在一些实施方式中,驾驶员状态检测例如可以包括但不限于以下任意一项或多项:驾驶员疲劳状态检测,驾驶员分心状态检测,驾驶员预定分心动作检测,驾驶员手势检测。则驾驶员状态检测的结果相应包括但不限于以下任意一项或多项:驾驶员疲劳状态检测的结果,驾驶员分心状态检测的结果,驾驶员预定分心动作检测的结果,驾驶员手势检测的结果。

本申请实施例中的预定分心动作,可以是任意可能分散驾驶员的注意力的分心动作,例如抽烟动作、喝水动作、饮食动作、打电话动作、娱乐动作等。其中,饮食动作例如吃水果、零食等食物;娱乐动作例如发信息、玩游戏、k歌等任意借助于电子设备执行的动作。其中的电子设备例如手机终端、掌上电脑、游戏机等。

基于本申请上述实施例提供的驾驶状态检测方法,可以对驾驶员图像进行驾驶员状态检测,根据驾驶员状态检测的结果输出驾驶员的驾驶员状态检测的结果,从而实现对驾驶员的驾驶状态的实时检测,以便于在驾驶员的驾驶状态较差时及时采取相应的措施,保证安全驾驶,避免发生道路交通事故。

图2为本申请实施例中基于视频流进行驾驶员疲劳状态检测一个实施例的流程图。在一个可选示例中,该图2所示实施例可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的状态检测单元执行。如图2所示,在其中一些实施方式中,基于视频流进行驾驶员疲劳状态检测,包括:

202,对视频流中的至少一个图像的人脸至少部分区域进行检测,得到人脸至少部分区域的状态信息。

在一个可选示例中,上述人脸至少部分区域可以包括:驾驶员人脸眼部区域、驾驶员人脸嘴部区域以及驾驶员面部整个区域等中的至少一个。其中,该人脸至少部分区域的状态信息可以包括以下任意一项或多项:眼睛睁合状态信息、嘴巴开合状态信息。

上述眼睛睁合状态信息可以用于进行驾驶员的闭眼检测,如检测驾驶员是否半闭眼(“半”表示非完全闭眼的状态,如瞌睡状态下的眯眼等)、是否闭眼、闭眼次数、闭眼幅度等。眼睛睁合状态信息可以可选的为对眼睛睁开的高度进行归一化处理后的信息。上述嘴巴开合状态信息可以用于进行驾驶员的哈欠检测,如检测驾驶员是否打哈欠、哈欠次数等。嘴巴开合状态信息可以可选的为对嘴巴张开的高度进行归一化处理后的信息。

在一个可选示例中,可以对驾驶员图像进行人脸关键点检测,直接利用所检测出的人脸关键点中的眼睛关键点进行计算,从而根据计算结果获得眼睛睁合状态信息。

在一个可选示例中,可以先利用人脸关键点中的眼睛关键点(例如,眼睛关键点在驾驶员图像中的坐标信息)对驾驶员图像中的眼睛进行定位,以获得眼睛图像,并利用该眼睛图像获得上眼睑线和下眼睑线,通过计算上眼睑线和下眼睑线之间的间隔,获得眼睛睁合状态信息。

在一个可选示例中,可以直接利用人脸关键点中的嘴巴关键点进行计算,从而根据计算结果获得嘴巴开合状态信息。

在一个可选示例中,可以先利用人脸关键点中的嘴巴关键点(例如,嘴巴关键点在驾驶员图像中的坐标信息)对驾驶员图像中的嘴巴进行定位,通过剪切等方式可以获得嘴巴图像,并利用该嘴巴图像获得上唇线和下唇线,通过计算上唇线和下唇线之间的间隔,获得嘴巴开合状态信息。

204,根据一段时间内的人脸至少部分区域的状态信息,获取用于表征驾驶员疲劳状态的指标的参数值。

在一些可选示例中,用于表征驾驶员疲劳状态的指标例如可以包括但不限于以下任意一项或多项:闭眼程度、打哈欠程度。

其中,闭眼程度的参数值例如可以包括但不限于以下任意一项或多项:闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率;和/或,打哈欠程度的参数值例如可以包括但不限于以下任意一项或多项:打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

206,根据上述用于表征驾驶员疲劳状态的指标的参数值确定驾驶员疲劳状态检测的结果。

上述驾驶员疲劳状态检测的结果可以包括:未检测到疲劳状态和疲劳驾驶状态。或者,上述驾驶员疲劳状态检测的结果也可以是疲劳驾驶程度,其中的疲劳驾驶程度可以包括:正常驾驶级别(也可以称为非疲劳驾驶级别)以及疲劳驾驶级别;其中的疲劳驾驶级别可以为一个级别,也可以被划分为多个不同的级别,例如,上述疲劳驾驶级别可以被划分为:提示疲劳驾驶级别(也可以称为轻度疲劳驾驶级别)和警告疲劳驾驶级别(也可以称为重度疲劳驾驶级别);当然,疲劳驾驶程度可以被划分为更多级别,例如,轻度疲劳驾驶级别、中度疲劳驾驶级别以及重度疲劳驾驶级别等。本申请不限制疲劳驾驶程度所包括的不同级别。

在一个或多个可选的实施例中,基于视频流进行驾驶员疲劳状态检测时,可以包括以下步骤:

图3为本申请实施例中基于视频流进行驾驶员分心状态检测一个实施例的流程图。在一个可选示例中,该图3所示实施例可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的状态检测单元执行。如图3所示,在其中一些实施方式中,基于视频流进行驾驶员分心状态检测,可以包括:

302,基于视频流进行人脸朝向和/或视线方向检测,得到人脸朝向信息和/或视线方向信息。

其中,人脸朝向信息可以用于确定驾驶员的人脸方向是否正常,如确定驾驶员是否侧脸或者是否回头等。人脸朝向信息可选的可以为驾驶员人脸正前方与驾驶员所驾驶的车辆正前方之间的夹角。上述视线方向信息可以用于确定驾驶员的视线方向是否正常,如确定驾驶员是否目视前方等,视线方向信息可以用于判断驾驶员的视线是否发生了偏离现象等。视线方向信息可选的可以为驾驶员的视线与驾驶员所驾驶的车辆正前方之间的夹角。

304,根据一段时间内驾驶员的人脸朝向信息和/或视线方向信息,确定用于表征驾驶员分心状态的指标的参数值。

其中,用于表征驾驶员分心状态指标,例如可以包括但不限于以下任意一项或多项:人脸朝向偏离程度,视线偏离程度。在其中一些可选示例中,人脸朝向偏离程度的参数值例如可以包括但不限于以下任意一项或多项:转头次数、转头持续时长、转头频率;和/或,视线偏离程度的参数值例如可以包括但不限于以下任意一项或多项:视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

上述视线偏离程度例如可以包括:视线是否偏离以及视线是否严重偏离等中的至少一个;上述人脸朝向偏离程度(也可以称为转脸程度或者回头程度)例如可以包括:是否转头、是否短时间转头以及是否长时间转头中的至少一个。

在一个可选示例中,在判断出人脸朝向信息大于第一朝向,大于第一朝向的这一现象持续了n1帧(例如,持续了9帧或者10帧等),则确定驾驶员出现了一次长时间大角度转头现象,可以记录一次长时间大角度转头,也可以记录本次转头时长;在判断出人脸朝向信息不大于第一朝向,大于第二朝向,在不大于第一朝向,大于第二朝向的这一现象持续了n1帧(例如,持续了9帧或者10帧等),则确定驾驶员出现了一次长时间小角度转头现象,可以记录一次小角度转头偏离,也可以记录本次转头时长。

在一个可选示例中,在判断出视线方向信息和汽车正前方之间的夹角大于第一夹角,大于第一夹角的这一现象持续了n2帧(例如,持续了8帧或9帧等),则确定驾驶员出现了一次视线严重偏离现象,可以记录一次视线严重偏离,也可以记录本次视线严重偏离时长;在判断出视线方向信息和汽车正前方之间的夹角不大于第一夹角,大于第二夹角,在不大于第一夹角,大于第二夹角的这一现象持续了n2帧(例如,持续了9帧或10帧等),则确定驾驶员出现了一次视线偏离现象,可以记录一次视线偏离,也可以记录本次视线偏离时长。

在一个可选示例中,上述第一朝向、第二朝向、第一夹角、第二夹角、n1以及n2的取值可以根据实际情况设置,本申请不限制取值的大小。

306,根据用于表征驾驶员分心状态的指标的参数值确定驾驶员分心状态检测的结果。

其中,驾驶员分心状态检测的结果例如可以包括:驾驶员注意力集中(驾驶员注意力未分散),驾驶员注意力分散;或者,驾驶员分心状态检测的结果可以为驾驶员注意力分散级别,例如可以包括:驾驶员注意力集中(驾驶员注意力未分散),驾驶员注意力轻度分散,驾驶员注意力中度分散,驾驶员注意力严重分散等。其中的驾驶员注意力分散级别可以通过用于表征驾驶员分心状态的指标的参数值所满足的预设条件确定。例如,若视线方向偏离角度和人脸朝向偏离角度均小于第一预设角度,驾驶员注意力分散级别为驾驶员注意力集中;若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度,且持续时间不大于第一预设时长、且小于第二预设时长为驾驶员注意力轻度分散;若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度,且持续时间不大于第二预设时长、且小于第三预设时长为驾驶员注意力中度分散;若视线方向偏离角度和人脸朝向偏离角度任一不小于预设角度,且持续时间不下于第三预设时长为驾驶员注意力重度分散。

本实施例通过检测驾驶员图像的人脸朝向和/或视线方向来确定用于表征驾驶员分心状态的指标的参数值,并据此确定驾驶员分心状态检测的结果,以判断驾驶员是否集中注意力驾驶,通过对驾驶员分心状态的指标进行量化,将驾驶专注程度量化为视线偏离程度和转头程度的指标中的至少一个,有利于及时客观的衡量驾驶员的专注驾驶状态。

在其中一些实施方式中,操作302对驾驶员图像进行人脸朝向和/或视线方向检测,可以包括:

检测驾驶员图像的人脸关键点;

根据人脸关键点进行人脸朝向和/或视线方向检测。

由于人脸关键点中通常会包含有头部姿态特征信息,在其中一些可选示例中,根据人脸关键点进行人脸朝向检测,得到人脸朝向信息,包括:根据人脸关键点获取头部姿态的特征信息;根据头部姿态的特征信息确定人脸朝向(也称为头部姿态)信息,此处的人脸朝向信息例如可以表现出人脸转动的方向以及角度,这里的转动的方向可以为向左转动、向右转动、向下转动和/或者向上转动等。

在一个可选示例中,可以通过人脸朝向判断驾驶员是否集中注意力驾驶。人脸朝向(头部姿态)可以表示为(yaw,pitch),其中,yaw分别表示头部在归一化球坐标(摄像头所在的相机坐标系)中的水平偏转角度(偏航角)和垂直偏转角度(俯仰角)。当水平偏转角和/或垂直偏转角大于一个预设角度阈值、且持续时间大于一个预设时间阈值时可以确定驾驶员分心状态检测的结果为注意力不集中。

在一个可选示例中,可以利用相应的神经网络来获得各驾驶员图像的人脸朝向信息。例如,可以将上述检测到的人脸关键点输入第一神经网络,经第一神经网络基于接收到的人脸关键点提取头部姿态的特征信息并输入第二神经网络;由第二神经网络基于该头部姿态的特征信息进行头部姿态估计,获得人脸朝向信息。

在采用现有的发展较为成熟,具有较好的实时性的用于提取头部姿态的特征信息的神经网络和用于估测人脸朝向的神经网络来获取人脸朝向信息的情况下,针对摄像头摄取到的视频,可以准确及时的检测出视频中的各图像帧(即各帧驾驶员图像)所对应的人脸朝向信息,从而有利于提高确定驾驶员注意力程度的准确性。

在其中一些可选示例中,根据人脸关键点进行视线方向检测,得到视线方向信息,包括:根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置,并根据瞳孔边沿位置计算瞳孔中心位置;根据瞳孔中心位置与眼睛中心位置计算视线方向信息。例如,计算瞳孔中心位置与眼睛图像中的眼睛中心位置的向量,该向量即可作为视线方向信息。

在一个可选示例中,可以通过视线方向判断驾驶员是否集中注意力驾驶。视线方向可以表示为(yaw,pitch),其中,yaw分别表示视线在归一化球坐标(摄像头所在的相机坐标系)中的水平偏转角度(偏航角)和垂直偏转角度(俯仰角)。当水平偏转角和/或垂直偏转角大于一个预设角度阈值、且持续时间大于一个预设时间阈值时可以确定驾驶员分心状态检测的结果为注意力不集中。

其中,根据人脸关键点中的眼睛关键点所定位的眼睛图像确定瞳孔边沿位置,可以通过如下方式实现:基于该第三神经网络对根据人脸关键点分割出的图像中的眼睛区域图像进行瞳孔边沿位置的检测,并根据第三神经网络输出的信息获取到瞳孔边沿位置。

图4为本申请实施例中基于视频流进行预定分心动作检测一个实施例的流程图。在一个可选示例中,该图4所示实施例可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的状态检测单元执行。如图4所示,在其中一些实施方式中,基于视频流进行预定分心动作检测,包括:

402,基于视频流进行预定分心动作相应的目标对象检测,得到目标对象的检测框。

404,根据上述目标对象的检测框,确定是否出现预定分心动作。

本实施例提供了对驾驶员进行预定分心动作检测的实现方案,通过检测预定分心动作相应的目标对象、根据检测到的目标对象的检测框确定是否出现分心动作,从而判断驾驶员是否分心,有助于获取准确的驾驶员预定分心动作检测的结果,从而有助于提高驾驶员状态检测的结果的准确性。

例如,预定分心动作为抽烟动作时,上述操作402~404可以包括:经第四神经网络对驾驶员图像进行人脸检测,得到人脸检测框,并提取人脸检测框的特征信息;经第四神经网络根据人脸检测框的特征信息确定是否出现抽烟动作。

又如,预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即:饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)时,上述操作402~404可以包括:经第五神经网络对驾驶员图像进行饮食动作/喝水动作/打电话动作/娱乐动作相应的预设目标对象检测,得到预设目标对象的检测框,其中的预设目标对象包括:手部、嘴部、眼部、目标物体;目标物体例如可以包括但不限于以下任意一类或多类:容器、食物、电子设备;根据预设目标对象的检测框确定预定分心动作的检测结果,该预定分心动作的检测结果可以包括以下之一:未出现饮食动作/喝水动作/打电话动作/娱乐动作,出现饮食动作,出现喝水动作,出现打电话动作,出现娱乐动作。

在一些可选示例中,预定分心动作为饮食动作/喝水动作/打电话动作/娱乐动作(即:饮食动作和/或喝水动作和/或打电话动作和/或娱乐动作)时,根据预设目标对象的检测框确定预定分心动作的检测结果,可以包括:根据是否检测到手部的检测框、嘴部的检测框、眼部的检测框和目标物体的检测框,以及根据手部的检测框与目标物体的检测框是否重叠、目标物体的类型以及目标物体的检测框与嘴部的检测框或眼部的检测框之间的距离是否满足预设条件,确定预定危险动作的检测结果。

可选地,若手部的检测框与目标物体的检测框重叠,目标物体的类型为容器或食物、且目标物体的检测框与嘴部的检测框之间重叠,确定出现饮食动作或喝水动作;和/或,若手部的检测框与目标物体的检测框重叠,目标物体的类型为电子设备,且目标物体的检测框与嘴部的检测框之间的最小距离小于第一预设距离、或者目标物体的检测框与眼部的检测框之间的最小距离小于第二预设距离,确定出现娱乐动作或打电话动作。

另外,若未同时检测到手部的检测框、嘴部的检测框和任一目标物体的检测框,且未同时检测到手部的检测框、眼部的检测框和任一目标物体的检测框,确定分心动作的检测结果为未检测到饮食动作、喝水动作、打电话动作和娱乐动作;和/或,若手部的检测框与目标物体的检测框未重叠,确定分心动作的检测结果为未检测到饮食动作、喝水动作、打电话动作和娱乐动作;和/或,若目标物体的类型为容器或食物、且目标物体的检测框与嘴部的检测框之间未重叠,和/或,目标物体的类型为电子设备、且目标物体的检测框与嘴部的检测框之间的最小距离不小于第一预设距离、或者目标物体的检测框与眼部的检测框之间的最小距离不小于第二预设距离,确定分心动作的检测结果为未检测到饮食动作、喝水动作、打电话动作和娱乐动作。

另外,在上述对驾驶员图像进行预定分心动作检测的实施例中,还可以包括:若驾驶员分心状态检测的结果为检测到预定分心动作,提示检测到的分心动作,例如,检测到抽烟动作时,提示检测到抽烟;检测到喝水动作时,提示检测到喝水;检测到打电话动作时,提示检测到打电话。

在一个可选示例中,上述提示检测到的分心动作的操作可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的第一提示模块执行。

另外,再参见图4,在对驾驶员图像进行驾驶员预定分心动作检测的另一个实施例中,还可以选择性地包括:

406,若出现预定分心动作,根据一段时间内是否出现预定分心动作的确定结果,获取用于表征驾驶员分心程度的指标的参数值。其中,用于表征驾驶员分心程度的指标例如可以包括但不限于以下任意一项或多项:预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。例如,抽烟动作的次数、持续时长、频率;喝水动作的次数、持续时长、频率;打电话动作的次数、持续时长、频率;等等。

408,根据用于表征分心程度的指标的参数值确定驾驶员预定分心动作检测的结果。

上述驾驶员预定分心动作检测的结果可以包括:未检测到预定分心动作,检测到的预定分心动作。另外,上述驾驶员预定分心动作检测的结果也可以为分心级别,例如,上述分心级别例如可以被划分为:未分心级别(也可以称为专注驾驶级别),提示分心驾驶级别(也可以称为轻度分心驾驶级别)和警告分心驾驶级别(也可以称为重度疲劳驾驶级别);当然,分心级别也可以被划分为更多级别,例如:未分心驾驶级别,轻度分心驾驶级别、中度分心驾驶级别以及重度分心驾驶级别等。当然,本申请各实施例的分心级别也可以按照其他情况划分,不限制为上述级别划分情况。

其中的分心级别可以通过用于表征分心程度的指标的参数值所满足的预设条件确定。例如,若未检测到预定分心动作,分心级别为未分心级别(也可以称为专注驾驶级别);若检测到预定分心动作的持续时间小于第一预设时长、且频率小于第一预设频率,分心级别为轻度分心驾驶级别;若检测到预定分心动作的持续时间大于第一预设时长,和/或频率大于第一预设频率,分心级别为重度分心驾驶级别。

另外,在本申请驾驶状态检测方法的另一个实施例中,还可以包括:根据驾驶员分心状态检测的结果和/或驾驶员预定分心动作检测的结果,输出分心提示信息。

来说,若驾驶员分心状态检测的结果为驾驶员注意力分散或者驾驶员注意力分散级别,和/或驾驶员预定分心动作检测的结果为检测到预定分心动作,则可以输出分心提示信息,以提醒驾驶员集中注意力驾驶。

在一个可选示例中,上述根据驾驶员分心状态检测的结果和/或驾驶员预定分心动作检测的结果,输出分心提示信息的操作可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的第二提示模块执行。

图5为本申请驾驶状态检测一个实施例的流程示意图。在一个可选示例中,该图5所示实施例可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的状态检测单元执行。参见图5,该实施例方法包括:

502,基于视频流进行驾驶员疲劳状态检测、驾驶员分心状态检测和驾驶员预定分心动作检测,得到驾驶员疲劳状态检测的结果,驾驶员分心状态检测的结果,驾驶员预定分心动作检测的结果。

504,根据驾驶员疲劳状态检测的结果、驾驶员分心状态检测的结果和驾驶员预定分心动作检测的结果所满足的预设条件确定驾驶状态等级。

506,将确定的驾驶状态等级作为驾驶员状态检测的结果。

在一个可选示例中,每一个驾驶状态等级均对应有预设条件,可以实时的判断根据驾驶员疲劳状态检测的结果、驾驶员分心状态检测的结果和驾驶员预定分心动作检测的结果所满足的预设条件,可以将被满足的预设条件所对应的驾驶状态等级确定为驾驶员的驾驶员状态检测的结果。其中的驾驶状态等级例如可以包括:正常驾驶状态(也可以称为专注驾驶级别),提示驾驶状态(驾驶状态较差),警告驾驶状态(驾驶状态非常差)。

在一个可选示例中,上述图5所示实施例可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的输出模块执行。

例如,在一个可选示例中,正常驾驶状态(也可以称为专注驾驶级别)对应的预设条件可以包括:

条件1、驾驶员疲劳状态检测的结果为:未检测到疲劳状态或者非疲劳驾驶级别;

条件2,驾驶员分心状态检测的结果为:驾驶员注意力集中;

条件3,驾驶员预定分心动作检测的结果为:未检测到预定分心动作或者未分心级别。

在上述条件1、条件2、条件3均满足的情况下,驾驶状态等级为正常驾驶状态(也可以称为专注驾驶级别)。

例如,在一个可选示例中,提示提示驾驶状态(驾驶状态较差)对应的预设条件可以包括:

条件11、驾驶员疲劳状态检测的结果为:提示疲劳驾驶级别(也可以称为轻度疲劳驾驶级别);

条件22,驾驶员分心状态检测的结果为:驾驶员注意力轻度分散;

条件33,驾驶员预定分心动作检测的结果为:提示分心驾驶级别(也可以称为轻度分心驾驶级别)。

在上述条件11、条件22、条件33中的其中任一条件满足、其他条件中的结果未达到更严重的疲劳驾驶级别、注意力分散级别、分心级别对应的预设条件的情况下,驾驶状态等级为提示驾驶状态(驾驶状态较差)。

例如,在一个可选示例中,警告驾驶状态(驾驶状态非常差)对应的预设条件可以包括:

条件111、驾驶员疲劳状态检测的结果为:警告疲劳驾驶级别(也可以称为重度疲劳驾驶级别);

条件222,驾驶员分心状态检测的结果为:驾驶员注意力严重分散;

条件333,驾驶员预定分心动作检测的结果为:警告分心驾驶级别(也可以称为重度疲劳驾驶级别)。

在上述条件111、条件222、条件333中的其中任一条件满足时,驾驶状态等级为警告驾驶状态(驾驶状态非常差)。

进一步地,在本申请驾驶状态检测方法的又一个实施例中,还可以包括:

执行与驾驶员状态检测的结果对应的控制操作。

在一个可选示例中,执行与驾驶员状态检测的结果对应的控制操作可以由处理器调用存储器存储的相应指令执行,也可以由被处理器运行的第一控制模块执行。

在其中一些可选示例中,执行与驾驶员状态检测的结果对应的控制操作可以包括以下至少之一:

如果驾驶员状态检测的结果满足提示/告警预定条件,例如满足提示提示驾驶状态(驾驶状态较差)对应的预设条件或者驾驶状态等级为提示驾驶状态(驾驶状态较差),输出与该提示/告警预定条件相应的提示/告警信息,例如通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示驾驶员,以便于提醒驾驶员注意,促使驾驶员将被分散的注意力回归到驾驶上或者促使驾驶员进行休息等,以实现安全驾驶,避免发生道路交通事故;再如,

和/或,如果驾驶员状态检测的结果满足预定驾驶模式切换条件,满足警告驾驶状态(驾驶状态非常差)对应的预设条件或者驾驶状态等级为警告分心驾驶级别(也可以称为重度疲劳驾驶级别)时,将驾驶模式切换为自动驾驶模式,以实现安全驾驶,避免发生道路交通事故;同时,还可以通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示驾驶员,以便于提醒驾驶员,促使将被分散的注意力回归到驾驶上或者促使驾驶员进行休息等;再如,

和/或,如果驾驶员状态检测的结果满足预定条件,向预定联系方式发送预定信息或与预定联系方式建立通信连接;例如:约定驾驶员做出某个或某些动作时,表示驾驶员处于危险状态或需要求助,当检测到这些动作时,向预定联系方式(例如:报警电话、最近联系人的电话或设置的紧急联系人的电话)发送预定信息(如:报警信息、提示信息或拨通电话),还可以直接通过车载设备与预定联系方式建立通信连接(如:视频通话、语音通话或电话通话),以保障驾驶员的人身和/或财产安全。

在一个或多个可选的实施例中,还可以包括:向云端服务器发送驾驶员状态检测的至少部分结果。

可选地,至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

将驾驶状态检测得到的部分结果或全部结果发送到云端服务器,可实现对异常驾驶状态信息的备份,由于正常驾驶状态无需进行记录,因此,本实施例仅将异常驾驶状态信息发送给云端服务器;当得到的驾驶员状态检测结果包括正常驾驶状态信息和异常驾驶状态信息时,传输部分结果,即仅将异常驾驶状态信息发送给云端服务器;而当驾驶员状态检测的全部结果都为异常驾驶状态信息时,传输全部的异常驾驶状态信息给云端服务器。

可选地,在车辆端存储视频流中与异常驾驶状态信息对应的图像或视频段;和/或,

向云端服务器发送视频流中与异常驾驶状态信息对应的图像或视频段。

本实施例中通过在车辆端本地保存与异常驾驶状态信息对应的图像或视频段,实现证据保存,通过保存的图像或视频段,如果后续由于驾驶员异常驾驶状态出现驾驶安全或其他问题,可以通过调取保存的图像或视频段进行责任确定,如果在保存的图像或视频段中发现与出现的问题相关的异常驾驶状态,即可确定该驾驶员的责任;而为了防止车辆端的数据被误删或蓄意删除,可以将与异常驾驶状态信息对应的图像或视频段上传到云端服务器进行备份,在需要信息时,可从云端服务器下载到车辆端进行查看,或从云端服务器下载到其他客户端进行查看。

在一个或多个可选的实施例中,还包括:在车辆与移动端设备处于通信连接状态时,向移动端设备发送数据集下载请求;

接收并存储移动端设备发送的数据集。

其中,数据集是由移动端设备在接收到数据集下载请求时,从云端服务器获取数据集并发送给车辆的。

可选地,移动端设备可以是手机、pad或者其他车辆上的终端设备等,移动端设备在接收到数据集下载请求时向云端服务器发送数据集下载请求,然后获得数据集在发送给车辆,通过移动端设备下载数据集时,可以应用移动端设备自带的网络(如:2g、3g、4g网络等),避免了车辆受网络限制不能从云端服务器下载到数据集而无法进行人脸匹配的问题。

在一个或多个可选的实施例中,还包括:如果特征匹配结果表示特征匹配不成功,拒绝执行接收到的操作指令。

特征匹配不成功表示该驾驶员未经过注册,此时,为了保障已注册驾驶员的权益,车辆将拒绝执行该驾驶员的操作指令,可选地,还可以发出提示注册信息;

根据提示注册信息接收驾驶员注册请求,驾驶员注册请求包括驾驶员的注册人脸图像;

根据注册人脸图像,建立数据集。

通过车辆接收驾驶员发出的驾驶员注册请求,对该驾驶员的注册人脸图像进行保存,在车辆端基于该注册人脸图像建立数据集,通过数据集可实现车辆端的单独人脸匹配,无需从云端服务器下载数据集。

图6为本申请实施例驾驶管理方法一个具体示例的流程示意图。如图6所示,本实施例驾驶管理方法执行主体可为车辆端设备,例如执行主体可为车载智能系统或其他具有类似功能的设备,并为经过筛选的人脸图像和驾驶员id信息(身份信息)分配对应的驾驶员权限信息之后存入数据集;

车辆客户端获取驾驶员图像,对驾驶员图像依次经过人脸检测、质量筛选和活体识别,以经过筛选的待识别人脸图像与数据集中所有人脸图像进行匹配,匹配基于人脸特征实现,人脸特征可通过神经网络提取获得,基于比对结果确定待识别人脸图像对应的权限信息,基于权限信息控制车辆动作;在车辆客户端分别对待识别图像和数据集中的人脸图像进行特征提取,得到对应的人脸特征,基于人脸特征进行匹配,基于匹配结果执行相应的操作。

在一个或多个可选的实施例中,步骤120可以包括:在车辆与云端服务器处于通信连接状态时,将视频流中的至少一个图像的人脸部分上传到云端服务器,并接收云端服务器发送的特征匹配结果。

本实施例实现在云端服务器中进行特征匹配,在匹配前,车辆将视频流中的至少一个图像的人脸部分上传到云端服务器,云端服务器将该人脸部分与数据集中的人脸图像进行特征匹配,以获得特征匹配结果,车辆从云端服务器获取该特征匹配结果,减少了车辆与云端服务器之间的数据传输量,减小了网络开销。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

图7为本申请实施例驾驶管理系统一个实施例的结构示意图。该实施例的驾驶管理系统可用于实现本申请上述各驾驶管理方法实施例。如图7所示,该实施例的驾驶管理系统包括:

视频采集单元71,用于控制设置在车辆上的摄像组件采集车辆驾驶员的视频流。

结果获取单元72,用于获取视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果。

其中,数据集中存储有至少一个已注册的驾驶员的预存人脸图像。

操作单元73,用于如果特征匹配结果表示特征匹配成功,控制车辆执行车辆接收到的操作指令。

基于本申请上述实施例提供的一种驾驶管理装置,控制设置在车辆上的摄像组件采集车辆驾驶员的视频流;获取视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果;如果特征匹配结果表示特征匹配成功,控制车辆执行车辆接收到的操作指令,减少了驾驶员识别对网络的依赖,可以在无网情况下实现特征匹配,进一步提高了车辆的安全保障性。

在一个或多个可选的实施例中,还包括:

第一数据下载单元,用于在车辆与云端服务器处于通信连接状态时,向云端服务器发送数据集下载请求;

数据保存单元,用于接收并存储云端服务器发送的数据集。

可选地,通常数据集保存在云端服务器中,本实施例需要实现在车辆端进行人脸匹配,为了可以在无网络的情况下也能对人脸进行匹配,可以在有网络的情况下,从云端服务器下载数据集,并将数据集保存在车辆端,此时,即使没有网络,无法与云端服务器通信,也可以在车辆端实现人脸匹配,并且方便车辆端对数据集的管理。

在一个或多个可选的实施例中,还包括:

第一云端存储单元,用于如果特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取车辆驾驶员的身份信息;向云端服务器发送图像和身份信息。

本实施例中,当匹配成功时,说明该驾驶员是已经注册的驾驶员,从数据集中可获得对应的身份信息,而将图像和身份信息发送到云端服务器,可以在云端服务器对该驾驶员建立实时追踪(例如:某个驾驶员在什么时间、什么地点驾驶某一车辆),由于图像是基于视频获得的,在存在网络的情况下,将图像实时上传到云端服务器,可实现对驾驶员驾驶状态的分析和统计。

在一个或多个可选的实施例中,还可以包括:

第二云端存储单元,如果特征匹配结果表示特征匹配成功,根据特征匹配成功的预存人脸图像获取车辆驾驶员的身份信息;截取图像中的人脸部分;向云端服务器发送截取的人脸部分和身份信息。

由于人脸匹配的过程是基于图像中的人脸部分实现的,因此,在向云端服务器发送图像时,可以仅发送基于图像分割获得的人脸部分,可以将该人脸部分作为新的该驾驶员的人脸图像存入数据集中,存入可以是增加或替换现有的人脸图像;以作为下次进行人脸识别的基础。

在一个或多个可选的实施例中,本申请驾驶管理装置还包括:活体检测单元,用于获取所采集的图像的活体检测结果;

操作单元73,具体用于根据特征匹配结果和活体检测结果,控制车辆执行车辆接收到的操作指令。

活体检测是用来判断图像是否来自真人(或活人),通过活体检测可使得驾驶员的身份验证更为准确。本申请实施例对活体检测的具体方式不做限定,例如,可以采用对图像的三维信息深度分析、面部光流分析、傅里叶频谱分析、边缘或反光等防伪线索分析、视频流中多帧视频图像帧综合分析等等方法实现,不再赘述。

可选地,数据集中的预存人脸图像还对应设置有驾驶权限;

本实施例装置还包括:

权限获取单元,用于如果特征匹配结果表示特征匹配成功,获取与特征匹配成功的预存人脸图像对应的驾驶权限;

操作单元73,还用于控制车辆执行车辆接收到的在权限范围内的操作指令。

本实施例中,通过对不同驾驶员设置不同的驾驶权限实现分类管理,以提高车辆的安全性,并保障权限高的驾驶员拥有更高的控制权,以提高用户体验。不同权限的设置可以通过限制操作时间和/或操作范围进行区分,例如:一些驾驶员对应的驾驶权限仅仅可以在白天或特定时段进行开车,另一些驾驶员对应的驾驶权限可以在全天开车等等;或者,一些驾驶员对应的驾驶权限可以在驾驶车辆时使用车内娱乐设备,而另一些驾驶员对应的驾驶权限仅可以开车。

在一个或多个可选的实施例中,还包括:

状态检测单元,用于基于视频流进行驾驶员状态检测;

输出单元,用于根据驾驶员状态检测的结果,进行异常驾驶状态的预警提示;和/或,

智能驾驶控制单元,用于根据驾驶员状态检测的结果,进行智能驾驶控制。

在其中一些实施方式中,可以根据驾驶员状态检测的结果,输出驾驶员的驾驶员状态检测的结果。

在其中一些实施方式中,可以根据驾驶员状态检测的结果,对车辆进行智能驾驶控制。

在其中一些实施方式中,可以根据驾驶员状态检测的结果,输出驾驶员的驾驶员状态检测的结果,同时对车辆进行智能驾驶控制。

在其中一些实施方式中,输出驾驶员的驾驶员状态检测的结果可以包括:本地输出驾驶员状态检测的结果和/或远程输出驾驶员状态检测的结果。其中,本地输出驾驶员状态检测的结果即通过驾驶状态检测装置或者驾驶员监控系统输出驾驶员状态检测的结果,或者向车辆中的中控系统输出驾驶员状态检测的结果,以便车辆基于该驾驶员状态检测的结果对车辆进行智能驾驶控制。远程输出驾驶员状态检测的结果,例如可以是向云服务器或管理节点发送驾驶员状态检测的结果,以便由云端服务器或管理节点进行驾驶员状态检测的结果的收集、分析和/或管理,或者基于该驾驶员状态检测的结果对车辆进行远程控制。

可选地,驾驶员状态检测包括以下任意一项或多项:驾驶员疲劳状态检测,驾驶员分心状态检测,驾驶员预定分心动作检测,驾驶员手势检测。

可选地,状态检测单元基于视频流进行驾驶员疲劳状态检测时,用于:

对视频流中的至少一个图像的人脸至少部分区域进行检测,得到人脸至少部分区域的状态信息,人脸至少部分区域的状态信息包括以下任意一项或多项:眼睛睁合状态信息、嘴巴开合状态信息;

根据一段时间内的人脸至少部分区域的状态信息,获取用于表征驾驶员疲劳状态的指标的参数值;

根据用于表征驾驶员疲劳状态的指标的参数值确定驾驶员疲劳状态检测的结果。

可选地,用于表征驾驶员疲劳状态的指标包括以下任意一项或多项:闭眼程度、打哈欠程度。

可选地,闭眼程度的参数值包括以下任意一项或多项:闭眼次数、闭眼频率、闭眼持续时长、闭眼幅度、半闭眼次数、半闭眼频率;和/或,

打哈欠程度的参数值包括以下任意一项或多项:打哈欠状态、打哈欠次数、打哈欠持续时长、打哈欠频率。

在一个或多个可选的实施例中,状态检测单元基于视频流进行驾驶员分心状态检测时,用于:

对视频流中驾驶员进行人脸朝向和/或视线方向检测,得到人脸朝向信息和/或视线方向信息;

根据一段时间内的人脸朝向信息和/或视线方向信息,确定用于表征驾驶员分心状态的指标的参数值;用于表征驾驶员分心状态的指标包括以下任意一项或多项:人脸朝向偏离程度,视线偏离程度;

根据用于表征驾驶员分心状态的指标的参数值确定驾驶员分心状态检测的结果。

上述驾驶员疲劳状态检测的结果可以包括:未检测到疲劳状态和疲劳驾驶状态。或者,上述驾驶员疲劳状态检测的结果也可以是疲劳驾驶程度,其中的疲劳驾驶程度可以包括:正常驾驶级别(也可以称为非疲劳驾驶级别)以及疲劳驾驶级别;其中的疲劳驾驶级别可以为一个级别,也可以被划分为多个不同的级别,例如,上述疲劳驾驶级别可以被划分为:提示疲劳驾驶级别(也可以称为轻度疲劳驾驶级别)和警告疲劳驾驶级别(也可以称为重度疲劳驾驶级别);当然,疲劳驾驶程度可以被划分为更多级别,例如,轻度疲劳驾驶级别、中度疲劳驾驶级别以及重度疲劳驾驶级别等。本申请不限制疲劳驾驶程度所包括的不同级别。

可选地,人脸朝向偏离程度的参数值包括以下任意一项或多项:转头次数、转头持续时长、转头频率;和/或,

视线偏离程度的参数值包括以下任意一项或多项:视线方向偏离角度、视线方向偏离时长、视线方向偏离频率。

可选地,状态检测单元对视频流中驾驶员进行人脸朝向和/或视线方向检测,包括:

检测视频流中图像的人脸关键点;

根据人脸关键点进行人脸朝向和/或视线方向检测。

可选地,状态检测单元根据人脸关键点进行人脸朝向检测时,用于:

根据人脸关键点获取头部姿态的特征信息;

根据头部姿态的特征信息确定人脸朝向信息。

可选地,预定分心动作包括以下任意一项或多项:抽烟动作,喝水动作,饮食动作,打电话动作,娱乐动作。

可选地,状态检测单元基于视频流进行预定分心动作检测时,用于:

对视频流中的至少一个图像进行预定分心动作相应的目标对象检测,得到目标对象的检测框;

根据目标对象的检测框,确定是否出现预定分心动作。

可选地,状态检测单元,还用于:

若出现分心动作,获取一段时间内是否出现预定分心动作的确定结果,获取用于表征分心程度的指标的参数值;

根据用于表征分心程度的指标的参数值确定驾驶员预定分心动作检测的结果。

可选地,分心程度的参数值包括以下任意一项或多项:预定分心动作的次数、预定分心动作的持续时长、预定分心动作的频率。

可选地,还包括:

提示单元,用于若驾驶员预定分心动作检测的结果为检测到预定分心动作,提示检测到的分心动作。

可选地,还包括:

控制单元,用于执行与驾驶员状态检测的结果对应的控制操作。

可选地,控制单元,用于:

如果确定的驾驶员状态检测的结果满足提示/告警预定条件,输出与提示/告警预定条件相应的提示/告警信息;和/或,

如果确定的驾驶员状态检测的结果满足预定信息发送条件,向预设联系人发送预定信息;和/或,

如果确定的驾驶员状态检测的结果满足预定驾驶模式切换条件,将驾驶模式切换为自动驾驶模式。

在一个或多个可选的实施例中,还包括:

结果发送单元,用于向云端服务器发送驾驶员状态检测的至少部分结果。

可选地,至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

将驾驶状态检测得到的部分结果或全部结果发送到云端服务器,可实现对异常驾驶状态信息的备份,由于正常驾驶状态无需进行记录,因此,本实施例仅将异常驾驶状态信息发送给云端服务器;当得到的驾驶员状态检测结果包括正常驾驶状态信息和异常驾驶状态信息时,传输部分结果,即仅将异常驾驶状态信息发送给云端服务器;而当驾驶员状态检测的全部结果都为异常驾驶状态信息时,传输全部的异常驾驶状态信息给云端服务器。

可选地,还包括:视频存储单元,用于:

存储视频流中与异常驾驶状态信息对应的图像或视频段;和/或,

向云端服务器发送视频流中与异常驾驶状态信息对应的图像或视频段。

在一个或多个可选的实施例中,还包括:

第二数据下载单元,用于在车辆与移动端设备处于通信连接状态时,向移动端设备发送数据集下载请求;接收并存储移动端设备发送的数据集。

可选地,第二数据下载单元由移动端设备在接收到数据集下载请求时,从云端服务器获取数据集并发送给车辆的。

可选地,移动端设备可以是手机、pad或者其他车辆上的终端设备等,移动端设备在接收到数据集下载请求时向云端服务器发送数据集下载请求,然后获得数据集在发送给车辆,通过移动端设备下载数据集时,可以应用移动端设备自带的网络(如:2g、3g、4g网络等),避免了车辆受网络限制不能从云端服务器下载到数据集而无法进行人脸匹配的问题。

在一个或多个可选的实施例中,操作单元73,还用于如果特征匹配结果表示特征匹配不成功,拒绝执行接收到的操作指令。

特征匹配不成功表示该驾驶员未经过注册,此时,为了保障已注册驾驶员的权益,车辆将拒绝执行该驾驶员的操作指令,可选地,操作单元,还用于发出提示注册信息;

根据提示注册信息接收驾驶员注册请求,驾驶员注册请求包括驾驶员的注册人脸图像;

根据注册人脸图像,建立数据集。

通过车辆接收驾驶员发出的驾驶员注册请求,对该驾驶员的注册人脸图像进行保存,在车辆端基于该注册人脸图像建立数据集,通过数据集可实现车辆端的单独人脸匹配,无需从云端服务器下载数据集。

在一个或多个可选的实施例中,结果获取单元72,用于在车辆与云端服务器处于通信连接状态时,将视频流中的至少一个图像的人脸部分上传到云端服务器,并接收云端服务器发送的特征匹配结果。

本实施例实现在云端服务器中进行特征匹配,在匹配前,车辆将视频流中的至少一个图像的人脸部分上传到云端服务器,云端服务器将该人脸部分与数据集中的人脸图像进行特征匹配,以获得特征匹配结果,车辆从云端服务器获取该特征匹配结果,减少了车辆与云端服务器之间的数据传输量,减小了网络开销。

本申请实施例提供的车载智能系统任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述,限于篇幅,在此不再赘述。

图8为本申请实施例驾驶管理方法一个实施例的流程图。如图8所示,本实施例驾驶管理方法执行主体可为云端服务器,例如执行主体可为电子设备或其他具有类似功能的设备,该实施例方法包括:

步骤810,接收车辆发送的待识别的人脸图像。

可选地,待识别的人脸图像通过车辆进行采集,经过人脸检测从采集到的视频中的图像获得人脸图像,基于视频中的图像获得人脸图像的过程可以包括:人脸检测、人脸质量筛选和活体识别,通过这些过程以保证获得的待识别的人脸图像是车辆中的真实驾驶员的质量较好的人脸图像,保证了后续特征匹配的效果。

步骤820,获得人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

其中,数据集中存储有至少一个已注册的驾驶员的预存人脸图像;可选地,云端服务器可以从车辆直接获取到特征匹配结果,此时,特征匹配的过程在车辆端实现。

可选地,从车辆获取人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

步骤830,如果特征匹配结果表示特征匹配成功,向车辆发送允许控制车辆的指令。

基于本申请上述实施例提供的一种驾驶管理方法,通过在车辆端实现人脸特征匹配,减少了驾驶员识别对网络的依赖,可以在无网情况下实现特征匹配,进一步提高了车辆的安全保障性。

可选地,还包括:

接收车辆发送的数据集下载请求,数据集中存储有至少一已注册的驾驶员的预存人脸图像;

向车辆发送数据集。

由于数据集通常保存在云端服务器中,本实施例需要实现在车辆端进行人脸匹配,为了可以在无网络的情况下也能对人脸进行匹配,可以在有网络的情况下,从云端服务器下载数据集,并将数据集保存在车辆端,此时,即使没有网络,无法与云端服务器通信,也可以在车辆端实现人脸匹配,并且方便车辆端对数据集的管理。

在一个或多个可选的实施例中,还包括:

接收车辆或移动端设备发送的驾驶员注册请求,驾驶员注册请求包括驾驶员的注册人脸图像;

根据注册人脸图像,建立数据集。

为了识别驾驶员是否注册,首先需要存储注册的驾驶员对应的注册人脸图像,本实施例中,在云端数据集,为已注册的注册人脸图像建立数据集,在数据集中保存已经注册的多个驾驶员的注册人脸图像,通过云端服务器保存,保证了数据的安全性。

在一个或多个可选的实施例中,步骤820可以包括:

对人脸图像与数据集中至少一个预存人脸图像进行特征匹配,得到特征匹配结果。

在本实施例中,实现在云端服务器中进行特征匹配,在匹配前,车辆将视频流中的至少一个图像的人脸部分上传到云端服务器,云端服务器将该人脸部分与数据集中的人脸图像进行特征匹配,以获得特征匹配结果,车辆从云端服务器获取该特征匹配结果,减少了车辆与云端服务器之间的数据传输量,减小了网络开销。

在一个或多个可选的实施例中,还包括:

接收车辆发送的驾驶员状态检测的至少部分结果,进行异常驾驶状态的预警提示和/或向车辆发送进行智能控制的指令。

可选地,至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

将驾驶状态检测得到的部分结果或全部结果发送到云端服务器,可实现对异常驾驶状态信息的备份,由于正常驾驶状态无需进行记录,因此,本实施例仅将异常驾驶状态信息发送给云端服务器;当得到的驾驶员状态检测结果包括正常驾驶状态信息和异常驾驶状态信息时,传输部分结果,即仅将异常驾驶状态信息发送给云端服务器;而当驾驶员状态检测的全部结果都为异常驾驶状态信息时,传输全部的异常驾驶状态信息给云端服务器。

在一个或多个可选的实施例中,还包括:执行与驾驶员状态检测的结果对应的控制操作。

可选地,如果驾驶员状态检测的结果满足提示/告警预定条件,例如满足提示提示驾驶状态(驾驶状态较差)对应的预设条件或者驾驶状态等级为提示驾驶状态(驾驶状态较差),输出与该提示/告警预定条件相应的提示/告警信息,例如通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示驾驶员,以便于提醒驾驶员注意,促使驾驶员将被分散的注意力回归到驾驶上或者促使驾驶员进行休息等,以实现安全驾驶,避免发生道路交通事故;再如,

和/或,如果驾驶员状态检测的结果满足预定驾驶模式切换条件,满足警告驾驶状态(驾驶状态非常差)对应的预设条件或者驾驶状态等级为警告分心驾驶级别(也可以称为重度疲劳驾驶级别)时,将驾驶模式切换为自动驾驶模式,以实现安全驾驶,避免发生道路交通事故;同时,还可以通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示驾驶员,以便于提醒驾驶员,促使将被分散的注意力回归到驾驶上或者促使驾驶员进行休息等;再如,

和/或,如果驾驶员状态检测的结果满足预定条件,向预定联系方式发送预定信息或与预定联系方式建立通信连接;例如:约定驾驶员做出某个或某些动作时,表示驾驶员处于危险状态或需要求助,当检测到这些动作时,向预定联系方式(例如:报警电话、最近联系人的电话或设置的紧急联系人的电话)发送预定信息(如:报警信息、提示信息或拨通电话),还可以直接通过车载设备与预定联系方式建立通信连接(如:视频通话、语音通话或电话通话),以保障驾驶员的人身和/或财产安全。

可选地,还包括:

接收视频流中与异常驾驶状态信息对应的图像或视频段。

而为了防止车辆端的数据被误删或蓄意删除,可以将与异常驾驶状态信息对应的图像或视频段上传到云端服务器进行备份,在需要信息时,可从云端服务器下载到车辆端进行查看,或从云端服务器下载到其他客户端机械能查看。

可选地,还包括:

基于异常驾驶状态信息可以进行以下至少一种操作:

数据统计、车辆管理、驾驶员管理。

云端服务器可以接收多个车辆的异常驾驶状态信息,可实现基于大数据的数据统计、对车辆及驾驶员的管理,以实现更好的为车辆和驾驶员服务。

可选地,基于异常驾驶状态信息进行数据统计,包括:

基于异常驾驶状态信息对接收的与异常驾驶状态信息对应的图像或视频段进行统计,使图像或视频段按不同异常驾驶状态进行分类,确定每种异常驾驶状态的统计情况。

对每种不同异常驾驶状态进行分类统计,可以得到基于大数据的驾驶员经常出现的异常驾驶状态,可以为车辆开发者提供更多的参考数据,以便在车辆中提供更适合应对异常驾驶状态的设置或装置,为驾驶员提供更舒适的驾驶环境。

可选地,基于异常驾驶状态信息进行车辆管理,包括:

基于异常驾驶状态信息对接收的与异常驾驶状态信息对应的图像或视频段进行统计,使图像或视频段按不同车辆进行分类,确定每个车辆的异常驾驶统计情况。

通过基于车辆对异常驾驶状态信息进行统计,可以对车辆对应的所有驾驶员的异常驾驶状态信息进行处理,例如:当某一车辆出现问题,通过查看该车辆对应的所有异常驾驶状态信息即可实现责任确定。

可选地,基于异常驾驶状态信息进行驾驶员管理,包括:

基于异常驾驶状态信息对接收的与异常驾驶状态信息对应的图像或视频段进行处理,使图像或视频段按不同驾驶员进行分类,确定每个驾驶员的异常驾驶统计情况。

通过基于驾驶员对异常驾驶状态信息进行统计,可获得每个驾驶员的驾驶习惯及经常出现的问题,可为每个驾驶员提供个性化服务,在达到安全驾驶的目的的同时,不会对驾驶习惯良好的驾驶员造成干扰;例如:经过对异常驾驶状态信息进行统计,确定某个驾驶员经常在开车时打哈欠,针对该驾驶员可提供更高音量的提示信息。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

图9为本申请实施例电子设备一个实施例的结构示意图。该实施例的电子设备可用于实现本申请上述各驾驶管理方法实施例。如图9所示,该实施例的电子设备包括:

图像接收单元91,用于接收车辆发送的待识别的人脸图像;

匹配结果获得单元92,用于获得人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

其中,数据集中存储有至少一个已注册的驾驶员的预存人脸图像。

可选地,从车辆获取人脸图像与数据集中至少一个预存人脸图像的特征匹配结果。

指令发送单元93,用于如果特征匹配结果表示特征匹配成功,向车辆发送允许控制车辆的指令。

基于本申请上述实施例提供的一种电子设备,通过在车辆端实现人脸特征匹配,减少了驾驶员识别对网络的依赖,可以在无网情况下实现特征匹配,进一步提高了车辆的安全保障性。

可选地,还包括:

第一数据发送单元,用于接收车辆发送的数据集下载请求,数据集中存储有至少一已注册的驾驶员的预存人脸图像;向车辆发送所述数据集。

在一个或多个可选的实施例中,还包括:

注册请求接收单元,用于接收车辆或移动端设备发送的驾驶员注册请求,驾驶员注册请求包括驾驶员的注册人脸图像;

根据注册人脸图像,建立数据集。

为了识别驾驶员是否注册,首先需要存储注册的驾驶员对应的注册人脸图像,本实施例中,在云端数据集,为已注册的注册人脸图像建立数据集,在数据集中保存已经注册的多个驾驶员的注册人脸图像,通过云端服务器保存,保证了数据的安全性。

在一个或多个可选的实施例中,匹配结果获得单元92,具体用于对人脸图像与数据集中至少一个预存人脸图像进行特征匹配,得到特征匹配结果。

在本实施例中,实现在云端服务器中进行特征匹配,在匹配前,车辆将视频流中的至少一个图像的人脸部分上传到云端服务器,云端服务器将该人脸部分与数据集中的人脸图像进行特征匹配,以获得特征匹配结果,车辆从云端服务器获取该特征匹配结果,减少了车辆与云端服务器之间的数据传输量,减小了网络开销。

在一个或多个可选的实施例中,还包括:

检测结果接收单元,用于接收车辆发送的驾驶员状态检测的至少部分结果,进行异常驾驶状态的预警提示和/或向车辆发送进行智能控制的指令。

可选地,至少部分结果包括:根据驾驶员状态检测确定的异常驾驶状态信息。

将驾驶状态检测得到的部分结果或全部结果发送到云端服务器,可实现对异常驾驶状态信息的备份,由于正常驾驶状态无需进行记录,因此,本实施例仅将异常驾驶状态信息发送给云端服务器;当得到的驾驶员状态检测结果包括正常驾驶状态信息和异常驾驶状态信息时,传输部分结果,即仅将异常驾驶状态信息发送给云端服务器;而当驾驶员状态检测的全部结果都为异常驾驶状态信息时,传输全部的异常驾驶状态信息给云端服务器。

在一个或多个可选的实施例中,还包括:

执行控制单元,用于执行与驾驶员状态检测的结果对应的控制操作。

可选地,如果驾驶员状态检测的结果满足提示/告警预定条件,例如满足提示提示驾驶状态(驾驶状态较差)对应的预设条件或者驾驶状态等级为提示驾驶状态(驾驶状态较差),输出与该提示/告警预定条件相应的提示/告警信息,例如通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示驾驶员,以便于提醒驾驶员注意,促使驾驶员将被分散的注意力回归到驾驶上或者促使驾驶员进行休息等,以实现安全驾驶,避免发生道路交通事故;再如,

和/或,如果驾驶员状态检测的结果满足预定驾驶模式切换条件,满足警告驾驶状态(驾驶状态非常差)对应的预设条件或者驾驶状态等级为警告分心驾驶级别(也可以称为重度疲劳驾驶级别)时,将驾驶模式切换为自动驾驶模式,以实现安全驾驶,避免发生道路交通事故;同时,还可以通过声(如语音或者响铃等)/光(亮灯或者灯光闪烁等)/震动等方式提示驾驶员,以便于提醒驾驶员,促使将被分散的注意力回归到驾驶上或者促使驾驶员进行休息等;再如,

和/或,如果驾驶员状态检测的结果满足预定条件,向预定联系方式发送预定信息或与预定联系方式建立通信连接;例如:约定驾驶员做出某个或某些动作时,表示驾驶员处于危险状态或需要求助,当检测到这些动作时,向预定联系方式(例如:报警电话、最近联系人的电话或设置的紧急联系人的电话)发送预定信息(如:报警信息、提示信息或拨通电话),还可以直接通过车载设备与预定联系方式建立通信连接(如:视频通话、语音通话或电话通话),以保障驾驶员的人身和/或财产安全。

可选地,还包括:

视频接收单元,用于接收视频流中与异常驾驶状态信息对应的图像或视频段。

可选地,还包括:

异常处理单元,用于基于异常驾驶状态信息进行以下至少一种操作:数据统计、车辆管理、驾驶员管理。

可选地,异常处理单元基于异常驾驶状态信息进行数据统计时,用于基于异常驾驶状态信息对接收的与异常驾驶状态信息对应的图像或视频段进行统计,使图像或视频段按不同异常驾驶状态进行分类,确定每种异常驾驶状态的统计情况。

可选地,异常处理单元基于异常驾驶状态信息进行车辆管理时,用于基于异常驾驶状态信息对接收的与异常驾驶状态信息对应的图像或视频段进行统计,使图像或视频段按不同车辆进行分类,确定每个车辆的异常驾驶统计情况。

可选地,异常处理单元基于异常驾驶状态信息进行驾驶员管理时,用于基于异常驾驶状态信息对接收的与异常驾驶状态信息对应的图像或视频段进行处理,使图像或视频段按不同驾驶员进行分类,确定每个驾驶员的异常驾驶统计情况。

本申请实施例提供的电子设备任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述,限于篇幅,在此不再赘述。

根据本申请实施例的另一个方面,提供的一种驾驶管理系统,包括:车辆和/或云端服务器;

车辆用于执行如上述实施例任意一项的驾驶管理方法;

云端服务器用于执行如上述实施例任意一项的驾驶管理方法。

可选地,还包括:移动端设备,用于:

接收驾驶员注册请求,驾驶员注册请求包括驾驶员的注册人脸图像;

将驾驶员注册请求发送给云端服务器。

图10为本申请驾驶管理系统一个示例的使用流程图。如图10所示,上述实施例实现的注册过程在手机端(移动端设备)实现,并将经过筛选的人脸图像和驾驶员的id信息(身份信息)上传到云端服务器中,云端服务器将人脸图像和驾驶员id信息及该人脸图像对应的用户权限信息存入数据集,在需要进行权限匹配时,通过车辆客户端下载数据集到车辆客户端进行匹配;车辆客户端获取驾驶员图像,对驾驶员图像依次经过人脸检测、质量筛选和活体识别,以经过筛选的待识别人脸图像与数据集中所有人脸图像进行匹配,匹配基于人脸特征实现,人脸特征可通过神经网络提取获得,基于比对结果确定待识别人脸图像对应的权限信息,基于权限信息控制车辆动作。

图11为本申请驾驶管理系统另一个示例的使用流程图。如图11所示,上述实施例实现的注册过程在手机端(移动端设备)实现,并将经过筛选的人脸图像和驾驶员id信息(身份信息)上传到云端服务器中,云端服务器将人脸图像和驾驶员id信息及该人脸图像对应的用户权限信息存入数据集,在需要进行权限匹配时,接收车辆客户端上传的待识别人脸图像,待识别人脸图像与数据集中所有人脸图像进行匹配,匹配基于人脸特征实现,人脸特征可通过神经网络提取获得,基于比对结果确定待识别人脸图像对应的权限信息,基于权限信息控制车辆动作。车辆客户端获取驾驶员图像,对驾驶员图像依次经过人脸检测、质量筛选和活体识别,得到待识别人脸图像。

根据本申请实施例的另一个方面,提供的一种电子设备,包括:存储器,用于存储可执行指令;

以及处理器,用于与所述存储器通信以执行所述可执行指令从而完成上述实施例任意一项驾驶管理方法的操作。

图12为本申请实施例电子设备一个应用实施例的结构示意图。下面参考图12,其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图12所示,该电子设备包括一个或多个处理器、通信部等,所述一个或多个处理器例如:一个或多个中央处理单元(cpu),和/或一个或多个图像处理器(gpu)等,处理器可以根据存储在只读存储器(rom)中的可执行指令或者从存储部分加载到随机访问存储器(ram)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡,所述网卡可包括但不限于ib(infiniband)网卡,处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令,通过总线与通信部相连、并经通信部与其他目标设备通信,从而完成本申请实施例提供的任一方法对应的操作,例如,控制设置在车辆上的摄像组件采集车辆驾驶员的视频流;获取视频流中的至少一个图像的人脸部分与数据集中至少一个预存人脸图像的特征匹配结果;如果特征匹配结果表示特征匹配成功,控制车辆执行车辆接收到的操作指令。

此外,在ram中,还可存储有装置操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。在有ram的情况下,rom为可选模块。ram存储可执行指令,或在运行时向rom中写入可执行指令,可执行指令使处理器执行本申请上述任一方法对应的操作。输入/输出(i/o)接口也连接至总线。通信部可以集成设置,也可以设置为具有多个子模块(例如多个ib网卡),并在总线链接上。

以下部件连接至i/o接口:包括键盘、鼠标等的输入部分;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至i/o接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。

需要说明的,如图12所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图12的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如gpu和cpu可分离设置或者可将gpu集成在cpu上,通信部可分离设置,也可集成设置在cpu或gpu上,等等。这些可替换的实施方式均落入本申请公开的保护范围。

特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码,程序代码可包括对应执行本申请任一实施例提供的驾驶管理方法步骤对应的指令。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被cpu执行时,执行本申请的方法中限定的上述功能。

根据本申请实施例的另一个方面,提供的一种计算机存储介质,用于存储计算机可读取的指令,所述指令被执行时执行上述实施例任意一项驾驶管理方法的操作。

本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本申请的方法和装置、系统、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、系统、设备。用于所述方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用,并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1