一种疲劳驾驶检测方法及系统的制作方法
【技术领域】
[0001] 本发明属于汽车驾驶领域，具体涉及一种疲劳驾驶检测方法及系统。
【背景技术】
[0002] 近年来，随着汽车使用量的增长，交通事故的发生率逐年增加，驾驶安全成为日益 被关注的问题。在由于危险驾驶行为引发的交通事故中，疲劳驾驶占据了相当一部分比例， 据国家有关部门统计，因疲劳驾驶造成的交通事故占20%左右。因此多年来，驾驶疲劳检 测一直是学术界和工业界的研究热点。迄今为止，已有的疲劳驾驶检测方法可以归纳为三 类：
[0003] 第一类：检测人体生物信号，譬如通过分析驾驶员的脑电图/心电图中特定的频 谱段，从而检测驾驶员是否处于疲劳驾驶状态；
[0004] 第二类：检测面部表情和肢体动作，譬如通过检测驾驶员闭眼的时间，打呵欠的频 次，低头的频次，身体是否前倾等等，从而判断驾驶员是否处于疲劳驾驶状态；
[0005] 第三类：检测车辆操控状态，譬如通过检测方向盘转动角度的变化频幅，加速度 (油门）的变化频幅，车道偏移度等等，分析驾驶员的驾驶能力是否下降，从而判断驾驶员 是否处于疲劳驾驶状态。
[0006] 本发明的发明人经过研究发现，在现有三类疲劳驾驶检测方法中，其中基于人体 生物信号的检测方法，具有较高的准确度，但是需要驾驶员佩戴一些接触式的电子设备，譬 如检测脑电信号的头带装置，对于这些装置或设备，驾驶员通常是比较反感和排斥的。而基 于"面部表情和肢体动作"或是"车辆操控状态"的检测方法，方便易行，但是对于不同的驾 驶员，在辨别疲劳或不疲劳时，这些信号的界定区域（即阈值）存在差异，因而目前提出的 这些检测方法，通常是基于与个体无关的一个通用模型，其准确度在不同的驾驶员之间存 在较大的差异。
【发明内容】
[0007] 针对现有技术存在的疲劳驾驶检测方法中，通常是基于与个体无关的一个通用模 型，其准确度在不同的驾驶员之间存在较大差异的技术问题，本发明提供一种基于驾驶员 行驶状态跟踪的疲劳驾驶检测方法。
[0008] 为了实现上述目的，本发明采用如下技术方案：
[0009] -种疲劳驾驶检测方法，该方法包括以下步骤：
[0010] 驾驶员身份认证，根据驾驶员在当前时段的视频影像，通过人脸识别，对当前正在 驾驶车辆的驾驶员身份进行认证；
[0011] 驾驶时间累计，根据驾驶员的身份认证结果，获取驾驶员的驾驶时间记录；
[0012] 表情状态提取，根据驾驶员在当前时段的视频影像，提取驾驶员在当前时段的表 情状态；
[0013] 肢体状态提取，根据驾驶员在当前时段的视频影像，提取驾驶员在当前时段的肢 体状态；
[0014] 路况信息收集，根据场景摄像头在当前时段拍摄的视频影像，获取驾驶员驾驶车 辆周边的环境信息；
[0015] 车辆操控状态提取，结合路况信息以及车辆的驾驶状态，提取驾驶员在当前时段 对车辆的操控状态；
[0016] 疲劳驾驶检测，以当前时段累计驾驶时间作为驾驶员表情状态、肢体状态和车辆 操控状态的时间戳，更新跟踪驾驶员行驶状态变化的数据，分析更新数据中驾驶员的状态 变化，判断当前时刻驾驶员是否处于疲劳驾驶。
[0017] 本发明提供的疲劳驾驶检测方法，通过人脸识别，跟踪驾驶员面部表情和肢体动 作随时间推移，呈现出从正常状态到疲劳状态变化，譬如闭眼时间变长，低头频次增加等； 跟踪驾驶员车辆操控状态是否随时间下降，譬如方向盘转动方差变大等，以此检测驾驶员 是否处于疲劳驾驶状态。本发明提供的疲劳驾驶检测方法避免了预先设定一个界定阈值， 其准确度不受驾驶员个体差异的影响。
[0018] 进一步，所述驾驶员身份认证包括以下步骤：
[0019] 根据驾驶员在当前时段的视频影像，提取出起止帧/中间帧视频影像中驾驶员脸 部区域的关键点；
[0020] 根据关键点的相对位置，对脸部区域进行大小正规化；
[0021] 通过卷积神经网络，从大小正规化后的脸部区域中提取脸部特征；
[0022] 运用概率线性分析模型，计算当前提取脸部特征与注册过的驾驶员脸部特征的相 似度，如果相似度大于等于〇. 9,则当前时段驾驶员的身份就是该注册过的驾驶员；如果相 似度小于0.9,则需要对当前时段的驾驶员进行注册，以当前时段中间帧检测到的脸部区 域，作为该驾驶员的身份标记。
[0023] 进一步，所述驾驶时间累计包括以下步骤：
[0024] 如果最近一次检测到该驾驶员驾驶车辆的时间，与当前时刻的时间差距大于等于 4小时，则把最近一次检测到该驾驶员驾驶车辆的时间替换为当前时刻，把最近一次检测时 累计的驾驶时间替换为120秒，并把驾驶员注册时用的脸部区域替换为当前时段中间帧检 测到的脸部区域；
[0025] 如果最近一次检测到该驾驶员驾驶车辆的时间，与当前时刻的时间差距小于4小 时，则把最近一次检测到该驾驶员驾驶车辆的时间替换为当前时刻，把最近一次检测时累 计的驾驶时间累加120秒。
[0026] 进一步，所述表情状态提取包括以下步骤：
[0027] 根据驾驶员在当前时段的视频影像，提取出每帧视频影像中驾驶员的眼部关键点 和嘴部关键点；
[0028] 根据每帧视频影像中眼部关键点的相对位置，计算眼睑轮廓的形状参数；
[0029] 从当前时段内每帧影像的眼睑轮廓形状参数，计算驾驶员在当前时段内眼睑轮廓 的形状分布；
[0030] 根据每帧视频影像中嘴部关键点的相对位置，判断嘴部的张合状态；
[0031] 从嘴部的张合状态序列中，计算驾驶员在当前时段内呵欠的次数。
[0032] 进一步，所述肢体状态提取包括以下步骤：
[0033] 根据驾驶员在当前时段的视频影像，提取出每帧视频影像中驾驶员脸部区域的关 键点；
[0034] 通过比较每帧视频影像中脸部关键点与驾驶员注册时脸部关键点的位置，计算驾 驶员相对于注册时的头部转动角度；
[0035] 从每帧的头部转动角度中，计算驾驶员在当前时段内头部俯仰状态的时间比例。
[0036] 进一步，所述路况信息收集包括以下步骤：
[0037] 根据场景摄像头在当前时段拍摄的视频影像，获取驾驶员驾驶车辆周边的车道边 界信息；
[0038] 根据场景摄像头在当前时段拍摄的视频影像，获取驾驶员驾驶车辆周边的车辆分 布ig息；
[0039] 根据场景摄像头在当前时段拍摄的视频影像，获取驾驶员驾驶车辆周边的行人分 布fg息。
[0040] 进一步，所述车辆操控状态提取包括以下步骤：
[0041] 计算驾驶车辆方向盘的转动角度和转动速度分别在当前时段内的平均值及标准 差；
[0042] 计算驾驶车辆油门踏板的转动角度和转动速度分别在当前时段内的平均值及标 准差；
[0043] 结合路况信息以及驾驶车辆的方向盘和油门踏板的驾驶状态参数，构成15维特 征向量，并将该15维特征向量输入神经网络回归模型中，计算出驾驶员在当前时段对车辆 操控状态的分值。
[0044] 进一步，所述疲劳驾驶检测包括以下步骤：
[0045] 以当前时段累计驾驶时间作为驾驶员表情状态、肢体状态和车辆操控状态的时间 戳，将当前时段累计驾驶时间的行驶状态值，更新到跟踪驾驶员行驶状态变化的历史数据 中；
[0046] 从更新的驾驶员行驶状态跟踪数据中，抽取出5个行驶状态子序列，从行驶状态 跟踪数据中截取与每个行驶状态子序列时间段相对应的数据，并从截取的数据段中抽取出 3个等时间间隔点的数据插入对应行驶状态子序列数据之间，组合后再构成一个新的行驶 状态子序列；
[0047] 运用时间序列模型，对每个新的行驶状态子序列进行解析，并判断驾驶员状态在 每个新的行驶状态子序列是否存在状态下降；
[0048] 联合5个新的行驶状态子序列的判断结果，计算当前时刻驾驶员的疲劳指数，以 判断当前时刻驾驶员是否处于疲劳驾驶。
[0049] 本发明还提供一种疲劳驾驶检测系统，该系统包括：
[0050] 驾驶员身份认证单元，适于根据驾驶员在当前时段的视频影像，通过人脸识别，对 当前正在驾驶车辆的驾驶员身份进行认证；
[0051] 驾驶时间累计单元，适于根据驾驶员的身份认证结果，获取驾驶员的驾驶时间记 录；
[0052] 表情状态提取单元，适于根据驾驶员在当前时段的视频影像，提取驾驶员在当前 时段的表情状态；
[0053] 肢体状态提取单元，适于根据驾驶员在当前时段的视频影像，提取驾驶员在当前 时段的肢体状态；
[0054] 路况信息收集单元，适于根据场景摄像头在当前时段拍摄的视频影像，获取驾驶 员驾驶车辆周边的环境信息；
[0055] 车辆操控状态提取单元，适于结合路况信息以及车辆的驾驶状态，提取驾驶员在 当前时段对车辆的操控状态；
[0056] 疲劳驾驶检