驾驶员疲劳状况检测方法和装置的制造方法
【专利摘要】本发明公开了一种驾驶员疲劳状况检测方法及装置，属于智能交通技术领域。该方法包括：获取驾驶员的面部图像；根据所述面部图像获取所述驾驶员的形态学特征；获取所述驾驶员的转向操作信息；根据所述形态学特征和所述转向操作信息，确定驾驶员的疲劳状况。该装置包括：图像获取模块、形态获取模块、转向操作信息获取模块、及处理模块。本发明综合利用驾驶员驾驶车辆时的形态学特征和转向操作信息以判断驾驶员的疲劳状况，能够更加准确的对驾驶员疲劳状况进行判断。
【专利说明】
驾驶员疲劳状况检测方法和装置
技术领域
[0001] 本发明设及智能交通技术领域，特别设及一种驾驶员疲劳状况检测方法和装置。
【背景技术】
[0002] 在长距离行驶过程中，或者在驾驶员长时间工作或饮酒后，驾驶员可能会处于疲 劳驾驶的状态，在运种状态下，容易出现车辆偏离正常行驶的道路或速度过快等情况，甚至 可能引发严重的交通事故，造成重大的人员伤亡和财产损失。如果能够对驾驶员的疲劳状 况进行自动检测，并及时报警，将有效减少交通事故的发生。
[0003] 目前，对驾驶员疲劳判断通常采用摄像头将驾驶员在驾驶中的面部形态特征记录 下来，通过图形处理模块对采集到的数字图像进行运算处理，W获取驾驶员脸部特征，根据 驾驶员眼睛开闭状态和次数等形态学特征来判断驾驶员是否已经处于疲劳状况，并给出相 应的警报予W警示。
[0004] 在实现本发明的过程中，发明人发现现有技术存在W下问题:采用上述方式对驾 驶员处于疲劳状况进行判断容易出现误判，可能会频繁提醒驾驶员注意安全，可能会影响 驾驶员注意力，甚至会造成不必要的损失。
【发明内容】
[0005] 为了能够准确确定驾驶员是否处于疲劳状况，本发明实施例提供了一种驾驶员疲 劳状况检测方法和装置。所述技术方案如下：
[0006] -方面，本发明实施例提供了一种驾驶员疲劳状况检测方法，所述方法包括：
[0007] 获取驾驶员的面部图像；
[000引根据所述面部图像获取所述驾驶员的形态学特征；
[0009] 获取所述驾驶员的转向操作信息；
[0010] 根据所述形态学特征和所述转向操作信息，确定驾驶员的疲劳状况。
[0011] 在本发明一种可能的实现方式中，所述根据所述面部图像获取驾驶员的形态学特 征，包括：
[0012] 对所述面部图像进行人脸检测，得到人脸区域；
[0013] 提取所述人脸区域中的特征区域，所述特征区域包括眼睛区域、嘴己区域中的至 少一种.
[0014] 根据所述特征区域获取所述驾驶员的形态学特征。
[0015] 其中，所述形态学特征包括眼睛开闭状态、嘴己开闭状态、巧眼频率和打哈欠的频 率中的至少一种，所述转向操作信息包括统计类指标及经验类指标，所述统计类指标包括 根据驾驶操作参数值计算的均值、方差、均方差、极大值中的至少一种，所述驾驶操作参数 包括方向盘转角01、方向盘转角速率皆、横摆角巧、横摆角速率解、横向位置出、和横向速度 Clf中的至少一种，所述经验类指标包括方向盘小幅修正次数、方向盘大幅修正次数、方向 盘持续不动次数、方向盘持续不动时间、方向盘最大角度标准差、方向盘转角速率最大零速 百分比及过线时间中的至少一种。
[0016] 在本发明一种可能的实现方式中，所述根据所述形态学特征和所述转向操作信 息，确定驾驶员的疲劳状况，包括：
[0017] 将所述形态学特征和所述转向操作信息作为支持向量机的输入，采用支持向量机 确定驾驶员的疲劳状况，
[001引其中，所述支持向量机为：
[0019]
[0020] 其中，X为包括所述形态学特征和所述转向操作信息的未知样本；（xi，yi)是fi，f2， f3的支持向量；1，m，n分别是fi、f2、f3的支持向量个数;ai、0i、丫 i分别是对应支持向量的系 数;bi、b2、b3分别是对应支持向量函数的常数项;K(xi，x)是径向基函数;fi是清醒-重度疲劳 分类器;f 2是清醒-轻度疲劳分类器;f 3是轻度疲劳-重度疲劳分类器。
[0021] 进一步地，所述方法还包括：
[0022] 根据所述驾驶员的疲劳状况和车辆的行驶状态，确定是否发出警告信息。
[0023] 另一方面，本发明实施例提供了一种驾驶员疲劳状况检测装置，所述装置包括：
[0024] 图像获取模块，用于获取驾驶员的面部图像；
[0025] 形态获取模块，用于根据所述图像获取模块获取到的所述面部图像，获取所述驾 驶员的形态学特征；
[0026] 转向操作信息获取模块，用于获取驾驶员的转向操作信息；
[0027] 处理模块，用于根据所述形态获取模块获取到的所述形态学特征和所述转向操作 信息获取模块获取到的转向操作信息，确定驾驶员的疲劳状况。
[0028] 进一步地，所述形态获取模块包括：
[0029] 人脸检测子模块，用于对所述面部图像进行人脸检测，得到人脸区域；
[0030] 提取子模块，用于提取所述人脸区域中的特征区域，所述特征区域包括眼睛区域、 嘴己区域中的至少一种；
[0031] 形态获取子模块，用于根据所述提取子模块提取的特征候选区域，获取所述驾驶 员的形态学特征。
[0032] 进一步地，所述形态学特征包括眼睛开闭状态、嘴己开闭状态、巧眼频率和打哈欠 的频率中的至少一种，所述转向操作信息包括统计类指标及经验类指标，所述统计类指标 包括根据驾驶操作参数值计算的均值、方差、均方差、极大值中的至少一种，所述驾驶操作 参数包括方向盘转角01、方向盘转角速率却、横摆角巧?、横摆角速率<、横向位置出、和横向 速度af中的至少一种，所述经验类指标包括方向盘小幅修正次数、方向盘大幅修正次数、方 向盘持续不动次数、方向盘持续不动时间、方向盘最大角度标准差、方向盘转角速率最大零 速百分比及过线时间中的至少一种。
[0033] 进一步地，所述处理模块，用于将所述形态学特征和所述转向操作信息作为支持 向量机的输入，采用支持向量机确定驾驶员的疲劳状况，
[0034] 其中，所述支持向量机为：
[0035]
[0036] 其中，X为包括所述形态学特征和所述转向操作信息的未知样本；（xi，yi)是fi，f2， f3的支持向量；1，m，n分别是fi、f2、f3的支持向量个数;ai、0i、丫 i分别是对应支持向量的系 数;bi、b2、b3分别是对应支持向量函数的常数项;K(xi，x)是径向基函数;fi是清醒-重度疲劳 分类器;f 2是清醒-轻度疲劳分类器;f 3是轻度疲劳-重度疲劳分类器。
[0037] 进一步地，所述装置还包括：
[0038] 警告模块，用于根据所述处理模块得到的所述驾驶员的疲劳状况和车辆的行驶状 态，确定是否发出警告信息。
[0039] 本发明实施例提供的技术方案带来的有益效果是:本发明实施例综合利用驾驶员 驾驶车辆时的形态学特征和转向操作信息W判断驾驶员的疲劳状况，能够更加准确的对驾 驶员疲劳状况进行判断。
【附图说明】
[0040] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据运些附图获得其他 的附图。
[0041] 图1是本发明实施例提供的一种驾驶员疲劳状况检测方法的流程示意图；
[0042] 图2是本发明实施例提供的另一种驾驶员疲劳状况检测方法的流程示意图；
[0043] 图3是本发明实施例提供的一种驾驶员疲劳状况检测装置的框图；
[0044] 图4是本发明实施例提供的另一种驾驶员疲劳状况检测装置的框图；
[0045] 图5是本发明实施例中的摄像装置及驾驶辅助系统在汽车上的布置示意图。
【具体实施方式】
[0046] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步地详细描述。
[0047] 图1为本发明实施例提供的一种驾驶员疲劳状况检测方法的流程示意图，参考图 1，该方法包括：
[004引Sll:获取驾驶员的面部图像。
[0049] S12:根据获取的面部图像获取驾驶员的形态学特征。
[0050] 其中，形态学特征可W包括眼睛开闭状态和次数、打哈欠频率、头部晃动规律及眼 睛凝视时间中的至少一种。
[0051 ] S13:获取驾驶员的转向操作信息。
[0052] 其中，转向操作信息包括统计类指标及经验类指标，其中，统计类指标包括根据驾 驶操作参数值计算的均值、方差、均方差、极大值中的至少一种，驾驶操作参数包括方向盘 转角01、方向盘转角速率皆、横摆角巧、横摆角速率解、横向位置出、和横向速度"f中的至少 一种，经验类指标包括方向盘小幅修正次数、方向盘大幅修正次数、方向盘持续不动次数、 方向盘持续不动时间、方向盘最大角度标准差、方向盘转角速率最大零速百分比及过线时 间中的至少一种。
[0053] S14:根据形态学特征和转向操作信息，确定驾驶员的疲劳状况。
[0054] 本发明实施例综合利用驾驶员驾驶车辆时的形态学特征和转向操作信息W判断 驾驶员的疲劳状况，能够更加准确的对驾驶员疲劳状况进行判断。
[0055] 图2是本发明实施例提供的另一种驾驶员疲劳状况检测方法，参考图2,该方法包 括：
[0056] S21:获取驾驶员的面部图像。
[0057] 该步骤21可W利用固定在方向盘前方仪表板之中并正对驾驶员人脸区域的摄像 装置1获取(结合图5)。通常，在车辆启动后，摄像装置开始对驾驶员进行拍摄，W获取驾驶 员的面部图像。
[005引S22:根据获取的面部图像获取驾驶员的形态学特征。
[0059] 其中，该形态学特征包括眼睛开闭状态、嘴己开闭状态、巧眼频率和打哈欠的频率 中的至少一种。
[0060] 该步骤S22可W包括：
[0061] 对面部图像进行人脸检测，得到人脸区域；
[0062] 提取人脸区域中的特征区域，特征区域包括眼睛区域、嘴己区域中的至少一种；
[0063] 根据特征区域获取驾驶员的形态学特征。
[0064] 进一步地，对面部图像进行人脸检测，得到人脸区域，可W采用如下方式:首先用 肤色信息分割图像，利用聚类分析方法，将近肤色区域分割出来，然后根据人脸的形状和人 脸在图像中的位置，对人脸进行定位。
[0065] 可选地，提取人脸区域中的特征区域，可W包括：
[0066] 提取人脸区域中的特征候选区域；
[0067] 从提取出的特征候选区域中选出特征区域。
[0068] 其中，提取人脸区域中的特征候选区域可W利用颜色差异实现，比如，眼睛颜色一 般深于周围肤色区域，根据颜色差异提取出眼睛候选区域。
[0069] 其中，从提取出的特征候选区域中选出特征区域，可W采用特征与分类器结合的 方式实现。例如，化rr特征与SVM(Suppod Vector Machine，支持向量机)分类器结合实现。
[0070] 下面W形态学特征为眼睛开闭状态为例，对根据特征候选区域获取驾驶员的形态 学特征进行详细说明。
[0071] 预先选取人眼的正负样本(正样本为眼睛图像，负样本为非眼睛图像），采用正负 样本对SVM分类器进行训练。运些样本保存在样本库中，W待后续眼睛识别调用。然后采集 驾驶员驾驶车辆时的面部图像，并对面部图像进行处理W将眼睛候选区域提取出来，随后 将提取出来的眼睛候选区域输入分类器中与样本库中的人眼样本进行匹配，如果匹配为则 眼睛区域，再根据该眼睛区域分析眼睛的开闭状态，即得到所需的形态学特征。例如，眼睛 的开闭状态可W为眼睛的外接矩形的高宽比。
[0072] S23:获取驾驶员的转向操作信息。
[0073] 其中，转向操作信息包括统计类指标及经验类指标，统计类指标包括根据驾驶操 作参数值计算的均值、方差、均方差、极大值中的至少一种，驾驶操作参数包括方向盘转角 01、方向盘转角速率每、横摆角巧、横摆角速率媒、横向位置出、和横向速度af中的至少一 种，经验类指标包括方向盘小幅修正次数、方向盘大幅修正次数、方向盘持续不动次数、方 向盘持续不动时间、方向盘最大角度标准差、方向盘转角速率最大零速百分比及过线时间 中的至少一种。
[0074] 其中，驾驶操作参数值可W从车载传感器和CAN(Contrc)Iler Area化twork，控制 器局域网络)总线获取。
[0075] 需要说明的是，本发明对该步骤S23与步骤S21~步骤S22之间的先后顺序不做限 制。
[0076] 可选地，本发明实施例还可W包括：
[0077] 采集不同状态的驾驶员驾驶车辆时的驾驶操作参数值，该驾驶操作参数包括方向 盘转角目1、方向盘转角速率皆、横摆角巧、横摆角速率捧、横向位置出、和横向速度af ;
[0078] 根据驾驶操作参数确定用于输入SVM中的转向操作信息的类型。
[0079] 其中，不同状态包括清醒状态，轻度疲劳，重度疲劳，醉酒驾驶，注意力不集中等状 态。
[0080] 进一步地，用于输入SVM中的转向操作信息的类型可W采用W下方式实现：
[0081] 采用顺序向前浮动捜索策略，从驾驶员转向操作信息全集Y= {yi Ii = I，2,…，D} (D为转向操作信息中的指标的数量）中选择任一驾驶员转向操作信息子集Xk, WXk为输入， 利用交叉验证法训练和测试基于SVM建立的驾驶员状态检测模型，测试结果作为评价准则 函数值J(Xk),然后WJ(Xk)为目标函数，从驾驶员转向操作信息全集中筛选出使驾驶员状态 检测模型别准确率最高的驾驶员转向操作信息子集，该驾驶员转向操作信息子集即为作为 支持向量机输入的转向操作信息的类型。
[0082] S24:将形态学特征和转向操作信息作为支持向量机的输入，采用支持向量机确定 驾驶员的疲劳状况。
[0083] 其中，该步骤S24采用的支持向量机可W为：
[0084]
[0085] 其中，X为包括所述形态学特征和所述转向操作信息的未知样本；（xi，yi)是fi，f2， f3的支持向量；l，m，n分别是fi、f2、f3的支持向量个数;〇1、扣、丫 1分别是对应支持向量的系 数;bi、b2、b3分别是对应支持向量函数的常数项;K(xi，x)是径向基函数;fi是清醒-重度疲劳 分类器;f 2是清醒-轻度疲劳分类器;f 3是轻度疲劳-重度疲劳分类器。
[0086] 该基于SVM的驾驶员疲劳状态检测模型，是W驾驶员转向操作信息子集和形态学 特征作为SVM的输入，采用有序无向图法设定驾驶状态决策得到的。
[0087] 本发明实施例中，驾驶员的疲劳状况包括清醒、轻度疲劳和重度疲劳。在其它实施 例中，驾驶员的疲劳状况可W只分为清醒和疲劳两种，也可W分为比=种更多的情况，本发 明实施例对此不做限制。
[0088] 通过该步骤S24,即可实现根据形态学特征和所述转向操作信息，确定驾驶员的疲 劳状况。
[0089] S25:根据驾驶员的疲劳状况和车辆行驶状态，确定是否发出警告信息。
[0090] 其中，车辆行驶状态用于指示车辆是否处于危险状态，该危险状态包括但不限于 车辆是否偏离车道、车辆是否有偏离车道的趋势、车辆周围设定范围内是否有目标物接近 等。目标物包括但不限于人、车辆、建筑物等。车辆行驶状态可W采用车辆中的驾驶辅助系 统获得。
[0091] 在一种实现方式中，该步骤S25可W包括：
[0092] 当驾驶员轻度疲劳，并且车辆处于危险状态时，则发出一级警告；
[0093] 当驾驶员重度疲劳，并且车辆处于危险状态时，则发出二级警告，其中，二级警告 比一级警告程度大。
[0094] 实现时，警告的方式可W为W设定频率震动方向盘、语音提醒、灯光提醒或者其中 的多种结合的方式。具体到一级警告和二级警告可W采用W下方式，比如一级警告可W采 用低频震动方向盘和语音提醒结合的方式，二级警告可W采用高频震动方向盘和语音提醒 结合的方式。
[0095] 需要说明的是，在运种实现方式中，当驾驶员处于不同的疲劳状况时，判断车辆是 否处于危险状态的标准可W不同，比如，当驾驶员轻度疲劳时，若车辆已偏离车道或者车辆 周围设定范围内有目标物接近，表示车辆处于危险状态;而当驾驶员重度疲劳时，车辆有偏 离车道的趋势或者车辆周围设定范围内有目标物接近，表示车辆处于危险状态。
[0096] 可选地，在另一种实现方式中，该步骤S25还可W包括：
[0097] 当驾驶员处于疲劳状况(包括轻度疲劳和重度疲劳），并且车辆处于危险状态时， 均采用相同的方式发出警告，警告的方式可W为W设定频率震动方向盘、语音提醒、灯光提 醒或者其中的多种结合的方式。
[0098] 驾驶员接收警告后，可W及时做出反应，提高行驶安全性。
[0099] 需要说明的是，在本发明的其他实施例中，该步骤S25还可W采用W下方式替代：
[0100] 根据驾驶员的疲劳状况，发出提示信息。
[0101] 该提示信息可W是警告信息，也可W是音乐提醒等。比如，当驾驶员轻度疲劳时， 通过播放音乐使驾驶员集中注意力。
[0102] 本发明实施例综合利用驾驶员驾驶车辆时的形态学特征和转向操作信息W判断 驾驶员的疲劳状况，能够更加准确的对驾驶员疲劳状况进行判断。此外，通过结合驾驶员的 疲劳状况和车辆行驶状态，向驾驶员发出警告信息，能够对驾驶员进行及时提醒，提高了驾 驶员驾驶时的安全性。
[0103] 图3是本发明实施例提供的一种驾驶员疲劳状况检测装置，它适图I所示实施例所 提供的驾驶员疲劳状况检测方法，参考图3,该装置包括：图像获取模块310、形态获取模块 320、转向操作信息获取模块330和处理模块340。
[0104] 其中，图像获取模块310用于获取驾驶员的面部图像。形态获取模块320用于根据 图像获取模块310获取到的面部图像，获取驾驶员的形态学特征。转向操作信息获取模块 330用于获取驾驶员转向操作信息。处理模块340用于根据形态获取模块320获取到的形态 学特征和转向操作信息获取模块330获取到的转向操作信息，确定驾驶员的疲劳状况。
[0105] 其中，形态学特征包括眼睛开闭状态、嘴己开闭状态、巧眼频率和打哈欠的频率中 的至少一种，所述转向操作信息包括统计类指标及经验类指标，统计类指标包括根据驾驶 操作参数值计算的均值、方差、均方差、极大值中的至少一种，驾驶操作参数包括方向盘转 角01、方向盘转角速率<'、横摆角巧、横摆角速率<、横向位置出、和横向速度0严中的至少一 种，所述经验类指标包括方向盘小幅修正次数、方向盘大幅修正次数、方向盘持续不动次 数、方向盘持续不动时间、方向盘最大角度标准差、方向盘转角速率最大零速百分比及过线 时间中的至少一种。
[0106] 本发明实施例综合利用驾驶员驾驶车辆时的形态学特征和转向操作信息W判断 驾驶员的疲劳状况，能够更加准确的对驾驶员疲劳状况进行判断。
[0107] 图4是本发明实施例提供的另一种驾驶员疲劳状况检测装置，它适用于图2所示实 施例所提供的驾驶员疲劳状况检测方法，参考图4,该装置包括：图像获取模块410、形态获 取模块420、转向操作信息获取模块430和处理模块440。其中，图像获取模块410用于获取驾 驶员的面部图像。形态获取模块420用于根据图像获取模块410获取到的面部图像，获取驾 驶员的形态学特征。转向操作信息获取模块430用于获取驾驶员转向操作信息。处理模块 440用于根据形态获取模块420获取到的形态学特征和转向操作信息获取模块430获取到的 转向操作信息，确定驾驶员的疲劳状况。
[0108] 其中，形态学特征包括眼睛开闭状态、嘴己开闭状态、巧眼频率和打哈欠的频率中 的至少一种，所述转向操作信息包括统计类指标及经验类指标，统计类指标包括根据驾驶 操作参数值计算的均值、方差、均方差、极大值中的至少一种，驾驶操作参数包括方向盘转 角目1、方向盘转角速率。f、横摆角巧、横摆角速率婷、横向位置出、和横向速度蛛中的至少一 种，所述经验类指标包括方向盘小幅修正次数、方向盘大幅修正次数、方向盘持续不动次 数、方向盘持续不动时间、方向盘最大角度标准差、方向盘转角速率最大零速百分比及过线 时间中的至少一种。
[0109] 作为本实施例的一种实现方式，该处理模块440用于将形态学特征和转向操作信 息作为支持向量机的输入，采用支持向量机W确定驾驶员的疲劳状况，
[0110] 其中，该支持向量机为：
[0111]
[0112] 其中，X为包括所述形态学特征和所述转向操作信息的未知样本；（xi，yi)是fi，f2， f3的支持向量；1，m，n分别是fi、f2、f3的支持向量个数;ai、0i、丫 i分别是对应支持向量的系 数;bi、b2、b3分别是对应支持向量函数的常数项;K(xi，x)是径向基函数;fi是清醒-重度疲劳 分类器;f 2是清醒-轻度疲劳分类器;f 3是轻度疲劳-重度疲劳分类器。
[0113] 本发明实施例中，驾驶员的疲劳状况包括清醒、轻度疲劳和重度疲劳。在其它实施 例中，驾驶员的疲劳状况可W只分为清醒和疲劳两种，也可W分为比=种更多的情况，本发 明实施例对此不做限制。
[0114] 优选地，本发明实施例还可W包括警告模块450,该警告模块450用于根据所述处 理模块得到的所述驾驶员的疲劳状况和车辆的行驶状态，确定是否发出警告信息。
[0115] 可选地，本发明实施例中的形态获取模块420包括人脸检测子模块420a、提取子模 块42化及形态获取子模块420c。
[0116] 其中，人脸检测子模块420a用于对面部图像进行人脸检测，得到人脸区域。提取子 模块420b用于提取人脸区域中的特征候选区域，该特征候选区域包括眼睛、嘴己中的至少 一种。形态获取子模块420c用于根据所述提取子模块提取的特征候选区域，获取驾驶员的 形态学特征。
[0117] 本发明实施例综合利用驾驶员驾驶车辆时的形态学特征和转向操作信息W判断 驾驶员的疲劳状况，能够更加准确的对驾驶员疲劳状况进行判断。此外，通过结合驾驶员的 疲劳状况和车辆行驶状态，向驾驶员发出警告信息，能够对驾驶员进行及时提醒，提高了驾 驶员驾驶时的安全性。
[0118] 需要说明的是:上述实施例提供的驾驶员疲劳状况判断装置在判断驾驶员的疲劳 状况时，仅W上述各功能模块的划分进行举例说明，实际应用中，可W根据需要而将上述功 能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，W完成W上 描述的全部或者部分功能。另外，上述实施例提供的驾驶员疲劳状况判断装置与驾驶员疲 劳状况判断方法实施例属于同一构思，其具体实现过程详见方法实施例，运里不再寶述。
[0119] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0120] 本领域普通技术人员可W理解实现上述实施例的全部或部分步骤可W通过硬件 来完成，也可W通过程序来指令相关的硬件完成，所述的程序可W存储于一种计算机可读 存储介质中，上述提到的存储介质可W是只读存储器，磁盘或光盘等。
[0121] W上所述仅为本发明的较佳实施例，并不用W限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种驾驶员疲劳状况检测方法，其特征在于，所述方法包括： 获取驾驶员的面部图像； 根据所述面部图像获取所述驾驶员的形态学特征； 获取所述驾驶员的转向操作信息； 根据所述形态学特征和所述转向操作信息，确定驾驶员的疲劳状况。2. 根据权利要求1所述的方法，其特征在于，所述根据所述面部图像获取驾驶员的形态 学特征，包括： 对所述面部图像进行人脸检测，得到人脸区域； 提取所述人脸区域中的特征区域，所述特征区域包括眼睛区域、嘴巴区域中的至少一 种； 根据所述特征区域获取所述驾驶员的形态学特征。3. 根据权利要求1所述的方法，其特征在于，所述形态学特征包括眼睛开闭状态、嘴巴 开闭状态、眨眼频率和打哈欠的频率中的至少一种，所述转向操作信息包括统计类指标及 经验类指标，所述统计类指标包括根据驾驶操作参数值计算的均值、方差、均方差、极大值 中的至少一种，所述驾驶操作参数包括方向盘转角0i、方向盘转角速率af、横摆角@、横摆 角速率<、.横向位置Hi、和横向速度af中的至少一种，所述经验类指标包括方向盘小幅修 正次数、方向盘大幅修正次数、方向盘持续不动次数、方向盘持续不动时间、方向盘最大角 度标准差、方向盘转角速率最大零速百分比及过线时间中的至少一种。4. 根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述形态学特征和所述 转向操作信息，确定驾驶员的疲劳状况，包括： 将所述形态学特征和所述转向操作信息作为支持向量机的输入，采用支持向量机确定 驾驶员的疲劳状况， 其中，所述支持向量机为：其中，X为包括所述形态学特征和所述转向操作信息的未知样本；（xi，yi)是fi，f2，f3的 支持向量；1，111，11分别是；^、€2、€3的支持向量个数;(^、01、丫1分别是对应支持向量的系数 ； bhbhh分别是对应支持向量函数的常数项;K(Xl，x)是径向基函数是清醒-重度疲劳分 类器;f 2是清醒-轻度疲劳分类器;f3是轻度疲劳-重度疲劳分类器。5. 根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括： 根据所述驾驶员的疲劳状况和车辆的行驶状态，确定是否发出警告信息。6. -种驾驶员疲劳状况检测装置，其特征在于，所述装置包括： 图像获取模块，用于获取驾驶员的面部图像； 形态获取模块，用于根据所述图像获取模块获取到的所述面部图像，获取所述驾驶员 的形态学特征； 转向操作信息获取模块，用于获取驾驶员的转向操作信息； 处理模块，用于根据所述形态获取模块获取到的所述形态学特征和所述转向操作信息 获取模块获取到的转向操作信息，确定驾驶员的疲劳状况。7. 根据权利要求6所述的装置，其特征在于，所述形态获取模块包括： 人脸检测子模块，用于对所述面部图像进行人脸检测，得到人脸区域； 提取子模块，用于提取所述人脸区域中的特征区域，所述特征区域包括眼睛区域、嘴巴 区域中的至少一种； 形态获取子模块，用于根据所述提取子模块提取的特征候选区域，获取所述驾驶员的 形态学特征。8. 根据权利要求6所述的装置，其特征在于，所述形态学特征包括眼睛开闭状态、嘴巴 开闭状态、眨眼频率和打哈欠的频率中的至少一种，所述转向操作信息包括统计类指标及 经验类指标，所述统计类指标包括根据驾驶操作参数值计算的均值、方差、均方差、极大值 中的至少一种，所述驾驶操作参数包括方向盘转角01、方向盘转角速率af 摆角6、横摆 角速率《f、横向位置出、和横向速度if中的至少一种，所述经验类指标包括方向盘小幅修正 次数、方向盘大幅修正次数、方向盘持续不动次数、方向盘持续不动时间、方向盘最大角度 标准差、方向盘转角速率最大零速百分比及过线时间中的至少一种。9. 根据权利要求6所述的装置，其特征在于，所述处理模块，用于将所述形态学特征和 所述转向操作信息作为支持向量机的输入，采用支持向量机确定驾驶员的疲劳状况， 其中，所述支持向量机为：其中，X为包括所述形态学特征和所述转向操作信息的未知样本；（xi，yi)是fi，f2，f3的 支持向量；1，111，11分别是；^、€2、€3的支持向量个数;(^、01、丫1分别是对应支持向量的系数 ； bhbhh分别是对应支持向量函数的常数项;K(Xl，x)是径向基函数是清醒-重度疲劳分 类器;f 2是清醒-轻度疲劳分类器;f3是轻度疲劳-重度疲劳分类器。10. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 警告模块，用于根据所述处理模块得到的所述驾驶员的疲劳状况和车辆的行驶状态， 确定是否发出警告信息。
【文档编号】G06K9/00GK105956548SQ201610278281
【公开日】2016年9月21日
【申请日】2016年4月29日
【发明人】方啸, 范贤根, 张茂胜
【申请人】奇瑞汽车股份有限公司