驾驶员监测系统的制作方法

相关申请的交叉引用

本申请要求于2020年1月6日提交的美国临时申请第62/957,426号的权益，该申请的公开藉此通过引用以其整体并入本文。

背景技术：

汽车工程师协会(sae)的2级自动化驾驶系统包括驾驶员辅助功能，该功能提供转向、制动和加速辅助(例如，车道居中和自适应巡航控制)。配备有2级自动化驾驶系统的车辆在自动化驾驶系统放弃控制的情况下，需要人类驾驶员准备就绪来接手对车辆的控制。当车辆在2级自动化控制下运行时，驾驶员负责监督自动化驾驶功能和车辆周围的环境。当需要不专心的驾驶员从自动化驾驶系统取回控制时，驾驶员可能无法及时作出反应以避免事故或碰撞。当驾驶员在预定义的时间段内将他们的手从方向盘上移开或视线离开道路时，一些自动化驾驶系统向不专心的驾驶员发出警告。在一些情况下，驾驶员能够通过将物体放置在方向盘上以模拟来自驾驶员的手的扭矩输入或者将照片放置在驾驶员座椅上以使驾驶员看上去专心地观察道路，来克服这些监测系统。

技术实现要素：

该文档描述了驾驶员监测系统的一个或多个方面。在一个示例中，系统包括被配置成用于接收来自驾驶员监测传感器的监测数据的控制器电路，该驾驶员监测传感器被配置成用于在车辆以自主驾驶模式运行时监测车辆的驾驶员。控制器电路还被配置成用于基于监测数据来确定一个或多个驾驶员监督度量的分数，该驾驶员监督度量中的每个驾驶员监督度量至少部分地指示驾驶员是否正在监督车辆的运行。控制器电路还被配置成用于基于一个或多个驾驶员监督度量的分数来确定监督分数。监督分数指示驾驶员是否准备好恢复对车辆的控制。控制器电路还被配置成用于基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。

在另一个示例中，方法包括利用控制器电路接收来自驾驶员监测传感器的监测数据，该驾驶员监测传感器被配置成用于在车辆以自主驾驶模式运行时监测车辆的驾驶员。方法还包括利用控制器电路基于监测数据来确定一个或多个驾驶员监督度量的分数。方法还包括利用控制器电路基于一个或多个驾驶员监督度量的分数来确定监督分数。方法还包括利用控制器电路基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。

提供本发明内容以介绍在以下具体实施方式和附图中进一步描述的驾驶员监测系统的各方面。为了便于描述，本公开侧重于基于车辆或基于汽车的系统，诸如集成在行驶于道路上的车辆上的那些系统。然而，本文所述的技术和系统不限于车辆或汽车情境，而且还适用于其中相机可用于检测物体的其他环境。本发明内容并非旨在标识出要求保护的主题的必要特征，亦非旨在用于确定要求保护的主题的范围。

附图说明

本文档参考以下附图描述了驾驶员监测系统的一个或多个方面的细节。贯穿附图使用相同的数字来引用相似的特征和部件：

图1示出了安装在车辆上的驾驶员监测系统的示例；

图2示出了与图1的驾驶员监测系统的示例隔离的示例驾驶员监测传感器；

图3示出了图1的驾驶员监测系统的驾驶员监督度量的示例；

图4示出了态势感知(situationalawareness)驾驶员监督度量的注意缓冲区值图的示例；

图5示出了基于驾驶员监督度量分数的监督分数的示例；

图6示出了基于驾驶员监督度量分数的监督分数的另一示例；

图7示出了基于驾驶员监督度量分数的监督分数的又另一示例；

图8示出了图1的驾驶员监测系统沿车辆的仪表板延伸的显示器的示例；

图9示出了监督分数和可以在图8的显示器上点亮的相关联的颜色的示例；

图10示出了图1的驾驶员监测系统沿车辆的门延伸的显示器的示例；

图11是由图1的系统的控制器电路执行的示例逻辑流的示例流程图；以及

图12是操作图1的示例驾驶员监测系统的示例方法。

具体实施方式

概述

本公开的技术涉及驾驶员监测系统。控制器电路接收来自座舱中传感器的数据，该座舱中传感器检测驾驶员是否正在监督以自动化驾驶模式运行的自动化车辆。座舱中传感器检测驾驶员是否正确地坐在驾驶员座椅上以及驾驶员是否正在注意车辆周围环境。系统确定若干驾驶员监督度量的分数，该驾驶员监督度量指示驾驶员是否正在监督车辆的运行。系统基于驾驶员监督度量的分数来确定监督分数，该监督分数指示驾驶员是否准备好恢复对车辆的控制。系统基于监督分数来在发光的显示器上指示驾驶员感知状态。发光的显示器位于驾驶员的视野中，并且显示器上点亮的颜色与驾驶员感知状态相对应。当确定驾驶员不专心时，控制器电路通过改变显示器的颜色和使显示器上的光脉动来警告驾驶员。当驾驶员随时间持续不专心时，控制器电路增加脉动的频率。驾驶员监测系统可以通过当车辆以自主驾驶模式运行时警告驾驶员的不专心行为来提高车辆安全性，并使控制平稳地移交给驾驶员，从而改善用户体验。

示例系统

图1示出了驾驶员监测系统100(以下称为系统100)的示例。系统100包括被配置成用于接收来自安装在车辆108上的驾驶员监测传感器106的监测数据104的控制器电路102。驾驶员监测传感器106可以是安装在车辆108上的占用者分类系统110(ocs110)的部件，以下将更详细地解释该部件。控制器电路102被配置成用于确定驾驶员的监督分数112(参见图5)并且在驾驶员视野中可见的显示器116上指示驾驶员感知状态114。

尽管车辆108可以是任何车辆，但是为了便于描述，车辆108被主要描述为自动驾驶汽车，该自动驾驶汽车被配置成以用于辅助乘坐车辆108的驾驶员的自主驾驶模式运行。车辆108可以能够实现汽车工程师协会(sae)的2级自主运行，该2级自主运行辅助驾驶员转向、制动和加速，同时驾驶员始终在驾驶员座椅上监测车辆108的运行。

在图1所示的示例中，控制器电路102安装在车辆108上，并且经由传输链路通信地耦合至驾驶员监测传感器106和显示器116。传输链路可以是有线或无线接口，例如，近场通信(nfc)、通用串行总线(usb)、通用异步接收器/发射器(uart)、或控制器区域网(can)。在一些示例中，控制器电路112经由can总线(未示出)接收来自其他的车辆系统的数据，例如，点火状态、车辆速度、车辆相对运动和变速器档位选择。

控制器电路

控制器电路102可被实现为微处理器或其他控制电路系统(诸如模拟和/或数字控制电路系统)。控制电路系统可以包括被编程以执行技术的一个或多个专用集成电路(asic)、现场可编程门阵列(fpga)，或被编程以用于根据固件、存储器、其他存储或组合中的程序指令执行技术的一个或多个通用硬件处理器。控制器电路102还可以将定制的硬接线逻辑、asic、或fpga与定制的编程进行组合，以执行技术。控制器电路102可以包括存储器或存储介质(未示出)，包括非易失性存储器，诸如用于存储一个或多个例程、阈值、和所捕获的数据的电可擦除可编程只读存储器(eeprom)。eeprom存储数据并且允许通过应用编程信号来擦除并且重新编程单个字节。控制器电路102可以包括非易失性存储器的其他示例，诸如闪存存储器、只读存储器(rom)、可编程只读存储器(prom)、以及可擦除可编程只读存储器(eprom)。控制器电路102可以包括易失性存储器(例如，动态随机存取存储器(dram)、静态随机存取存储器(sram))。控制器电路102可以包括用于同步控制电路系统或确定事件的经过时间的一个或多个时钟或计时器。一个或多个例程可由处理器执行，以执行用于基于由控制器电路102从如本文所描述的驾驶员监测传感器106接收的信号来确定监督分数112的步骤。

驾驶员监测传感器

图2示出了远离系统100定位的驾驶员监测传感器106的示例。如以下将详细描述的，驾驶员监测传感器106被配置成用于监测车辆108的驾驶员。驾驶员监测传感器106可包括检测驾驶员的各方面的一个或多个传感器，并且可以是安装在车辆108上的ocs110的部件。驾驶员监测传感器106可包括捕获驾驶员的图像的相机，并且osc110基于该图像来确定驾驶员的座椅是否被人占用。由ocs110执行的软件可以使用已知的图像分析技术来将人与动物和物体区分开来。在与座舱内的乘坐位置(例如，驾驶员的座椅位置)相对应的关注区域中检测图像中的物体，并且通过软件将物体分类为人类和其他分类。软件中的处理块或模型被预训练以识别人类形态或其他物体(例如，购物袋、盒子、或动物)的形状。相机可以是二维(2d)相机或3d飞行时间相机，其测量光脉冲离开相机并反射回该相机的成像阵列的时间。

ocs110可以使用由相机捕获的图像来确定驾驶员是否正确地位于驾驶员的座椅上。ocs110可以使用已知的定位技术来定位驾驶员的头部或上半身，并确定驾驶员是否位于驾驶员的座椅区域内。ocs110可包括头部模型和身体模型，这些模型在驾驶员的座椅内具有与正常驾驶行为相对应的已知旋转和动态。ocs110可以将图像中头部和上半身的位置与头部和身体模型进行比较，以确定驾驶员是否正确地位于驾驶员的座椅上。

ocs110可以使用由相机捕获的图像来确定驾驶员的注视方向，例如，驾驶员是在看车辆108前方的道路还是在看其他方向。ocs110可以使用已知的眼睛跟踪技术以基于眼睛的瞳孔的定位和确定的头部姿势来确定注视方向。ocs110可以跟踪驾驶员的注视固定在特定方向(例如，固定(fixation))的时间，并且可以对眼睛在不同固定位置之间快速移动(例如，眼睛飞快扫视(saccade))的频率进行计数。如以下将更详细地解释的，ocs110可以使用驾驶员的注视信息来指示驾驶员的态势感知程度。在一些示例中，当驾驶员戴着眼镜或在夜间条件下，红外(ir)光源用于照亮眼睛，以实现瞳孔定位。

ocs110可以使用由相机捕获的图像来跟踪驾驶员的眼睛闭合的时间量，以确定困倦程度和睡眠程度。ocs110可以使用眼睛模型以基于由相机捕获的图像来确定眼睑是否正在遮挡眼睛的虹膜。ocs110可以确定眼睑张开的量和眼睛闭合的持续时间，以作为困倦或睡眠的指示。

驾驶员监测传感器106还可包括座椅压力传感器，该座椅压力传感器检测施加到座椅上的压力或压力分布。ocs110可以基于指示驾驶员体重的压力阈值来确定驾驶员是否正坐在驾驶员座椅上。例如，如果占用者的重量大于30千克，则ocs110可以确定将该驾驶员视为成人。压力分布可以指示占用驾驶员座椅的物体是人还是人以外的物体。压力分布还可以指示驾驶员是否在驾驶员座椅内的正确位置中；例如，当驾驶员倾斜到座椅的一侧时，压力集中在座椅的一侧。

驾驶员监测传感器106还可包括方向盘扭矩传感器，该方向盘扭矩传感器检测施加到方向盘的扭矩。即使在自主控制系统使车辆108转向的情况下，当驾驶员将手放在方向盘上时，也可以检测到扭矩。方向盘扭矩传感器可以是集成到车辆108的动力转向系统中的机电设备，其确定转向移动所需的扭杆角度。方向盘扭矩传感器还可以输出转向角和方向盘角位置的变化率。

驾驶员监测传感器106还可以包括电容式方向盘传感器，该电容式方向盘传感器检测驾驶员的手在方向盘上的触摸。电容式方向盘传感器可以位于方向盘的边缘，并且可以检测手与方向盘的接触点。在一些示例中，用手触摸方向盘会扭曲由传感器生成的电场，并改变传感器的电容，从而指示驾驶员的手的存在。电容式方向盘传感器可以检测驾驶员的一只手在方向盘上还是两只手都在方向盘上。

驾驶员监测传感器106还可包括检测车辆座舱中物体的存在的雷达传感器，并且ocs110可以基于从该雷达传感器接收到的点云数据来确定驾驶员座椅是被驾驶员还是被物体占用。ocs110将点云数据与软件中的模型进行比较，以确定座椅是被人占用还是被物体占用。在一些示例中，雷达传感器可以检测到相对较小的移动(例如，正在呼吸的驾驶员的胸壁的移动)。

ocs110可以周期地更新来自ocs110的监测数据104，以确保控制器电路102可以准确地确定监督分数112。例如，ocs110可以以一秒的间隔更新监测数据104，以考虑驾驶员的座椅占用或注意力的短暂变化。

ocs110可以使用机器学习来检测各种驾驶员方面和行为。机器学习是数据分析技术，其教导计算机从经验中学习。机器学习例程或算法使用计算方法从数据中学习信息，而不依赖于预先确定的方程作为模型。随着可用于学习的样本量的增加，这些例程提高了它们的性能。机器学习使用两种类型的技术：监督式学习，其在已知的输入和输出数据上训练模型，使得其能够预测未来的输出；以及无监督式学习，其发现输入数据中的隐藏模式(hiddenpatterns)或内在(intrinsic)结构。监督式学习使用分类和回归技术来开发预测模型。用于执行分类的常用算法包括支持向量机(svm)、增强(boosted)和袋装(bagged)决策树、k-最近邻、朴素贝叶斯(bayes)、判别分析、逻辑回归和神经网络。常用回归算法包括线性模型、非线性模型、正则化、逐步回归、增强和袋装决策树、神经网络和自适应神经模糊学习。无监督式学习发现数据中的隐藏模式或内在结构，并用于从由没有标签响应的输入数据组成的数据集中得出推论。聚类(clustering)是常用的无监督式学习技术。用于执行聚类的常用算法包括k-均值和k-中心点法、层次聚类、高斯混合模型、隐马尔可夫(markov)模型、自组织映射、模糊c-均值聚类和减法聚类。在自动驾驶汽车的情境中，ocs110可以使用机器学习来专门基于驾驶员监测传感器106来检测驾驶员的注意力或馈送驾驶员监督度量118的驾驶行为的其他方面，以确保控制器电路102能够准确地确定监督分数112。

驾驶员监督度量

图3是示出了驾驶员监督度量118的示例的表，该驾驶员监督度量118指示驾驶员是否正在监督车辆的运行。图3并不旨在成为驾驶员监督度量118的详尽列表，因为可以如用户所定义的那样包括其他度量。控制器电路102可以基于从ocs110接收的监测数据104来确定驾驶员监督度量118的分数。驾驶员监督度量118的分数可以是用户定义的，并且在图3中所示出的示例中，范围从零到100，其中零指示相应度量的最高分数而100指示相应度量的最低分数。例如，放手方向盘时间的分数为零指示驾驶员的手在大部分时间与方向盘接触，而分数为100指示驾驶员的手不在方向盘上大于阈值的时间，如以下将解释的。驾驶员监督度量118中的一些(例如，驾驶员睡眠状态)是二进制的(例如，零或100)，其中零指示驾驶员醒着而100指示驾驶员睡眠。

驾驶员监督量度118包括驾驶员的态势感知，驾驶员的态势感知部分地基于如由相机检测到并由ocs110确定的驾驶员的扫视方向、驾驶员的扫视持续时间以及对驾驶员的扫视计数。态势感知度量的分数是基于美国马萨诸塞州剑桥市麻省理工学院(mit)赞助的汽车需求高级人为因素评估者(ahead)联盟(包括来自汽车和保险业以及消费者权益实体的成员)开发的缓冲区算法计算得出的。缓冲区算法使用注意缓冲区设计，其中缓冲区最初是满的(例如，值为2.0)，并且当驾驶员扫视道路外时减小到零。使用等式(2-缓冲区)*50来计算态势感知，其中缓冲区值为2指示高态势感知，导致驾驶员监督度量分数为零；缓冲区值为1指示认知超负荷(cognitiveoverload)，导致驾驶员监督度量分数为50；而缓冲区值为零指示低态势感知，导致驾驶员监督度量分数为100。例如，当驾驶员长时间在看同一方向时，缓冲区算法还考虑注视固定或视觉隧道(visiontunneling)。注视固定可能与认知负荷或精神分心有关，尽管驾驶员看上去在注视着道路，由于驾驶员并未针对变化的交通状况扫描周围环境，因此注意缓冲区可减少。

图4示出了如由ocs110所确定的，随着驾驶员不同时间段在不同方向上扫视而引起的注意缓冲区随时间变化的示例。缓冲区在10秒处从2的值开始，并且当在9秒至8秒之间驾驶员从向前方向扫视别处时减小到1的值。在8秒至7秒之间驾驶员回视向前，此时缓冲区增加到大约1.25。驾驶员继续从向前方向扫视别处更长的时间段，并且在5秒处缓冲区值为零，指示低态势感知程度。从大约4.5秒至3秒，驾驶员的注视恢复为向前方向，并且缓冲区增加回到最大值2。如图4中所示，在大约2秒时，缓冲区算法不惩罚驾驶员在与周围环境有关或与车辆108的运行有关的方向上扫视，其中驾驶员扫视后视镜或车速表，并且缓冲区保持最大值2。

返回参考图3，驾驶员监督量度118包括驾驶员的分心程度，该分数从零(当认为驾驶员不分心时)到最高100(当认为驾驶员分心时)。分心程度可以由控制器电路102基于确定驾驶员正在看道路的时间来确定。例如，ocs110可以定义与挡风玻璃的驾驶员侧相对应的道路上关注的区域。当ocs110确定驾驶员一段时间内没有看道路上关注的区域时，ocs110可以确定驾驶员分心。控制器电路102可以使用等式min(100,100*(眼睛离开道路时间/2000))来确定零至100之间的分数，其中眼睛离开道路时间是以毫秒(ms)为单位的驾驶员没有看向道路上关注的区域的时间。控制器电路102可以在最大2000ms(即，2秒)的持续时间内监测驾驶员的注视方向，由此分数变为最大值100。分心程度与态势感知的不同之处在于其不考虑扫视行为，仅考虑驾驶员是否正朝着挡风玻璃向前方向看。

驾驶员监督度量118包括驾驶员的手中物体检测，其可以由相机检测并且由ocs110使用已知的物体识别和分类技术来确定。例如，相机可以捕获持有手机或书籍的驾驶员的图像，而ocs110可以确定驾驶员手中持有的物体的身份。控制器电路102可以包括已知物体的图像库，以与在驾驶员的手中检测到的物体进行比较，并确定是将分数分配为零还是分配为100。例如，可以给移动电话或书籍分配分数为100，而驾驶员提起喝的一瓶水可能被分配分数为零。

驾驶员监督量度118可包括驾驶员的放手方向盘时间，其可以由控制器电路102使用计时器结合来自相机的图像或电容式方向盘传感器来确定。通过将确定放手方向盘的时间(以秒为单位)乘以因子10，可以将手放开方向盘的时间从零至100进行评分。例如，当检测到手离开方向盘的时间小于阈值(例如，小于1秒)时，值为零，当确定手离开方向盘的时间超过另一阈值(例如，大于5秒)时，值为50，而当确定手离开方向盘的时间超过又一阈值(例如，大于10秒)时，值为100。ocs110可以确定驾驶员是否将他们的手从方向盘上移开，并且控制器电路102可以启动计时器，直到ocs110确定驾驶员的手已经回到方向盘为止。

驾驶员监督度量118可包括驾驶员在场。如上所述，可以由ocs110使用相机或座椅压力传感器确定驾驶员是否在场。驾驶员在场度量作为二进制值进行评分，即当驾驶员坐在驾驶员座椅上时为零，或者当确定驾驶员不在驾驶员座椅上时为100。

驾驶员监督度量118可包括驾驶员的驾驶员身体位置。如上所述，可以由ocs110使用相机或座椅压力传感器确定驾驶员身体位置。驾驶员身体位置作为二进制值进行评分，即当驾驶员就位于驾驶员座椅上时为零，或者当确定驾驶员没有就位于驾驶员座椅上时为100。

驾驶员监督度量118可包括驾驶员睡眠状态。驾驶员睡眠状态作为二进制值进行评分，即当驾驶员醒着时为零，或者当确定驾驶员睡着时为100。驾驶员睡眠状态可包括微睡眠事件，其是可以持续数微秒至数十秒的短暂睡眠时段。微睡眠事件可表现为眼睑下垂、缓慢的眼睑闭合和点头。如上所述，ocs110可以通过使用相机监测驾驶员的眼睛和头部姿势来检测驾驶员正在表现出微睡眠事件。控制器电路102可以跟踪眼睑闭合的时间并且确定眼睑闭合的持续时间是否比可以指示睡眠或微睡眠事件的眨眼显著更长。

驾驶员监督度量118可包括驾驶员困倦程度。驾驶员困倦程度与驾驶员睡眠状态相关，因为驾驶员困倦程度是连续睡眠的部分。例如，当驾驶员的睡眠状态为零(例如，完全清醒)时，驾驶员没有指示困倦的迹象，而当驾驶员的睡眠状态为100(例如，睡眠中)时，驾驶员已经从困倦转变为睡眠。因此，图3中所示出的驾驶员困倦程度的分数不包括零和100。如上所述，ocs110可以通过监测驾驶员的眼睛和头部姿势来确定驾驶员的困倦程度。驾驶员困倦的分数随着在给定时段内眼睑闭合和点头发生计数的增加而增加。例如，ocs110可以确定随时间在瞳孔上的眼睑闭合百分比(perclos)，其将慢眼睑闭合或下垂与眨眼区分开。随着perclos的增加，驾驶员困倦程度分数可以从10缩放到90，以与在采样的时间段内眼睛被遮挡的时间百分比相对应，如图3所示。

监督分数

图5示出了由控制器电路102基于驾驶员监督度量118的分数确定的监督分数112的示例。监督分数112指示如果车辆系统退出自主驾驶模式或响应于车辆系统可能无法预期的变化的交通状况，驾驶员是否准备好恢复对车辆108的控制。控制器电路102可以通过确定驾驶员监督度量118中的任一个驾驶员监督度量的最大值来确定监督分数112。在图5中所示出的示例中，确定驾驶员具有高态势感知，其分数为零，放手方向盘时间小于第一阈值(例如，小于一秒)，其分数为零，驾驶员在场并在驾驶员座椅的正确位置上，其分数为零，并且针对驾驶员睡眠状态的分数为零指示驾驶员高警觉程度。控制器电路102选择具有最大分数的驾驶员监督度量118，在该示例中该最大分数为零。

图6示出了由控制器电路102确定的监督分数112的另一示例，其中，确定驾驶员表现出认知超负荷，其态势感知的分数为50，如由上述缓冲区算法所确定的。在该示例中，缓冲区值为1，从而生成分数为(2-1)*50＝50。如上所述，ocs110确定放手方向盘时间大于5秒，其分数为50，并基于perclos确定驾驶员的驾驶员困倦程度分数为20。其余驾驶员监督度量118的分数为零。在该示例中，控制器电路102选择具有最大分数的驾驶员监督度量118，该最大分数为50。

图7示出了由控制器电路102确定的监督分数112的另一示例，其中，确定驾驶员表现出低态势感知，其分数为100，如由上述缓冲区算法所确定的。在该示例中，缓冲区值为零，从而生成分数为(2-0)*50＝100。如上所述，ocs110确定放手方向盘时间大于10秒，其分数为100，并确定驾驶员不在驾驶员座椅上或不在适当的位置上，其分数各自为100。其余驾驶员监督度量118的分数为零。在该示例中，控制器电路102选择具有最大分数的驾驶员监督度量118，该最大分数为100。

除了选择驾驶员监督度量118的最大值之外，控制器电路102可以使用其他技术来确定监督分数112。例如，控制器电路102可以确定所有驾驶员监督度量118的平均值，并且基于该平均值确定监督分数112，或者可以确定驾驶员监督度量118在一段时间内的最大值，以减少监督分数112的变化。

如下所述，控制器电路102可以基于在驾驶员的视野中的显示器116上的监督分数112来指示驾驶员感知状态114。

显示器

图8示出了显示器116的示例，该显示器是沿恰好位于车辆108的挡风玻璃下方的仪表板的长度延伸的灯条。控制器电路102可以基于监督分数112来改变在灯条上点亮的光的颜色，以向驾驶员指示驾驶员感知状态114，如下面将更详细描述的。灯条可包括不同的发光二极管(led)，其被配置成用于基于从控制器电路102接收的信号来点亮不同颜色的光。在图8中所示出的示例中，控制器电路102通过在灯条上点亮与零的监督分数112相对应的绿光来指示驾驶员感知状态114。随着监督分数112从零增加到100，控制器电路102可以通过将灯条上的光的颜色从绿色更改为红色(包括指示分数在零至100之间的其他颜色)来指示驾驶员感知状态114。

图9示出了监督分数112和相关联的驾驶员感知状态114的示例，其范围从具有550纳米(nm)的波长(λ)的绿色至具有700nm的波长的红色。绿色与红色之间的可见光谱的其他颜色由它们各自的波长指示。例如，波长为580nm的光为黄色，而波长为620nm的光为橙色。光颜色可以由车辆制造商预先确定，也可以由车辆操作员基于操作员的偏好进行选择。绿色的驾驶员感知状态114指示驾驶员准备好在短时间内接手对车辆的控制，而红色的驾驶员感知状态114指示严重的车辆安全问题，此时如果自主驾驶模式无法对威胁作出响应，驾驶员可能无法及时做出反应以避免发生事故。

当监督分数112超过第一阈值时，控制器电路102可以使由灯条显示的光脉动，如图9中“效果”列中所指示的。控制器电路102可以以第一频率(例如，以两秒的间隔或一半的赫兹(0.5hz))使光脉动。第一阈值可以是用户定义的，并且在图9中所示出的示例中，第一阈值是80的监督分数112，此时驾驶员监督分数112指示驾驶员表现出低注意力。当监督分数超过第一阈值持续超过第二阈值的时间时，控制器电路可以增加光脉动的频率。例如，当监督分数112超过80达20秒的时段时，控制器电路102可以将光的脉动频率从0.5hz增加到1hz。

图10示出了沿车辆108的门的长度延伸的灯条的示例。灯条可以沿着车辆108的左侧门和右侧门两者的长度延伸，当驾驶员看向车辆108的左侧或右侧时，灯条可以在驾驶员的视野中。控制器电路102可以用与如上所述的位于仪表板上的灯条相同的颜色和效果点亮安装在车门上的灯条。控制器电路102可以使用来自ocs110的监测数据104来确定驾驶员的注视方向是朝向左侧车门还是右侧车门，并且基于该注视方向使灯条上的光脉动进行追逐(chase)120，从而将驾驶员的注视引导朝向车辆108的前面，如图10中所示。追逐120是一种电气应用，其中相邻的led被循环打开和关闭以产生光在沿着灯条的特定方向上移动的错觉。控制器电路102可以使用不同的追逐模式来将驾驶员的注视引导朝向车辆108的前面，例如，随着追逐120沿着灯条移动时，逐渐点亮越来越大的led集群，或者随着追逐120沿着灯条移动时，点亮较大的led部分。

图11是示出了由控制器电路102执行的示例逻辑流200的流程图。逻辑流程在202处以以下操作开始：在车辆点火时在显示器116上指示驾驶员感知状态114，并在214处以脉动频率的增加而结束。在该示例中，在202处，当驾驶员致动车辆108内的车辆点火开关时，控制器电路102基于驾驶员监督度量118的分数来确定监督分数112，如上所述。如图8-图10中所示，控制器电路102在灯条上指示驾驶员感知状态114，并在204处，确定监督分数112是否大于阈值。如果监督分数112大于阈值(例如，大于80)，则在206处，控制器电路102启动计时器。

在208处，控制器电路102开始以0.5hz的第一频率在灯条上使光脉动，以警告驾驶员的驾驶员注意力下降。在210处，控制器电路102确定监督分数112是否保持大于阈值。如果监督分数112下降到阈值以下，则控制器电路102在灯条上指示与新的监督分数112相对应的新的驾驶员感知状态114。如果监督分数112保持在阈值之上，则在212处，控制器电路102确定时间是否大于时间阈值(例如，20秒)。当时间超过20秒的时间阈值时，在214处，控制器电路102将脉动的频率增加到1hz，以进一步警告驾驶员下降的驾驶员注意力。

控制器电路102可以使用除了光的颜色和效果以外的其他警告方法，例如，语音警告和触觉警告或振动警告。例如，语音警告可以呼唤驾驶员以警告驾驶员提高他们的注意力。触觉警告可以应用于驾驶员的座椅，以提醒驾驶员他们的监督责任。这些其他通知方法也可以通过提高强度来升级，例如，通过增加语音通知的音量，增加重复语音通知的频率以及以增加的频率振动驾驶员座椅或使座椅振动朝向车辆的前面追逐。

示例方法

图11示出了由系统100执行的示例方法300。例如，控制器电路102通过执行与控制器电路102相关联的指令来配置系统100以执行操作302到308。执行操作(或步骤)302到308，但不一定限于本文中所示的操作的顺序或组合。此外，一个或多个操作中的任何一个可以被重复、组合或重组以提供其他操作。

步骤302包括“接收监测数据”。这可以包括利用控制器电路102经由传输链路从安装在车辆108上的驾驶员监测传感器106接收监测数据104。如上所述，驾驶员监测传感器106可包括检测驾驶员的各方面或行为的多个传感器，并且可以是ocs110的部件。如上所述，驾驶员监测传感器106可包括捕获驾驶员的视频图像的2d相机和3d相机，并且osc110基于该图像来确定座椅是被驾驶员占用还是被物体占用。驾驶员监测传感器106还可以包括雷达传感器，该雷达传感器检测驾驶员在驾驶员座椅中的存在。如上所述，ocs110可以使用相机来检测驾驶员的身体和头部位置，并检测驾驶员的眼睛注视方向。驾驶员监测传感器106还可以包括检测驾驶员何时坐在座椅上的座椅压力传感器，并且还可以包括转向扭矩传感器和电容式方向盘传感器，以检测驾驶员的手是否在方向盘上。监测数据104可以由ocs110周期性地更新并且被传输到控制器电路102，以确保控制器电路102能够准确地确定监督分数112。

步骤304包括“确定驾驶员监督度量分数”。这可以包括利用控制器电路102基于从ocs110接收到的监测数据104来确定驾驶员监督度量的分数。驾驶员监督度量包括态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在驾驶员座椅中的存在、驾驶员在驾驶员座椅中的身体位置、驾驶员睡眠状态以及驾驶员困倦程度，如图3中所示出和上面所述。

如上所述，控制器电路102基于由相机检测到的驾驶员的扫视行为来确定态势感知分数。如上所述，态势感知分数的范围从高态势感知的零到低态势感知的100，并基于注意缓冲区。如上所述，控制器电路102基于相机检测到驾驶员朝向道路上关注的区域的注视方向来确定分心程度。如上所述，分心程度分数对于未分心的驾驶员为零，而对于看向关注区域外超过2秒的驾驶员，则增加至100。

控制器电路102基于相机检测到驾驶员是否握住移动电话或可能是驾驶员注意的物体的其他物体来确定手中物体检测。当没有检测到手中物体时，在手物体分数为零；而当检测到物体在手中时，在手物体分数为100。控制器电路102基于计时器以及转向扭矩和电容式方向盘传感器来确定放手方向盘时间。放手方向盘时间的分数范围是零到100，并且通过将以秒为单位的时间乘以10来确定。

控制器电路102基于来自相机、雷达传感器和座椅压力传感器的监测数据104来确定驾驶员是否存在于驾驶员座椅上以及驾驶员是否正确地位于驾驶员座椅上。对于检测到驾驶员在驾驶员座椅上，驾驶员在场分数为零，对于未检测到驾驶员，驾驶员在场分数为100。对于处于正确位置的驾驶员，驾驶员身体位置分数为零，而对于驾驶员被检测到不在适当位置，分数为100。

如上所述，控制器电路102基于检测驾驶员的眼睛和头部姿势以及眼睑闭合的时间量的相机来确定驾驶员是醒着还是睡着。驾驶员睡眠状态分数在完全清醒时为0，而在睡眠时为100。如上所述，控制器电路102可以基于驾驶员的眼睛和头部姿势以及perclos来确定驾驶员的困倦程度。如上所述，驾驶员困倦程度分数在10至90之间，并且反映了眼睛被遮挡的时间百分比。

步骤306包括“确定监督分数”。这包括利用控制器电路102基于驾驶员监督度量118的分数来确定监督分数112。如上所述，控制器电路102可以基于驾驶员监督度量118的最大值或驾驶员监督度量118的平均值来确定监督分数112。

步骤308包括“指示驾驶员感知状态”。如上所述，这可以包括利用控制器电路102在灯条上指示驾驶员感知状态114。驾驶员感知状态114是基于监督分数112的，并且可以通过用不同颜色点亮灯条来显示。灯条可以位于驾驶员的视野中，例如，沿着车辆108的仪表板和车门延伸。如上所述，控制器电路102可以改变灯的颜色和照明效果，以在控制器电路102确定监督分数大于指示驾驶员注意力下降的阈值时，警告驾驶员。如上所述，控制器电路102可以使灯条上的光脉动以警告驾驶员，并且除了照明效果之外还可以使用语音警告和振动警告。如上所述，控制器电路102可以确定驾驶员何时正朝向车辆的左侧和右侧看，并且使在灯条上显示的光脉动进行追逐120，以将驾驶员的注意力引导朝向车辆的前面。

示例

在以下部分中，提供了示例。

示例1。一种系统，包括：控制器电路，该控制器电路被配置成用于：

接收来自驾驶员监测传感器的监测数据，该驾驶员监测传感器被配置成用于在车辆以自主驾驶模式运行时监测车辆的驾驶员；基于监测数据来确定一个或多个驾驶员监督度量的分数，驾驶员监督度量中的每个驾驶员监督度量至少部分地指示驾驶员是否正在监督车辆的运行；基于一个或多个驾驶员监督度量的分数来确定监督分数，该监督分数指示驾驶员是否准备好恢复对车辆的控制；以及基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。

示例2。前述示例的系统，其中，驾驶员监测传感器包括以下各项中的一者或多者：二维相机、三维相机、转向扭矩传感器和电容式方向盘传感器。

示例3。前述示例中任一项的系统，其中，驾驶员监督度量包括以下各项中的一者或多者：态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在场、驾驶员身体位置、驾驶员睡眠状态和驾驶员困倦程度。

示例4。前述示例中任一项的系统，其中，控制器电路通过确定驾驶员监督度量中的任一个驾驶员监督度量的最大值来确定监督分数。

示例5。前述示例中任一项的系统，其中，态势感知度量部分地基于以下各项中的一者或多者：驾驶员相对于车辆行驶的向前道路的扫视方向、驾驶员的扫视持续时间和驾驶员的扫视计数。

示例6。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定第一监督分数，该第一监督分数指示驾驶员具有以下各项中的一者或多者：高态势感知、小于第一阈值的放手方向盘时间、驾驶员在驾驶员座椅上并处于正确位置以及高警觉程度。

示例7。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定第二监督分数，该第二监督分数指示驾驶员具有以下各项中的一者或多者：认知超负荷以及大于第二阈值的放手方向盘时间。

示例8。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定第三监督分数，该第三监督分数指示驾驶员具有以下各项中的一者或多者：低态势感知、大于第三阈值的放手方向盘时间、驾驶员不在驾驶员座椅上或不处于驾驶员座椅中的正确位置以及低警觉程度。

示例9。前述示例中任一项的系统，其中，显示器包括灯条，并且控制器电路进一步被配置成用于基于监督分数来改变所显示的光的颜色。

示例10。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于当监督分数超过第一阈值时，使由灯条显示的光脉动。

示例11。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于当监督分数超过第一阈值持续超过第二阈值的时间时，增加光脉动的频率。

示例12。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定驾驶员的注视方向，并且基于该注视方向来使光脉动进行追逐，从而将驾驶员的注视引导朝向车辆的前面。

示例13。前述示例中任一项的系统，其中，灯条沿着车辆的仪表板的长度延伸。

示例14。前述示例中任一项的系统，其中，灯条进一步沿着车辆的左侧门和右侧门的长度延伸。

示例15。一种方法，包括：利用控制器电路接收来自驾驶员监测传感器的监测数据，该驾驶员监测传感器被配置成用于监测车辆的驾驶员；利用控制器电路基于监测数据来确定一个或多个驾驶员监督度量的分数；利用控制器电路基于一个或多个驾驶员监督度量的分数来确定监督分数；以及利用控制器电路基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。

示例16。前述示例的方法，包括通过确定驾驶员监督度量中的任一个驾驶员监督度量的最大值来确定监督分数。

示例17。前述示例中任一项的方法，其中，驾驶员监督度量包括以下各项中的一者或多者：态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在场、驾驶员身体位置、驾驶员睡眠状态和驾驶员困倦程度。

示例18。前述示例中任一项的方法，包括通过确定第一监督分数来确定监督分数，该第一监督分数指示驾驶员具有以下各项中的一者或多者：高态势感知、小于第一阈值的放手方向盘时间、驾驶员在驾驶员座椅上并处于正确位置以及高警觉程度。

示例19。前述示例中任一项的方法，包括通过确定第二监督分数来确定监督分数，该第二监督分数指示驾驶员具有以下各项中的一者或多者：认知超负荷以及大于第二阈值的放手方向盘时间。

示例20。前述示例中任一项的方法，包括通过确定第三监督分数来确定监督分数，该第三监督分数指示驾驶员具有以下各项中的一者或多者：低态势感知、大于第三阈值的放手方向盘时间、驾驶员不在驾驶员座椅上或不处于驾驶员座椅中的正确位置以及低警觉程度。

结论

虽然本公开的各种实施例在前述描述中进行了描述并且在附图中示出，但是应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。从前述描述中，将显而易见的是，可以在不偏离由接下来的权利要求所限定的本公开的精神和范围的情况下做出各种更改。

除非上下文另有明确规定，否则“或”和语法相关术语的使用表示无限制的非排他性替代物。如本文中所使用的，引述一列项目“中的至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。