专利名称：用于驾驶员状态识别的方法和装置的制作方法
用于驾驶员状态识别的方法和装置背景技术本发明涉及一种用于驾驶员状态识别的方法和装置。DE 102 10 130 Al描述了一种用于驾驶员预警的方法和装置，在 此方法中考虑了驾驶员的警觉程度。该警觉程度由转向角导出，特别转向角变化之间的距离。此外还描述了其它的用于驾驶员状态识别的 影响变量，例如油门的位置和变化。DE 102004039142 Al中描述了所谓的车道脱离预警系统 (Lane-Departure-Warning),其中获取到持续时间，该持续时间是车辆 在保持当前的行驶状态下到离开行驶车道所需要的时间 (Time-to-line-crossing, TLC)。如果该数值低于边界值，驾驶员会受到 警告。发明内容由此可以明显地改善驾驶员状态识别、特别是其可靠性，即把驾 驶员状态信号化的信号由这样的变量导出，该变量显示了，表示驾驶 员的占道行为的变量在时间进程中出现的极限值的频率。可以显示， 这样的变量在困倦的或者不专注的司机的身上表现了独特的行为，评 估该行为可以用于识别驾驶员状态。通过该变量的评估可以在可靠性 和命中率方面达到满意的结果。特别是高命中率地对于困倦驾驶员进行正确分类，是有利的。对于变量"Time-to-line-crossing"的相应评 估显示得特别有利。在该标准的应用下，对困倦驾驶员的分辨实现了非常高的命中 率。该方法结合驾驶员辅助系统提供了特别的优点，驾驶员辅助系统 依赖于获取的驾驶员状态来控制，例如设定给驾驶员的激活警告的阈值或者依赖于驾驶员状态设定警告的方式(例如响亮，轻微)。特别的优点可以通过神经元分级器的应用达到，用来实现驾驶员 状态识别，借助于它，上述变量可以与其它的变量(没有转向校正的 同样存在的转向角设置和/或具有转向校正的同样存在的转向角设置 以及如果可能还有其它的变量)相联合，用来实现驾驶员状态识别。 更多的优点来自于下述的涉及实例的说明以及从属权利要求。
该发明在下面根据附图中表示的实施例进一步阐述。图l显示了 用于驾驶员状态识别的装置。图2显示概述了用于驾驶员状态识别方法作为计算机程序实现的流程图。图3最后显示了具有神经元分级器 的驾驶员状态识别。
具体实施方式
图1显示了用于驾驶员状态识别的装置。其中重要的组成部分是 电子控制单元10,其主要是由像输入电路12，计算机14和输出电路 16这样的部件组成。这些部件出于相互间信息和数据交换的目的与总 线系统18连接在一起。在输入电路12中，优选通过总线系统连接有 不同的传感器。按照下述的步骤在设计中应用下述的传感器。与之可 选择的是，可以在其它的设计中引入其它的传感器，该传感器上可以 采集到相应的变量或者从测量到的变量中导出相应的变量。除此之外 还可以在装置上连接其它的传感器，其信号在其它的功能框架中进行 评估。通过导线20将转向角传感器22连接在输入电路12上。通过 另外的输入导线24将摄像机26与输入电路12连接在一起，该摄像 机可以采集车辆前面的画面，是识别行驶车道边缘标志的基础。此外 通过输入导线28到32连接上更多的传感器34到38，例如用于油门 位置以及制动控制的大小等等的采集，其信号在本发明的设计中有重 要的意义。信息通过输出电路16输出，例如通过输出导线40来控制警告灯42或者信息显示器42——借助它可以显示驾驶员状态。在设 计中，通过输出导线44来控制执行器46,用来对车辆的转向角、车 辆的力口速和/或减速施力口影响。。在优选的设计模式中，图l描述的装置的一部分是驾驶员辅助系 统，其工作基础是驾驶车道识别，例如所谓的车道脱离预警系统 (Lane-Departure-Warning)。这种系统例如由上述的现有技术已知。当 车辆离开或者即将离开行驶车道的时候，在该系统中由摄像机的图像 识别出行驶车道标志的进程，自身车辆的位置或者自身车辆的期望位 置与这些行驶车道标志相比较，从而发出对驾驶员的警告或者对转向 进行干预。在这个关联中获取的重要参数是车辆与车道边缘标志间的 侧面距离或者由此导出的界限。对于驾驶员状态识别的满意结果可以通过考虑一个变量达到，该 变量代表驾驶员的占道行为。驾驶员状态识别如下进行，那就是检验 该变量和在这种变量的时间进程中确定极限值、优选最小值的频率。 最小值出现的频率越高，就可以越早地认定为困倦和不专注的司机。 将最小值出现的频率和边界值相比较，在超越边界值的情况下认定为 困倦或不专注的司机。特别是采集到的与行驶车道边缘标志之间的距 离或者车辆到达车道极限所需的时间(TLC, time-to-line-crossing), 来 作为变量，已经证明是有效的。结合下述用于驾驶员状态识别的操作方法，在设计中还应用了代 表由驾驶员操作的方向盘运动的变量。视设计模式的情况，有不同的 传感器用于该变量的获取，例如用于方向盘角度采集的传感器、用于 轮胎位置采集的传感器、用于偏转比采集的传感器、用于横向加速度 采集的传感器等等。由此，可以导出更多的用于驾驶员状态识别的可能性，通过检查 至少一种驾驶员操作信号、特别是转向角或者与之可比较的信号的进 程，并且在这些信号的典型形为中，可推断出驾驶员是不专心的，或 者(例如)驾驶员进行了几秒钟的睡眠。在优选的设计模式中，采集并检查转向角的时间进程。首先如果在零范围内产生转向角速度，其具 有相应转向校正且转向速度大于一定的阈值，那么就可以推断出驾驶 员是不专心或者劳累的。该行为代表驾驶员在不专心时的典型反应。 通过强烈地干预方向盘和进行转向校正，驾驶员害怕地对于错误的驾 驶做出反应。其中重要的还有，在突然的转向干预之前驾驶员不会显 示出对于方向盘的重要反应。驾驶员状态识别的优化可以如下实现，那就是不仅仅4企查该种行 为模式的出现，而是在该种转向校正比预设要更频繁出现的情况下， 也要对该种行为模式的出现频率和时间间隔的测量进行监控，从而认 定困倦或者不专心的驾驶员。在进行驾驶员状态识别时，当这些变量联合在一起时可以获取尤 其精确的结果，那么也就是说，当识别到与车道边缘标志之间的距离变量进程的最小值(侧面距离或TLC)的出现频率较高时，或者在保持 同样的转向角和随后的转向校正时识别由此导出的极限值时。用于识别驾驶员疲劳而进行评估的其它变量有，例如车辆在行驶 车道上侧面位置的标准偏差、转向速度的评估、驾驶员眼睑闪动频率 和/或眼睛关闭时间的评估或者还有车辆数据的评估，例如油门位置等 等。这些规范中的几个在"Perclos"概念里为专业人士所熟知。已经表明，如上述的标准的结合带来了进一步的优化，因而驾驶 员状态的度量可以从上述特征中的所有或者几个的结合中找到。其中 引入神经元分级器，该分级器中导入了待评估的特征。图3显示了这 种神经元分级器的例子。其中上述信号以表示为时间函数的方式导入 分级器。在优选的设计模式中并不是所有的这些特征都会得到应用， 而只是表示驾驶员占道行为的变量(到车道边缘标志的距离变量)进程 中的极限值或者由此推导出的阈值的评估，以及同样存在的具有和/ 或不具有相应转向校正的方向盘状态的频率。由此已经可以达到显著 的结果。更加重要的认识是，观察侧面到车道边缘标志的距离或者由此导出的变量或者可以相比较的变量，如在保持同样的行车状态下车辆超 越车道边缘标志或者超越由此导出的极限值所需要的时间。其中驾驶 员状态可以以优选的方式由这种变量曲线进程的最小值出现的频率 导出。在一定的时间范围内如果最小值出现的频率超越了设定的边界 值，就推断为困倦和/或不专心的驾驶员。图2根据流程图显示了相应的操作方法。所示的流程图概述了控制单元10在预设的时间点上运行的程序。首先在步骤100中读入求 得的持续时间的数值(TLC),该持续时间是驾驶员在保持大体相同的 行驶状态时到超越行驶车道边缘标志或者超越由此导出的极限值所 需要的时间。该数值在步骤102中与采集的时间点一起被存储。从而 在步骤104中由当前值和过去值计算，是否存在该变量(TLC)的曲线 进程的极限值。通常该极限值是数值进程的最小值。在一个设计中， 该计算通过预定数量的数值之间的差值形成来实现。在时间值序列中 获取极限值的其它方法也可以应用。然后在步骤106中检查曲线是否 存在最小值。其中在优选的设计模式中对于汽车左侧和右侧并不存在 差别。汽车单面的观测足够了。在其它的设计中，这里概述的程序对 于左右的车道边缘标志都要运行，分别获取最小值和从两侧确定频 率。如果在步骤106中存在最小值，在这种情况下在步骤108中计数 器就要增加。该计数器有在每次识别到TLC曲线的最小值时增加而在 一定时间的过程之后减小的特性。通过这种方式，在一定的持续时间 内可以确定TLC曲线上最小值出现的频率。在下面的步骤110中要检 查是否计数器状态达到或者超越了一定的数值。如果是的话，那么根 据步骤U2驾驶员状态就评定为疲劳或者不专心，且概述的程序从下 一个时间点开始重新运行。如果在步骤106或者110中获取否定的答 复，那么在步骤114中驾驶员状态评定为专心，接着概述的程序从步 骤100在下一个时间点重新运行。在其它优选的设计实例中，为了获取TLC曲线的最小值，作为补 充，借助于在行车时长时间保持同样方向盘状态的频率，或者借助于在具有相应转向校正的行车时长时间保持同样方向盘状态的频率进 行评估。其中如果至少两个特征超越了预设极限值，那么驾驶员状态 评定为不专心。其中如果预先给定的时间段内的变量位于预先^^定的 公差范围内，那么由转向角的变化或者相应变量的变化推导出在更长 的时间段内方向盘没有转动。对于不专心的驾驶员状态的评定特别有利的还有，TLC曲线的最小值出现频率和在超越侧面极限值时方向盘非转动的结合。如果车辆 超越了行驶车道边缘标志或者超越了由此导出的极限值而同时方向盘没有转动或者只是在预先给定的公差内转动，且如果同时TLC曲线 的最小值出现的频率已经达到或者超越了一定的变量，那么就推断为 不专心的驾驶员。已经表明，所有的这些操作方法都带来令人满意的 评定结果。通过神经元分级器的引入，可以进一步优化评估结果，该分级器 至少评估TLC曲线的最小值和保持不变的具有或者没有转向校正的 转向设置的频率的上述特征。其中在有利的扩展中联系了根多的变 量，例如根据转向角、转向角传感器、偏移率或者纵向加速度传感器 计算出的转向速度，其中方向盘在突然转动时，也就是说高转向速度 时，则推断为不专心的驾驶员。此外，获取车道上的车辆侧面位置的 标准偏差，也已被证明是一个重要的变量，同样还有在文献中已知为 Perclos的油门踏板和/或制动踏板和/或眼睑闪动的监控或者平均闭眼 时间的操作变量。图3显示了相应装置的结构，该装置在应用神经元分级器200的 基础上用于驾驶员疲劳识别。图3中设计的神经元分级器是多重的。 评定信号作为神经元分级器的U3级的输出变量输出，并传递到显示 装置或者另外的控制系统202中，其中评定信号显示为不专心或者疲 劳的驾驶员。在优选的设计实例中在评定为疲劳的驾驶员时存在信 号，而在评定为专心驾驶员时不存在输出信号。在优选的设计实例中， 引入神经元分级器的第一级U1的输入变量是在上述用Perclos命名的特征，也就是说眼睑闪动频率或者眼睑关闭的持续时间的度量，和/ 或操作部件如油门踏板或者制动踏板的动作方式的度量。此外还输入 了车辆在行驶车道上侧面位置的标准偏差。第三个输入变量是转向速度变量的度量，第四个输入变量表示TLC曲线的最小值出现的频率，而第五也是最后一个变量表示具有或者没有过度反应转向校正的保 持不变的方向盘状态的频率的度量。已经表明，最后讲述的两个特征 已经显示了不错的评估结果，而前面讲述的三个额外的特征表示进一 步的优化，在一些设计实例中会舍弃这些特征或其中的一个或者多个 特征。通过眼睑闪动频率或者眼睑关闭的持续时间变量而引入到神经元分级器200的第一输入的信号通过用于观察驾驶员具有相应图像评 估的摄像机204获取，并为所述规范计算出变量并引入到神经元分级 器。作为眼睑闪动频率或者眼睑关闭的持续时间的替换或者补充，油 门踏板和/或加速踏板的动作速度用于评估，因而这将依赖于相应的设 置信号来实现，然后媒介204发送表示动作速度的变量到神经元分级 器。第二输入变量表示车辆侧面与边缘标志之间距离的度量。其中， 例如借助于安装在车辆上的具有图像评估单元的摄像机206来采集车 道从而计算车辆在车道内的位置。然后单独的测量结果发送到运算单 元208从而在测量到的值中获取标准偏差并引入到神经元分级器。下 面存在的考虑是，驾驶员越不专心，标准偏差越大，因为他使得车辆 在其车道内来回地移动。另外一个输入变量是转向速度。其中，在测量装置210中获取方 向盘角度、转向角或者上述可以相比较的信号之一，从而在计算单元 212中获取转向速度。然后将该变量输入神经元分级器200。然后设有TLC曲线的最小值出现的频率，作为第四输入变量。其 中例如通过驾驶员辅助功能(驶离车道警告器214)获取时间，该时 间是没有转向校正的车辆超越行驶车道边缘标志或者超越由此导出的极限值所需要的时间。如上所示，由这些变量存储成时间进程，并 在运算单元216中得到此曲线的最小值出现的频率。然后这些变量输 入神经元分级器。此外设有运算单元218，转向角或者与之可比较的变量引入到该单元，借助它，把如上所述的，具有或者没有延迟转向校正的长时间保持同样方向盘状态的频率导入该变量运算单元218。相应的变量作 为第五输入变量引入到神经元分级器200。在其它的设计实例中，作为绝对变量的替换，将0到1之间的数 值引入到神经元分级器200,该数值通过获取的变量与阈值的比较产 生。1表示根据变量完全确认驾驶员不专心。根据识别的程度该值位 于0 (专心)和1 (不专心)之间。在神经元分级器的第一级U1中，具有存储于神经元分级器中的 权值的单一输入变量加权后传送到第二级的神经元分级器中。在此结 合第一级的结果(同样位于0到l之间的数值)，优选是乘，来与写 入到神经元分级器的第二级中的权值进行加权。然后第二级的结果传 送到第三级，其同样与第二级的结果结合而从而借助这里存入的权值产生疲劳或者不专心的输出信号。其中单一神经元的权值(输入变量评估的极限值)在练习的范围内确定。该种练习基于实验顺序的结果，评估后的具有实际驾马史员状 态的操作变量的各自的表现以该种顺序列出。神经元的权值通过学习 算法的方式进行优化，那就是产生实验数据的尽可能大的评定效果。
权利要求
1. 一种用于驾驶员状态识别的方法，其中产生把驾驶员状态信号化的信号(40，44)，其特征在于，信号化驾驶员状态的信号(40，44)由这样的变量导出，该变量表示代表驾驶员占道行为的变量(TLC)在时间进程中出现极限值的频率。
2. 根据权利要求1所述的方法，其特征在于，所述变量是车辆直 到超越行驶车道边缘标志或者超越由此导出的阈值所需要的时间，特 别是在行驶状态没有重大变化的情况下。
3. 根据上述权利要求中的任一项所述的方法，其特征在于，极限 值是时间进程的最小值。
4. 根据上述权利要求中的任一项所述的方法，其特征在于，为了 导出用于驾驶员状态的所述信号，还对基本保持同样方向盘状态的时 间段的频率进行评 估。
5. 根据上述权利要求中的任一项所述的方法，其特征在于，在保 持同样的方向盘状态或者转向角时，还对与车道边缘标志间的预定侧 面距离的超越或者由此导出的阈值的超越进行评估。
6. 根据上述权利要求中的任一项所述的方法，其特征在于，对获 取的表示驾驶员状态的变量的评估是借助于神经元分级器(200)实 现的。
7. 根据上述权利要求中的任一项所述的方法，其特征在于，把表 示最小值出现频率的变量引入到神经元分级器(200)中，该最小值 表示在保持同样的方向盘状态下具有过度反应的转向校正的频率。
8. 根据上述权利要求中7所述的方法，其特征在于，还引入如转 向速度、车辆在车道上侧面位置的标准偏差、眼睑闪动频率、眼睑关 闭时间、油门踏板和/或制动踏板动作速度等变量。
9. 一种用于驾驶员状态识别的装置，具有产生表征驾驶员状态的 信号的计算单元(14),其特征在于，所述计算单元(14)设计成，表征驾驶员状态的信号由这样的变量(TLC)在时间进程中出现极限值 的频率导出，其中该变量表示驾驶员占道行为。
全文摘要
本发明涉及一种用于驾驶员状态识别的方法和装置。其中，由表征驾驶员占道行为的变量在时间进程中最小值出现的频率来导出描述驾驶员状态的信号，特别是“time to line crossing”，也就是直到穿越车道线所需的时间。
文档编号B60W40/08GK101535079SQ200780041082
公开日2009年9月16日 申请日期2007年9月5日 优先权日2006年11月3日
发明者C·斯米茨 申请人:罗伯特.博世有限公司