使驾驶员与环境感测结合的车辆安全性系统的制作方法

专利名称：使驾驶员与环境感测结合的车辆安全性系统的制作方法
技术领域：
本发明涉及用于改进车辆安全性的设备和方法。
背景技术：
车辆安全性是受极大关注和重要的领域。因此，改进车辆安全性的方法和设备将有极大价值。

发明内容
车辆安全性，能够通过改进操作员的车辆环境内危险意识(awareness)而增加。然而，尝试把所有可能的危险向车辆操作员报警，将导致过量的报警，引起该系统变得极易使自身不知所措，更有可能被忽视或不用。如果危险警告涉及车辆操作员意识到之外的危险，则该警告的有用性被增强。作为例子的车辆安全性系统，包括环境传感器系统、车辆操作员监视器(如，驾驶员监视器)、注意力评估模块和警告系统。该注意力评估模块比较该环境内的危险(由环境传感器系统检测)与驾驶员意识，该驾驶员意识可以用凝视踪迹估计，以确定哪些危险驾驶员已觉察。通过有选择地提供驾驶员没有看到的、或者已知是没意识到的危险的危险警告，危险报警的数量能够被极大地降低。通过降低报警的数量，设备的有用性极大地被增强。没有不需要的报警使发出的报警对驾驶员更有用，并使驾驶员较小可能不用或忽视该系统。因此，改进的意外防止系统，能够用监测驾驶员的面向内传感器和监测车辆环境的面向外传感器的结合而被提供。在本文中，面向内传感器可以被指向驾驶员，而面向外传感器被指向车辆的外部环境。车辆操作员可以是陆地车辆诸如小汽车的驾驶员，并为简单起见，用语“驾驶员”在下面的例子中被使用。但是，本发明的例子也包含用于其他交通エ具，诸如船、航空器如此等等的车辆安全性系统。作为例子的用于辅助车辆的安全操作的设备，包含检测车辆环境内危险的环境传感器系统；监测驾驶员并提供驾驶员意识数据(诸如有关注意力焦点的数据)的驾驶员监视器；以及注意力评估模块，它通过比较危险数据与驾驶员意识数据，识别被觉察(如，看见的)危险和未被觉察危险。该被觉察危险，是那些驾驶员意识到的，或能够根据驾驶员意识数据被合理地假设或推定驾驶员意识到的危险。危险数据可以包含作为时间函数的具体危险的危险位置，诸如有时间标记的(time-stamped)危险位置数据。对危险预测的位置数据也能够被使用。驾驶员意识数据包含有关驾驶员意识焦点方向的数据，诸如凝视踪迹。尤其是，凝视踪迹的确定，允许被觉察和未被觉察危险的推断或识别(即，充分地和不充分地被观察到的危险)。凝视踪迹数据可以包含驾驶员的凝视踪迹，并可以包含眼睛注视数据，后者可以包含驾驶员眼睛注视的方向和持续时间。任选的危险警报器能够被用于向驾驶员提供报警，优先权给予未被觉察危险，该未被觉察危险可以是未被观察到和/或被遮挡的危险。危险可以被分类为两类“充分地被感测的”或“不充分地被感测的”，或者如“充分地被观察到的”或“不充分地被观察到的”。在一些例子中，危险可以被分类为两类或更多类，诸如“被觉察的”(凝视在危险上或凝视矢量指向危险)，和“未被觉察的”(没有凝视在危险上或没有凝视矢量指向危险)。任选的附加分类是“不充分被觉察”危险。不充分被觉察危险包含被遮挡的危险，在该危险中，凝视矢量被指向危险，但遮挡物阻止整个危险被觉察。ー个例子是从停泊车辆的后面接近道路的行人，该停泊车辆遮挡行人的清楚视线。该分类“不充分被觉察”也可以包含如下情形，凝视主要地注视某物，但相对于车辆传感器已经捕获的东西，可能不允许充分准确的思维模型被形成。例如，人可以瞥见另ー车辆，但不够长以致不能觉察该车辆的相対速度。环境感测、驾驶员监测、以及来自这些系统数据的新颖组合，允许关于驾驶员不大可能意识到该危害的潜在危害情况的信息被给出。优点包含不必要的警告的降低，而增强被发出警告的有用性。例如，如果驾驶员监视器检测到驾驶员已经看到接近的车辆或其他危险，与该接近的车辆或其他危险有关的附加警告，无需发出，除非该危险的行为有变化而驾驶员尚未观察到。 环境传感器系统能够被配置成感测和检测该环境内的物体，诸如其他车辆、交通控制信号、行人如此等等。在一些例子中，所有被检测物体可以被考虑为危险。在一些例子中，危险是所有被检测物体的子集，例如，具有由诸如大小、相对于车辆位置、相对于被投影的车辆行走路径的位置(如，道路)、速度、加速度等因素，和/或其他因素确定的车辆威胁姿态的那些物体。环境传感器系统可以包括一个或多个传感器，例如雷达、激光测距器、视频传感器如此等等。环境传感器系统还可以包含处理模块，用于接收传感器信号和检测环境内ー种或多种危险。驾驶员监视器可以包括一个或多个传感器，向内指向车辆驾驶室，并可以包含传感器，诸如摄像机、3D飞行时间传感器(3D time of flight sensor)如此等等,这些传感器能够被配置成用于凝视跟踪。关于驾驶员的其他信息还能够允许估计驾驶员状态和对环境的认识，诸如头和身体姿势。关于姿势，估计不但能够从摄像机弓I出，而且从传感器弓I出，诸如指示驾驶员重量和加力分布的压カ传感器(座位上、方向盘或驾驶员可能与之接触的其他地方)；驾驶员可能安置他们自己在其附近的超声的、电容的、光学的或其他接近感测系统；能够检测由身体发出的水汽或化学组分(例如，紧张时发汗，或如果驾驶员已经喝酒时的酒精)的化学传感器，或其他传感器。传感器可以监测姿势、药物或其他生理条件、情緒条件、或驾驶员的其他条件。环境传感器可以包含也用于其他功能的传感器，诸如自适应巡游控制传感器。这些传感器可以包含雷达传感器。例如，雷达传感器可以用于识别相对于该车辆有变化的相对速度的车辆。该车辆速度可以被调整以免碰撞，或向驾驶员提供报警。驾驶员监视器能够使用一个或多个传感器，例如使用基于计算机视觉算法的驾驶员监測。这样的传感器系统还可以被用于检测驾驶员问题，诸如疲劳或缺乏注意力。驾驶员监视器可以被用于使用常用的计算机视觉算法，跟踪头和眼睛运动。例如，人的凝视踪迹可以被要求在危险上面通过或靠近危险(例如，在某个阈值内，诸如离危险的角度和/或距离间距)。例如，未被觉察危险可以在离凝视踪迹预定角度间距之外，该预定角度间距在I。-10。范围。驾驶员监视器可以包含至少ー个图像传感器，诸如提供图像数据的视频摄像机，以及驾驶员监视器模块，可操作以便从该图像数据确定凝视方向。例如，头的取向和/或眼睛取向可以被检测并用于确定凝视踪迹。驾驶员意识数据还可以包含关于凝视踪迹内凝视注视的眼睛注视时间数据。在一些例子中，该凝视可以被要求注视达到某个阈值时间。例如，至少ー些危险可以要求明显的眼睛注视时间以便作为被觉察危险而被识别。这些危险可以包含严重危险、呈现对车辆的极大危害的姿态、以及看来不可能自行采取行动避免该危险条件。例如，严重危险可以包含停车标志、红色交通信号、交通车道中停止的车辆、动物、行车车 道内的行人等等。如果凝视踪迹在危险上面通过(或例如靠近离危险阈值角度间距内)，该危险可以被识别为驾驶员意识到的“被觉察危险”。未被觉察危险可以有在离凝视踪迹预定距离之外的危险位置。在下面各个不同例子中，被觉察和未被觉察危险被讨论，但驾驶员监视器可以再或另外跟踪驾驶员意识的其他測量。在一些例子中，凝视注视不要求眼睛运动的完全停止。凝视注视可以作为跳阅间的(intersaccadic)间隔被确定，该跳阅间的间隔可以被眼睛跟踪器检测。凝视可以从物体到物体或位置到位置跳跃(称为“跳阅”)，或保持在一物体或位置(称为注视)。但是，即使在注视中，凝视可以保持在ー个物体上，即使物体正在运动，只要它以一定速率运动，以致眼睛能够合理良好地跟踪它，不必需作大的快速跳跃。凝视注视出在两个跳阅之间的周期期间，即，在跳阅间的间隔期间。当凝视停留在相对于观察者运动的物体上时，眼睛用平滑追随运动紧紧跟随物体运动，该平滑追随运动能够既被称为跟踪物体(以强调物体的运动，同时凝视被保持在它上面)，也被称为注视运动的物体。对运动物体来说，用语注视不要求眼睛运动全部停止。相反，这是单个目标的选择，哪怕该目标可以按眼睛可跟踪的相対速度运动，它运用大脑的平滑追随系统跟踪运动的物体。因此，在跳阅之间的跳阅间的时间间隔，当静态或准静态图像在跳阅之间被观察时，还可以被称为注视周期。被觉察危险在驾驶员的凝视在该危险上面通过例如诸如1-10秒预定时间之后，可以仍然被分类为“被觉察”。如果环境传感器系统确定，被觉察危险的行为按不可预测方式表现，则该被觉察危险可以被再分类为“未被觉察”。物体的不可预测行为可以包含在最后凝视位置期间从构成的模型改变它的行为，或以与最后凝视位置无关的不可预测方式的行为。不可预测行为可以作为危险加速、減速、或与最后观察期间的危险状态相比改变了方向的结果而发生。被觉察危险在驾驶员最后注意该危险且经过预定时间之后，还可以被重新分类为未被觉察。另外，也可以对已有物体的新出现行为(未预测行为)提供警报。这些行为能够正好是有危害的和重要的情况，其中预测行为的总能力是有限的或其中物体是新的。例如，另ー车辆可以以对根据驾驶员监测的驾驶员不可预测的方式加速、減速、改变方向，而报警可以被发出。此外，被觉察危险可以未能按可预测方式改变它的行为，即使它周围的环境按要求行为改变的方式改变(例如，未能减速到停止，不管环境中停车标志或停车信号的存在；或未能开始转弯，尽管该路拐弯)，另外，如果驾驶员没有重新核验该危险以评估它的状态，并更新危险行为的驾驶员模型，则使意识状态从被觉察危险移至未被觉察危险状态。
注意力评估处理模块，使来自环境传感器与驾驶员监视器传感器的数据结合，并评估驾驶员是否对每ー潜在危险已经给予足够注意。该输出可以包括关于潜在危险的警报的集合，按照驾驶员是否可能意识到的每ー危险而选择这些警报。例如，关于危害状态的报警能够通过人机接ロ向驾驶员发出。报警可以包含关于ー个或多个危险參数的信息。危险參数可以包含距离、相対速度、方向(如，对參考方向诸如行驶方向的角度)、大小、危险个性或其他信息。例如，指向危险的方向可以用发自可听报警的视在方向指示，或视觉可辨别箭头指示。在一些例子中，车辆控制模块可以被用于响应危险，例如用刹车、引擎速度控制、方向盘或其他车辆控制信号调整车辆轨道。注意力评估模块可以是电子电路，诸如计算机、可操作以便比较被环境传感器系统检测的环境内危险与驾驶员的环境意识。驾驶员意识可以作为驾驶员的凝视已经从旁通过或在上面通过的环境内的危险被确定。在一些例子中，驾驶员能够被假定对他们已经注意的，例如由凝视踪迹确定的危险，是意识到的。然而，可以有驾驶员已经注意的物体，但因为驾驶员似乎没有适当预测该物体的目前运动和/或状态，所以关于该物体，驾驶员需要额外的警报。注意力评估模块，允许对驾驶员监视器确定驾驶员没有被觉察的、没有充分良好地被觉察的、或因为物体开始改变它的行为而没有被觉察的环境内危险，有选择地发出
敬生目ロ。设备还能够当潜在有危害的驾驶情况被识别时，提供警告信号(诸如可听的、可视的和/或触觉报警)。这些潜在有危害的情况，可以包含危险存在、被面向外传感器检测、而被面向内传感器确定驾驶员没有意识到的情況。警告能够潜在地被用在，或者向驾驶员发出诸如报警的附加安全信息的人机接口中，或者车辆自动地响应以避免危险且全部警告同时地而非自主地出现的保护系统中。在后面的例子或与之类似的其他例子中，来自注意力评估模块的信号能够被发送到车辆控制模块，该车辆控制模块可以被用于，例如通过刹车的启动、加速或驾驶调整来调整车辆的操作。作为例子的用于辅助驾驶员安全操作车辆的方法，包含用车辆支持的环境传感器监测车辆环境以获得危险数据，监测驾驶员以获得驾驶员意识数据，驾驶员意识数据包含凝视方向数据、比较危险数据与驾驶员意识数据以识别被觉察危险和未被觉察危险，以及向驾驶员提供关于未被觉察危险的报警。凝视方向数据包含在预定时间周期上的凝视踪迹，该凝视踪迹在该预定时间周期期间不在上面通过或足够靠近未被觉察危险。


图I是驾驶员意识车辆安全性系统的示意图；图2是简化图，画出围绕车辆的传感器的可能布置；图3画出含有多种危险的环境，一些危险没有被驾驶员看见；图4画出基于认知系统的驾驶员辅助系统的示意图；图5A-5C对驾驶员支持系统例子示出更多示意图；图6A-6C画出凝视踪迹的例子。
具体实施方式
在本发明的例子中，环境的模型能够用ー个或多个传感器产生，诸如与车辆有关的井向外(相对于驾驶员)指向车辆环境的传感器。处理模块能够被用于跟踪环境内被用环境传感器(可以包含雷达传感器、激光传感器如此等等)检测到的物体。驾驶员的凝视被监测，而凝视踪迹被与环境中已识别的物体，例如，在该环境模型内被跟踪的物体相关。例如，驾驶员在作车道变化动作之前向左看，然后开始进行该动作。左车道内可以有另ー车辆。系统可以首先根据位置和相対速度，确定该第二车辆是否危险。凝视跟踪能够被用于确定，是否驾驶员意识到该第二车辆，和如果驾驶员已警觉到该危险，没有报警被发出。然而，在一些例子中，凝视跟踪可以指示，驾驶员没意识到危险，诸如第二车辆，于是警告可以有用地发出。在一些例子中，被分类为被觉察危险的危险，可以被重新分类为未被觉察危险，例、如，如果它的行为在以前的观察之后，处于不可预测或未被预测的方式，例如改变方向、t匕它的先前行动或状态慢下来或加速。按照本发明例子的途径，允许消除不必要的警告并在适合时接管控制系统。作为例子的设备，包括一个或多个传感器、可操作以便产生危险列表的环境传感器处理模块、一个或多个驾驶员监视器传感器、以及估计人员注意力焦点的位置的驾驶员监视器传感器处理模块。该位置能够被记以时间标记。然后，注意力评估信息处理模块比较来自环境监测系统与驾驶员监视器的数据，并被配置成评估该人员是否对每ー潜在危险给予充分的注意力。图I是举例的驾驶员意识车辆安全性系统的示意图。该设备包括多个环境传感器10，诸如传感器12。环境传感器数据被传送至第一处理模块14，可操作以便检测车辆环境中的危险。驾驶员监视器包括多个驾驶员监视器传感器20，诸如传感器22。可以有ー个或多个传感器，而多个传感器可以是相同或不同的，且可以携帯同样的或彼此不同的信息。来自驾驶员监视器传感器的传感器数据，被发送至第二处理模块16。注意力评估模块18比较第一与第二处理模块的输出，以便确定环境内已被传感器系统10检测的什么危险,还没有被驾驶员识别。从注意力评估模块18的输出，可以被传送至驾驶员警告系统24和/或车辆控制安全性系统26。在该例子中，环境传感器系统包含多个环境传感器和第一处理模块，而该驾驶员监视器包含多个驾驶员监视器传感器和第二处理模块。但是，传感器处理和注意力评估模块的比较，可以由单个电子电路，诸如包含处理器、存储器、时钟和其他常用部件的计算机进行。图2画出有驾驶员42的车辆40。一个或多个面向内传感器44监测驾驶员的头部位置、眼睛位置或其他有关驾驶员物理姿势元素，以便评估作为时间函数的驾驶员注意力的焦点。这样，凝视踪迹能够被确定。多个面向外传感器(诸如46、48、50和52)被用于感测车辆的外部环境。作为例子的传感器，可以包含VelodyneTM激光雷达传感器(VelodyneLidar Inc. , Morgan Hill, CA)和 SickTM激光测距器(Sick AG,Waldkirch, Germany)。例如，该环境传感器可以包含雷达传感器、激光传感器、光学成像传感器、其他传感器或它们的任何组合。面向内传感器可以是视频传感器、飞行时间传感器(time of flight sensor)、提供有关驾驶员信息的其他传感器。该图还画出计算模块54，它接收传感器数据或来自与环境及驾驶员监测有关的处理模块的数据。处理模块和注意力评估模块的功能，可以由ー个或多个部件，诸如ー个或多个诸如计算模块的电子电路提供，并可以被组合成単一装置，诸如计算机。图2还画出扬声器56，它能够被用于向驾驶员提供语音或其他可听报警，例如使用立体声或四声道立体声效应提供关于危险的方向性信息。视觉报警，诸如箭头，闪光灯之类也可以通过在该组成部分上的视觉元件，或通过其他显示类型，范围从本机模块到头戴显示器而被提供。图3画出代表性车辆环境内的车辆80，该车辆环境包括其他车辆82、84、86和88 ；行人90和92 ;以及停车标识94。按车辆安全性系统形式的设备，与车辆80关联，包括环境监测系统、驾驶员监视器和注意力评估模块(例如，如图I所示)。车辆80的环境 监测系统，包括传感器，诸如传感器96，能够在相对短的时间尺度中识别多种危险，并标记这样的危险以便动态跟踪。该传感器可以比图示的指向更多方向，以提供车辆外更大的视场。另外，环境监测系统快速响应环境内的动态变化，诸如被识别物体的速度、方向、和/或加速度变化。相反，车辆驾驶员不可能如此快速地识别环境内的变化。例如，车辆的环境传感器系统能检测和跟踪所有被标记危险，以及环境内其他物体。静态物体，诸如树98，可以，但非必需作为危险被识别，除非在该车辆的预测路径中。使用驾驶员监视器获得的凝视踪迹，注意力评估模块可以识别没有被驾驶员看到的危险(不可见危险)，以指出哪些危险的状态和位置是驾驶员不大可能最近意识到的，这些危险可以包含驾驶员没有在最近对之更新他们的认识或信息的危险。例如，通过监测驾驶员的注意力，可以检测到停车标志94没有被驾驶员注意到。在这种情形下，专门指向停车标志94存在的报警可以被发出。另外，诸如88的车辆，可以ー开始被隐蔽，然后突然出现在车辆环境中。车辆传感器(环境监视器系统)可以几乎立刻，例如在小于O. I秒中检测到该新危险。警告可以立刻被发出，或在一些例子中，驾驶员可以在警告被发出之前，允许有预定的时间周期看见新近出现的车辆。图4是作为例子的驾驶员辅助系统的进一歩示意图，在该系统中，把基于实时环境感测的世面(world)模型与基于驾驶员观察的监测和任选的驾驶员存储器模型的驾驶员意识估计进行比较。该设备包括环境传感器100、环境模型102、世面状态(world state)估计系统104、区别机(differencing machine) 106、驾驶员认识估计系统108、和驾驶员传感器110的模型及环境的思维表示112的模型。对于驾驶员意识的估计，能够用被检测物体114、被检测运动116和存储器118做成环境模型。该环境模型102可以含有关于环境的信息，该信息来自各种不同源，包含地图、过去记录的经验和交流的信息。被估计的驾驶员对环境的思维模型(112)，可以包含自身意识的估计、物体意识(如果该物体是危险的，包含对危险意识)、以及驾驶员的例如来自表观视觉流结果和表观连贯(coherent)运动的物体相对运动的意识的估计。被估计的驾驶员的思维模型,可以包含长期存储器模型118，例如，驾驶员如何描绘环境，以及用于保存物体类型及其行动的存储器模型。例如，某人可以感觉到环境内的危险正在以恒定速度运动。驾驶员意识估计系统可以根据以前观察，估计该人意识到该危险的运动。但是，如果危险是诸如另ー车辆以不同于目前预测的方式开始表现其行为，例如通过改变方向或在不同于预测时的时间加速，环境模型104将不同于被模型化的意识，除非驾驶员进ー步观察该危险。在这样的例子中，实际环境模型104和驾驶员意识的估计108之间的差别能够被确定，并用于向驾驶员提供报
Sfc
目ο在图4的例子中，注意力评估模块的功能，由区别机106提供，该区别机106比较环境及驾驶员意识的估计(分别是104与108)。用于传感器系统的处理模块为说明简化起见没有示出，但这种功能可以被包含在有关的估计系统内，或与传感器关联。该区别机可以包含一个或多个比较器功能，诸如符号、数学、或状态进展区别机。 在一些例子中，利用物体的检测、运动的意识、以及本人关于空间关系及有关环境的可能事实与行动的存储器，驾驶员的意识可以本身被模型化。图5A画出驾驶员支持的基于凝视的认知系统的示意图。该图画出被车辆外摄像机系统144检测的环境140。在142，附加的传感器可以被提供。车辆传感器数据被传送通过传感器融合系统148并被传送到3D环境重构152。该重构152还可以从外部数据库，诸如计算机视觉数据库154，接收数据。在160，环境重构的输出被用于形成驾驶相关环境组成部分的表示。这些组成部分可以更简单地称作危险，即使这些组成部分不一定是危险的。在146上的眼睛跟踪系统跟踪车辆操作员的凝视方向。在156，眼睛跟踪系统的输出被用于提供在环境内被检查的物体的估计，例如作为凝视踪迹数据。在150，具有在该环境中的位置的凝视的记录被提供。在158，驾驶员存储器的模型任选地被使用。工作存储器模型158从156接收物体估计，并在164使用该物体估计提供驾驶员认识估计。在比较器162上，该被估计的驾驶员认识与来自160的危险表示被比较。没有被驾驶员看到的任何危险可以在该比较中被检测，而通过驾驶员交互模块166适当的报警被提供或行动被采取。图5B画出驾驶员模型更多的细节，其中处理模块170记录并使驾驶员考察的物体优先化。用于存储用户经验的存储器在172示出，在174允许局部地图估计。地图估计174的输出被提供给在164上来自存储器的估计的驾驶员认识的具体例子。在该图中，组成部分156、158、164和162是图5A所示的那些组成部分。图5C画出稍为更复杂的驾驶员和环境模型。152上的环境重构被与180上的车辆和驾驶员行为模型結合。该模型可以被个性化到驾驶员和/或特定车辆。另外，用干物体行为的估计模型在182提供。来自180的自我行为模型与来自182的物体行为模型的组合，在任务估计器184被结合，以给出驾驶员当前从事的任务的估计。这样在186允许被执行的任务的认知模型被提供。这些模型能够被用于改进160上危险的表示。在该图中，组成部分152、160和162是图5A所示的那些组成部分。驾驶和环境经验能够影响驾驶员的环境意识。图6A画出在熟悉环境内的熟练驾驶员，有检测大多数危险的充分的环境视觉扫描。该图画出通过环境200的凝视踪迹202，有诸如204所示的那些视觉注视点。凝视跟踪系统可以跟随凝视踪迹，并检测和用数量表示注视时间。每ー注视的周期大小(circle size)被与注视时间相关，该注视时间能够由驾驶员监视器系统确定。在一些例子中，对意识到危险的人可以要求大于预定阈值的注视时间。图6B画出在熟悉环境内的新手水平驾驶员，表明向有良好识别的有关空间的驾驶提示偏移。位置认识引导注视(没有驾驶偏移的)。图6C在欠熟悉环境中的新手水平驾驶员。在该例子中，驾驶员的凝视按有些时候随机方式在环境周围运动，且凝视可以注视在点上，不大可能被与车辆的危险被相关。例如，驾驶员可以根据自然反差、彩色之类观看物体。注视被熟悉的和新的位置偏移。对车辆的危害可以在缺乏经验的驾驶员情形下，或在不熟悉环境内的有经验驾驶员情形下被增强。系统可以被编程，以从环境的视觉观察图形检测驾驶员的经验。系统还可以被配置成例如从诸如GPS数据的位置数据确定该车辆是否在不熟悉的环境中。在这样的更危险的情况中，警告的数量可以被增加。驾驶员的世面的估计，就环境内感测的危险而言，能够从近期凝视踪迹确定。该凝视踪迹能够被用于估计驾驶员的目前观察和环境的状态的认识。在一些例子中，驾驶员的凝视踪迹可以与熟练驾驶员的凝视踪迹比较，以评估驾驶员技巧，并还有利于漏掉的危险的检测。这可以是改进的驾驶员评估、授予证书或训练的一部分。例如，有经验的驾驶员可以驾车通过环境和有经验的驾驶员的凝视被跟踪。踪迹 和注视点能够被存储在数据库中。通过同一环境的第二车辆，可以从该数据库检索数据以有利于危险的检测。算法算法能够被用于确定是否有驾驶员没意识到的在车辆外的潜在危害情況。环境传感器被用于检测过去一段时间间隔内车辆外的潜在危害情況。然后确定第二时间间隔内驾驶员焦点的位置。对环境传感器检测的过去一段时间间隔内、不在驾驶员焦点位置的集合内的危险，能够发出警告。由环境传感器确定的车辆环境，可以按十分迅速的步调动态地更新。例如，更新可以按I秒或更小的时间间隔发生。驾驶员的存储器能够被模型化或另行估计，这样，人被假定在第ニ时间间隔内记住危险的存在。驾驶员意识到的地区，能够被估计作为凝视踪迹的一定距离内的环境内的地区。使用的距离函数可以是EucIid距离、角度间距或其他距离函数,该距离函数对使用的传感器形态是有用的。在一些例子中，在危险的传感器检测时，报警不是立刻发出。可以给予驾驶员一定时间周期，例如I和3秒之间的周期，以在视觉上意识到该危险。系统可以给予驾驶员机会，通过从目前模型允许相关时间周期延伸进将来，以便识别潜在危险。作为例子的系统，包括环境传感器系统，诸如ー个或多个面向外传感器和对外传感器处理模块，该对外传感器处理模块产生车辆外危险的集合，有近似的位置和时间标记。该系统还包括驾驶员监视器，诸如多个面向内传感器和对内传感器处理模块，该对内传感器处理模块估计人注意力焦点的有时间标记的位置，以及注意力评估模块，该注意力评估模块使来自对外和对内处理模块的数据结合，可操作以便评估人类操作员(如，驾驶员)是否已经给予每ー危害情况(危险)充分的注意力。该注意力评估模块可以使用下面的算法，以便决定车辆外是否有人员尚未意识到的潜在危害情况I.输入该过去时间间隔tD内车辆外潜在危害情况的集合D。2.输入该过去时间间隔tF内驾驶员焦点位置的集合F。3. For D中姆一情况d完成
4.令L (d)为d的近似位置和令T (d)为d的时间，并设Warn (d)=真5. For F中焦点f的每一区域完成6.令L(f)为f的近似位置和令T (f)为f的时间7.如果距离 D (L(d)，L (f) )〈Cutoff D 和时间差 E (T (d)，T (f))〈Cutoff T，设Warn (d)=假8.结束 For9.结束 For10.对姆ー Warn (d) =真的d,把d作为未被觉察危害情况返回 在上面的算法例子中，距离函数D可以是Euclid距离、角度距离(如，视场内的角度间距)或其他距离的函数，该距离函数对使用的传感器形态是有用的。使用的时间差函数E可以取任何形式，如，它可以简单地是绝对值，但可以被选择用于増加的功能，例如，如果T(d)〈T(f)或如果T(d)>T(f)时,返回不同值。截止值(cutoff value)可以被允许与危害情况的潜在严重性一起变化。时间间隔tD和tF不一定终止于当前时间。例如，该系统可以给予车辆操作员机会，例如，通过设tD经过相对于当前时间测量的[_5，+1]秒，以在产生报警前识别某种威胁。任何预定时间周期可以按照条件变化，例如，与车辆速度和/或到可能的危险实现(诸如碰撞)时间相反地相关。例如，危险位置数据可以包含第一预定时间周期上的危险位置，驾驶员意识数据可以对应于第二预定时间周期上驾驶员意识，而第一和第二预定时间周期可以各有约O. 01秒和约10秒之间的持续时间。30Hz的平均视觉闪烁融合(最初景象的视觉综合速率，按该速率两次被观察的闪光模糊成单个延长的闪光)对应于03秒的时间窗ロ，所以O. 01秒的窗ロ支持甚至不平常的良好视觉的时间鉴别，足有100Hz。环境传感器系统用于确定车辆的外环境的环境传感器，可以包含视频摄像机、诸如激光雷达的激光传感器、雷达、其他基于图像的传感器、声纳、如此等等。环境传感器系统可以可操作以便建立车辆环境的详细表示。例如，多个雷达传感器可以包围车辆。在一些例子中，车辆可以接收来自近处车辆的例如速度的数据，以及来自同一或相邻车道的邻近车辆的驶向(heading)数据。环境传感器能够被配置成检测环境内物体，包含其他车辆和路旁物体，诸如行人、标志如此等等。环境传感器系统还可以包括处理模块，诸如计算机或其他电子电路，用于分析传感器信号和确定环境内物体的位置。该处理模块还可以根据本车辆行为、物体相对于本车辆的位置、以及物体行为(诸如相対速度、方向、加速度如此等等)，识别潜在的危险性物体。环境可以按三维，或作为两维表示被模型化。该两维表示可以提供计算的简单性。在一些例子中，预定数据，诸如包含地图数据的网络数据，能够被传递到该车辆。在该例子中，数据接收机构对应于环境传感器功能，因为它们接收有关车辆环境的数据。例如，先前已经收集的街道视图，能够被用于固定危险，诸如交通控制信号的检测。环境传感器系统可以包含传感器处理模块，以接收传感器信号和检测环境内的物体。被识别的物体中的全部或某些可以被识别为危险。该处理模块的输出可以包含环境内危险位置的集合，例如在第一时间周期内检测到的危险。该第一时间周期可以从过去的开始时间(诸如在当前时间之前的1-10秒)延伸到当前时间，或在一些例子中，不包含最近的时间间隔。驾驶员监视器驾驶员监视器可以包括一个或多个驾驶员监视器传感器和可以包含视频传感器(如，CMOS传感器)、诸如超声或激光传感器的飞行时间传感器。驾驶员的IR或其他照明，能够被用于增强驾驶员监视器的灵敏度。该驾驶员监视器输出驾驶员意识数据，这些数据可以是预定时间周期上驾驶员意识焦点(如，凝视方向)的确定。因此，驾驶员意识数据可以包含驾驶员的凝视踪迹数据。在一些例子中，计算机视觉系统能够被用于监测驾驶员的头的取向。通过记录投影的凝视方向与被感测环境，能够估计哪些危险是驾驶员意识到的被觉察危险，以及哪些危险是在驾驶员意识之外。 凝视跟踪能够用ー对眼镜状装备精确地确定，该装备有面向外朝向环境的摄像机和指向眼睛的更多图像传感器。这样的装备对常规使用是麻烦的，但可以用于计算机视觉系统或其他基于图像的驾驶员监测系统的校准。另外的凝视跟踪系统，可以代替地使用面向驾驶员安装的一个或多个摄像机，并相对于观察外部环境的感测系统记录，车辆是在该外部环境中被发现。或者，凝视跟踪系统可以用凝视和头部取向检测的附加模式，诸如有坐落在产生RF发射的框架中的浸溃线圈的接触透镜，或其他这样的系统，如可以被合理地用于确定头和眼睛或双眼相对于车辆或环境參考框架的取向的系统。许多类型的取向系统作为标准眼睛跟踪技术是众所周知的，且这里提供的凝视跟踪器的描述，没有ー个可以认为是对跟踪器选择的限制，在本发明的例子中描述的被选择的跟踪器，在有更大安全性的系统中发挥凝视检测功能。在一些例子中，被安装在车辆仪表盘上的面向外的摄像机，可以被用于估计如驾驶员看见的车辆环境。该图像可以与用外部车辆传感器建立的环境模型比较。标准坐标变换能够被用于记录驾驶员的视点与车辆传感器建立的环境模型。环境模型内凝视跟踪的精度，可以在15度内，在一些例子中是在10度内，且在ー些例子中是在5度内。凝视踪迹数据越精确，对驾驶员的意识的估计越可靠。在一些例子中，车辆操作员对仪表计(instrument gauge)的注意力也能够被监测，而如果车辆操作员未能看到显示在仪表计的警告，则附加的警告被发出。在一些例子中，车辆的仪表盘上的摄像机，能够被用作凝视踪迹的粗略近似。注意力评估模块举例的注意力评估模块，被配置成接收关于环境内危险的危险数据，以及关于驾驶员的意识的驾驶员意识数据。该注意力评估模块比较检测的危险与驾驶员意识数据，以确定被觉察危险(在驾驶员意识之内)和未被觉察危险(在驾驶员意识之外)。然后，该举例的注意力评估模块可以产生只与未被觉察危险有关而与被觉察危险无关的报警信号。在一些例子中，报警信号还可以包含被觉察危险，例如，如果危险危害过大吋。因此，注意力评估模块可以识别多种类型的危险，例如被觉察和未被觉察危险，以及任选地不充分地被觉察的危险。例如，注视时间可以在第一阈值之上(如，按要求估计的对危险存在的意识的时间)，但在要求完全觉察的第二阈值以下(如，小于按要求估计的完全意识到危险的时间)。不充分地被觉察的危险可以被看见，但危险參数，诸如相対速度，可以不被觉察。
因此，危险分类可以是ニ值的被觉察对未被觉察分类，或者可以包含中间类别，以及可以包含按觉察程度的连续分类。检测度，如果已被确定，那么可以是分成两个状态的阈值，诸如“充分地被觉察”和“不充分地被觉察”，然后按相同方式被用作被觉察和未被觉察。危险类别可以作为中间状态存在于完全被觉察和完全未被觉察之间。危险还可以存在于模糊状态，这样当凝视矢量指向模糊危险时，另ー个物体处于驾驶员和危险之间。模糊危险可以被分类为被觉察、未被觉察、或处于例如不充分地被觉察的中间类别，取决于模糊的程度、危险行为和潜在危险的程度。不充分地被觉察危险，可以有不充分观察持续时间状态，其中凝视落在物体上或靠近物体的某个地方，但在观察到足够空间特征以识别该物体(静止的“危险个性”识别)之前移动，或在抽取足够时间特征以恰当地预测物体行为模式(动态的“运动模型”构造/识别)之前移动。 注意力评估模块可以由电子电路，诸如包括处理器、存储器、时钟和输入输出部件的计算机提供。相同电子电路能够被用于提供传感器数据处理。报警和车辆响应在一些例子中，设备能够被用于向对驾驶员是惊奇的情况，诸如未被觉察的危险中的驾驶员提供警告。例如，这些警告可以包含涉及新近出现的车辆、或不可从以前的观察预测的车辆行为的报警。设备可以包括危险警报器，有选择地把关于未被觉察危险向驾驶员报警。在危险的检测之后，可听报警，诸如哔哔声可以向驾驶员提供。在一些例子中，车辆意向例如通过路径规划被预定，而自动控制可以取代人类输入以避免危害条件。例如，车辆可以按类似于自动漫游控制系统使用的方式变慢或加速。在一些例子中，用于这种自动系统的传感器，可以被用于确定本发明的例子的环境模型。本发明的例子的优点包含报警的減少，由此避免用不必要的报警淹没驾驶员。如果已知驾驶员意识到外部危险，没有必要发出警告(除非，在一些例子中，该危险特别严重)。警告只当系统确定警告将真正有用时发出，例如当驾驶员没有往危险方向看时，或例如有危险新近出现在环境中，或环境中最近的变化已建立尚未被观察的潜在危险情況。在一些例子中，该系统可以监测驾驶员对报警的意识，报警是由车辆系统诸如仪表发出的。例如，该系统可以确定驾驶员是否已看到速度计，而如果车辆速度超过本地速度极限时发出报警。但是，如果已知驾驶员意识到目前速度并已经选择忽略该信息，没有必要发出报警。在一些例子中，例如，如果车辆传感器系统检测到新近浮现的车辆或其他极端地危险的情況，而驾驶员监测指示出该驾驶员没有意识到该危害情况，紧急刹车或规避性控制动作可以被输入车辆控制。驾驶员存储器模型可供选择地，驾驶员存储器的模型可以被用于确定驾驶员的意识。例如，驾驶员存储器模型可以包含关于凝视模式、要求意识的最短注视时间、存储器保存时间、存储器容量(例如，包含參数，诸如驾驶员在短期存储器中能够同时保留的危险的最大数量)、以及其他合适的參数的情况意识的模型。在一些例子中，驾驶员存储器的模型和其他參数，诸如计算机视觉系统内的凝视跟踪參数，可以从对应于ー个或多个驾驶员的存储的数据的集合中选取。例如，系统可以识别驾驶员的身份，或驾驶员可以进入该身份信息，及从数据库检索的对应数据。本发明的例子包含，例如通过分析驾驶员是否看见危险，诸如临近的障碍，跟踪驾驶员的认识状态的设备和方法。例如，因为精神分散(诸如移动电话使用、与其他乘客交谈、或车辆附近吸引注意力的景象)、无カ(诸如疲劳)、一些其他未能集中注意力的毛病、或在一些情形中因为瞬间大意，驾驶员可以没意识到ー个或多个危险。本发明的例子能够提供有用的警告，不管缺乏意识的源头。车辆的环境传感器能够检测其他车辆、行人、或其他危险，井比较被感测的外部世界与驾驶员已经看到的东西的近来历史，如被诸如车辆内传感器的驾驶员监视器所測量。例如，如果系统确定，驾驶员没意识到危险，则该系统能够通过 向驾驶员报警做出响应，和/或实时规划并执行安全行车路径(trajectory)。这样的响应不一定是预定的响应，但当驾驶员的缺乏意识被推定时，可以被迅速计算(如50ms下)。本发明的例子可以有附加的功能，诸如从凝视踪迹參数、其他驾驶员行为或驾驶员对被观察的危险的响应，检测疲劳或醉酒驾驶员。无论如何，不像常用的检测疲劳或醉酒驾驶员的方案，本发明的例子能够提供有用的警告，即使当驾驶员十分能干，但由于疏忽大意或不可避免的情况(例如，从先前对驾驶员隐蔽的位置进入车辆环境的车辆)而没意识到危险。即使当驾驶员不疲劳或不醉酒，而是当驾驶员没意识到他们的环境中某些事物时，危险能够出现，而本发明的例子能够在这些情形中发出适当的警告。本发明的例子使驾驶员意识监测与外部车辆环境感测结合，以便向驾驶员提供改进的警告，并任选地车辆控制输入，以避免碰撞。本发明的例子比常用盲点检测器是极大的改进，因为未被觉察危险可以被定位在车辆环境中任何地方。无论如何，依赖于驾驶员的状态(如，常用的姿态和全部的意识，打移动电话，或弯下身够某些东西)，驾驶员的真正盲点可以与被车顶支承导致的通常盲点配置不同。外部传感器能够跟踪环境中许多、大多数、或所有物体，确定哪些物体是危险，井根据驾驶员的凝视踪迹和物体的行为，动态地跟踪驾驶员是否意识到或没意识到每一危险。本发明不限于上面描述的示意性例子。所描述的例子不企图限制本发明的范围。本发明的范围由权利要求书的范围定义。
权利要求
1.ー种用于辅助车辆安全操作的设备，该车辆有车辆环境，该设备包括 环境传感器系统，可操作以便检测车辆环境内的危险并提供危险数据； 驾驶员监视器，可操作以便提供驾驶员意识数据，该驾驶员意识数据包含凝视踪迹；和 注意力评估模块，通过比较危险数据和凝视踪迹，识别被觉察危险和未被觉察危险， 该注意力评估模块提供关于该未被觉察危险的报警信号。
2.权利要求I的设备，还包括在收到报警信号时提供报警的危险警报器。
3.权利要求I的设备，该危险数据包含危险位置数据，未觉察危险具有在离凝视踪迹预定距离之外的危险位置。
4.权利要求3的设备，其中该预定距离是离凝视踪迹的预定角度距离。
5.权利要求3的设备，该危险位置数据对应于第一预定时间周期中的危险位置， 该驾驶员意识数据对应于第二预定时间周期中的驾驶员意识， 该第一和第二预定时间周期，各有约O. Ol秒和约10秒之间的持续时间。
6.权利要求I的设备，该驾驶员意识数据还包含眼睛注视时间数据， 至少某些危险要求明显的眼睛注视时间，以便被识别为被觉察危险。
7.权利要求I的设备，该环境传感器系统包含雷达传感器。
8.权利要求I的设备，该危险包含车辆环境中的其他车辆。
9.权利要求I的设备，该驾驶员监视器包含 至少ー个图像传感器，提供图像数据； 处理模块，可操作以便从该图像数据确定凝视方向。
10.权利要求I的设备，还包括车辆控制模块，可操作以便响应于未觉察危险，调整车辆的操作。
11.权利要求I的设备，该注意力评估模块包含具有处理器的电子电路， 该处理器可操作以便执行比较危险位置数据与凝视踪迹的算法， 该电子电路进一歩可操作以便使用驾驶员存储器的模型估算驾驶员意识。
12.—种用于辅助车辆安全操作的设备,该车辆有车辆环境,该设备包括 环境传感器系统，可操作以便检测车辆环境内的危险并提供危险数据； 危险数据，包含危险位置数据； 该危险包含在车辆环境中的其他车辆； 驾驶员监视器，该驾驶员监视器包含凝视追踪器并提供包含凝视踪迹的凝视踪迹数据； 注意力评估模块，可操作以便接收危险数据和凝视踪迹数据，并通过比较危险位置和凝视踪迹，识别未被觉察危险；和 危险警报器，向驾驶员提供关于未被觉察危险的报警。
13.权利要求12的设备， 该环境传感器系统包含被该车辆支持的雷达传感器， 该驾驶员监视器包含计算机视觉系统，可操作以便从关于驾驶员的图像数据确定凝视踪迹， 该车辆是陆地车辆。
14.权利要求12的设备，该注意力评估模块，通过比较第一预定时间周期中的危险位置与凝视踪迹，识别被觉察危险和未被觉察危险， 被觉察危险是在该预定时间周期期间离凝视踪迹的预定距离内， 该预定距离是预定角度间距。
15.权利要求12的设备，该凝视踪迹数据包含关于驾驶员的眼睛注视数据， 该注意力评估模块，可操作以便通过比较危险位置与眼睛注视数据，识别未被觉察危险。
16.ー种用于辅助驾驶员车辆安全操作的方法，该方法包括 使用被车辆支持的环境传感器监测车辆环境，以便获得危险数据； 监测驾驶员，以便获得驾驶员意识数据，该驾驶员意识数据包含凝视方向数据； 比较危险数据与驾驶员意识数据，以便识别未觉察危险；和 向驾驶员提供关于未觉察危险的报警。
17.权利要求16的方法，其中该凝视方向数据包含在预定时间周期中的凝视踪迹， 该凝视踪迹在该预定时间周期期间注视该被觉察危险。
18.权利要求16的方法，其中该凝视方向数据包含注视数据， 该方法包含比较该危险位置数据与注视数据，以识别未被觉察危险。
全文摘要
使驾驶员与环境感测结合的车辆安全性系统。一种用于辅助车辆安全操作的设备，包含检测车辆环境内的危险的环境传感器系统、提供驾驶员意识数据(诸如凝视踪迹)的驾驶员监视器、以及注意力评估模块，通过比较危险数据与凝视踪迹，识别被驾驶员充分地或不充分地感觉的危险。关于未被觉察危险的报警信号能够被提供。
文档编号G08G1/16GK102712317SQ201180005970
公开日2012年10月3日 申请日期2011年1月14日 优先权日2010年1月14日
发明者M·E·桑普尔斯, M·R·詹姆斯, S·F·卡利克 申请人:丰田自动车工程及制造北美公司