从自主模式转换到手动模式之前对车辆操作员意识的验证的制作方法

本公开总体上涉及用于操作车辆的系统，并且更具体地涉及在执行将车辆控制从自主模式切换到手动模式之前执行验证操作员已经比主要时间更近期地注视每个主要目标的系统。

附图说明

现在将参考附图通过示例的方式描述本发明，其中：

图1是根据一个实施例的用于操作车辆的系统的图；

图2是根据一个实施例的图1的系统遇到的场景；以及

图3是根据一个实施例的操作图1的系统的方法。

具体实施方式

现在将详细参考实施例，其示例在附图中示出。在以下详细描述中，阐述了许多具体细节以便于提供对各种描述的实施例的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种描述的实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络以免不必要地模糊实施例的方面。

“一个或多个”包括由一个元素执行功能、由多于一个元素执行功能(例如，以分布式方式)、由一个元素执行若干功能、由若干元素执行若干功能或者上面的任何组合。

还应该理解的是，尽管在某些实例中，本文所使用的术语第一、第二等用于描述各种元素，但是这些元素不应受这些术语的限制。这些术语仅用于将元素彼此区分。例如，在不脱离各种描述的实施例的范围的情况下，第一触点可以被称为第二触点，并且类似地，第二触点可以被称为第一触点。第一触点和第二触点两者都是触点，但是它们不是相同的触点。

对本文各种描述的实施例的描述中所使用的术语仅用于描述实施例，而不旨在是限制性的。如在对各种描述的实施例的描述和所附权利要求书中所使用的，除非上下文另有明确指示，否则单数形式的“一(a)”、“一个(an)”和“该(the)”旨在也包括复数形式。还应该理解的是，如本文所使用的术语“和/或”指代并包含相关联的所列项目中的一个或多个项目的所有可能的组合。还应该理解的是，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”指定存在所陈述的特征、整体、步骤、操作、元素和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元素、组件和/或其组。

如本文所使用的，术语“如果”取决于上下文可选地被解释为表示“当……时”或“在……时”或“响应于确定……”或“响应于检测到……”。类似地，短语“如果确定了……”或“如果[陈述的条件或事件]被检测到”取决于上下文可选地被解释为表示“在确定……时”或“响应于确定……”或“在检测到[陈述的条件或事件]时”或“响应于检测到[陈述的条件或事件]”。

图1示出了用于操作车辆(例如，主车辆12)的系统10的非限制性示例。主车辆12可以被表征为自动车辆。如本文所使用的，术语自动车辆用于表征可以在自主模式14(即，全自动模式)下操作的车辆，其中主车辆12的人类操作员(下文称为操作员18)可以仅仅指定目的地以操作主车辆12。然而，完全的自动化不是全部时间的要求。例如，自主模式14可以包括当仅主车辆12的速度控制是自动化的但是转向是由操作员18控制时的情况。如下面将更详细解释的，当主车辆12从自主模式14转换到手动模式16时，发现本文所描述的系统10的独特优点中的一些，其中自动化的程度或水平可以仅仅是向通常控制主车辆12的转向、加速器和制动器的人类操作员提供听觉或视觉警告。

系统10包括物体检测器20，该物体检测器20可以包含或包括相机、雷达、激光雷达、超声换能器或其任何组合中的一个或多个实例。物体检测器20的一个功能是物体检测器20用于检测靠近主车辆12(例如，在100米内)的一个或多个目标22(例如，其他车辆、行人、交通信号)。用于处理来自形成物体检测器20的设备的信息以检测目标22的方法和算法对于自动车辆领域技术人员是公知的。虽然形成物体检测器20的各种设备被示出为主车辆12的一部分(例如，安装在主车辆12上)，但是这不是要求。应该设想到的是，诸如安装在杆或交通信号上的交通观察相机之类的车外设备可以向主车辆12提供信息或图像。如先前所提到的，主车辆12可以在自主模式和手动模式下操作。

系统10包括操作员监视器24，该操作员监视器24用于检测主车辆12的操作员18的注视方向26，以及其他可能的用途和功能。操作员监视器24可以由红外(ir)和/或可见光内部相机、雷达和/或超声换能器中的一个或多个实例组成或形成。如本文所使用的，注视方向26被表征为操作员18正在看向的主车辆12的内部或外部的地方。例如，向前看向在主车辆12前面的另一车辆，看向主车辆12的后视镜或侧视镜以观察在主车辆12后面或旁边的另一车辆，或者进行必要的头部或眼部移动以检查在主车辆12的旁边且部分在主车辆12后面的所谓的盲点。用于处理来自形成操作员监视器24的设备的信息以检测朝向主车辆12的内部或外部的某物的注视方向26的方法和算法对于驾驶员监视领域技术人员是公知的。

系统10包括控制器电路30，该控制器电路30经由第一输入端36与物体检测器20通信、经由第二输入端38与操作员监视器24通信并且与车辆控制28通信，该车辆控制28允许对主车辆12的转向、制动器和加速器(但不限于此)进行自动操作和手动操作。如本领域技术人员将认识到的，通信可以是经由电线、光纤的或者是无线通信。如应对本领域技术人员来说显而易见的，控制器电路30(下文有时称为控制器30)可以包括处理器32的一个或多个实例，例如，微处理器或其他控制电路(例如，包括用于处理数据的专用集成电路(asic)的模拟和/或数字控制电路)的一个或多个实例。尽管本文所描述的系统10通常关于具有控制器30的单个实例来描述，但是应该认识到的是，控制器30的功能可以在控制器的若干实例之间共享或分布，控制器的每个实例被配置用于某些特定任务。此后，对于被配置用于某物的控制器30的任何参考也被解释为暗示处理器32也可以被配置用于相同的事物。还应该认识到的是，在控制器30的任一实例中可以存在处理器的多个实例。控制器30可以包括存储器34(即，非暂时性计算机可读存储介质)，该存储器34包括非易失性存储器，例如，用于存储一个或多个例程、阈值和捕获的数据的电可擦除可编程只读存储器(eeprom)。存储器34可以是处理器32的一部分，或者是控制器30的一部分，或者与控制器30分开(例如，存储在云中的远程存储器)。如本文所描述的，一个或多个例程可以由控制器30或处理器32执行，以执行用于基于由控制器30接收的信号来确定目标22的各种实例的相对位置以及操作员18的注视方向26的步骤。

图2示出了主车辆12可能遇到的场景38的非限制性示例。当诸如主车辆12之类的自动车辆正在自主模式14下操作时，在主车辆12的操作应该从自主模式14转换到手动模式的情况下已经观察到该情况。这种情况的示例包括但不限于：形成物体检测器20的设备中的一个或多个的故障或损坏，或者在主车辆12的可用的行驶路径与数字地图中所指示的道路的配置不对应的情况下接近建筑区域或事故现场。当系统10检测到推荐从自主模式14到手动模式16的转换(下文有时称为切换40(图1))的情况时，本文所描述的系统10验证操作员18在完成切换40之前意识到目标22的存在。如本文所使用的，切换40被表征为由系统10发起，并且不应与操作员18进行的接管控制(其中操作员18发起从自主模式14到手动模式16的转换)混淆。

为此，控制器30被配置为确定由物体检测器20检测到的每个目标22的分类42。分类42的选项包括但不限于主要目标44和忽略目标46。通过示例而非限制的方式，被分类为主要目标44的目标22的实例可以是交通信号48(图2)、停止标志(未示出)或者行人50，或者在主车辆12的行驶路径54上移动的或者朝向或穿过主车辆12的行驶路径54移动的和/或在主车辆12七十五米(75m)以内的另一车辆52。即，目标22的被分配主要目标44的分类42的实例是目标22的这些实例：系统10(即，控制器30或处理器32)已经认为其是在完成从自主模式14到手动模式16的切换40之前操作员18应该意识到的(即，看到的)某物。

相比之下，目标22的被分配忽略目标46的分类42的实例是目标22的这些实例：系统10(即，控制器30或处理器32)已经认为其是在完成从自主模式14到手动模式16的切换40之前操作员18不需要看到的某物。通过示例而非限制的方式，目标22的被分类为忽略目标46的实例可以是在与主车辆12相反的方向上行驶并且已经在主车辆12后面或已经经过主车辆12的对向车辆56，或者在主车辆12的行驶路径之外的静止物体(例如，在路肩上的垃圾容器58)。目标22中的哪个应该被分类为忽略目标46的一种可能的一般定义是目标22的不移动的且不在主车辆的行驶路径或道路中的那些实例。

当主车辆12正在自主模式14下操作时，可以持续地或周期性地完成对目标22的每个实例的跟踪并确定目标22的每个实例的分类42。当系统10确定推荐将主车辆的操作从自主模式切换40到手动模式时，系统10(即，控制器30或处理器32)被配置为执行这样的验证60：操作员18已经比主要时间62(例如，三秒(3s))更近期地注视目标22的已经被分配主要目标44的分类42的每个实例。即，验证60是检查操作员18的注视方向26已经指向主要目标中的每一个，以及检查自从注视主目标中的每一个以来的时间64小于主要时间62。响应于验证60的这样的肯定结果：已经比主要时间62更近期地看向或注视主要目标中的每一个，控制器30执行切换40。

可以预期的是，将存在验证60具有否定结果时的实例，即，操作员18未在比主要时间62更长的时间内看向主要目标中的一个或多个。图2示出了当前在操作员18所谓的盲点中的比主车辆12行驶得更快的通行车辆66。该通行车辆66比主车辆12行驶得更快和/或该通行车辆66近期已经加速到比主车辆12更快的速度可以作为通行车辆66旨在改变车道进入主车辆12的行驶路径54的指示。即使通行车辆66以与主车辆12相同的速度行驶，操作员18也需要在采取对主车辆12进行手动控制之前意识到通行车辆66的存在以避免主车辆12朝向通行车辆66突然变道。因此，控制器30可以被配置为将通行车辆分类为主要目标44，因此通行车辆66的存在很可能是在完成切换40之前操作员18应该意识到的某物。然而，在该非限制性示例中，操作员18未在比主要时间62更长的时间内显示出朝向通行车辆66的注视方向26。

响应于这种预期，系统10可以包括操作员18可感知的警报设备68，该警报设备68经由输出端70与控制器电路30通信。警报设备68可以包含或包括但不限于仪表盘上的可重新配置的显示器或平视显示器、输出诸如“执行视觉扫描”之类的语音通知的扬声器、位于吸引操作员18的注意的位置的灯的布置或其任何组合。警报设备被配置为可以由控制器30操作以向操作员18指示需要由操作员18看到的例如朝向主要目标44的实例的方向。由警报设备68传达给操作员18的信息可以包括但不限于到目标的具体方向和距离、仅方向、360度的部分中的哪个部分，例如，位于未比主要时间更近期地被注视的一个或多个主要目标处的象限(例如，左前方、右后方等)。

应该设想到的是，可能存在目标22的相比主要目标不那么重要但是比忽略目标更重要的实例。例如，图2示出了以与主车辆12本质上相同的速度行驶的跟随车辆72。虽然操作员18不应该忽略跟随车辆72，但是操作员18可能不需要像注视目标的在主车辆12前方或紧邻主车辆12的实例一样频繁地注视跟随车辆。因此，分类42可以包括次要目标74。通过进一步的示例性区分的方式，主要目标44的实例可以是靠近主车辆12移动的另一车辆或者在主车辆12的行驶路径54中的或者朝向主车辆12的行驶路径54移动的行人50，并且次要目标74的实例可以是没有靠近主车辆移动(即，以相同的速度和方向移动，或者远离主车辆12移动)的另一车辆。由于次要目标74可能不需要像主目标44的实例一样经常地被查看或注视，所以验证60可以包括或被配置为验证操作员18已经比次要时间76(例如，5秒)更近期地注视次要目标的每个实例，其中次要时间76比主要时间62更长。

应该设想到的是，对目标22的一些实例的分类42可能需要比从物体检测器20可以获得的信息更多的信息，和/或可能被阻挡或以其他方式被妨碍的从物体检测器20到某个物体的视线。因此，系统10可以包括数字地图78，该数字地图78指示主要目标44和/或靠近主车辆12的次要目标74的实例的位置。通过示例而非限制的方式，数字地图78中描绘的目标22的实例可以包括交通信号48或停止标志(未示出)，和/或限定诸如悬崖之类的不可驶入区域的边界。

当难以确定操作员18的注视方向26(因为例如操作员戴着墨镜)，和/或存在主目标44的彼此太靠近以至于难以区分查看主目标的每个实例必需的注视方向26的改变的实例时，可能出现状况。因此，作为对监视注视方向26的附加或替代，验证60可以包括操作员18已经比扫描时间82更近期地执行围绕主车辆12的视觉扫描80。如果不能检测或区分注视方向26，则可以跟踪操作员18的头部的移动以确定操作员18已经执行了视觉扫描80。对完成视觉扫描80的要求可以包括看向后视镜和侧视镜，对主车辆前方区域的一般扫描，以及用于指示已经检查盲点的足够的头部移动。

图3示出了用于操作车辆(例如，主车辆12)的方法100的非限制性示例。

步骤105(在自主模式下操作主车辆)可以包括操作员18仅指定或输入目的地，并且控制器30通过操作车辆控制28来控制主车辆12以在自主模式14下将主车辆12“驾驶”到目的地。主车辆12还可以在手动模式16下操作，其中操作员18手动控制车辆控制28的转向、制动器和加速器中的一个或多个。如将在以下描述中变得显而易见的，方法100的一个方面是在完成从自主模式14到手动模式16的转换之前验证操作员18意识到相关物体靠近主车辆12。

步骤110(检测(多个)目标)可以包括利用物体检测器20检测靠近主车辆12的一个或多个目标22。控制器30可以被配置或编程为处理来自物体检测器20的一个或多个信号以检测和/或跟踪一个或多个目标22。

步骤115(访问数字地图)可以包括访问数字地图78，该数字地图78指示主要目标44和/或靠近主车辆12的次要目标74的一个或多个实例。数字地图78可以存储在主车辆12上的存储器34中，或者可以存储在云中并且从主车辆12远程访问。

步骤120(检测(多个)注视方向)可以包括利用操作员监视器24检测主车辆12的操作员18的注视方向26。注视方向26可以由相对于主车辆的纵轴的方位角以及相对于纵轴的仰角或相对于重力的水平来表征。

步骤125(对(多个)目标进行分类)可以包括确定对由物体检测器20检测到的每个目标22的分类42。分类42的值或类型可以包括但不限于主要目标44、次要目标74和忽略目标46。分类42可以基于但不限于目标的相对位置(例如，在主车辆12的前方、旁边或后面，在主车辆的行驶路径54以内、附近或外部)和/或相对移动(例如，朝向或远离主车辆12)。分类42还可以考虑对目标22(例如，交通信号48、行人50、其他车辆52或诸如垃圾容器58之类的静止物体)的识别。

步骤130(推荐切换？)可以包括确定因为例如形成物体检测器20的设备中的一个或多个已经发生故障或已经被损坏而推荐将主车辆12的操作从自主模式14切换40到手动模式16。

步骤135(注视(多个)主要目标<主要时间？)可以包括确定操作员18已经比主要时间62更近期地注视主要目标44中的每个实例。即，自从操作员18看向或注视目标22的被分类为主要目标44的每个实例以来，已经过去了短于主要时间62。

步骤140(注视(多个)次要目标<次要时间？)是可选步骤，该步骤140可以包括确定操作员18已经比次要时间76更近期地注视每个次要目标74，其中次要时间76比主要时间62更长。

步骤145(视觉扫描<扫描时间？)是可选步骤，该步骤145可以包括确定操作员18已经比扫描时间82更近期地执行围绕主车辆12的视觉扫描80。

步骤150(操作员意识验证？)可以包括执行由步骤135、140和145执行的测试已经通过或至少执行了这些步骤的验证60。如果确认了验证60，则方法前进到步骤160以执行切换40。否则，如果步骤135、140和145中的一个或多个未通过，则方法100前进到步骤155以激活警报设备68。除了步骤135、140和145中的一个或多个之外，验证60可以包括确认操作员18已经抓住或触摸控制主车辆的转向的方向盘，并且操作员的脚被合适地放置以操作主车辆12的制动器和加速器。

步骤155(操作警报设备)可以包括操作警报设备以向操作员18指示：朝向未比主要时间62更近期地被注视的一个或多个主要目标44的方向，和/或朝向未比次要时间76更近期地被注视的一个或多个次要目标74的方向，和/或未比扫描时间82更近期地执行视觉扫描80。

步骤160(执行切换？)可以包括响应于验证，通过使车辆控制28的自动控制停止和/或提供手动模式16被使用的某种指示来执行切换40。该指示可以是从扬声器发出的语音消息(例如，“使用手动驾驶”或“终止自动驾驶”)和/或照亮主车辆12的仪表盘上的指示器。

步骤165(安全停止主车辆)可以包括维持在自主模式14下的操作，直到控制器30可以将主车辆12转向到路肩并停止，或者走出口匝道并找到合适的停车位置。如果操作员18由于某种原因不能满意地在视觉上扫描主车辆12周围的区域以准备采取对主车辆12的手动控制，则可以采取该步骤。

步骤170(在手动模式下操作主车辆)可以包括操作员18继续操作车辆控制28，直到可以恢复在自主模式14下操作主车辆的情况为止。

本文所描述的是第一设备30，该第一设备30包括一个或多个处理器32；存储器34；和存储在存储器34中的一个或多个程序105-170。一个或多个程序105-170包括用于执行方法100的全部或部分的指令。另外，本文所描述的是非暂时性计算机可读存储介质34，该非暂时性计算机可读存储介质34包括用于由第一设备30的一个或多个处理器32执行的一个或多个程序105-170，该一个或多个程序105-170包括指令，该指令当由一个或多个处理器32执行时，使得第一设备30执行方法100的全部或部分。

因此，提供了系统10、用于系统10的控制器30以及操作系统10的方法100。系统10和方法100用于确定当出于各种原因建议将操作从自主模式14转换到手动模式16时，操作员准备好采取对主车辆12的手动控制。

虽然已经关于本发明的优选实施例描述了本发明，但是不旨在将本发明限制于此，而是仅以在所附权利要求书中阐述的程度限制本发明。