确定认知数据的方法和系统与流程

[0001]
本公开涉及确定认知数据(awareness data)的方法。认知数据表示车辆乘员对车辆的周围环境的认知，例如，对周围环境中的交通状况的认知，包括对周围环境中的对象的认知。


背景技术：

[0002]
交通状况可能是复杂的。尽管自主驾驶车辆可以确定来自传感器的各种信息以判断当前交通状况，但是对于自主驾驶车辆而言，获得关于乘员(例如，驾驶员)是否认知到车辆的周围环境(包括车辆的周围环境中的交通状况)的信息可以是有帮助的。
[0003]
因此，需要可靠地确定车辆的乘员是否认知到车辆的周围环境(或认知到何种程度)。


技术实现要素：

[0004]
本公开提供了计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
[0005]
在一个方面中，本公开涉及一种确定认知数据的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：确定与车辆的周围环境有关的遮挡信息(例如，使用感知系统，该感知系统能够将环境的一些组成部分(例如，网格中的对象或单元)分类成乘员(例如，驾驶员)无法在视觉上观察到的)；确定车辆的乘员的观看方向；以及基于遮挡信息和观看方向，确定表示乘员对周围环境的认知的认知数据。
[0006]
换句话说，可以确定乘员(例如，车辆的驾驶员)是否认知到车辆的周围环境(或认知到何种程度)，例如，是否认知到周围环境中的对象(例如，汽车、卡车、自行车、行人、交通灯、人行横道、墙壁、树木、建筑物和/或道路)或是否认知到周围环境中的交通状况。该确定可以基于乘员的观看方向来进行。例如，由于视线内存在不透明对象，所以还可以基于指示周围环境的哪些部分被遮挡(换句话说，被阻挡或隐藏)的信息来进行确定。
[0007]
将理解，如果周围环境的部分被对象挡住，则该部分被遮挡。例如，如果不透明对象位于乘员与另一对象之间，则由于从乘员到该另一对象的视线被不透明对象挡住，所以不能看见该另一对象。
[0008]
根据另一方面，乘员的认知由认知概率表示。认知概率可以指示乘员认知到当前状况或认知到周围环境中的对象的概率。将理解，概率可以表示成介于0至1之间(或介于0％至100％之间)的实数，但是任何其它表示都是可能的，例如，模糊表示，例如，概率等级为“很可能不是”、“可能不是”、“可能是”、“很可能是”或适合指示概率的任何其它表示。
[0009]
可以确定概率值，以使得在多个乘员间，与认知概率相对应的一比率的乘员将认知到周围环境。例如，认知概率为30％可能意味着，在给定确定的遮挡信息和确定的观看方向的情况下，十分之三的乘员(即，潜在乘员的30％)将认知到周围环境。也可以针对特定乘员定制概率值；例如，如果在确定了一个高认知概率值之后重复，后来发现乘员实际上并未
认知到周围环境，则与其它乘员相比，指派给该特定乘员(或驾驶员)的认知概率值通常会减小。为此目的，存储在车辆中的驾驶员简档可以用于存储针对认知概率估计的设置。
[0010]
此外，已经发现，乘员不仅可以处于认知到周围环境或未认知到周围环境的状态，而且存在介于认知到与未认知到之间的状态。认知概率还可以用于表示这种半认知中间状态，并且认知概率可以指示认知水平。
[0011]
然而，将理解，在另一示例中，乘员的认知可以是二元的(例如，“认知到”或“未认知到”)。
[0012]
根据另一方面，针对车辆的周围环境中的对象的列表中的各个对象，认知数据可以包括乘员对对象的认知的相应水平。
[0013]
可以跟踪对象列表中的对象，以使得即使在对象处于乘员视线之外(但之前曾处于视线之内)时，与周围环境有关的认知数据(换句话说：表示乘员对周围环境的认知的数据，例如，对周围环境中的对象的位置、速度、方向、分类(例如，车辆、自行车、行人)的认知)也可以是可用的。
[0014]
根据另一方面，认知数据包括地图，该地图包括多个网格单元，各个网格单元指示乘员对单元中的交通状况的认知的水平。单元中的交通状况可以包括与单元中的对象有关的信息。
[0015]
该地图可以是占用地图(指示车辆的周围环境中的静态对象和/或移动对象)和指示针对各个单元而言驾驶员是否认知到该单元中的交通状况(或者驾驶员对该单元中的交通状况的认知的水平或概率)的信息的组合。
[0016]
根据另一方面，当前时间的认知数据是基于以下项中的一项或更多项确定的：当前时间的遮挡信息、过去时间的遮挡信息、当前时间的观看方向以及过去时间的观看方向。这可以允许考虑(自动的)对象检测的历史和/或(人类)对象观看的历史。
[0017]
根据另一方面，当前时间的认知数据是基于将滤波器应用于以下项中的一项或更多项确定的：当前时间的遮挡信息、过去时间的遮挡信息、当前时间的观看方向以及过去时间的观看方向。根据另一方面，滤波器包括低通滤波器或卡尔曼滤波器中的至少一者。
[0018]
根据另一方面，所述计算机实现的方法还包括由计算机硬件组件执行的以下步骤：在车辆至少部分地自主驾驶的状态下，基于认知数据，确定是否将车辆的全部控制切换给乘员。
[0019]
已经发现，如果在确定将车辆从至少部分自主驾驶切换至人类驾驶是否安全时，不仅仅考虑由车辆的传感器获取的与车辆的周围环境有关的信息，而且还考虑与人类是否认知到车辆的周围环境中的状况有关的信息，则切换的安全性大大提高。例如，如果确定乘员(或驾驶员)很好地认知到车辆周围的(交通)状况，则将车辆切换给驾驶员可能是安全的。如果确定乘员没有认知到至少一个潜在的关键交通状况，则将车辆切换给驾驶员可能是不安全的，并且例如，可能会发起靠边停车(pullover)，以使得车辆在道路一侧停下来。
[0020]
根据另一方面，所述计算机实现的方法还包括由计算机硬件组件执行的以下步骤：基于认知数据，确定当前交通状况的风险等级。
[0021]
风险等级可以由二元值(例如“有风险”或“无风险”)、模糊值(例如“有风险”、“很可能有风险”、“可能有风险”、“很可能无风险”或“无风险”)或者概率(例如，介于0至1之间或介于0％至100％之间的实数)来提供。
[0022]
已经发现，风险等级不仅可以取决于交通状况本身，而且在很大程度上取决于驾驶员是否认知到交通状况(或者驾驶员认知到交通状况的程度或水平)。因此，根据该方面，基于认知数据，确定风险等级。
[0023]
根据另一方面，遮挡信息是基于以下信息中的至少一者确定的：由接近传感器(例如，激光传感器、激光雷达传感器、雷达传感器、超声传感器、红外传感器)获取的接近传感器数据、指示车辆的周围环境中的对象的地图信息或者从外部源发送的(例如，(例如使用v2x(车辆到一切通信)从车辆的周围环境中的其它车辆发送的)信息。例如，接近传感器可以包括或者可以是激光传感器、激光雷达传感器、雷达传感器、红外传感器或摄像头中的至少一者。
[0024]
根据另一方面，遮挡信息包括指示检测到的对象后面的空间被遮挡的信息。如果位于乘员的观看方向上的对象被另一对象遮挡，则基于遮挡信息，可以确定该乘员可能未认知到该对象。
[0025]
将理解，遮挡信息不必是二元的。例如，可能存在未完全挡住视线的对象，或者可能存在仅部分地遮住后面的对象的对象。在这些情况下，遮挡信息可以由遮挡概率或遮挡程度(例如，介于0(或0％)至1(或100％)之间的值)来表示。在另一示例中，遮挡信息可以对遮挡的类型进行分类(例如，完全不透明对象的完全遮挡，或者例如底部遮挡(遮挡其它对象底部但不遮挡其它对象的较高部分的低对象)或顶部遮挡(例如，遮挡其它对象的顶部但不遮挡其它对象的较低部分的高对象)或部分不透明遮挡)。此外，遮挡等级可以由遮挡的模糊等级来表示(例如，“完全遮挡”、“部分遮挡”、“未遮挡”)。
[0026]
根据另一方面，观看方向是基于乘员的头部的姿势或乘员的眼睛中的至少一个眼睛的姿势中的至少一者确定的。
[0027]
乘员的头部的姿势或乘员的眼睛中的至少一个眼睛的姿势可以由安装在车辆中的传感器或安装在乘员的头部上的传感器确定。传感器可以是光学传感器(例如，摄像头、立体摄像头)或tof(飞行时间)系统。
[0028]
根据另一方面，观看方向包括绕观看轴线的圆锥体。已经发现，实际人类视觉在绕(中央)观看轴线(换句话说，注视方向)的圆锥体(例如8度圆锥体)上最有效。
[0029]
根据另一方面，可以(例如使用对象表示或乘员网格表示)估计车辆的周围环境的当前状态。
[0030]
在另一方面中，本公开涉及计算机系统，所述计算机系统包括多个计算机硬件组件，多个计算机硬件组件被配置成执行本文所描述的计算机实现的方法的一些或全部步骤。计算机系统可以设置在车辆中。车辆可以包括用于确定乘员观看方向的传感器。
[0031]
计算机系统可以包括多个计算机硬件组件(例如，处理单元、至少一个存储器单元和至少一个非易失性数据存储部)。将理解，可以提供另外的计算机硬件组件并将其用于在计算机系统中执行计算机实现的方法的步骤。非暂时性数据存储部和/或存储器单元可以包括计算机程序，计算机程序用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文所描述的计算机实现的方法的一些或全部步骤或方面。
[0032]
在另一方面中，本公开涉及一种非暂时性计算机可读介质，非暂时性计算机可读介质包括指令，指令用于执行本文所描述的计算机实现的方法的一些或全部步骤或方面。计算机可读介质可以被配置成：诸如光盘(cd)或数字通用盘(dvd)的光学介质；诸如硬盘驱
动器(hdd)的磁性介质；固态驱动器(ssd)；诸如闪速存储器的只读存储器(rom)等。此外，计算机可读介质可以被配置成经由诸如互联网连接的数据连接能访问的数据存储部。计算机可读介质可以例如是在线数据存储库或云存储部。
[0033]
本公开还涉及一种计算机程序，计算机程序用于指示计算机执行本文所描述的计算机实现的方法的一些或全部步骤或方面。
附图说明
[0034]
本文结合示意性示出的以下附图描述本公开的示例性实施方式和功能：
[0035]
图1是人类视觉感知的特性的示图；
[0036]
图2是估计的注视方向的示图；
[0037]
图3是根据各种实施方式的瞬时认知估计的结果的示图；
[0038]
图4是根据各种实施方式的时间滤波后的(time-filtered)认知估计的结果的示图；
[0039]
图5是根据各种实施方式的瞬时注视网格和累积注视网格的示图；
[0040]
图6是根据各种实施方式的将瞬时注视网格与占用网格集成的示图；
[0041]
图7是例示了根据各种实施方式的用于切换的方法的流程图；以及
[0042]
图8是例示了根据各种实施方式的用于确定认知数据的方法的流程图。
具体实施方式
[0043]
图1示出了人类视觉感知的特性的示图100，该示图基于人类眼睛的中央凹(fovea)104和副中央凹(parafovea)106的特性，其中，场景解释是最有效的。副中央凹106中的信息可能影响场景的处理。在自然场景的分类任务中，尽管与中央凹视觉相比具有降低的敏感性和速度，但来自副中央凹106的信息仍可以用于足够好地确定场景的要点(gist)，以进行分类和/或判断。中央凹104和副中央凹106可以形成临床黄斑。在临床黄斑之外，可以提供近中央凹(perifovea)108和黄斑，但是近中央凹108和黄斑可能不会显著促进人类视觉感知。中央凹104覆盖绕中心注视轴线约5
°
并从注视原点102开始的区域；副中央凹覆盖约8
°
20'的区域，并且近中央凹覆盖约18
°
20'的区域。
[0044]
根据各种实施方式，可以借助于原点和方向来执行注视估计(例如，对人(例如，车辆乘员)的注视方向(换句话说，观看方向)的估计)。另选地，可以通过以下方式来处理注视焦点的表示：将注视焦点的线与驾驶员头部中心连接并将所得到的线视为注视方向，和/或使用注视焦点并将驾驶员认知建模成二维分布，从而修改对象与注视焦点之间的关联准则或修改用于网格建立的逆传感器模型，下面将对此进行更详细的描述。
[0045]
图2示出了估计的注视方向的示图200。注视的原点202可以被认为是主注视方向204的起点。例示了区域(例如，与副中央凹感知的角范围相对应的8度的圆锥体206)。如进一步例示的，在大于预定距离的距离处，不是完整的8度圆锥体206，而是有限区域208被视为由注视包围的区域。将理解，注视方向可能受到车辆反射镜的影响。
[0046]
例如，可以使用驾驶员监测摄像头或头戴式注视跟踪器来确定注视方向，驾驶员监测摄像头或头戴式注视跟踪器也可以监测驾驶员状态(例如，睁眼或眨眼速率)和用户体验(ux，例如对信息娱乐的控制)。驾驶员监测摄像头可以估计驾驶员头部角度和注视方向。
[0047]
根据各种实施方式，可以确定注视原点的估计、注视方向的估计和/或注视焦点的估计。可以在2d平面(xy)坐标系或3d(xyz)坐标系中提供原点(换句话说：估计的注视原点)、方向(换句话说：估计的注视方向)以及焦点(换句话说：估计的注视焦点)。可以提供注视估计(注视估计可以包括注视原点的估计、注视方向的估计和/或注视焦点的估计)的不准确度。
[0048]
根据各种实施方式，注视方向估计可以与对象跟踪集成。这可以允许跟踪乘员的与由车辆的感知系统感知到的对象有关的认知(例如，驾驶员的认知)。例如，除了来自用于对象跟踪的传感器(例如，接近传感器(例如，激光传感器、激光雷达传感器、雷达传感器、超声传感器、红外传感器)或者v2x(车辆到一切通信，即，在车辆中从外部源(例如，从另一车辆或从外部传感器)接收到的信息))的输入之外，对象跟踪器还可以处理注视信息(该注视信息例如可以包括注视原点、注视方向、注视焦点、反射镜位置和/或反射镜角度)。针对各个跟踪对象，认知概率可以被确定成例如从对象到注视方向和/或注视焦点的线的角距离与视线(换句话说：从乘员位置到另一对象的线)中的另一对象的遮挡水平的函数。
[0049]
图3示出了根据各种实施方式的瞬时认知估计(换句话说：仅在当前时间实例时的认知信息，而不考虑认知信息历史并且不考虑注视估计历史)的结果的示图300。如图2所示，出于例示性的目的，注视估计可以提供注视原点202和注视方向204。第一对象302(其可以称为对象a)可以靠近注视方向202和远注视区域208，因此例如基于对注视方向202与第一对象302相对于注视方向202的最近点之间的角距离的评估，乘员对第一对象302的认知可以用中等认知水平(例如60％的认知水平)来指示。第二对象304(其可以称为对象b)可以被完全遮挡(例如，被第四对象308完全遮挡)，因此，乘员对第二对象304的认知可以用0％的认知水平来指示。第三对象306(其可以称为对象c)可以是不关联的(换句话说：可以在注视之外，例如，在注视区域206、208之外，例如，距离注视方向204大于预定阈值(例如8度))，因此，乘员对第三对象306的认知可以用0％的认知水平来指示。第四对象308(其可以称为对象d)可以位于注视线上(例如，可以位于通过注视原点202并且具有注视方向204的方向的线上，或者可以靠近该线)并且可能未被遮挡，因此，乘员对第四对象308的认知可以用高认知水平(例如，90％的认知水平)来指示。第五对象310(其可以称为对象e)可以是不关联的(换句话说：可以在注视之外，例如，在注视区域206、208之外，例如，距离注视方向204大于预定阈值(例如8度))，因此，乘员对第五对象310的认知可以用0％的认知水平来指示。
[0050]
根据各种实施方式，针对各个对象，可以随时间推移累积认知水平(换句话说：认知概率)。每当对象不与注视方向线相关联时，和/或每当车辆感知到对象相对于主车辆(例如，相对于车辆或相对于车辆乘员)显著移动和/或对象已被遮挡(换句话说：被阻挡)时，累积的认知概率可能降低(换句话说：衰减)。
[0051]
图4示出了根据各种实施方式的时间滤波后的认知估计的结果的示图400(换句话说：在当前时间实例时的认知信息，其中，已经考虑了认知信息历史和/或注视估计历史)。第一对象302在过去可见并且现在可见，但是与注视方向204相距一定距离，因此可以被指派中等认知水平(例如，65％的认知水平)。第二对象304当前被遮挡但是在过去可见，因此可以被指派低认知水平，但是认知水平大于0(例如，33％的认知水平)。第三对象306在过去可见，并且当前未被观察到，但是现在远离注视方向，因此可以被指派中等认知水平(例如，56％的认知水平)。第四对象308当前可见并且在过去可见，因此可以被指派高认知水平(例
如，97％的认知水平)。第五对象310从未可见(并且现在不可见)，因此可以被指派0的认知水平。
[0052]
根据各种实施方式，注视方向可以是对象跟踪器的输入。与对象列表的后处理(其中，首先跟踪对象，然后为各个对象指派认知水平)相比，在注视方向是对象跟踪器的输入的情况下，即使当对象从输出接口消失时(换句话说：即使没有针对通信通过跟踪算法对对象进行优先级排序/向下选择(由于有限的输出接口带宽或按照多假设跟踪方法，通常需要这种优先级排序/向下选择)时)，也可以随时间推移跟踪驾驶员对对象的认知。由于根据各种实施方式的对象检测连续地提供驾驶员认知，所以驾驶员认知信息可以在任何时间(例如，在切换触发(handover trigger)之后)可用，这可以允许热启动(hot-start)到驾驶员的信息传递。
[0053]
根据各种实施方式，注视方向估计可以与占用网格集成。这可以允许跟踪乘员的(例如，驾驶员的)对包括不能在视觉上探索的(被遮挡的)区域的车辆周围环境的认知。注视估计器的瞬时结果可以被解释成占用网格框架中前向传感器模型的一种版本，以建立并跟踪被认为由驾驶员在视觉上探索的区域的网格。可以利用bresenham的直线算法的改编来确定位于注视的圆锥体(cone of gaze)下的单元(cell)的索引。取决于将认知概率确切表达为注视方向(参见图2)，可以将认知概率的值指派给由显著认知概率覆盖的各个单元。
[0054]
针对网格的各个单元(与车辆的周围环境中的一区域相对应)，占用网格可以例如基于汽车感知传感器(例如，雷达、激光雷达、视觉、v2x(车辆到一切通信，即，在车辆中从外部源(例如，从另一车辆或从外部传感器)接收到的信息))，提供与该区域是被占用、空闲还是被遮挡有关的估计，并且还可以指示未探索的区域(换句话说：尚未获取信息并且因此无法分类成占用、空闲或被遮挡的区域或单元)。占用网格可以用于估计驾驶员无法探索(例如，被例如其它车辆的移动对象或例如墙壁的静态对象遮挡)的区域。如果占用网格将单元分类成驾驶员可探索(换句话说：未被遮挡)并且已被驾驶员注视扫过，则该单元可以被估计成在视觉上探索到，其中，驾驶员注视可以适应到从网格(例如dempster-shafer理论(dst)网格或占用网格)提取的视觉阻碍物上。表述“驾驶员注视适应到视觉阻碍物上”是指条件概率：单元的认知概率根据占用网格的单元是否已被分类成视觉上可探索到而不同，以使得可以确定在单元是视觉上可探索到的假设下或在单元是视觉上不可探索到的假设下的条件概率(根据该单元是否是视觉上可探索到的；换句话说：根据该单元是否被遮挡)。
[0055]
根据各种实施方式，可以随时间推移累积认知概率(换句话说：认知水平)。在一些示例中，静止对象所占用的单元可能不会衰减，但是衰减可以应用于可移动对象所占用的单元。
[0056]
图5示出了根据各种实施方式的瞬时注视网格502(其中，例示了车辆504和注视方向506)以及累积注视网格508的示图500，如箭头510所示，可以基于多个时间步长上的多个瞬时注视网格，使用网格累积和衰减来获得累积注视网格508。通过在网格中的相应单元上加阴影来例示认知概率，其中，白色单元指示概率为零，并且较暗的单元例示了较高的概率。可以看出，在瞬时注视网格502中，仅在绕注视方向506的小区域512(例如，与副中央凹相对应)中，认知概率高于零。由于先前记录的瞬时注视网格的累积和衰减，累积注视网格508的单元在单元514中具有非零认知概率，该单元514超出了瞬时注视网格502的单元(特别是超出了当前注视方向506)。
[0057]
图6示出了根据各种实施方式将瞬时注视网格502与例示了对象604的占用网格602(换句话说：dst网格)集成以获得适应到dst网格上的注视网格606的示图600。基于注视方向506，对象604后面的区域608可以被标记成被遮挡或不可见。考虑到对象位置历史、遮挡信息和注视估计，可以对适应到dst网格上的注视网格606进行累积和衰减，因此可以提供适应到dst网格上的累积注视网格610。
[0058]
将理解，注视网格502可以如图5所示累积和衰减，然后可以与占用地图602集成。另选地，注视网格502可以与占用地图602集成，并且该集成地图(换句话说：适应到dst网格上的注视网格610)可以如图6所示累积和衰减。
[0059]
根据各种实施方式，可以提供一种用于在车辆控制切换期间进行信息传递的方法(该方法也可以称为协议)。这可以确保驾驶员在实际发生切换之前就已经认知到交通状况，并确保不遗漏关键信息(该关键信息对于驾驶员接管车辆的控制而言可能是关键的)。
[0060]
感知到的道路状况的状况评估可以用于对需要传送给驾驶员的信息项(例如，盲点中的对象或具有低估计碰撞时间值的对象)进行分类和优先级排序。上述方法可以提供热启动认知估计(例如，估计驾驶员是否已经认知到一些项，例如，是否已经观察到当前处于盲点中的车辆)。作为转换到车辆的手动控制的条件(换句话说：作为切换的条件)，可能要求驾驶员确认各个传送项(例如，建议检查的对象或区域)。驾驶员感测可以用于人体工程学；例如，驾驶员可以通过点头来确认对传送项的认知。
[0061]
图7示出了例示根据各种实施方式的用于切换的方法的流程图700。在步骤702，可以初始化该方法。在步骤704，可以向驾驶员警告切换的发起。在步骤706，可以将车辆的主显示器切换到控制切换模式。在步骤708，可以确定驾驶员状态是否令人满意(例如，可以确定驾驶员是否是清醒的)。如果确定驾驶员状态令人满意，则处理可以在步骤710继续，该步骤710对到驾驶员或乘员的信息的传递进行控制。如果确定驾驶员状态令人不满意，则处理可以在步骤734继续。在步骤710，可以开始针对各个信息项的循环，其中，该循环可以包括设置步骤712、结束条件714以及步骤716、步骤718、步骤720、步骤722、步骤724和步骤726进行的各个关键信息项的传递。在步骤712，状况评估可以用于识别关键信息项并按照从最关键到最不关键的顺序对该关键信息项进行排序。结束条件由714描述，其中，可以检查是否所有关键项都已成功传递到驾驶员并得到确认。在步骤716，可以经由可用的hmi(例如，视觉显示器)传送当前项。在步骤718，可以确定该项是否能够通过视觉观察到。如果确定该项能够通过视觉观察到，则处理可以在步骤722继续。如果确定该项不能通过视觉观察到，则处理可以在步骤720继续。在步骤720，可以等待驾驶员对该特定关键信息项的认知的明确的手动确认。在步骤722，可以应用驾驶员认知估计器，直到获得足够的认知阈值为止。等待时间可以被限制到例如1秒。另选地，例如在检测到驾驶员点头时，可以接受明确的驾驶员确认。在步骤724，可以确定当前关键信息项的传递在足够时间内是否成功。如果确定验证在足够时间内成功，则处理可以在步骤726继续，以完成当前信息项的传递，并继续对所有关键项的循环的下一迭代。如果确定验证在足够时间内未成功，则处理可以在步骤734继续。在步骤726，处理可以结束循环，并且处理可以在步骤728继续。在步骤728，可以确定驾驶员是否操作(换句话说，触摸或控制)车辆控制仪器。如果确定驾驶员操作车辆控制仪器，则处理可以在步骤730继续。如果确定驾驶员未操作车辆控制仪器，则处理可以在步骤734继续。在步骤730，可以将车辆切换给驾驶员。在步骤734，可以发起最小风险操纵。处理可以
在步骤732结束。
[0062]
根据各种实施方式，可以提供驾驶员警觉性估计。可以确保驾驶员处于警戒状态(或确定驾驶员是否处于警戒状态)。状况评估可以用于识别可以分类成中等风险的事件的发生。先前描述的用于感知对象的驾驶员认知估计以及以网格形式的视野探索的方法可以用于通过在视觉上探索与事件相关的区域/对象来检查驾驶员是否对这种事件做出反应。如果驾驶员对这种事件的反应的统计低于可校准阈值，则驾驶员可能被分类成不专心。
[0063]
如上所述，可以提供一种用于将驾驶员注视跟踪与汽车外部环境感知集成的方法。
[0064]
根据各种实施方式，利用注视方向估计来增强感知方法或滤波器的方法可以提供注视跟踪与人工外部环境感知的有效组合。
[0065]
根据各种实施方式，用于跟踪驾驶员对所有感知到的交通对象的视觉观察、用于视觉探索区域的基于网格的表示以及用于将基于网格的表示适应到占用网格上的方法可以评估关于驾驶员对特定驾驶状况的认知的缺乏。
[0066]
根据各种实施方式，需要驾驶员确认的机器-人类通信的优先过程可以确保在验证驾驶员对关键交通状况的认识之前，不将自动车辆交给驾驶员。
[0067]
根据各种实施方式，可以基于驾驶员状态估计(例如，基于驾驶员警觉性估计)来验证车辆的周围环境中的威胁事件的发生是否吸引了驾驶员的注意。
[0068]
图8示出了例示根据各种实施方式的用于确定认知数据的方法的流程图800。在802，可以确定与车辆的周围环境有关的遮挡信息。在804，可以确定车辆的乘员的观看方向。在806，可以基于遮挡信息和观看方向，确定表示乘员对周围环境的认知的认知数据。
[0069]
乘员的认知可以由认知概率表示。
[0070]
针对车辆的周围环境中的对象的列表中的各个对象，认知数据可以包括或者可以是乘员对对象的认知的相应水平(或概率)。
[0071]
认知数据可以包括或者可以是包括多个网格单元的地图，各个网格单元指示乘员对单元中的交通状况的认知的水平。
[0072]
可以基于以下项中的一项或更多项，确定当前时间的认知数据：当前时间的遮挡信息、过去时间的遮挡信息、当前时间的观看方向以及过去时间的观看方向。
[0073]
可以基于将滤波器应用于以下项中的一项或更多项，确定当前时间的认知数据：当前时间的遮挡信息、过去时间的遮挡信息、当前时间的观看方向以及过去时间的观看方向。
[0074]
滤波器可以包括或者可以是低通滤波器或卡尔曼滤波器中的至少一者。
[0075]
该方法还可以包括以下步骤：在车辆至少部分地自主驾驶的状态下，基于认知数据，确定是否将车辆的全部控制切换给乘员。
[0076]
该方法还可以包括以下步骤：基于认知数据，确定当前交通状况的风险等级。
[0077]
可以基于由接近传感器获取的接近传感器数据、指示车辆的周围环境中的对象的地图信息或从车辆的周围环境中的其它车辆发送的信息中的至少一者，确定遮挡信息。
[0078]
遮挡信息可以包括或者可以是指示检测到的对象后面的空间被遮挡的信息。
[0079]
可以基于乘员的头部的姿势或乘员的眼睛中的至少一个眼睛的姿势中的至少一者，确定观看方向。
[0080]
观看方向可以包括或者可以是绕观看轴线的圆锥体。
[0081]
上述步骤802、步骤804、步骤806和另外步骤中的各个步骤都可以由计算机硬件组件执行。
[0082]
附图标记列表
[0083]
100 人类视觉感知的特性的示图
[0084]
102 注视原点
[0085]
104 中央凹
[0086]
106 副中央凹
[0087]
108 近中央凹
[0088]
200 估计的注视方向的示图
[0089]
202 原点
[0090]
204 方向
[0091]
206 圆锥体
[0092]
208 有限区域
[0093]
300 瞬时认知估计的结果的示图
[0094]
302 第一对象
[0095]
304 第二对象
[0096]
306 第三对象
[0097]
308 第四对象
[0098]
310 第五对象
[0099]
400 时间滤波后的认知估计的结果的示图
[0100]
500 瞬时注视网格和累积注视网格的示图
[0101]
502 瞬时注视网格
[0102]
504 车辆
[0103]
506 注视方向
[0104]
508 累积注视网格
[0105]
510 箭头
[0106]
512 瞬时驾驶员认知的单元
[0107]
514 累积驾驶员认知的单元
[0108]
600 将瞬时注视网格与占用网格集成的示图
[0109]
602 占用网格
[0110]
604 对象
[0111]
606 注视网格
[0112]
608 遮挡的单元
[0113]
610 适应到dst网格上的累积注视网格
[0114]
700 流程图
[0115]
702 方法步骤
[0116]
704 方法步骤
[0117]
706 方法步骤
[0118]
708 方法步骤
[0119]
710 方法步骤
[0120]
712 方法步骤
[0121]
714 方法步骤
[0122]
716 方法步骤
[0123]
718 方法步骤
[0124]
720 方法步骤
[0125]
722 方法步骤
[0126]
724 方法步骤
[0127]
726 方法步骤
[0128]
728 方法步骤
[0129]
730 方法步骤
[0130]
732 方法步骤
[0131]
734 方法步骤
[0132]
800 流程图
[0133]
802 方法步骤
[0134]
804 方法步骤
[0135]
806 方法步骤