驾驶员视觉辅助系统和方法与流程

1.本公开总体上涉及交通工具高级驾驶员辅助系统(adas)，并且更具体地涉及驾驶员视觉辅助系统和方法。


背景技术：

2.交通工具的乘员(驾驶员、乘客等)在驾驶时通常难以读取街道标志、交通标志和/或在他们周围的其他特征。驾驶员在试图读取标志、读取地址或标识在他们周围的特征(例如，广告牌、广告、消防栓、人行横道、购物中心、店面、停车场)时，通常会斜靠在他们的座椅中、拉紧脖子、眯起眼睛、反复眨眼、揉他们的眼睛、调整眼具、用手臂或手朝方向打手势、打开额外的照明/远光灯和/或做出其他物理形式的挣扎。这可能导致他们在导航时错过转弯、错过他们正在试图寻找的住宅或企业、或者可能导致事故。常规的高级驾驶员辅助系统(adas)执行通用驾驶员状态监测，并检测特定状况(诸如眩光)，但是这些常规的adas无法为上述问题提供适当的解决方案。因此，相关领域中存在着改善的机会。
3.本文中所提供的背景描述是为了总体呈现本公开的上下文的目的。在此背景技术部分中所描述的范围内，目前指定的发明人的工作以及在提交申请时并不以其它方式指认为现有技术的说明书各方面，既不明确地也不隐含地被承认为相对于本公开的现有技术。


技术实现要素：

4.根据本公开的一个方面，呈现了一种用于交通工具的驾驶员视觉辅助系统。在一个示例性实现中，驾驶员视觉辅助系统包括：驾驶员状态监测系统，驾驶员状态监测系统被配置成用于监测交通工具的驾驶员的状态，该状态至少包括驾驶员的眼睛注视的方向；交通工具感知系统集，该交通工具感知系统集被配置成用于检测交通工具附近的对象；驾驶员接口，驾驶员接口被配置成用于向驾驶员输出视觉、音频和触觉信息中的至少一者；以及控制器，控制器被配置成用于：使用驾驶员状态监测系统，检测驾驶员难以读取交通工具外部的信息的视觉困难场景、基于驾驶员的眼睛注视的方向并使用交通工具感知系统集，检测驾驶员正在瞄准并且难以读取相关信息的最可能的对象、以及使用驾驶员接口，输出视觉、音频和触觉信息中的至少一者，以辅助驾驶员确定信息。
5.在一些实现中，交通工具感知系统集包括交通工具的前置相机，前置相机被配置成用于捕获交通工具前方的图像。在一些实现中，交通工具感知系统集进一步包括全球导航卫星系统(gnss)。在一些实现中，控制器被配置成用于：基于由前置相机捕获的图像和从gnss系统获得的信息，来从交通工具附近的多个对象中确定最可能的对象。在一些实现中，地图信息用于根据该对象确定信息。在一些实现中，交通工具对任何事物(v2x)信息用于根据该对象确定信息。在一些实现中，检测到的视觉困难场景是驾驶员斜靠在他或她的座椅中。在一些实现中，检测到的视觉困难场景是驾驶员拉紧他或她的脖子。在一些实现中，检测到的视觉困难场景是驾驶员眯起他或她的眼睛。在一些实现中，检测到的视觉困难是驾驶员指向对象或要求系统澄清对象和/或与对象相关联的文本是什么。
6.根据本公开的另一方面，呈现了一种用于交通工具的驾驶员视觉辅助方法。在一个示例性实现中，该方法包括：提供驾驶员状态监测系统，驾驶员状态监测系统被配置成用于监测交通工具的驾驶员的状态，该状态至少包括驾驶员的眼睛注视的方向；提供交通工具感知系统集，该交通工具感知系统集被配置成用于检测交通工具附近的对象；提供驾驶员接口，驾驶员接口被配置成用于向驾驶员输出视觉、音频和触觉信息中的至少一者；使用驾驶员状态监测系统，由交通工具的控制器检测驾驶员难以读取交通工具外部的信息的视觉困难场景；基于驾驶员的眼睛注视的方向并使用交通工具感知系统集，由控制器检测驾驶员正在瞄准并且难以读取相关信息的最可能的对象；以及使用驾驶员接口，由控制器输出视觉、音频和触觉信息中的至少一者，以辅助驾驶员确定信息。
7.在一些实现中，交通工具感知系统集包括交通工具的前置相机，前置相机被配置成用于捕获交通工具前方的图像。在一些实现中，交通工具感知系统集进一步包括gnss。在一些实现中，地图信息用于根据该对象确定信息。在一些实现中，v2x信息用于根据该对象确定信息。在一些实现中，检测到的视觉困难场景是驾驶员斜靠在他或她的座椅中。在一些实现中，控制器被配置成用于：基于由前置相机捕获的图像和从gnss系统获得的信息，来从交通工具附近的多个对象中确定最可能的对象。在一些实现中，检测到的视觉困难场景是驾驶员斜靠在他或她的座椅中。在一些实现中，检测到的视觉困难场景是驾驶员拉紧他或她的脖子。在一些实现中，检测到的视觉困难场景是驾驶员眯起他或她的眼睛。在一些实现中，检测到的视觉困难是驾驶员指向对象或要求系统澄清对象和/或与对象相关联的文本是什么。
8.根据本公开的又另一实现，呈现了一种用于交通工具的驾驶员视觉辅助系统。在一个示例性实现中，驾驶员视觉辅助系统包括：驾驶员状态监测装置，驾驶员状态监测装置用于监测交通工具的驾驶员的状态，该状态至少包括驾驶员的眼睛注视的方向；交通工具感知系统装置集，交通工具感知系统装置集用于检测交通工具附近的对象；驾驶员接口装置，驾驶员接口装置用于向驾驶员输出视觉、音频和触觉信息中的至少一者；以及控制器装置，控制器装置用于：使用驾驶员状态监测装置，检测驾驶员难以读取交通工具外部的信息的视觉困难场景、基于驾驶员的眼睛注视的方向并使用交通工具感知系统装置集，检测驾驶员正在瞄准并且难以读取相关信息的最可能的对象、以及使用驾驶员接口装置，输出视觉、音频和触觉信息中的至少一者，以辅助驾驶员确定信息。
9.在一些实现中，交通工具感知系统装置集包括交通工具的前置相机装置，前置相机装置用于捕获交通工具前方的图像。在一些实现中，交通工具感知系统装置集包括交通工具的成像雷达或激光雷达装置，成像雷达或激光雷达装置用于感测交通工具前方的对象。在一些实现中，交通工具感知系统装置集进一步包括gnss装置。在一些实现中，地图信息用于根据该对象确定信息。在一些实现中，v2x信息用于根据该对象确定信息。在一些实现中，控制器装置用于基于由前置相机装置捕获的图像和从gnss装置获得的信息来从交通工具附近的多个对象中确定最可能的对象。在一些实现中，检测到的视觉困难场景是以下各项中的至少一项：驾驶员斜靠在他或她的座椅中、驾驶员拉紧他或她的脖子、以及驾驶员眯起他或她的眼睛。
10.本公开的进一步适用领域将根据下文所提供的具体实施方式而变得明显。应当认识的是，具体实施方式和具体示例仅旨在用于说明的目的而并不旨在限制本公开的范围。
附图说明
11.本公开将通过具体实施方式和所附附图而变得被更全面地理解，其中：
12.图1是具有根据本公开的原理的示例驾驶员视觉辅助系统的交通工具的功能框图；以及
13.图2是根据本公开的原理的示例驾驶员视觉辅助方法的流程图。
具体实施方式
14.如上文所讨论的，在驾驶员视觉辅助的技术领域中存在着改善的机会。因此，呈现了驾驶员视觉辅助系统和方法。现在参考图1，示出了具有根据本公开的原理的示例驾驶员视觉辅助系统104的交通工具100的功能框图。尽管本文主要使用术语“驾驶员视觉辅助系统”，但是应当理解，这个系统104可由交通工具100的任何乘员(例如，乘客)使用或适用于交通工具100的任何乘员(例如，乘客)。交通工具100通常包括动力总成108(例如，引擎、电动机、或除变速器之外的它们的一些组合)，该动力总成108被配置成用于生成驱动扭矩并将驱动扭矩传递到传动系112以用于交通工具推进。控制器116控制交通工具100的操作，包括控制动力总成108以生成期望的驱动扭矩量(例如，基于经由驾驶员接口120(诸如加速器踏板)的驾驶员输入)。将理解的是，驾驶员接口116包括其他合适的部件，诸如被配置成用于向驾驶员输出信息的视觉、音频和触觉输出设备。控制器116还被配置成用于执行本公开的驾驶员视觉辅助技术的至少一部分，其现在将被更详细地讨论。
15.除了多个其他系统之外，驾驶员视觉辅助系统104还包括控制器116和驾驶员接口120。这些系统包括但不限于驾驶员状态监测系统124、交通工具感知系统集128。该交通工具感知系统集12还至少包括前置视觉或红外相机系统132以及全球导航卫星系统(gnss)1366，该前置视觉或红外相机系统132被配置成用于捕获交通工具100前方的图像(例如，包括多个对象)，gnss1366被配置成用于提供位置信息(坐标、航向、导航路线等)或与对象的传感器位置相协调的地图。尽管本文主要讨论了交通工具100前方的前置相机和图像/对象，但是应当理解，也可以分析交通工具100侧面或朝向交通工具100后方(例如，在交通工具100已经经过之后)的图像/对象，并且由此将相关信息转发给交通工具100的驾驶员。驾驶员状态监测系统124被配置成用于监测交通工具100的驾驶员的状态，该状态至少包括驾驶员的眼睛注视的方向。控制器116被配置成用于利用驾驶员状态监测系统124来检测驾驶员难以读取交通工具100外部的信息的视觉困难场景。检测到的视觉困难场景的非限制性示例包括驾驶员斜靠在他或她的座椅中、驾驶员拉紧他或她的脖子、驾驶员眯起他或她的眼睛、及其各种组合。
16.基于驾驶员的眼睛注视的方向(来自驾驶员状态监测系统124)并使用该交通工具感知系统集128，控制器116被配置成用于检测驾驶员正在瞄准并且难以读取相关信息的最可能的对象。例如，控制器116可以被配置成用于基于由前置相机132捕获的图像和从gps系统136获得的信息来从交通工具附近的多个对象中确定最可能的对象。还可以利用其他信息，诸如交通工具100的当前导航路线(例如，包括最终地址)以及交通工具100当前是在递送(delivery)模式还是在乘坐共享模式下操作。使用驾驶员接口120，控制器116被配置成用于输出视觉、音频和触觉信息中的至少一者，以辅助驾驶员确定信息。例如，驾驶员接口120可以输出指示“该标志上写着“简单道路
””
的音频。
17.现在参考图2，示出了根据本公开的原理的示例驾驶员视觉辅助方法200的流程图。尽管出于说明目的在本文中具体参考了图1的部件，但是将理解的是，该方法200可以适用于任何合适的交通工具。在204处，控制器116确定驾驶员视觉辅助特征是否被启用。例如，驾驶员视觉辅助特征可以由某些认为他们不需要该特征的驾驶员禁用。当为真时，方法200结束或返回到204处。否则，方法200在208处继续。在208处，控制器116访问驾驶员状态监测系统124。在212处，控制器116访问该交通工具感知系统集128。在216处，控制器116访问驾驶员接口120。在220处，控制器116使用驾驶员状态监测系统124来检测视觉困难场景。在220处，控制器116使用驾驶员的眼睛注视的方向(来自驾驶员监测系统124)和交通工具感知系统集128(例如，前置相机132和gps系统136)来检测驾驶员正在瞄准并且难以读取相关信息的最可能的对象。在224处，控制器116使用驾驶员接口120来输出视觉、音频和触觉信息中的至少一者，以辅助驾驶员确定信息。然后，方法200结束或返回到204处进行一个或多个附加循环。
18.提供了示例性实施例，从而本发明公开将是彻底的，且将其范围完整地传达给本领域的技术人员。给出了各种具体细节，诸如具体部件、设备和方法的示例，以提供对本公开的实施例的彻底理解。对于本领域技术人员显而易见的是，无须使用特定的细节，且示例性实施例可以以许多不同形式来实施，并且它们都不应被解释成限制本公开的范围。在一些示例实施例中，没有对熟知的工艺、熟知的设备结构以及熟知的技术进行详细描述。
19.在此所使用的术语仅仅为了描述特定的示例实施例，而并不意在进行限制。如本文中所用，单数形式的“一”、“一个”和“该”也可以意指包括复数形式，除非上下文明确地另作规定。术语“和/或”包括一个或多个相关联列出项目的任何和所有组合。术语“包括”、“包括有”、“包含”和“具有”是包含性的，因此指定存在所述特征、整数、步骤、操作、元件和/或部件，但不排除存在或附加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其组合。除非明确地标识为执行顺序，否则本文描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或示出的特定顺序执行。还应理解，可以采用附加或替代步骤。
20.尽管术语“第一”、“第二”、“第三”等在本文中可以用于描述各种元件、部件、区域、层和/或区段，但是这些元件、部件、区域、层和/或区段不应受到这些术语的限制。这些术语仅可以用于将一个元件、部件、区域、层或区段与另一区域、层或区段区分开。除非上下文明确指出，否则本文中使用的诸如“第一”、“第二”和其它数字术语之类的术语并不暗示顺序或次序。因此，下面讨论的第一元件、部件、区域、层或区段可以被称为第二元件、部件、区域、层或区段，而不脱离示例实施例的教导。
21.如本文所使用的，术语“模块”可以指的是以下内容、以下内容的部分、或包括以下内容：专用集成电路(asic)；电子电路；组合逻辑电路；现场可编程门阵列(fpga)；在执行代码或过程的联网集群或数据中心中的处理器或处理器的分布式网络(共享、专用或成组)以及储存部；提供上述功能的其它合适部件；或上述一些或全部的组合，诸如在片上系统中。术语模块还可以包括存储由一个或多个处理器执行的代码的存储器(共享、专用或成组的)。
22.如以上所使用的，术语“代码”可以包括软件、固件、字节代码和/或微代码，并且可以指代程序、例程、功能、类和/或对象。如以上所使用的，术语“共享”意指可以使用单个(共享)处理器来执行来自多个模块的一些或全部代码。另外，来自多个模块的一些或全部代码
可以由单个(共享)存储器存储。如以上所使用的，术语“组”意指可以使用一组处理器来执行来自单个模块的一些或所有代码。另外，可以使用一组存储器来存储来自单个模块的一些或全部代码。
23.本文描述的技术可以通过由一个或多个处理器执行的一个或多个计算机程序来实现。该计算机程序包括被存储在非瞬态有形计算机可读介质上的处理器可执行指令。该计算机程序还可以包括存储的数据。非瞬态有形计算机可读介质的非限制性示例是非易失性存储器、磁性存储器和光学存储器。
24.上面描述的一些部分根据信息上的操作的算法和符号表示来呈现本文描述的技术。这些算法描述和表示是数据处理领域中的技术人员用来有效地将它们的工作实质最有效地传达给本领域中的其他技术人员的手段。尽管在功能上或逻辑上描述了这些操作，但这些操作应理解为由计算机程序实现。此外，有时将这些操作布置称为模块或以功能名称指代也证明是方便的，而不失一般性。
25.除非如从以上讨论中显而易见的另外具体说明，否则应当理解，在整个说明书中，利用诸如“处理”或“计算机操作”或“计算”或“确定”或“显示”或类似术语的讨论，是指计算机系统或类似的电子计算设备的操作和过程，其操纵和转换被表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示设备中的物理(电子)量的数据。
26.所描述的技术的某些方面包括本文以算法形式描述的处理步骤和指令。应当注意，所描述的处理步骤和指令可以体现在软件、固件或硬件中，并且当体现在软件中时，可以被下载以驻留在由实时网络操作系统所使用的不同平台上并从该不同平台操作。
27.本公开还涉及用于执行本文中的操作的装置。该装置可以被具体地构造用于所需的目的，或者它可以包括由存储在计算机可读介质上的计算机程序选择性地激活或重新配置的通用计算机，该计算机可读介质可以被计算机访问。这样的计算机程序可以存储在有形的计算机可读存储介质中，诸如但不限于任何类型的磁盘，包括软盘、光盘、cd-rom、磁光盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡、专用集成电路(asic)或适合存储电子指令的任何类型的介质，并且各自耦合到计算机系统总线。此外，本说明书中引用的计算机可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
28.本文呈现的算法及操作并非固有地与任何特定计算机或其他装置相关。各种通用系统也可以与根据本文的教导的程序一起使用，或者它可以证明构造更专用的装置来执行所需的方法步骤是便利的。各种这些系统所需的结构以及等同的变型对于本领域技术人员将是显而易见的。此外，本公开不参考任何特定编程语言来描述。应当理解，可以使用多种编程语言来实现如本文所述的本公开的教导，并且对特定语言的任何引用被提供以用于公开本发明的实现和最佳模式。
29.以上对实施例的描述是为了说明和描述的目的而提供的。这不意在穷尽的或用以限制本公开。尽管未明确地表示或描述，但特定实施例的个体元件或特征大体上并不限于该特定实施例，而是在能够应用时，是可互换的且可用于所选实施例中。这些元件或特征还可以许多方式改变。这种变化不应被认为脱离了本公开，而是所有这些修改意在包括于本公开的范围内。