用于通知车辆乘员潜在车辆威胁的严重性和位置的系统和方法与流程

用于通知车辆乘员潜在车辆威胁的严重性和位置的系统和方法
1.相关申请的交叉引用
2.本公开要求于2020年7月29日提交的美国临时申请号63/058,208的权益，其公开内容通过引用整体并入本文。
3.背景
4.本技术涉及车辆，并且更具体地涉及用于通知车辆乘员对车辆的潜在威胁的严重性和位置的系统和方法。
5.车辆(诸如商用车辆)的驾驶员越来越多地被呈现描述车辆周围环境的大量信息。该信息可以呈现在车辆中的各种显示器上，诸如车辆仪表组和/或代替或补充传统车辆镜的相机监视系统(cms)的显示器。例如，商用车辆可以包括多个传感器，诸如雷达、相机、超声波和其他传感器，以创建对车辆周围环境的理解。提供给驾驶员的信息可以来自许多来源，诸如无线接收的道路数据和/或上述传感器。以最小化驾驶员分心的方式提取该信息以便呈现给驾驶员提出了挑战。


技术实现要素：

6.根据本公开的示例的方法包括检测车辆外部的对所述车辆的潜在威胁，确定所述潜在威胁的严重性级别和所述潜在威胁相对于所述车辆的位置。所述方法包括在电子显示器上在所述电子显示器的对应于所述位置的特定部分中并且以对应于所述严重性级别的特定显示属性显示所述潜在威胁的指示。所述特定部分是所述电子显示器的各自对应于不同威胁位置的多个不同部分中的一个，并且所述特定显示属性是对应于不同严重性级别的多个不同显示属性中的一个。
7.在任何前述实施例的又一实施例中，确定所述潜在威胁相对于所述车辆的位置包括确定所述车辆的多个边界区域中的哪个边界区域最接近所述潜在威胁，其中所述电子显示器的所述特定部分对应于所确定的边界区域。
8.在任何前述实施例的又一实施例中，所述多个显示部分中的每个显示部分是所述电子显示器的边界区，每个边界区对应于所述车辆的边界区域中的相应边界区域。
9.在任何前述实施例的又一实施例中，所述多个边界区包括所述电子显示器的左上边界区、所述电子显示器的右上边界区、所述电子显示器的左下边界区和所述电子显示器的右下边界区，所述左上边界区对应于所述车辆的左前拐角区域，所述右上边界区对应于所述车辆的右前拐角区域，所述左下边界区对应于所述车辆的左后区域，所述右下边界区对应于所述车辆的右后区域。
10.在任何前述实施例的又一实施例中，所述多个显示属性包括多个不同的颜色，每个颜色对应于不同的严重性级别。
11.在任何前述实施例的又一实施例中，所述多个颜色包括对应于第一严重性级别的第一颜色和不同于所述第一颜色并且与低于所述第一严重性级别的第二严重性级别相对应的第二颜色。所述方法包括使用不同于第一颜色和第二颜色的第三颜色来照亮电子显示
器的与没有检测到潜在威胁的车辆的边界区域相对应的边界区。
12.在任何前述实施例的又一实施例中，所述方法包括在所述电子显示器上显示所述车辆的示意性图像和所述潜在威胁的示意性图像。
13.在任何前述实施例的又一实施例中，所述电子显示器包括仪表组显示器和相机镜代替显示器中的一个或多个。
14.在任何前述实施例的又一实施例中，所述多个显示属性包括多个显示模式或序列，每个显示模式或序列对应于不同的严重性级别。
15.根据本公开的示例的用于车辆的系统包括电子显示器、至少一个传感器和计算设备，所述电子显示器被配置用于由所述车辆的驾驶员查看，所述至少一个传感器被配置为获得指示所述车辆周围的环境的信息，所述计算设备可操作地连接到所述电子显示器和至少一个传感器。所述计算设备被配置为基于来自所述至少一个传感器的所述信息，确定对所述车辆的潜在威胁、所述潜在威胁的严重性级别和所述潜在威胁相对于所述车辆的位置。所述计算设备被配置为在所述电子显示器上在所述电子显示器的对应于所述位置的特定部分中并且以对应于所述严重性级别的特定显示属性显示所述潜在威胁的指示。所述特定部分是所述电子显示器的各自对应于不同威胁位置的多个不同部分中的一个，并且所述特定显示属性是对应于不同严重性级别的多个不同显示属性中的一个。
16.在任何前述实施例的又一实施例中，为了确定潜在威胁的位置，所述计算设备被配置为确定所述车辆的多个边界区域中的哪个边界区域最接近所述潜在威胁，其中所述电子显示器的所述特定部分对应于所确定的边界区域。
17.在任何前述实施例的又一实施例中，所述多个显示部分中的每个显示部分是所述电子显示器的边界区，每个边界区对应于所述车辆的边界区域中的相应边界区域。
18.在任何前述实施例的又一实施例中，所述多个边界区包括所述电子显示器的左上边界区、所述电子显示器的右上边界区、所述电子显示器的左下边界区和所述电子显示器的右下边界区，所述左上边界区对应于所述车辆的左前拐角区域，所述右上边界区对应于所述车辆的右前拐角区域，所述左下边界区对应于所述车辆的左后区域，所述右下边界区对应于所述车辆的右后区域。
19.在任何前述实施例的又一实施例中，所述多个显示属性包括多个不同的颜色，每个颜色对应于不同的严重性级别。
20.在任何前述实施例的又一实施例中，所述多个颜色包括对应于第一严重性级别的第一颜色和不同于所述第一颜色并且与低于所述第一严重性级别的第二严重性级别相对应的第二颜色。所述计算设备被配置为使用不同于第一颜色和第二颜色的第三颜色来照亮电子显示器的与没有检测到潜在威胁的车辆的边界区域相对应的边界区。
21.在任何前述实施例的又一实施例中，所述计算设备被配置为在所述电子显示器上显示所述车辆的示意性图像和所述潜在威胁的示意性图像。
22.在任何前述实施例的又一实施例中，所述电子显示器包括仪表组显示器和相机镜代替显示器中的一个或多个。
23.在任何前述实施例的又一实施例中，所述多个显示属性包括多个显示模式或序列，每个显示模式或序列对应于不同的严重性级别。
24.根据本公开的示例的方法包括检测车辆外部的对所述车辆的潜在威胁，确定所述
潜在威胁的严重性级别和所述潜在威胁相对于所述车辆的位置，基于所述位置选择所述车辆中的电子显示器的多个边界区中的一个，以及使用与所述潜在威胁的所述严重性级别相对应的颜色来照亮所述电子显示器的所选择的边界区。
25.在任何前述实施例的又一实施例中，所述多个边界区中的每个边界区对应于所述车辆的多个边界区域中的相应边界区域。
26.前述段落、权利要求或以下描述和附图的实施例、示例和替代方(包括其各个方面或相应的单独特征中的任何一个)可以独立地或以任何组合采用。结合一个实施例描述的特征适用于所有实施例，除非这些特征不兼容。
附图说明
27.图1是用于检测和提供对车辆的潜在威胁的通知的系统的示意图。
28.图2是车辆车厢中的示例电子显示器位置的示意图。
29.图3是用于车辆的示例传感器位置的示意图。
30.图4是用于通知车辆乘员对车辆的潜在威胁的严重性和位置的示例方法的流程图。
31.图5是描绘对车辆的潜在威胁的严重性和潜在威胁相对于车辆的位置的第一示例图像。
32.图6是描绘对车辆的潜在威胁的严重性和潜在威胁相对于车辆的位置的第二示例图像。
具体实施方式
33.图1是用于检测对车辆12的潜在威胁并提供指示威胁的大小和威胁相对于车辆的方向的潜在威胁的通知的系统10的示意图。系统10包括计算设备14(例如，电子控制单元“ecu”)，该计算设备14与多个传感器16a～n和多个显示器18a～e通信，多个显示器18a～e可由车辆12的车厢中的驾驶员查看。
34.例如，传感器16a～n可以包括相机、雷达传感器和/或超声传感器(例如，激光雷达)。在图1的示例中，显示器18包括作为补充或代替传统外部车辆镜的cms(例如，来自的)的一部分的两个相机监视系统(cms)显示器18a～b、仪表组显示器18c、信息娱乐显示器18d和位于后视镜的传统位置的后视显示器18e。当然，应当理解，可以使用其他类型和数量的电子显示器18。
35.在一个示例中，多个传感器16a～n通过通信总线20，诸如控制器局域网(can)总线，与计算设备14通信。
36.计算设备14包括可操作地连接到存储器24、通信接口26和无线收发器29的处理器22。处理器22包括处理电路，以处理来自传感器16的数据，检测对车辆12的潜在威胁，确定潜在威胁的严重性级别，以及确定潜在威胁相对于车辆12的位置。处理器22可以包括例如一个或多个微处理器、微控制器、专用集成电路(asic)等。
37.存储器24可以包括易失性存储器元件(例如，随机存取存储器(ram，诸如dram、sram、sdram、vram等))和/或非易失性存储器元件(例如，rom、硬盘驱动器、磁带、cd-rom等)中的任何一个或组合。此外，存储器24可以包含电子、磁、光和/或其他类型的存储介质。存
储器24还可以具有分布式架构，其中各种部件彼此远离地定位，但是可以由处理器22访问。存储器24包括神经网络28，以用于处理来自传感器16的数据并且例如使用本领域已知的对象检测技术来检测对车辆12的潜在威胁。
38.通信接口26被配置为促进计算设备14、传感器16和显示器18之间的通信。
39.无线收发器29被配置为接收关于诸如道路障碍物、道路状况、附近事故、gps信息等的信息的数据。在一个示例中，计算设备14能够操作以基于从无线收发器29接收的信息来检测潜在威胁(例如，如果基于障碍物和车辆12的gps数据，车辆12正在接近道路障碍物)。
40.图2是示例车辆12的车厢30内的显示器18a～e的示例位置的示意图。在图2的示例中，车厢30在商用车辆的牵引车部分内。如图2所示，cms显示器18a～b安装到车辆12的a柱32a～b。仪表组显示器18c设置在驾驶员座椅34的前方。信息娱乐显示器18d设置在车厢30的仪表板36上。后视显示器18e设置在传统的后视镜位置。当然，这些仅是示例显示器和显示器位置，并且应当理解，可以使用车厢30中的其他数量的显示器和/或其他显示器位置。
41.图3是包括牵引车41和拖车42的示例商用车辆12的传感器16的示例位置及其相应检测区域40的近似的示意图。如图3所示，车辆12具有前侧17a、后侧17b、左侧17c和右侧17d。如本文所使用的，参考面向车辆12的前方的车辆操作者来讨论诸如左、右、前和后的相对位置。具有相关联的检测区域40a～b的传感器16a～b设置在车辆12的拖车42的后角中。具有相关联的检测区域40c～d的传感器16c～d设置在车辆12的牵引车41的前角中。具有相关联的检测区域40e的传感器16e设置在车辆18的拖车42的后部。具有相关联的检测区域40f的传感器16f设置在车辆12的牵引车41的前部。传感器16g～h是cms相机传感器，并且具有相关联的检测区域40g～h。
42.车辆12包括多个边界区域44a～d，其包括左前边界区域44a、右前边界区域44b、左后边界区域44c和右后边界区域44c。下面将更详细地讨论这些示例边界区域44。尽管在图3中示出了一些示例边界区域，但是应当理解，这些是非限制性示例，并且可以使用其他边界区域。
43.图4是由计算设备14执行的用于向车辆乘员通知对车辆12的潜在威胁的严重性和位置的示例方法的流程图100。计算设备14从多个传感器16a～n和/或从无线收发器29接收关于车辆12周围的环境的信息(步骤102)，并分析该信息以确定是否检测到潜在威胁(步骤104)。
44.步骤104可以包括执行对象检测并将从传感器16接收的数据与预定义的威胁标准进行比较，以做出诸如是否可能发生碰撞的确定。例如，如果另一车辆在车辆12的x英尺内并且以速度y接近车辆12，则可能构成严重性为2的威胁，而如果同一车辆以小于速度y的速度z接近车辆12，则可能构成严重性为1的威胁或非威胁，因为碰撞是不可能的。其他潜在的车辆威胁可以包括道路障碍物，其可以通过由无线收发器29接收的数据来检测。一些示例道路障碍物可以包括失速或碰撞的车辆和/或不利的道路状况，诸如已知的结冰碎片和/或洪水。
45.如果没有检测到潜在威胁(步骤104为“否”)，则计算设备14继续接收和监视步骤102的信息以监视潜在威胁。
46.否则，如果检测到潜在威胁(步骤104为“是”)，则计算设备14确定潜在威胁的严重
性级别，并且还确定潜在威胁相对于车辆12的位置(步骤106)。
47.计算设备14确定与所确定的潜在威胁的位置相对应的一个或多个电子显示器18的一部分(步骤108)。在步骤108中针对一个或多个电子显示器18中的每一个而确定的特定部分是对应于不同威胁位置的电子显示器18的多个不同部分中的一个。
48.计算设备14还确定与潜在威胁的严重性级别相对应的显示属性(步骤110)。在步骤110中确定的特定显示属性是对应于不同严重性级别的多个不同显示属性中的一个(例如，颜色、图案和/或序列，诸如闪烁)。对于闪光的示例，闪光的速率和/或用于闪光的颜色可以根据严重性级别而改变。
49.计算设备14使用来自步骤108的电子显示器18的所确定的部分和来自步骤110的所确定的显示属性在电子显示器18上显示潜在威胁的指示(步骤112)。
50.在一个示例中，在步骤106中确定潜在威胁相对于车辆的位置包括确定车辆12的多个边界区域44a～d中的哪个最接近潜在威胁。在这方面，应理解，图3中所展示的边界区域44a～d仅是示例，并且可使用其他边界区域(例如，在区域44a～d中的相邻区域之间的边界区域)。
51.在一个示例中，计算设备14还结合在电子显示器18上提供通知来提供可听和/或物理警告(例如，方向盘振动)。
52.在一个示例中，在步骤108中确定的电子显示器的特定部分对应于电子显示器18的边界区域44。在图5中示出了一个这样的示例。
53.现在参考图5，示出了电子显示器18的示例图像48。图像48包括多个边界区50a～d。在图5的示例中，显示边界区50a对应于车辆前左边界区域44a，显示边界区50b对应于车辆前右边界区域44b，显示边界区50c对应于车辆后左边界区域44c，并且显示边界区50d对应于车辆后右边界区域44d。
54.图像18是鸟瞰图像，其示意性地将车辆12图示为卡车52，并且图示了表示在车辆12附近检测到的对象的多个对象54、56、58。对象包括第一汽车54、第二汽车56和摩托车58。
55.对于下面的讨论，假设汽车54和56被确定为潜在威胁，其中汽车54的严重性级别为2(例如，因为它在卡车52的预定义距离内并且正在以超过预定义阈值的速度接近卡车)，并且汽车56具有低于严重性级别2的严重性级别1(例如，因为它在卡车52的预定义距离内并且正在朝向卡车52加速)。并且摩托车58不被认为是潜在威胁(例如，其具有低于预定义阈值的威胁级别)。
56.计算设备14确定汽车54最靠近车辆边界区域44d，并且因此选择与车辆边界区域44d相对应的显示边界区50d，并且图示了具有与严重性级别2相对应的显示属性的显示边界区50d。在图5的示例中，这是交叉影线，但是可以替代地或另外地包括诸如红色的颜色。
57.计算设备14确定汽车56最靠近车辆边界区域44c，并且因此选择与车辆边界区域44相对应的显示边界区50c，并且图示了具有与严重性级别1相对应的显示属性的显示边界区50c。在图5的示例中，这是非交叉阴影线，但是可以替代地或另外地包括诸如黄色的颜色。
58.计算设备14确定摩托车58不是对车辆12的潜在威胁(例如，因为摩托车58正在远离卡车52)，并且因此描绘具有指示非威胁的显示属性的摩托车58。在图5的示例中，这是虚线阴影，但是可以替代地或另外地包括诸如绿色的颜色。因为边界区域50b也不具有对应的
潜在威胁，所以它被描绘为具有与显示边界区50a相同的显示属性。
59.图6图示了可以如何结合如图2所示的cms显示器18b来执行方法100的示例，其不利用鸟瞰视图。显示器18b包括对应于ii类视图的第一显示区域60a和对应于iv类广角视图的第二显示区域60b。在每个显示区域60a～b中描绘了卡车62。对于下面的讨论，假设计算设备14确定卡车62对应于严重性级别1潜在威胁，并且最接近车辆后右边界区域44d。计算设备14使用与严重性级别1相对应的显示属性来描绘与车辆后右边界区域44d相对应的显示边界区50d。可选地，可以使用非威胁显示属性来图示显示边界区50a和50c～d。
60.现有技术系统依赖于通知，诸如简单的灯(例如，激活后视镜角落中的灯的盲点检测系统)或音频警告(例如，基于感知到的威胁的严重性而在幅度上变化的蜂鸣声或音调)。还有其他系统将摇动座椅或方向盘。然而，这些警告本身对于可能包括一个或多个拖车的车辆(诸如商用车辆)是不够的，因为车辆的尺寸可能使这些警告无用，因为警告没有传达足以为驾驶员提供采取行动的时间的危险严重程度或威胁的位置。
61.此外，对于商用车辆，其中与乘用车相比，需要由车辆的传感器观察的区域的量更大，警告的特异性的缺乏可能导致系统被驾驶员停用。此外，一些驾驶员可能会发现非特定警告会分散注意力。
62.本公开通过清楚地传达关于车辆潜在威胁的严重性和位置的信息来改进现有技术系统。这使得驾驶员能够评估威胁的位置和严重性并快速反应(例如，大约半秒)。
63.尽管已经公开了示例实施例，但是本领域普通技术人员将认识到，某些修改将落入本公开的范围内。因此，应当研究以下权利要求以确定本公开的范围和内容。