用于为车辆乘客提供情境认知界面的系统和方法与流程

本专利文献中描述的技术总体涉及情境认知界面，更具体地，涉及提供供乘坐全自主或半自主车辆时的乘客使用的情境认知界面。

背景技术：

1、自动车辆中的乘客可能需要信息来建立对自动化的信任、理解和选择路线选择、识别风险、为车辆的操纵意图做准备以及在必要时获得辅助的手段。

2、因此，期望提供一种供乘客在乘坐全自主或半自主车辆时使用的情境认知界面。此外，结合附图，从随后的详细描述和所附权利要求中，其他期望的特征和特性将变得显而易见。

技术实现思路

1、提供了用于提供情境认知界面的系统和方法。在一实施例中，公开了一种用于为自动车辆的乘客提供情境认知界面的监督控制系统。该系统包括控制器，该控制器配置为：生成提供车辆操纵意图指示的鸟瞰图图形；生成车辆路线图形，其显示包括车辆的当前位置和车辆的预期目的地的区域的街道级地图以及从车辆的当前位置到预期目的地的车辆的计划路线和一条或多条替代路线的视觉描绘；为计划路线和一条或多条替代路线中的每条路线确定需要辅助或交互的概率以及估计到达时间；在车辆路线图形上为计划路线和一条或多条替代路线中的每条路线提供需要辅助或交互的概率以及估计到达时间的视觉指示；将计划路线和一条或多条替代路线的视觉描绘配置为可选择的，其中当选择路线时，控制器指示车辆根据选择的路线导航；以及向显示设备发信号以显示包括鸟瞰图图形和车辆路线图形的情境认知界面。

2、在一实施例中，为了生成提供车辆操纵意图的指示的鸟瞰图图形，控制器配置为：生成鸟瞰图图形，该鸟瞰图图形提供车辆周围道路的俯视图；将行驶方向图形覆盖在以与检索的位置数据一致的位置为中心的鸟瞰图图形上，其中行驶方向图形具有以该位置为中心的预定长度和宽度；基于位置数据，在覆盖行驶方向图形的鸟瞰图图形上定位代表车辆的车辆图标；检索在车辆周围预定距离内识别的每个潜在障碍物的潜在障碍物位置数据；以及对于每个识别的潜在障碍物，在鸟瞰图图形上定位代表潜在障碍物的障碍物图标。

3、在一实施例中，控制器还配置成：识别用于自主行驶的多个车辆系统的就绪状态；生成就绪状态图形，其提供多个车辆系统的就绪状态的视觉指示；以及向显示设备发信号以显示就绪状态图形。

4、在一实施例中，控制器还配置成：生成乘客控制界面，该乘客控制界面包括用于使乘客能够停止车辆或召唤帮助的辅助界面(例如sos按钮),并在情境认知界面中提供乘客控制界面。

5、在一实施例中，控制器还配置成在乘客控制界面中提供车内安全和应急服务系统(例如onstar)界面，用于使乘客能够访问车内安全和应急服务系统的远程操作员。

6、在一实施例中，控制器还配置为向显示设备发信号以显示通知远程操作员将控制车辆的信息图形作为所述情境认知界面的一部分。

7、在一实施例中，控制器还配置成：确定从车辆的当前位置到预期目的地的路线，该路线减少了需要操作员干预的可能性；并且提供减少需要操作员干预的可能性的路线作为车辆的计划路线或车辆的一条或多条替代路线。

8、在一实施例中，控制器还配置为：根据车载车辆输入传感器数据或车外输入传感器数据来识别车辆行驶方向上即将到来的交通控制设备(例如交通灯、停车标志、让行标志)的状态；生成表示即将到来的交通控制设备的交通控制设备图标，该图标指示即将到来的交通控制设备的状态；以及将交通控制设备图标覆盖在鸟瞰图图形上。

9、在一实施例中，控制器还配置为：根据车载车辆输入传感器数据或车外输入传感器数据来识别车辆行驶方向上的速度限制；生成指示车辆行驶方向上的速度限制的速度限制图标；以及将速度限制图标覆盖在鸟瞰图图形上。

10、在一实施例中，控制器还配置为：从车载车辆输入传感器数据或车外输入传感器数据识别车辆行驶方向；生成指示车辆行驶方向的车辆行驶方向图标(例如箭头)；以及将车辆行驶方向图标覆盖在鸟瞰图图形上(例如在行驶方向图形上)。

11、在一实施例中，控制器还配置为：从车载车辆输入传感器数据中检索激光雷达数据；生成指示经由激光雷达数据感测的物体的激光雷达地图图形；以及将激光雷达地图图形覆盖在鸟瞰图图形上。

12、在一实施例中，控制器还配置为：从车载车辆输入传感器数据中检索指示当前车辆速度的车辆速度数据；生成指示当前车辆速度的车辆速度图形；以及将车辆速度图形覆盖在鸟瞰图图形上。

13、在一实施例中，控制器还配置成：生成指示车辆是否正在加速的车辆加速度图形；以及将车辆加速度图形覆盖在鸟瞰图图形上。

14、在一实施例中，控制器还配置为：评估车辆驶入由行驶方向图形区域表示的区域是否会导致不安全车辆操作(例如驶离道路、与障碍物碰撞)；以及当车辆驶入由行驶方向图形区域表示的区域时对行驶方向图形区域应用特定颜色会导致不安全车辆操作。

15、在一实施例中，控制器还配置成控制多个触觉致动器以提供触觉反馈，从而向在乘坐车辆时坐在座椅装置中的乘客传达方向感。

16、在一实施例中，控制器还配置成控制车辆中的方向扬声器系统中的多个扬声器，从而向在乘坐车辆时坐在座椅装置中的乘客传达方向感。

17、在另一实施例中，提供了一种用于为自动车辆的乘客提供情境认知界面的监督控制系统。该系统包括控制器，该控制器配置为：生成车辆路线图形，其显示包括车辆的当前位置和车辆的预期目的地的区域的街道级地图以及从车辆的当前位置到预期目的地的车辆的计划路线和一条或多条替代路线的视觉描绘；为计划路线和一条或多条替代路线中的每条路线确定需要辅助或交互的概率以及估计到达时间；在车辆路线图形上为计划路线和一条或多条替代路线中的每条路线提供需要辅助或交互的概率以及估计到达时间的视觉指示；将计划路线和一条或多条替代路线的视觉描绘配置为可选择的，其中当选择路线时，控制器指示车辆根据选择的路线导航；以及向显示设备发信号以显示包括车辆路线图形的情境认知界面。

18、在一实施例中，控制器还配置成：确定从车辆的当前位置到预期目的地的路线，该路线减少了需要操作员干预的可能性；以及提供减少需要操作员干预的可能性的路线作为车辆的计划路线或车辆的一条或多条替代路线。

19、在另一实施例中，提供了一种用于为自动车辆的乘客提供情境认知界面的方法。该方法包括：生成提供车辆操纵意图指示的鸟瞰图图形；生成车辆路线图形，其显示包括车辆的当前位置和车辆的预期目的地的区域的街道级地图以及从车辆的当前位置到预期目的地的车辆的计划路线和一条或多条替代路线的视觉描绘；为计划路线和一条或多条替代路线中的每条路线确定需要辅助或交互的概率以及估计到达时间；在车辆路线图形上为计划路线和一条或多条替代路线中的每条路线提供需要辅助或交互的概率以及估计到达时间的视觉指示；将计划路线和一条或多条替代路线的视觉描绘配置为可选择的，其中当选择路线时，指示车辆根据选择的路线导航；以及向显示设备发信号以显示包括鸟瞰图图形和车辆路线图形的情境认知界面。

20、在一实施例中，生成提供车辆操纵意图的指示的鸟瞰图图形包括：生成鸟瞰图图形，该鸟瞰图图形提供车辆周围道路的俯视图；将行驶方向图形覆盖在以与检索的位置数据一致的位置为中心的鸟瞰图图形上，其中行驶方向图形具有以该位置为中心的预定长度和宽度；基于位置数据，在覆盖行驶方向图形的鸟瞰图图形上定位代表车辆的车辆图标；检索在车辆周围预定距离内识别的每个潜在障碍物的潜在障碍物位置数据；以及对于每个识别的潜在障碍物，在鸟瞰图图形上定位代表潜在障碍物的障碍物图标。

21、在一实施例中，该方法还包括：识别用于自主行驶的多个车辆系统的就绪状态；生成就绪状态图形，其提供多个车辆系统的就绪状态的视觉指示；以及向显示设备发信号以显示就绪状态图形。

22、在一实施例中，该方法还包括：生成乘客控制界面，该乘客控制界面包括用于使乘客能够停止车辆或召唤帮助的辅助界面(例如sos按钮),并在情境认知界面中提供乘客控制界面。

23、在一实施例中，该方法还包括在乘客控制界面中提供车内安全和应急服务系统(例如onstar)界面，用于使乘客能够访问车内安全和应急服务系统的远程操作员。

24、在一实施例中，该方法还包括向显示设备发信号以显示通知远程操作员将控制车辆的信息图形。

25、在一实施例中，该方法还包括：确定从车辆的当前位置到预期目的地的路线，该路线减少了需要操作员干预的可能性；并且提供减少需要操作员干预的可能性的路线作为车辆的计划路线或车辆的一条或多条替代路线。

26、在一实施例中，该方法还包括：根据车载车辆输入传感器数据或车外输入传感器数据来识别车辆行驶方向上即将到来的交通控制设备(例如交通灯、停车标志、让行标志)的状态；生成表示即将到来的交通控制设备的交通控制设备图标，该图标指示即将到来的交通控制设备的状态；以及将交通控制设备图标覆盖在鸟瞰图图形上。

27、在一实施例中，该方法还包括：根据车载车辆输入传感器数据或车外输入传感器数据来识别车辆行驶方向上的速度限制；生成指示车辆行驶方向上的速度限制的速度限制图标；以及将速度限制图标覆盖在鸟瞰图图形上。

28、在一实施例中，该方法还包括：从车载车辆输入传感器数据或车外输入传感器数据识别车辆行驶方向；生成指示车辆行驶方向的车辆行驶方向图标(例如箭头)；以及将车辆行驶方向图标覆盖在鸟瞰图图形上(例如在行驶方向图形上)。

29、在一实施例中，该方法还包括：从车载车辆输入传感器数据中检索激光雷达数据；生成指示经由激光雷达数据感测的物体的激光雷达地图图形；以及将激光雷达地图图形覆盖在鸟瞰图图形上。

30、在一实施例中，该方法还包括：从车载车辆输入传感器数据中检索指示当前车辆速度的车辆速度数据；生成指示当前车辆速度的车辆速度图形；以及将车辆速度图形覆盖在鸟瞰图图形上。

31、在一实施例中，该方法还包括：生成指示车辆是否正在加速的车辆加速度图形；以及将车辆加速度图形覆盖在鸟瞰图图形上。

32、在一实施例中，该方法还包括：评估车辆驶入由行驶方向图形区域表示的区域是否会导致不安全车辆操作(例如驶离道路、与障碍物碰撞)；以及当车辆驶入由行驶方向图形区域表示的区域时对行驶方向图形区域应用特定颜色会导致不安全车辆操作。

33、在一实施例中，该方法还包括控制多个触觉致动器以提供触觉反馈，从而向在乘坐车辆时坐在座椅装置中的乘客传达方向感。

34、在一实施例中，该方法还包括控制车辆中的方向扬声器系统中的多个扬声器，从而向在乘坐车辆时坐在座椅装置中的乘客传达方向感。

35、在另一个实施例中，提供了一种用于为自动车辆的乘客提供情境认知界面的方法。该方法包括：生成车辆路线图形，其显示包括车辆的当前位置和车辆的预期目的地的区域的街道级地图以及从车辆的当前位置到预期目的地的车辆的计划路线和一条或多条替代路线的视觉描绘；为计划路线和一条或多条替代路线中的每条路线确定需要辅助或交互的概率以及估计到达时间；在车辆路线图形上为计划路线和一条或多条替代路线中的每条路线提供需要辅助或交互的概率以及估计到达时间的视觉指示；将计划路线和一条或多条替代路线的视觉描绘配置为可选择的，其中当选择路线时，指示车辆根据选择的路线导航；以及向显示设备发信号以显示包括车辆路线图形的情境认知界面。

36、在一实施例中，该方法包括：确定从车辆的当前位置到预期目的地的路线，该路线减少了需要操作员干预的可能性；以及提供减少需要操作员干预的可能性的路线作为车辆的计划路线或车辆的一条或多条替代路线。

37、在另一实施例中，提供了一种编码有编程指令的非暂时性计算机可读介质，所述编程指令可配置成使处理器执行用于为自动车辆的乘客提供情境认知界面的方法。该方法包括：生成鸟瞰图图形，该鸟瞰图图形提供车辆周围道路的俯视图；将行驶方向图形覆盖在以与检索的位置数据一致的位置为中心的鸟瞰图图形上，其中行驶方向图形具有以该位置为中心的预定长度和宽度；基于位置数据，在覆盖行驶方向图形的鸟瞰图图形上定位代表车辆的车辆图标；检索在车辆周围预定距离内识别的每个潜在障碍物的潜在障碍物位置数据；对于每个识别的潜在障碍物，在鸟瞰图图形上定位代表潜在障碍物的障碍物图标；生成车辆路线图形，其显示包括车辆的当前位置和车辆的预期目的地的区域的街道级地图以及从车辆的当前位置到预期目的地的车辆的计划路线和一条或多条替代路线的视觉描绘；为计划路线和一条或多条替代路线中的每条路线确定需要辅助或交互的概率以及估计到达时间；在车辆路线图形上为计划路线和一条或多条替代路线中的每条路线提供需要辅助或交互的概率以及估计到达时间的视觉指示；将计划路线和一条或多条替代路线的视觉描绘配置为可选择的，其中当选择路线时，指示车辆根据选择的路线导航；以及向显示设备发信号以显示包括鸟瞰图图形和车辆路线图形的情境认知界面。

38、在另一实施例中，提供了一种编码有编程指令的非暂时性计算机可读介质，所述编程指令可配置成使处理器执行用于为自动车辆的乘客提供情境认知界面的方法。该方法包括：生成提供车辆操纵意图指示的鸟瞰图图形；生成车辆路线图形，其显示包括车辆的当前位置和车辆的预期目的地的区域的街道级地图以及从车辆的当前位置到预期目的地的车辆的计划路线和一条或多条替代路线的视觉描绘；为计划路线和一条或多条替代路线中的每条路线确定需要辅助或交互的概率以及估计到达时间；在车辆路线图形上为计划路线和一条或多条替代路线中的每条路线提供需要辅助或交互的概率以及估计到达时间的视觉指示；将计划路线和一条或多条替代路线的视觉描绘配置为可选择的，其中当选择路线时，指示车辆根据选择的路线导航；以及向显示设备发信号以显示包括鸟瞰图图形和车辆路线图形的情境认知界面。

39、在另一实施例中，提供了一种编码有编程指令的非暂时性计算机可读介质，所述编程指令可配置成使处理器执行用于为自动车辆的乘客提供情境认知界面的方法。该方法包括：生成车辆路线图形，其显示包括车辆的当前位置和车辆的预期目的地的区域的街道级地图以及从车辆的当前位置到预期目的地的车辆的计划路线和一条或多条替代路线的视觉描绘；为计划路线和一条或多条替代路线中的每条路线确定需要辅助或交互的概率以及估计到达时间；在车辆路线图形上为计划路线和一条或多条替代路线中的每条路线提供需要辅助或交互的概率以及估计到达时间的视觉指示；将计划路线和一条或多条替代路线的视觉描绘配置为可选择的，其中当选择路线时，指示车辆根据选择的路线导航；以及向显示设备发信号以显示包括车辆路线图形的情境认知界面。