使用街道级图像增强车辆的自动驾驶模式的方法
【技术领域】
[0001]本发明总体上涉及对具有自动驾驶模式的车辆的增强，并且更具体地涉及通过使用街道级图像例如由固定交通摄像头提供的图像增强自动驾驶模式的驾驶经历的方法和系统。
【背景技术】
[0002]已知主车辆装备有对象检测能力，例如车载摄像头、激光器、超声波及传感器。这些类型的设备具有通常在主车辆前方延伸一定距离的视场，并且能够检测目标车辆和其他对象以及即将出现的路段中的某些特征的存在。由这些车载设备提供的输出能够提供关于潜在即将出现的危险或隐患的一些信息，但是该信息通常受到视场、设备的距离或数字地图的估计范围的限制或约束。
[0003]在某些情况例如在使用自动或自主驾驶模式期间遭遇到的那些情况下，可能期望获得关于超过车载设备的视场的路段的信息(即，较远前方感测)。能够利用这样的信息可以给以自动驾驶模式运行的车辆提前警告危险或隐患，以便可以采取一个或多个补救行动。
【发明内容】
[0004]根据一个实施例，一种增强主车辆的自动驾驶模式的方法，包括如下步骤:将主车辆位置与保存在隐患概况中的地理区域进行比较，所述主车辆位置对应于所述主车辆的当前位置或者所述主车辆的预期未来位置，并且所述隐患概况是基于从多个图像源收集的街道级图像的；响应于将所述主车辆位置与所保存的地理区域进行比较来识别潜在隐患，并且所述潜在隐患与所述隐患概况中的所述地理区域相关联；以及响应于识别所述潜在隐患来执行补救行动，其中在所述主车辆遭遇所述潜在隐患之前执行所述补救行动，并且所述补救行动影响所述主车辆的自动驾驶模式。
[0005]根据另一个实施例，提供了一种增强主车辆的自动驾驶模式的方法，包括如下步骤:从一个或多个图像源收集街道级图像，并且所述街道级图像属于超过安装在所述主车辆上的传感器的范围的特殊路段；从涉及所述特殊路段存在的潜在隐患的街道级图像识别第一项和第二项；根据所述街道级图像评估所述第一项和第二项，并且通过确定所述第一项和第二项是否都证明存在所述潜在隐患来证实所述潜在隐患；以及将所述潜在隐患保存到存储在电子存储器中的数据集中，以便所述主车辆能够随后访问所述数据集，并且当以自动驾驶模式驾驶所述主车辆时，确定是否存在可能影响所述主车辆的任何潜在隐患。
[0006]本发明还提供以下方案:
1.一种增强主车辆的自动驾驶模式的方法，包括如下步骤:
将主车辆位置与保存在隐患概况中的地理区域进行比较，所述主车辆位置对应于所述主车辆的当前位置或者所述主车辆的预期未来位置，并且所述隐患概况是基于从多个图像源收集的街道级图像的； 响应于将所述主车辆位置与所保存的地理区域进行比较来识别潜在隐患，并且所述潜在隐患与所述隐患概况中的所述地理区域相关联；以及
响应于识别所述潜在隐患来执行补救行动，其中在所述主车辆遭遇所述潜在隐患之前执行所述补救行动，并且所述补救行动影响所述主车辆的自动驾驶模式。
[0007]2.根据方案I所述的方法，其中所述方法还包括如下步骤:
从多个图像源收集街道级图像，并且所述街道级图像属于超过安装在所述主车辆上的传感器的范围的路段；
从涉及特殊路段存在的潜在隐患的街道级图像识别第一项和第二项；
根据所述街道级图像评估所述第一项和第二项，并且通过确定所述第一项和第二项是否都证明所述潜在隐患的存在，来证实所述潜在隐患；以及
将所述潜在隐患与对应于所述特殊路段并且保存在所述隐患概况中的地理区域相关联。
[0008]3.根据方案2所述的方法，其中收集步骤还包括从多个固定交通摄像头收集路段的高清晰度街道级图像。
[0009]4.根据方案3所述的方法，其中所述高清晰度街道级图像从在后端设备处的所述多个固定交通摄像头接收，并且伴随有至少一条数据，该数据将所述图像转换成文本并且从由以下构成的组中选择:摄像头识别码、时间戳或摄像头位置。
[0010]5.根据方案2所述的方法，其中识别步骤还包括从一个或多个固定交通摄像头监控视频、从所述视频提取高清晰度静止图像、以及从所述高清晰度静止图像识别所述第一项和第二项中的至少一个。
[0011]6.根据方案5所述的方法，其中所述第一项从在第一时间自交通摄像头获取的第一高清晰度静止图像识别，所述第二项从在第二时间自同一交通摄像头获取的第二高清晰度静止图像识别，并且评估步骤还包括彼此结合地评估所述第一项和第二项并且使用相同摄像头证实来证明所述潜在隐患的存在。
[0012]7.根据方案5所述的方法，其中所述第一项从自第一交通摄像头获取的第一高清晰度静止图像识别，所述第二项从自附近的第二交通摄像头获取的第二高清晰度静止图像识别，并且评估步骤还包括彼此结合地评估所述第一项和第二项并且使用不同摄像头证实来证明所述潜在隐患的存在。
[0013]8.根据方案2所述的方法，其中评估步骤还包括将所述潜在隐患分类为一个或多个预定类，并且所述预定类中的至少一个从由以下构成的组中选择:施工隐患、交通隐患或天气隐患。
[0014]9.根据方案8所述的方法，其中识别步骤还包括从所述街道级图像识别第一项和第二项，其中所述第一项和第二项中的至少一个从由以下构成的组中选择:施工桶、路障、车道关闭、车道偏移、车道标记遮挡、临时或永久标记、施工设备或工作人员；并且
所述评估步骤还包括彼此结合地从所述街道级图像识别所述第一项和第二项，以便证实所述潜在隐患并且将所述潜在隐患分类为施工隐患。
[0015]10.根据方案8所述的方法，其中识别步骤还包括从所述街道级图像识别第一项和第二项，其中所述第一项和第二项中的的至少一个从由以下构成的组中选择:交通堵塞或阻塞、交通图、道路中静止或缓慢移动的物体、应急车辆、拖车、道路中的碎片或者指挥交通的应急人员；并且
所述评估步骤还包括彼此结合地从所述街道级图像识别所述第一项和第二项，以便证实所述潜在隐患并且将所述潜在隐患分类为交通隐患。
[0016]11.根据方案8所述的方法，其中识别步骤还包括从所述街道级图像识别第一项和第二项，其中所述第一项和第二项中的至少一个从由以下构成的组中选择:道路上的强光、经过车辆上的雪、指示存在雾、烟或大风的阴影或模糊图像、经过车辆的活动擦窗器、撒盐车或扫雪机的存在、模糊或遮挡的车道标记、或大于平均车距或慢于平均车速；并且
所述评估步骤还包括彼此结合地从所述街道级图像评估所述第一项和第二项，以便证实所述潜在隐患并且将所述潜在隐患分类为天气隐患。
[0017]12.根据方案2所述的方法，其中评估步骤还包括根据其对以自动驾驶模式运行并且行驶在所述特殊路段上的车辆的可能严重性或影响来将所述潜在隐患分级。
[0018]13.根据方案2所述的方法，其中来自所述街道级图像的所述第一项和第二项中的至少一个涉及经过车辆的活动雨刷，并且评估步骤还包括通过确定所述经过车辆的活动雨刷和所述第一项和第二项中的另一个是否证明潜在天气隐患的存在来证实所述潜在隐串
■/Q1、O
[0019]14.根据方案I所述的方法，其中响应于所述主车辆被激活或启用自动驾驶模式来执行比较步骤，并且执行步骤还包括在所述主车辆遭遇所述潜在隐患之前对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。
[0020]15.根据方案I所述的方法，其中响应于请求或产生导航路线来执行比较步骤，并且执行步骤还包括在所述主车辆遭遇所述潜在隐患之前对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。
[0021]16.根据方案I所述的方法，其中响应于所述主车辆被驾驶到新的地理区域来执行比较步骤，并且执行步骤还包括在所述主车辆遭遇所述潜在隐患之前对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。
[0022]17.根据方案I所述的方法，其中执行步骤还包括在所述主车辆遭遇所述潜在隐患之前执行至少一个补救行动，其从由以下构成的组中选择:在所述主车辆遭遇所述潜在隐患之前，当所述主车辆正在以所述自动驾驶模式运行时，要求所述主车辆的驾驶员应答警告、对所述自动驾驶模式作出改变或者停用所述自动驾驶模式。
[0023]18.一种增强主车辆的自动驾驶模式的方法，包括如下步骤:
从一个或多个图像源收集街道级图像，并且所述街道级图像属于超过安装在所述主车辆上的传感器的范围的特殊路段；
从涉及所述特殊路段存在的潜在隐患的街道级图像识别第一项和第二项；
根据所述街道级图像评估所述第一项和第二项，并且通过确定所述第一项和第二项是否都证明存在所述潜在隐患来证实所述潜在隐患；以及
将所述潜在隐患保存到存储在电子存储器中的数据集中，以便所述主车辆能够随后访问所述数据集，并且当以自动驾驶模式驾驶所述主车辆时，确定是否存在可能影响所述主车辆的任何潜在隐患。
【附图说明】
[0024]下文将结合附图描述优选的示例性实施例，其中相同的标记表示相同元件，并且在附图中:
图1为供主车辆和多个目标车辆行驶的若干个车行道的示意图，其中主车辆与驾驶增强系统的示例性实施例的部件相互作用；
图2为示出驾驶增强方法的示例性实施例的流程图并且可以与主车辆例如图1的主车辆一起使用；以及
图3为可以根据如图1和图2中所示的驾驶增强系统和方法使用的一个或多个潜在地理区域的图示。
【具体实施方式】
[0025]本文描述的系统和方法可以通过使用街道级图像例如由固定或路边交通摄像头、传感器或其他设备提供的图像，来增强处于自动驾驶模式的车辆的驾驶经历。许多固定交通