使用街道级图像增强车辆的自动驾驶模式的方法_3

文档序号:8488562阅读:来源:国知局
其他部件、设备、模块、系统等通信,并且可以用来实施帮助构成本文描述的驾驶增强方法的一些、大多数或甚至全部电子指令或步骤。控制模块74可以是能够处理电子指示的任意类型的设备,并且可以包括一个或多个处理器、微处理器、微控制器、主处理器、控制器、车辆通信处理器以及专用集成电路(ASIC)。控制模块能够执行实现各种车辆功能的控制的各种类型的数字存储指示,例如存储在存储器中的软件或固件程序。
[0034]根据具体实施例,远程信息处理单元72/或控制模块74可以是独立的车辆电子模块(例如,传感器控制器、对象检测控制器、安全控制器等),可以是结合或包括在另一个车辆电子模块(例如,自动驾驶控制模块、主动安全控制模块、制动控制模块、转向控制模块、发动机控制模块等)内,或者可以是较大网络或系统(例如,自动驾驶系统、适应性巡航控制系统、车道偏离警告系统、主动安全系统、牵引力控制系统(TCS)、电子稳定性控制(ESC)系统、防抱死制动系统(ABS)等)的一部分,这里仅列举出几种可能性。因而,远程信息处理单元72/或控制模块74不被限制为任意一个具体实施例或布置,而是可以由本方法使用来控制车辆的操作的一个或多个方面。
[0035]现在回到图2,示出了驾驶增强方法100的实施例,其可以使用由固定交通摄像头的网络提供的街道级图像,来识别位于超过车载传感器的视场的位置的潜在危险或隐患,并且响应于此来提供提前警告或采取一些其他补救行动。再次,应该认识到,方法100可以与以自动驾驶模式或手动驾驶模式运行的主车辆一起使用。
[0036]以步骤110开始,该方法从一个或多个固定交通摄像头接收高分辨率和/或高清晰度街道级图像。为了简洁,术语“高清晰度”在本申请的其余部分中将用来表示“高清晰度”、“高分辨率”或两者,如以上定义的那样(之前已经说明了这些术语在本文中可互换地使用)。在步骤110的示例性实施例中,从固定交通摄像头12 - 30接收车行道Rl的街道级图像,并且从固定交通摄像头36 - 50接收车行道R2的街道级图像。街道级图像可以直接从经由因特网或一些其他通信网络连接到后端设备52的固定交通摄像头12 - 30和36 —50接收,或者图像可以通过一些监控中心或智能交通系统(例如,由交通部门或收费公路操作者管理的中心或系统)间接地接收。如以上提到的那样,步骤110也可以从一个或多个可选图像源60接收图像和/或其他信息。
[0037]本领域的技术人员将会认识到,街道级图像例如在步骤110中接收的街道级图像时常伴随有帮助将图像转换成更好的文本的某些数据或信息。例如,每次执行步骤110,后端设备52可以从固定交通摄像头12 - 30和36 — 50的每个接收信息包、消息、文件和/或其他数据传输,其包括道路图像以及如下的一些组合:识别拍摄图像的具体摄像头的摄像头识别码、对应于图像是何时拍摄的时间戳、和/或指示拍摄图像的摄像头的位置的摄像头位置。后端设备52可以维护包括所有已知固定交通摄像头的正在监控的各个道路的地图或数据库,以便如果接收到具有具体摄像头识别码的图像,那么可能就不需要还收集摄像头位置。当然,可能伴随图像的数据的上述示例不意味着是限制性的,因为其他数据或信息也可以带有图像(例如,摄像头角度或朝向)。摄像头识别码和/或位置数据可以由本方法使用来将各个图像组织成离散的地理区域或地区。当从成打、成百或者甚至可能成千的不同固定交通摄像头接收大量的街道级图像时,这样可能是特别有用的,并且本方法试图以高效、实用且有用的方式组织这些图像,这将更详细地描述。
[0038]步骤110可以由方法100以任意适当的频率执行或实施,而不限于如图2所示的每种方法只出现一次的图示。换言之,步骤110可以在后台中持续地运行,以便根据适当的频率从各个固定交通摄像头定期地收集街道级图像,即使正在以不同的频率执行方法100的其他步骤。图2中的流程图表明,每次执行步骤120时执行步骤110,然而可以是这样的,如果这些步骤的其中一个比另一个需要更多的处理器或者更加资源密集,则以不同的频率执行。此外,步骤110可以从某些固定交通摄像头比从其他固定交通摄像头获得图像更频繁地(例如,设置在高交通量道路上的摄像头、设置在正在经历施工工程的道路上的摄像头、与相邻的摄像头远离地间隔开等的摄像头等)收集街道级图像。在另一个可能示例中,步骤110交错或者以其他方式分割图像收集处理,以便它不试图同时从大摄像头网络中的所有固定交通摄像头收集街道级图像。前述示例意味着展示一些步骤110可以从不同的固定交通摄像头接收或者以其他方式获得街道级图像的潜在方式,并且它们意味着强调步骤110不限于任何具体的实施例。一旦已经接收到街道级图像,该方法就前进到步骤120。
[0039]接下来,步骤120通过识别在特殊路段中的一个或多个项并且评估那些项来处理之前接收的街道级图像,以便识别该特殊路段存在的潜在危险或隐患。一些、大多数或全部步骤120可以在后端设备52处执行,但是这不是强制性的,因为可以在将街道级图像提供给设备52之前执行某些图像处理步骤。所采用的具体图像处理技术将受到被处理的街道级图像的类型、格式和/或内容的影响。例如,如果固定交通摄像头或其他图像源提供实时流式视频,那么步骤120可以在处理之前从该视频提取静止图像,或者可以处理流式视频自身。并且,步骤120可以采用一起处理或评估两个或更多街道级图像的技术,例如当图像来自同一交通摄像头(例如,在不同时间捕捉的图像)或来自不同摄像头(例如,由具有接近或交叠视场的相邻摄像头捕捉的图像)时。处理多个图像可以为该方法提供一些程度的冗余或证实,这在识别潜在的危险或隐患的存在和潜在地反应于潜在的危险或隐患的存在时是特别有用的。
[0040]为了例示这点,考虑固定交通摄像头16、18或14、18在大约相同时间拍摄一节道路Rl的街道级图像的示例。步骤120可以使用立体成像或其他技术来共同地处理这些图像,以便获得该特殊路段的更全面且更详细的街道级图像或图片。还可以基于各个街道级图像来开发2D或甚至3D模型,其中随着接收后续的街道级图像来更新该模型。在街道级图像的可选调和之外,可以处理或处置图像本身以便更好地将它们准备用于后续评估。可以使用任何适当的图像处理技术,包括但不限于取阈值、边缘检测、变换、匹配、滤波、分段、分类技术、对象和特征检测、表面摩擦预测、频率波形分析、以及本领域已知的任何其他技术。潜在图像处理和其他技术的一些示例提供在2003年第21期Image and Vis1n Computing第 359 — 381 页 Kastrinak1、Zervakis、Kalaitzakis 的“A Survey of Video ProcessingTechniques for Traffic Applicat1ns”中,其内容通过引用并入本文。
[0041]此时,步骤120可以评估在街道级图像中识别的项,以便将本方法可能希望解决的任何潜在危险或隐患分类。可以以许多不同的方式来实施这些隐患的分类。例如,可以将基于在步骤120中从街道级图像提取的项的潜在隐患分类成一个或多个预定类或组,例如,施工隐患、交通隐患以及天气隐患,这里仅列举出几种可能性。这些类可以不是完全排他的,因为一个隐患或事件可以既认为是施工隐患又认为是交通隐患,并且根据本方法的【具体实施方式】,相应分类可以与下面所描述的分类不同。还应该认识到,可以将隐患或危险分类成多个类并且然后继续本方法。该具体实施例可以允许更宽泛的严重性确定,或者根本不确定严重性,这将在下面更全面地描述。
[0042]当在本文中使用时,术语“施工隐患”广义地包括来自街道级图像的任何物体、人、情况、事件、标记和/或其他项,它们表明存在道路施工或道路修护。潜在施工隐患的一些非限制性示例包括:施工桶、路障、车道关闭、车道偏移、车道标记遮挡、各种临时和永久标记(绕行标志、闪光指示箭头或消息标志等)、施工设备(锄耕机、前端装载机、推土机、车辆、发电机等)、工作人员、以及来自基地导航图的变更,这里仅列举出几种情况。可以从街道级图像提取并且指示特殊路段上的施工的任何项或物体可以构成施工隐患。例如,街道级图像可以用来确定具体车道或路段的实际曲率或其他特性,其然后可以与导航或地图数据比较,以便确定是否具有指示车道偏移或其他施工事件的偏差。不同类型的施工隐患可以具有不同等级的严重性或重要性,并且这样可以被分配或不分配权重。例如,可以给道路关闭或路障分配比施工桶更高的严重性等级。隐患的数量或程度也影响严重性。例如,可以将十个或更多的施工桶认为是严重隐患,但是将少于十个的施工桶仅认为是轻微隐患。分配或归因于具体施工隐患的严重性可以影响所采取的相应补救行动,如将说明的那样。在另一个示例中,可以使用障碍物的位置来确定施工区域是不是有效的(例如,如果障碍物离开路边,那么这可以指示无效的施工区域)。在具体实施例中,可以将施工隐患描绘成双向或单向隐患。例如,如果街道级图像显示出存在于具体公路的北行车道上的道路工作人员,那么施工隐患可以仅归因于北行车道并且不归因于南行车道,即使它们位于同一地理区域中。可以将把四车道道路减少到两车道道路的施工工程认为是双向施工隐患。
[0043]当在本文中使用时,术语“交通隐患”广义地包括来自街道级图像的任何物体、人、情况、事件、标记和/或其他项,它们表明存在某些交通情况。交通隐患可以包括但不限于交通堵塞或阻塞、交通图、道路中的固定或缓慢移动物体(例如损坏或抛锚车辆)、应急车辆、拖车、道路中的碎片(例如,掉落的树枝、电力线路等)、指挥交通的应急人员、与正常交通流不一致的移动车辆路径等。与施工隐患相同,可以对交通隐患分配严重性等级或分配权重,并且也可以被认为是双向或单向的。在一个示例中,本方法使用来自一个或多个固定交通摄像头的街道级图像,来识别和评估特殊路段上的一组
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1