同时生成多车道地图并在所生成的地图上定位车辆的系统和方法与流程

本公开大体上涉及一种生成车道地图的系统和方法，更具体地涉及一种同时生成车道地图并定位车辆的系统和方法。

背景技术：

本部分的陈述仅提供与本公开相关的背景信息，并可构成或可不构成现有技术。

车载全球定位系统(gps)导航系统被驾驶员广泛用来确定车辆的位置并且用来提供到选定目的地的视觉方向。gps导航系统利用接收器接收来自gps卫星的多个信号，以确定车辆的当前位置。gps导航系统可基于单位时间内车辆位置的变化计算车辆的方向和速度。gps导航系统在预先加载的地图上定位车辆并且直观地显示在道路上行驶的车辆的表示、车辆的行进方向以及车辆的速度。gps导航系统还可包括惯性传感器，惯性传感器可以在从gps卫星接收足够信号时可能会出现中断的短暂时间段内估计车辆的速度和方向，以确定车辆的位置。当车辆通过隧道、停车场和某些不利的大气条件时，可能会遇到这样的中断。

虽然gps导航系统能够提供给定道路上的车辆的大概位置，但是gps导航系统不会提供定位给定道路上的车道内的车辆的足够的保真度。典型的商业gps导航系统平均精确到15米以内，具有广域增强系统(waas)的更现代的gps导航系统精确到约三(3)米。

虽然大约三(3)米的准确度可足以定位给定道路上的车辆以提供行驶方向，但是仍然需要准确且精确地定位处于一条道路的不同车道内的车辆。利用定位处于特定行驶车道内的车辆的能力，gps导航系统可提前提供将要改变的车道方向，为即将到来的方向变化做准备，例如从高速公路匝道下道。而且，车辆的先进驾驶员辅助系统(adas)可配置成发生以下情况时通知驾驶员：车辆正驶离行驶车道或主车道而驾驶员并未打算如此，例如在变换车道前转向灯未打开时。如果来自gps卫星的信号长时间中断或缺失，则也需要准确且精确地定位车道内的车辆。

技术实现要素：

提供了一种生成车道地图并定位沿道路行驶的主车辆的方法。该方法包括以下步骤：同时捕获远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像；检测远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像的每一个中的多个车道标记线；用存储在数据库中的参考车道标记线识别多个车道标记线中的每一个；融合所识别的车道标记线以生成具有多个相邻车道的全局车道地图；并且在全局车道地图上定位主车道内的主车辆。右视场图像与中距前视场图像和后视场图像重叠，并且左视场图像与中距前视场图像和后视场图像重叠。

在一个方面，远距前视场图像与中距前视场图像重叠。

在另一个方面，该方法还包括以下步骤：检测左视场图像和右视场图像中足够远离主车辆的多个车道标记线，使得一旦将车道标记线融合以生成全局车道地图，在主车辆的左侧和右侧分别生成至少两条相邻车道。

在另一个方面，该方法还包括以下步骤：捕获主车辆的中距前视场图像、右视场图像、左视场图像和后视场图像中的至少一个的鱼眼视图。

在另一个方面，该方法还包括以下步骤：投影主车辆的行驶路线；推断主车道的向前延伸段；以及如果投影的主车辆行驶路线偏离推断的主车道向前延伸段，则激活驾驶员辅助警告系统。

在另一个方面，数据库中存储的参考车道标记线包括单实线、双实线、虚线、双虚线以及具有平行单实线的虚线。

在另一个方面，该方法还包括以下步骤：如果投影的主车辆行驶路线与黄车道标记线或白实线相交，则激活驾驶员辅助警告系统。

在另一个方面，该方法还包括以下步骤：识别与主车道相邻的车道内的至少一辆远程车辆，并且在全局车道地图上定位至少一辆远程车辆相对于主车辆的位置。

在另一个方面，该方法还包括以下步骤：投影至少一辆远程车辆的行驶路线；将投影的至少一辆远程车辆的行驶路线与投影的主车辆行驶路线进行比较；以及如果投影的至少一辆远程车辆的行驶路线与投影的主车辆行驶路线相交，则激活驾驶员辅助警告系统。

提供另一种生成全局地图并定位行驶中的主车辆的方法。方法包括：从主车辆捕获多个重叠的360度视场图像；检测多个重叠图像中的多个车道标记线；用参考车道标记线识别多个车道标记线中的每一个；根据gps信号确定主车辆的位置；检测远程车辆相对于主车辆的方向和距离；以及融合所识别的车道标记线、主车辆和远程车辆的位置，以生成具有多条相邻车道的全局车道地图，以及在全局车道地图上将主车道内的主车辆和远程车辆定位在各自车道内。

在另一个方面，该方法还包括以下步骤：获取关于主车辆的状态的信息，包括主车辆的速度、转向角和偏航率；处理关于主车辆的状态的信息以便投影主车辆的行驶路线；推断主车道的前向延伸段；以及如果在主车辆操作者没有进行预定输入的情况下，投影的主车辆行驶路线在预定时间段内偏离了推断的主车道向前延伸段，则激活驾驶员辅助警告系统。

在另一个方面，该方法还包括以下步骤：投影远程车辆的行驶路线；将投影的远程车辆行驶路线与投影的主车辆行驶路线进行比较；以及如果投影的远程车辆行驶路线与投影的主车辆行驶路线相交，则激活驾驶员辅助警告系统。

在另一个方面，从主车辆捕获多个重叠的360度视场图像的步骤包括：从主车辆同时捕获远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像。

在另一个方面，右视场图像与中距前视场图像和后视场图像重叠，并且左视场图像与中距前视场图像和后视场图像重叠。

提供了一种同时生成全局车道地图并在所生成的全局车道地图上定位主车辆的系统。该系统包括多个图像传感器，该多个图像传感器适用于可操作地从主车辆捕获360度视场图像以检测多个车道标记线；和通信耦合至该多个图像传感器的控制器。控制器包括包含参考车道标记线的数据库和处理器。处理器配置成通过将从360度视场图像检测到的车道标记线与数据库中的参考车道标记线进行比较来识别所述多个车道标记线，并将识别的车道标记线融合到具有多个相邻车道的全局车道地图。

在一个方面，该系统进一步包括用于确定主车辆位置的车辆定位器和配置成检测相邻远程车辆相对于主车辆的位置和距离的测距传感器。控制器通信耦合至车辆定位器和测距传感器。控制器还配置成在全局车道地图上定位主车辆和远程车辆。

在另一个方面，该系统还包括选自声纳装置、激光扫描仪、lidar和接收器的至少一个设备。

在另一个方面，适用于可操作地捕获360度视场图像的多个图像传感器包括前置远距摄像头、前置中距摄像头、右侧中距摄像头、左侧中距摄像头和后置中距摄像头。

在另一个方面，控制器配置成投影主车辆的行驶路线，推断主车道的向前延伸段，以及如果投影的主车辆行驶路线偏离了推断的主车道向前延伸段，则激活驾驶员辅助警告系统。

在另一个方面，控制器还配置成投影远程车辆的行驶路线，将投影的远程车辆行驶路线与投影的主车辆行驶路线进行比较，以及如果投影的远程车辆行驶路线与投影的主车辆行驶路线相交，则激活驾驶员辅助警告系统。

参照下面的说明和附图，其它方面、实例和优点将变得显而易见。

附图说明

根据以下结合附图对示例性实施例进行的描述，上述和其他方面将变得更显而易见并更容易理解，其中：

图1是同时生成全局车道地图并在所生成的地图上定位主车辆的系统的框图；

图2是具有图1中的系统的示例性车辆的俯视图；

图3是由图1中的系统生成的具有多个车道的全局车道地图的示例性图示；

图4是表示同时生成全局车道地图并且在所生成的地图上定位车辆的方法的流程图。

具体实施方式

以下描述在本质上仅仅是示例性的，并非旨在限制本公开、应用或用途。

图1示出了同时生成全局车道地图11并在所生成的全局车道地图11上定位主车辆的系统10的框图。系统10包括与摄像头14通信耦合的控制器12、测距传感器16、车辆状态传感器18、gps接收器20和/或v2x(即v2v、v2i等)接收器22。v2x接收器22可为收发器的一个部件。控制器12接收摄像头14、测距传感器16、车辆状态传感器18、gps接收器20和/或v2x接收器22收集的信息，以生成具有多个车道的全局车道地图11并且在所生成的地图11上将主车辆30和一辆或多辆远程车辆31定位在各自车道内。所生成的全局车道地图11可在人机界面(hmi)24，例如内置显示监视器25上显示。控制器12可编程为投影主车辆30、主车道44和/或远程车辆31的路线，并且如果控制器12确定主车辆30可能存在安全风险，则激活先进驾驶员辅助系统(adas)26。adas26可包括：激活驾驶员辅助视觉和/或音频警告系统35以提醒驾驶员注意危险、和/或激活车辆系统，例如紧急制动系统33。控制器12还可将关于主车辆30的状态的信息传输至路侧单元(rsu)28或传输至类似配备的车辆。系统10可利用现代车辆中常见的传感器，例如gps导航系统、声纳测距/停车传感器、和后置/盲点摄像头。

图2示出了配备有图1中的系统10的示例性主车辆30。出于说明性的目的，示出了客运型车辆；然而，在不偏离本公开的范围的情况下，该车辆可为卡车、运动型多用途车、厢式货车、房车或任何其它类型的车辆。主车辆30包括前置远距摄像头32、前置中距摄像头34、右侧中距摄像头36、左侧中距摄像头38和后置中距摄像头40。每个上述摄像头32、34、36、38、40都配置成捕获各自摄像头的视场或可见覆盖区域内的可见光光谱中和/或光谱的非视觉(例如红外)部分中的视觉信息。更具体地说，每个上述摄像头32、34、36、38、40都配置成捕获从印在或涂在公路路面上的标记线反射的光波，例如限定主车辆30目前占用的即时车道或主车道44的车道标记线42a、42b或车道标记线段、或将一个或多个车道47、49、54、56限定至图3中示出的主车道44的右侧和左侧的车道标记线42a、42b、42c、42d、42e、42f。上述摄像头32、34、36、38、40还配置成在各自摄像头32、34、36、38、40的视场46、48、50、52、54范围内捕获对象，例如远程车辆31，和路上对象，例如交通桶或锥(未示出)的图像。

图3示出了五个摄像头32、34、36、38、40所观察到的主车辆30周围的视场46、48、50、52、54的实例。前置远距摄像头32捕获主车辆30的圆弧前部的扩展范围的第一视场46。第一视场46捕获限定主车辆30正行驶的主车道44的车道标记线42a、42b。扩展范围应在主车辆30前方足够远的最小距离处，这样当adas26警告操作者/驾驶员有静止对象时，主车辆30的操作者/驾驶员便有足够的时间反应并且进行制动，以便停驶主车辆30。作为非限定性实例，美国国家公路交通安全管理局(nhtsa)出版的2015年8月版“safetyinnumbers”估算出使以70英里/小时的速度在干燥路面上行驶的车辆停车需要长达387英尺。应该认识到，其它因素，如道路条件、天气、制动和轮胎可能会显著影响停车距离。因此，优选将合理的安全系数加至前置远距摄像头32的扩展范围。

相对于位于主车辆30的圆弧前部的远距摄像头32，前置中距摄像头34在中距捕获第二视场48。第二视场48捕获限定主车辆30前方的主车道44的车道标记线42a、42b以及限定紧临主车道44左侧和右侧的车道47、49的成对车道标记线42c、42a和42b、42d。与前置中距摄像头34类似，相对于处于主车辆的圆弧后部的远距摄像头32，后置中距摄像头40在中距捕获第三视场50。第三视场50捕获限定主车辆30后方的主车道44的车道标记线42a、42b以及限定紧邻主车道44左侧和右侧的车道47、49的成对车道标记线42c、42a和42b、42d。右侧中距摄像头36和左侧中距摄像头38分别捕获车辆30的左侧和右侧的圆弧中的第四视场52和第五视场54。第四视场52捕获限定紧邻主车道44左侧的至少两个(2)车道54、47的车道标记线42e、42c、42a。第五视场54捕获限定紧邻主车道44右侧的至少两个(2)车道49、56的车道标记线42b、42d、42f。

第一视场46与第二视场48部分重叠。第二视场48与第四视场52和第五视场54部分重叠。第四视场52和第五视场54与第三视场50部分重叠。为了确保视场46、48、50、52、54重叠，一个或多个中距摄像头34、36、38、40可包括鱼眼镜头，以捕获大约180至190度的宽视场。图像的重叠提高了检测到的车道标记线的确定性。优选右侧中距摄像头36和左侧中距摄像头38捕获具有大约190度的角γ的宽视场，以便捕获车辆30可能具有的任何盲点。

参考图1，摄像头32、34、36、38、40与位于主车辆30上的控制器12通信耦合。控制器12包括处理器58、非暂时性计算机可读存储器60以及数据库62。应该认识到，控制器12可采用包括专用集成电路(asic)的模拟和/或数字控制电路，以处理摄像头32、34、36、38、40的输入数据。还应该认识到，asic处理器可内置在每个所述摄像头32、34、36、38、40的电路中以处理图像。

存储器60可存储数据库62和处理器58所实现的多个例行程序。存储在数据库62中的信息包括由美国运输部定义的用于向道路使用者传送信息的参考道路标记线。示例性参考道路标记线包括分隔对向交通流的黄线，其中实心黄线表示禁止通行，而黄色虚线表示允许通行。其它示例性标记线包括分隔同向行驶的车道的白线，其中双白线表示禁止变道，单白线表示不鼓励变道，而白虚线表示允许变道。虚线和实线的组合包括单实线、双实线、虚线、双虚线和具有平行单实线的虚线。数据库62还可以包含在道路上可以找到的对象的参考图像，例如机动车辆、基础设施对象和行人。

如果可以，主车辆30上的gps接收器20从gps卫星21接收多个gps信号，以确定主车辆30的经度和纬度以及主车辆30的速度和行驶方向。主车辆30的位置、速度和行驶方向在电子地图上显示，电子地图可预先加载在gps接收器20上或存储在控制器12的存储器60中。示例性车辆可包括与控制器12通信耦合以确定车辆状态的多个车辆状态传感器18，包括速度传感器18a、转向角传感器18b和惯性测量单元(imu)18c。存储器60可包含一个或多个例行程序，该例行程序由所述处理器58执行以便基于主车辆30的速度传感器18a、转向角传感器18b和惯性测量单元(imu)18c收集的信息投影主车辆30的路线。在gps信号可能暂时受阻的短时间内，这可能是有用的。

主车辆30还包括多个通信耦合至控制器12的测距传感器16。传感器的目的是检测与主车辆30相邻的车道上的对象。每个测距传感器16可包括能够检测对象(例如邻近的远程车辆31)与主车辆30之间的距离和方向的任何测距技术，包括雷达16a、lidar16b、声纳16c等。仅举例来说，主车辆30的四个角的每一个角上均安装有所示的声纳测距传感器16c。参考图3，示为安装在主车辆30的右前角的传感器16c检测包括车辆的前侧和右侧的检测区域内的圆弧中的对象。同样，安装到主车辆30的左前角的传感器16c检测包括车辆的前侧和左侧的覆盖区域内的圆弧中的对象。优选的是，测距传感器16的检测范围足以检测超出一定距离的远程车辆31，该距离至少是主车辆30的右侧和左侧的两条车道的距离。优选的是，前测距传感器的有效检测范围应在主车辆30前方足够远的最小距离处，这样当感知到和/或被告知有静止对象时，主车辆30的操作者/驾驶员便有足够的时间反应并且进行制动，以便停驶主车辆30。

主车辆30可包括通信耦合至控制器12的接收器22。接收器22可包括电路，该电路配置成使用wi-fi和/或用于与路侧单元通信的专用短程通信(dsrc)协议来接收信息，例如车道关闭、与施工有关的车道偏移、巷道泥石流、熄火车辆，和/或与类似装备的远程车辆进行通信以便确定这种远程车辆的位置和状态。

图4示出了同时生成具有多条车道的全局车道地图11并在所生成的全局车道地图11上定位主车辆和远程车辆的方法100的流程图。此方法100可以是控制器12的存储器60中包含的例行程序64，并且可由处理器58执行。

方法100从步骤102开始，此时主车辆30正沿着道路行驶。步骤104、110、114、118和120同时开始。当主车辆30正行驶时，方法100可以连续地重复以实时生成全局地图并定位主车辆。

在步骤104，正在行驶的主车辆30上的摄像头14同时捕获主车辆30的远距前视场图像46、中距前视场图像48、后中距视场图像50、左中距视场图像52和右中距视场图像54。左中距视场52捕获足够远离主车辆30的车道标记线以限定紧邻主车辆30左侧的至少两个(2)车道。右中距视场54捕获足够远离主车辆30的车道标记线以限定紧邻主车辆30右侧的至少两个(2)车道。

在步骤106，处理器58分析来自步骤104的视场图像46、48、50、52、54。处理器58首先检测任意车道标记线42以及每个视场图像46、48、50、52、54中的对象。然后处理器58将每个检测到的车道标记线42和对象与存储在数据库62中的参考车道标记线和对象进行比较，以识别车道标记线的类型(例如实线或虚线)、以及对象(例如远程车辆31)。

在步骤110，测距传感器16检测紧邻主车辆30的对象，例如正在与主车辆30的右侧和左侧相邻的车道上行驶的远程车辆31。处理器58基于安装在主车辆30上的测距传感器16的位置来确定被检测对象相对于主车辆30的相对位置和距离。

在步骤112，处理器58将在步骤110中检测到的相邻对象与步骤106中的对应的所识别的对象进行融合。处理器58可以运行存储在存储器60中的例行程序以连续监视对象的位置和对象与主车辆30的距离。

在步骤114，gps接收器20接收来自gps卫星21的多个gps信号。基于该卫星信号，gps接收器20或处理器58确定主车辆30的位置并且将主车辆30定位在数据库62中存储的预先加载地图的道路上。

在步骤118，确定主车辆30的状态。车辆状态传感器18收集关于车辆状态的信息，如车速、转向角、方向、偏航等。

在步骤120，接收器22从rsu和/或具有v2v通信能力的远程车辆接收信息。接收的信息可包括车道关闭、事故、施工和远程车辆的位置。

在步骤122，处理器58采用基于递归贝叶斯的方法(例如扩展卡尔曼滤波算法)融合步骤106中识别的车道标记线42；步骤112中识别的对象、对象位置、主车辆到对象的距离；步骤114中路上的主车辆30的位置；步骤118中主车辆的状态信息；以及步骤120中的道路信息，以便生成具有多条相邻车道的全局车道地图11。主车辆30和相邻车辆31定位在全局车道地图11上的各自车道范围内。

在步骤124，执行存储器60中存储的例行程序的处理器58投影主车辆30的路线。步骤118中连续收集的关于车辆的状态的信息可用于计算主车辆30的最可能的行驶路线。

在步骤126，处理器58推断主车道44的路线或延伸段。步骤106中连续收集的关于车道标记线的信息、步骤114中主车辆30在预先加载的地图上的位置信息、以及步骤120中的道路信息可用于计算主车道的最可能的延伸段。

在步骤128，处理器58投影相邻车辆的路线。步骤112中被检测对象相对于主车辆30的相对位置和距离可用于计算远程车辆31相对于主车辆的距离与方向的变化率。

在步骤130，处理器58将主车辆30的投影路线与推断的主车道44路线和投影的相邻远程车辆31的路线进行比较。

在步骤132，如果主车辆30的投影路线投影为偏离推断的主车道44路线，而无主车辆30操作者意图的指示，例如激活转向信号，和/或如果主车辆30的投影路线投影为与相邻远程车辆31的投影路线相交，则处理器58激活adas的一个或多个部件，例如主车辆33的驾驶员视觉/音频警告系统、紧急制动系统等。

本文公开的系统10和方法100提供的优点是提高了将主车辆30定位在行驶道路上的主车道44范围内的保真度。该系统10和方法100还提供了以下优点，即提高了将与主车辆30相邻的远程车辆31定位在各自行驶车道范围内的保真度。在保真度提高的情况下，主车辆30可推断主车道44的路线并投影主车辆30和远程车辆31的行驶路线，且如果控制器12确定主车辆30马上会有危险，则激活adas。

然后，可重复方法100以连续实时地生成全局地图并对主车辆进行定位，以及监测道路条件和相邻车辆，以激活adas。

本发明的描述在本质上仅仅是示例性的，因此未偏离本发明的主旨的变型应包括在本发明的范围内，而不应将这种变型视为背离了发明的精神和范围。虽然已经详细描述了实施所请求保护的本发明的一些实例和实施例，但存在用于实践所附权利要求中限定的本发明的各种替代设计和实施例。