车辆车道学习的制作方法

文档序号:11231124阅读:352来源:国知局
车辆车道学习的制造方法与工艺

本发明涉及一种系统和方法,并且更具体地,涉及一种车辆车道学习的系统和方法。



背景技术:

追踪车道标记对于现代机动车辆中的各种驾驶员辅助系统是重要的。例如,车道偏离警告(ldw)可以使用车道标记的追踪来确定车道内车辆的位置,并且如果车辆太接近车道边界或越过车道边界,则可以发出警告信号。然而,车辆缺乏识别车道标记的机构。



技术实现要素:

根据本发明的一方面,提供一种系统,系统包含计算机,计算机具有处理器和存储器,存储器存储由处理器可执行的指令以使计算机被编程为:

从安装到车辆的图像捕获装置接收至少一个车道标记的图像;

根据图像识别车道转变位置;以及

根据关于车道转变位置的数据的历史来控制车辆的转向、制动和加速中的至少一个。

根据本发明的一个实施例,其中计算机被进一步编程为确定从车道标记到车辆的偏移距离。

根据本发明的一个实施例,其中计算机被进一步编程为:

确定车辆的地理位置;以及

在存储器中至少存储车道标记类型、车道标记的图案、偏移距离和车辆的地理位置。

根据本发明的一个实施例,其中计算机被进一步指示用于将车道标记分配给车道标记类别。

根据本发明的一个实施例,其中车道标记类别至少包括有效车道标记或无效车道标记。

根据本发明的一个实施例,其中计算机进一步在车道标记类型是无效图像对象时确定无效车道标记。

根据本发明的一个实施例,其中车道标记至少包括单一未间断线、双重未间断线、单一间断线、双重间断线、间断和未间断线、宽间断线和包含单一间断线的单一未间断线。

根据本发明的一个实施例,其中计算机进一步确定车道标记的变化,并且在存储器中至少存储车道标记类型、车道标记的图案、偏移距离和车辆的地理位置。

根据本发明的一个实施例,其中计算机被进一步指示用于从至少全球定位系统(gps)接收器、航位推算系统和惯性导航系统获取地理位置。

根据本发明的一个实施例,其中地理位置至少是通用横墨卡托(utm)坐标系、军用格网参考系(mgrs)和通用极地球面(ups)系统。

根据本发明的另一方面,提供一种方法,包含:

从安装到车辆的图像捕获装置接收至少一个车道标记的图像;

确认图像满足作为检测到的车道标记的预定检测标准;

确定车道标记类型;

确定车道标记的图案是否已从先前图像改变;

将车道标记的图案与存储在存储器中的一组地理位置及与地理位置相关联的特性进行比较;以及

当车辆驶出公路时,至少控制车辆的转向、制动、加速。

根据本发明的一个实施例,进一步包含确定从车道标记到车辆的偏移距离。

根据本发明的一个实施例,进一步包含:

确定车辆的地理位置;以及

在存储器中至少存储车道标记类型、车道标记的图案、偏移距离和车辆的地理位置。

根据本发明的一个实施例,进一步包含将车道标记分配给车道标记类别。

根据本发明的一个实施例,其中车道标记类别至少包括有效车道标记或无效车道标记。

根据本发明的一个实施例,进一步包含从无效图像对象确定无效车道标记。

根据本发明的一个实施例,其中车道标记至少包括单一未间断线、双重未间断线、单一间断线、双重间断线、间断和未间断线、宽间断线和包含单一间断线的单一未间断线。

根据本发明的一个实施例,进一步包含:

确定车道标记的变化,以及

在存储器中至少存储车道标记类型、车道标记的图案、偏移距离和车辆的地理位置。

根据本发明的一个实施例,进一步包含从至少全球定位系统(gps)接收器、航位推算系统和惯性导航系统获取地理位置。

根据本发明的一个实施例,其中地理位置至少是通用横墨卡托(utm)坐标系、军用格网参考系(mgrs)和通用极地球面(ups)系统。

附图说明

图1是检测左和右道路标志线的公路道路上的示例性车辆的框图;

图2是示出图1的公路道路的一部分的详细框图,包括检测表示公路出口匝道的左车道标记的变化的示例性车辆;

图3是可以预测某些位置处的车辆响应的示例性转变图表;

图4是可以表示图3的示例性转变图表的单元格中的一个的产生的示例性动作矩阵;

图5是可以由车辆的计算机实施的示例性过程的流程图;

图6是可以由车辆的计算机实施的第二示例性过程的流程图。

具体实施方式

学习道路

参照图1,示出了用于在公路车道13上的车辆10的示例性车辆车道标记检测系统5,为了该示例的目的,该车道13是比如围绕城市20的环形公路这样的公路。车辆10车道具有左车道标记11和在右车道标记16的单一未间断线,该左车道标记11是车辆10的左侧的单一间断线(例如,道路上传统涂画的车道标记),在右车道标记16的单一未间断线在出口匝道17变为第二单一间断线19。车辆10具有一个或多个图像捕获装置,比如具有左视点位置线15和右视点位线14的前向摄像机12。

现在参照图2,图2是图1的系统5的详细框图,该框图更好地示出了车辆10左侧的左车道标记11和右侧的单一未间断右车道标记16,该车道标记16在出口匝道17开始时变为第二单一间断线19。还示出了计算机8,该计算机8也可以被称为成像电子控制单元(ecu)。计算机8具有至少一个处理器和存储器,该存储器用来存储计算机指令、寄存器值以及暂时且永久的变量。指令包括用于车道标记的一个或多个预定检测标准。

计算机8还可以包括用来帮助处理器进行信号解释的附加专用处理器,比如图像处理器或数字信号处理器(dsp)。计算机8例如通过车辆通信总线或比如已知的其他车辆网络通信地连接到摄像机12。

当车辆10经过公路车道13时,摄像机12可以大体上连续地捕获前方的公路车道13的图像。计算机8大体上连续地接收公路的图像以及右和左车道标记。计算机8包括程序指令,该程序指令用来确定检测到的转变标识符的出现,例如在右车道标记16是具有50cm宽度的白色实线且左车道标记是具有宽度50cm的虚线时。当右车道标记16变为具有50cm宽度的虚线时,即使左车道标记11没有改变,也可以将几个数据条目记录到存储器中。条目可以包括例如转变的地理位置、变化的车道标记类型、车辆10的方向的变化等。

图3是转变图表25的示例,转变图表25可以由车辆10经过公路车道13时的历史数据组合而成。如本文所使用的术语“转变”包含车辆10改变车道的事件。例如,当车辆10接近第一出口匝道17时,其如图表25中行27中示为i-85和主街的交叉路口,车辆10离开公路车道13的次数是车辆10识别出口匝道17的最后50次中的26次。然而,当车辆10接近行21中识别的第二出口匝道18——其在i-85和中央大道的交叉路口——时,车辆10离开公路车道13的次数是最后50次中的5次。因此,在每个转变位置,即,车辆10经过公路的一部分——其可以是图表25的主题(即,车辆10可以离开、改变车道和/或转弯的地方)并且通过例如车道标记的变化来识别——的情况可以通过转变图表25中的单元格的值来表示。这些值每当车辆10经过转变位置时递增。图表25的“位置列”22识别转变位置的定位,并且“离开次数”列23具有车辆10离开、改变车道或采取一些其他可识别动作的次数。“总行程数”列24具有车辆已在特定路线上行驶的行程的运行总数,并且“最早日期”列26跟踪车辆10遇到列22中所示的转变位置的最早日期。最早日期26可以用来保持图表25现行有效,例如,记录多于一年的任何行程可以从“离开次数”列23和“总行程数”列24移除。

图4是产生的示例性动作矩阵30,该动作矩阵30可以包括用于每个车道转变的条目。产生的动作矩阵30将总计表示的数据映射在转变图表25中,例如,图4的矩阵30中详细示出了行27的转变位置所示的图表25的离开次数列23。更具体地,动作矩阵30表示当车辆10接近出口匝道17时相对于28个距离增量(沿着垂直轴线的索引1至28)的左车道标记11的车辆10位置的图3的示例性转换图表25的单元格中的一个。索引0是被指定为转变位置的参考位置的公路车道13上的位置;索引然后可以表示参考0索引位置沿着公路车道13的预定距离增量,例如1米、3米、5米等。(例如,在矩阵30的索引中具有28行,从一行到下一行的转变表示约3.5米)。矩阵30中的每个单元格中的值因此表示车辆10已处于横向偏移的次数,该横向偏移通过左车道偏移表示,左车道偏移每次在车辆10已通过转变位置的0索引时在竖直轴线上示出,横向偏移的0位置是公路车道13的最左侧车道的最左边界。因此,矩阵30提供车辆10通过出口匝道17的路径的历史,例如在该示例中为40个不同的行程。

如上所述,每当转变发生时,例如当车辆行进通过转变区域时,更新产生的动作矩阵30的适当单元格,表示在每个纵向索引0至28处的横向和纵向位置的单元格将增加1。

因此,矩阵30的每行和每列中的数据提供对车道标记的响应以特定距离索引在车道中的特定横向位置(即,距左车道标记的特定距离)处被记录的次数。因此,随着时间的推移,所产生的动作矩阵30将提供通过转变位置的行进的历史,其中较高的数字表示车辆10倾向于遵循矩阵学习路径的较高概率。例如,参考行31(在索引0处),在横向位置0和纵向索引0的交叉点处提供值“2”,从左到右读取,其中每个相邻框表示车道的宽度约等于20cm(厘米)的段,其可以是公路车道13的宽度的总和,在该示例中约为3.2米。也就是说,车辆10确定它是在公路车道13的最左边,为最后40次通过公路车道13上的该位置中的2次。车辆距左车道标记11为100cm,为40次通过中的1次。车辆距左车道标记11为120cm,1次。车辆距左车道标记11为140cm,8次,并且车辆10距左车道标记11为160cm,13次。继续地,车辆10距左车道标记11为180cm9次、200cm3次、220cm1次、280cm1次和300cm1次。

在下一行中,纵向索引1的行32中,可以看出,车辆10距左车道标记11为160cm14次、距左车道标记11为180-220cm8次和距240-320cm3次。在下一行,行34(纵向索引2)中,可以看出,车辆距左车道标记11为160cm14次、距左车道标记11为180-220cm11次和距240-320cm2次。在行35(纵向索引7),车辆10距左车道标记11为160cm13次、距左车道标记11为180-220cm11次和距240-320cm3次。在行36(纵向索引9),车辆10距左车道标记11为160cm11次、距左车道标记11为180-220cm10次和距240-320cm6次。在行38(纵向索引11),车辆10距左车道标记11为160cm11次、距左车道标记11为180-220cm8次和距240-320cm8次。在行40(纵向索引16),车辆10距左车道标记11为160cm12次、距左车道标志11为180-220cm7次和距240-320cm7次。图4示出了倾向于停留在公路车道13的中间的车辆10,然而,通过注意车辆10在140-300cm列中进入的次数,车辆10离开公路车道13的次数是显而易见。箭头29叠加在图4的中心列上,以表示车辆10停留在公路车道13的中间的倾向。第二箭头28表示当车辆10离开公路车道13并通过出口匝道17离开时的偶然倾向。

当计算机8检测车道标记和车道标记转变时,计算机8可以将车道标记分类为无效车道类别和有效车道类别。有效车道类别可以包括例如单一未间断线、双重未间断线、单一间断线、双重间断线、间断和未间断线、宽间断线、具有表面轮廓的线和包含单一间断线的单一未间断线(asingleunbrokenwithsinglebrokenline)。无效车道标记可以是例如导轨或地标。

车辆10的位置可以通过包括全球导航卫星系统(gnss)或全球定位系统(gps)接收器、航位推算系统、惯性导航系统的若干方法获取,并且可以使用轮胎旋转的数量来计算以确定距已知开始参考点的距离。

gnss是提供具有全球覆盖的自主地理空间定位的卫星系统。它允许小型电子接收器使用通过来自卫星的无线电沿着视线传输的时间信号来确定它们的位置(经度、纬度和高度/海拔)到高精度(在几米内)。信号还允许电子接收器计算当前时间到高精度,这允许时间同步。gps是基于空间的导航系统的美国术语,gps在所有天气条件下、在地球上或附近的任何地方提供位置和时间信息,只要其中有四个或更多个gps卫星的通畅视线。

航位推算是通过使用先前确定的位置或“固定点”来计算当前位置并且基于在经过的时间和航线上的已知或估算的速度推进该位置的过程。车辆10将获取“固定点”并且计算一定时间行进的方向和距离,并且确定车辆10的新位置。内部导航系统是航线绘制辅助装置,该航线绘制辅助装置使用计算机、运动传感器(加速度计)和旋转传感器(陀螺仪)以通过航位推算移动物体的位置、取向和速度(移动的方向和速度)而不需要外部参照来继续计算。

车辆10的地理位置可以处在通用横墨卡托(utm)坐标系、由国际标准化组织(iso)为车辆坐标系定义的车辆坐标系、军事格网参考系统(mgrs)和通用极地球面(ups)系统。utm系统将地球在80°s和84°n纬度之间划分为60个区,每个区的宽度为经度6°。区1覆盖经度180°至174°w;区编号向东增加到区60,区60覆盖经度174°至180°e。60个区中的每个使用横墨卡托投影,该横墨卡托投影可以以低失真映射大的南北范围的区域。通过使用宽度为经度6°(高达800km)的窄区域,并且沿着中心子午线将比例因子减小到0.9996(减少1:2500),变形量在每个区内被保持在千分之一以下。

mgrs是北约军队用于定位地球上的点的地理坐标标准。mgrs源于通用横墨卡托(utm)格网系统和通用极地球面(ups)格网系统,但使用不同的标签约定。mgrs用于整个地球。

ups坐标系与通用横墨卡托(utm)坐标系结合使用以定位地球表面上的位置。与utm坐标系相似,ups坐标系使用在共投影表面上布置的基于度量的笛卡尔格网。

此外,可以使用已知的卡尔曼或其他滤波技术将路径滤入到行驶路径中。例如,提供卡尔曼滤波器可以补偿可以快速“跳跃”但总是保持在实际位置的几米内的噪声读数。另外,由于车辆10被预期为遵循物理定律,所以它的位置也可以通过随时间对其速度进行积分来估算,该速度通过追踪车轮转数和方向盘的角度来确定。如上所述,这是一种称为航位推算的技术。通常,航位推算将提供车辆10位置的非常平滑的估算,但随着小误差的累积,它将随时间漂移。

卡尔曼滤波器可以被认为在两个不同的阶段操作:预测和更新。在预测阶段中,车辆10的位置将根据运动的物理定律(动态或“状态转变”模型)加上由加速器踏板和方向盘产生的任何变化来修改。新的位置估算可以被计算并且被插入到转变图表以及对产生的动作矩阵的更新中。

在操作中,车道标记检测系统5可能错误地确定车辆10正在通过中心中线行进。由于物理上不可能行进穿过固体,所以错误的位置确定将被视为噪声,并且卡尔曼滤波器可以消除和/或抑制这样的假计算的车辆10位置。卡尔曼滤波器可以使用基于车辆10行驶历史的系数,例如,公路车道13上的先前的行程。

车辆10位置的航位推算位置误差部分地与车辆10的速度成比例。这是由于以较高速度的航位推算位置估算的精度的不确定性,因为相比于以较低速度,少量的位置误差以较高速度快速增长。因此,一旦车辆10检测“已知位置”(比如车道标记),系统就可以校正从实际位置的任何航位推算漂移。其他“已知位置”例如可以是车道标记转变、已知交叉路口处的车道标记、道路标志、地标等。

过程流程

图5是示出了捕获车道标记的图像、确定车道中车辆的相对位置和车辆的地理位置并将值存储在转变矩阵中的计算机8的示例性过程100的流程图。

过程100在框105开始,框105也可以跟随框115中或框125。摄像机12捕获公路车道13的前向图像(相对于车辆10)。图像被存储在计算机8上的存储器中,该存储器也可以被称为成像电子控制单元(ecu),并且例如使用比如已知的且被包括在计算机8中的程序指令中的图像识别技术来识别右和左车道标记类型。如上所述,车道标记类型可以包括单一未间断线、双重未间断线、单一间断线、双重间断线、间断和未间断线、宽间断线、具有表面轮廓的线和包含单一间断线的单一未间断线。计算机8通常还可以将无效图像对象与车道标记区分开,例如,计算机8可以确定车道标记不是车道标记,而是护轨。

在框110,计数器递增到表示图像的下一个位置并且其特性已被加载到存储器中。特性可以包括右和左车道标记类型和车辆10的地理位置。

接下来,在框115,计算机8确定存储在框105的最近迭代中的图像是否是捕获的第一图像,并且如果它是捕获的第一图像,则系统将返回到框105并且捕获下一个顺序图像,否则系统100将在框120继续。

接下来,在框120,将当前图像特性与先前图像的特性进行比较,例如,计算机8确定当前右车道标记已从单一未间断线变为单一间断线。如果图像特性存在差异,则过程100在框125继续,否则过程返回到框105。

接下来,在框130,系统100确定车辆10相对于车辆10所在的车道的车道偏移距离,例如,如果车辆10位于公路车道13的中心并且车道是三米宽,则左车道标记偏移可以是相对于车辆10的中心的150cm。另外,车辆10的地理定位可以从上述方法(包括全球导航卫星系统(gnss)或全球定位系统(gps)接收器、航位推算系统、惯性导航系统)确定并且可以使用轮胎旋转的数量来确定距已知的开始参考点的距离来进行计算。

接下来,在框135,计算机将左车道标记偏移、左车道标记类型、右车道标记类型和车辆10的地理位置存储到存储器中。

接下来,在框140,计算机8确定需要收集图像和车道标记数据的行程的段是否完成,并且如果过程100结束,则过程100返回到框105。

图6是示出了用于确定车辆10的位置和出口匝道的计算机8的示例性过程200的流程图。

过程200在框205开始,框205也可以跟随框220或框240。摄像机12捕获公路车道13的前向图像(相对于车辆10)。图像被存储在计算机8上的存储器中。

接下来在框210,计算机8确定车辆10的位置。通常可以使用gnss或从已知开始点的航位推算确定位置。

接下来,在框215,处理器将捕获的图像特性与已知的地理位置及其特性进行比较。例如,当右车道标记16在出口匝道17处从单一未间断线变为第二单一间断线19时。计算机8然后可以确定公路车道13上的车辆10位置。

接下来,在框220,计算机8确定任何最近捕获的图像的特性是否匹配转变矩阵中先前存储的图像的任何特性。如果存在匹配,则过程在框225继续,否则过程返回到框205以从摄像机12捕获并且处理另一图像。

接下来,在框225,过程200可以可选地从摄像机12捕获另一图像,并且提取其车道标记特性。

接下来在框230,针对数据库检查来自框225的可选图像车道特性,以验证车辆10的定位。

接下来,在框235的配置文件中,计算机8将控制信号发送到车辆10,以开始公路车道13出口到出口匝道17上。如果车辆10是自主车辆,则车辆的车载控制和导航系统将通过控制转向、制动和加速中的一个或多个来操纵车辆。如果车辆是非自主车辆,则计算机8将车辆10正在接近期望的出口的警报发送给车辆10和操作者。

换句话说,如果出口和公路路径已经重复行驶,则将存在相对于产生的动作矩阵30的哪个路径是优选路径及其优选行进形状的统计偏好,从特定转变矩阵单元的转变点开始。当检测到特定转变时,可以向驾驶员报告优选的学习决定并且采取行动,除非由驾驶员或乘客取消。

接下来在框240,计算机8验证车辆10是否在出口匝道上。这可以用车道标记的另一图像捕获或通过采用gnss位置来实现。如果车辆处于出口匝道17,则过程在框250继续,否则过程返回到框205。

接下来,在框250,计算机8将消息发送给车辆的车载控制和导航系统以确认出口或将消息发送给操作者。在框250之后,过程200结束。

结论

如本文所使用的,修饰形容词的副词“大体上”意思是形状、结构、测量、值、计算等可以偏离精确描述的几何形状、距离、测量、值、计算等,因为在材料、加工、制造、传感器测量、计算、处理时间、通信时间等方面的缺陷。

计算装置(比如本文所讨论的那些)通常各自包括计算机可执行的指令,其中指令可以通过比如上面所列的那些的一种或多种计算装置来执行,并且用于实施上述过程的框或步骤。计算机可执行的指令可以从计算机程序来编译或解读,计算机程序使用多种程序设计语言和/或技术建立,这些语言和/或技术包括但不限于javatm、c、c++、c#、visualbasic、python、javascript、perl、html、php等中单独一个或结合。通常,处理器(例如,微处理器)例如从存储器、计算机可读介质等接收指令,并且执行这些指令,从而执行一个或多个过程,包括一个或多个在此所述的过程。这样的指令和其它数据可以使用多种计算机可读介质存储和传送。计算装置中的文件通常是存储在计算机可读介质(比如存储介质、随机存取存储器等)上的数据的集合。

计算机可读介质包括参与提供计算机可读的数据(例如指令)的任何介质。这样的介质可以采取许多形式,包括但不限于非易失性介质、易失性介质等。非易失性介质可以包括,例如光盘或磁盘以及其他持续内存。易失性介质可以包括例如动态随机存取存储器(dram),其典型地构成主存储器。计算机可读介质的普遍形式包括,例如软盘(floppydisk)、柔性盘(flexibledisk)、硬盘、磁带、任何其它磁性介质、cd-rom(光盘只读存储器)、dvd(数字化视频光盘)、任何其它光学介质、穿孔卡片、纸带、任何其它具有孔排列模式的物理介质、ram(随机存取存储器)、prom(可编程只读存储器)、eprom(电可编程只读存储器)、flash-eeprom(闪速电可擦除可编程只读存储器),任何其它存储芯片或内存盒,或任何其它计算机可读的介质。

至于在此所述的介质、过程、系统、方法等,应当理解的是,虽然这些过程的步骤等已被描述成根据一定的有序序列发生,但是这样的过程可以实施为以不同于在此所述顺序的顺序来执行所述步骤。进一步应当理解的是,某些步骤可以同时执行,其它步骤可以增加,或在此所述的某些步骤可以省略。换言之,提供在此的过程的描述目的在于说明某些实施例,而不应以任何方式被解释为限制所公开的主题。

因此,应当理解的是,上述说明书旨在说明而不是限制。除了提供的示例,在阅读上述说明书的基础之上许多实施例和应用对于本领域技术人员而言是显而易见的。本发明的范围不应参照上述说明书来确定,而是应该参照在此所附的和/或基于此被包括在非临时专利申请中的权利要求连同这些权利要求所享有的全部等效范围来确定。可以预见和预期未来的发展将会发生在在此所讨论的领域中,且所公开的系统和方法将被结合到这些未来的实施例中。总之,应当理解的是,所公开的主题能够进行修改和变化。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1