专利名称：使用前视和后视摄像机的车道融合系统的制作方法
技术领域：
本发明总的来说涉及一种用于车辆的车道位置方法和系统，更具体地，涉及一种用于主车辆的车道位置方法和系统，其使用来自前视和后视摄像机的图像数据、来自车辆动态传感器的数据的融合来计算车道参数，包括车道曲率和相对于车道参考路线的主车辆位置以及方位。
背景技术：
许多现代车辆包括用于各种目的的车载摄像机。一个普遍应用是前视摄像机，其可以提供图像以用在防撞系统、车道偏离警告系统、侧向控制系统、或者这些或其它系统的组合中。然而，可能出现阻止从前视摄像机获得良好的图像的情况。这些情况包括在近距离处的阻挡大部分摄像机视野的领先车辆、以及使摄像机图像模糊的低能见度天气情况， 例如雨和雾。在这些情况下，当不能从前视摄像机获取可用的图像时，依赖于摄像机的图像作为输入的系统不能运行。同时，许多较新的车辆还装备有后视摄像机，其通常仅用作备用辅助设备，例如为驾驶员提供视频图像以便看见车后(情况)。虽然这些后视摄像机一般具有比用于其它图像数据采集目的更充足的分辨率和视野，但是直到现在它们还没有被用来为车道位置和侧向控制应用补充来自前视摄像机的图像。这就有机会使用来自后视摄像机的可用的图像数据，并将其与来自前视摄像机和其它传感器的图像数据结合，来提供更加稳健的侧向传感系统。得到的双摄像机系统不仅在正常情况下充分利用更多的输入数据，而且当情况不利于前视成像时提供可用的图像数据源以允许系统的运行。
发明内容
根据本发明的教导，公开了一种用于计算车道曲率和相对于车道边界的主车辆位置和方位的方法和系统，其使用来自前视和后视摄像机的图像数据、和车辆动态传感器作为输入。主车辆包括位于前面和后面处的摄像机，其目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括车辆动态传感器，其包括车速和横摆率。开发了这样的方法，其计算车道曲率和相对于车道参考路线的主车辆位置，其中车道参考路线是由从前和后摄像机图像的融合所提取的车道边界得到的。本发明中提供的数学模型包括卡尔曼过滤追踪例程和粒子过滤器追踪例程。从下边的描述和随附权利要求并结合附图，本发明的额外特征是显而易见的。本发明还提供以下方案1. 一种用于确定车道中车辆位置的方法，所述方法包括提供来自车辆车载的前视摄像机模块的数据；提供来自车辆车载的后视摄像机模块的数据；提供来自车辆车载的车辆动态传感器的数据；和
将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合成组合的车道几何信息集以确定车道中车辆的位置。2.根据方案1的方法，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、和到左车道边界和右车道边界的位移。3.根据方案1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前面的成熟的车道感测系统的前面的车道几何信息，而提供来自后视摄像机模块的数据包括提供来自后面的成熟的车道传感系统的后面的车道几何信息。4.根据方案3的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用卡尔曼滤波器例程来联合地估算车道几何信息和前视摄像机模块和后视摄像机模块的未对准角度。5.根据方案1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前摄像机的前图像数据，提供来自后视摄像机模块的数据包括提供来自后摄像机的后图像数据。6.根据方案5的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括寻找前向图像数据和后向图像数据中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。7.根据方案6的方法，其中，寻找前向图像数据和后向图像数据中的高密度像素包括使用高斯金字塔例程，其中在不同的空间尺度处的二进制图像彼此相减。8.根据方案6的方法，其中，将所述高密度像素投影在车辆坐标框架中包括使用迭代程序以移除径向和切向变形，和旋转和平移变换程序，以在车辆坐标框架中生成多个高密度像素。9.根据方案6的方法，其中，从高密度像素中检测路缘和车道线包括使用相似图和深度优先搜索例程，其将相邻的高密度像素聚类成线。10.根据方案9的方法，其中，从高密度像素中检测路缘和车道线还包括使用最小二乘例程使线与线段或弧相适配。11.根据方案6的方法，其中，将所述路缘和车道线连接成车道包括使用应用于路缘和车道线的最小二乘例程寻找车道的曲率中心。12.根据方案11的方法，其中，追踪车道几何信息包括使用直方图例程计算到左车道边界和右车道边界的位移，并且使用曲率中心计算车道曲率和相对于车道切线的车辆方位。13.根据方案5的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用卡尔曼滤波器。14.根据方案5的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用粒子滤波器。15. 一种用于确定车道中车辆位置的方法，所述方法包括提供来自车辆车载的前视摄像机的图像数据；提供来自车辆车载的后视摄像机的图像数据；和将来自前视摄像机和后视摄像机的图像数据融合成组合的车道几何信息集以确定车道中车辆的位置。16.根据方案15的方法，其中，将来自前视摄像机和后视摄像机的数据融合包括寻找图像数据中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。17.根据方案15的方法，，车道几何信息包括车道曲率、相对于车道切线的车辆方位、和到左车道边界和右车道边界的位移。18. 一种用于确定车道中车辆位置的系统，所述系统包括第一摄像机，用于捕获来自车辆的前视的图像；第二摄像机，用于捕获来自车辆的后视的图像；和处理器，其配置为接收来自第一摄像机和第二摄像机的图像，并使用来自第一摄像机和第二摄像机的图像的融合来计算车道几何信息。19.根据方案18的系统，其中，处理器寻找；来自第一摄像机和第二摄像机中的图像中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从所述高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。20.根据方案18的系统，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、以及到左车道边界和右车道边界的位移。
图1是使用前和后摄像机及其它输入源的车辆侧向控制系统的框图；图2是主车辆的侧向控制的双轮车模型的示图；图3是显示了侧向控制模型的多种关键参数的主车辆的示图；图4是示出如何实施车辆侧向控制模型的控制框图；图5是使用双摄像机车道融合方法的车辆侧向控制的系统框图；图6是使用来自双摄像机的输入的车道融合系统的第一实施例的框图；图7是使用来自双摄像机的输入的车道融合系统的第二实施例的框图；图8是示出对于已经检测到若干短线和一条长弧的场景的车道线表达的示例的示图；图9是示出了如何计算主车辆相对于车道边界的位移的直方图；图10是用在图7的车道追踪模块中的卡尔曼滤波器追踪方法的流程图；以及图11是用在图7的车道追踪模块中的粒子滤波器追踪方法的流程图。
具体实施例方式下面关于使用前视和后视摄像机的车道融合系统的本发明实施方式的讨论实质上仅仅是示例性的，其决不是为了限制本发明或其应用或使用。许多现代车辆包括前视摄像机，和在应用例如车道偏离警告和侧向控制辅助中使用来自前视摄像机的图像数据的系统。然而，来自前视摄像机的图像可能被领先车辆妨碍， 或者被阳光、雾、雨、或雪遮蔽，其降低了依赖于图像的应用的可靠性。假定增加可用的后视摄像机，所述后视摄像机经常主要用作备用辅助设备，则使用后视摄像机图像数据作为前视摄像机图像数据的补充是很有意义的。与GPS和数字地图数据、车辆动态传感器、和基于雷达的或能够检测道路上主车辆前边的车辆的其它系统一起，前视和后视摄像机图像能够使用在高级应用中以提高安全和车辆控制。在一种方法中，数据源直接用在车辆侧向控制应用中。图1是通过使用前视和后视摄像机和其它数据源用于车辆的侧向控制的系统10的框图。如下面将要讨论的，系统10 使用来自前视摄像机12和后视摄像机14的图像数据。领先车辆位置系统16，其可以是长距离雷达(LRR)或其它类型的系统，追踪领先车辆的位置，以便估计道路的路线。来自基于 GPS的导航系统或数字地图18的道路曲率信息为系统10提供了另一个数据源。来自前视摄像机12、后视摄像机14、领先车辆位置系统16和数字地图18的输入都由车辆侧向控制模块20使用，该控制模块20的运行将在下面详细讨论。图2是用于车辆侧向控制的双轮车(bicycle)模型30的示图，其通过在车辆的中心线处将每个车轴的两个轮子并成一个轮得到。图3是控制模型40的示图，控制模型40 向双轮车模型30增加更多细节。在图2和图3中相同的部件和尺度共用相同的参考标记， 这将一起讨论。下面的表提供了图2和3中所示出的部件和尺度的索引，包括其参考标记和描述。
参考标己符号描述30n/a双轮车麵40n/a控制模型50n/a主车辆52n/a誦台54n/a后轮胎56n/a重心点60n/a车道参考路线62K车道曲率64AyF前侧向位移66Δγτ后侧向位移68dF重心之前的纵向距离
权利要求
1.一种用于确定车道中车辆位置的方法，所述方法包括提供来自车辆车载的前视摄像机模块的数据；提供来自车辆车载的后视摄像机模块的数据；提供来自车辆车载的车辆动态传感器的数据；和将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合成组合的车道几何信息集以确定车道中车辆的位置。
2.根据权利要求1的方法，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、和到左车道边界和右车道边界的位移。
3.根据权利要求1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前面的成熟的车道感测系统的前面的车道几何信息，而提供来自后视摄像机模块的数据包括提供来自后面的成熟的车道传感系统的后面的车道几何信息。
4.根据权利要求3的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用卡尔曼滤波器例程来联合地估算车道几何信息和前视摄像机模块和后视摄像机模块的未对准角度。
5.根据权利要求1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前摄像机的前图像数据，提供来自后视摄像机模块的数据包括提供来自后摄像机的后图像数据。
6.根据权利要求5的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括寻找前向图像数据和后向图像数据中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。
7.根据权利要求6的方法，其中，寻找前向图像数据和后向图像数据中的高密度像素包括使用高斯金字塔例程，其中在不同的空间尺度处的二进制图像彼此相减。
8.根据权利要求6的方法，其中，将所述高密度像素投影在车辆坐标框架中包括使用迭代程序以移除径向和切向变形，和旋转和平移变换程序，以在车辆坐标框架中生成多个高密度像素。
9.一种用于确定车道中车辆位置的方法，所述方法包括提供来自车辆车载的前视摄像机的图像数据；提供来自车辆车载的后视摄像机的图像数据；和将来自前视摄像机和后视摄像机的图像数据融合成组合的车道几何信息集以确定车道中车辆的位置。
10.一种用于确定车道中车辆位置的系统，所述系统包括第一摄像机，用于捕获来自车辆的前视的图像；第二摄像机，用于捕获来自车辆的后视的图像；和处理器，其配置为接收来自第一摄像机和第二摄像机的图像，并使用来自第一摄像机和第二摄像机的图像的融合来计算车道几何信息。
全文摘要
本发明涉及使用前视和后视摄像机的车道融合系统，具体地，根据本发明的教导，公开了一种用于计算车道曲率和相对于车道边界的主车辆位置和方位的方法和系统，其使用来自前视和后视摄像机的图像数据和车辆动态传感器作为输入。主车辆包括位于前面和后面处的摄像机，其目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括车辆动态传感器，其包括车速和横摆率。开发了一种方法，其计算车道曲率和相对于车道参考路线的主车辆位置，其中车道参考路线是由从前和后摄像机图像的融合所提取的车道边界得到的。本发明中提供的数学模型包括卡尔曼过滤追踪例程和粒子过滤器追踪例程。
文档编号B60W40/06GK102398598SQ20111025800
公开日2012年4月4日 申请日期2011年7月20日 优先权日2010年7月20日
发明者S·曾 申请人:通用汽车环球科技运作有限责任公司