专利名称：具有前摄像机和后摄像机的稳健的车辆侧向控制的制作方法
技术领域：
本发明总的来说涉及一种用于车辆的侧向控制方法和系统，更具体地，涉及一种用于主车辆的侧向控制方法和系统，其使用来自前摄像机和后摄像机的图像数据、数字地图、和关于领先车辆的位置的信息来使得能够闭环控制主车辆的转向以便跟随道路参考路线。
背景技术：
许多现代车辆包括用于各种目的的车载摄像机。一个普遍应用是前视摄像机，其可以提供图像以用在防撞系统、车道偏离警告系统、侧向控制系统、或者这些或其它系统的组合中。然而，可能出现阻止从前视摄像机获得良好的图像的情况。这些情况包括在近距离处的阻挡大部分摄像机视野的领先车辆、以及使摄像机图像模糊的低能见度天气情况，
例如雨和雾。在这些情况下，当不能从前视摄像机获取可用的图像时，依赖于摄像机的图像作为输入的系统不能运行。同时，许多较新的车辆还装备有后视摄像机，其通常仅用作备用辅助设备，例如为驾驶员提供视频图像以便看见车后(情况)。虽然这些后视摄像机一般具有比用于其它图像数据采集目的更充足的分辨率和视野，但是直到现在它们还没有被用来为车道位置和侧向控制应用补充来自前视摄像机的图像。这就有机会使用来自后视摄像机的可用的图像数据，并将其与来自前视摄像机和其它传感器的图像数据结合，来提供更加稳健的侧向控制系统。得到的双摄像机系统不仅在正常情况下充分利用更多的输入数据，而且当情况不利于前视成像时提供可用的图像数据源以允许系统的运行。
发明内容
根据本发明的教导，公开了一种用于闭环车辆侧向控制的方法和系统，其使用来自前和后摄像机的图像数据、数字地图、和关于领先车辆的位置信息作为输入。主车辆包括位于前面和后面处的摄像机，其主要目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括数字地图系统和用于检测行驶在主车辆前的车辆位置的系统。开发一种控制策略，其使主车辆转向以使主车辆的路线与车道参考路线的偏离最小，其中车道参考路线是由从前和后摄像机图像及从其它输入所提取的车道边界计算的。该控制策略使用前馈和反馈部件，并使用卡尔曼滤波器来估算主车辆的状态变量。从下边的描述和随附权利要求并结合附图，本发明的额外特征是显而易见的。本发明还提供以下技术方案I. 一种用于提供主车辆的侧向控制的方法，所述方法包括提供来自主车辆车载的前视摄像机的图像数据；提供来自主车辆车载的后视摄像机的图像数据；提供来自数字地图系统的与主车辆正在行驶的道路有关的数据；
提供来自主车辆车载的领先车辆位置系统的关于领先车辆的数据，其中领先车辆是道路上主车辆前边的车辆；和通过使用来自前视摄像机和后视摄像机的图像数据和来自数字地图系统和领先车辆位置系统的数据，计算为控制主车辆以维持在道路上的路线所需的转向输入，并且将所述转向输入提供到主车辆中的转向致动器。2.根据技术方案I的方法，其中，提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。3.根据技术方案I的方法，其中，提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。4.根据技术方案I的方法，其中，提供关于领先车辆的数据包括提供领先车辆相对于主车辆的纵向偏移、侧向偏移、和航向角。
5.根据技术方案I的方法，其中，计算为控制主车辆所需的转向输入包括基于来自摄像机的图像数据和来自数字地图系统和领先车辆位置系统的数据计算前馈项。6.根据技术方案I的方法，其中，计算为控制主车辆所需的转向输入包括基于车辆动态响应参数计算反馈线性化项。7. 一种用于提供主车辆的侧向控制的方法，所述方法包括提供来自主车辆车载的前视摄像机的图像数据；提供来自主车辆车载的后视摄像机的图像数据；提供来自主车辆车载的车辆动态传感器的数据；提供来自数字地图系统的与主车辆正在行驶的道路有关的数据；提供来自主车辆车载的领先车辆位置系统的关于领先车辆的数据，其中领先车辆是道路上主车辆前边的车辆；通过使用来自前视摄像机和后视摄像机的图像数据和来自车辆动态传感器、数字地图系统和领先车辆位置系统的数据，计算为控制主车辆以维持在道路上的路线所需的转向输入将所述转向输入提供到主车辆中的转向致动器，以及估算主车辆的动态响应。8.根据技术方案7的方法，其中，提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。9.根据技术方案7的方法，其中，提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。10.根据技术方案7的方法，其中，提供来自车辆动态传感器的数据包括提供主车辆的速度和横摆率。11.根据技术方案7的方法，其中，提供关于领先车辆的数据包括提供领先车辆相对于主车辆的纵向偏移、侧向偏移、和航向角。12.根据技术方案7的方法，其中，计算为控制主车辆所需的转向输入包括基于来自摄像机的图像数据和来自车辆动态传感器、数字地图系统和领先车辆位置系统的数据计算前馈项。13.根据技术方案7的方法，其中，计算为控制主车辆所需的转向输入包括基于车辆的动态响应参数计算反馈线性化项。14.根据技术方案 7的方法，其中，估算主车辆的动态响应包括使用卡尔曼滤波器方法来估算主车辆的一组状态变量。15. 一种用于提供主车辆的侧向控制的系统，所述系统包括第一摄像机，用于捕获来自主车辆的前视图像；第二摄像机，用于捕获来自主车辆的后视图像；主车辆车载的多个车辆动态传感器，用于提供关于主车辆的运动的数据；数字地图，用于提供关于主车辆行驶的道路的信息；主车辆车载领先车辆位置子系统，所述领先车辆位置子系统提供关于领先车辆相对于主车辆的位置的数据；和处理器，其配置为接收来自摄像机、车辆动态传感器、数字地图、和领先车辆位置子系统的数据，所述处理器计算为控制主车辆以维持在道路上的路线所需的转向输入。16.根据技术方案15的系统，其中，来自第一摄像机和第二摄像机的图像提供关于道路的车道边界的位置的数据，包括路缘和车道线。17.根据技术方案15的系统,其中，车辆动态传感器包括速度传感器和横摆率传感器。18.根据技术方案15的系统，其中，领先车辆位置子系统提供领先车辆相对于主车辆的纵向位移、侧向位移、航向角。19.根据技术方案15的系统，其中，处理器包括使用卡尔曼滤波器方法估算主车辆的动态响应的模块，并在用于计算转向输入的反馈线性化项中使用主车辆的动态响应。20.根据技术方案15的系统，其中，处理器还包括用于计算前馈项的模块，所述前馈项用于计算转向输入。
图I是使用前和后摄像机及其它输入源的车辆侧向控制系统的框图；图2是主车辆的侧向控制的双轮车模型的示图；图3是显示了侧向控制模型的多种关键参数的主车辆的示图；图4是示出如何实施车辆侧向控制模型的控制框图；图5是使用双摄像机车道融合方法的车辆侧向控制的系统框图；图6是使用来自双摄像机的输入的车道融合系统的第一实施例的框图；图7是使用来自双摄像机的输入的车道融合系统的第二实施例的框图；图8是示出对于已经检测到若干短线和一条长弧的场景的车道线表达的示例的示图；图9是示出了如何计算主车辆相对于车道边界的位移的直方图；图10是用在图7的车道追踪模块中的卡尔曼滤波器追踪方法的流程图；以及图11是用在图7的车道追踪模块中的粒子滤波器追踪方法的流程图。
具体实施例方式下面关于使用前和后摄像机的稳健的车辆侧向控制方法的本发明实施方式的讨论实质上仅仅是示例性的，其决不是为了限制本发明或其应用或使用。许多现代车辆包括前视摄像机，和在应用例如车道偏离警告和侧向控制辅助中使用来自前视摄像机的图像数据的系统。然而，来自前视摄像机的图像可能被领先车辆妨碍，或者被阳光、雾、雨、或雪遮蔽，其降低了依赖于图像的应用的可靠性。假定增加可用的后视摄像机，所述后视摄像机经常主要用作备用辅助设备，则使用后视摄像机图像数据作为前视摄像机图像数据的补充是很有意义的。与GPS和数字地图数据、车辆动态传感器、和基于雷达的或能够检测道路上主车辆前边的车辆的其它系统一起，前视和后视摄像机图像能够使用在高级应用中以提高安全和车辆控制。在一种方法中，数据源直接用在车辆侧向控制应用中。图I是通过使用前视和后视摄像机和其它数据源用于车辆的侧向控制的系统10的框图。如下面将要讨论的，系统10使用来自前视摄像机12和后视摄像机14的图像数据。领先车辆位置系统16，其可以是长距离雷达(LRR)或其它类型的系统，追踪领先车辆的位置，以便估计道路的路线。来自基于 GPS的导航系统或数字地图18的道路曲率信息为系统10提供了另一个数据源。来自前视摄像机12、后视摄像机14、领先车辆位置系统16和数字地图18的输入都由车辆侧向控制模块20使用，该控制模块20的运行将在下面详细讨论。图2是用于车辆侧向控制的双轮车(bicycle)模型30的示图，其通过在车辆的中心线处将每个车轴的两个轮子并成一个轮得到。图3是控制模型40的示图，控制模型40向双轮车模型30增加更多细节。在图2和图3中相同的部件和尺度共用相同的参考标记，这将一起讨论。下面的表提供了图2和3中所示出的部件和尺度的索引，包括其参考标记和描述。
权利要求
1.一种用于提供主车辆的侧向控制的方法，所述方法包括 提供来自主车辆车载的前视摄像机的图像数据； 提供来自主车辆车载的后视摄像机的图像数据； 提供来自数字地图系统的与主车辆正在行驶的道路有关的数据； 提供来自主车辆车载的领先车辆位置系统的关于领先车辆的数据，其中领先车辆是道路上主车辆前边的车辆；和 通过使用来自前视摄像机和后视摄像机的图像数据和来自数字地图系统和领先车辆位置系统的数据，计算为控制主车辆以维持在道路上的路线所需的转向输入，并且将所述转向输入提供到主车辆中的转向致动器。
2.根据权利要求I的方法，其中，提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。
3.根据权利要求I的方法，其中，提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。
4.根据权利要求I的方法，其中，提供关于领先车辆的数据包括提供领先车辆相对于主车辆的纵向偏移、侧向偏移、和航向角。
5.根据权利要求I的方法，其中，计算为控制主车辆所需的转向输入包括基于来自摄像机的图像数据和来自数字地图系统和领先车辆位置系统的数据计算前馈项。
6.根据权利要求I的方法，其中，计算为控制主车辆所需的转向输入包括基于车辆动态响应参数计算反馈线性化项。
7.一种用于提供主车辆的侧向控制的方法，所述方法包括 提供来自主车辆车载的前视摄像机的图像数据； 提供来自主车辆车载的后视摄像机的图像数据； 提供来自主车辆车载的车辆动态传感器的数据； 提供来自数字地图系统的与主车辆正在行驶的道路有关的数据； 提供来自主车辆车载的领先车辆位置系统的关于领先车辆的数据，其中领先车辆是道路上主车辆前边的车辆； 通过使用来自前视摄像机和后视摄像机的图像数据和来自车辆动态传感器、数字地图系统和领先车辆位置系统的数据，计算为控制主车辆以维持在道路上的路线所需的转向输A 将所述转向输入提供到主车辆中的转向致动器，以及 估算主车辆的动态响应。
8.根据权利要求7的方法，其中，提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。
9.根据权利要求7的方法，其中，提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。
10.一种用于提供主车辆的侧向控制的系统，所述系统包括 第一摄像机，用于捕获来自主车辆的前视图像； 第二摄像机，用于捕获来自主车辆的后视图像； 主车辆车载的多个车辆动态传感器，用于提供关于主车辆的运动的数据；数字地图，用于提供关于主车辆行驶的道路的信息； 主车辆车载领先车辆位置子系统，所述领先车辆位置子系统提供关于领先车辆相对于主车辆的位置的数据；和 处理器，其配置为接收来自摄像机、车辆动态传感器、数字地图、和领先车辆位置子系统的数据，所述处理器计算为控制主车辆以维持在道路上的路线所需的转向输入。
全文摘要
本发明涉及具有前摄像机和后摄像机的稳健的车辆侧向控制，具体地，一种用于闭环车辆侧向控制的方法和系统，其使用来自前和后摄像机的图像数据和关于领先车辆的位置信息作为输入。主车辆包括在前面和后面处的摄像机，其主要目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括数字地图系统和用于感测行驶在主车辆前面的车辆的位置的系统。开发一种控制策略，其使主车辆转向以最小化主车辆的路线与车道参考路线的偏离，其中车道参考路线是由从前和后摄像机图像及从其它输入所提取的车道边界计算的。控制策略应用前馈和反馈部件，并使用卡尔曼滤波器估算主车辆的状态向量。
文档编号B60W30/12GK102700548SQ201110257988
公开日2012年10月3日 申请日期2011年7月20日 优先权日2010年7月20日
发明者S·曾 申请人:通用汽车环球科技运作有限责任公司