提供用于驾驶车辆的信息的方法和设备与流程

本申请涉及一种提供用于车辆的驾驶的信息的方法和设备。

背景技术：

可视信息增强技术被提供以辅助车辆和其他交通工具的转向。在这样的技术中，各种方法可被用于从驾驶图像提取车道标记或道路信息。

例如，当与位于距车辆延伸距离处的图像相关的像素信息不足时，当车道标记被道路环境中的对象遮挡时，当由于从白天到夜晚的时间的改变或由于天气(诸如，雪和雨)的改变而在图像中发生亮度或对比度的改变时，或者当由于道路(例如，坡道)的形状或曲率或者高度的改变而导致不充分或不准确地获取图像信息时，可能难以准确地检测车道标记。例如，当准确的车道检测不被执行时，提供用于车辆的驾驶(诸如，车辆控制或路线确定)的准确的信息的难度会增加。

技术实现要素：

提供本发明内容来以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容不意图标识要求保护的主题的关键特征或必要特征，也不意图用于辅助确定要求保护的主题的范围。

在一个总体方面，一种方法，包括：从驾驶图像检测包括车道分界线的车道区域；基于地图信息确定车辆正在行驶的道路的曲率信息；基于检测的车道区域和具有所述曲率信息的参考线来估计车辆的横向偏移；基于所述曲率信息和横向偏移输出包括用于驾驶车辆的信息的信号。

检测车道区域的步骤可包括：对包括在驾驶图像中的对象进行分类；生成包括在驾驶图像中的对象被分类的分割图像；从生成的分割图像检测车道区域。

确定曲率信息的步骤可包括：确定车辆的当前位置；基于地图上与车辆的当前位置对应的多个路径点来确定所述曲率信息。

基于多个路径点来确定所述曲率信息的步骤可包括：选择距所述当前位置前视距离内的多个路径点。

基于多个路径点来确定所述曲率信息的步骤可包括：基于所述多个路径点识别地图上的道路的形状；基于地图上的道路的形状来确定曲率信息。

识别地图上的道路的形状的步骤可包括：使用对所述多个路径点进行的线性回归分析来获得表示地图上的道路的形状的回归函数。

可基于车辆的速度、可视距离、天气情况、驾驶情况和道路的情况中的任何一个或任何组合来确定前视距离。

确定曲率信息的步骤可包括：当车辆正在行驶的道路包括多条车道时，基于车辆的目的地信息选择所述多条车道中的一条车道；确定与选择的车道对应的道路的曲率信息。

估计车辆的横向偏移的步骤可包括：将车道区域的图像转换成俯视图；计算包括在俯视图中的线相对于参考线的多项式拟合分数；基于多项式拟合分数估计车辆的横向偏移。

计算多项式拟合分数的步骤可包括：当将参考线移动预定数量的像素单元时，响应于参考线被移动，通过对包括在俯视图中的线与参考线之间的匹配像素的数量进行计数来计算候选拟合分数。

计算候选拟合分数的步骤可包括：将参考线移动预定数量的像素单元；对包括在俯视图中的线与移动所述预定数量的像素单元的参考线之间的匹配像素的数量进行计数；基于匹配像素的数量来计算与移动的参考线相关联的候选拟合分数。

估计车辆的横向偏移的步骤可包括：基于多项式拟合分数来检测线；基于检测的线和俯视图中的车辆的横向位置来计算横向偏移。

检测线的步骤可包括：基于阈值确定多个拟合分数之中的与每条线对应的至少一个多项式拟合分数；基于与每条线对应的所述至少一个多项式拟合分数来检测对应的线。

检测对应的线的步骤可包括：从对应的线的至少一个多项式拟合分数检测具有最高值的多项式拟合分数；基于与检测的多项式拟合分数对应的偏移信息来确定对应的线。

检测对应的线的步骤可包括：基于作为权重的对应的线的至少一个多项式拟合分数，获得与所述至少一个多项式拟合分数对应的至少一项偏移信息的加权和；基于所述加权和来确定对应的线。

计算横向偏移的步骤可包括：确定与车辆的横向位置邻近的左侧线和右侧线之间的中心线；计算所述中心线与车辆的横向位置之间的距离。

俯视图中的车辆的横向位置可包括俯视图的横向中心位置。

可基于附接到车辆以捕捉驾驶图像的相机的横向位置来确定俯视图中的车辆的横向位置。

输出包括用于驾驶车辆的信息的信号的步骤可包括：基于所述曲率信息和横向偏移来确定车辆的局部路径；基于局部路径来生成用于控制车辆的驾驶的信号。

输出包括用于驾驶车辆的信息的信号的步骤可包括：基于所述曲率信息和横向偏移来确定车辆的局部路径；基于局部路径来提供包括车辆的行驶车道的行驶信息。

所述方法可包括：获取驾驶图像；获取地图信息。

在一个总体方面，一种检测线的方法，包括：从驾驶图像检测包括车道分界线的车道区域；基于地图信息确定车辆正在行驶的道路的曲率信息；基于车道区域和基于所述曲率信息的参考线来检测线。

检测车道区域的步骤可包括：对包括在驾驶图像中的对象进行分类；生成包括在驾驶图像中的对象被分类的分割图像；从生成的分割图像检测车道区域。

确定曲率信息的步骤可包括：确定车辆的当前位置；基于地图上与车辆的当前位置对应的多个路径点来确定所述曲率信息。

基于多个路径点来确定所述曲率信息的步骤可包括：选择距当前位置前视距离内的多个路径点。

基于多个路径点来确定所述曲率信息的步骤可包括：基于所述多个路径点识别地图上的道路的形状；基于地图上的道路的形状来确定所述曲率信息。

识别地图上的道路的形状的步骤可包括：使用对所述多个路径点进行的线性回归分析来获得表示地图上的道路的形状的回归函数。

基于车辆的速度、可视距离、天气情况、驾驶情况和道路的情况中的任何一个或任何组合来确定前视距离。

确定曲率信息的步骤可包括：当车辆正在行驶的道路包括多条车道时，基于车辆的目的地信息来选择所述多条车道中的一条车道；确定与选择的车道对应的道路的曲率信息。

检测线的步骤可包括：将车道区域的图像转换成俯视图；计算包括在俯视图中的线相对于参考线的多项式拟合分数；基于多项式拟合分数来检测线。

计算多项式拟合分数的步骤可包括：当将参考线移动预定数量的像素单元时，响应于参考线被移动，通过对参考线与包括在俯视图中的线之间的匹配像素的数量进行计数来计算候选拟合分数。

计算候选拟合分数的步骤可包括：将参考线移动预定数量的像素单元；对包括在俯视图中的线与移动所述预定数量的像素单元的参考线之间的匹配像素的数量进行计数；基于匹配的像素的数量来计算与移动的参考线相关联的候选拟合分数。

识别地图上的道路的形状的步骤可包括：使用对所述多个路径点进行的线性回归分析来获得表示地图上的道路的形状的回归函数。

基于车辆的速度、可视距离、天气情况、驾驶情况和道路的情况中的任何一个或任何组合来确定前视距离。

确定所述曲率信息的步骤可包括：当车辆正在行驶的道路包括多条车道时，基于车辆的目的地信息来选择所述多条车道中的一条车道；确定与选择的车道对应的道路的曲率信息。

检测线的步骤可包括：将车道区域的图像转换成俯视图；计算包括在俯视图中的线相对于参考线的多项式拟合分数；基于拟合分数来检测线。

计算多项式拟合分数的步骤可包括：当将参考线移动预定数量的像素单元时，响应于参考线被移动，通过对参考线与包括在俯视图中的线之间的匹配像素的数量进行计数来计算候选拟合分数。

计算候选拟合分数的步骤可包括：将参考线移动预定数量的像素单元；对包括在俯视图中的线与移动所述预定数量的像素单元的参考线之间的匹配像素的数量进行计数；基于匹配的像素的数量来计算与移动的参考线相关联的候选拟合分数。

基于多项式拟合分数来检测线的步骤可包括：基于阈值确定多个拟合分数之中的与每条线对应的至少一个拟合分数；基于与每条线对应的所述至少一个拟合分数来检测对应的线。

检测对应的线的步骤可包括：从对应的线的至少一个拟合分数检测具有最高值的拟合分数；基于与检测到的拟合分数对应的偏移信息来确定对应的线。

检测对应的线的步骤可包括：基于作为权重的对应的线的至少一个拟合分数，获得与所述至少一个拟合分数对应的至少一项偏移信息的加权和；基于所述加权和确定对应的线。

所述方法可包括：获取驾驶图像；获取地图信息。

在一个总体方面，一种设备，包括：处理器，被配置为：从驾驶图像检测包括车道分界线的车道区域，基于地图信息确定车辆正在行驶的道路的曲率信息，基于车道区域和具有所述曲率信息的参考线估计车辆的横向偏移，基于所述曲率信息和横向偏移输出包括用于驾驶车辆的信息的信号。

在一个总体方面，一种用于检测线的设备，包括：处理器，被配置为：从驾驶图像检测包括车道分界线的车道区域，基于地图信息确定车辆正在行驶的道路的曲率信息，使用车道区域和基于所述曲率信息的参考线来检测车道分界线。

在一个总体方面，一种方法，包括：使用相机传感器检测道路上的车道区域；基于车辆的当前位置与车辆的前方的预定距离的位置内的多个单车道路径点来确定车道的曲率信息；基于所述曲率信息来确定车辆距车道区域的中心的偏移；基于预定偏移和所述曲率信息来控制车辆的驾驶。

所述偏移可以是车辆的中心与道路的中心线之间的距离。

可通过对所述多个路径点执行线性回归分析来获得所述曲率信息。

通过下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。

附图说明

图1a和图1b示出提供用于车辆的驾驶的信息的方法的示例。

图2示出提供用于车辆的驾驶的信息的方法的示例。

图3示出检测车道区域的方法的示例。

图4和图5示出确定曲率信息的方法的示例。

图6示出估计车辆的横向偏移的方法的示例。

图7示出计算拟合分数的方法的示例。

图8示出基于拟合分数估计车辆的横向偏移的方法的示例。

图9示出检测线的方法的示例。

图10示出提供用于车辆的驾驶的信息的方法的示例。

图11示出提供用于车辆的驾驶的信息的方法的示例。

图12示出线回归函数的示例。

图13a和图13b示出驾驶图像和与驾驶图像对应的分割图像的示例。

图14a和图14b示出从分割图像检测的车道区域图像和车道区域图像转换成的俯视图的示例。

图15示出检测线和检测车辆的横向偏移的方法的示例。

图16a和图16b示出当相机被附接为与车辆的中心间隔开时估计车辆的横向偏移的方法的示例。

图17示出检测线的方法的示例。

图18示出使用车道区域和基于曲率信息的参考线来检测线的方法的示例。

图19示出提供用于车辆的驾驶的信息或检测线的设备的示例。

除非另外描述或提供，否则贯穿附图和具体实施方式，相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不成比例，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。

具体实施方式

提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，操作的顺序不限于在此阐述的那些顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将清楚的那样改变。此外，为了更加清楚和简洁，可省略对本领域已知的特征的描述。

在此描述的特征可以以不同的形式实现，并且将不被解释为受限于在此描述的示例。更确切地说，在此描述的示例仅被提供以示出实现在此描述的方法、设备和/或系统的多种可能的方式中的一些方式，这在理解本申请的公开之后将是清楚的。

贯穿说明书，当元件(诸如，层、区域或基底)被描述为在另一元件“之上”、“连接到”或“结合到”另一元件时，该元件可直接在所述另一元件“之上”、直接“连接到”或“结合到”所述另一元件，或者可存在介于它们之间的一个或多个其他元件。相反，当元件被描述为“直接”在另一元件“之上”、“直接连接到”或“直接结合到”另一元件时，可不存在介于它们之间的其他元件。

如在此使用的，术语“和/或”包括相关所列项中的任何一个和任何两个或更多个的任何组合。

尽管在此可使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分将不受这些术语限制。更确切地说，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分还可被称为第二构件、第二组件、第二区域、第二层或第二部分。

为了便于描述，在此可使用诸如“上方”、“上面”、“下方”和“下面”的空间相对术语来描述如附图中所示的一个元件与另一个元件的关系。除了附图中描绘的方位之外，这样的空间相对术语意在包含使用或操作中的装置的不同方位。例如，如果附图中的装置被翻转，则描述为相对另一元件在“上方”或“上面”的元件之后将相对于另一元件在“下方”或“下面”。因此，术语“上方”包含基于装置的空间方位的上方方位和下方方位二者。装置还可以以其他方式定位(例如，旋转90度或在其他方位)，在此使用的空间相对术语将被相应地解释。

在此使用的术语仅用于描述各种示例，并不用于限制本公开。除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。术语“包括”、“包含”和“具有”指明存在叙述的特征、数量、操作、构件、元件和/或它们的组合，但并不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。

除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)在考虑到本申请的公开的情况下具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确如此定义，否则术语(诸如，在通用词典中定义的术语)在考虑到本申请的公开的情况下将被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不被解释为理想化或过于形式化的意义。

在下文中阐述的示例可用于显示虚拟路径或生成可视信息，以辅助智能车辆的增强现实(ar)导航系统的自主车辆或智能车辆的增强现实(ar)导航系统中的自主车辆的转向或驾驶，或者辅助通过智能车辆的增强现实(ar)导航系统的自主车辆或智能车辆的增强现实(ar)导航系统中的自主车辆的转向或驾驶。这些示例可用于解释可视信息，并辅助通过包括为了车辆的驾驶辅助或完全自主驾驶安装的智能系统的装置(诸如，平视显示器(hud))的安全和愉快的驾驶或者辅助在包括为了车辆的驾驶辅助或完全自主驾驶安装的智能系统的装置(诸如，平视显示器(hud))中的安全和愉快的驾驶。例如，这些示例可应用于自主车辆、智能车辆、智能电话和移动装置，但不限于此。在下文中，将参照附图详细地描述这些示例，其中，相同的附图参考标号用于相同的元件。

图1a和图1b示出提供用于车辆的驾驶的信息的方法的示例。

在自主驾驶系统中，包括从道路的中心的偏移和道路的曲率的多项式方程可被选择并用于生成用于保持在车道中的位置或执行车道改变的局部路径。提供用于车辆的驾驶的信息的车辆或其他设备(在下文中，还被共同称为“信息提供设备”)可从地图信息提取道路的曲率信息。信息提供设备可在基于来自驾驶图像的多条线或车道标记检测横向偏移时使用道路的曲率信息。使用曲率信息，信息提供设备即使在难以从驾驶图像检测到准确的信息时(例如，当遥远的图像的像素信息不足时，当线被各种对象覆盖时，以及当可检测的线距离在高速驾驶时减小时)，也可稳定地提供用于车辆的驾驶的信息并准确地执行线检测和横向偏移估计。

注意，在此针对示例或实施例的术语“可”的使用(例如，关于示例或实施例可包括或实现什么)表示存在包括或实现这样的特征的至少一个示例或实施例，然而所有的示例和实施例不限于此。

图1a示出地图上的与车辆110的当前位置对应的多个路径点130、…、140。多个路径点130、…、140对应于地图上的道路150的多个点。在这个示例中，道路150对应于车辆110正在行驶的道路。

信息提供设备基于地图上与车辆的当前位置邻近的路径点130和路径点140之间的前视距离内的多个路径点130、…、140来确定车辆110正在行驶的道路150的曲率信息。路径点140可位于在车辆110的前方的位置中距路径点130定义的或提供的距离处。术语“前视距离”可表示将被用于生成用于驾驶车辆110的信息的距离，并且基于例如车辆110的速度、定义的或提供的可视距离、天气情况、驾驶情况、道路情况和车辆110的目的地中的任何一个或任何组合而被确定。此外，前视距离可对应于基于线回归函数(例如，多项式方程)的程度适当地表示多个路径点130、…、140的距离。

信息提供设备通过对多个路径点130、…、140进行的线性回归分析来生成或获得表示地图上的道路150的形状的回归函数。信息提供设备可使用回归函数来确定道路150的曲率信息。

参照图1b，在一个示例中，信息提供设备可从使用附接到车辆110的相机获取的驾驶图像检测包括车道分界线的车道区域，并使用车道区域和从曲率信息形成的参考线来估计车辆的横向偏移。在一个示例中，车辆110的横向偏移对应于车辆110的中心线115与道路150的中心线155之间的距离d。

将参照图2至图15描述基于从驾驶图像检测到的车道区域和从地图信息获取的道路曲率信息来提供用于车辆的驾驶的信息的方法。此外，将参照图16a至图18描述基于从驾驶图像检测到的车道区域和从地图信息获取的道路曲率信息来检测线的方法。

在此，术语“车辆”表示在道路上行驶的车辆，并包括例如自主驾驶车辆或自动驾驶车辆以及装备有先进驾驶员辅助系统(adas)的智慧车辆或智能车辆。然而，车辆不限于此。术语“道路”表示车辆行驶的表面，并包括各种类型的道路(例如，高速公路、国道、乡村公路、地方道路、快速道路和汽车道)。道路包括一条或多条车道。术语“车道”表示例如通过标记在道路的表面上的多条线进行区分的道路上的具体指定空间或区域。单条车道通过该单条车道的左侧线和右侧线进行区分。

“线”是道路的表面上的以颜色(诸如，白色、蓝色或黄色)标记的各种类型的指示符或线(例如，实线、虚线、曲线和折线)。术语“车道区域”包括包含驾驶图像中的多条线的区域或与驾驶图像中的多条线对应的区域。

图2示出提供用于车辆的驾驶的信息的方法的示例。图2中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图2中示出的操作中的很多操作可并行或同时执行。图2的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。

除了下面对图2的描述之外，图1a和图1b的描述也适用于图2，并且通过引用包括于此。因此，在此可不重复以上描述。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图2。

参照图2，在操作210中，信息提供设备从驾驶图像检测包括多条线的道路的车道区域。例如，信息提供设备使用安装在车辆上的图像捕捉装置来获取驾驶图像。车辆可对应于图1a和图1b的车辆110。驾驶图像包括单个驾驶图像或多个驾驶图像。图像捕捉装置可附接在车辆的预定位置(例如，挡风玻璃、仪表板和后视镜)，以捕捉来自车辆的前方场景的驾驶图像。然而，图像捕捉装置的位置不限于此。例如，图像捕捉装置包括视觉传感器、图像传感器或者执行相似功能的装置。图像捕捉装置可捕捉单个图像或者可捕捉多个帧中的每一帧的图像。通过包括在信息提供设备中的图像捕捉装置或者除了信息提供设备之外的装置来捕捉驾驶图像。例如，驾驶图像可以是图13a的驾驶图像1310。

在一个示例中，在操作210中，信息提供设备通过基于神经网络的深度学习方案或者经由其他机器学习模型对与驾驶图像中的线分量或道路分量对应的像素进行分类来检测车道区域。将参照图3进一步描述使用信息提供设备检测车道区域的方法。

在操作220中，信息提供设备基于地图信息确定车辆正在行驶的道路的曲率信息。例如，地图信息包括：使用符号、文字和图像表示地球上的地理特征的地图，包括地理特征的纬度、经度和高度的地图坐标以及在地图上表示的车道路径上的多个路径点。这里，多个路径点可以是在车辆行驶在道路上的单条车道中时以预设间隔获得的坐标的集合。地图信息对应于一般地图级别的地图信息或者一般导航级别的地图信息。地图信息可被存储在信息提供设备的存储器(例如，图19的存储器1940)中，或可通过信息提供设备的通信接口(例如，图19的通信接口1920)从信息提供设备的外部源接收。

在操作220中，信息提供设备选择距地图上车辆的当前位置前视距离内的多个路径点并通过对多个路径点进行的线性回归分析来获得表示地图上的道路的形状的回归函数。例如，使用包括在信息提供设备中的gps传感器、加速度传感器和罗盘传感器来测量车辆的当前位置。信息提供设备使用回归函数来确定道路的曲率信息。将参照图4和图5来进一步描述使用信息提供设备确定道路的曲率信息的方法。

在操作230中，信息提供设备使用车道区域和从曲率信息形成的参考线来估计车辆的横向偏移。当曲率信息是0时，参考线可以是直线形状。当曲率信息大于0时，参考线可以是曲线形状。例如，曲线形状包括：具有沿一个方向的曲率的曲线形状、具有沿至少两个方向的曲率的曲线形状、与圆的至少一部分对应的曲线形状以及与椭圆的至少一部分对应的曲线形状。车辆的横向偏移对应于车辆的中心线与车辆正在行驶的车道的中心线之间的距离。为了生成用于保持在车道中的位置的局部路径，车辆的横向偏移可能需要被准确地确定。将参照图6至图9来进一步描述使用信息提供设备估计车辆的横向偏移的方法。

在操作240中，信息提供设备基于曲率信息和横向偏移输出包括用于车辆的驾驶的信息的信号。信息提供设备可基于曲率信息和横向偏移确定车辆的局部路径。信息提供设备可基于局部路径生成用于车辆的驾驶的信息。

例如，用于车辆的驾驶的信息包括：车轮转向控制信息、与车辆的加速器和制动器相关联的加速和减速控制信息、检测的车道的信息、包括车辆的局部路径的图像信息以及通过各种声音表示的表示控制信息和图像信息的声学信息。用于车辆的驾驶的信息基于应用了曲率信息和横向偏移的线回归函数来确定。例如，线回归函数是多项式方程(诸如，f(x)＝c2x²+c1x+c0)或作为一种平面曲线的回旋曲线的形式。回旋曲线是曲率的改变与曲线的长度成反比的螺旋，并对应于当车辆的方向盘以恒定角速度旋转时与车辆的行驶轨迹匹配的曲线。

信息提供设备基于局部路径提供包括车辆的行驶路径图像或行驶路径信息的行驶信息，以便在显示装置(诸如，hud)中显示。

图3示出检测车道区域的方法的示例。图3中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图3中示出的操作中的很多操作可并行或同时执行。图3的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图3。

参照图3，在操作310中，信息提供设备生成包括在驾驶图像中的对象被分类的分割图像。信息提供设备通过按语义单元将驾驶图像分割成包括在驾驶图像中的多个对象的多个区域并按像素单元确定每个分割的区域的对象(线或道路)的语义，来生成分割图像。对象按类别单元被分类。在此使用的类别可包括各种语义单元，例如，道路、车辆、人行道、人类、动物、天空和建筑物。例如，分割图像是图13b的分割图像1330。将参照图13b进一步描述使用信息提供设备生成分割图像的方法。

在操作320中，信息提供设备从分割图像检测车道区域。信息提供设备从包括在分割图像中的像素单元标签精确地识别何处存在图像的元素或分量(例如，对象和背景)以及图像的元素或分量(例如，对象和背景)如何存在。信息提供设备生成包括分类为线类的多个像素的车道区域的图像。例如，从分割图像检测到的车道区域的图像是图14a的图像1410。

例如，在一个示例中，信息提供设备使用被训练为识别包括多条线的车道区域的支持向量机(svm)、深度神经网络(dnn)和cnn从驾驶图像检测车道区域。在此使用的cnn可被预先训练，以确定将从驾驶图像检测的线的边界框以及将被检测的线的类型。

图4示出确定曲率信息的方法的示例。图4中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图4中示出的操作中的很多操作可并行或同时执行。图4的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图4。

参照图4，在操作410中，信息提供设备确定车辆的当前位置。例如，信息提供设备基于全球定位系统(gps)信息和地图信息来确定车辆的当前位置。信息提供设备还可使用车辆的里程表和地磁测量值来确定车辆的当前位置。然而，对车辆进行定位的方式不被如此限制。当车辆的当前位置被确定时，信息提供设备使用地图上与当前位置对应的多个路径点来确定曲率信息。

在操作420中，信息提供设备选择距车辆的当前位置预定的前视距离内的多个路径点。例如，前视距离可基于车辆的速度、可视距离、天气、驾驶情况和道路情况中的任何一个或任何组合来确定。

在一个示例中，前视距离可以是50米(m)。例如，当车辆的速度高于预设速度(例如，60千米每秒(km/s))时，信息提供设备可将前视距离增大为120m或150m。例如，当车辆的速度低于预设速度时，信息提供设备可将前视距离减小为50m或70m。此外，当从驾驶图像获取的可视距离或可见度由于雾的情况、雪或雨而相对短时，信息提供设备可减小前视距离。当可视距离相对长时(诸如，当没有遮挡视线的灰尘时或当天气晴朗时)，信息提供设备可增大前视距离。

当道路情况由于例如严重的道路曲率而变差时，信息提供设备可减小前视距离。当道路情况适中(诸如，光滑平坦的道路)时，信息提供设备可增大前视距离。此外，信息提供设备在驾驶情况处于交通拥堵(诸如，高峰时段)的情况时可减小前视距离，并在驾驶情况处于交通顺畅的情况时可增大前视距离。然而，实施例不限于此。

在操作430中，信息提供设备使用地图上与车辆的当前位置对应的多个路径点来确定曲率信息。信息提供设备基于多个路径点来识别地图上的道路形状。信息提供设备通过对多个路径点进行的线性回归分析来计算表示地图上的道路形状的回归函数。信息提供设备使用回归函数来识别地图上的道路形状并基于地图上的道路形状来确定曲率信息。当回归函数是多项式方程(例如，f(x)＝c2x²+c1x)时，信息提供设备将系数c1和系数c2确定为曲率信息。为了简洁起见，将基于线回归函数是一次多项式方程和三次多项式方程的示例来提供下面的描述，并且各种线回归函数(诸如，二次多项式方程、三次或更高次多项式方程、圆方程和椭圆方程)也适用于此。

图5示出当车辆正在包括多条车道(诸如，交叉车道或返回车道)的道路上行驶时确定曲率信息的方法的示例。图5中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图5中示出的操作中的很多操作可并行或同时执行。图5的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图5。

在操作510中，信息提供设备确定车辆正在行驶的道路是否包括多条路径。例如，信息提供设备基于地图信息和gps信息来确定车辆正在行驶的道路包括多条车道。

当在操作510中确定道路包括多条路径时，信息提供设备在操作520中基于车辆的目的地信息来从多条路径选择一条路径。例如，车辆的目的地是城市a并且车辆正在行驶的道路包括朝向城市b的路径和朝向城市c的路径。信息提供设备基于关于与城市a对应的目的地的信息选择朝向城市b的路径和朝向城市c的路径之中的朝向城市b的路径。例如，车辆可通过使用朝向城市b的路径来到达城市a。

在操作530中，信息提供设备使用地图上与选择的路径对应的多个路径点来确定曲率信息。

当在操作510中确定道路不包括多条路径时，信息提供设备在操作540中确定车辆的当前位置，并在操作550中使用地图上与车辆的当前位置对应的多个路径点来确定曲率信息。

图6示出估计车辆的横向偏移的方法的示例。图6中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图6中示出的操作中的很多操作可并行或同时执行。图6的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图6。

参照图6，在操作610中，信息提供设备将车道区域的图像转换为俯视图。例如，信息提供设备通过将车道区域的图像乘以单应矩阵来将图像转换成俯视图。俯视图也被称为“鸟瞰(bev)图”。此外，信息提供设备可采用逆透视映射(ipm)方案来将车道区域的图像转换成俯视图。将参照图13a和图13b来描述由信息提供设备使用ipm方案将车道区域的图像转换成俯视图的方法。

在操作620中，信息提供设备计算包括在俯视图中的线相对于参考线的拟合分数。例如，俯视图可包括第一线、第二线和第三线。在这个示例中，信息提供设备计算第一线相对于参考线的拟合分数以及第二线相对于参考线的拟合分数。同理，信息提供设备计算第三线相对于参考线的拟合分数。将参照图7进一步描述通过信息提供设备计算拟合分数的方法。

在操作630中，信息提供设备基于拟合分数来估计车辆的横向偏移。将参照图8进一步描述通过信息提供设备估计车辆的横向偏移的方法。

图7示出计算拟合分数的方法的示例。图7中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图7中示出的操作中的很多操作可并行或同时执行。图7的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图7。

参照图7，在操作710中，信息提供设备将参考线移动预定数量的像素单元。信息提供设备将参考线从俯视图的一端朝向俯视图的另一端移动。参考线可在俯视图中沿水平方向移动预定数量的像素单元。例如，信息提供设备将参考线移动一个像素或两个像素或三个像素。

在操作720中，信息提供设备对包括在俯视图中的线(例如，第一线、第二线和第三线)与移动了多个像素单元的参考线之间的匹配像素的数量进行计数。包括在俯视图中的每条线具有与多个像素对应的宽度。在一个示例中，参考线被移动的预定像素单元可小于与每条线的宽度对应的像素的数量。在这个示例中，可对每条线执行多次匹配操作。

在操作730中，信息提供设备基于匹配像素的数量计算与移动预定数量的像素单元的参考线相关联的候选拟合分数。候选拟合分数是在对多条线进行分类之前基于移动预定数量的像素单元的参考线的横向位置执行的拟合的结果。

信息提供设备通过重复执行图7的前述处理来计算候选拟合分数。信息提供设备使用候选拟合分数对多条线进行分类。当与预定横向位置对应的候选拟合分数大于阈值时，与横向位置对应的线被分类为车道边界。当与预定横向位置对应的候选拟合分数小于或等于阈值时，识别出与横向位置对应的线不是车道边界。当连续地检测到至少预设数量的(例如，一条或多条)未被识别为车道边界的线时，识别出不同的线存在于对应线的左侧和右侧。

如在下面进一步描述的，响应于多条线被分类，信息提供设备基于与分类为车道边界的线对应的候选拟合分数(在下文中，也被称为“拟合分数”)来检测车道边界。

图8示出基于拟合分数估计车辆的横向偏移的方法的示例。图8中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图8中示出的操作中的很多操作可并行或同时执行。图8的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图8。

参照图8，在操作810中，信息提供设备基于拟合分数检测线。将参照图9进一步描述使用信息提供设备检测线的方法。

在操作820中，信息提供设备确定与车辆的横向位置邻近的左侧线和右侧线之间的中心线。信息提供设备在俯视图中检测相对于车辆的横向位置向左邻近的线和向右邻近的线。

在俯视图中，基于附接到车辆以捕捉驾驶图像的相机的横向位置来确定车辆的横向位置。在一个示例中，相机具有均匀的水平视场。在这个示例中，确定相机在横向方向上位于俯视图的中间。当相机附接在车辆的中心时，确定车辆的中心在横向方向上位于俯视图的中心。将参照图15来描述当相机附接在车辆的中心时执行的操作。

此外，当相机被附接为与车辆的中心间隔开时，信息提供设备可基于相机的位置来估计俯视图中的车辆的中心的位置。将参照图16a和图16b来描述当相机被附接为与车辆的中心间隔开时执行的操作。

当俯视图中的车辆的横向位置被确定时，信息提供设备检测与车辆的横向位置邻近的左侧线和右侧线。检测的线是车辆正在行驶的车道两侧的线。信息提供设备确定所检测的线的中心线(例如，车辆正在行驶的车道的中心线)。

在操作830中，信息提供设备计算车道的中心线与车辆的横向位置之间的距离，以估计横向偏移。

图9示出检测线的方法的示例。图9中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图9中示出的操作中的很多操作可并行或同时实现。图9的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来执行。

参照图9，在操作910中，信息提供设备基于阈值确定候选拟合分数之中与每条线对应的至少一个拟合分数(候选拟合分数)。单条车道边界包括多条线，每条线具有拟合分数。信息提供设备选择超过阈值的拟合分数，使得使用从候选拟合分数排除了与非车道部分对应的候选拟合分数剩余的与每条线对应的拟合分数来检测线。

在操作920中，信息提供设备基于与每条线对应的至少一个拟合分数来检测对应的线。

例如，表1示出与和第二线邻近的线和配置第二线的线的候选拟合分数对应的偏移信息。在这个示例中，针对候选拟合分数确定的阈值是0.4。

[表1]

信息提供设备可如表1中所示丢弃候选拟合分数之中具有小于或等于阈值(例如，0.4)的值的候选拟合分数。此外，信息提供设备将具有大于0.4的值的候选拟合分数确定为与第二线对应的拟合分数。

信息提供设备从对应线的至少一个拟合分数检测具有最大值的拟合分数，并基于与检测的拟合分数对应的偏移信息来确定对应的线。信息提供设备从第二线的至少一个拟合分数(0.7、0.8、0.9、0.75)检测具有代表值(例如，最大值)的拟合分数(0.9)，并基于与检测到的拟合分数对应的偏移信息(7)来确定对应的线。

在一个示例中，信息提供设备使用对应线的至少一个拟合分数作为权重来获得与至少一个拟合分数对应的至少一项偏移信息的加权和。信息提供设备使用加权和来确定对应的线。例如，信息提供设备获得20.6(＝3.5+4.8+6.3+6＝(0.7×5)+(0.8×6)+(0.9×7)+(0.75×8))作为与第二线的至少一个拟合分数(0.7、0.8、0.9、0.75)对应的至少一项偏移信息(5、6、7、8)的加权和。信息提供设备使用加权和的平均值(即，5.15(＝20.6/4))来确定对应的线。

参照图9描述的方法也适用于在图17的操作1730中对线进行检测。

图10示出提供用于车辆的驾驶的信息的方法的示例。图10中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图10中示出的操作中的很多操作可并行或同时执行。图10的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图10。

参照图10，在操作1005中，信息提供设备获取驾驶图像。在操作1010中，信息提供设备从驾驶图像检测包括多条线的车道区域。

在操作1015中，信息提供设备获取地图信息。在操作1020中，信息提供设备获取gps信息。

在操作1025中，信息提供设备基于gps信息和地图信息来确定车辆的当前位置。在操作1030中，信息提供设备选择距当前位置前视距离内的多个路径点。

在操作1035中，信息提供设备通过对多个路径点进行的线性回归分析来获得表示地图上的道路的形状的回归函数。

在操作1040中，信息提供设备使用回归函数来识别地图上的道路的形状。例如，道路的形状包括直线形、圆形、曲线形和弯曲“s”形。在操作1045中，信息提供设备基于地图上的道路的形状来确定曲率信息。

在操作1050中，信息提供设备将车道区域的图像转换成俯视图。在操作1055中，信息提供设备计算包括在俯视图中的线相对于参考线的拟合分数。

在操作1060中，信息提供设备基于拟合分数来检测线。在操作1065中，信息提供设备确定与俯视图中的车辆的横向位置邻近的左侧线和右侧线之间的中心线。在操作1070中，信息提供设备计算中心线与车辆的横向位置之间的距离，以估计车辆的横向偏移。

在操作1075中，信息提供设备基于曲率信息和横向偏移来确定车辆的局部路径。在操作1080中，信息提供设备基于局部路径来生成用于控制车辆的驾驶的信号。

图11示出提供用于车辆的驾驶的信息的方法的示例。参照图11，在操作1110中，信息提供设备获取驾驶图像。在操作1120中，信息提供设备生成分割图像，其中，在分割图像中，包括在驾驶图像中的对象(或车道区域)通过像素水平的分类而被分类。在操作1130中，信息提供设备将多条线被分类的分割图像转换成俯视图。

在一个示例中，信息提供设备在操作1140中获取gps信息并在操作1150中获取地图信息。信息提供设备在操作1160中基于gps信息和地图信息来检测车辆的当前位置，并通过采集地图上与车辆的当前位置邻近的多个路径点来执行多项式拟合。例如，当多项式方程是f(x)＝c2x²+c1x+c0时，信息提供设备通过执行多项式拟合来获得与道路的曲率信息对应的c1和c2。在这个示例中，不使用作为拟合结果获得的c0或者将作为拟合结果获得的c0设置为零，从而执行多项式拟合。

如图11所示，在操作1170中，信息提供设备在将具有曲率信息c1和c2的参考线移动预定数量的像素单元(例如，一个像素)的同时计算包括在俯视图中的线相对于参考线的拟合分数。

在操作1180中，信息提供设备基于在操作1170中计算的拟合分数来检测线，确定与车辆的横向位置邻近的两条线，并将车辆正在行驶的车道的中心线与车辆的横向位置之间的差确定为车辆的横向偏移。在这个示例中，偏移信息对应于多项式方程f(x)＝c2x²+c1x+c0的c0。

在操作1190中，信息提供设备使用在操作1180中确定的横向偏移c0和在操作1160中获得的曲率信息c1和c2来确定多项式方程。确定的多项式方程对应于表示车辆在行驶路径中的位置和基于车辆的行驶车道的道路形状的线回归函数。此外，信息提供设备使用线回归函数来生成用于控制车辆的驾驶(诸如，控制加速器和制动器来对车辆进行加速或减速以及控制车辆的车轮转向操作)的各种参数并输出参数。信息提供设备使用线回归函数来确定车辆的路径。

除自主驾驶系统外，提供用于车辆的驾驶的信息的方法还可适用于在各种工业环境(诸如，智能工厂)下需要精确控制的机器人系统和具有地图信息的室内机器人应用中，提供控制信息并检测用于机器人的路径控制的控制线。

图12示出线回归函数的示例。参照图12，通过基于具有曲率信息c1和c2的参考线确定车辆的横向偏移c0来确定线回归函数“f(x)＝c2x²+c1x+c0”。

信息提供设备使用基于多项式方程或回旋曲线的线回归函数来提供用于车辆的驾驶的信息。

例如，线回归函数是诸如f(x)＝c2x²+c1x+c0的多项式方程，其中，x表示在行驶方向上距车辆的当前位置的距离。在一个示例中，基于横向偏移信息c0来控制短距离线，基于曲率信息c1和c2来控制长距离线。在这个示例中，信息提供设备可使用应用了道路曲率和横向偏移的线回归函数基于行驶方向或行驶角度来控制方向盘。

信息提供设备可基于地图信息来检测车辆的横向偏移，从而降低长距离线检测的难度并产生不依赖驾驶情况的稳定控制。

图13a和图13b示出驾驶图像和与驾驶图像对应的分割图像的示例。图13a示出驾驶图像1310，图13b示出与驾驶图像1310对应的分割图像1330。

例如，驾驶图像1310包括道路图像和道路表面图像，其中，道路表面图像包括车辆110、线1315、路牙1320、人行道1325、周围环境1305等。驾驶图像1310包括车道区域1340，其中，车道区域1340包括车辆110和多条线1315以及包含例如建筑、树、天空的周围环境区域1305。

例如，参照图13b，分割图像1330是语义分割图像。语义分割方法表示按像素单元来密集预测对象并在确定哪个对象包括在图像中之后输出包括对象类的像素单元区域的方法。

信息提供设备可通过包括一些阶段中的卷积层和全连接层的分类网络来生成分割图像。当通过分类网络时，输入图像的大小可从原始大小减小1/32。针对这样的像素单元密集预测，原始大小可能需要被重新存储。信息提供设备可使用被训练为从训练图像输出训练输出的分类器模型来将驾驶图像分割成多个区域。例如，分类器模型可以是卷积神经网络(cnn)，但不限于此。例如，训练图像可以是颜色图像，并且训练输出可指示通过对训练输入进行分割而获得的区域图像。例如，训练输出可以是基于与训练图像的每个像素对应的手动指定的属性或类(例如，车辆、人类、对象和背景)预先分割的区域图像。

信息提供设备通过使用公知的分类网络(诸如，alexnet、vggnet和googlenet)按语义单元将驾驶图像分割成包括在驾驶图像中的对象，通过每个像素单元确定每个分割区域的语义，并针对每个类对每个分割区域进行标记，来生成分割图像。

在一个示例中，信息提供设备可将线类的像素与除了线类之外的类的像素区分开，而不是对所有像素的类进行分类。

图14a和图14b示出从分割图像检测到的车道区域图像和由车道区域图像转换成的俯视图的示例。图14a和图14b示出从分割图像检测到的车道区域的图像1410和由车道区域的图像转换成的俯视图1430。

信息提供设备使用预训练的cnn从驾驶图像检测包括多条线的车道区域。信息提供设备可采用各种机器学习方案来检测如图像1410所表示的包括多条线的车道区域。

例如，信息提供设备通过将逆透视变换应用到包括多条线的车道区域来将图像1410转换成包括被执行俯视图转换的多条线1435的俯视图1430。多条线1435是四条线，例如，第一线至第四线。

信息提供设备可通过将逆透视变换应用到会聚到消失点(vanishingpoint)上的道路的图像来获得俯视图，从而确定更均匀和更清晰的线。因此，多条线可在俯视图中更容易区分开。

逆透视变换可从具有透视效果的输入图像去除透视效果，并将图像平面的位置信息转换成世界坐标系的位置信息。通过逆透视变换，信息提供设备可基于在世界坐标系统中指示的车道的位置信息容易地指示由从道路的中心线到车辆的原始的点的标准距离和车辆的方向定义的道路上的车辆的相对位置。

例如，与转换图像的所有像素相比，信息提供设备仅将逆透视变换应用到排除周围环境之外的检测的线上，从而显著减少计算的量。

图15示出检测道路上的线和检测车辆的横向偏移的方法的示例。在图15的示例中，相机可被附接在车辆的中心位置。

图15示出被执行俯视图转换的多条线1435和参考线1510。车辆(例如，主车辆)的位置1530对应于俯视图的横向中心位置。虽然为了便于描述图15示出参考线1510是直线，但是参考线1510可以基于关于道路的曲率的信息(例如，如上所述的c1和c2)。

信息提供设备计算包括在俯视图中的多条线1435相对于参考线1510的拟合分数。信息提供设备在将参考线1510从俯视图的左角或右角朝向相对角移动预定数量的像素单元(例如，一个像素)的同时，对包括在俯视图中的多条线1435与参考线1510之间的匹配像素的数量进行计数。信息提供设备基于匹配像素的数量来确定与参考线1510的横向位置对应的候选拟合分数。信息提供设备将具有大于阈值的值的候选拟合分数确定为与每条线对应的拟合分数。由此，信息提供设备检测包括在俯视图中的多条线1435(例如，第一线至第四线)。

信息提供设备确定与车辆的横向位置1530邻近的左侧线和右侧线(例如，第二线和第三线)之间的中心线1540。信息提供设备计算中心线1540与车辆的横向位置1530之间的距离。

图16a和图16b示出当相机被附接为与车辆的中心位置间隔开时估计车辆的横向偏移的方法的示例。

参照图16a，当用于捕捉驾驶图像的相机1605附接在车辆的中心位置1610时，俯视图1630中的车辆的横向位置是俯视图1630的横向中心位置1640。当相机1605附接在与车辆的中心位置1610沿向右方向间隔十厘米(cm)的位置1620时，车辆的横向位置是从俯视图1630的横向中心位置1640沿向左方向偏移的位置1650。信息提供设备基于相机分辨率等来确定俯视图1630上的与相机偏移的程度(例如，10cm)对应的位置。

参照图16b，在一个示例中，俯视图1660包括四条线，即，第一线1661、第二线1663、第三线1665和第四线1667。在一个示例中，道路具有三条车道并且车辆的横向位置是从俯视图1660的横向中心位置1670沿向左的方向偏移例如5cm的位置1675。信息提供设备确定与车辆的横向位置1675邻近的左侧线和右侧线(例如，第二线1663和第三线1665)之间的中心线1680。中心线1680对应于车辆正在行驶的车道(例如，第二车道)的宽度的中心。

信息提供设备计算中心线1680(第二车道的宽度的中心)与车辆的横向位置1675之间的距离。在这个示例中，中心线1680与车辆的横向位置1675之间的距离对应于横向偏移。

图17示出检测线的方法的示例。图17中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图17中示出的操作中的很多操作可并行或同时实现。图17的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来执行。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图17。

参照图17，在操作1710中，用于检测线的设备(在下文中，还被称为“检测设备”)从驾驶图像检测包括多条线的车道区域。在一个示例中，检测设备可以是信息提供设备或与信息提供设备不同的设备。图3的描述也适用于此，因此将省略使用检测设备检测车道区域的方法的重复的描述。

在操作1720中，检测设备基于地图信息确定车辆正在行驶的道路的曲率信息。图4和图5的描述也适用于此，因此将省略使用检测设备确定道路的曲率信息的方法的重复的描述。

在操作1730中，检测设备使用车道区域和基于曲率信息的参考线来检测线。将参照图18进一步描述使用检测设备检测线的方法。

图18示出使用车道区域和基于曲率信息的参考线来检测线的方法的示例。图18中的操作可以以示出的顺序和方式执行，然而在不脱离描述的示例性示例的精神和范围的情况下可改变一些操作的顺序或者可省略多个操作中的一些操作。图18中示出的操作中的很多操作可并行或同时执行。图18的一个或多个块以及这些块的组合可通过执行指定功能的专用的基于硬件的计算机或者专用硬件和计算机指令的组合来实现。此外，下面将针对信息提供设备(诸如，对应于图1a和图1b中的任何一个的信息提供设备)来描述图18。

参照图18，在操作1810中，检测设备将车道区域的图像转换成俯视图。由于图14a和图14b以及图6的操作610的描述适用于此，将省略使用检测设备将车道区域的图像转换成俯视图的方法的重复的描述。

在操作1820中，检测设备计算包括在俯视图中的线相对于参考线的拟合分数。图7的描述也适用于此，因此将省略使用检测设备计算拟合分数的方法的重复的描述。

在操作1830中，检测设备基于拟合分数来检测线。图9的描述也适用于此，因此将省略使用检测设备检测线的方法的重复的描述。

图19示出提供用于车辆的驾驶的信息或检测线的设备的示例。参照图19，设备1900包括处理器1930。设备1900还包括传感器1910、通信接口1920、存储器1940和显示器1950。

传感器1910、通信接口1920、处理器1930、存储器1940和显示器1950经由通信总线1905彼此通信。例如，传感器1910包括图像传感器、加速度传感器、罗盘传感器、gps传感器、陀螺仪传感器、里程表和地磁传感器。

设备1900可经由通信接口1920接收感测信息。在一个示例中，通信接口1920可从设备1900外部的其他传感器接收感测信息。在另一个示例中，通信接口1920可从设备1900的外部源接收驾驶图像、地图信息和gps信息。

处理器1930经由通信接口1920输出包括用于车辆的驾驶的信息的信号。

处理器1930从驾驶图像检测包括多条线的车道区域。处理器1930基于地图信息来确定车辆正在行驶的道路的曲率信息。处理器1930使用车道区域和基于曲率信息确定的参考线来估计车辆的横向偏移或检测线。处理器1930基于曲率信息和横向偏移来输出包括用于车辆的驾驶的信息的信号。

处理器1930执行参照图1至图18描述的多种方法中的至少一种方法或与多种方法中的至少一种方法对应的算法。

如在此使用的术语“处理器”是具有物理地构成以执行期望的操作的电路的硬件实现的数据处理装置。例如，期望的操作包括包含在程序中的代码或指令。例如，硬件实现的数据处理装置包括但不限于微处理器、中央处理器(cpu)、处理器核、多核处理器、多处理器、专用集成电路(asic)以及现场可编程门阵列(fpga)。

处理器1930执行程序并控制设备1900。由处理器1930执行的程序的代码存储在存储器1940中。

存储器1940存储驾驶图像和地图信息。存储器1940存储在处理器1930的处理操作期间生成的各种信息。此外，存储器1940包括各种数据和程序。存储器1940包括易失性存储器或非易失性存储器。存储器1940包括用于存储各种数据的大容量存储介质(诸如，硬盘)。

显示器1950分开或一起显示由处理器1930检测的线和地图信息。

例如，通过硬件组件以及其他设备、装置来实现各个信息提供设备110、传感器1910、通信接口1920、处理器1930、存储器1940和显示器1950以及执行在本申请中描述的操作的在此针对图1至图18描述的其他组件，在此描述的其他组件由硬件组件实现。可用于在适当的情况下执行本申请中描述的操作的硬件组件的示例包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行本申请中描述的操作的硬件组件中的一个或多个。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算机实现的硬件组件可执行用于执行本申请中描述的操作的指令或软件(诸如，操作系统(os)和在os上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中所述的示例的描述中，但是在其他的示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器来实现。一个或多个硬件组件可通过一个或多个处理器、或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器、或者另一个处理器和另一个控制器来实现。一个或多个处理器或者一个处理器和一个控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，其中，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理以及多指令多数据(mimd)多处理。

执行本申请中描述的操作的图1至图18中示出的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，其中，计算硬件被实现为如上所述地执行用于执行本申请中描述的通过该方法执行的操作的指令或软件。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器或者另一个处理器和另一个控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。

用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置处理器或者计算机作为机器或专用计算机进行操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括小程序、动态链接库(dll)、中间件、固件、装置驱动器、存储获取外部情况信息的方法的应用程序中的至少一个。在一个示例中，指令或软件包括由处理器或者计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一个示例中，指令或软件包括由处理器或者计算机使用解释器执行的高级代码。本领域的普通编程人员可基于附图中所示的框图和流程图以及说明书中的对应描述来容易地编写指令或软件，其中，附图中所示的框图和流程图以及说明书中的相应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。

用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-rlth、bd-re、蓝光或光盘存储装置、硬盘驱动器(hdd)、固态驱动器(ssd)、卡型存储器(诸如，多媒体微型卡或卡(例如，安全数字(sd)或极限数字(xd))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其它装置，其中，该任何其它装置被配置为：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且为处理器或者计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得处理器或者计算机能够执行指令。非暂时性计算机可读存储介质的示例包括：只读存储器(rom)、随机存取存储器(ram)、闪存、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-rlth、bd-re、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其它装置，其中，该任何其它装置被配置为：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且为一个或多个处理器或者计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或多个处理器或者计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统，使得通过一个或多个处理器或计算机以分布的方式存储、访问和执行指令和软件以及任何相关联的数据、数据文件和数据结构。

虽然本公开包括特定的示例，但是在理解了本申请的公开之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下可在这些示例中进行形式和细节的各种改变。在此描述的示例仅在描述性意义上被考虑，而不是为了限制的目的。每一个示例中的特征或方面的描述被认为可应用到其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同方式被组合，和/或被其他组件或它们的等同物替换或补充，则可实现适当的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开内。