车辆车道映射的制作方法

本公开总体上涉及车辆传感器，并且更具体地涉及车辆车道映射。

背景技术：

车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆环境的数据并且基于所述数据来操作车辆。车辆传感器可以提供关于在车辆的环境中要行驶的路线和要避开的对象的特征的数据。车辆的操作可以依赖于在车辆正在道路上进行操作时获取关于在车辆的环境中的对象的准确且及时的数据。

技术实现要素：

车辆可以被配备为以自主模式和乘员驾驶模式两者操作。半自主或完全自主模式意味着其中车辆可以由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可以被占用或未被占用，但是在任何一种情况下，都可以在没有乘员辅助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被限定为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。

车辆中的计算装置可以被编程为获取关于车辆外部环境的数据并使用所述数据来确定车辆路径，在所述车辆路径上以自主或半自主模式操作车辆。通过确定用于引导车辆的动力传动系统、制动和转向部件操作车辆以沿着车辆路径行驶的命令，车辆可以基于所述路径而在道路上操作。关于外部环境的数据可以包括车辆周围的环境中的一个或多个移动对象(诸如，车辆和行人等)的位置，并且可以由车辆中的计算装置用来操作车辆。

本文公开了一种方法，所述方法包括：基于车辆传感器数据，生成道路上的自由空间的第一映射图，在所述自由空间中第一车辆可以操作而不接触道路边缘和所述道路上的非静止对象，所述第一映射图包括所述第一车辆周围的环境中的道路车道标记，其中所述非静止对象包括一个或多个第二车辆。所述第一车辆周围的所述环境中的自由空间的第二映射图可以通过基于包括在所述第一映射图中的所述道路车道标记和所述道路边缘确定对应于第一道路车道的b样条来生成，第二道路车道可以基于确定所述非静止对象的位置来确定，组合的道路车道可以基于所述第一道路车道和所述第二道路车道来确定，并且所述第一车辆可以基于所述组合的道路车道来操作。所述第一道路车道和所述第二道路车道可以基于所述第一车辆的位置而分类为左车道、右车道、主车道和非相关车道中的一者或多者。所述车辆传感器数据可以包括视频数据、激光雷达数据和雷达数据中的一者或多者。

所述b样条可以基于结点和受控点来确定，其中所述结点是所述b样条上的点，并且所述受控点基于三次多项式函数来确定所述b样条在所述结点之间的形状。对象轨迹可以基于确定由车辆传感器在连续时间步长获取的数据中的所述非静止对象的多个位置来确定。所述多个位置可以使用b样条来组合。对应于所述第二道路车道的所述b样条可以基于所述对象轨迹。所述组合的道路车道可以基于将对应于所述第一道路车道的所述b样条与对应于所述第二道路车道的所述b样条组合来确定。当所述第一道路车道与所述第二道路车道不匹配时，对应于所述第二道路车道的所述b样条可以包括在所述组合的道路车道中。当所述第一道路车道与所述第二道路车道匹配时，对应于所述第一道路车道的所述b样条可以包括在所述组合的道路车道中。所述第一车辆可以基于根据所述组合的道路车道确定可转向路径多项式来操作。所述可转向路径多项式可以基于b样条。确定所述可转向路径多项式可以包括在包括在所述组合的道路车道中的所述b样条之间的横向中点处确定b样条。所述第一车辆可以通过控制车辆动力传动系统、转向装置和制动器来沿着所述可转向路径多项式操作。

还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种计算机，所述计算机被编程用于执行上述方法步骤中的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为：基于车辆传感器数据，生成道路上的自由空间的第一映射图，在所述自由空间中第一车辆可以操作而不接触道路边缘和所述道路上的非静止对象，所述第一映射图包括所述第一车辆周围的环境中的道路车道标记，其中所述非静止对象包括一个或多个第二车辆。所述第一车辆周围的所述环境中的自由空间的第二映射图可以通过基于包括在所述第一映射图中的所述道路车道标记和所述道路边缘确定对应于第一道路车道的b样条来生成，第二道路车道可以基于确定所述非静止对象的位置来确定，组合的道路车道可以基于所述第一道路车道和所述第二道路车道来确定，并且所述第一车辆可以基于所述组合的道路车道来操作。所述第一道路车道和所述第二道路车道可以基于所述第一车辆的位置而分类为左车道、右车道、主车道和非相关车道中的一者或多者。所述车辆传感器数据可以包括视频数据、激光雷达数据和雷达数据中的一者或多者。

所述计算机还可以被编程为基于结点和受控点确定b样条，其中所述结点是所述b样条上的点，并且所述受控点基于三次多项式函数来确定所述b样条在所述结点之间的形状。对象轨迹可以基于确定由车辆传感器在连续时间步长获取的数据中的所述非静止对象的多个位置来确定。所述多个位置可以使用b样条来组合。对应于所述第二道路车道的所述b样条可以基于所述对象轨迹。所述组合的道路车道可以基于将对应于所述第一道路车道的所述b样条与对应于所述第二道路车道的所述b样条组合来确定。当所述第一道路车道与所述第二道路车道不匹配时，对应于所述第二道路车道的所述b样条可以包括在所述组合的道路车道中。当所述第一道路车道与所述第二道路车道匹配时，对应于所述第一道路车道的所述b样条可以包括在所述组合的道路车道中。所述第一车辆可以基于根据所述组合的道路车道确定可转向路径多项式来操作。所述可转向路径多项式可以基于b样条。确定所述可转向路径多项式可以包括在包括在所述组合的道路车道中的所述b样条之间的横向中点处确定b样条。所述第一车辆可以通过控制车辆动力传动系统、转向装置和制动器来沿着所述可转向路径多项式操作。

附图说明

图1是示例性交通基础设施系统的图示。

图2是包括车辆传感器的示例性车辆的图示。

图3是示例性b样条的图示。

图4是另一个示例性b样条的图示。

图5是示例性车辆传感器数据的图示。

图6是道路自由空间的示例性映射图的图示。

图7是示例性道路车道标记的图示。

图8是示例性道路车道的图示。

图9是包括道路上的车辆的示例性交通场景的图示。

图10是基于车辆轨迹的示例性道路车道的图示。

图11是包括道路上的车辆的示例性交通场景的图示。

图12是用于使用道路车道来操作车辆的示例性过程的流程图。

具体实施方式

图1是交通基础设施系统100的图示，所述交通基础设施系统100包括可以自主(“自主”本身在本公开中意味着“完全自主”)、半自主和乘员驾驶(也称为非自主)模式操作的车辆110。一个或多个车辆110计算装置115可以从传感器116接收关于车辆110的操作的数据。计算装置115可以以自主模式、半自主模式或非自主模式操作车辆110。

计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行的用于进行包括如本文所公开的各种操作的指令。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否和何时控制此类操作。

计算装置115可以包括多于一个计算装置(例如，包括在车辆110中以用于监视和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下文进一步描述的车辆通信总线通信地耦合到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(can)等)进行通信；车辆110网络可以另外地或替代地包括诸如已知的有线或无线通信机制，例如，以太网或其他通信协议。

计算装置115可以经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外地，在计算装置115实际上包括多个装置的情况下，车辆通信网络可以用于在本公开中表示为计算装置115的装置之间的通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器116)可以经由车辆通信网络向计算装置115提供数据。

另外，计算装置115可以被配置用于经由网络130通过车辆对基础设施(v2i)接口111与远程服务器计算机120(例如，云服务器)进行通信，如下文所描述，所述接口111包括允许计算装置115经由诸如无线互联网或蜂窝网络的网络130与远程服务器计算机120进行通信的硬件、固件和软件。因此，v2i接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可以被配置用于使用例如在附近车辆110间在自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(v2v)网络(例如，根据专用短程通信(dsrc)和/或类似的通信)通过v2i接口111与其他车辆110进行通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以用于稍后经由车辆通信网络和通向服务器计算机120或用户移动装置160的车辆对基础设施(v2i)接口111来进行检索和传输。

如已经提及的，通常包括在存储在存储器中并可由计算装置115的处理器执行的指令中的是用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程。使用计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可以在没有驾驶员的情况下作出各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可以包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期实现路线的安全且有效的行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、在特定位置处的到达时间和为了通过十字路口的十字路口(无信号灯)最小到达时间。

控制器(如该术语在本文中所使用)包括典型地被编程为监视和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的电子控制单元(ecu)，可能包括如本文所描述的另外的编程。控制器可以通信地连接到计算装置115并从所述计算装置115接收指令以根据指令来致动子系统。例如，制动控制器113可以从计算装置115接收指令以操作车辆110的制动器。

用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ecu)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可以被编程并连接到车辆110通信总线(诸如控制器局域网(can)总线或局域互连网(lin)总线)，以从计算装置115接收指令并基于指令来控制致动器。

传感器116可以包括已知的各种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(gps)传感器可以提供车辆110的地理坐标。由雷达和/或其他传感器116提供的一个或多个距离和/或由gps传感器提供的地理坐标可以被计算装置115用来例如自主地或半自主地操作车辆110。

车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的陆基车辆110(例如，客车、轻型卡车等)。车辆110包括一个或多个传感器116、v2i接口111、计算装置115和一个或多个控制器112、113、114。传感器116可以收集与车辆110和车辆110在其中操作的环境相关的数据。以举例的方式而非限制，传感器116可以包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110在其中操作的环境，例如，传感器116可以检测诸如天气状况(降水、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如相邻车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。

图2是包括传感器116的示例性车辆110的图示，所述传感器包括前雷达传感器202、左前雷达传感器204、右前雷达传感器206、左后雷达传感器208、右后雷达传感器210(统称为雷达传感器230)、激光雷达传感器212和视频传感器214以及它们各自的视场216、218、220、222、224(点划线)和226、228(短划线)。视场216、218、220、222、224、226、228是传感器116可以在其内获取数据的3d空间体积的2d视图。雷达传感器230通过以微波频率发射脉冲并测量由环境中的表面反射的微波能量来确定范围和多普勒运动。计算装置115可以被编程为确定雷达传感器230数据中的静止对象和非静止对象。静止对象包括道路、路沿、柱子、支座、障碍物、交通标志等，并且非静止对象包括其他车辆和行人等。检测视场216、218、220、222、224中的对象将在下面关于图6和图7进行讨论。处理检测到的静止对象和非静止对象以利用b样条确定自由空间映射图将在下面关于图8至图13进行讨论。激光雷达传感器212发射红外(ir)光脉冲并测量由视场226中的环境中的表面反射的反射ir能量以确定范围。计算装置115可以被编程为确定激光雷达传感器数据中的静止和非静止对象。视频传感器214可以从在视场228内由车辆的环境反射的环境光获取视频数据。视频传感器214可以包括处理器和存储器，所述处理器和存储器被编程为检测视场中的静止和非静止对象。

图3是示例性b样条300的图示。b样条300是可以近似曲线302的多项式函数。b样条300是一组接合多项式函数，其例如通过使在受控点处接合的多项式函数上定位的由x标记的τ1...τ10表示的b样条300结点和曲线302上的点之间的距离度量(例如，在2d空间中的欧几里得距离)最小化来近似由任何函数定义的曲线302。b样条可以是多维的，伴随有计算要求的增加。结点可以是包括位置、姿态和加速度的多维车辆状态向量，并且距离度量可以通过基于车辆状态向量对多组线性方程求解来确定。b样条由受控点定义，其中受控点基于在通过多项式函数接合的每对受控点之间具有预定数量的结点(x)(例如，2个或3个)来定位。

控制点的选择是基于将b样条300的结点分成多项式分段，其中每个分段具有大约相同数量的结点，例如两个或三个结点。第一受控点被选择为在曲线302的原点处。第二受控点被选择为在使结点和曲线302之间的距离最小化的方向上相距两个或三个结点。下一个受控点被选择为在使曲线302和结点之间的距离最小化的方向上与第二受控点相距两个或三个结点等等，直到最后一个受控点被选择为匹配曲线302的末端。对多项式函数上的结点的数量和位置的选择可以基于例如用户输入的每秒样本数和车辆110的速度，其中车辆速度除以采样率产生多项式函数上相邻结点之间的距离。在示例性b样条300中，多项式函数是一次(直线)。高阶多项式函数也可以是二次(抛物线的)、三次(立方的)或更高。

任何控制点的移动均会影响b样条，并且该影响可以在整个b样条上(全局效应)或在b样条的某个部分中(局部效应)。使用b样条的益处是其局部可控性。受控点之间的曲线的每个分段通过结点分成更小的分段。结点的总数总是大于受控点的总数。使用适当的受控点移动来添加或移除结点可以更接近地复制曲线302，这适合于使用样条来实现筛选算法。而且，较高阶(3或更高)的b样条300趋于平滑并且保持曲线的连续性，其中例如b样条300的阶数是多项式函数的阶数，例如线性、抛物线或立方或1阶、2阶或3阶。

图4是b样条400(二重线)的图示。通过添加更多受控点和在受控点之间的b样条分段上由“x”标记的结点，b样条400可以比b样条300更接近地近似曲线402。随着结点数量的增加，b样条400收敛到曲线402。变量x(例如，多目标状态)的p阶b样条曲线c(x)被定义为

其中是第i个受控点，并且ns是受控点的总数。b样条混合函数或基函数由bi,p,t(x)表示。混合函数是p-1次的多项式。阶数p可以从2到ns中选择，并且曲线的连续性可以通过选择p≥3来保持。由t表示的结点是1×τ向量，并且t是非递减实数序列，其中t＝{t1,......,tτ}，即，ti≤ti+1，i＝1,......,τ。结点向量使参数x与受控点相关。任何曲线的形状可以通过调整受控点的位置来控制。第i基函数可以被定义为

其中，ti≤x≤ti+p和

其中(2)中的变量ti表示结点向量。基函数bi，p，t(x)在区间[ti,ti+p]中是非零的。基函数bi,p可以具有形式并且假设对于参数x的任何值，基函数的和为一，即，

通过使用张量积样条构造，可以将一维样条扩展到多维样条。

对于给定的基本序列的b样条和严格递增序列的数据系列b样条插值函数可以写为

其中当且仅当满足以下方程式时，在所有xj都与函数c(x)一致

对于j＝1，...，ns(6)

方程式(6)是ns个方程式的线性组，具有ns个未知值并且系数矩阵的第i行和第j列等于bi，p，t(xj)，这意味着样条插值函数可以通过对一组线性方程组求解来建立。系数矩阵可以使用舍恩伯格-惠特尼(schoenberg-whitney)定理针对可逆性进行验证。舍恩伯格-惠特尼定理可以描述如下：使t是结点向量，p和n是整数，使得n>p>0，并且假设x随着n+1个元素严格递增。当且仅当即，当且仅当ti<xi<ti+p+1，对于所有i，来自(6)的矩阵是可逆的。

b样条变换可以应用于一维和多维统计函数，例如，概率密度函数和概率假设密度函数，而无需用于考虑噪声的任何假设。可以使用样条近似曲线(sac)或样条插值曲线(sic)技术来推导b样条变换。这两个样条变换之间的差异在于sac不一定通过所有受控点，而是必须通过第一个和最后一个受控点。相反，sic必须通过所有受控点。本文讨论的示例性b样条变换使用sic实现方式。基于b样条的目标跟踪可以处理连续状态空间，对信号噪声不做特殊假设，并且能够准确地近似任意概率密度或概率假设密度表面。在更新阶段期间的大多数跟踪算法中更新状态，但是在基于b样条的目标跟踪中仅更新结点。

图5是包括由车辆110中所包括的传感器在车辆110在道路上行驶时获取的车辆传感器数据点512(圆圈)的交通场景500的图示。车辆110的行驶方向由附接到对应于车辆110的图标的箭头表示。车辆传感器数据点512对应于激光雷达传感器范围数据或雷达传感器反射中的一者或多者。车辆传感器数据点512是由位于交通场景500中的道路514区域之外的对象返回的激光雷达或雷达数据点。道路513对应于不返回激光雷达或雷达反射数据的区域，因为道路不包括基本上垂直于激光雷达(红外)或雷达(微波)电磁能束的表面，所述表面将电磁能反射回车辆110上的接收器以被获取为数据点512。交通场景500还包括由包括在车辆110中的计算装置115识别为车辆504、506、508、510(三角形)的数据点。例如，可以通过雷达数据的回波强度和激光雷达数据的返回数据的形状来识别车辆504、506、508、510。

车辆传感器数据点512可以用于通过从车辆110径向向外延伸线直到它们遇到车辆数据点512来确定对应于道路的自由空间的映射图。可以对车辆数据点512进行筛选以移除除接触从车辆110延伸的径向线的车辆第一数据点512之外的所有车辆数据点512。满足作为沿着来自车辆110的径向线接触的第一点的标准的车辆数据点512的子集可以通过如上面关于图3和图4所述的b样条进行连接。通过将对应于与来自车辆110的径向线的第一接触点的车辆数据点512的子集连接而形成的b样条可以形成道路的边缘。

图6是包括道路自由空间616的映射图(加阴影的)的交通场景600的图示。道路自由空间616由b样条612、614限定，所述b样条612、614通过连接由与从车辆110延伸的径向线的接触点而形成的车辆数据点512的子集形成，如上面关于图5讨论的。道路自由空间616的映射图包括与在车辆传感器数据中识别出的车辆604、606、608、610相对应的图标。车辆604、606、608、610对应于在道路自由空间616的映射图中识别出的非静止对象。

非静止对象可以通过多普勒雷达回波来识别，其中非静止对象相对于道路的速度可以通过测量来自对象的雷达回波的多普勒频移并将其与来自背景对象的多普勒频移(其对应于车辆110的速度)进行比较来确定。非静止对象还可以通过处理在连续时间步长获取的在来自车辆110的类似径向方向处的激光雷达数据点序列来确定。激光雷达数据点的位置相对于时间步长的变化将确定数据点相对于车辆110的速度，其中例如背景数据点将被确定为具有与相对于车辆110的运动方向的径向角度的余弦乘以车辆110的速度成比例的速度。不具有与数据点的径向角的余弦乘以车辆的速度成比例的速度的激光雷达数据点可以被确定为对应于非静止对象。

车辆110中的计算装置115可以使用包括对应于车辆604、606、608、610的非静止对象的道路自由空间的映射图来确定用于操作车辆110所沿着的车辆路径多项式。车辆路径多项式可以是多项式函数，其包括x,y平面中的n个连接点系列，所述连接点系列包括在n个未来时间步长的预测车辆110轨迹。n个连接点由x,y平面中的多项式函数确定，其中x轴、y轴由车辆110的方向确定，其中例如x方向平行于行驶的方向并且y方向垂直于所述行驶的方向。在该示例中，n个未来时间步长(其中n可以是例如大于100的较大的数)可以由k次多项式表示，其中在这种情况下，k可以是小于或等于3的数。在车辆路径多项式中的n个连接点可以由以k或更小次的x和y的多项式函数表示。

表示车辆路径多项式的以k或更小次的x和y的多项式函数可以包括一个或多个b样条。如上面关于图3和图4讨论的，b样条是k或更小次的多项式函数，其各自表示n个点的不相交子集，并且合起来表示n个点的整个集合。b样条可以被约束为连续可微的，并且对允许的导数具有约束或限制(例如，对变化率具有限制)而没有间断。b样条也可以被约束来使导数与其他b样条在边界处匹配，从而提供子集之间的平滑过渡。b样条上的约束可以通过限制沿着车辆路径多项式驾驶车辆所需的纵向加速度和横向加速度的速率来使车辆路径多项式成为可转向路径多项式，其中制动扭矩和动力传动系统扭矩被施加为正纵向加速度和负纵向加速度并且顺时针转向扭矩和逆时针转向扭矩被施加为左横向加速度和右横向加速度。通过确定横向加速度和纵向加速度以在预定数量的时间段内在预定约束内实现预定目标值，车辆路径多项式可以被约束为例如提供车辆110可以在不超过对横向加速度和纵向加速度的限制的情况下在其上操作的车辆路径，同时避免与对象接触。

图7是车辆坐标系图700的图示，所述车辆坐标系图700包括道路车道标记702、704、706、708(统称为道路车道标记712)和车辆路径多项式710。车辆坐标系图700是示出车辆坐标系图700上的坐标0,0处的车辆110周围的道路的图。x轴测量距坐标0,0处的车辆110的中心的以米为单位的横向距离，并且y轴测量距坐标0,0处的车辆110的中心的以米为单位的纵向距离。车辆路径多项式710示出了车辆110的测得的位置(负坐标)和车辆110的预测的未来位置(正坐标)。

道路车道标记712基于由车辆110在其在道路上行驶时获取的车辆传感器数据。车辆传感器数据可以包括由视频传感器获取的视频数据，所述视频传感器被布置成查看车辆110前面、侧面和后面的道路。在仅前视视频传感器可用的示例中，车道标记712的对应于车辆110后面的位置(负坐标)的部分可以基于先前获取的视频来确定并存储在计算装置115处。可以通过使用机器视觉技术识别和定位视频数据中的道路车道标记以处理所获取的视频数据来确定道路车道标记712。

道路车道标记可以在视频数据中作为对比线可见，通常是白色或黄色，针对典型的黑色道路背景可见。可以使用霍夫变换来确定道路车道标记，例如，以识别和定位对应于道路车道标记的直线，其中道路车道标记可以是连续的或分成段。来自霍夫变换的输出可以对应于呈截距、斜率格式的直线段的方程式，其中直线段可以通过在用户确定的公差内识别共同的斜率和截距而接合以形成连续线。通过基于所确定的直线和视频传感器参数确定三维空间中与道路相对应的平面，可以将通过霍夫变换确定的直线从视频传感器的视场变换为俯视图，诸如车辆坐标系图700，所述视频传感器参数包括视频传感器的视场的三维取向，其包括所述视频传感器中所包括的透镜的倍率。基于视频传感器的光轴(假设是透镜的中心和视频传感器的中心)的三维角度和垂直于俯视图的穿过光轴与平行于道路的平面相交的点的线之间的差值，可以将对应于道路车道标记的直线从假设平行于道路的平面变换到车辆110周围的环境的俯视图。

通过基于道路自由空间616的映射图确定道路车道标记可能预期在何处发生，可以对变换后的道路车道标记进行筛选以拒绝误报，其中道路车道标记712可以预期在例如b样条612、614附近以及在平行于b样条612、614的大约4米间隔的位置处发生。道路车道标记712可以通过基于使用霍夫变换处理并变换成自上而下的车辆坐标系图700的所获取的视频数据选择包括在变换后的道路车道标记中的数据点来形成。所选择的数据点可以使用如上面关于图3和图4所述的b样条沿着纵向方向连接，以形成道路车道标记712。

在用于确定道路车道标记712的计算装置115的示例中，与所获取的视频数据中的道路车道标记相对应的数据点可以通过mobileye防撞系统(mobileye,anintelcompany,1350broadway,suite1600,newyork,ny10038)来确定。mobileye防撞系统包括一个或多个摄像机以及计算硬件和软件，所述计算硬件和软件处理所获取的视频数据以确定道路车道、包括其他车辆、自行车和行人的对象。mobileye防撞系统可以确定与包括车辆、自行车和行人的对象碰撞的概率，警告车道偏离，提供与到交通中的引导车辆的距离相关的警告，以及在超过速度限制时发出警告。mobileye系统还可以输出车辆坐标系图700，所述车辆坐标系图700包括与车辆110周围的环境中的道路车道标记、道路边缘、道路上的静止对象和非静止对象相对应的数据点。

图8是车辆坐标系图800的图示，所述车辆坐标系图800包括基于道路车道标记712的左道路车道802(左斜线阴影)、主道路车道804(网格阴影)和右道路车道806(右斜线阴影)，统称为道路车道808。道路车道802、804、806是基于在道路车道标记712之间沿道路的横向方向形成多边形。可以将道路车道标记712之间形成的多边形组合以形成道路车道808，所述道路车道808填充道路车道标记712之间的区域。基于对应于主车辆110的位置的车辆路径多项式710的位置，道路车道808可以被分类为左道路车道802、主道路车道804、右道路车道804或非相关道路车道。计算装置115可以通过确定道路车道相对于包括对应于车辆110正在行驶所在的道路车道的车辆路径多项式710的道路车道的位置来对道路车道808进行分类。非相关车道是不与主道路车道804相邻的道路车道。

本文所述的技术通过基于确定道路车道标记712和车辆路径多项式710来确定主道路车道804、左道路车道802、右道路车道804和非相关道路车道来改进车辆110在道路上的操作。计算装置115可以使用道路车道802、804、806来确定车辆路径多项式710，所述车辆路径多项式710停留在主道路车道804中并且避免与相邻的左道路车道802和右道路车道806交叉，从而避免接触在道路上行驶的车辆或对象。

图9是示例性交通场景900的图示，所述交通场景900包括在左车道906、主车道904和右车道908(统称为道路车道902)中行驶的车辆110、910、912、914、916、918、920、922、924、926、928(统称为车辆930)，其中车道是相对于主车辆110指定的，如上面关于图8所讨论的。交通场景900包括行驶在左道路车道906中的车辆916、918、920，在主车辆车道906中分别在主车辆110之前和之后行驶的车辆912、910，以及在右道路车道908中行驶的车辆922、924、926、928。计算装置115可以通过跟踪车辆930以形成车辆路径多项式并基于车辆路径多项式的位置将每个车辆路径多项式分配给道路车道902来改进道路车道902的分类。跟踪车辆930可以包括确定车辆传感器数据中的一个或多个车辆930的连续位置，以及基于连续车辆位置形成如上面关于图7所讨论的车辆路径多项式。可以使用包括深度神经网络的机器视觉技术来确定车辆930的位置，以定位车辆传感器数据中的非静止对象，所述传感器数据包括视频传感器、激光雷达传感器和雷达传感器。

定位车辆传感器数据中的一个或多个车辆930可能在计算上是昂贵的，这意味着当车辆110在道路上行驶时，计算装置115只能定位和跟踪有限数量的车辆。为了允许计算装置115及时完成车辆定位和跟踪任务以提供用于车辆110的操作的数据，可以减选车辆930。减选是其中要定位和跟踪的车辆930的数量减少的过程。可以通过基于与主车辆110的接近度选择车辆930的子集来实现减选。减选可以通过仅选择最靠近主车辆110的车辆930来选择车辆930的子集。例如，基于从左道路车道906中选择在主车辆110前方的一辆车916和从右道路车道908中选择在主车辆110前方的一辆车924，并且从左道路车道906中选择在主车辆110后方的一辆车918和从右道路车道908中选择在主车辆110后方的一辆车926，可以减选左道路车道906中的车辆916、918和右道路车道中的车辆926、924。另外，主车辆车道906中的主车辆110前面的一辆车912和主车辆110后面的一辆车910可以被减选。

以这种方式减选所有车辆930的集合导致一组减选后的车辆910、912、916、918、926、924(统称为减选后的车辆932)，这减少了计算装置115上的计算负荷，从而允许计算装置115在主车辆110在道路上行驶时确定减选后的车辆932的跟踪数据，从而允许计算装置115使用跟踪数据来确定减选后的车辆932的车辆路径多项式。本文讨论的技术可以通过将基于减选后的车辆932的车辆路径多项式与道路车道808数据进行组合来改进主车辆110的操作，并且使用组合后的道路车道数据来确定在其上操作主车辆110的车辆路径多项式710。

图10是包括基于减选后的车辆932确定的车辆路径多项式1002、1004、1006和如上面关于图7所讨论确定的道路车道标记712的车辆坐标系图1000的图示。车辆路径多项式1002、1004、1006是基于如上面关于图9所讨论的减选后的车辆932的位置来确定。每个减选后的车辆932可以由包括在主车辆110中的计算装置115跟踪，其中跟踪被定义为确定在主车辆110在道路上行驶时在连续时间步长获取的车辆传感器数据集的序列中的每个减选后的车辆932的位置。车辆传感器数据集可以是例如视频图像、激光雷达点云数据或雷达回波数据。计算装置115可以处理车辆传感器数据集以确定在一系列车辆传感器数据集中每个减选后的车辆932的位置。所得到的位置可以映射在车辆坐标系图1000上，并且基于道路车道标记712将映射位置划分成群组，其中在道路车道标记712之间的空间中出现的位置包括在群组中。然后可以使用如上面关于图3和图4所讨论的b样条将每个位置群组接合在一起，以形成车辆路径多项式1002、1004、1006。

第二道路车道可以基于车辆路径多项式1002、1004、1006来确定，所述车辆路径多项式是基于减选后的车辆932通过假定车辆路径多项式中的每一个发生在道路车道的横向中心中并且道路车道具有等于基于道路车道标记712所确定的道路车道808的平均宽度的宽度来确定。可以调整所确定的第二道路车道以消除在相对于道路的横向方向上的重叠和间隙。第二道路车道可以与第一道路车道808组合以产生组合的道路车道。用于将第二道路车道与第一道路车道808组合的技术可以包括使用第二道路车道来增加第一道路车道808在组合的道路车道的其中第一道路车道808和第二道路车道重合的部分中的置信度。在组合的道路车道的其中第一道路车道808和第二道路车道不重合的部分中，可以删除第一道路车道808并保留第二道路车道。这将使组合的道路车道基于根据减选后的车辆932的车辆路径多项式1002、1004、1006。

基于减选后的车辆932确定车辆路径多项式1002、1004、1006可以通过将基于道路车道标记712确定的第一道路车道808与基于根据减选后的车辆932确定的车辆路径多项式1002、1004、1006确定的第二道路车道进行比较来改进第一道路车道808的分类。每个第二道路车道应匹配其相应的第一道路车道808，其中每个第二道路车道的中心不应偏离其匹配的道路车道808的中心超过车道宽度的一半，即，等于沿着其纵向长度超过正或负一米。如果基于减选后的车辆932的第二道路车道与其对应的第一道路车道808相差超过正或负一米，则可以假设在确定第一道路车道808时发生了错误。计算装置115可以基于组合的道路车道来确定用于操作主车辆110的车辆路径多项式710，其中组合的道路车道包括基于第二道路车道的其中第一道路车道808不同于第二道路车道的部分，因为避开减选后的车辆932是高优先级任务，并且第二道路车道是基于减选后的车辆932的测得的位置。

图11是包括在左车道1106、主车道1104和右车道1108(统称为道路车道1102)中行驶的车辆110、1110、1112、1114、1116、1118、1120、1122、1124、1126、1128(统称为车辆1130)的示例性交通场景1100的图示，其中车道是相对于主车辆110指定的，如上面关于图8所讨论的。在交通场景1100中，车辆1130可以由主车辆110中的计算装置115减选，以根据上面关于图10所讨论的标准来形成一组减选后的车辆1110、1112、1116、1118、1124、1126(统称为减选后的车辆1132)，其中在主道路车道1104中以及在与主道路车道1104相邻的左道路车道1106和右道路车道1108中在主车辆110前面和后面最靠近主车辆110的车辆1130可以被减选以形成一组减选后的车辆1132。

交通场景1100示出了其中车辆路径多项式1002、1004、1006偏差可能是由于减选后的车辆1132位置的偏差而引起的示例。在该示例中，基于减选后的车辆1132的第二道路车道的偏差可能是由一个或多个减选后的车辆1132不在适当的位置或偏离其相应的道路车道1102的中心而引起的。在第一道路车道808和基于减选后的车辆1132的第二道路车道之间的偏差可以通过从车辆路径多项式计算中去除每个减选后的车辆1132以确定在车辆路径多项式和其相应的道路车道808之间的比较是否得到改进来确定。用于确定减选后的车辆1132中的一个或多个正偏离第一道路车道808的技术是将车辆路径多项式的宽度确定为基于减选后的车辆1132所确定的宽度。在其中一个或多个减选后的车辆1132(例如，车辆1118、1124)偏离第一道路车道808的中心的示例中，针对偏离车辆1118、1124所确定的车辆路径多项式将偏离针对相同道路车道中的其他减选后的车辆1132所确定的车辆路径多项式。在其中车辆路径多项式存在大于正或负半米的偏差或未对准的示例中，可以确定减选后的车辆1132中的一个或多个偏离道路车道808的中心。当发生这种情况时，可以从车辆周围的环境中的该组车辆1130中减选出附加车辆1130，以确定一个或多个减选后的车辆1132是否偏离道路车道808的中心。如果添加到该组减选后的车辆1132的附加车辆1130生成与由其他减选后的车辆1132生成的车辆路径多项式一致的车辆路径多项式，则确认车辆1118、1124偏离道路车道808的中心并且可以从第二道路车道的计算中消除。以这种方式，在确定第二道路车道时，可以忽略改变车道或以其他方式移出道路车道808的减选后的车辆1132。

图12是关于图1至图11所描述的用于基于所确定的道路车道来操作车辆的过程1200的流程图的图示。过程1200可以由计算装置的处理器实施，例如，将来自传感器的信息作为输入，以及执行命令，以及输出对象信息。过程1200包括可以以所示顺序执行的多个框。过程1200可以替代地或另外地包括更少的框，或者可以包括以不同顺序执行的框。

过程1200开始于框1202，其中主车辆110中的计算装置115基于车辆传感器数据来确定道路自由空间616的第一映射图，如上面关于图5和图6所讨论的。道路自由空间616是主车辆110周围的环境中的其中主车辆110可以操作而不离开道路的区域。道路自由空间616的映射图还可以包括对象，所述对象包括其他车辆604、606、608、610。

在框1204处，计算装置115确定包括道路车道的第二映射图。第二映射图是包括道路车道标记712的车辆坐标系图700。该第二映射图可以通过处理车辆传感器数据以确定道路车道标记712来生成，如上面关于图7所讨论的。计算装置可以处理对应于道路车道标记712的b样条以形成道路车道808。取决于道路车道808是否包括主车辆110、与主道路车道804的左侧或右侧相邻或不与主道路车道804相邻，道路车道可以被识别为主道路车道804、左道路车道802、右道路车道806或非相关道路车道。

在框1206处，计算装置115可以基于根据减选后的车辆的车辆路径多项式来确定第二道路车道，如上面关于图9和图10所讨论的。可以处理第二道路车道以确定减选后的车辆中的一个或多个是否偏离道路车道的中心，并且因此可以通过将由减选后的车辆的位置形成的b样条与由减选后的车辆形成的其他b样条进行比较来在减选后的车辆组中进行替换，如上面关于图11所讨论的。

在框1208处，计算装置115可以将第一道路车道808与基于根据减选后的车辆的车辆路径多项式的第二道路车道进行组合。如果第一道路车道和第二道路车道在横向上相差超过正或负半米，则可以使用第二道路车道而不是第一道路车道808，因为第二道路车道是基于主车辆110周围的环境中的道路上行驶的车辆930的确定位置。

在框1210处，计算装置115可以通过确定沿其操作主车辆110的路径多项式710来操作主车辆110。计算装置可以通过经由车辆控制器112、113、114控制车辆动力传动系统、转向装置和制动器来沿着路径多项式操作主车辆110。在框1210之后，过程1200结束。

诸如本文讨论的那些计算装置的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些计算装置的一个或多个计算装置执行并用于执行上文所描述的过程的框或步骤。例如，上文所讨论的过程框可体现为计算机可执行命令。

计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：java^tm、c、c++、python、julia、scala、visualbasic、javascript、perl、html等。一般来说，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类命令和其他数据可以存储在文件中并使用各种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。

计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(dram)。常见形式的计算机可读介质包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、ram、prom、eprom、快闪eeprom、任何其他存储器芯片或盒式磁带或计算机可从其中读取的任何其他介质。

除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。

术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。

修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量值、值、确定、计算等有偏差。

在附图中，相同的附图标记指示相同的要素。此外，可改变这些要素中的一些或全部。相对于本文所描述的介质、过程、系统、方法等，应当理解，虽然此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应当理解，可同时执行某些步骤、可添加其他步骤，或者可省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例目的提供的，并且决不应解释为限制所要求保护的发明。

根据本发明，提供了一种计算机，所述计算机具有：处理器；和存储器，所述存储器包括指令，所述指令能够由所述处理器执行以：基于车辆传感器数据，生成道路上的自由空间的第一映射图，在所述自由空间中第一车辆可以操作而不接触道路边缘和所述道路上的非静止对象，所述第一映射图包括所述第一车辆周围的环境中的道路车道标记，其中所述非静止对象包括一个或多个第二车辆；通过基于包括在所述第一映射图中的所述道路车道标记和所述道路边缘确定对应于第一道路车道的b样条来生成所述第一车辆周围的所述环境中的自由空间的第二映射图；基于确定所述非静止对象的位置来确定第二道路车道；基于所述第一道路车道和所述第二道路车道确定组合的道路车道；以及基于所述组合的道路车道来操作所述第一车辆。

根据一个实施例，所述第一道路车道和所述第二道路车道基于所述第一车辆的位置而分类为左车道、右车道、主车道和非相关车道中的一者或多者。

根据一个实施例，所述车辆传感器数据包括视频数据、激光雷达数据和雷达数据中的一者或多者。

根据本发明，所述指令包括用于基于结点和受控点确定所述b样条的其他指令，其中所述结点是所述b样条上的点，并且所述受控点基于三次多项式函数来确定所述b样条在所述结点之间的形状。

根据本发明，所述指令包括用于基于确定由车辆传感器在连续时间步长所获取的数据中的所述非静止对象的多个位置来确定对象轨迹的其他指令。

根据本发明，所述指令包括用于基于所述对象轨迹来确定对应于所述第二道路车道的b样条的其他指令。

根据本发明，所述指令包括用于基于将对应于所述第一道路车道的所述b样条与对应于所述第二道路车道的所述b样条组合来确定所述组合的道路车道的其他指令。

根据本发明，所述指令包括用于在所述第一道路车道与所述第二道路车道不匹配时将对应于所述第二道路车道的所述b样条包括在所述组合的道路车道中的其他指令。

根据本发明，所述指令包括用于基于根据所述组合的道路车道确定可转向路径多项式来操作所述第一车辆的其他指令。

根据本发明，所述指令包括用于通过控制车辆动力传动系统、转向装置和制动器来沿着所述可转向路径多项式操作所述第一车辆的其他指令。

根据本发明，一种方法包括：基于车辆传感器数据，生成道路上的自由空间的第一映射图，在所述自由空间中第一车辆可以操作而不接触道路边缘和所述道路上的非静止对象，所述第一映射图包括所述第一车辆周围的环境中的道路车道标记，其中所述非静止对象包括一个或多个第二车辆；通过基于包括在所述第一映射图中的所述道路车道标记和所述道路边缘确定对应于第一道路车道的b样条来生成所述第一车辆周围的所述环境中的自由空间的第二映射图；基于确定所述非静止对象的位置来确定第二道路车道；基于所述第一道路车道和所述第二道路车道确定组合的道路车道；以及基于所述组合的道路车道来操作所述第一车辆。

在本发明的一个方面中，所述第一道路车道和所述第二道路车道基于所述第一车辆的位置而分类为左车道、右车道、主车道和非相关车道中的一者或多者。

在本发明的一个方面中，所述车辆传感器数据包括视频数据、激光雷达数据和雷达数据中的一者或多者。

在本发明的一个方面中，所述方法包括基于结点和受控点来确定所述b样条，其中所述结点是所述b样条上的点，并且所述受控点基于三次多项式函数来确定所述b样条在所述结点之间的形状。

在本发明的一个方面中，所述方法包括基于确定由车辆传感器在连续时间步长所获取的数据中的所述非静止对象的多个位置来确定对象轨迹。

在本发明的一个方面中，所述方法包括基于所述对象轨迹来确定对应于所述第二道路车道的b样条。

在本发明的一个方面中，所述方法包括基于将对应于所述第一道路车道的所述b样条与对应于所述第二道路车道的所述b样条组合来确定所述组合的道路车道。

在本发明的一个方面中，所述方法包括在所述第一道路车道与所述第二道路车道不匹配时将对应于所述第二道路车道的所述b样条包括在所述组合的道路车道中。

在本发明的一个方面中，所述方法包括基于根据所述组合的道路车道确定可转向路径多项式来操作所述第一车辆。

在本发明的一个方面中，所述方法包括通过控制车辆动力传动系统、转向装置和制动器来沿着所述可转向路径多项式操作所述第一车辆。