一种用于无人驾驶的道路级全局环境地图生成方法与流程

本发明涉及无人驾驶技术领域，特别涉及一种用于无人驾驶的道路级全局环 境地图生成方法。

背景技术：

随着通信技术、机器智能技术、计算机网络技术以及地理信息系统技术等 技术的蓬勃发展，无人驾驶在军事、民用以及科学研究等诸多方面获得了广泛 的关注，无人驾驶集中实现了控制论、电子学及人工智能的等诸多领域的交叉 研究，具有非常广阔的运用前景。无人驾驶汽车是一种智能汽车，也可以称之 为轮式移动机器人，从上世纪70年代开始，美国、英国、德国等发达国家开始 进行无人驾驶汽车的研究，多年来，在可行性和实用化方面都取得了重大突破。

无人驾驶汽车目前大多是利用车载传感器来感知车辆周围环境，并根据感 知得到的道路、车辆位置和障碍物信息，来达到无人驾驶的目的，已有的无人 驾驶汽车道路环境感知系统采用的传感器有传感器、激光雷达、惯导以及GPS 等，但是普通GPS的精度有限，信号不稳定且易受遮挡，利用激光雷达等纯视 觉器件可有效识别出道路边界和障碍物，且这类器件虽然适用于大部分环境， 价格相对低廉，安装十分便捷，但是，要想实现无人驾驶汽车的精确安全行驶， 就必须要有非常丰富的道路信息提供给无人车作驾驶决策。假若能绘制一种精 度和准确度相当高的地图，用来指导无人驾驶汽车在变道、超车等过程中对路 线进行精确判定，那么就能防止在此过程中造成交通事故。

因此，在汽车行驶的过程中，对无人驾驶汽车行驶车道进行检测，得到当 前行驶车道的车道信息是非常有必要的。不少传统的无人驾驶汽车，是利用GPS 进行地图绘制的，然而就像前面所说，这种现有的技术方案存在很大的问题和 缺点，那就是易受地形、天气状况以及精度欠精确的问题。而且制作成本还不 低，运用这种办法制作出来的地图对无人驾驶汽车进行推广，显然是很不利的。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种用于无人驾驶的道路级 全局环境地图生成方法，通过在车辆行驶过程中持续捕捉环境信息生成全局经 验地图，再结合多车道线检测，得到准确度高的道路级全局环境地图，为无人 驾驶提供更精确的驾驶决策。

本发明的目的是通过以下技术方案来实现的：

一种用于无人驾驶的道路级全局环境地图生成方法，包括以下步骤：

S1、获取无人驾驶汽车当前数据，在无人驾驶汽车运动过程中持续进行定 位和拍摄图像，根据每帧图像定位的坐标(x^h,y^h)绘制出无人驾驶汽车的运动轨 迹，得到全局经验地图；

S2、计算无人驾驶汽车当前运动状态，通过比较捕捉到的前后两张图片中 特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息，所 述位置坐标(x^h,y^h)和所述角度θ^h构成无人驾驶汽车当前的位姿P^h＝(x^h,y^h,θ^h)；

S3、提取图像特征矩阵，根据无人驾驶汽车行驶环境的特点选择颜色特征、 纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵；

S4、筛选相似视觉模板和添加新视觉模板，从图像特征矩阵中筛选出具有 环境代表性的图像特征矩阵作为视觉模板，每采集一帧图像后，判断当前帧的 图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板；

所述筛选相似视觉模板的分步骤如下：

S401、记视觉模板集合F＝{F1,F2,…}，其中FK表示第K个视觉模板， k＝1,2,…，K，K表示当前视觉模板集合中的模板数量；计算当前帧的图像特征 矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似度，选择相似度最大的视觉 模板将其对应的图像序号记为R；

S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系数 d,比较匹配系数d和预设阈值dmax；

如果d＞dmax，将Fh作为第K+1个视觉模板添加到视觉模板集合，当前帧图 像的视觉模板F^h＝Fh，否则，将视觉模板也就是与当前帧相似度最大的视觉 模板，作为当前帧图像对应的视觉模板

S5、经验点匹配，根据无人驾驶汽车当前对应的位姿P^h和视觉模板F^h与当 前已存在的每个经验点ei的位姿Pⁱ与视觉模板Fⁱ进行比较，求得匹配值Sⁱ，所述 ei＝{Pⁱ,Fⁱ,pⁱ}，i＝1,2,L,Q，Q表示当前已有经验点数量，具体计算公式如下：

Sⁱ＝μP|Pⁱ-P^h|+μF|Fⁱ-F^h|

其中，μP和μF分别是位姿信息和视觉特征的权值；

当Q个Sⁱ均大于预设阈值Smax时，根据当前无人驾驶汽车当前对应的位姿信 息P^h和视觉模板F^h生成新经验点；

当Q个Sⁱ均小于预设阈值Smax时，选择Sⁱ最小的经验点作为匹配经验点；

S6、车道线检测，拍摄每帧图像的同时，采用摄像头和激光雷达采集360 度视角范围内的车道信息，检测得到当前帧图像对应的所有车道线的特征点集；

S7、车道线与全局经验地图融合，融合车道线检测结果和生成的全局经验 地图，得到无人驾驶的道路级全局环境地图。

进一步地，所述的步骤S2中无人驾驶汽车当前的位姿P^h＝(x^h,y^h,θ^h)计算 公式如下：

第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,I^h,I^h-1)为：

其中，w是图片宽度，s是进行强度分布比较的宽度，和分 别表示图片中第ξ+max(s,0)像素列的强度值；

无人驾驶汽车当前的角度θ^h＝θ^h-1+Δθ^h，旋转角度增量Δθ^h＝σ·sm，σ为增 量参数，sm是强度分布比较的宽度即sm＝argminf(s,I^h,I^h-1)。

进一步地，所述步骤S4中图像特征矩阵Fh和视觉模板Fk的相似度采用以下 方式计算：

计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,I^h,I^k) 中的最小值，作为相似度D(h,k)，即D(h,k)＝minf(s,I^h,I^h-1)，D(h,k)越小，相 似度越大。

进一步地，所述的步骤S6中车道线检测，具体包括以下分步骤：

S601、基于图像的车道线特征点识别，根据摄像头拍摄到的360视角的路 面图像进行车道线识别，得到每根车道线的特征点集；

S602、坐标变换，根据各个特征点在路面图像中的坐标和激光雷达所获得 的该特征点的距离，将特征点变换到无人驾驶汽车的车辆坐标系下；

S603、判断最近车道线，在车辆坐标系下，计算每根车道线的特征点集的 所有的点到无人驾驶汽车坐标的平均距离，选择车辆左、右两侧平均距离最小 的车道线分别作为左侧最近车道线和右侧最近车道线，并根据特征点坐标判断 得到车辆左侧的车道线数量WL和右侧的车道线数量WR；

S604、最近车道线拟合，根据左侧最近车道线和右侧最近车道线的特征点 集，拟合得到左侧最近车道线和右侧最近车道线；

S605、获取车道线参数，搜索得到经过无人驾驶汽车从左侧最近车道线到 右侧最近车道线的最短线段，取其长度作为车道宽度ρ，ρ＝ρL+ρR，ρL为无人 驾驶汽车距离左侧最近车道线的最短距离，ρR为无人驾驶汽车距离右侧最近车 道线的最短距离。

本发明的有益效果是：

1)本发明能够完成智能车实时建图和精确定位，相较于传统的基于深度学 习的语义SLAM系统有更好的定位精度。

2)本发明的车道检测，使用360度的视角，将所有车道全部覆盖，这样即 使在某一方向受到遮挡，仍有其他视角的信息作为补充，特别适用于多车道检 测的建图，360度的图像视野虽然有了很大的扩展，但是仍然控制在有限范围内， 而不像前视图那样扩展到无穷远，因此在针对结构化道路的情况下，大部分的 曲率变化都很小。

3)在本发明中，利用车道线检测结果与生成的全局经验地图进行融合，从 而得到一种准确度和精度都非常高的用于无人驾驶的道路级全局环境地图。

附图说明

图1为本发明方法的流程图；

图2为基于深度学习的语义SLAM系统框图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有 其他实施例，都属于本发明保护的范围。

参阅图1-2，本发明提供一种技术方案：

一种用于无人驾驶的道路级全局环境地图生成方法，如图1-2所示，包括以 下步骤：

S1、获取无人驾驶汽车当前数据，在无人驾驶汽车运动过程中持续进行定 位和拍摄图像，记当前帧图像序号为h，根据每帧图像定位的坐标(x^h,y^h)绘制出 无人驾驶汽车的运动轨迹，得到全局经验地图；

S2、计算无人驾驶汽车当前运动状态，通过比较捕捉到的前后两张图片中 特定区域的扫描强度分布来获取所述无人驾驶汽车的速度和旋转角度信息，所 述位置坐标(x^h,y^h)和所述角度θ^h构成无人驾驶汽车当前的位姿P^h＝(x^h,y^h,θ^h)； 所述的步骤S2中无人驾驶汽车当前的位姿P^h＝(x^h,y^h,θ^h)计算公式如下：

第h帧图像与第h-1帧图像在不同宽度s下的光照强度差值f(s,I^h,I^h-1)为：

其中，w是图片宽度，s是进行强度分布比较的宽度，和分 别表示图片中第ξ+max(s,0)像素列的强度值；

无人驾驶汽车当前的角度θ^h＝θ^h-1+Δθ^h，旋转角度增量Δθ^h＝σ·sm，σ为增 量参数，sm是强度分布比较的宽度即sm＝argminf(s,I^h,I^h-1)，根据宽度sm可计算 得到无人驾驶汽车当前位置的旋转角度增量Δθ^h＝σ·sm，其中σ为增量参数，可 得无人驾驶汽车当前的角度θ^h＝θ^h-1+Δθ^h，θ^h-1表示前一帧图像拍摄时无人驾驶 汽车对应的角度，θ⁰是无人驾驶汽车启动时相对于地图的旋转角度，可以在无 人驾驶汽车启动时测量得到。由位置坐标(x^h,y^h)和角度θ^h即可构成无人驾驶汽 车当前的位姿P^h＝(x^h,y^h,θ^h)。

根据宽度sm对应的光照强度差值f(sm,I^h,I^h-1)可计算得到无人驾驶汽车当 前的移动速度v＝min[vcalf(sm,I^h,I^h-1),vmax]，其中vcal为经验常数，vmax表示速度上限 阈值。

S3、提取图像特征矩阵，根据无人驾驶汽车行驶环境的特点选择颜色特征、 纹理特征、形状特征和空间关系特征中的一种或多种特征来构成图像特征矩阵；

对当前第h帧图像进行图像特征提取得到当前帧的图像特征矩阵为Fh。常用 的图像特征有颜色特征、纹理特征、形状特征、空间关系特征等，可以根据无 人驾驶汽车行驶环境的特点选择其中一种或多种图像特征来构成图像特征矩 阵。

S4、筛选相似视觉模板和添加新视觉模板，从图像特征矩阵中筛选出具有 环境代表性的图像特征矩阵作为视觉模板，每采集一帧图像后，判断当前帧的 图像特征矩阵Fh是否要作为新的视觉模板或为当前帧确定对应的视觉模板；

所述筛选相似视觉模板的分步骤如下：

S401、记视觉模板集合F＝{F1,F2,…}，其中FK表示第K个视觉模板， k＝1,2,…，K，K表示当前视觉模板集合中的模板数量；视觉模板是从历史的图 像特征矩阵中筛选出来的具有环境代表性的图像特征矩阵。因此，每采集一帧 图像后，需要判断当前帧的图像特征矩阵Fh是否要作为新的视觉模板或为当前 帧确定对应的视觉模板。

计算当前帧的图像特征矩阵Fh与视觉模板集合F中各个视觉模板Fk的相似 度，选择相似度最大的视觉模板将其对应的图像序号记为R；

所述图像特征矩阵Fh和视觉模板Fk的相似度采用以下方式计算：

计算当前帧图像与视觉模板Fk所对应图像之间的光照强度差值f(s,I^h,I^k)中 的最小值，作为相似度D(h,k)，即D(h,k)＝minf(s,I^h,I^h-1)，D(h,k)越小，相似 度越大。

S402、判断匹配系数,分别计算出当前帧图像与第R帧图像之间的匹配系数

d,d＝minf(s,I^h,I^R)

比较匹配系数d和预设阈值dmax，如果d＞dmax，则认为当前帧的图像特征矩 阵Fh所包含的环境信息与之前视觉模板均不同，将Fh作为第K+1个视觉模板添 加到视觉模板集合，当前帧图像的视觉模板F^h＝Fh，否则，将视觉模板也就 是与当前帧相似度最大的视觉模板，作为当前帧图像对应的视觉模板

S5、经验点匹配，在全局经验地图中，在无人驾驶汽车运动轨迹上存在一 种特殊的点，称之为经验点，该经验点是具有代表性的点。在当前的全局经验 地图中，每个经验点ei是由该经验点所对应的无人驾驶汽车的位姿Pⁱ、视觉模板 Fⁱ和经验点的地图坐标pⁱ来表示的：ei＝{Pⁱ,Fⁱ,pⁱ}，i＝1,2,L,Q，Q表示当前已 有经验点数量。pⁱ可以直接从位姿Pⁱ中得到，即为位姿Pⁱ中包含的坐标信息。

根据无人驾驶汽车当前对应的位姿P^h和视觉模板F^h与当前已存在的每个经 验点ei的位姿Pⁱ与视觉模板Fⁱ进行比较，求得匹配值Sⁱ，所述ei＝{Pⁱ,Fⁱ,pⁱ}， i＝1,2,L,Q，Q表示当前已有经验点数量，具体计算公式如下：

Sⁱ＝μP|Pⁱ-P^h|+μF|Fⁱ-F^h|

其中，μP和μF分别是位姿信息和视觉特征的权值；

当Q个Sⁱ均大于预设阈值Smax时，根据当前无人驾驶汽车当前对应的位姿信 息P^h和视觉模板F^h生成新经验点；

当Q个Sⁱ均小于预设阈值Smax时，选择Sⁱ最小的经验点作为匹配经验点；

添加新经验点：根据当前无人驾驶汽车当前对应的位姿信息P^h和视觉模板 F^h生成第Q+1个经验点eQ+1＝{P^Q+1,F^Q+1,p^Q+1}，其中P^Q+1＝P^h，V^Q+1＝F^h，p^Q+1即 为位姿信息P^h中的坐标(x^h,y^h)，然后计算得到经验点eQ+1地图坐标p^Q+1与之前Q 个经验点ei的地图坐标pⁱ之间的距离Δp^i,Q+1。可见，在添加每个经验点时，均会 计算新经验点与已有经验点之间的地图坐标距离，那么显然存在一个关联矩阵 T，其中每个元素tij就表示经验点ei和经验点ej之间的地图坐标距离，ej可以表 示为：ej＝{P^j,V^j,pⁱ+Δp^ij}。

全局经验地图修正：

当存在Sⁱ小于预设阈值Smax时，则认为当前位姿信息与视觉模板与之前的经 验点能够匹配，选择Sⁱ最小的经验点作为匹配经验点，然后判断是否有超过预 设帧数的图像的位姿信息与视觉模板与之前的连续若干个经验点匹配，如果不 是，则不作任何操作，如果是，则认为回到了之前经历过的地方，并完成了一 次闭环检测，那么需要对全局经验地图中以上匹配的经验点的坐标进行修正， 经验点ei的坐标修正值Δpⁱ为：

其中α是修正常数，N⊥表示全局经验地图中经验点ei到其他经验点的连接 数，Nη表示全局经验地图中其他经验点到经验点ei的连接数。即用全局经验地 图中其他与经验点ei存在直接连接关系的经验点来对经验点ei进行修正，那么修 正后的经验点ei＝{Pⁱ,Fⁱ,pⁱ+Δpⁱ}。

S6、车道线检测，拍摄每帧图像的同时，采用摄像头和激光雷达采集360 度视角范围内的车道信息，检测得到当前帧图像对应的所有车道线的特征点集；

传统相机的多车道检测由于视野有限，无法保证检测到路面所有车道，故 在本发明中使用360度的视角，将所有车道全部覆盖，采用360度视角，这样 即使在某一方向受到遮挡，仍有其他视角的信息作为补充，如此就特别适用于 多车道检测的建图。360度的图像视野虽然有了很大的扩展，但是仍然控制在有 限范围内，而不像前视图那样扩展到无穷远。因此在针对结构化道路的情况下， 大部分的曲率变化都很小，因此本实施例中选用二次拟合算法得到二次曲线模 型来实现车道线检测。

如图2所示，车道线检测的流程图，所述的步骤S6中车道线检测，具体包 括以下分步骤：

S601、基于图像的车道线特征点识别，根据摄像头拍摄到的360视角的路 面图像进行车道线识别，得到每根车道线的特征点集，。目前业内已经具有多种 车道线识别算法，根据实际需要选择即可。

S602、坐标变换，根据各个特征点在路面图像中的坐标和激光雷达所获得 的该特征点的距离，将特征点变换到无人驾驶汽车的车辆坐标系下。

S603、判断最近车道线，在车辆坐标系下，计算每根车道线的特征点集的 所有的点到无人驾驶汽车坐标的平均距离，选择车辆左、右两侧平均距离最小 的车道线分别作为左侧最近车道线和右侧最近车道线，并根据特征点坐标判断 得到车辆左侧的车道线数量WL和右侧的车道线数量WR。

S604、最近车道线拟合，根据左侧最近车道线和右侧最近车道线的特征点 集，拟合得到左侧最近车道线和右侧最近车道线，采用二次拟合算法拟合得到 车道线，其具体方法为：记车道线的特征点集DOTS＝{(xμ,yμ)|μ＝1,2,3,...,M}，M 表示特征点数量，(xμ,yμ)表示第μ个特征点在车辆坐标系下x、y轴的二维坐标。 由于本实施例中采用二次拟合算法，记车道线的y＝cx²+bx+a，a、b、c为 车道线方程系数，设U(a,b,c)是根据该道路模型给出的拟合函数，令：

由多元函数极值原理，计算上式偏微分，分别令3个方程为0时得到方程 组：

解此方程组，求得二次曲线的系数a、b、c。

定义一个判别函数DYM＝max{|f(xμ)-yμ|,(xμ,yμ)∈DOTS}表示利用以上拟合 函数后与实际数据的接近程度，其中f(xμ)为点集DOTS进行上面所述二次拟合 后得到的拟合函数。要想检测出车道线，就是要找到一个点序列使得DYM＜DTH， 其中DTH为进行该拟合所要求的精度。这个由点序列所构成的点集，直观上看就 是线条，这个经过拟合得到的线就是所要得到的车道线。

S605、获取车道线参数，搜索得到经过无人驾驶汽车从左侧最近车道线到 右侧最近车道线的最短线段，取其长度作为车道宽度ρ，ρ＝ρL+ρR，ρL为无人 驾驶汽车距离左侧最近车道线的最短距离，ρR为无人驾驶汽车距离右侧最近车 道线的最短距离。

具体做法如下，搜索得到经过无人驾驶汽车从左侧最近车道线到右侧最近 车道线的最短线段其中L表示该线段在左侧最近车道线上的端点，R表示 该线段在右侧最近车道线上的端点，其长度作为车道宽度ρ，其方向作为车 道基准方向，将的长度作为无人驾驶汽车距离左侧最近车道线的最短距离 ρL，的长度作为无人驾驶汽车距离右侧最近车道线的最短距离ρR，其中O表 示车辆坐标系中无人驾驶汽车的坐标，即原点坐标，显然ρ＝ρL+ρR。

S7、车道线与全局经验地图融合，融合车道线检测结果和生成的全局经验 地图，得到无人驾驶的道路级全局环境地图。

全局经验地图实际上就是无人驾驶汽车在不断向前运动过程中的行车线轨 迹，在本发明中，利用车道线检测结果与生成的全局经验地图进行融合，从而 得到一种准确度和精度都非常高的用于无人驾驶的道路级全局环境地图。其融 合方法为：记全局经验地图的缩放比例为1:γ，其中γ表示缩放倍数，显然当把 车道线映射到全局经验地图中时，每条车道的宽度为ρ/γ。在无人驾驶汽车运动 过程中，根据每帧图像定位的坐标(x^h,y^h)绘制出无人驾驶汽车的运动轨迹。然 后在无人驾驶汽车的车辆坐标系中，沿车道基准方向方向，得到与原点坐 标距离为ρL/γ的左侧最近车道线点，然后得到与原点坐标距离为 [(τ-1)ρ+ρL]/γ的其余WL-1个左侧车道线点，τ＝2,3,L,WL；沿车道基准方向方向，得到与原点坐标距离为ρR/γ的右侧最近车道线点，然后得到与原点坐标 距离为[(τ′-1)ρ+ρR]/γ的其余WR-1个右侧车道线点，τ′＝2,3,L,WR。由图2可 知，由于无人驾驶汽车存在旋转增量，车辆坐标系与地图的坐标系之间可能存 在一个旋转角度，而且在车辆坐标系中无人驾驶汽车是原点，而在地图中每次 获取图像时的无人驾驶汽车位置坐标均不相同，因此需要进行坐标转换才能实 现车道线和全局经验地图的准确融合。因此最后还需要根据无人驾驶汽车的位 姿P^h＝(x^h,y^h,θ^h)将车道线点转换到地图坐标系中，从而同步绘制出无人驾驶汽 车所在道路的车道线，得到道路级全局环境地图。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所 披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改 和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知 识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围， 则都应在本发明所附权利要求的保护范围内。