中所有 像素值依照一定分类思路，得到初始分割阈值的序列，在分割阈值序列所划分的像素值区 间段进行图像分割，得到分割后的道路场景的序列图像。
[0056] -般的，序列图像由多张二值图像组成，二值图像由0或1表示每一个像素点的像 素值，每一张二值图像则代表不同分类类别中，属于这一个类别的场景像素点的分布，如果 某一像素点隶属于此分类类别，则将在序列中这一分类二值图像中标示像素值为1。
[0057]通过以上所述的阈值分割技术，最后可以得到当前的道路标线二值图。
[0058] (3)获取当前道路标线的二值图之后，按照不同的两种流程进行下一步操作，
[0059] 首先是智能驾驶车辆纵向定位流程分支：
[0060] 在智能驾驶车辆纵向定位流程分支中，首先需要的是获取GNSS给出的定位信息， 因为GNSS在城市复杂环境内使用会存在定位误差，但是这个定位误差并不会偏差真实物理 地点太大的距离，那么此时可以利用GNSS的带有一定误差的定位点，选择道路标线地图中 的特定范围，以便降低定位时的计算量，加快定位进程。
[0061] 其次，根据当前道路标线的二值图进一步作分析与处理:获取当前车辆行驶的车 道左右的行道线，并检测当前行道线之间的区域内是否存在有一定特征的道路标线，例如 斑马线、停止线、限速标志、车道导流线等。理论上，这一步骤会占用一部分的处理时间，但 是其优点是如果当前道路标线二值图中只包含行道线，那么除了给出当前车道信息之外并 没有其他的纵向信息，如果进行地图匹配可能会给出非常多的最大相似点，实际上对只包 含行道线的道路标线二值图进行辅助定位是没有意义的，而真实环境下大多数道路路面上 只包含行道线信息，而不包含其他的路面交通标志，那么从整体角度上考虑在实施例中进 行路面交通标志的检测是具有良好意义的。
[0062] 最后，当检测到特定的道路标线，结合当前GNSS确定的道路标线区块，判定最大相 似的匹配点，即得到了当前道路标线的二值图中特定道路标线的物理定位点。结合摄像头 与车辆安装时的位置关系，推算当前车辆在道路平面(也就是道路标线正射视图所确定的 平面)上的物理定位点。至此便完成了利用道路标线信息辅助GNSS的纵向定位流程。
[0063] 其次是针对后台地图数据的道路标线地图生成与更新流程分支：
[0064] 针对道路标线地图的生成与更新，则是依赖了上述步骤(2)得到的当前智能车辆 前方的道路标线正射二值图。
[0065]道路标线地图的生成过程如图3所示，首先是上述的车辆运行轨迹上的道路标线 正射二值图的采集，其次是通过结合INS在短距离运行间隔时的高精度特性，记录每次采集 与前一次采集时，车辆的行进轨迹、位置、速度以及方向，以便每一帧道路标线正射二值图 能够正确的拼接在全局道路标线地图上。最后，由于每次采集时，道路标线正射二值图中所 有1像素值的像素点，正确表示其属于道路标线分类的概率并不相同，越靠近摄像头所成像 的道路标线图像像素点，其携带正确信息的概率越大，特别是在经过IPM的正射视图中，距 离成像平面越远的点，在道路标线二值图上对应的1像素值的像素点携带正确信息的概率 值越低。基于这一原因，最终在全局地图数据中参与计算的不是原始的道路标线正射二值 图，而是经过概率化之后的道路标线正射概率图，即可使用信息融合的方法生成/更新当前 的全局道路标线地图。信息融合的具体方法，包括但不限于DS证据理论、隐马尔科夫状态转 移过程。
[0066]图4(c)描述的是一种正射视图与透视视图的简单示意，可以发现实际上距离当前 图像采集的摄像头距离越远处的场景，在透视视图中会采用更少的像素表达，那么在同一 位置处的正射视图中，这一远处场景实际上经过了更多的图像处理操作（图像拉伸、插值、 旋转等），如图4(a)所示场景下，在车辆正前方每隔5米的左右行道线上放置不同色彩的、大 小形状相同的三角形路障，图4(b)中，是经过IPM后的正射道路场景，从正射场景的道路图 像上也可以看出，随着与摄像头成像平面距离的增加，正射场景上距离越远的物体越难以 直观的辨识，距离越远的路面越难以分辨路面上的纹理。
[0067]从信息理论角度分析，对原始图像进行的每一次图像处理操作，都会造成原始图 像所携带的信息的损失，那么就能很好的理解为什么需要人工的按照与摄像头间距，设置 概率加权值。
[0068]在本实施例中，采取了如下方式设定。如图4(a)透视视图中，以最近距离的三角形 路障在图像中的像素点面积为基准面积，依次统计随后每一个5米间隔的三角形路障的图 像像素点面积，这一面积实际上反映的是经过透视变换后，三角形路障在投影平面上的透 视关系（即近大远小），那么与基准面积的比例即不同位置下像素点携带信息量的增减比 例。本实施例中，经过计算依次得到的物体与成像平面之间不同距离条件下的人工加权概 率值如表1所示：
[0069] 表1
[0070]
[0071] 进一步，由于实际的正射道路标线二值图每一行都可能存在需要加权的1像素值 像素点，但表1中只确定了其中一小部分的比例值，此时需要采用插值的方法将这一比例映 射至整幅图像的高度区间上。在本实施例中采用的是二次多项式拟合的方法，通过最小二 乘法计算出此时二次多项式的多项式系数，即可以将原正射道路标线二值图映射成为正射 道路标线概率图。至此，本实施例中道路标线地图的生成、更新流程详述完毕。
[0072]说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明， 而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是 落入该发明权利要求书所保护范围内。
【主权项】
1. 一种自动驾驶中基于城市道路标线地图的纵向定位系统，其特征在于:该系统包括： 图像采集模块，用于采集车辆前方图像； 图像处理模块，用于将采集到的车辆前方图像进行处理，得到当前车辆前方的鸟瞰视 图及前方道路标线像素分类的二值图； 匹配模块，用于接收道路标线地图信息、当前道路标线像素分类的二值图、初步定位信 息，并对三者进行匹配，输出精确定位信息； 地图提供模块，用于向匹配模块提供道路标线地图信息； 车载全球导航卫星系统GNSS，用于与INS结合向匹配模块提供初步定位信息； 惯性导航系统INS，用于与GNSS结合向匹配模块提供初步定位信息。2. 根据权利要求1所述的一种自动驾驶中基于城市道路标线地图的纵向定位系统，其 特征在于:所述地图提供模块根据图像匹配模块连续的匹配结果进行地图更新。3. 根据权利要求1所述的一种自动驾驶中基于城市道路标线地图的纵向定位系统，其 特征在于:所述车载全球导航卫星系统GNSS和惯性导航系统INS根据匹配模块输出的精确 定位信息进行定位误差校正。4. 一种自动驾驶中基于城市道路标线地图的纵向定位方法，其特征在于：该方法包括 以下步骤： 步骤1、在智能驾驶车辆上，前向安装图像采集模块，动态的获取到车辆前方图像； 步骤2、对图像采集模块采集到的每一帧场景图像进行逆透视变换，得到当前车辆前方 的道路平面的正射投影视图； 步骤3、对步骤2中经过逆透视变换得到的正射投影视图进行图像阈值分割处理，并经 过分类筛选得到正射投影图像中属于路面道路标线像素分类的二值图； 步骤4、通过GNSS系统和INS系统得到初步定位信息并结合城市道路标线地图确定定位 点周围的道路标线区块； 步骤5、对步骤3得到的车辆前方道路标线像素分类的二值图与步骤4得到的道路标线 区块进行匹配，判定最大相似匹配点，即得到了当前道路标线的二值图中特定道路标线的 物理定位点，再结合摄像头与车辆安装时的位置关系，推算当前车辆在道路平面上的物理 定位点。5. 根据权利要求4所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其 特征在于:步骤1还包括记录图像采集模块的参数，包括摄像头的相机内参数、摄像头安装 时距离地面的高度h、摄像头视场角度，并以此建立逆透视变换矩阵。6. 根据权利要求4所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其 特征在于:步骤3中通过多类别之间的类间方差，和/或KMeans聚类方法，和/或FloodFill运 算得到初始分割阈值序列。7. 根据权利要求4所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其 特征在于:该方法还包括根据最终确定的当前车辆在道路平面上的物理定位点，对GNSS系 统进行重新校正，消除INS系统中的积累误差。8. 根据权利要求4所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其 特征在于:该方法还包括根据步骤3中得到的道路标线像素的二值图进行标线地图更新： 步骤301:结合INS在短距离运行间隔时的高精度特性，记录每次采集与前一次采集时， 车辆的行进轨迹、位置、速度以及方向，以便每一帧道路标线正射二值图能够正确的拼接在 全局道路标线地图上； 步骤302:根据越靠近摄像头所成像的道路标线图像像素点，其携带正确信息的概率越 大的特点，对阈值分割处理后的道路标线图像像素点进行加权计算得到道路标线正射概率 图； 步骤303:对步骤302得到的正射概率图进行信息融合，生成或更新当前的全局道路标 线地图。9.根据权利要求8所述的一种自动驾驶中基于城市道路标线地图的纵向定位方法，其 特征在于:步骤303中所采用的信息融合方法包括DS证据理论、隐马尔科夫状态转移过程。
【专利摘要】本发明提供一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法。通过智能驾驶车辆采集到的当前道路标线信息，结合当前GNSS给出的存在误差的定位点坐标，进一步在当前定位点坐标附近进行基于道路标线地图的车辆纵向定位，以此来校正、重定位当前车辆的准确位置，能够有效的在城市复杂环境下的结构化道路上，利用静止的道路标线的绝对位置，对GNSS定位进行辅助校正、对INS系统进行积累误差的消除。
【IPC分类】G01S19/40, G01S19/47
【公开号】CN105676253
【申请号】CN201610028832
【发明人】苏晓聪, 陶靖琦, 朱敦尧
【申请人】武汉光庭科技有限公司
【公开日】2016年6月15日
【申请日】2016年1月15日