专利名称：一种基于双模态数据融合的道路检测方法
技术领域：
本发明涉及图像分割技术，特别是涉及一种基于双模态数据融合的道路检测方法。
背景技术：
基于传感器的道路检测算法在移动机器人自主导航领域中起着至关重要的作用。传统的道路检测算法基于单一的传感器，例如摄像机、激光雷达等。基于单一传感器对移动机器人周围环境进行感知存在着许多不足。单目摄像机能提供环境的颜色信息，但是该传感器对光照环境的不变性要求较高，在道路检测中对阴影和颜色对比度小的环境不鲁棒。双目摄像机可以通过获取环境的三维信息弥补单目摄像机在环境光线变化、出现斑驳阴影以及颜色对比度小的情况下检测效果差的不足，但是基于摄像机的三维重建系统不能满足算法实时性要求。激光雷达一般来说能准确的得到移动机器人周围环境的三维信息，但该传感器的不足在于，一方面不能获取无激光射线返回的物体的三维信息，例如水面、镜面物体，另一方面不能获取环境的颜色信息。近年来，研究者进行了一系列基于多传感器融合进行道路检测的研究，其中将摄像机与激光雷达进行融合成为该领域的热门。这些研究主要分为两类，一类是在数据层上进行融合，将摄像机得到的图像信息和激光雷达得到的三维点信息作为特征进行分类，该方法的缺点是需要大量的人工标注来对样本进行训练，而且分类的结果好坏依赖于样本是否全面；另一类在决策层上进行融合，先将摄像机的图像信息与激光雷达的三维点信息分别进行分类，然后建立一个融合分类网络将两种传感器分类结果融合，该方法的缺点是需要人工定义融合分类网络，当分类类别数量较大时，该网络的定义将相当复杂。
发明内容
本发明的目的是提出一种基于双模态数据融合的道路检测方法，解决传统基于单一模态数据进行道路检测对环境光线变化不鲁棒，受道路上阴影影响大，对道路上路牌杆、护栏检测不敏感，对传感器无数据返回区域无法检测的问题。本发明采用的技术方案的步骤如下:1.1)激光雷达三维点的坐标系转换:将激光雷达三维坐标系，包括X轴，yl轴和ζ轴下的激光雷达三维点\ = (X1, Y1, Z1)1通过左乘激光雷达与摄像机之间的旋转平移矩阵[Rlc tLC]转换为摄像机三维坐标系下的激光雷达三维点Xc= (Xe，ye，ze)T，其中Rw表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，表示激光雷达坐标系与摄像机坐标系之间的平移量，(X1, Y1, Z1)和(X。，yc, zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达
三维点的坐标值，该坐标系转换公式(I)如下，其中Z和足分别表示X。和的其次坐标
(xc, yc, zc, 1)1 (X1, Y1, Z1, 1)τ,
权利要求
1.一种基于双模态数据融合的道路检测方法，其特征在于，包括如下步骤: 1.1)激光雷达三维点的坐标系转换:将激光雷达三维坐标系，包括X轴，y轴和Z轴下的激光雷达三维点\= (XuhZ1)T通过左乘激光雷达与摄像机之间的旋转平移矩阵[RutLC]转换为摄像机三维坐标系下的激光雷达三维点X。= U。，yc, ze)T，其中&表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，表示激光雷达坐标系与摄像机坐标系之间的平移量，(Xl，Y1, Z1)和(X。，yc, zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式(I)如下，其中Ie和尤分别表示X。和的其次坐标(xc, yc, zc, 1)1 (X1, Y1, Z1, 1)τ,
2.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于:所述的RANSAC平面拟合算法，用激光雷达三维点集合Γ中ζ坐标在阈值h以下的点，记为Zr =(x，_y，2)7 εΓ/Γο，计算地平面参数= (a，b，c，d)T, RANSAC平面拟合算法按照以下步骤进行: · 2.1)从样本点集Xk中随机抽取3个点,得到平面初始模型π ^ = (a0, b0, c0, d0)T ； · 2.2)计算样本点集Xk中与初始平面模型的距离小于阈值h的子集构成内点集合Xlnliers · 2.3)若内点集合Xlnliws中元素个数超过阈值t2，则用Xlnliws采用最小二乘算法重新计算平面模型η %重复步骤2)和3)，直到算法收敛； · 2.4)若内点集合XInliOTS中元素个数没有超过阈值t2，则返回步骤2.1)。
3.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于:所述的k-means聚类算法，是将激光雷达三维点样本特征[r,(p，d)聚类为两类，其中r，p，d分别表示该激光雷达三维点的反射率、入射角和反射距离，k-means聚类算法按照以下步骤进行: 3.1)随机选取两个聚类质心
4.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于:所述的混合高斯模型估计通过下述方式估计由五个高斯分布加权构成的混合高斯模型，令在图像感兴趣区域ROI中第i个像素点的特征^服从如公式(8)所示概率，其中N(fi; yk, Σ,)是随机变量向量为fi，均值向量为μ k，协方差矩阵为Sk的高斯分布，ε ^是每个高斯分布的加权因子，k = [I, 5]是五个高斯分布的标号
5.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于:所述的最小二乘算法拟合地平线，给定K组数据
6.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于:所述的马尔科夫随机场建模，将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场，其中F构成观测层，其条件概率服从非路与可通行道路的先验概率模型，即所估计的混合高斯模型ΘB和 K，L构成隐藏层，从而本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。
7.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于:所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息； 7.1)能量函数的平滑项用于描述图像像素点邻域N (i)内的像素点之间的依赖关系，如公式(12)所示
8.根据权利要求1所述的一种基于双模态数据融合的道路检测方法，其特征在于:所述的马尔科夫随机场能量函数最终设计，在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑；在新的设计中，将已被分类为路与障碍物的激光雷达点子集1\和对应的图像像素点集分别作为可通行道路与非路的部分分割结果，由此引入一个新的变量集S= IsiIi e R0I}，由于摄像机与激光雷达非同质传感器，也就是说像素点与激光雷达点之间不存在对应关系，定义Si如公式(14)所不
全文摘要
本发明公开了一种基于双模态数据融合的道路检测方法。包括如下步骤激光雷达三维点的坐标系转换；获取落在摄像机图像范围内的激光雷达三维点集合；设定高度阈值，获取障碍物激光雷达三维点的子集；获取可通行道路区域激光雷达三维点的子集；获取非路区域和可通行道路区域的颜色混合高斯模型；获取图像上道路检测的感兴趣区域；构建基于马尔科夫随机场能量函数，求解能量函数最小值，获得全局最优图像道路检测结果。本发明实现了对复杂环境的鲁棒；检测结果不受道路表面阴影影响；能将传感器感知环境中细小的障碍物与可通行道路路区域区分；能对激光雷达无数据返回的区域与非路的判断；它适用于自主车辆导航等领域。
文档编号G06K9/00GK103198302SQ201310124199
公开日2013年7月10日 申请日期2013年4月10日 优先权日2013年4月10日
发明者黄文琦, 龚小谨, 刘济林 申请人:浙江大学