专利名称：基于单目视觉的道路边缘检测及粗定位方法
技术领域：
发明涉及计算机视觉、模式识别领域，移动机器人导航技术及方法。
背景技术：
智能移动机器人是包含环境感知、控制决策、路径规划等多个模块并应用计算机技术、信息技术、机器人技术、微电子技术的复杂系统。它一般融合了多种传感器技术，包括GPS、激光雷达、摄像机、超声波、陀螺仪等，将感知的数据进行处理和融合，从而得到机器人定位信息，前方障碍信息，用于行走规划和决策。移动机器人现在广泛应用于军事、医疗、农业、エ业等各个领域。特别是在遇到极端环境和危险条件时，如核污染、高压、深海，甚至是外太空，移动机器人均可以有效降低人工作业的风险，提高工作效率，推动了社会和科技的进步与发展。移动机器人有多种分类，由控制类型可分为遥控型机器人和自主型机器人。2011年11月26日，美国成功发射了“好奇号”新一代火星探测车是集最新科技的核动カ遥控型移动机器人，它是继“勇气号”、“机遇号”、“凤凰号”之后第四个火星探测车，具有很强的移动行驶能力，携帯了大量环境分析监测仪器，可以将多种分析资料通过卫星传回地球。自主型移动机器人是未来的发展趋势。它综合应用了计算机视觉、模式识别、模糊控制，专家系统等人工智能技术，由已知的结构化环境、半结构化环境下的自主移动，向非结构化未知环境的自主移动和探索发展。其中智能汽车又是目前备受关注的移动机器人技术应用领域之一。清华大学研制的智能汽车THMR-V，可以行驶在一般道路和高速公路上，设计车速为高速公路80km/h，一般道路20km/h。汽车上装备有彩色摄像机和激光测距仪，差分GPS、磁罗盘和光码盘等导航和环境检测系统，可在校园等非结构化环境中行驶和避障。谷歌于2010年公布了自己正在研制中的智能车，丰田Prius。它安装了视频摄像头，激光测距仪，雷达传感器，GPS卫星定位系统，从传感信息中获得交通情况，在谷歌自己的地图导航下行驶了超过16万英里(其中包括偶尔有人控制的行驶路段)。智能车感知道路环境是依靠多种传感器的信息融合，对传感器的精度要求较高。对于移动机器人来说，最常使用的是视觉传感器，即安装彩色摄像机。计算机视觉，模式识别技术对移动机器人的导航起到了至关重要的作用。对于结构化道路的视觉识别算法，一般是对车道线，交通标识，信号灯及道路区域的检测。对于非结构化道路的视觉识别算法，有对于可行驶区域，障碍物的检测。目前带有车道线的结构化的道路检测算法已经比较成熟，而对于乡村道路、不带车道线的城市道路的检测还缺少ー些通用性较强的算法。针对目前的多数视觉识别算法，对传感器要求高，时间复杂性高的缺点，对非结构化的环境识别仍需要满足较多条件，无法准确的给出导航信息的现状，本发明提出了基于单目视觉的道路边缘检测及粗定位方法。
发明内容
本发明针对移动机器人视觉算法对传感器要求高，实时性弱，对非结构化道路识别通用性较低等问题，提出了基于单目视觉的道路边缘检测及粗定位方法。本发明的特征在干，是ー种半自动式的基于移动机器人单目视觉的道路边缘检测和粗定位方法，是在由操作人员操控的计算机和装在移动机器人上的单镜头CCD摄像机共同串接而成的基于单目视觉的道路边缘检测和粗定位系统中实现的，该方法是依次按照以下步骤实现的；步骤(I)，单镜头CCD摄像机将机器人前进时拍摄到的能反映道路和非道路边界两侧颜色差异的路况图像输入到计算机中显示；步骤(2)，操作人员根据所述的道路和非道路边界两侧的颜色差异，来选择性的启动设在所述计算机内的两个不同的软件模块；对于道路和非道路边界两侧颜色有显著差异的RGB顔色空间彩色路况图像，启动基于颜色的道路边缘检测模块；对于道路和非道路边界两侧颜色模糊且无明显边界的RBG顔色空间彩色路况图像，启动基于阈值分割的道路边缘检测模块；
·
步骤(3)，所述基于顔色的道路边缘检测模块依次执行以下步骤进行道路边缘的检测；步骤(3. I)，參数初始化，读入所述RBG顔色空间的彩色路况图像，设置感兴趣区域ROI的范围为所述路况图像的1/Γ1/2大小，从所述彩色路况图像左下角开始划分；步骤(3. 2)，从所述彩色路况图像中取出感兴趣区域ROI的图像并转换到HSV顔色空间，得到新的路况图像；亮度V=max (R, G, B),
fV-min(R,G,B)ヒ。
饱和度S = j v，
(O 其他
r60(G - B)/(V - min(R, G, B) ifV = R色度 η =120+[vmB)]ifv=G,
,240 + [V-ITr^B)]ifv = B若H〈0，则用(H+360)代替，其中RGB分别为原像素点红、蓝、绿三色的亮度值，令Y' =255V，S' =255S，H' =H/2 ;步骤(3. 3),按以下方式用openCV库中的cvCanny函数模块进行canny抽边,得到canny 图设定步骤(3. 2)得到的结果图像边缘连接处作为控制边缘其梯度阈值为50，内侧初始分割处作为控制强边缘其梯度阈值为150，输入为所述感兴趣区域ROI的HSV颜色空间图像和上述两个參数；输出为canny抽边图；步骤(3. 4)，设定HSV的颜色范围区间，把緑色区域或土黄色区域提取出来，其中绿色的范围区间为(20，O，O广(70，40，O)，土黄色的范围为(10，0，O广(30，0，150)；步骤(3. 5),利用openCV库中的cvErode函数模块对步骤(3. 4)得到的绿色或土黄色区域进行腐蚀操作，输出为结果图像；步骤(3. 6),利用openCV库中的cvDilate函数模块对步骤(3. 5)得到的结果图像进行膨胀操作，输出为经过腐蚀膨胀操作后的緑色或土黄色区域结果图像；步骤(3. 7)，从步骤(3. 6)得到的结果图像中提取拟合用的边缘点为道路左侧边缘时，在步骤(3. 6)得到的结果图像内，从右至左地扫描，若所述边缘区域内某个边缘点左侧的5个像素内有绿色点,而右侧的5个像素内对应的没有绿色点,则认为该边缘点为真实边缘点，所述边缘点左右不足5个像素的像素点直接舍去，得到ー个真实边缘点样本集；对土黄色区域按同样步骤；
步骤(3. 8)，判断真实边缘点若所述真实边缘点样本集中，真实边缘点的个数m > 30，则执行以下步骤；步骤(3.8. I)，从所述真实边缘点样本集中，随机地选出两个真实边缘点，作为两个样本数据；步骤(3. 8. 2),通过openCV库中的cvFitline函数模块,用最小ニ乘法拟合出一条直线；在计算误差类型为CV_DIST_L2，极坐标半径和角度误差均为O. 01条件下，输出所拟合直线的參数；之后再统计与所述直线距离小于4个像素点的边缘点个数k，以此作为拟合用的点；步骤(3. 8. 3)，若k/m大于O. 3，则接受拟合模型，再通过所述的k个点利用最小ニ乘法重新拟合直线，即得到最終結果；否则，返回步骤(3.8. I);当重复执行次数大于设定的最大循环次数200次时，则失败；若所述真实边缘点样本集中的真实边缘点数小于30时则失败；步骤(4)，所述基于阈值分割的道路边缘检测模块，在道路右侧边缘处，依次做以下步骤进行道路边缘检测；步骤(4. I)，设置感兴趣区域ROI的大小为图像右下角1/4部分；步骤(4. 2)，取出所述感兴趣区域图像，并按下式转换为灰度图像；v0(x, y) = O. 212671XR(x, y) +0. 715160XG(x, y) +0. 072169XB(x, y)，X，y代表所述图像中以左上角为原点的像素点坐标值；V(I表示(X，y)像素点的灰度值，R表示彩色图像中所在像素的红色通道值，G表示彩色图像中所在像素的緑色通道值，B表示彩色图像中所在像素的蓝色通道值，v0, R，G，B都在
内；步骤(4. 3)，按下式对像素点(x，y)进行均值模糊处理，将以(x，y)为中心的5X5的像素值矩阵V与核矩阵K卷积，得到新的像素值Vl ；V1U, y)=V*K, * 表示卷积，
rl I I I IiIllllK = -X I I I I I,
11111
-11111-
权利要求
1.基于单目视觉的道路边缘检测和粗定位方法，其特征在于，是一种半自动式的基于移动机器人单目视觉的道路边缘检测和粗定位方法，是在由操作人员操控的计算机和装在移动机器人上的单镜头CCD摄像机共同串接而成的基于单目视觉的道路边缘检测和粗定位系统中实现的，该方法是依次按照以下步骤实现的； 步骤(I)，单镜头CXD摄像机将机器人前进时拍摄到的能反映道路和非道路边界两侧颜色差异的路况图像输入到计算机中显示； 步骤(2)，操作人员根据所述的道路和非道路边界两侧的颜色差异，来选择性的启动设在所述计算机内的两个不同的软件模块； 对于道路和非道路边界两侧颜色有显著差异的RGB颜色空间彩色路况图像，启动基于颜色的道路边缘检测模块； 对于道路和非道路边界两侧颜色模糊且无明显边界的RBG颜色空间彩色路况图像，启动基于阈值分割的道路边缘检测模块； 步骤(3)，所述基于颜色的道路边缘检测模块依次执行以下步骤进行道路边缘的检测； 步骤(3. I)，参数初始化，读入所述RBG颜色空间的彩色路况图像，设置感兴趣区域ROI的范围为所述路况图像的1/4 1/2大小，从所述彩色路况图像左下角开始划分； 步骤(3. 2)，从所述彩色路况图像中取出感兴趣区域ROI的图像并转换到HSV颜色空间，得到新的路况图像；亮度 V=max (R, G, B),fV~min(R,G,B) 丰。饱和度S = ^， I0 其他 r 60(G - B)/(V - min(R, G, B) if V = R色度H= 120 + |V:=b)丨詩气240+—^^—ifV= B 、[V—Ttim(RjGjB)] 若H〈0，则用(H+360)代替，其中RGB分别为原像素点红、蓝、绿三色的亮度值，令Yr =255V，S' =255S，H' =H/2 ; 步骤(3. 3),按以下方式用openCV库中的cvCanny函数模块进行canny抽边，得到canny 图 设定步骤(3. 2)得到的结果图像边缘连接处作为控制边缘其梯度阈值为50，内侧初始分割处作为控制强边缘其梯度阈值为150，输入为所述感兴趣区域ROI的HSV颜色空间图像和上述两个参数；输出为canny抽边图； 步骤(3. 4)，设定HSV的颜色范围区间，把绿色区域或土黄色区域提取出来，其中绿色的范围区间为(20，0，0) (70，40，0)，土黄色的范围为(10，0，0) (30，0，150)； 步骤(3. 5),利用openCV库中的cvErode函数模块对步骤(3. 4)得到的绿色或土黄色区域进行腐蚀操作，输出为结果图像； 步骤(3. 6),利用openCV库中的cvDilate函数模块对步骤(3. 5)得到的结果图像进行膨胀操作，输出为经过腐蚀膨胀操作后的绿色或土黄色区域结果图像；步骤(3. 7)，从步骤(3. 6)得到的结果图像中提取拟合用的边缘点为道路左侧边缘时，在步骤(3. 6)得到的结果图像内，从右至左地扫描，若所述边缘区域内某个边缘点左侧的5个像素内有绿色点,而右侧的5个像素内对应的没有绿色点,则认为该边缘点为真实边缘点，所述边缘点左右不足5个像素的像素点直接舍去，得到一个真实边缘点样本集；对土黄色区域按同样步骤； 步骤(3. 8)，判断真实边缘点 若所述真实边缘点样本集中，真实边缘点的个数m > 30，则执行以下步骤； 步骤(3. 8. I)，从所述真实边缘点样本集中，随机地选出两个真实边缘点，作为两个样本数据； 步骤(3. 8. 2),通过openCV库中的cvFitline函数模块,用最小二乘法拟合出一条直线；在计算误差类型为CV_DIST_L2，极坐标半径和角度误差均为0. 01条件下，输出所拟合直线的参数；之后再统计与所述直线距离小于4个像素点的边缘点个数k，以此作为拟合用的点； 步骤(3. 8. 3)，若k/m大于0. 3，则接受拟合模型，再通过所述的k个点利用最小二乘法重新拟合直线，即得到最终结果；否则，返回步骤(3.8. I);当重复执行次数大于设定的最大循环次数200次时，则失败；若所述真实边缘点样本集中的真实边缘点数小于30时则失败； 步骤(4)，所述基于阈值分割的道路边缘检测模块，在道路右侧边缘处，依次做以下步骤进行道路边缘检测； 步骤(4. I)，设置感兴趣区域ROI的大小为图像右下角1/4部分； 步骤(4. 2)，取出所述感兴趣区域图像，并按下式转换为灰度图像；V0(X，y) =0. 212671XR(x, y) +0. 715160XG(x, y) +0. 072169XB(x, y)，x，y代表所述图像中以左上角为原点的像素点坐标值；V(1表示(x，y)像素点的灰度值，R表示彩色图像中所在像素的红色通道值，G表示彩色图像中所在像素的绿色通道值，B表示彩色图像中所在像素的蓝色通道值，v0, R，G，B都在
内； 步骤(4. 3)，按下式对像素点(x，y)进行均值模糊处理，将以(x，y)为中心的5X5的像素值矩阵V与核矩阵K卷积，得到新的像素值Vl ；V1 (X, y) =V*K, * 表示卷积，
全文摘要
基于单目视觉的道路边缘检测以及粗定位方法，涉及机器视觉和智能控制领域。本发明针对连续的具有不同边缘特征的道路提供了两种道路边缘检测方法，适用于半结构化和非结构化的道路，可用于机器人的视觉导航及智能控制。一种是基于颜色的道路边缘检测方法，另一种是基于阈值分割的道路边缘检测方法。在得到道路边缘的基础之上，对图像进行逆透视投影变换，将前视图转化成俯视图，根据转换后的图像中的像素和实际距离的线性对应关系，计算机器人当前位置和道路边缘的垂直距离以及航向角。本发明的方法实施简单，抗干扰力强，实时性好，适用于半结构化道路、非结构化道路。
文档编号G06K9/00GK102682292SQ20121014408
公开日2012年9月19日 申请日期2012年5月10日 优先权日2012年5月10日
发明者严润晨, 王宏, 赵云鹏 申请人:清华大学