一种基于超像素的道路图像分割方法与流程

文档序号:13878126阅读:369来源:国知局

本发明属于图像处理领域,具体涉及一种基于超像素的道路图像分割方法。



背景技术:

道路交通安全问题一直以来备受关注,通过在车内安装智能汽车辅助系统已成为不可避免的一种趋势。智能驾驶辅助系统主要用于感知周围行车环境,如可行驶道路区域、周围障碍物、交通标志信息等,从而为驾驶员提供帮助与警告。目前,针对障碍物检测、交通灯识别、道路检测等方面相关研究有很多。其中道路图像的分割质量的优劣、边界以及车道线定位的精度直接会影响车辆安全行驶,同时也是后续图像处理、分析、理解中一个举足轻重的技术环节。

传统的道路分割方法主要有基于阈值、基于区域提取以及基于边缘检测的道路分割方法。基于阈值的道路分割方法主要利用图像灰度值信息,将道路与背景通过阈值划分,如唐阳山等学者(唐阳山,张贵洋,田鹏,颜新阳.基于改进otsu阈值分割的车道线分割方法[j].辽宁工业大学学报(自然科学版),2016,(02):113-116)利用类内和类间方差的最大距离的值为最优阈值,提出一种基于改进otsu阈值分割的车道线分割方法;基于区域提取的方法主要利用道路图像颜色、纹理等信息对道路图像进行像素级区域分割、聚类等,如段志刚等学者(duanzhigang,liyong,wangende,etal.roadandnavigationlinedetectionalgorithmfromshadowimagebasedontheilluminationinvariantimage[j].actaopticasinica,2016,36(12):1215004)利用彩色光照不变图像进行分割和聚类,并通过投票函数及道路判别准则提取道路区域;基于边缘检测的方法主要利用道路边缘信息提取道路边界线或者消失点,王文锋等学者(wangwenfeng,dingweili,liyong,etal.anefficientroaddetectionalgorithmbasedonparalleledges[j].actaopticasinica,2015,35(7):0715001)利用局部道路边缘的直线检测和方向一致性判别准则,提出一种基于平行边缘的道路识别算法。

近几年,随着深度学习的发展,相关的算法层出不穷。如fernández等学者(fernándezc,izquierdor,llorcadf,etal.acomparativeanalysisofdecisiontreesbasedclassifiersforroaddetectioninurbanenvironments[c]//intelligenttransportationsystems(itsc),2015ieee18thinternationalconferenceon.ieee,2015:719-724.)首先利用分水岭变换将图像分割成大小均匀的超像素,提取超像素的颜色、纹理特征及立体相机的视差特征训练决策树完成道路检测;vitor等学者(vitorgb,victorinoac,ferreirajv.comprehensiveperformanceanalysisofroaddetectionalgorithmsusingthecommonurbankitti-roadbenchmark[c]//intelligentvehiclessymposiumproceedings,2014ieee.ieee,2014:19-24.)对图像进行超像素分割预处理,再提取图像的纹理以及空间特征,然后通过artificialneuralnetwork(ann)学习特征获得道路模型;

由于不断增加网络深度,道路图像分割精度越来越高,但网络深度的增加会使计算复杂度也越来越高,这就要求对平台计算能力要求很高。另一方面,由于该方法通常使用的是图像的底层特征,因而容易受到光照变化、路面的阴影、文字以及行驶车辆等外部环境因素的干扰,从而导致路面、建筑、车体等被误分或漏分割。然而,传统的分割方法不仅分割精度很差且都是基于像素级,导致道路图像分割精度和速度都不理想。因此,在使用图像底层特征的情况下,同时提升检测速度与检测精度,显得尤为重要。

目前,超像素分割作为图像分割算法中的过分割预处理步骤,已经成为视觉领域的一项关键技术。与像素相比,超像素的优势主要体现在:1)有利于图像局部特征的提取和图像结构信息的表达;2)有利于降低处理对象规模和后续处理的计算复杂度。虽然本文方法比传统方法增加了超像素分割步骤,但其分割速度很快,时间复杂度为o(n),且本文后续算法都是以超像素为基本处理单元,也弥补了超像素分割所消耗的时间,相比基于卷积神经网络提取图像特征,基于超像素提取图像特征不仅更准确,且提取速度更快,因此本文算法在提升精度的同时,实现了道路的快速检测。



技术实现要素:

为了解决现有道路图像分割方法的精度以及速度问题,本发明提出一种基于超像素的道路图像分割方法,该方法首先利用slic超像素分割方法对彩色道路图像过分割,再基于超像素提取道路图像颜色和纹理特征,最后,结合超像素颜色和纹理特征将道路图像中相似的邻超像素合并,获得图像的道路以及车道线区域。

本发明是采用如下技术方案实现的:

一种基于超像素的道路图像分割方法,其特征在于包括下述内容:

(1)超像素分割;

所述超像素分割包括如下步骤:

步骤1、对道路图像进行slic超像素分割,得到类内相似的超像素:

(ⅰ)假设图像有n个像素点,预分割超像素个数为k,k取值200~300,则每个超像素大小为n/k,且超像素中心点距离最近表示为以步长为s的网格初始化聚类中心;

(ⅱ)在2s×2s的范围内,对图像的每一个像素点都分别计算与其距离最近的超像素中心点相似程度,并将最相似超像素中心点的标签赋值给该像素,对这一过程不断迭代直至收敛得到最终结果;

步骤2、利用类内颜色最大差值计算式对步骤1的超像素进行欠分割检测与修正;

所述类内颜色最大差值计算式为▽lk=(lk,max-lk,min),其中,▽lk表示lab颜色空间下,第k个超像素l通道的最大差值;

lk,max和lk,min分别是第k个超像素内l颜色通道的最大值和最小值;

(2)超像素块特征提取;所述超像素块特征提取包括颜色特征提取、纹理特征提取;所述颜色特征提取即lab颜色空间下,分别取超像素内l、a、b三个颜色通道对应的均值;

所述纹理特征提取即选取一个方向一个尺度对原图gabor变换,再二维卷积后得到纹理图像,取每个超像素纹理均值作为纹理特征。

(3)超像素块合并;所述超像素块合并包括超像素间相似度计算、相邻超像素合并;

所述超像素间相似度计算即是根据每个超像素的特征组成的特征向量,计算不同超像素之间的相似度;

所述相邻超像素合并即是根据超像素之间的相似度大小,基于相似性的相邻超像素进行合并。

步骤2中,利用超像素颜色直方图波谷作为分界点,将高于分界值的像素分为一类,低于分界值的分为一类,并分别取其均值为新的聚类中心,以修正欠分割超像素。

所述分界点为:欠分割检测出来的超像素,在lab颜色空间下,

l颜色通道直方图的波谷对应的颜色值。

所述相似度计算式为:

其中,分别表示第i个超像素和第j个超像素的纹理距离和颜色距离,ρ为权重因子,用来调整颜色距离和纹理距离所占比重的大小,a'ij存放超像素之间邻接关系。

超像素间纹理距离与颜色距离的定义为:

纹理距离:

颜色距离:

其中,ti和tj分别表示第i个超像素和第j个超像素的纹理特征向量;同理,li、ai、bi分别表示第i个超像素对应的l、a、b分量的颜色均值,即颜色特征向量;为了不影响相似度计算,保证距离值为正整数,通过颜色和纹理距离取绝对值实现。

本发明作为车载先进辅助驾驶系统中的重要环节,针对复杂城市道路环境前有较好的分割效果以及实时处理能力。

本发明方法的有益效果如下:

1、基于超像素的道路图像分割,在降低后续处理计算复杂度的同时,有利于提取局部特征和保持目标边界信息。

2、针对欠分割区域进行了欠分割检测与处理,弥补了slic算法的不足,可以准确的将车道线分割出来。

3、采用lab颜色空间提取彩色图像颜色特征,各个颜色通道相互独立,减少相互影响,同时通过选取l通道颜色值代替整个空间,不仅能够提高分割精度,同时分割效率也得到提升。

4、采用gabor滤波器提取超像素的纹理方向,它通过高斯窗对图像的局部区域进行频率域下的分析,能够很好地描述对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息。

5、考虑相邻性的基础上,融合颜色和纹理特征进行超像素合并,优先合并相邻超像素,减少复杂背景、以及部分光照、阴影的干扰。

附图说明

图1表示本发明所述基于超像素的道路图像分割方法的流程图。

具体实施方式

下面对本发明的具体实施例进行详细说明。

图1所示,一种基于超像素的道路图像分割方法,具体步骤如下:

1、采用slic对道路图像进行超像素分割,获得道路图像的过分割图像:

ⅰ、假设图像有n(n为自然数)个像素点,预分割超像素个数为k(k取值200-300个),则每个超像素大小为n/k,且超像素中心点距离最近表示为,以步长为s的网格初始化聚类中心;

ⅱ、在的范围内,对图像的每一个像素点都分别计算与其距离最近的超像素中心点相似程度,相似度不大于1;并将最相似超像素中心点的标签赋值给该像素,对这一过程不断迭代直至收敛得到最终结果。

2、对步骤1得到的过分割图像进行欠分割区域检测,通过超像素区域颜色最大差值(大于0.4)检测欠分割,然后添加新的聚类中心来修正欠分割区域:

ⅰ、首先对每个超像素中每个像素的lab颜色空间l值进行统计,再计算超像素内l值最大差值并归一化在0-1之间,确定阈值ξ(ξ>0.4),在设定阈值内的超像素即为欠分割超像素;

ⅱ、对欠分割超像素提取lab颜色空间l通道颜色直方图,并寻找波谷对应的l值,再根据波谷对应的l值将欠分割超像素分为两类,并分别取其均值作为新聚类中心;得到新聚类中心后,分别计算欠分割超像素的每个像素与聚类中心的距离,并依照slic算法进行超像素内聚类。

3、提取超像素的lab颜色特征以及gabor纹理特征:

ⅰ、颜色特征提取:首先分别计算每块超像素lab颜色空间三通道颜色和值,再统计对超像素块包含的像素数目;将超像素各颜色分量均值再进行归一化,作为三维颜色特征向量;

ⅱ、纹理特征提取:首先选取一个方向一个尺度对道路图像进行gabor小波变换,再作二维卷积变换,计算超像素均值后再归一化,作为一维纹理特征向量,仅选取一个方向一个尺度可以降低特征向量维度,提高算法效率。

4、特征融合:区域特征相似度度量准则是合并的基础,其中颜色特征和纹理特征是道路图像相似度度量的重要方式,因此在可考虑邻接关系的前提下,采用一种融合颜色、纹理特征的度量准则;

ⅰ、建立邻接关系矩阵a'ij:对每个超像素建立邻接关系矩阵,对于相邻的超像素将其对应位置置1,不相邻位置置0,即优先相邻区域合并,从而限制不相邻区域合并;

ⅱ、计算超像素间纹理距离与颜色距离即:

纹理距离:

颜色距离:

其中,ti和tj分别表示第i个超像素和第j个超像素的纹理特征向量;同理,li、ai、bi分别表示第i个超像素对应的l、a、b分量的颜色均值,即颜色特征向量;为了不影响相似度计算,保证距离值为正整数,通过颜色和纹理距离取绝对值实现;

ⅲ、相似度定义为欧氏距离的组合,即:

其中,分别表示第i个超像素和第j个超像素的纹理距离和颜色距离,ρ为权重因子,用来调整颜色距离和纹理距离所占比重的大小。

5、相似超像素合并:建立一组阈值(阈值取值范围为0-1),将相似度高于阈值的超像素合并,逐步迭代,直到将道路区域与背景区域分开,即获得道路区域。

6、针对非结构化道路图像,因没有车道线,所以不需要欠分割检测,仅用slic算法分割得到超像素之后,重复步骤3-5,得到非结构化道路分割结果。

本发明中具体实施例的实验环境为matlab2016,基于个人64位windows8操作系统pc,硬件配置cpuintel(r)core(tm)i3-3110gm@2.4ghz,内存4gb1600mhz。程序代码基于matlab编程语言编写,其中图像处理用到了matlab的处理函数。

以上所述仅是对本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所做的任何简单修改,等同变化,均属于本发明技术方案的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1