一种模糊航空图像中的道路提取方法与流程

本发明属于模糊航空图像处理及道路跟踪检测的领域，具体涉及一种模糊航空图像中的道路提取方法。

背景技术：

自从图像理论技术问世以来，航空图像中的道路检测一直是研究者们的一个热点研究课题，对于高分辨率航空图像中道路信息的提取和检测的需求也逐渐增加。但近几年环境日益恶化，沙尘暴和雾霾天气越来越多，恶劣的环境下能见度越来越低，对航空图像的清晰度的影响尤为严重。在雾天环境下，由于大气散射影响使得拍摄出来的图像能见度较差、对比度较低，道路和背景之间的微弱灰度(或颜色)差异较易被常用的边界扫描算子所忽略，尤其是细小的道路难以被检测出来，直接影响道路检测的效果。因此，为了准确地提取复杂环境下模糊的航空图像中的道路，简单高效地获得清晰和准确的道路信息具有重要意义。

目前使用的方法主要包括以下几种：一种是基于道路几何特征和辐射特征的snake方法，另一种是结合增强图像对比度和各种边缘检测算法，包括：直方图均衡化、基于retinex方法的图像增强算法以及基于sobel算子和canny算子的边缘检测算法等。这几种方法对于对比度高，清晰度好，背景信息简单的航空图像中效果较好，但是对于处理模糊航空图像的有效性、鲁棒性和可靠较差。因此，需要对模糊航空图像道路提取工作中所应用的方法上进行一定的改进，使其对模糊航空图像中的道路的检测提取能有更好的处理能力。

技术实现要素：

针对现有技术的缺陷或不足，本发明的目的在于，提供一种模糊航空图像中的道路提取方法，该方法不同于现有的模糊航空图像中的道路提取用到的增强图像对比度的方法、道路信息的检测扫描方法以及形态学处理的方法，对不符合条件的一些背景信息也进行了阈值处理，减少误检和漏检情况的发生，有效地提高了道路检测的鲁棒性，完整性和检测质量。

为实现上述任务，本发明采用如下的技术解决方案：

一种模糊航空图像中的道路提取方法，其特征在于，该方法首先对原始图像进行高斯平滑滤波，利用圆形模板的分数阶微分对图像增强；再对增强的图像进行缩小，然后根据溪流检测算法对增强后的图像进行5*5模板的溪流检测扫描并滤除部分非溪流的短线和孤立像素点干扰信息，在临近区域内做端点检测，之后再进行端点的连接并细线化；然后再次进行7*7模板的溪流检测，并将分割的结果图像映射到原始图像中；最后采用水动力学的方法对道路进行跟踪处理，包括涨降水位方法滤除噪声和梯度水弹性方法，逐步分次连接不连续线段，输出道路跟踪的最优结果图像。

根据本发明，具体步骤如下：

1)将原始图像进行高斯平滑滤波得到结果图像，所述的图像是利用3*3大小的二维高斯函数模板卷积得到；

2)利用圆形模板的分数阶微分算法对图像进行增强，以突出道路的细节信息；

3)根据图像中道路平均宽度对增强后的图像进行缩小，以减少计算量提高计算效率；

4)利用基于线段检测的5*5溪流检测算子对增强后的图像分别进行纵向、横向、两个斜向共四个方向的检测扫描，来确定检测点是否为真实的水源点即道路像素点，并滤除部分非溪流的短线和孤立像素点干扰信息，在临近区域内做端点检测，之后再进行端点的连接并细线化；最后，对处理结果进行细线化，以去除每条线上多余的线段或点，最终，通过初次的溪流检测算法以获得较好的道路的初步提取结果；

5)然后再次进行7*7模板的溪流检测，并将分割的结果图像映射到原始图像中；随后进行放大-映射变换；

6)基于水动力学的思想对得到的结果图像进行进一步处理，主要包括有涨降水位方法滤除噪声和梯度水弹性方法逐步连接不连续线段；满足连接要求时，通过梯度水弹性方法对不连续道路进行连接。

优选地，上述步骤6)中所述对不连续道路的执行两步法连接，其步骤如下：

a)由于水流总是朝梯度较陡的方向流去，梯度越高，贯穿流通的可能性就越大。因此，判断两条道路线段之间可能连接在一起的较短的几条曲线上，哪条线上的梯度最高；

b)判断不连续的溪流是否能连接在一起也要判断它们的流淌方向是否一致或接近，也就是判断两条道路线段的曲率方向是否接近；

c)两条溪流之间的距离是否足够近，也就是判断临近两条道路段中线的临近端点之间的距离是否足够小，若距离太大，梯度又不高，则两临近溪流贯穿的可能性较小。

本发明的模糊航空图像中的道路提取方法，与现有技术相比，带来的技术效果在于：

1、通过引进一种圆形模板的分数阶微分算法作图像增强，以突出道路的细节信息，与传统的一阶和二阶导数及高通滤波算子相比，引进算法能明显地增强细小和模糊的道路信息，缩短检测时间，提高计算效率，同时又不增加太多的图像噪声。

2、在图像增强的基础上，引进一种溪流检测算法来提取道路线段，与传统的边界检测不同，该算法将道路看成是一条条溪流，是一种狭长的面积目标，不是一条曲线或直线，所以该算法不是只基于检测点来检测水源点，而是根据道路的线性特性，基于短线段加权平均灰度来检测水源点，直接输出二值图像而不是通常的梯度图像，能够更加智能地处理图像。

3、对于布满噪声及断续道路狭长面积的二值图像的连接是基于水动力学的原理，利用涨降水位方法和溪流的长短及形状，将伪水源点即噪声逐步滤除，然后利用距离的大小以及梯度，借助梯度水弹性方法计算间隙距离、梯度和角度差的大小，将溪流线段逐步连接直至最后完成溪流(道路)的追踪。

附图说明

图1为本发明的模糊航空图像中的道路提取方法的流程图；

图2为模板示意图；其中，(a)图为5*5的圆形模板；(b)图为阶数v＝0.55的圆形数字模板；

图3为四个方向的溪流检测算子；其中，(a)图为纵向(90°)，(b)图为横向(0°)，(c)图为斜向45°，(d)图为斜向135°。

图4原始输入图像和增强后的图像；其中，(a)图为原始输入图像，(b)图为平滑滤波后再使用圆形模板的分数阶微分增强后的图像；

图5为原始图像和溪流检测后的图像；其中，(a)图、(b)图为两组不同条件的原始图像；(c)图和(d)图分别为(a)图和(b)图经过溪流检测后的图像；

图6为原始模糊航空图像、经过溪流检测后的图像以及水动力学方法处理后的最终图像；其中，(a)图为原始模糊航空图像；(b)图是(a)图经过分数阶微分增强后的图像，(c)图为经过溪流检测后的图像；(d)图为经过水动力学方法处理的最终图像。

以下结合附图和实施例对本发明作进一步地详细说明。

具体实施方式

对于大部分模糊航空图像的处理来说，由于其对比度较低，图像中的道路和背景之间微弱的灰度(或颜色)差异容易被常用的检测算子忽略。因此，针对此类型图像(即模糊航空图像)进行道路跟踪的时候需要对原来的方法进行改进和创新。

申请人研究发现，利用分数阶微分可以有效地增强图像中背景和前景的对比度的特性以及基于线段的溪流检测算法的特性，对图像中的微弱道路边界进行跟踪检测，最后基于水动力学的方法，利用水涨水降方法和溪流的长短及形状，将伪水源点(噪声)逐步滤除，借助梯度水弹性方法分次逐步连接道路，最终得到一幅较为理想的原始道路跟踪图像。

参考图1，本实施例给出一种模糊航空图像中的道路提取方法，首先对原始图像进行高斯平滑滤波，利用圆形模板的分数阶微分对图像增强；再对增强的图像进行缩小，然后根据溪流检测算法对增强后的图像进行5*5模板的溪流检测扫描并滤除部分非溪流的短线和孤立像素点干扰信息，在临近区域内做端点检测，之后再进行端点的连接并细线化；然后再次进行7*7模板的溪流检测，并将分割的结果图像映射到原始图像中；最后采用水动力学的方法对道路进行跟踪处理，包括涨降水位方法滤除噪声和梯度水弹性方法，逐步分次连接不连续线段，输出道路跟踪的最优结果图像。

具体步骤及其原理解释说明如下：

1)将原始图像进行高斯平滑滤波得到结果图像i(x,y)，这里的图像i(x,y)是利用3*3大小的二维高斯函数模板卷积得到；

2)利用圆形模板的分数阶微分算法对i(x,y)进行图像增强，以突出道路的细节信息。

在通常情况下，传统的一阶和二阶微分算子虽能增强边界信息，但模糊和细微的弱边界很容易被漏检。

为解决这类问题，实验发现，采用分数阶微分(0.1-0.99阶)则可以降低模糊和细微的弱边界的漏检率，更适用于模糊航空道路图像，经过大量实验，本实施例采用改进的圆形模板的分数阶微分算法(v＝0.55)来进行图像增强。

下面是具体圆形模板的分数阶微分算法的设计步骤：

选择分数阶v阶微分公式之一的g-l公式，定义式为：

其中：

根据上述表达式，若一元信号是s(t)持续时期为t∈[a,t]，则可将信号持续期[a,t]按等分间隔单位h＝1进行等分，然后推导出一元信号s(t)的v阶微分差值表达式为：

基于上式可得出分数阶微分各个系数分别为：

u0＝1；u1＝-v；

u2＝(-v)(-v+1)/2＝(v²-v)/2；

u3＝(-v)(-v+1)(-v+2)/6＝(-v³+3v²-2v)/6；

...

un＝γ(-v+1)/n！γ(-v+n+1)；(3)

如果将以上系数按像素间距大小值放入到5*5大小的模板里，得到的是传统的tiansi模板，这个模板的25个数字里有八个为0，若设模板中心点的系数为8，此模板就为laplacian算子。

为了提高计算效率，使得模板中心系数为变量且模板中各点的权重与到中心的距离成负相关，因此本实施例给出一种新的模板权重计算方法，即按点的间距来确定权重。该方法简化点的间距为两点的斜线距离di，得到的新的模板中，每个点的系数值都不为0，计算过程如下：

d1-2＝(u1+u2)/2＝(v²-3v)/4；

d2-3＝(u2+u3)/2＝(-v³+6v²-5v)/12；

...

d(n-1)-n＝(un-1+un)/2；

圆形的分数阶微分模板通式如图2中的(a)图所示，模板系数如下：

对于原始模板尺寸，选择5*5的laplacian模板较为合理。

发明人通过多次模糊航空图像中的道路检测的试验得出：

如果模板尺寸为3*3，由于尺寸太小，增强效果不明显；

若尺寸为7*7计算量又过大。

另外，分数阶微分阶数v从0.1增加到0.5，图像中模糊边界及弱边界会逐渐地得到增强；但当v≥0.6时，噪声将随着v的增长而剧增。

经过试验知，选由5*5模板改进的圆形模板及阶数v＝0.55，具体的数字模板如图2中的(b)图所示。

经过实验，圆形模板的计算精度高于原始laplacian当5*5模板且计算效率有一定提高。实验结果如图4所示。图4中的(a)图模糊的航空道路图像通过分数阶微分后的结果如图4中的(b)图所示，可以观察到去除了一定的噪声，图像中的线性目标的细节也有所突出。

3)图像缩小

根据图像中道路平均宽度对增强后的图像进行缩小，可以使得计算量减少、执行效率增加，再将结果映射到原始图像中可以最大限度的达到道路跟踪的效果。一般在同一时期同一环境，同一种设备在同一高度获得的同样精度的一组图像，道路平均宽度是可以取样手动测量。

具体步骤如下：

根据道路宽度来决定图像的缩小为2^-n倍(n＝1,2,3)，当图像中的平均道路宽度大于8个像素时，缩小一倍，而当道路宽度≥18个像素时，缩小二倍。图像缩小的基本原则要保证道路信息不受损失。比如，当将原始原图缩小一倍(n＝1)时，在原始图像中的相邻四个像素点中，取最大灰度值作为对应的缩图像位置上点的灰度。

4)溪流检测

本实施例中，利用基于线段检测的5*5溪流检测算子对增强后的图像分别进行纵向(90°)、横向(0°)、两个斜向(135°和45°)共四个方向的检测扫描，来确定检测点是否为真实的水源点即道路像素点，并滤除部分非溪流的短线和孤立像素点干扰信息，在临近区域内做端点检测，之后再进行端点的连接并细线化。

又因为此处使用的加权平均灰度是以连接检测点的邻域内的3到4个像素点的灰度值来计算，所以可以有效减少单点噪声的影响。通过上述步骤，可以得到候选水源点，然后进行端点检测和端点的连接。端点连接之前要先进行端点方向估算，估算方法是将邻近3到5个像素点进行直线拟合成一直线段，标记其方向，再然后根据距离l和方向角θ对相近线段进行连接，对于无法连接的短线段进行删除。

溪流检测方法的原理是使用短直线的加权平均灰度值代替直线上中心点的灰度值，分配其周边像素点不同的权重，使得该算法更加逼近真实道路图像的提取过程，也能具有更高的鲁棒性。

在一般情况下，在有复杂交错道路的航空道路图像中，因为复杂客观条件导致微弱道路的剖面直方图的峰值太低，很难被跟踪到。因此，本实施例中，采用一种基于线段及平面检测的溪流检测算子来提取道路线段，与传统的边界检测不同，该算法将道路看成是一条条溪流，是一种狭长的面积目标，不是一条曲线或直线，所以该算法不是只基于检测点来检测水源点，而是根据道路的线性特性，基于短线段加权平均灰度来检测水源点，直接输出二值图像而不是通常的梯度图像，能够更加智能地处理图像，主要步骤如下：

步骤一：对灰度图像中的每一检测点，在其5*5邻域中，分别按纵向(90°)、横向(0°)、斜向(135°和45°)等四个方向扫描计算判断该点是否为一水源点，段线上各点的权重与其离检测点的距离成反比。若满足条件，则确定其为一候选水源点。因为模板上每个方向上的溪流检测有五条支流，如纵向模板所示。为了更加清晰的计算：令中间的线为w0，它上面的线依次是和而其下面两条线为和这里图中的每一格子代表图中的一个像素，而格子里的标号是表示该像素在图像中的位置，f(i,j)为0的位置是为了提高计算效率使不参与计算的像素点值为0，其中纵向(90°)、横向(0°)、斜向(135°和45°)的5*5溪流检测算子分别如图3中的(a)图、(b)图、(c)图和(d)图所示，其中箭头方向表示做差分的计算方向。

步骤二：为减少孤立点噪声的影响，其灰度值用一条短直线的加权平均值代替，即步骤一指出的纵向(90°)、横向(0°)、两个斜向(135°和45°)等四个方向检测算子进行求解。因为一条道路线段或由直线或由曲线段组成，所以用一短线段代替一个点来检测道路线段比较合理的。在5*5的检测模板中，将连接检测点的邻域内的3到4个像素点的连线用来检测候选水源点，而不是只根据检测点本身来检测的，因此就可减少许多误检，并可减少候选点的后处理负担。

设图像f(x,y)，检测的中心点像素值为f(i,j)，纵向(90°)、横向(0°)、两个斜向(135°和45°)四个方向的计算模板分别如下(5)式、(6)式、(7)式和(8)式所示：

以斜向(45°)方向为例，具体的水源点检测方法如下：

如果f1≥0；f2≥0；f3≥0；f4≥0；就可以计算得到此方向上的设ki(i＝1,2,3,4)为权重变量，一般可取k1＝k2＝1.2，k3＝k4＝0.6。同理，分别得到另外三个个方向的t纵向,t横向,t斜向(135°)。

通过比较这四个差值，取最大的差值为tmax，设一个阈值t(本实施例中取t＝5)，若tmax≥t则确定该点为候选水源点。

步骤三：当所有候选水源点的位置(i,j)和方向θ被记录后，在输出的图像中，还会存在一些噪声点(误检为水源点)。为去掉这些噪声点，先连接相邻水源点为一短线，而孤立的候选水源点将被去除。对这些连接后的短线标号后，然后在整个二值图像中，进行端点的检测，估算端点的方向，估算方法是将邻近3到5个像素点进行直线拟合，从而形成一直线段，并且标记其方向。再然后根据距离l和方向θ对相近线段进行连接，对于那些无法连接的短线段进行删除。

最后对图像进行细线化处理，去除每条线上多余的线段或点，而后再对剩下的水源候选点进行检测，去掉由噪声而产生的伪水源点。其中，距离l采用欧式距离，方向θ采用方向角来计算，公式如下：

步骤四：再利用7*7的模板对上述结果再次进行溪流检测，以获取到更为精确的道路信息，方便道路提取。

经过实验，以图5中(a)图和(b)图的两组不同条件和背景为原始输入图像，对其进行溪流检测处理，得到了含有道路信息的结果如图5中的(c)图和(d)图所示。由图对比分析，不论对于有云遮挡住的图像(图5的(a)图)或者较模糊的航空图像(图5的(b)图)，溪流检测算法均可以得到较好的初步道路提取效果。

5)将分割结果映射到原始图像

由于为提高计算效率缩小了图像，因此将图像分割后得到的结果还需要进行放大-映射变换，即把道路检测的结果融合到原始图像中，进行再跟踪检测；这里的映射变换并不是把二值图像直接放大到原尺寸图像上，而是融合检测结果和原始图像。在融合图像中，对每个道路线段的点，检测其3(放大一倍)和5(放大2倍)邻域内，是否能找到代替此点的边界点，检测的原则要尽量使边界光滑，即把道路检测的结果融合到原始图像中。

6)基于水动力学思想(方法)

对初步道路的检测结果进行进一步处理。对于布满噪声及断续道路狭长面积的二值图像的连接是基于水动力学的思想(方法)，其中主要包括水涨水降方法和溪流的长短及形状滤除噪声，然后利用距离的大小以及梯度，借助梯度水弹性方法逐步连接不连续溪流(道路)。

研究水和液体的运动规律及其与边界相互作用的学科称为水动力学，道路的提取相当于观测泥沙地上的小溪或是河流，可以把一幅图像中粗细长短不一的道路段看成是充满水的小溪或河流，道路的边界就是边壁，坑洼就是噪声干扰，因此可以基于水动力学的思想(方法)进行处理。

首先，要判断图上的线条和点，哪些是需要提取的道路信息。基于水动力学的形态学处理方法和道路特征之一的几何特征，即对待处理图像先进行降水位操作，之后通过涨水位方法进行涨水再使用长宽比和圆形度来判断图像中可能的道路信息。

具体包括是步骤是：

步骤一：降水位方法可以帮助消除噪声点和待检目标的边界点，同时使得目标物体沿着周边变小。简单来说，通过水降算法即当水位降低的时候，一些泥洼，坑池就相应干涸，与支流就分离开了，然后通过水涨算法给对应河道增加流量，使原本的支流上的不连续河段和水流串联起来重新形成支流，因此可以去掉砂砾和坑洼等外界噪声。

其定义式如下：

步骤二：使用几何特征即长宽比和圆形度来判断，然后滤除噪声等干扰信息。其中，长宽比r，圆形度c的定义式分别如下：

r＝l/w＝l²/a(12)

c＝4π×a/p²(13)

上式(12)中，a表示各连通区域的道路面积即各个连通区域中所包含的像素的个数。l为道路的长度，w为道路的宽度，道路信息具有大于某最低阈值的长宽比。对于l的计算方法如下：

a)逐行逐列扫描

复制原图像，遍历其每一行并找到该行中出现连续白色像素的中间的位置，保留中间像素，去除其他像素点。同理，逐列扫描保留中间像素点。

b)对逐行逐列的扫描的结果进行或运算。

c)计算最终图像即细化后的图像中白色像素的个数作为l。

上式(13)中，a同上式(12)，p为道路区域轮廓边界的周长，不同的物体具有不同的圆形度，如形状长，则圆形度小。p的计算方法与l相似，不在重复赘述。

通过以上步骤，可以完成噪声的滤除。接下来，需要进行不连续线段的连接。基于水动力学的方法，水流一般是朝着梯度较陡的方向流去，在临近处水流易冲破边壁从而相互贯通，因此判断两相邻道路是否可以相连需要判断两者的图像梯度，梯度越大贯穿相连的可能性就越大。

具体的，其需要满足以下几个要求：

a)由于水流总是朝梯度较陡的方向流去，梯度越高，贯穿流通的可能性就越大。因此，判断两条道路线段(溪流)之间可能连接在一起的较短的几条曲线上，哪条线上的梯度g(x,y)最高；

b)判断不连续的溪流是否能连接在一起也要判断它们的流淌方向是否一致或接近，也就是判断两条道路线段的曲率方向curvature(i)是否接近；

c)两条溪流之间的距离l是否足够近，也就是判断临近两条道路段中线的临近端点之间的距离是否足够小，若距离太大，梯度又不高，则两临近溪流贯穿的可能性较小。

梯度、曲率、距离的计算公式如下：

根据上述的要求来连接不连续的道路线段，由于道路段往往比较复杂，其走向、宽度和弯曲程度都有很大不同，线段两端点的位置，各自的角度不好判定。本实施例中，尝试通过区域搜索进行最小成本的曲线连接，将线段连接分成两个步骤来进行，采取先缝补短间隙然后再进行较大间隙的道路段之间的连接。

具体操作如下：

先做小于等于3个像素的短间隙连接，再去除3像素以内的短线；然后，在两相邻线段角度差小于30度时，做4到5个像素的短间隙连接，再去除6像素以内的短线；最后在两相邻线段角度差小于45度时，做4到9个像素的短间隙连接，再去除9像素以内的短线。

7)输出结果

当执行完上述的圆形模板的分数阶微分算法增强，溪流检测以及基于水动力方法处理之后，可得到模糊航空图像道路跟踪的结果。

具体应用实例：

申请人为了验证上述实施例的模糊航空图像中的道路提取方法的泛化能力、com(完整率)、cor(正确率)和q(检测质量)，实验选择在具有计算能力的服务器上进行了模拟实验。

实验环境为64bitintel(r)c600e5-2620v42.1ghz/8ccpu、32gb内存，软件环境为visualstudio2015，c++。

按照上述实施例的技术方案，对以图6中的(a)图输入的原始图像进行了处理，得到的分数阶微分增强后的图像，溪流检测结果和经过水动力学方法处理的最终结果图像，分别如图6中的(b)图，(c)图和(d)图所示。

为了验证泛化能力，在该实验环境下处理1000幅模糊航空图像，对其处理结果的常用统计指标取平均，并利用目前常使用的量化评价指标com(完整性)，cor(正确率)，q(检测质量)，运行时间(s)来对比不同的道路检测跟踪的算法的性能。处理结果如下表1所示：

表1：三种不同方法的处理结果分析

其中，评价指标com(完整率)、cor(正确率)，q(检测质量)的计算公式如下所示：

式中，tp表示正确提取的道路长度(像素点个数)；fn表示原本为道路信息却没有被提取出来的道路；fp为原本不是道路信息却被错误地提取出的道路的长度(像素点个数)。

针对背景信息较为复杂的模糊航空图像，由上表1客观评价可知：

①直接采用基于相似性的方法如阈值分割方法等，道路跟踪所需的时间较短约为16.2s，但是其完整率约为75.2％，正确率约为66.3％以及检测质量约为54.6％。

②对于采用不连续性的方法如canny算子等，道路跟踪的效果有较为明显的提升，却牺牲了运行效率，耗时约20.8s，比相似性方法增加了约4.6s的时间。

③实验证明，采用本实施例的模糊航空图像中的道路提取方法，运行效率为9.5s，对比以上两种方法提高了1.7到2.1倍的效率。而且，所对应的量化指标(完整率92.5％，正确率91.2％，检测质量90.5％)均在90％以上，对道路检测提取的效率提升是显而易见的。