基于边缘特征的无人机图像模糊判断方法及系统与流程

本发明属于图像处理技术领域，尤其涉及一种基于边缘特征的无人机图像模糊判断方法及系统。

背景技术：

随着社会与经济的发展，为了满足越来越大的用电需求，输电线路里程逐年在增加，这为线路的日常巡检提出了巨大的挑战。为了满足巡检的需要，提高巡检效率，无人机作为一种新型的巡检模式被引入到输电线路运维检修工作中。无人机通过携带可见光图像采集设备，对输电线路状态进行信息采集。由于飞行高度的变化、相机镜头失焦、无人机受大气湍流影响的抖动、环境电磁干扰形成的噪声等均会造成无人机图像质量的下降。再者无人机正常飞行的高度从几米到几百米的低空范围内，对于场景中的不同目标存在不同的景深，容易造成前景目标拍摄清晰，背景目标拍摄模糊，或得到相反情况。

不同机型无人机搭载不同的设备，采集到的图像质量参差不齐，因此，无人机图像质量检测被引入到无人机性能的检验检测中。传统的图像检测方式均以人工模式为主，通过主观判断对图像进行判断(很好、较好、可接受、较差、很差，共5个等级)。人工判断要求检测人员具备一定的图像专业知识以及专业技能，而且由于主观因素的影响会造成评判结果有所不同，造成检测结果无法重现。

目前，主要的图像客观判断可以分为三个类别：全参考方法、半参考方法和无参考方法，这三类方法的主要区别在于对原始图像的依赖程度的不同，其中无参考方法具有更强的泛化能力，成为了几年来研究的热点。

专利CN101127926A通过基于多尺度几何分析的方法实现了对图像质量的判断，但是需要使用参考图像作为参考依据进行判断。在实际应用中，无人机拍摄的图像种类繁多，无法提供标准的参考图像，限制了此方法的应用。

专利CN101930607A基于无参考方法利用小波分解、直方图统计等技术，实现了对图像质量的评价。将图像分解成多层图像，对每层图像进行小波变换操作，处理耗时间较长。

技术实现要素：

本发明为了解决上述问题，提供了一种基于边缘特征的无人机图像模糊判断方法及系统，采用全局分析与局部分析融合的方法实现无人机图像质量的评定，首先，利用基于融合频域锐化指数与空域边缘线段分布密度及方位特征的全局分析方法，判断图像整体的清晰程度；其次，在图像质量整体可接受的情况下，搜索图像中显著的边缘区域，通过分析不同显著边缘的平均宽度，判断图像局部细节模糊程度，从而完成对图像模糊与清晰的判断分析。

为了实现上述目的，本发明采用如下技术方案：

基于边缘特征的无人机图像模糊判断方法，包括以下步骤：

步骤(1)：空间域模糊分析：利用八方向Prewitt算法提取无人机拍摄的原始图像的边缘特征，对原始图像进行分块处理，统计每个分块中设定四个方向上的边缘数目，根据每个分块的边缘线段数目判断图像是否为模糊图像；进入步骤(3)；

步骤(2)：频域模糊分析：对原始图像进行傅里叶变换FFT，分析变换后功率谱的锐度指数，根据锐度指数判断图像是否为模糊图像；进入步骤(3)；

步骤(3)：根据步骤(1)和步骤(2)的结果，确定图像清晰还是模糊；

步骤(4)：对步骤(3)判定为清晰的图像进行局部边缘模糊度分析：根据检测到的边缘线段的位置信息计算边缘的宽度，获取局部模糊判断指标，从而进一步确定图像清晰还是模糊。

所述步骤(1)空间域模糊分析，包括：

步骤(11)：利用八方向Prewitt算子提取无人机拍摄的原始图像的边缘特征；

步骤(12)对提取到的边缘利用OTUS算法进行二值化处理，得到关于边缘的二值化图像。

步骤(13)：根据二值化图像尺寸，将图像均匀分块，对每个分块四个设定角度的线段数据进行统计；

步骤(14)：得到四个方向上边缘数目统计后，对各个图像块进行模糊判断。

所述步骤(13)的对每个分块四个设定角度的线段数据进行统计：

水平方向线段角度：-10°～10°，水平方向线段数目记为Hn；

垂直方向线段角度：大于85°或小于-85°，垂直方向线段数目记为Vn；

斜上方向线段角度：10°～85°，斜上方向线段数目记为SUn；

斜下方向线段角度：-85°～-10°，斜下方向线段数目记为SDn。

所述步骤(14)的步骤为：

步骤(141)：如果在每一分块中，仅存一种方向线段，且线段数目不大于第一设定阈值，则该分块判断为模糊分块；

步骤(142)：如果模糊分块数目占总分块数目的比例大于第二设定阈值，则原始图像为模糊图像。

所述步骤(2)频域模糊分析，包括：

步骤(21)：对无人机拍摄的原始图像进行FFT变换，得到图像的幅度功率谱，

步骤(22)：将图像坐标系转换到极坐标系下；

步骤(23)：累加所有极坐标方向的频谱能量，得到锐度指数a；

步骤(24)：判断锐度指数a与第三设定阈值的大小，若大于第三设定阈值，则判定原始图像为模糊图像，若小于第三设定阈值，则判定原始图像为清晰图像。

所述步骤(3)的步骤为：

如果根据频域判定图像清晰，则判定图像清晰；

如果根据频域判断图像模糊，则结合空域分析进行判断；如果空间域分析为模糊则图像判定为模糊，如果空间域分析图像为清晰则判定为清晰。

所述步骤(4)局部边缘模糊度分析，包括：

步骤(41)：将步骤(1)检测出的边缘特征进行水平方向和垂直方向分组，并将边缘线段切割成设定长度的小线段；

步骤(42)：计算垂直方向边缘的极值点；

步骤(43)：计算水平方向边缘的极值点；

步骤(44)：计算边缘宽度；

步骤(45)：通过直方图加权策略消除背景干扰，计算边缘平均宽度。

步骤(46)：根据步骤(45)的边缘平均宽度计算模糊判断指标，根据判断指标来判断原始图像为清晰图像或模糊图像。

所述步骤(41)中边缘特征的水平方向：-45°～45°，边缘特征的垂直方向：角度小于-45°或者大于45°。

所述步骤(42)的步骤为：

将边缘上的每一点位置映射到灰度图中，找到该点水平位置最接近该点的左灰度极值点和右灰度极值点；

当边缘的左端灰度值大于右端灰度值时，得到左极大值点和右极小值点；

当边缘的左端灰度值小于右端灰度值时，得到左极小值点和右极大值点。

所述步骤(43)的步骤为：

将边缘上的每一点位置映射到灰度图中，找到该点垂直位置最接近该点的上灰度极值点和下灰度极值点。

当边缘的上端灰度值大于下端灰度值时，得到上极大值点和下极小值点；

当边缘的上端灰度值小于下端灰度值时，得到上极小值点和下极大值点。

所述步骤(44)的步骤为：

通过提取边缘像素位置，利用直线拟合方法计算出边缘的方向角Φ(X)，根据方向角计算边缘的宽度

其中：w_up(X)和w_down(X)是边缘像素的中心点X到其对应的上(左)极值点及下(右)极值点的距离。

所述步骤(45)的步骤为：

首先，在边缘线段上随机抽样，并获得相应的宽度值；

其次，统计宽度变化直方图，根据直方图对边缘宽度进行量化处理，量化得到若干个分块，进而得到每个宽度的量化概率图；

最后，根据得到的量化概率图去除概率最低的10％和最高的10％，然后用量化概率图对边缘进行加权平均从而得到边缘的平均宽度w_AVG。

所述步骤(45)的若干个分块可以是30个。

所述步骤(46)的步骤为：

最小可觉模糊指边缘周围最小的感知模糊强度，边缘宽度w_JNB建模为：

其中，w_JNB表示在最小可觉模糊时的边缘宽度，其值取决于局部对比度C，局部对比度C根据每条边缘穿过的分块区域计算；

根据每条边缘计算得到的在最小可觉模糊时的边缘宽度w_JNB，得到模糊边缘宽度的平均值进而得到图像质量局部模糊判断指标B：

当图像质量局部模糊判断指标B大于第四设定阈值时，原始图像被判定为模糊图像，否则为清晰图像。

所述八方向Prewitt算子：

{1,1,1,1,-2，1，-1，-1，-1，

1,1,1,1,-2，-1，1，-1，-1，

1,1,-1,1,-2，-1，1，1，-1，

1,-1,-1,1,-2，-1，1，1，1，

-1,-1,-1,1,-2，1，1，1，1，

-1,-1,1,-1,-2，1，1，1，1，

-1,1,1,-1,-2，1，-1，1，1，

1,1,1,-1,-2，1，-1，-1，1，

}。

所述步骤(21)的公式：

其中，I(u,v)表示经过FFT变换后的图像，S(u,v)表示图像经过FFT变换后的功率谱。图像的大小为N*N，u表示图像的横坐标，v表示图像的纵坐标。

所述步骤(22)的公式：

u＝f cosθ；

v＝f sinθ。

所述步骤(23)的步骤为：

其中，A表示幅度尺度系数，a为锐度指数；S(f)所有极坐标方向的频谱能量之和。

基于边缘特征的无人机图像模糊判断系统，包括：

空间域模糊分析模块：利用八方向Prewitt算法提取无人机拍摄的原始图像的边缘特征，对原始图像进行分块处理，统计每个分块中设定四个方向上的边缘数目，根据每个分块的边缘线段数目判断图像是否为模糊图像；

频域模糊分析模块：对原始图像进行傅里叶变换FFT，分析变换后功率谱的锐度指数，根据锐度指数判断图像是否为模糊图像；

图像模糊一级判断模块：根据空间域模糊分析模块和频域模糊分析模块的结果，确定图像清晰还是模糊；

图像模糊二级判断模块：对图像模糊一级判断模块判定为清晰的图像进行局部边缘模糊度分析：根据检测到的边缘线段的位置信息计算边缘的宽度，获取局部模糊判断指标，从而进一步确定图像清晰还是模糊。

所述空间域模糊分析模块，包括：

特征提取单元：利用八方向Prewitt算子提取无人机拍摄的原始图像的边缘特征；

二值化处理单元：对提取到的边缘利用OTUS算法进行二值化处理，得到关于边缘的二值化图像。

图像分块单元：根据二值化图像尺寸，将图像均匀分块，对每个分块四个设定角度的线段数据进行统计；

图像模糊第一判断单元：得到四个方向上边缘数目统计后，对各个图像块进行模糊判断。

所述图像分块单元的对每个分块四个设定角度的线段数据进行统计：

水平方向线段角度：-10°～10°，水平方向线段数目记为Hn；

垂直方向线段角度：大于85°或小于-85°，垂直方向线段数目记为Vn；

斜上方向线段角度：10°～85°，斜上方向线段数目记为SUn；

斜下方向线段角度：-85°～-10°，斜下方向线段数目记为SDn。

所述图像模糊第一判断单元，：

模糊分块判断子单元：如果在每一分块中，仅存一种方向线段，且线段数目不大于第一设定阈值，则该分块判断为模糊分块；

模糊图像第一判断子单元：如果模糊分块数目占总分块数目的比例大于第二设定阈值，则原始图像为模糊图像。

所述频域模糊分析模块，包括：

FFT变换单元：对无人机拍摄的原始图像进行FFT变换，得到图像的幅度功率谱，

坐标系转换单元：将图像坐标系转换到极坐标系下；

频谱能量累加单元：累加所有极坐标方向的频谱能量，得到锐度指数a；

模糊图像第二判断单元：判断锐度指数a与第三设定阈值的大小，若大于第三设定阈值，则判定原始图像为模糊图像，若小于第三设定阈值，则判定原始图像为清晰图像。

所述图像模糊一级判断模块：

如果根据频域判定图像清晰，则判定图像清晰；

如果根据频域判断图像模糊，则结合空域分析进行判断；如果空间域分析为模糊则图像判定为模糊，如果空间域分析图像为清晰则判定为清晰。

所述图像模糊二级判断模块，包括：

特征分组单元：将检测出的边缘特征进行水平方向和垂直方向分组，并将边缘线段切割成设定长度的小线段；

垂直方向边缘的极值点计算单元：计算垂直方向边缘的极值点；

水平方向边缘的极值点计算单元：计算水平方向边缘的极值点；

边缘宽度计算单元：计算边缘宽度；

边缘平均宽度计算单元：通过直方图加权策略消除背景干扰，计算边缘平均宽度。

模糊图像第三判断单元：根据边缘平均宽度计算单元的边缘平均宽度计算模糊判断指标，根据判断指标来判断原始图像为清晰图像或模糊图像。

本发明的有益效果：

1无参考图像质量判断方法不需要原始图像信息作为参考，符合无人机图像质量判断的实际需求。

2规范化、标准化图像质量检测流程并提高检测准确度和检测的工作效率。

3基于图像整体分析和局部细节相结合的图像质量判断方法，可以有效的对无人机图像进行判断。利用此方法可以避免人工判断带来的主观误差，也为无人机检验检测提供了科学化、流程化的检测手段，提高了检测效率与准确度，在无人机图像质量检测方面有关阔的应用前景。

附图说明

图1为边缘平均宽度计算；

图2为高斯模糊-边缘宽度W关系；

图3为高斯模糊-锐度指数A关系；

图4为本发明的方法流程图；

图5为本发明的系统功能模块图；

图6为本发明的空间域模糊分析模块图；

图7为本发明的频域模糊分析模块图；

图8为本发明的图像模糊二级判断模块图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图4所示，基于边缘特征的无人机图像模糊度判断方法，包括以下步骤：

步骤(1)：空间域模糊分析。利用八方向Prewitt算法提取图像边缘特征并分析各方向线段数目，判断图像是否模糊；

步骤(2)：频域模糊分析。对图像进行FFT(快速傅里叶变换)，分析变换后功率谱的锐度指数，判断图像是否模糊；

步骤(3)：根据步骤(1)和步骤(2)的结果，确定图像最终的模糊度；

步骤(4)：局部边缘模糊度分析。根据检测到的边缘线段的位置信息计算边缘的宽度，与边缘所在局部区域进行对比，获取局部对比度，从而确定图像的清晰度。

步骤(5)：在无人机实际拍摄的图像上进行算法验证测试。

所述步骤(1)空间域模糊分析，主要包括：

步骤(11)：利用八方向Prewitt算子提取边缘，并利用OTSU算法对边缘进行二值化处理。

{1,1,1,1,-2，1，-1，-1，-1，

1,1,1,1,-2，-1，1，-1，-1，

1,1,-1,1,-2，-1，1，1，-1，

1,-1,-1,1,-2，-1，1，1，1，

-1,-1,-1,1,-2，1，1，1，1，

-1,-1,1,-1,-2，1，1，1，1，

-1,1,1,-1,-2，1，-1，1，1，

1,1,1,-1,-2，1，-1，-1，1，

}

步骤(12)：对二值化边缘进行四个角度的统计处理。水平方向线段角度：-10°～10°，水平方向线段数目记为Hn；垂直方向线段角度：大于85°或小于-85°，垂直方向线段数目记为Vn；斜上方向线段角度：10°～85°，斜上方向线段数目记为SUn；斜下方向线段角度：-85°～-10°，斜下方向线段数目记为SDn；

步骤(13)：对原始图像进行分块处理，统计每个分块中的个方向线段数目。如果在每一分块中，仅存一种方向线段，且线段数目不大于2，则该分块判断为模糊分块；如果模糊分块数目大于总分块数目的90％，则该幅图像为模糊图像。

所述步骤(2)频域模糊分析，主要包括：

步骤(21)：对图像进行FFT变换，转化为其幅度功率谱，公式如下所示：

其中，I(u,v)表示经过FFT变换后的图像。

步骤(22)：为了便于后续计算，将图像坐标系转换到极坐标系下：

u＝f cosθ,v＝f sinθ

步骤(23)：累加所有极坐标方向的频谱能量到S(f)：

其中，A表示幅度尺度系数，a为频率指数(锐度指数)。

模糊图像可以看成是清晰图像经过低通滤波处理后使得高频分量衰减得到的，其高频信号较少，低频信号较多。这种现象在功率谱上表现为：曲线衰减较快，图像的高频分量减少，即a值较大。对于清晰图像，由于没有经过滤波等模糊平滑操作，高频分量较多，功率谱衰减减慢，因此a值较小。

图像模糊主要是细节信息的丢失，在空域上的表现是边缘宽度的增加，所以用边缘宽度来检测图像的模糊度是最直接的方法。

所述步骤(4)局部边缘模糊度分析，包括：

步骤(41)：将检测出的边缘特征进行分组，并将线段切割成固定长度的小线段，如图1所示。统计边缘的水平：-45°～45°和垂直方向：角度小于-45°或者大于45°的边缘数目；

步骤(42)：计算边缘的宽度。以垂直方向边缘为例，将边缘上的某一点位置映射到原图中，找到该点水平位置最接近该点的左右灰度极值点。当边缘的左端灰度值大于右端灰度值时，得到左极大值点和右极小值点；当边缘灰度值小于右端时，得到左极小值点和右极大值点，从而得到边缘的宽度；

步骤(43)：同理，根据上述步骤(42)的操作，计算水平方向边缘的宽度；

步骤(44)：修正边缘宽度。由于提取到的边缘不完全水平或垂直，通过提取边缘像素位置，利用直线拟合手段计算出边缘的方向角Φ(X)，根据方向角计算边缘的宽度

其中：w_up(X)和w_down(X)是边缘像素的中心点X，其上下最大或最小极值点I_max(X)与I_min(X)之间的距离。

步骤(45)：计算边缘平均宽度。边缘受背景的影响，会变得模糊，为了消除背景的影响引入直方图加权策略。首先在边缘上随机抽样，并获得相应的宽度值。其次，统计宽度变化直方图，进而得到不同宽度的概率图，根据得到的概率图，进而计算得到边缘的平均宽度w_AVG。

步骤(46)：模糊判断指标。基于人类对不同模糊感知的敏感性差异，提出“最小可觉模糊(JNB)概念”，定义边缘周围最小的感知模糊强度。高的局部对比度比绝对亮度更符合人眼感知视觉系统。w_JNB表示在“最小可觉模糊”时的边缘宽度，其值取决于局部对比度C。在各种局部对比对下，宽度w_JNB可以建模为：

其中，局部对比度C根据每条边缘穿过的分块区域计算。定位到分块的边缘点，以边缘点为中心取n*n的局部区域，统计局部区域内像素点与中心点像素的差值，这个差值就是局部对比度C。n根据实际情况定义。

根据每条边缘计算得到的w_JNB得到模糊边缘宽度的平均值进而得到图像质量局部模糊判断指标：

当图像模糊增加时，边缘扩散增加，导致边缘宽度增大，进而使得比值B增大。

利用无人机拍摄的图像，进行了算法的有效性测试。利用无人机在距离目标2m、4m、5m位置进行拍摄，然后对三张图像进行9个等级(0.5、1.0、1.5、2.0、2.5、3.0、3.5、4.0、4.5、5.0)，共有30张图像进行测试。图2证明随着模糊参数的增加，图像模糊度指标(边缘宽度W)也随之增大，图像质量越差。图3证明随着模糊参数的增加，图像锐度指数A也随之增大，图像质量越差。证明了基于边缘宽度判断指标W和基于FFT的锐化指数A能够有效的判断出图像的模糊度。

如图5所示，基于边缘特征的无人机图像模糊判断系统，包括：

空间域模糊分析模块：利用八方向Prewitt算法提取无人机拍摄的原始图像的边缘特征，对原始图像进行分块处理，统计每个分块中设定四个方向上的边缘数目，根据每个分块的边缘线段数目判断图像是否为模糊图像；

频域模糊分析模块：对原始图像进行傅里叶变换FFT，分析变换后功率谱的锐度指数，根据锐度指数判断图像是否为模糊图像；

图像模糊一级判断模块：根据空间域模糊分析模块和频域模糊分析模块的结果，确定图像清晰还是模糊；

图像模糊二级判断模块：对图像模糊一级判断模块判定为清晰的图像进行局部边缘模糊度分析：根据检测到的边缘线段的位置信息计算边缘的宽度，获取局部模糊判断指标，从而进一步确定图像清晰还是模糊。

如图6所示，所述空间域模糊分析模块，包括：

特征提取单元：利用八方向Prewitt算子提取无人机拍摄的原始图像的边缘特征；

二值化处理单元：对提取到的边缘利用OTUS算法进行二值化处理，得到关于边缘的二值化图像。

图像分块单元：根据二值化图像尺寸，将图像均匀分块，对每个分块四个设定角度的线段数据进行统计；

图像模糊第一判断单元：得到四个方向上边缘数目统计后，对各个图像块进行模糊判断。

所述图像分块单元的对每个分块四个设定角度的线段数据进行统计：

水平方向线段角度：-10°～10°，水平方向线段数目记为Hn；

垂直方向线段角度：大于85°或小于-85°，垂直方向线段数目记为Vn；

斜上方向线段角度：10°～85°，斜上方向线段数目记为SUn；

斜下方向线段角度：-85°～-10°，斜下方向线段数目记为SDn。

所述图像模糊第一判断单元，：

模糊分块判断子单元：如果在每一分块中，仅存一种方向线段，且线段数目不大于第一设定阈值，则该分块判断为模糊分块；

模糊图像第一判断子单元：如果模糊分块数目占总分块数目的比例大于第二设定阈值，则原始图像为模糊图像。

如图7所示，所述频域模糊分析模块，包括：

FFT变换单元：对无人机拍摄的原始图像进行FFT变换，得到图像的幅度功率谱，

坐标系转换单元：将图像坐标系转换到极坐标系下；

频谱能量累加单元：累加所有极坐标方向的频谱能量，得到锐度指数a；

模糊图像第二判断单元：判断锐度指数a与第三设定阈值的大小，若大于第三设定阈值，则判定原始图像为模糊图像，若小于第三设定阈值，则判定原始图像为清晰图像。

所述图像模糊一级判断模块：

如果根据频域判定图像清晰，则判定图像清晰；

如果根据频域判断图像模糊，则结合空域分析进行判断；如果空间域分析为模糊则图像判定为模糊，如果空间域分析图像为清晰则判定为清晰。

如图8所示，所述图像模糊二级判断模块，包括：

特征分组单元：将检测出的边缘特征进行水平方向和垂直方向分组，并将边缘线段切割成设定长度的小线段；

垂直方向边缘的极值点计算单元：计算垂直方向边缘的极值点；

水平方向边缘的极值点计算单元：计算水平方向边缘的极值点；

边缘宽度计算单元：计算边缘宽度；

边缘平均宽度计算单元：通过直方图加权策略消除背景干扰，计算边缘平均宽度。

模糊图像第三判断单元：根据边缘平均宽度计算单元的边缘平均宽度计算模糊判断指标，根据判断指标来判断原始图像为清晰图像或模糊图像。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。