一种用于无人机图像的质量盲评价方法与流程

文档序号:12273031阅读:480来源:国知局

本发明涉及图像质量评估技术领域,具体地说涉及一种用于无人机图像的质量盲评价方法。



背景技术:

无人机图像是通过无人机高空平台的一种远距离、无接触成像后的图像。随着成像技术的不断发展,无人机拍摄的图像分辨率越来越高,人们通过对无人机图像中的目标的信息进行加工处理,从而获取对目标定性或定量的描述。而成像后的结果——无人机图像的质量则引起了国内外图像工作者的关注。

但是无人机图像并没有一套成熟的质量评价标准。对无人机图像的质量评判往往采用传统的观察法,即通过人眼观看图像来评判图像的优劣。这一方法手段包含了大量的主观因素。因此有必要寻求既客观又简便无人机图像质量评价方法,正确评价无人机图像的质量。此外,随着图像压缩及图像传输等技术的发展,对压缩或传输后的图像质量进行评价已引起广泛的关注,国内外大量针对图像质量的研究往往集中于地面成像平台直接拍摄的自然图像,而对压缩传输后的图像质量则研究较少。

无参考图像质量评价(No-referenceImageQualityAssessment,NR-IQA)算法旨在无需参考图像即设计出主客观相一致的评价模型,因而使得无参考图像质量评价一直处于图像处理邻域研究的重点。国内外众多学者分别就这一问题先后建立了基于人类视觉系统(HumanVisualSystem,HVS)的评价模型、基于自然场景统计(NaturalSceneStatistic,NSS)的评价模型等经典算法模型。这些算法模型都是针对基于地面平台拍摄的自然图像,而对于空中成像平台获取的复杂失真图像,现有算法则无法获得较为准确的评价结果。

近年也有一些算法模型提出,如具体失真类型的IQA算法、混合失真类型的IQA算法、非具体失真类型的IQA算等。

1、具体失真类型的IQA算法

具体失真类型的图像质量评价算法是根据图像中确定的失真形式进行质量评价,例如JPEG压缩、JPEG2000压缩等。1)JPEGIQA:通常,NRJPEGIQA通过测量图像块边界区域的边缘强度,将这个强度和可能存在的图像行为的测量值与质量相联系。JPEGNR-IQA算法包括L.Meesters等使用基于模糊边界的埃米特变换;Z.Wang等对JPEG图像沿水平方向计算差分信号,通过分块边缘的平均差分估计分块效应的方法;R.Barland等使用映射对分块的质量分数进行权重;J.Chen等使用基于临界值的方法对梯度进行计算;S.Suthaharan在傅里叶域上进行块计算。以上方法都是在分块和模糊上计算可感知的质量,并没有引入训练和特征提取等智能方法。2)JPEG2000IQA:对于JPEG2000所产生的振铃效应,通常通过边缘探测测量边缘扩散,这种边缘扩散与图像质量相关。其它方法包括在空域上测量一些简单的特征;或是使用自然场景统计的方法,该方法中作者探究了相邻小波系数间的相关性,存在的失真会改变这些相关性。

2、混合失真类型的IQA算法

研究者们根据具体失真类型的方法,将这些方法结合在一起,也提出了一些针对多种混合失真的评价方法。

2002年,X.Li提出了一系列启发式的方法来描绘视觉质量在边缘锐度、随机噪声和结构噪声方面的特性。边缘锐度使用边缘探测的方法,随机噪声通过局部平滑的方法和基于PDE模型的方法来测量。Li定义的结构噪声即为JPEG和JPEG2000中的块效应和振铃效应。然而,作者并没有分析各方法的性能,也没有提供质量评价算法的新的技术。

2007年,Gabrada和Cristobal提出了一个革新的方法,通过使用Renyi熵模仿图像中的各向异性。这个方法很有吸引力,因为自然图像是各向异性的,持有大量的统计结构。作者测量均值、标准差和在空域上已定义的4个方向上的Renyi熵的范围,论证它们之间的相关性,使之与感知质量相联系。然而依然缺乏彻底的评估。

3、非具体失真类型的IQA算法

研究者们提出了更为广泛应用的NR-IQA算法。这些算法并不试图去确定图像失真的类型,而是将图像质量评价转化为对从图像中提取的具体特征进行分类和回归。特征可通过机器学习或是自然场景统计的方法进行提取。

2011年,P.Ye和D.Doermann用基于局部外观的gabor滤波器来构成视觉码书,学习DMOS分数向量,将每个码字与质量分数相联系。然而,在构造视觉码书的过程中每一个与图像块相关联的特征向量被DMOS值标记。这就存在问题,因为每个图像块都有着不同的质量,尤其是一些局部的失真只影响图像中的一小部分。同时,这一过程计算十分复杂。随后,P.Ye和D.Doermann采用无监督的特征学习方法,通过Gabor滤波器对算法CBIQ进行改进,形成半监督算法CORNIA。该算法通过监督学习进行编码;通过非监督学习构建算法模型。由于该算法需要图像主观先验知识,且编码过程较为复杂,因此不利于实际应用。

2010年至2012年,Bovik提出了一系列基于自然场景统计模型的无参考图像质量评价算法。该模型源于假设:自然图像存在确定的统计特性,这些统计特性能够被所存在的失真改变。因此该方法通过提取相应的特征进行质量评价,都有着较为理想的评价结果。该算法如BIQI、DIIVINE、BLIINDS-II、BRISQUE。由于它们仅仅评价以接受训练的降质形式,而且需要与人类主观评分相结合,所以存在一定的限制。

2013年,Bovik提出了一个新的,基于自然场景统计的NR-IQA算法NIQE。该算法不需要判断存在的失真形式,也无需对人类主观评分做出相应的训练,所以是一个绝对的“盲”评价。

同样国内专家学者们对无参考图像质量评价进行了广泛的研究,形成了以高新波、蒋刚毅等为代表的一系列科研团队。如高新波团队提出的基于稀疏理论的NR-IQA,通过提取图像特征并绘图观察是否为线性来进行质量评价;楼斌、严晓浪等人提出了基于自然场景的无参考图像质量评价方法,该方法研究了自然图像Contourlet变换域子带均值间的线性关系,通过对不同尺度、方向、子 带的不同区域进行选取加权,综合得到图像质量;蒋刚毅、郁梅等人提出的基于支持向量回归的立体图像质量评价方法能够很好地预测人对立体图像的主观感知,拓展无参考图像质量评价方法的应用范围]

图像质量评价技术发展迅速,但也面临许多挑战,主要由以下五个方面:

1.自然图像的掩蔽模型构建和优化;

2.超阈值失真降质处理问题;

3.失真对图像表现的影响建模;

4.多失真混杂、几何形变和增强处理的评价问题;

5.评价实时性和空间开销。



技术实现要素:

本发明的目的在于针对上述现有技术的缺陷,提供一种用于无人机图像的质量盲评价方法,在综合分析无人机成像特性的基础上,研究并提取相关图像特征,构建了多失真混杂的无人机图像质量评价模型。

为实现上述目的,本发明所采取的技术方案是:

一种用于无人机图像的质量盲评价方法,该评价方法的步骤为:

S1、获取无人机图像,并将无人机图像从图像信息结构性、图像信息完整性、图像信息颜色性三个方面进行分析;构建相应的质量评价测度;

A、基于空域自然场景统计,进行图像信息结构性测度

A1、以空域自然场景统计显著地揭示失真图像的质量衰退程度,把基于空域自然场景统计特性作为特征因子;

理论认为,自然灰度图像的局部归一化亮度因子服从高斯分布,这个归一化过程描述为:

其中,公式(2.2)、(2.3)分别计算了图像的局部均值和方差,公式(2.3)中w={wk,l|k=-K,…,K,l=-L,…,L}为二维循环对称高斯权重函数,定义K=L=3;Igray为自然图像的灰度图,在matlab中通过语句Igray=rgb2gray(I)实现图像I由彩色图像转变为灰度图像;

A2、将公式(2.1)、(2.2)、(2.3)绘制清晰图像和失真图像的MSCN因子统计直方图,将MSCN因子选取为描述图像结构性测度的第一个特征f1;公式(2.1)、(2.2)、(2.3)绘制的MSCN因子统计直方图如图1所示;

A3、采用经验分布函数分别在MSCN因子两侧的水平、垂直、主对角线、次对角线共四个方向上提取相邻两个MSCN因子,并将每个方向上的MSCN因子进行均值计算获得两个参数,将这两个成对参数分别记为特征f2和f3;该相邻因子的提取方法是:

IHpair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i,j+1)

IVpair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i+1,j)

ID1pair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i+1,j+1)

ID2pair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i+1,j-1) (2.4)

A4、将公式(2.3)所计算的局部标准差σ(i,j)用来描述图像的锐度,从公式可知,参数σ(i,j)是随着公式(2.2)的(i,j)的变化而变化的,通过计算锐度方差的变化量可得到图像的归一化色散:

标准差σ(i,j)和归一化色散(i,j)构成无人机图像结构性测度的两个重要参数,将之分别记为特征f4、f5

上述特征参数f1、f2、f3、f4、f5构成用以度量图像信息结构特征的特征向量;

B、基于信息熵进行图像信息完整性测度;

B1、首先计算图像的对比度熵(CE);图像在空域中通过高斯二阶导数差分滤波器分解,分解后的滤波器响应被整合,然后这些响应通过限定阈值来排除噪声干扰;在每个独立的颜色分量即灰度(gray)、黄蓝(yb)、和红绿(rg)上分别计算对比度熵获得特征f6、f7、f8:

公式(2.6)、(2.7)中c∈{gray,yb,rg}代表图像的颜色通道,计算公式为:gray=0.299R+0.587G+0.114B,yb=0.5(R+G)-B,rg=R-G;α表示Z(Ic)的最大值,κ表示对比度增益,τc为当前图像颜色通道的噪声阈值,符号表示卷积,hh和hv分别是高斯函数的水平和垂直二阶导数;

B2、基于无人机图像细节特征损失较多,有效地细节较少,使用图像熵作为一个特征f9

其中,p(hi)表示像素强度hi的概率;

C、基于HSV模型进行图像信息颜色性测度

C1、考虑到SV色彩空间更适合于人眼视觉系统来感知彩色特性的处理,其分量与人感知彩色的方式紧密相连,能够显著地区分出图像中的不同物体,将图像由RGB彩色空间转换至SV彩色空间,而后在H通道中通过公式(2.8)计算图像的色调hue,而色度(CF)可通过公式(2.10)计算:

Ihue(i,j)=IHSV(i,j,1) (2.9)

式中IHSV表示为图像由RGB转换为HSV后的图像空间,rg=R-G,yb=0.5(R+G)-B,像素点的范围为x=1...X。通过以上两个公式获得图像颜色性测度因子f10、f11

所提取的三类11个特征因子如下表所示:

S2、无人机图像质量评价模型构建

D、用多元高斯模型构建基准MVG模型

D1、选用标准测绘图作为评价模型的原始图像数据库,对该数据库图像进行子块分离后提取相应特征向量“学习”得到基准MVG模型;

D2、通过MVG拟合获得图像的统计特性参数;针对待评价无人机图像,进行子块划分后重复计算过程获取待测图像的统计特性参数;对每一子块进行上述特征提取,形成d维特征向量;从n个子块选取的特征用特征矩阵X=[x1,x2,...,xn]∈Rd×n表示;

D3、计算两个特征参数的马氏距离获得每一子块的质量得分,最后将各子 块质量得分的均值作为待评价图像的质量得分;

假定xi,i=1,...,n独立采样服从于一个维MVG分布,利用标准的最大似然估计方法计算得到MVG分布的拟合特性,公式如下:

D4、对无人机图像进行p×p分块得到k个子块,对每个子块i进行特征提取得到d维向量yi

对每一子块i的d维向量yi进行MVG拟合得到模型参数(μi,Σi),计算与基准MVG模型(μ,Σ)之间的马氏距离得到对应块得分:

中μ、μi,Σ、Σi分别表示为清晰图像和待测图像的均值向量和协方差矩阵;

采用均值方法得到最后整幅图像的质量等分:

作为对上述技术方案的改进,可运用Matlab语言对无人机图像进行代码实现,进一步构建无人机测试图像数据库。

作为对上述技术方案的改进,上述无人机图像为无人机空中实拍图像。

与现有技术相比,本发明所取得的有益效果是:

本发明的用于无人机图像的质量盲评价方法,

(1)在综合分析经典无参考图像质量评价方法和无人机图像特点的基础上,针对无人机图像多失真混杂问题,提取了能够表征无人机多失真场景的三大类质量特征因子集,用于信息熵完整性、结构信息变化、颜色丢失三类主要失真的感知表达;

(2)针对训练样本图像难以获取的实际情况,以实拍标准测绘图像库为原始图像样本获得MVG特性参数作为度量基准,解决了空基成像平台拍摄图像盲 评价缺乏训练集的问题;

(3)提出了针对无人机图像多失真混杂的图像质量评价方法。将能够表征无人机图像混杂失真的信息转换为特征向量,通过距离度量计算获取评价结果;最后进行了Matlab语言算法实现;实验证明该算法较经典算法更好地评价无人机图像。

我们的研究成果既具有一定的军事应用前景,也具有一定的理论学术价值,同时也为类似空基稳定平台成像后续处理和系统优化提供了技术参考和有益借鉴。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为公式(2.1)、(2.2)、(2.3)绘制的MSCN因子统计直方图;

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

本发明用于无人机图像的质量盲评价方法,该评价方法的步骤为:

S1、获取无人机图像,并将无人机图像从图像信息结构性、图像信息完整性、图像信息颜色性三个方面进行分析;构建相应的质量评价测度;

A、基于空域自然场景统计,进行图像信息结构性测度

A1、以空域自然场景统计显著地揭示失真图像的质量衰退程度,把基于空域自然场景统计特性作为特征因子;

理论认为,自然灰度图像的局部归一化亮度因子服从高斯分布,这个归一化过程描述为:

其中,公式(2.2)、(2.3)分别计算了图像的局部均值和方差,公式(2.3)中w={wk,l|k=-K,…,K,l=-L,…,L}为二维循环对称高斯权重函数,定义K=L=3;Igray为自然图像的灰度图,在matlab中通过语句Igray=rgb2gray(I)实现图像I由彩色图像转变为灰度图像;

A2、将公式(2.1)、(2.2)、(2.3)绘制清晰图像和失真图像的MSCN因子统计直方图,将MSCN因子选取为描述图像结构性测度的第一个特征f1

A3、采用经验分布函数分别在MSCN因子两侧的水平、垂直、主对角线、次对角线共四个方向上提取相邻两个MSCN因子,并将每个方向上的MSCN因子进行均值计算获得两个参数,将这两个成对参数分别记为特征f2和f3;该相邻因子的提取方法是:

IHpair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i,j+1)

IVpair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i+1,j)

ID1pair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i+1,j+1)

ID2pair_MSCN(i,j)=IMSCN(i,j)·IMSCN(i+1,j-1) (2.4)

A4、将公式(2.3)所计算的局部标准差σ(i,j)用来描述图像的锐度,从公式可知,参数σ(i,j)是随着公式(2.2)的(i,j)的变化而变化的,通过计算锐度方差的变化量可得到图像的归一化色散:

标准差σ(i,j)和归一化色散(i,j)构成无人机图像结构性测度的两个重要参数,将之分别记为特征f4、f5

上述特征参数f1、f2、f3、f4、f5构成用以度量图像信息结构特征的特征向量;

B、基于信息熵进行图像信息完整性测度;

B1、首先计算图像的对比度熵(CE);图像在空域中通过高斯二阶导数差分滤波器分解,分解后的滤波器响应被整合,然后这些响应通过限定阈值来排除噪声干扰;在每个独立的颜色分量即灰度(gray)、黄蓝(yb)、和红绿(rg)上分别计算对比度熵获得特征f6、f7、f8:

公式(2.6)、(2.7)中c∈{gray,yb,rg}代表图像的颜色通道,计算公式为:gray=0.299R+0.587G+0.114B,yb=0.5(R+G)-B,rg=R-G;α表示Z(Ic)的最大值,κ表示对比度增益,τc为当前图像颜色通道的噪声阈值,符号表示卷积,hh和hv分别是高斯函数的水平和垂直二阶导数;

B2、基于无人机图像细节特征损失较多,有效地细节较少,使用图像熵作为一个特征f9

其中,p(hi)表示像素强度hi的概率;

C、基于HSV模型进行图像信息颜色性测度

C1、考虑到SV色彩空间更适合于人眼视觉系统来感知彩色特性的处理,其分量与人感知彩色的方式紧密相连,能够显著地区分出图像中的不同物体,将图像由RGB彩色空间转换至SV彩色空间,而后在H通道中通过公式(2.8)计算图像的色调hue,而色度(CF)可通过公式(2.10)计算:

Ihue(i,j)=IHSV(i,j,1) (2.9)

式中IHSV表示为图像由RGB转换为HSV后的图像空间,rg=R-G,yb=0.5(R+G)-B,像素点的范围为x=1...X。通过以上两个公式获得图像颜色性测度因子f10、f11

所提取的三类11个特征因子如下表所示:

S2、无人机图像质量评价模型构建

D、用多元高斯模型构建基准MVG模型

D1、选用标准测绘图作为评价模型的原始图像数据库,对该数据库图像进行子块分离后提取相应特征向量“学习”得到基准MVG模型;

D2、通过MVG拟合获得图像的统计特性参数;针对待评价无人机图像,进行子块划分后重复计算过程获取待测图像的统计特性参数;对每一子块进行上述特征提取,形成d维特征向量;从n个子块选取的特征用特征矩阵X=[x1,x2,...,xn]∈Rd×n表示;

D3、计算两个特征参数的马氏距离获得每一子块的质量得分,最后将各子块质量得分的均值作为待评价图像的质量得分;

假定xi,i=1,...,n独立采样服从于一维MVG分布,利用标准的最大似然估计方法计算得到MVG分布的拟合特性,公式如下:

D4、对无人机图像进行p×p分块得到k个子块,对每个子块i进行特征提取得到d维向量yi

对每一子块i的d维向量yi进行MVG拟合得到模型参数(μi,Σi),计算与基准MVG模型(μ,Σ)之间的马氏距离得到对应块得分:

中μ、μi,Σ、Σi分别表示为清晰图像和待测图像的均值向量和协方差矩阵;

采用均值方法得到最后整幅图像的质量等分:

作为对上述技术方案的改进,可运用Matlab语言对无人机图像进行代码实现,进一步构建无人机测试图像数据库。

作为对上述技术方案的改进,上述无人机图像为无人机空中实拍图像。

本发明的用于无人机图像的质量盲评价方法,

(1)在综合分析经典无参考图像质量评价方法和无人机图像特点的基础上,针对无人机图像多失真混杂问题,提取了能够表征无人机多失真场景的三大类 质量特征因子集,用于信息熵完整性、结构信息变化、颜色丢失三类主要失真的感知表达;

(2)针对训练样本图像难以获取的实际情况,以实拍标准测绘图像库为原始图像样本获得MVG特性参数作为度量基准,解决了空基成像平台拍摄图像盲评价缺乏训练集的问题;

(3)提出了针对无人机图像多失真混杂的图像质量评价方法。将能够表征无人机图像混杂失真的信息转换为特征向量,通过距离度量计算获取评价结果;最后进行了Matlab语言算法实现;实验证明该算法较经典算法更好地评价无人机图像。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1