一种弹载图像质量评价方法与流程

本发明涉及弹载图像处理技术领域，特别涉及一种弹载图像质量评价方法。

背景技术：

图像质量的评价，根据有无参考图像和信息，可分为三大类：(1)全参考图像质量评价方法(Full-Refrence Image Quality Assessment，FR-IQA)；(2)弱参考图像质量评价方法(Reduced-Refrence Image Quality Assessment，RR-IQA)；(3)无(盲)参考图像质量评价方法(No-Refrence/Blind Image Quality Assessment，NR-IQA)。其中无参考图像质量评价是目前人们研究的重点内容，无参考图像质量评价可进一步划分为两类：限定失真评价方法和非限定失真评价方法，对于由高速飞行体的空对地成像图像，如弹载侦察图像的质量评价，由于缺乏相应参考图像，只能采用无参考图像质量评价的方法，同时用于多失真混杂，需要研究非限定失真的图像质量评价方法和实际应用。

由于高速飞行体成像设备的相机运动呈现高速旋转、多自由度的抖动，图像的相应高频部分会受到不同程度的减弱，不同于目标相对背景运动带来的模糊，相机抖动的方向和速度变化产生的模糊在图像上呈现明显的各向异性；高速飞行体，如弹丸在下落过程中，由于弹体高过载、弹丸高速旋转、图像编解码不完全、信号干扰等因素会造成颜色漂移、颜色损失、颜色模糊等色彩失真，利用现有方法难以有效解决；

而且，弹载图像经常呈现多失真混叠的现象，只针对某一类失真类型特征无法提取满足需求的结构变化特征；弹载成像平台由空中抛撒，空对地成像，场景细节变化和图像中地貌特征也不相同，用常见的清晰图像进行处理难以得到满意结果；

因此，高速飞行体的旋转造成的相机成像复杂，拍摄图像存在多类失真降质，常规特征因子和算法难以评估。

技术实现要素：

为此，本发明提供了一种弹载图像质量评价方法，以解决高速飞行体设备旋转、抖动、高过载引起图像高频部分衰减、编解码不完全、颜色失真等造成的无法正确评估图像质量的问题。

为达到上述目的，本发明的技术方案是这样实现的：

第一技术方案为一种弹载图像质量评价方法，所述弹载图像质量评价方法包括如下步骤：

步骤S11：利用高分辨率的测绘图像建立原始基准图像数据库；

步骤S12：以原始基准图像为原始训练参考图像，进行p×p分块，对每一子块提取与图像失真程度相关，与图像失真类型无关的图像质量敏感特征因子；

步骤S13：对原始图像各子块的质量敏感特征因子进行MVG拟合，构建基准MVG模型；

步骤S21：获取待评价图像数据；

步骤S22：对待评价图像进行p×p分块，与原始基准图像相同，对每一子块提取图像质量敏感特征因子；

步骤S23：对待评价图像的质量敏感特征因子进行MVG拟合，构建待评价MVG模型；

步骤S31：比较基准MVG模型与待评价MVG模型的特性分布差异，得到各对应子块的质量得分；

步骤S32：计算各个子块质量得分的平均值作为整幅图像的最终得分。

第二技术方案基于第一技术方案，所述步骤S12、S22中，提取的所述图像质量敏感特征因子包括：抖动失真相关特征因子、结构失真相关特征因子、颜色失真相关特征因子。

第三技术方案基于第二技术方案，所述步骤S12、S22中，提取的所述抖动失真相关特征因子包括：方向特征和形状特征。

第四技术方案基于第二技术方案，所述步骤S12、S22中，提取的所述结构失真相关特征因子包括：MSCN统计因子、MSCN因子两侧水平方向因子、局部方差。

第五技术方案基于第二技术方案，所述步骤S12、S22中，所述颜色失真相关特征因子的提取包括：灰度对比度熵、黄蓝对比度熵、红绿对比度熵、色调和色度。

第六技术方案基于第三技术方案，所述步骤S12、S22中，所述抖动相关特征因子的提取包括：

首先定义图像DFT变换系数的方向能力和方向加权熵，再计算变换系数的清晰度，进一步得到方向特征的均值；同时，根据形状特征离心率和频谱轮廓数量，计算形状特征的离心率方差。

第七技术方案基于第四技术方案，所述步骤S12、S22中，所述结构相关特征因子的提取包括：

基于自然场景统计，对自然灰度图像的局部进行归一化预处理，得到MSCN因子和局部方差，在采用经验分布函数计算得到MSCN因子两侧水平的因子。

第八技术方案基于第五技术方案，所述步骤S12、S22中，所述颜色失真相关因子的提取包括：

图像在空域中通过高斯二阶倒数差分滤波器分解，分解后的滤波器响应被整合，选取颜色分量包括：灰度对比度熵、黄蓝对比度熵和红绿对比度熵，进一步在图像的H通道中计算色调和色度。

第九技术方案基于第一技术方案，所述步骤13、23中，先对各子块的质量敏感特征因子构成的多维特征向量，用PCA方法进行降维得到映射矩阵，之后利用最大似然估计算法计算得到MVG分布的拟合特性。

第十技术方案基于第一技术方案，所述S31中，采用马氏距离计算方法比较基准MVG模型的特性与待评价MVG模型的特性之间的距离，对基准MVG的特性与待评价MVG的特性的差异进行量化评分，得到各子块的得分。

本发明的优点和有益效果：本发明提出的图像质量评价方法和系统，通过构建原始基准图像单元，对原始基准图像进行分块，由各子块提取例如与图像的抖动、结构、颜色相关的三类质量敏感特征因子，分块提取的特征进行MVG拟合获得MVG模型，即，基准分布特性，同时对如弹载图像进行分块处理得到相应的MVG分布特性，比较其与基准MVG的特性分布差异，如马氏距离作为子块质量得分，进一步得到整体图像的得分。由于选取的质量敏感特征因子与图像失真程度相关，与图像失真类型无关，能够准确表征成像设备旋转、抖动、高过载引起图像高频部分衰减、编解码不完全、颜色失真等问题，能够正确地对高速飞行体成像，即弹载图像的图像质量进行评价，与现有技术相比更加高效、准确。

附图说明

图1是本发明实施方式的结构框图，

图2是本发明实施方式的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述，在本实施方式中，高速飞行体的空对地成像图像为弹载图像。

如图1所示，本发明弹载图像质量评价系统包括如下结构：

原始基准图像数据库1，储存原始基准图像，该原始基准图像为高分辨率测绘图像；

原始图像特征因子提取单元2，以原始基准图像为原始训练参考图像，进行p×p分块，对每一子块提取与图像失真程度相关，与图像失真类型无关的图像质量敏感特征因子；

基准MVG模型构建单元3，对各子块的质量敏感特征因子进行MVG拟合，构建基准MVG模型；

获取待评价图像数据单元4，获取待评价图像数据；

待评价图像特征因子提取单元5，对待评价图像进行p×p分块，与原始基准图像相同，对每一子块提取图像质量敏感特征因子；

待评价MVG模型构建单元6，对各子块的质量敏感特征因子进行MVG拟合，构建待评价MVG模型；

子块质量评价单元7，比较基准MVG模型的特性与待评价MVG模型的差异，得到各对应子块的质量得分；

整幅图像质量评价单元8，计算各个子块质量得分的平均值作为整幅图像的最终得分。

以下首先对图像质量敏感特征因子进行说明。

图像特征的准确提取是质量评价模型构建成功的关键，在“主观未知”盲评价方法的特征选取时重要的原则是：选取的特征应与图像的失真类型无关，而与图像的失真程度相关。考虑弹载图像成像方式的极端特殊性，需要重点考虑选取以下三类特征，抖动失真相关特征因子，结构失真相关类特征因子，颜色失真类特征因子。

抖动失真相关特征因子：

关于图像模糊失真的特征选取和评价已经有了不少方法，主要分为基于边缘测量、基于谱分析两大类型，较好地解决了散焦、相对运动和压缩带来的模糊；由于弹载成像设备相机运动呈现高速旋转、多自由度的抖动，图像的相应高频部分会受到不同程度的减弱，不同于目标相对背景运动带来的模糊，相机抖动的方向和速度变化产生的模糊在图像上呈现明显的各向异性，利用现有方法难以有效解决，因此必须寻找适合弹载图像模糊失真的特征因子。

针对由相机抖动带来的模糊评价问题，提出了两类6个图像特征，一类是方向特征，用于表示相机按不同方向抖动带来的图像谱结构多方向变化，有均值、方差和最小锐度三个特征；另一类是形状特征，相机抖动会非对称的改变图像频带形状，提出了用椭圆来建模图像的DFT变换域频谱轮廓，有面积、离心率方差和长轴方向三个特征，考虑计算代价，本实施方式中，选取方向特征的均值和形状特征的离心率方差作为表征因子，简化计算过程，提升计算效率。

定义图像DFT变换系数φ_n方向能量和方向加权熵分别为DE(φ_n)、DV(φ_n)，那么沿φ_n方向的清晰度s(φ_n)就可表示为DE(φ_n)与DV(φ_n)的乘积：

s(φ_n)＝DE(φ_n)×DV(φ_n) (1)

那么方向特征的均值可以表述为：

进一步用N_el表示频谱轮廓数量，n表示频谱轮廓编号，形状特征的离心率方差表示为：

其中表示离心率均值，e_n表示椭圆n阶离心率；

选取方向特征的均值和形状特征的离心率方差作为表征因子分别记作f₁、f₂。

结构失真相关特征因子：

弹载图像经常呈现多失真混叠的现象，本发明着眼于多失真带来的图像结构变化特征提取，而不纠缠于某一失真类型的特征寻找，研究表明由于自然场景统计(Natural Scene Statistics，NSS)能够显著地揭示失真图像质量的衰退程度，本发明采用此方法来表征多失真带来的图像结构上的变化。

自然灰度图像的局部归一化亮度因子服从高斯分布，可将这个归一化过程可描述为：

式(4)中i、j为空间像素点，I_MSCN表示归一化预处理的系数，i∈1，2，...，M，j∈1，2，...，N；

式(5)、(6)分别为图像的局部的均值和方差，w＝{wk，l|k＝-K，...，K，l＝-L，...，L}定义为二维循环对称高斯权重函数，定义K＝L＝3；Igray为自然图像的灰度图；将归一化预处理后MSCN因子选取为第三个特征f₃；

此外由于图像中的MSCN因子高度相似，水平方向上相邻的两个因子间存在着规律性的结构。因此采用经验分布函数分别在MSCN因子两侧的水平方向上进行计算：

I_{Hpair_MSCN}(i，j)＝I_MSCN(i，j)·I_MSCN(i，j+1) (7)

经公式(7)可计算出两个特征f₄、f₅；

此外公式(6)的局部方差σ(i，j)是一个量化图像局部结构信息的重要参数，用来描述图像的锐度因此可将其作为另一个特征f₆。

其中，MSCN代表归一化预处理方法，

MVG代表多变量高斯模型。

颜色失真相关特征因子：

弹丸在下落过程中，由于弹体高过载、弹丸高速旋转、图像编解码不完全、信号干扰等因素会造成颜色漂移、颜色损失、颜色模糊等色彩失真，但是前两类特征因子无法有效表达，需对弹载图像颜色信息的失真专门提取相关因子；

研究表明对比度熵(CE)可预测自然图像的局部对比度，选用对比熵这个特征是因为它能很好地描述基于空中成像平台拍摄照片的特征。图像在空域中通过高斯二阶导数差分滤波器分解，分解后的滤波器响应被整合。选取在每个独立的颜色分量(灰度(gray)、黄蓝(yb)、和红绿(rg))上的对比度熵作为特征因子f₇、f₈、f₉：

式(8)、(9)中c∈{gray，yb，rg}代表颜色通道，计算公式为：gray＝0.299R+0.587G+0.114B，yb＝0.5(R+G)-B，rg＝R-G；

α表示Z(I_c)的最大值，κ表示对比度增益，τ_c为当前图像颜色通道的噪声阈值，符号表示卷积，h_h和h_v分别是高斯函数的水平和垂直二阶导数；我们定义gray、yb、rg三个通道的噪声阈值，分别设定为0.2353，0.2287和0.0528；

考虑到HSV色彩空间更适合于人眼视觉系统来感知彩色特性的处理，其H分量与人感知彩色的方式紧密相联。因此在图像的H通道中计算图像的色调I_hue，而色度(CF)可通过以下公式计算：

I_hue(i，j)＝I_HSV(i，j，1) (10)

式(11)中I_HSV表示为图像由RGB转换到HSV后的图像空间，rg＝R-G，yb＝0.5(R+G)-B，像素点的范围为x＝1...X；通过以上两个公式获得最后两个特征f₁₀、f₁₁。

以下对图像质量评价系统进行详细说明。

原始基准图像数据库1构建过程如下：不同于陆基平台采集的图像，在构建基准MVG模型时可以选择常见的清晰图像作为原始参考，弹载成像平台由空中抛撒，空对地成像，场景细节变化和图像中地貌特征也不相同，用常见的清晰图像进行处理难以得到满意结果，因此本发明选择了与弹载成像平台的拍摄高度相似的高分辨率测绘图像作为原始基准图像，从多幅清晰图像中选取800幅图像集，每一幅图像由多个子块构成，相邻子块之间，有一部分重叠，与IL-NIQE选取基准计算图像过程类似，分别挑选出包含：植被、土壤、人工目标、水体等四类各100副清晰图像共400幅基准图像；然后再从400幅图像中挑选出90幅图像最后的原始基准图像。通过对特定图像的选择，构建出基准图像库，使得质量评价分数更加准确。

原始图像特征因子提取单元2，针对原始基准图像，进行p×p分块，得到n个子块，分块时，使相邻子块之间有一部分重叠，以防止植被、土壤、人工目标、水体等被分割。不同于IL-NIQE，本发明中对每一子块不再进行筛选，全部参与计算。对每一子块进行上述敏感特征因子(f1...f11)提取，形成d维特征向量，为提升预测效率和降低计算成本，本实施方式中，采用PCA方法对d维特征向量进行降维处理。基准MVG模型构建单元3从n个子块选取的特征可用特征矩阵X＝[x₁，x₂，...，x_n]∈R^d×n表示，对X进行PCA降维处理得到映射矩阵Φ∈R^d×m，其中m个主成分向量对应X的协方差矩阵的m个特征值(m＜d)；

借助于映射矩阵Φ，每个特征向量可变换为：

x′_i＝Φ^Tx_i，x′_i∈R^m×1，i＝1，...，n (12)

假定x′_i，i＝1，...，n独立采样服从于一个m维MVG分布，即可利用标准的最大似然估计方法计算得到MVG分布的拟合特性，公式如下：

式(13)中x∈R^m×1，μ、∑分别为矩阵X均值向量和方差，这样构建的MVG模型即可用(μ，∑)表达；

通过采用PCA降维处理，可以提升预测效率，降低计算成本。

获取待评价图像数据单元4，可从图像数据库也可实时获得弹载图像作为待评价图像数据；

待评价图像特征因子提取单元5和待评价MVG模型构建单元6与原始图像特征因子提取单元2和基准MVG模型构建单元3同样，待评价图像特征因子提取单元5针对待评价图像，进行p×p分块，得到k个子块。对每一子块对每个子块i进行特征提取得到d维向量y_i，同样待评价MVG模型构建单元6利用映射矩阵Φ对y_i进行降维处理：

y′_i＝Φ^Ty_i，y′_i∈R^m×1，i＝1，...，k (14)

这样一幅待评价图像可用一个特征向量集合加以表征，对每一子块i进行MVG拟合得到(μ_i，∑_i)。

子块质量评价单元7计算待评价模型(μ_i，∑_i)与基准MVG模型(μ，∑)之间的马氏距离即可得到对应块得分：

整幅图像质量评价单元8，计算各个子块质量得分的平均值作为整幅图像的最终得分。

在进行质量得分计算时也可以考虑不同图像块赋予不同权重，由于弹载图像包含失真类型混合，难以有效区分显著性贡献，因此本发明采用均值方法得到最后整幅图像的质量等分。由于避免了加权步骤和显著性贡献区分，简化计算过程，提升计算效率。

马氏距离是由印度统计学家马哈拉诺比斯(P.C.Mahalanobis)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法，对于一个均值为μ，协方差矩阵为∑的多变量向量，其马氏距离为马氏距离具有如下优点：不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差)计算出的二点之间的马氏距离相同，马氏距离还可以排除变量之间的相关性的干扰。

图2是本发明实施方式的流程图

步骤S11：利用高分辨率的测绘图像建立原始基准图像数据库1

步骤S12(S12a、S12b)：以原始基准图像为原始训练参考图像，进行p×p分块，对每一子块提取与图像失真程度相关，与图像失真类型无关的图像质量敏感特征因子。

步骤S13(S13a、S13b)：对原始图像各子块的质量敏感特征因子进行MVG拟合，构建基准MVG模型，即，用PCA方法对图像质量敏感特征因子构成的多维向量进行降维得到映射矩阵，之后利用最大似然估计算法计算得到MVG分布的拟合特性。

步骤S21：获取待评价图像数据。

步骤S22(S22a、S22b)：对待评价图像进行p×p分块，与原始基准图像相同，对每一子块提取图像质量敏感特征因子。

步骤S23(S23a、S23b)：对待评价图像的质量敏感特征因子进行MVG拟合，构建待评价MVG模型，即，用PCA方法对图像质量敏感特征因子构成的多维向量进行降维得到映射矩阵，之后利用最大似然估计算法计算得到MVG分布的拟合特性。

步骤S31：比较基准MVG模型与待评价MVG模型的特性分布差异，得到各对应子块的质量得分，即，采用马氏距离计算方法比较基准MVG 模型的特性与待评价MVG模型的特性之间的距离，对基准MVG的特性与待评价MVG的特性的差异进行量化评分，得到各子块的得分。

步骤S32：计算各个子块质量得分的平均值作为整幅图像的最终得分。

本实施例图像质量评价方法，以实弹射击获取的弹载侦察图像为对象，紧密跟踪侦察弹装备技术和图像质量评价技术的发展，应用和改进相关图像质量评价方法，构建相关模型并进行算法实现，为高速飞行体，如弹载侦察图像质量评估提供理论基础和技术参考；不仅具有一定的军事应用价值，也将是图像质量评价理论在军事领域的一点拓展，具有较好的可行性和理论意义；同时可为类似的基于空基成像平台的图像质量评价研究提供借鉴和参考。

应该注意的是，上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。