一种遥感图像融合质量评价方法与流程

本发明涉及一种图像质量评价方法，尤其是涉及一种遥感图像融合质量评价方法。
背景技术：
：全色多光谱融合是目前遥感图像融合领域的一个研究热点。多光谱图像通常空间分辨率较低，而全色图像通常具有较高的空间分辨率，但缺乏光谱信息。全色多光谱融合的目的就是将全色图像的空间信息融合到多光谱图像中，得到具有高空间分辨率的多光谱图像。但是，不同融合方法对不同的全色图像和多光谱图像有着不同的融合效果，如何评价融合后图像质量问题是目前需要解决的一个问题。目前遥感全色多光谱融合图像质量评价领域中，主要存在两方面问题：(1)缺少全色多光谱融合图像的主观评价库，现有的客观质量评价方法无法通过人类主观评价的对比来衡量效果。(2)光谱域失真问题难以用无参考评价方法来衡量，而光谱域失真过于严重可能导致地物识别困难，因此度量光谱域失真是评价融合图像质量必须要解决的问题。技术实现要素：本发明所要解决的技术问题是提供一种遥感图像融合质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本发明解决上述技术问题所采用的技术方案为：一种遥感图像融合质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤如下：①_1、选取n幅宽度为w且高度为h的原始的无失真多光谱影像，每幅原始的无失真多光谱影像包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像，将第u幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像对应记为ru、gu、bu、niru；其中，n＞1，u为正整数，1≤u≤n；①_2、计算每幅原始的无失真多光谱影像的归一化植被指数图像，将第u幅原始的无失真多光谱影像的归一化植被指数图像记为ndviu，将ndviu中坐标位置为(x,y)的像素点的像素值记为ndviu(x,y)，其中，1≤x≤w,1≤y≤h，niru(x,y)表示niru中坐标位置为(x,y)的像素点的像素值，ru(x,y)表示ru中坐标位置为(x,y)的像素点的像素值；计算每幅原始的无失真多光谱影像的归一化差分水体指数图像，将第u幅原始的无失真多光谱影像的归一化差分水体指数图像记为ndwiu，将ndwiu中坐标位置为(x,y)的像素点的像素值记为ndwiu(x,y)，其中，gu(x,y)表示gu中坐标位置为(x,y)的像素点的像素值；计算每幅原始的无失真多光谱影像的道路和建筑物指数图像，将第u幅原始的无失真多光谱影像的道路和建筑物指数图像记为ratiogu，将ratiogu中坐标位置为(x,y)的像素点的像素值记为ratiogu(x,y)，其中，bu(x,y)表示bu中坐标位置为(x,y)的像素点的像素值；①_3、从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中同坐标位置截取一个尺寸大小为96×96的子块，并对截取的每个子块进行标记以指示其来源，以随机截取方式，重复截取的过程，共截取m次后从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中截取了m个子块；然后将截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量；再将每种标记的m'个子块对应的列向量构成一个训练样本集合，将标记为γ的m'个子块对应的列向量构成的训练样本集合记为其中，m≥7，m'表示标记相同的子块的总个数，m'＝n×m，γ∈{r,g,b,nir,ndvi,ndwi,ratiog}，γ＝r表示该子块截取自红波段图像，γ＝g表示该子块截取自绿波段图像，γ＝b表示该子块截取自蓝波段图像，γ＝nir表示该子块截取自近红外波段图像，γ＝ndvi表示该子块截取自归一化植被指数图像，γ＝ndwi表示该子块截取自归一化差分水体指数图像，γ＝ratiog表示该子块截取自道路和建筑物指数图像，m为正整数，1≤m≤m'，表示标记为γ的第m个子块对应的列向量，的维数为(96×96)×1；①_4、计算7个训练样本集合中同索引号的列向量对应的子块的统计特征矢量，共有m'个统计特征矢量，将7个训练样本集合中索引号同为m的列向量对应的子块的统计特征矢量记为fm；其中，fm的维数为42×1；①_5、根据7个训练样本集合对应的m'个统计特征矢量，提取出7个训练样本集合的原始多元高斯模型，记为(μ,c)；其中，μ表示(μ,c)的均值向量，c表示(μ,c)的协方差矩阵；所述的测试阶段过程的具体步骤如下：②_1、对于任意一幅宽度为w'且高度为h'的测试遥感融合影像，其包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像，对应记为rtest,gtest,btest,nirtest；②_2、按照步骤①_2的过程，以相同的操作方式，得到测试遥感融合影像的归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像，对应记为ndvitest,ndwitest,ratiogtest；②_3、采用窗口尺寸大小为96×96且窗口移动步长为1像素的移动窗口，在rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest各自中移动以截取同坐标位置的尺寸大小为96×96的子块，并对从rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest中截取的每个子块进行标记以指示其来源，共移动m”次后从rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest各自中截取了m”个子块；然后将从rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest中截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量；再将每种标记的m”个子块对应的列向量构成一个测试样本集合，将标记为γ的m”个子块对应的列向量构成的测试样本集合记为其中，m”表示rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest中标记相同的子块的总个数，1＜m”≤(w'-96)×(h'-96)，m”为正整数，1≤m”≤m”，表示标记为γ的第m”个子块对应的列向量，的维数为(96×96)×1；②_4、按照步骤①_4的过程，以相同的方式计算7个测试样本集合中同索引号的列向量对应的子块的统计特征矢量，共有m”个统计特征矢量，将7个测试样本集合中索引号同为m”的列向量对应的子块的统计特征矢量记为ftest,m”；其中，ftest,m”的维数为42×1；②_5、根据7个测试样本集合对应的m”个统计特征矢量，按照步骤①_5的过程，以相同的方式提取出7个测试样本集合的原始多元高斯模型，记为(μtest,ctest)；其中，μtest表示(μtest,ctest)的均值向量，ctest表示(μtest,ctest)的协方差矩阵；②_6、根据(μ,c)和(μtest,ctest)，计算测试遥感融合影像的客观质量评价预测值，记为qtest，其中，(μ-μtest)t为(μ-μtest)的转置，为的逆。所述的步骤①_4中的fm的获取过程为：①_4a、对于γ＝r的子块，对中的所有元素的值进行高斯和分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示输入变量，表示通过拟合得到的中的6个高斯和分布参数，exp()表示以自然基数e为底的指数函数；对于γ＝g的子块，对中的所有元素的值进行高斯和分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数；对于γ＝b的子块，对中的所有元素的值进行高斯和分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数；对于γ＝nir的子块，对中的所有元素的值进行高斯和分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数；对于γ＝ndvi的子块，对中的所有元素的值进行高斯和分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数；对于γ＝ndwi的子块，对中的所有元素的值进行高斯和分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数；对于γ＝ratiog的子块，对中的所有元素的值进行高斯和分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数；①_4b、将和按序排列构成fm。所述的步骤①_5中的(μ,c)的获取过程为：①_5a、根据7个训练样本集合对应的m'个统计特征矢量，获取截取的7m'个子块的特征矩阵，记为x，其中，x的维数为m'×42，(f1)t为f1的转置，f1表示7个训练样本集合中索引号同为1的列向量对应的子块的统计特征矢量，(f2)t为f2的转置，f2表示7个训练样本集合中索引号同为2的列向量对应的子块的统计特征矢量，(fm)t为fm的转置，(fm')t为fm'的转置，fm'表示7个训练样本集合中索引号同为m'的列向量对应的子块的统计特征矢量；①_5b、计算x中的列向量的均值向量，记为μ，μ＝[μ1μ2…μ42]，其中，μ的维数为1×42，x(m,1)表示x中第m行第1列的元素的值，x(m,2)表示x中第m行第2列的元素的值，x(m,42)表示x中第m行第42列的元素的值；计算x中的列向量的协方差矩阵，记为c，σ1,1＝cov(x(m,1),x(m,1))，σ1,2＝cov(x(m,1),x(m,2))，σ1,42＝cov(x(m,1),x(m,42))，σ2,1＝cov(x(m,2),x(m,1))，σ2,2＝cov(x(m,2),x(m,2))，σ2,42＝cov(x(m,2),x(m,42))，σ42,1＝cov(x(m,42),x(m,1))，σ42,2＝cov(x(m,42),x(m,2))，σ42,42＝cov(x(m,42),x(m,42))；其中，c的维数为42×42，cov(a,b)表示计算向量a和b的协方差操作；①_5c、根据μ和c，构造得到(μ,c)。与现有技术相比，本发明的优点在于：本发明方法考虑到光谱域失真和空间域失真对遥感融合影像质量的影响，提取了红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像，并通过提取所有子块的统计特征矢量，构造出训练样本集合的原始多元高斯模型；在测试阶段，通过获取测试遥感融合影像构成的测试样本集合的原始多元高斯模型，并根据训练阶段构造的原始多元高斯模型，预测得到测试遥感融合影像的客观质量评价预测值，由于获得的统计特征矢量信息能够较好地反映遥感融合影像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种遥感图像融合质量评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤如下：①_1、选取n幅宽度为w且高度为h的原始的无失真多光谱影像，每幅原始的无失真多光谱影像包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像，将第u幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像对应记为ru、gu、bu、niru；其中，n＞1，在本实施里中取n＝100，u为正整数，1≤u≤n。①_2、计算每幅原始的无失真多光谱影像的归一化植被指数图像，将第u幅原始的无失真多光谱影像的归一化植被指数图像记为ndviu，将ndviu中坐标位置为(x,y)的像素点的像素值记为ndviu(x,y)，其中，1≤x≤w,1≤y≤h，niru(x,y)表示niru中坐标位置为(x,y)的像素点的像素值，ru(x,y)表示ru中坐标位置为(x,y)的像素点的像素值。计算每幅原始的无失真多光谱影像的归一化差分水体指数图像，将第u幅原始的无失真多光谱影像的归一化差分水体指数图像记为ndwiu，将ndwiu中坐标位置为(x,y)的像素点的像素值记为ndwiu(x,y)，其中，gu(x,y)表示gu中坐标位置为(x,y)的像素点的像素值。计算每幅原始的无失真多光谱影像的道路和建筑物指数图像，将第u幅原始的无失真多光谱影像的道路和建筑物指数图像记为ratiogu，将ratiogu中坐标位置为(x,y)的像素点的像素值记为ratiogu(x,y)，其中，bu(x,y)表示bu中坐标位置为(x,y)的像素点的像素值。①_3、从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中同坐标位置截取一个尺寸大小为96×96的子块，并对截取的每个子块进行标记以指示其来源，以随机截取方式，重复截取的过程，共截取m次后从每幅原始的无失真多光谱影像的红波段图像、绿波段图像、蓝波段图像、近红外波段图像、归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像各自中截取了m个子块，即针对n幅红波段图像共有n×m个子块、针对n幅绿波段图像共有n×m个子块、针对n幅蓝波段图像共有n×m个子块、针对n幅近红外波段图像共有n×m个子块、针对n幅归一化植被指数图像共有n×m个子块、针对n幅归一化差分水体指数图像共有n×m个子块、针对n幅道路和建筑物指数图像共有n×m个子块；然后将截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量；再将每种标记的m'个子块对应的列向量构成一个训练样本集合，将标记为γ的m'个子块对应的列向量构成的训练样本集合记为其中，m≥7，在本实施例中取m＝100，m'表示标记相同的子块的总个数，m'＝n×m，γ∈{r,g,b,nir,ndvi,ndwi,ratiog}，γ＝r表示该子块截取自红波段图像，γ＝g表示该子块截取自绿波段图像，γ＝b表示该子块截取自蓝波段图像，γ＝nir表示该子块截取自近红外波段图像，γ＝ndvi表示该子块截取自归一化植被指数图像，γ＝ndwi表示该子块截取自归一化差分水体指数图像，γ＝ratiog表示该子块截取自道路和建筑物指数图像，m为正整数，1≤m≤m'，表示标记为γ的第m个子块对应的列向量，的维数为(96×96)×1。①_4、计算7个训练样本集合中同索引号的列向量对应的子块的统计特征矢量，共有m'个统计特征矢量，将7个训练样本集合中索引号同为m的列向量对应的子块的统计特征矢量记为fm，将fm作为原始的无失真多光谱影像中与7个训练样本集合中索引号同为m的列向量对应的子块同坐标位置的尺寸大小为96×96的区域的统计特征矢量；其中，fm的维数为42×1。在本实施例中，步骤①_4中的fm的获取过程为：①_4a、对于γ＝r的子块，对中的所有元素的值进行高斯和(sum-of-gaussians)分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示输入变量，表示通过拟合得到的中的6个高斯和分布参数，exp()表示以自然基数e为底的指数函数。对于γ＝g的子块，对中的所有元素的值进行高斯和(sum-of-gaussians)分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数。对于γ＝b的子块，对中的所有元素的值进行高斯和(sum-of-gaussians)分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数。对于γ＝nir的子块，对中的所有元素的值进行高斯和(sum-of-gaussians)分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数。对于γ＝ndvi的子块，对中的所有元素的值进行高斯和(sum-of-gaussians)分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数。对于γ＝ndwi的子块，对中的所有元素的值进行高斯和(sum-of-gaussians)分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数。对于γ＝ratiog的子块，对中的所有元素的值进行高斯和(sum-of-gaussians)分布拟合，拟合得到中的所有元素的值的高斯和分布拟合曲线，记为其中，表示通过拟合得到的中的6个高斯和分布参数。①_4b、将和按序排列构成fm。①_5、根据7个训练样本集合对应的m'个统计特征矢量，提取出7个训练样本集合的原始多元高斯(pristinemultivariategaussian，mvg)模型，记为(μ,c)；其中，μ表示(μ,c)的均值向量，c表示(μ,c)的协方差矩阵。在本实施例中，步骤①_5中的(μ,c)的获取过程为：①_5a、根据7个训练样本集合对应的m'个统计特征矢量，获取截取的7m'个子块的特征矩阵，记为x，其中，x的维数为m'×42，(f1)t为f1的转置，f1表示7个训练样本集合中索引号同为1的列向量对应的子块的统计特征矢量，(f2)t为f2的转置，f2表示7个训练样本集合中索引号同为2的列向量对应的子块的统计特征矢量，(fm)t为fm的转置，(fm')t为fm'的转置，fm'表示7个训练样本集合中索引号同为m'的列向量对应的子块的统计特征矢量。①_5b、计算x中的列向量的均值向量，记为μ，μ＝[μ1μ2…μ42]，其中，μ的维数为1×42，x(m,1)表示x中第m行第1列的元素的值，x(m,2)表示x中第m行第2列的元素的值，x(m,42)表示x中第m行第42列的元素的值。计算x中的列向量的协方差矩阵，记为c，σ1,1＝cov(x(m,1),x(m,1))，σ1,2＝cov(x(m,1),x(m,2))，σ1,42＝cov(x(m,1),x(m,42))，σ2,1＝cov(x(m,2),x(m,1))，σ2,2＝cov(x(m,2),x(m,2))，σ2,42＝cov(x(m,2),x(m,42))，σ42,1＝cov(x(m,42),x(m,1))，σ42,2＝cov(x(m,42),x(m,2))，σ42,42＝cov(x(m,42),x(m,42))；其中，c的维数为42×42，cov(a,b)表示计算向量a和b的协方差操作。①_5c、根据μ和c，构造得到(μ,c)。所述的测试阶段过程的具体步骤如下：②_1、对于任意一幅宽度为w'且高度为h'的测试遥感融合影像，其包括红波段图像、绿波段图像、蓝波段图像、近红外波段图像，对应记为rtest,gtest,btest,nirtest。②_2、按照步骤①_2的过程，以相同的操作方式，得到测试遥感融合影像的归一化植被指数图像、归一化差分水体指数图像、道路和建筑物指数图像，对应记为ndvitest,ndwitest,ratiogtest。②_3、采用窗口尺寸大小为96×96且窗口移动步长为1像素的移动窗口，在rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest各自中移动以截取同坐标位置的尺寸大小为96×96的子块，并对从rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest中截取的每个子块进行标记以指示其来源，共移动m”次后从rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest各自中截取了m”个子块；然后将从rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest中截取的每个子块中的所有像素点的像素值按序排列构成该子块对应的列向量；再将每种标记的m”个子块对应的列向量构成一个测试样本集合，将标记为γ的m”个子块对应的列向量构成的测试样本集合记为其中，m”表示rtest,gtest,btest,nirtest和ndvitest,ndwitest,ratiogtest中标记相同的子块的总个数，1＜m”≤(w'-96)×(h'-96)，m”为正整数，1≤m”≤m”，表示标记为γ的第m”个子块对应的列向量，的维数为(96×96)×1。②_4、按照步骤①_4的过程，以相同的方式计算7个测试样本集合中同索引号的列向量对应的子块的统计特征矢量，共有m”个统计特征矢量，将7个测试样本集合中索引号同为m”的列向量对应的子块的统计特征矢量记为ftest,m”，再将ftest,m”作为测试遥感融合影像中与7个测试样本集合中索引号同为m”的列向量对应的子块同坐标位置的尺寸大小为96×96的区域的统计特征矢量；其中，ftest,m”的维数为42×1。②_5、根据7个测试样本集合对应的m”个统计特征矢量，按照步骤①_5的过程，以相同的方式提取出7个测试样本集合的原始多元高斯(pristinemultivariategaussian，mvg)模型，记为(μtest,ctest)；其中，μtest表示(μtest,ctest)的均值向量，ctest表示(μtest,ctest)的协方差矩阵。②_6、根据(μ,c)和(μtest,ctest)，计算测试遥感融合影像的客观质量评价预测值，记为qtest，其中，(μ-μtest)t为(μ-μtest)的转置，为的逆。为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。在本实施例中，采用本发明方法对宁波大学建立的遥感融合影像数据库中的遥感融合影像进行测试。该遥感融合影像数据库收集了20个由quickbird卫星拍摄的全色空间分辨率为0.6米的quickbird影像，然后对多光谱影像和全色影像采用18种融合方法进行融合，得到对应的遥感融合影像，这样该遥感融合影像数据库共有360幅遥感融合影像，并给出了每幅遥感融合影像的平均主观评分均值。在本实施例中，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的pearson相关系数(pearsonlinearcorrelationcoefficient，plcc)、spearman相关系数(spearmanrankordercorrelationcoefficient，srocc)、均方误差(rootmeansquarederror，rmse)，plcc和rmse反映客观质量评价预测值的准确性，srocc反映其单调性。表1给出了采用本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性，从表1中可以看出，采用本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。表1采用本发明方法得到的客观质量评价预测值与平均主观评分均值之间的相关性方法plccsroccrmse本发明方法0.74100.69138.8399当前第1页12