专利名称：带有薄云的多光谱和全色图像融合方法
技术领域：
本发明属于智能图像处理领域，涉及去除薄云和图像融合方法，可用于到军事目标识别、气象监测、环境监测、土地利用、城市规划以及防灾减灾等多个领域的技术。
背景技术：
自1972年美国实施地球资源卫星计划以来，卫星技术在全球范围内迅猛发展，至今世界各主要发达国家和少数发展中国家，包括中国、印度等先后发射了数以百计的卫星，作业波段覆盖可见光至不可见的近红外、短波红外、中红外、远红外、微波等广阔频域。这些卫星每天向散布在世界各地的卫星地面站和移动接收站传送覆盖全球的海量卫星遥感数据。由于卫星遥感数据在空间上的连续性和时间上的序列性，因此到目前为止，是能够提供全球范围的动态观测数据的唯一手段。目前广泛应用的卫星遥感数据大部分是光学影像，尽管光学影像一般具有信息量大、分辨率高和图像稳定等特点。但同时，由于在成像过程中，常见大气中云雾的存在，遥感卫星在获取图像数据时往往连同云雾信息一起记录下来。由于云雾的遮挡使得传感器无法获得云雾覆盖区域的地物信息，从而严重影响了遥感光学图像的质量，当部分图像被较厚的云雾所覆盖时，地物的信息将无法被传感器接收，而对相对较薄的云雾，传感器仍能接收部分的地物信息，但这种不完全信息对图像中目标的识别、分类，以及地物信息提取的精度，都造成了严重的影响。为有效提高遥感光学图像的利用率，市场上有多种方法来减少或去除薄云薄雾对图像的影响。目前市场上主要用到的方法有多光谱图像法、多幅图像叠加运算法、基于图像增强的方法，和基于图像复原的方法等。多光谱法，是利用一种特殊的传感器，或者多光谱图像中某些波段对云雾具有较强的敏感性的特性，探测出云雾的信息。然后从原始图像中减去云雾的信息，得到去除云雾后的图像。该方法可以有效的去除图像中的云雾，但是需要增加对云雾敏感的传感器或者波段，成本较高，使得该种方法的应用受到限制。多幅图像叠加法，是通过对同一地区拍摄的不同季节、不同时间的图像进行叠加，得到信息图像。由于同一地区在不同时间的地物信息常常会发生改变，严重影响了叠加运算后的图像的判读。基于图像复原的去除云雾的方法，是通过分析薄云退化图像的机制和过程，寻找出相应的反过程，从而得到原图像的方法。但是从图像复原的角度处理图像，必须熟悉薄云退化图像的机制和过程，由于薄云退化图像的退化程度与目标物和相机的距离相关，处理时必须结合相关的辅助信息，如大气消光系数、目标物和相机距离等，而这些信息的获取成本较高，难以得到广泛的应用。基于图像增强的去除云雾的方法，通常有同态滤波法和低频滤波法两种，同态滤波法是一种通过压缩图像的动态范围，提升图像高频分量达到去除薄云的目的的方法。该方法对图像细节不加区分，采用单一滤波器进行增强，自适应性较差；低频滤波法通过对图像进行高斯低通滤波，得到图像的背景图像，通过原始图像与背景图像相减，来达到去除薄云的目的。该方法对薄云薄雾具有一定的去除效果，但是同时也削弱了图像的背景，虽然后来采用了补偿法进行改善，但是从结果来看，该方法对去除云雾后的图像仍然产生了信息的损失。由于单一的传感器获取的图像在光谱信息和分辨率等方面很难满足实际的需要，所以就需要利用传感器图像数据的冗余性，通过融合技术，将不同传感器的图像信息融合在一幅图像中，比如多光谱和全色图像，多光谱图像具有较好的光谱信息，但是其空间分辨率低；全色图像具有较高的空间分辨率，但是其光谱信息不够丰富，所以就需要通过融合技术，得到高分辨率多光谱图像，以获得对地物信息更加准确的描述。但是多光谱和全色图像存在云雾信息的时候，融合技术并不能去除图像中的云雾信息。对于带有薄云的多光谱和全色图像的融合，目前市场上是先对这两幅图像分别进行云雾去除后，再进行融合处理。对单一传感器获取的图像分别进行云雾去除的时候，从获取图像信息成本的角度考虑，应当选择图像增强的方法，但是图像增强引起图像信息损失却是不可避免的。所以，利用多光谱和全色图像之间的冗余性，寻找一种更加有效的针对薄云图像的融合方法，是目前市场上急需解决的问题。
发明内容
本发明目的在于针对上述已有技术对带有薄云图像融合的不足，提出一种带有薄云的多光谱和全色图像融合方法，以降低多光谱和全色图像融合后云层对薄云区域信息的干扰，减少融合后图像信息的损失，提高融合后图像的清晰度，更准确的描述地物信息。为实现上述目的，本发明的主要内容如下I)对带有薄云的多光谱图像进行上采样，采样后的多光谱图像的大小与带有薄云的全色图像的大小相同；2)对采样后的多光 谱和全色图像依次分别进行下采样、高斯低通滤波和上采样，得到多光谱图像的背景图像B1和全色图像的背景图像民，其中多光谱图像的背景图像的波段数和多光谱图像的波段数相同；3)对多光谱图像的每个波段和全色图像分别进行去除薄云操作，得到去除薄云的多光谱图像I1和去除薄云的全色图像I2 ;4)对去除薄云后的多光谱图像I1进行PCA变换，得到各个分量图像Ipi ，，其中4表示多光谱图像经过PCA变换后得到的第i主分量，i=l，2，...，n, n为分量的总数；5)对经过PCA变换后得到的第一主分量图像&和去除薄云的全色图像I2，分别进行Shearlet变换分解，将第一主分量图像&分解为一个低频系数X1和多个方向子带系数yi，y2，...，ym，将去除薄云的全色图像I2分解为一个低频系数&和多个方向子带系数zi，
Z2 Zm，6)对步骤2)得到的多光谱图像的每一个波段的背景图像，计算其灰度平均值，得到多光谱图像的合成背景图傷^7)根据多光谱图像的合成背景图像S建立权值矩阵W1，根据全色图像的背景图像B2，建立权值矩阵W2 ；8)对全色图像I2的每一个方向子带系数Z1, Z2, , zm,乘以权值矩阵W1和W2,得到融合的第一分量图像的方向子带系数12，I2,..., Im，将第一主分量图像的低频系数X1作为融合后第一主分量图像的低频系数k ；9)对融合后的第一主分量图像的低频系数k和多个方向子带系数I1, I2,..., Iffl,进行逆Shearlet变换，得到融合后的第一主分量图像厂.10)将融合后的第一主分量图像‘和步骤4)得到的除第一主分量外的其他分量
图像A2，…，&组成新的数据集，并对该新的数据集进行逆PCA变换，得到融合后的图像I。本发明与现有技术相比，具有如下优点(a)本发明由于使用上采样后图像获取背景图像，通过对上采样后图像进行采样的方法得到原始图像的近似背景图像，利用了上采样后图像的信息十分平滑，通过采样得至IJ的近似背景图像能够较好的逼近真实的背景图像特点，克服了传统的算法在滤波过程中计算时间复杂度高的问题，从而提 高了图像去除薄云的速度。(b)本发明由于使用背景图像建立权值矩阵来增强融合图像薄云区域的细节信息，利用薄云区域在图像中具有较高灰度值的特点，克服了传统的融合图像中薄云区域信息丢失，导致融合后的图像模糊的问题，从而提高了融合图像的清晰度。
图1是本发明带有薄云的多光谱和全色图像融合方法流程图；图2是本发明的带有薄云的QuickBird卫星图像；图3是用本发明方法得到的融合图像。
具体实施例方式参照图1，本发明的带有薄云的多光谱和全色图像融合方法步骤如下步骤1，对带有薄云的多光谱图像进行上采样，上采样后的多光谱图像的大小与带有薄云的全色图像的大小相同，其中原始的多光谱图像如图2 (a)所示，记为Y1，原始的全色图像如图2 (b)所示,记为Y2。步骤2，对上采样后的多光谱图像和原始全色图像分别进行采样和高斯低通滤波处理，得到带有薄云的多光谱图像的背景图像B1和全色图像的背景图像B2。2.1)对上采样后的多光谱图像和原始全色图像，分别进行下采样，下采样后的多光谱和全色图像的大小均为原始的全色图像大小的1/3 ；2. 2)对下采样后的多光谱图像和全色图像分别采用高斯滤波器进行高斯低通滤波，得到下采样的多光谱图像和全色图像的背景图像，下采样的多光谱图像的背景图像的波段数和多光谱图像的波段数相同；2. 3)对下采样的背景图像，进行上采样，得到多光谱图像的背景图像B1和全色图像的背景图像B2，所得图像大小与原始的全色图像大小相同。步骤3，对原始多光谱图像Y1的每个波段和原始全色图像分别进行去除薄云操作。3.1)计算原始多光谱图像Y1每个波段图像的灰度均值和原始全色图像Y2的灰度均值，即对图像中所有的像素的灰度值求和，再除以图像的像素总数；3. 2)对原始多光谱图像Y1的每个波段，减去背景图像B1的相应波段，再加上相应波段的灰度均值，得到去除薄云的多光谱图像I1 ;3. 3)对原始全色图像Y2，减去其背景图像B2，再加上其灰度的均值，得到去除薄云的全色图像I2。步骤4，对去除薄云后的多光谱图像I1进行PCA变换，得到各个分量图像
1人…1一人*其中4表示多光谱图像经过PCA变换后得到的第i主分量，i=l，2，.，n，n为分量的总数。步骤5，对经过PCA变换后得到的第一主分量图像^和去除薄云的全色图像I2，分别进行Shearlet变换分解，将第一主分量图像&分解为一个低频系数X1和m个方向子带系数yi，y2， ，ym，将去除薄云的全色图像I2分解为一个低频系数X2和m个方向子带系数
ZI，乙2 ZmoShearlet变换是新一代的多尺度几何分析工具中的一种，具体分解方式为5.1)通过非下采样拉普拉斯金字塔变换对图像进行尺度分解，分别将第一主分量
图像&和全色图像I2分解为一个低频系数和多个高频系数，高频系数的个数和分解层数相同，其中尺度分解的层数不受限制，为了使分解后的低频系数与全色图像具有更高的相关性，本实例确定分解层数为4层；5. 2)通过Shear滤波器将每一个高频系数分解为多个方向，其中方向数的选择不受到限制，综合考虑计算的时间复杂度和算法的需要，本实例确定分别从粗尺度到细尺度，将4个高频系数分别分解为6个、6个、10个和10个方向，得到共22个方向子带系数。步骤6，根据步骤2中多光谱图像的背景图像B1，计算所有波段的灰度均值，得到多光谱图像的合成背景图像戽合成背景图像通过如下公式获得
权利要求
1.一种带有薄云的多光谱和全色图像融合方法，包括如下步骤1)对带有薄云的多光谱图像进行上采样，采样后的多光谱图像的大小与带有薄云的全色图像的大小相同；2)对采样后的多光谱和全色图像依次分别进行下采样、高斯低通滤波和上采样，得到多光谱图像的背景图像B1和全色图像的背景图像B2，其中多光谱图像的背景图像的波段数和多光谱图像的波段数相同；3)对多光谱图像的每个波段和全色图像分别进行去除薄云操作，得到去除薄云的多光谱图像I1和去除薄云的全色图像I2 ；4)对去除薄云后的多光谱图像I1进行PCA变换，得到各个分量图像‘々，…■^，…■^，，其中匕,表示多光谱图像经过PCA变换后得到的第i主分量，i = l, 2，...，η，η为分量的总数；5)对经过PCA变换后得到的第一主分量图像i和去除薄云的全色图像I2，分别进行Shearlet变换分解，将第一主分量图像&分解为一个低频系数X1和多个方向子带系数y” y2，. . .，ym，将去除薄云的全色图像I2分解为一个低频系数X2和多个方向子带系数ZiZgj · · · J Zm ,6)对步骤2)得到的多光谱图像的每一个波段的背景图像，计算其灰度平均值，得到多光谱图像的合成背景图像茗;7)根据多光谱图像的合成背景图.^建立权值矩阵W1，根据全色图像的背景图像B2, 建立权值矩阵W2 ；8)对全色图像I2的每一个方向子带系数Z1,Z2, , zm,乘以权值矩阵W1和W2,得到融合的第一分量图像的方向子带系数I1, I2,, Iffl,将第一主分量图像的低频系数X1作为融合后第一主分量图像的低频系数k ；9)对融合后的第一主分量图像的低频系数k和多个方向子带系数I1,I2,, Iffl,进行逆Shearlet变换，得到融合后的第一主分量图像《；10)将融合后的第一主分量图像/和步骤4)得到的除第一主分量外的其他分量图像&，·.·，及组成新的数据集，并对该新的数据集进行逆PCA变换，得到融合后的图像I。
2.根据权利要求1所述的一种带有薄云的多光谱和全色图像融合方法，其中步骤3)所述的对多光谱图像的每个波段和全色图像分别进行去除薄云操作，按如下步骤进行2.1)计算多光谱图像每个波段图像的灰度均值和全色图像的灰度均值，即对图像中所有的像素的灰度值求和，再除以图像的像素总数；2.2)对多光谱图像的每个波段，减去背景图像B1的相应波段，再加上相应波段的灰度均值，得到去除薄云的多光谱图像I1 ;2.3)对全色图像，减去其背景图像B2，再加上其灰度的均值，得到去除薄云的全色图像
3.根据权利要求1所述的带有薄云的多光谱和全色图像融合方法，其中步骤5)所述的对第一主分量图像4和全色图像分别进行Shearlet分解，按如下步骤进行.3.1)通过非下采样拉普拉斯金字塔变换对图像进行尺度分解，将图像分解为一个低频系数和多个高频系数，高频系数的个数和分解层数相同，本发明确定分解层数为4层；.3.2)通过Shear滤波器将每一个高频系数分解为多个方向，本发明确定分别从粗尺度到细尺度，将每一个高频系数分解为6个、6个、10个和10个方向，得到多个方向子带系数。
4.根据权利要求1所述的带有薄云的多光谱和全色图像融合方法，其中步骤6)所述的根据多光谱图像的每一个波段的背景图像获得多光谱图像的合成背景图像B通过如下公式获得
5.根据权利要求1所述的带有薄云的多光谱和全色图像融合方法，其中步骤7)所述的根据多光谱图像的合成背景图像贫，建立合成背景图像5的权值矩阵W1，按如下步骤进行5.1)建立合成背景图像茗的缓存矩阵M1，初值为零，其大小和多光谱图像的背景图像相同，将多光谱图像的合成背景图像蚵的每一个位置的灰度值，直接赋值给其缓存矩阵M1 的相应位置；5.2)统计合成背景图像5丨的缓存矩阵M1中所有值的最大值和最小值，分别记作Af1M1 和 Afmni;5.3)根据最大值风和最小值汁算合成背景图像埤的阈值T1
6.根据权利要求1所述的带有薄云的多光谱和全色图像融合方法，其中步骤7)所述的根据全色图像的背景图像B2，建立全色图像的背景图像B2的权值矩阵W2，按如下步骤进行.6.1)建立全色图像的背景图像B2的缓存矩阵M2，初值为零，其大小和全色图像的背景图像相同，将背景图像B2的每一个位置的灰度值，直接赋值给其缓存矩阵M2的相应位置；.6.2)统计全色图像的背景图像B2的缓存矩阵M2中所有值的最大值和最小值，分别记作U口 ;.6.3)根据最大值Mmx2和最小值#_2计算全色图像的背景图像B2的阈值τ2，
全文摘要
本发明提供了一种带有薄云的多光谱和全色图像融合方法，主要解决带有薄云的多光谱和全色图像融合后云雾区域受到云层干扰的问题。其实现步骤是对带有薄云的多光谱图像进行采样和滤波，得到多光谱和全色图像的背景图像；分别对带有薄云的多光谱和全色图像去除薄云；对去云的多光谱图像进行PCA变换，并对变换后的第一主分量图像和全色图像进行Shearlet分解；将第一主分量的低频系数作为融合分量的低频系数，将全色图像的高频系数加权作为融合分量的高频系数；对融合分量和PCA变换的其余分量进行逆PCA变换，得到融合图像。本发明具有融合图像薄云区域清晰度高，光谱保持性好的优点，可用于军事目标识别、气象及环境监测、土地利用、城市规划以及防灾减灾。
文档编号G06T5/50GK103049898SQ201310030819
公开日2013年4月17日 申请日期2013年1月27日 优先权日2013年1月27日
发明者刘芳, 石程, 李玲玲, 郝红侠, 戚玉涛, 焦李成, 郑莹, 尚荣华, 马文萍, 马晶晶 申请人:西安电子科技大学