专利名称：：残差超复数对偶分解的多光谱和全色图像融合方法
技术领域：
：本发明属于图像融合
技术领域：
，具体涉及一种残差超复数Symplectic(对偶)分解的多光谱和全色图像融合方法。技术背景目前，对地观测卫星提供了越来越多的覆盖同一区域多空间、多分辨率、多时相和多光谱的图像，为进行地形测绘与地图更新、土地利用分类、农作物与森林分类、冰雪/洪涝灾害监测等提供了丰富的数据。为了利用这些数据，人们需要将多光谱和全色图像进行融合。基于强度-色度-饱和度(Intensity-Hue-Saturate,IHS)变换的多光谱和全色图像融合方法[11已经成为对地观测图像分析的一个标准过程，它可用于高度相关的图像数据的色彩增强以及改善空间分辨率等融合处理。标准的IHS变换方法适用的情况是，全色图像和从多光谱上获得的亮度分量是高度相关的。可是，当全色图像的频谱范围没有覆盖多光谱图像的所有波段和/或全色图像和多谱图像不是同时获取的时候，通过IHS变换得到多谱图像的亮度分量和全色图像之间的差异很大，此时如果用IHS变换方法进行全色图像和多谱图像融合，将会出现严重的光谱失真[1]。同样，主元分析(PrincipleComponentAnalysis,PCA)的融合方法，简单地利用高分辨率全色图像来替换低分辨率多光谱图像的第一主成分，会造成低分辨率多光谱图像中的一些光谱特性的损失，因此使得融合的结果图像发生严重的光谱畸变[2]。高通滤波融合方法虽然保留了多光谱图像的信息，但却在对高分辨率图像滤波时，滤掉了许多的纹理信息[3]。小波变换融合法可以较好地保留多光谱图像中的光谱信息，但其融合效果受到小波分解级数的影响。此外，小波系数的融合会破坏其正反变换的正交性而导致频谱泄漏，从而使其融合的结果图像产生方块效应[4]。可以发现上述方法都只是通过某种变换来替换某个成分，没有充分的考虑全色图像的完整的光谱信息。文献[5]中提到真实的矢量信号是由各个分量的同时存在而决定的，忽略和改变任一分量，都不能重构原来的矢量信号。多光谱图像就是一种矢量信号，它的每一个像素都是用红(R)、绿(G)和蓝(B)三原色矢量信号来表示的。如果通过某种变换，如前所述的IHS和PCA等变换方法等，它们是将每一个矢量像素的R、G和B分量分别作为一个元素放入其所表示的矩阵中，那么在将该矩阵进行IHS和PCA等融合方法所需要的矩阵变换，分解、替换和反变换(例如主元分解和替换)时，RGB三原色特定的位置关系，例如，如果设n、g,和^以及&和62分别是初始多光谱彩色图像用RGB三原色表示的两个矢量像素，那么矩阵的变换，分解、替换和反变换，可能会使某一矢量像素的分量与其它矢量像素的分量混合，从而产生不同于初始多光谱彩色图像RGB三原色位置关系的各种各样可能不同的组合(如使得n，gi和Z^变成n，g2和^以及^，&和62变成^2，^和62)。这意味着这样的变换破坏了原始图像在RGB三原色矢量空间位置上的特定关系，那么其融合结果图像将会导致失真。这就是至今未知及不能解释的IHS和PCA融合方法为什么会产生色彩失真的原因^。
发明内容为了克服现有多光谱图像融合方法存在的这一缺点，本发明将表示多光谱图像的矢量像素用超复数矢量进行整体描述和处理，目的是使其在RGB三原色矢量空间位置上的特定关系在后续的变换和处理中得到保持，以避免处理后图像的失真。本发明首先通过分别获取多光谱图像和全色图像的残差图像，对用RGB表示的多光谱图像的残差图像采用超复数矢量像素直接进行整体描述，以保持RGB三原色矢量像素在矢量空间位置上的特定关系。而对于全色图像的残差图像，由于它的像素是标量的，为了使其的表示与彩色残差图像一致以便于后续处理和融合，我们将其每一个标量像素扩展为三维的矢量像素[7]。同时，为了保证了矢量像素的能量与用标量像素表示时的一致性，我们将每个标量像素值乘以1/V^。这样矢量化后全色图像的残差图像，就也可以用超复数矢量进行整体描述和处理了。其次，对用超复数表示的多光谱图像的残差图像沿着灰度轴的方向进行超复数symplectic分解，得到包含亮度信息的simplex(单)部分和包含色度信息的perplex(复)部分。我们知道由于全色图像包含了比其对应多光谱图像更丰富的亮度细节信息，这意味着如果将全色图像其残差图像亮度信息来替换多光谱图像残差图像的simplex部分，那么就可恢复出高分辨率的多光谱图像没有而存在于全色图像的亮度细节信息。分析和仿真结果表明通过这种残差超复数分解的多光谱与全色图像的融合方法而可以得到的高分辨率多光谱融合图像，由于采用超复数对矢量像素进行描述和处理，能在保持了全色图像的细节光谱信息的同时，不会产生色彩失真。本发明方法的具体步骤如下-(1)对于多光谱图像il必，通过插值算法Z，将低分辨率的多光谱图像放大到和全色图像同样的尺寸，得到插值图像/;(2)对插值图像/进行低通滤波和降采样，得到原多光谱图像的低分辨率图像估计M&;然后用多光谱图像MS与图像估计MSL相减得到多光谱图像的残差图像eg。对全色图像MP经过同样的低通滤波，得到原全色图像的估计M户L,再用原全色图像与之相减，即可得到全色图像的残差图像^;(3)将残差图像eg放大到与全色图像的残差图像^同样的大小，得到(4)对e/和矢量化后^分别用进行超复数建模，得到。e/(:c,力和力；(5)对Ge/(;c，力沿着灰度轴的方向其进行超复数symplectic分解，得到包含量亮度信息的simplex部分力(x，力和包含色度信息的perplex部分/2&，力；(6)用2&(x，力代替/i(x,力，得到恢复后的残差6/&,力=2^(;^)+/办,>^2;(7)最后得到融合结果7WS'=I+e/。一般而言，多光谱图像和全色图像是具有不同分辨率的。为了能融合它们的信息，首先需要将低分辨率多光谱图像变换成与全色图像分辨率同样分辨率的图像。这种变换通常是用插值来完成。对于多光谱图像MS，如果用Z表示某一种图像的插值算法，将低分辨率的多光谱图像放大到和全色图像同样的尺寸，即通过插值算法Z得到其插值的高分辨率图像/的估计表示为/=Z(MS)(1)那么/就表示用插值算法Z得到的对高分辨率多光谱图像iWS怖估计。/与真实高分辨率图像MS1^残差为e/=MS'-/=MS'-Z(M5)(2)上式中^称为高分辨率的残差图像指多光谱图像中的高频细节信息[1()]。文献[8]的分析表明如果将低通滤波和降采样Z/作用于印就相当于将/进行低通滤波和降采样，得到比原多光谱图像的分辨率更低图像的估计M&，用MS与M&的差可以得到多光谱图像的残差图像eg:eg=报,=/f[U(MS)〗=層S'-7//MS-MSt(3)eg和e/之间存在一定的线性映射关系，所以可以用eg估计^。文献[8]的这个结论意味着，对于全色图像，如果让它通过上述同样的低通滤波后，再用原全色图像与它通过低通滤波的图像相减，得到全色图像的残差图像^将包含多光谱图像il必未包含的高频细节信息，这是因为多光谱图像MS的分辨率低于全色图像的分辨率。这些分析也说明了对多光谱图像进行残差抽取，能够把图像的空间信息和光谱信息进行分离并获得其细节信息，即得到的多光谱图像主要包含的图像细节信息。同样，全色图像的残差图像也包含了其高频细节信息，这些细节正是多光谱图像残差所缺少的细节信息。因此，如果能通过某种方法用全色图像的残差图像去增强多光谱图像的残差，既能增强多光谱图像的空间信息，同时也保持的多光谱图像的光谱信息。利用超复数对由RGB三色分量表示的多光谱图像的残差图像建模[9力=巾,力i+g(x，力'+6(x,力A:，(4)其中X^，力为由R、G、B三色分量表示的超复数模型，Kx，力，g(x,力，6(x，力分别代表多光谱图像的RGB分量。上述表示通过超复数把描述多光谱图像的RGB三色分量表示成一个矢量的整体，那么无论通过何种变换，这种矢量整体性都能保持，矢量像素的RGB成分之间的相对位置就不会发生变化。为了更好的融合高分辨率的全色图像的空间信息和低分辨率的多光谱图像的光谱信息，我们对全色图像和多光谱图像的残差分别进行超复数建模。然而对于全色图像的残差图像，由于它的像素是标量的，因此需要将每一个标量像素扩展为三维的矢量像素，为了保证了矢量像素的幅值和标量像素是一致的，将每个像素值乘以1/V^，于是就得到由RGB表示的多光谱图像和矢量化的全色图像的残差图像的超复数模型(x,力=jep0,力/++ep(x,力/+^ep",力A:ge,O，力=rO，力z'+gO,+力&其中，^(x,力为全色图像的残差图像的像素值，Kx力、g(xj)、6(Jc，力分别为e,(x，力的RGB四元数的Cayley-Dickson分解是将一个四元数定义为广义的复数形式，即该复数的实部和虚部均为复数。即『a+W+^+汲的Cayley-Dickson可以写成問"+掛(6)其中h+6/，B=c+W。Cayley-Dickson分解也正是symplectic分解的数学基础。使用广义的复算子//，如果选择任意的两个单位纯四元数A、/^且A丄W，可以将任意的一个四元数表示成广义的复数形式，我们将其称为四元数的symplectic形式其中爿-a+6;^，B=c'+d;^。也就是『(c'+6(c'+非i)〃2((7)其中j称为simplex部分，S称为pe卬lex部分。既然四元数symplectic形式存在于广义的复数空间，那么这两个部分都同态于复数。将上面的表达式乘开，可以写作<formula>formulaseeoriginaldocumentpage6</formula>(8)其中化=;"^2，并且W丄/A、A丄/Z2。这样，我们就有了同态于标准四元数算子Z、J、^的另外一套算子A、^、〃3。(fl',V，C',^)可由以下的式子得到1(9)其中Sfe]为四元数《的实数部分，即S[^h化F[《]为四元数《的纯虚数部分，即,〗=对于彩色图像的超复数模型y(x,力-z"(x,力&g(JC，;/)/'+6(;c,从而得到*，力=/^，力+/2(^>2(((io)其中称/i(U)、/2(x，力分别为simplex部分和perplex部分。如果〃！是灰度轴，那么yi(x，力提供的就是亮度信息(还是一个RGB的三色图像，并不是一个简单的灰色图像)，而/2(、力提供的就是一个色度信息(同样的也是一个RGB彩色图像)。根据残差图像的矢量像素的特性，对由ge/0c，力沿着灰度轴的方向进行超复数Symplectic分解，用全色图像的超复数残差模型替换simplex部分，这样就可以实现低分辨率的残差图像的恢复，从而实现多光谱图像和全色图像的融合。具体实施方式我们使用Landsat7ETM+传感器在2000年6月14日拍摄的上海地区的多光谱图像和全色图像(北纬314460.0000N,东经1215360.0000E)和在1995年10月26日拍摄的Hanoi地区的SPOT卫星的全色图像和TM的多光谱图像对本发明的性能进行说明。其中，全色图像具有15m的空间分辨率，而多光谱图像具有30m的空间分辨率。由于Landsat7ETM+和SPOT不提供15m分辨率的真实多光谱作为比较，为了与30m分辨率的真实多光谱图像来比较，我们将全色图像和多光谱图像分别退化到30m和60m。对30m的全色图像和60m多光谱图像进行融合，并将融合的结果与30m分辨率的多谱图像进行比较。下面通过仿真验证本发明的性能。为了衡量遥感图像融合过程中空间信息的增强，本文采用SDD参数[111对其融合结果进行评价，SDD参数是融合全色图像和低分辨率多光谱图像差异的标准差，其定义如下画=j丄,,力-MS,(x,力)——凤))2式中，F为融合得到的图像，P为图像像素的均值。一般说来，融合图像的SDZ参数以接近于高分辨率的多光谱图像的SZ)D参数为佳，此时融合图像中将在包含的空间信息的同时和也包含了高分辨率的多光谱图像中的空间信息。如果融合的SDZ)参数比高分辨率的多光谱图像的&DD参数大，那么可能过多的全色的空间信息被融入到多光谱图像中去，导致融合图像的光谱特性的改变。为了衡量遥感图像融合过程中光谱特征的保留情况，我们采用如下的统计参数1)峰值信噪比(尸S7W)如果认为融合图像F(x，力与标准参考图像及(x，力的差异是噪声，而标准参考图像就是信息。融合图像的峰值信噪比PS7Vi定义为t1^峰值信噪比的单位为分贝(dB)。一般说来，计算出来的峰值信噪比就越大，说明融合图像和标准参考图像的光谱特征越接近，融合的效果越好。2)相关系数(CC)融合图像F与标准参考图像i的相关系数能反映出两幅图像的光谱特征的相似程度，其定义如下-计算出来的相关系数越大，说明融合图像和标准参考图像的光谱特征的相似程度越高，融合的效果越好。峰值信噪比和相关系数是在融合图像和高分辨率多光谱图像的各波段上分别计算的。3)相对全局误差(^i04S)相对全局误差能反映融合图像在各波段上的光谱改变情况，其定义如下[15]:其中，/是低分辨率多光谱图像的分辨率，A是高分辨率多光谱图像的分辨率，K是参与融合的波段。计算出来的相对全局误差越小，融合图像和标准参考图像越接近，融合的效果就越好。在实际的遥感图像融合评价中，要综合考虑反映空间信息增强的SDD参数和反映光谱信息保持的峰值信噪比PS7^、相关系数CC、相对全局误差五及GAS。一个最优的遥感图像融合方法不仅应该提高融合图像的空间分辨率，而且要求尽可能地保持原始图像的光谱特征，因此需要在上述两类参数之间取得平衡。表1给出了各种融合图像的SZ)D参数。其中，30m分辨率多光谱图像的Si)Z)参数是用来做标准的。从表中可以看出HIS变换和PCA变换方法对应的SDD参数远远大于真实图像的SDZ)参数，这说明融入到多光谱图像中的全色图像的信息超过了高分辨率的多光谱图像所应该包含的空间信息。在小波变换方法中，各波段的SDZ)参数都很接近，说明融入到各个波段上的全色图像的空间信息是类似的，然而与真实图像的SDD参数是有差别的。本发明提出方法所对应的S""参数最接近于真实图像的SD"参数，并且各个波段上的S"D参数的分布规律也与真实图像的各个波段上的SDD参数的分布规律相似，这说明了本发明在融入全色图像的空间信息的时候能够对多光谱图像的各个波段区别对待，以符合实际的情况。表2给出了各种融合方法在保持光谱特征上的统计参数。残差超复数对偶分解的融合方法在各个波段上都具有较大的峰值信噪比尸SiV及和相关系数CC，说明它的融合图像的光谱特征和30m分辨率的多光谱图像的光谱特征是十分接近的，同时该方法在所有波段上的相对全局误差aG4S是最小的，这说明了本发明提出的方法在保持光谱特征上的有效性。表1融合结果的增强空间信息的统计参数参数波段真实图像IHSPCA小波变换残差symplecticR0.0610.2450.1950.0760.071G0細0.2530.2680.0750.069B0.0510.2530.3250.0750.056表2融合结果的保持光谱特征的统计参数参数波段IHSPCA小波变换残差symplectic户膽R12.1714.1322.6223,2896G11.9311.4622.6424.2447B11.959.8323.02.25.2401CCR0,450.610.920.96G0.190.190.930.97B0.260.110.950.9922.2223.156.472.77表3和表4分别给出了对SPOT卫星的图像和TM的多光谱图像进行融合的分析结果。结果也表明本文提出的结果优于IHS、PCA方法和小波变换的方法。表3融合结果的增强空间信息的统计参数<table>tableseeoriginaldocumentpage10</column></row><table>表4融合结果的保持光谱特征的统计参数<table>tableseeoriginaldocumentpage10</column></row><table>参考文献[1]T.M.Tu,S.C.Su，H.C.Shyu,andP.S.Huang.AnewlookatHIS-likeimagefusionmethods[J]./"/Fuy/o",2001,2(3):177-186[2]YesouH，BesnusY,PoletY,ExtractionofspectralinformationfromlandsattmdataandmergerwithSPOTpanchromaticimagery—AcontributiontothestudyofGeologicalstructures〖J].ZSPiSJbwma/o//V20to^ra附we吵fifwd5tws/"g,1993，48(5):23-26[3]ShettigaraV.K.Ageneralizedcomponentsubstitutiontechniqueforspatialenhancementofmukispectralimagesusingahigherresolutiondataset[J].尸/zo/ogr"mmern'c五wg/ween'"gSe&，1992，58(5):561-567[4]NunezJ，OtazuX，ForsO，Wa/.Multiresolutionbasedimagefusionwithadditivewaveletdecomposition[J],7Va"s"c"'owsGeosr^wcesa打ciemofeSem，1999，37(3):1024-1211[5]C,E.Moxey,S.J.SangwineandT.A.Ell.HypercomplexcorrelationTechniquesforvectorimage[J],/鹏7>皿^a/Pra固/"g，2003，51(7):1941-1953[6]杨惠娟，张建秋和胡波"超复数主元加权的多光谱和全色图像融合方法"申请号200610118103,3[7]C.E.Moxey，S.J.SangwineandT.A.Ell.Color-grayscaleimageregistrationusinghypercomplexphasecorrelation[C]./￡￡￡/C7P，2002，385-388.[8]FengzhiPan,LimingZhang,Newimagesuper-resolutionschemebasedonresidualerreorestorationbyneuralnetworks[J].OpticalEngineering,vol.42，no.10,pp.3038-3046,2003[9]CEMoxey，SJSangwine,TAEH.Vectorcorrelationofcolorimages[C].In1stEuropeanConf.onColorinGraphics,ImagingandVision,France:Poitiers,2002,343-347[10]ToddA.Ell，S.J.SangwineHypercomplexfouriertransformsofcolorimages[J]./Efi^Thww./Voce油g，2007,16(l):22-35[11]M.Gonzalez-Audican,J.L.Saleta，R.G.Catalan,etal.FusionofmultispectralandpanchromaticimagesusingimproveHISandPCAmergersbasedonwaveletdecomposition[J].7>yww.Geayc/,7emo/e5few&,2004,42(6):1291-1299[12]王海晖，彭嘉雄等.多源遥感图像融合效果评价方法研究[J].计算机工程与应用，2003，25'.33-3权利要求1、一种残差超复数对偶分解的多光谱与全色图像融合方法，其特征在于具体步骤如下(1)对于多光谱图像MS，通过插值算法Z，将低分辨率的多光谱图像放大到和全色图像同样的尺寸，得到插值图像I；(2)对插值图像I进行低通滤波和降采样，得到原多光谱图像的低分辨率图像估计MSL；然后用多光谱图像MS与图像估计MSL相减得到多光谱图像的残差图像eg；对全色图像MP经过同样的低通滤波，得到原全色图像的估计MPL，再用原全色图像与之相减，即可得到全色图像的残差图像ep；(3)将残差图像eg放大到与全色图像的残差图像ep同样的大小，得到ef；(4)对ef和矢量化后ep分别用进行超复数建模，得到Qef(x，y)和Qep(x，y)；(5)对Qef(x，y)沿着灰度轴的方向其进行超复数symplectic分解，得到包含量亮度信息的simplex部分f1(x，y)和包含色度信息的perplex部分f2(x，y)；(6)用Qep(x，y)代替f1(x，y)，得到恢复后的残差ef′(x，y)＝Qep(x，y)+f2(x，y)μ2；(7)最后得到融合结果MS’＝I+ef′。全文摘要本发明属于图像融合
技术领域：
，具体为残差超复数对偶分解的多光谱与全色图像融合方法。该方法首先用超复数分别对多光谱图像和全色图像的残差图像建模，并对多光谱图像的超复数残差模型沿灰度轴方向分别进行超复数symplectic分解，得到包含亮度信息的simplex部分和包含色度信息的perplex部分。分析表明用高分辨率全色图像的超复数残差图像来替换低分辨率多光谱图像分解后得到的simplex部分，就可以恢复出高分辨率的多光谱图像的残差，最后通过symplectic分解的合成实现多光谱图像和全色图像的融合。仿真结果表明，本发明方法不存在人眼可见的光谱畸变。而各种现有图像融合方法的评估结果表明，本发明优于IHS、PCA和小波变换的融合方法。文档编号G01S7/48GK101216557SQ20071017329公开日2008年7月9日申请日期2007年12月27日优先权日2007年12月27日发明者张建秋,杨惠娟,波胡申请人:复旦大学