专利名称：多特征多级别的可见光与高光谱图像高精度配准方法
技术领域：
本发明属于图像处理技术领域，具体涉及遥感图像的配准方法，特别是一种用于可见光与高光谱图像的配准方法。本发明可以广泛适用于航天、航空传感器平台所获取的遥感图像的配准。
背景技术：
高光谱图像将物体的光谱频段切分的更细，连续的光谱曲线反映了目标的材质信息，这对于识别伪装目标具有重要的意义。例如，处于同一环境下的真坦克和伪装橡胶坦克，在可见光图像上无法区分；虽然借助可见光图像的温度图像可以区分工作状态的真坦克和伪装坦克，但是如果真坦克也处于休息状态或伪装橡胶坦克被置入了发热物体，则仍无法区分坦克的真伪；而通过高光谱图像的光谱曲线可以正确其材质，从而准确将真坦克和伪装橡胶坦克区分开。因此，综合利用可见光与高光谱图像进行融合对情报获取和分析 具有重要的作用。作为可见光与高光谱图像融合的前提，可见光与高光谱图像必须进行自动、高精度配准。可见光与高光谱图像高精度自动配准技术是制约可见光与高光谱图像融合应用的关键技术，具有重要的应用价值。然而，由于空间分辨率差异很大(如40倍)，同一物体在可见光与高光谱图像上的表现差距很大，这种差距给传统的特征匹配方法带来了很大的挑战。实际上，传统的尺度不变特征只能在空间分辨率差异在不超过4倍时保持尺度不变，空间分辨率差异超过4倍时的图像的缩放都是一个科学难题，直接对空间分辨率差异40倍的可见光图像和高光谱图像配准是不可能的。正是因为可见光与高光谱图像的差异较大，目前可见光与高光谱图像配准基本上仍处于研究阶段，尚未有专门的可见光-高光谱图像配准软件。尽管商业软件如Erdas和Envi都提供了配准功能，但这些配准功能都是为可见光图像设计的。在这些软件上对可见光图像和高光谱图像进行配准，成功的概率很小。目前，对可见光与高光谱图像配准的研究大都沿用可见光图像配准的技术路线；然而，由于空间分辨率差异巨大以及高光谱图像质量较差(噪声、漏缝、扭曲)等因素的影响，目前尚无通用、自动、实用的可见光-高光谱图像配准算法。在实际应用中，往往靠人工标定控制点对，费时费力；而且，在空间分辨率差异40倍的情况下，手工标定的误差很大，配准精度无法保证。在这种情况下，必须另辟思路研究新的配准方法，在保证配准精度的同时，尽可能提供其自动化程度和计算速度。
发明内容
(一 )要解决的技术问题本发明所要解决的技术问题是针对可见光图像与高光谱图像的互补性而提出一种特别适合于可见光与高光谱图像的自动、高效、高精度的配准方法，以推动遥感识别技术的发展。( 二 )技术方案
本发明提出一种可见光图像与高光谱图像的配准方法，包括如下步骤步骤SI、对可见光图像进行多尺度分解，形成低分辨率的可见光图像；步骤S2、根据高光谱图像生成高光谱图像显著波段图像；步骤S3、在低分辨率可见光图像和高光谱图像显著波段图像上提取SIFT特征、多尺度角点特征和面点特征，匹配SIFT特征并去除外点，利用匹配的SIFT特征对求取变换模型；步骤S4、在每层可见光图像和高光谱图像显著波段图像上利用上一层配准的变换模型作为该层的初始变换模型，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换和多尺度角点特征、面点特征集合利用迭代重加权最小二乘法选择变换类型并求 取变换参数；步骤S5、根据所述变换模型对高光谱图像进行变换，得到变换后的高光谱图像。(三)有益效果本发明的可见光与高光谱图像高精度自动配准方法基于多特征多级别的配准，综合利用了模式识别、计算机视觉领域中最新的特征提取和特征匹配技术及并行计算技术，有效地解决了可见光与高光谱图像的配准问题，弥补了现有配准软件对可见光与高光谱图像配准方面的缺陷。本发明的配准方法对可见光与高光谱图像配准具有很好的通用性和实用性，能够大大推动可见光与高光谱图像的广泛应用，具有很好的经济效益。
图I是本发明的可见光与高光谱图像高精度自动配准方法的系统框2是本发明的方法的一个具体实施例的原始可见光图像和生成的低分辨率图像的例3是本发明的方法的一个具体实施例的原始高光谱图像与生成的显著波段图像的例4是本发明的方法的一个具体实施例的提取SIFT特征的例5是本发明的方法的一个具体实施例的SIFT特征提取中DOG构建图例图6是本发明的方法的一个具体实施例的SIFT特征提取中极值点提取图例图7是本发明的方法的一个具体实施例的SIFT特征提取中主方向检测图例；图8是本发明的一个具体实施例的为SIFT特征构造描述向量的一个示意图；图9是本发明的方法的一个具体实施例的粗配准流程；图10是本发明的方法的一个具体实施例的⑶BICP核心流程；图11是本发明的方法的一个具体实施例的逐级配准流程图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。本发明的多特征多级别的可见光与高光谱图像的高精度配准方法既可以硬件方式实现，也可以软件方式实现。例如在个人计算机、工控机及服务器上以软件的形式安装并执行，也可本发明的方法做成嵌入式芯片以硬件的形式来体现。下面参照附图对本发明的具体实施方式
进行说明。在下面的描述中，所述的“图像”特指通过遥感设备获得的遥感图像，并且是已进行了数字化的数字图像。然而，本发明并不限于遥感图像，对于其它技术领域中获得的需要配准的可见光图像和高光谱图像，本发明也可适用。图I给出了一个实施例系统框图，如图I所示，总的来说，本发明的方法包括如下步骤步骤SI :多尺度分解。对可见光图像进行多尺度分解，形成低分辨率的可见光图像；根据本发明的一种具体实施方式
，该实施例中的多尺度分解通过降采样实现。虽然多尺度分解可以由小波金字塔、高斯金字塔等多种方法实现，但计算量比降采样大的多；而在精配准阶段，SIFT (Scale Invariant Feature Transform,尺度不变特征变换)特征还 要在每层可见光图像上提取。因此，基于将采样的多尺度分解方式在保持配准精度的同时，还大大减少了计算量。步骤S2 :根据高光谱图像生成高光谱图像显著波段图像。根据本发明的一种具体实施方式
，将高光谱图像的各波段的均值图像作为显著波段图像。步骤S3 :粗配准。在低分辨率可见光图像和高光谱图像显著波段图像上提取SIFT特征、多尺度角点特征和面点特征，匹配SIFT特征并去除外点，利用匹配的SIFT特征对求取变换模型，变换模型求取包括变换类型选择和变换参数求解两部分；根据本发明的一种具体实施方式
，角点特征分为主动匹配角点特征和被动匹配角点特征，面点特征分为主动匹配面点特征和被动匹配面点特征。主动匹配角(面)点特征是参考图像(如红外图像)上需要匹配的角(面)点特征，被动匹配角(面)点特征是待配准图像(如高光谱图像)上可能匹配的角(面)点特征。主动匹配角(面)点特征是被动匹配角(面)点特征的子集。根据本发明的一种具体实施方式
，采用最近邻比值法来匹配SIFT特征，并去除外点，外点指不满足上述变换模型的SIFT特征对；根据本发明的一种具体实施方式
，利用⑶BICP(Generalized Dual BootstrapIterative Closest Point)法得到初始变换模型。根据本发明的一种具体实施方式
，变换模型包含变换类型和变换参数-两层含义。同样，变换模型的确定也包括变换类型选择和变换参数求解。上述变换模型是后续配准变换模型的初始值即初始变换模型，在精配准阶段变换模型的类型及其参数都将不断调
難
iF. O步骤S4 :精配准。在每层可见光图像和高光谱图像显著波段图像上利用上一层配准的变换模型作为该层的初始变换模型，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换和多尺度角点特征、面点特征集合利用迭代重加权最小二乘法选择变换类型并求取变换参数。上述过程迭代进行，在原始可见光图像和高光谱图像显著波段图像上得到的变换模型作为最终的变换模型。根据本发明的一种具体实施方式
，利用迭代重加权最小二乘法选择每一层的变换类型并求取变换参数。步骤S5 :图像变换。根据所述变换模型对高光谱图像进行变换，得到变换后的高光谱图像。根据本发明的一种具体实施方式
,根据变换模型对高光谱图像进行双三次样条插值，然后根据变换模型及原始可见光图像和高光谱图像的尺寸计算参考图像和变换后的高光谱图像的最大重叠区域的坐标，取出、保存所述最大重叠区域的坐标内的可见光图像和高光谱图像。为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明作进一步的详细说明。在该实施例中，步骤SI利用双线性插值方法对可见光图像进行逐尺度降采样，生成多尺度可见光图像。设原始可见光图像为I，则多尺度可见光图像序列中第k层图像Ik是由第k-1层图像Ilri经双线性插值方法降采样得到的，降采样的倍数为2，Itl = 1，0彡k <n。可见光图像的多尺度分解层数n由如下公式确定n = log2 (N/M)，其中，N为可见光图像长度和宽度的最小像素值个数，M为高光谱图像长度和宽度的最小像素值个数。图2为原始可见光图像和生成的多尺度可见光图像的例图，其中上图为原始可见光图像，下图为低分辨率图像。显著波段图像也可通过波段选择、波段融合等方式生成，但计算量很大。为了减少计算量并克服噪声的影响，在该实施例中，将高光谱图像的各波段的均值图像作为显著波段图像。图3为原始高光谱图像与生成的显著波段图像的例图，其中上图为原始高光谱图像，下图为显著波段图像。图4是本发明的方法的具体实施例中步骤S3的提取SIFT特征的流程图。在该实施例中，SIFT特征的提取是按照如下流程实现的 步骤S31、构建图像的DOG(Difference of Gaussian,高斯差分)金字塔。设图像为I (X, y),贝U DOG金字塔中第k层高斯差分图像为D (X, y, a ) = L(x, y,
I .''2+)/
k o )-L(x, y, O)，其中，L(x, y, o ) = G(x, y, o )>I<I (x, y), (}(x,y,CT) =--e 1(T~ *
271(1，
表示卷积运算。图5是构建DOG金字塔的示意图，如图5所示，图像在5个尺度上进行高斯卷积，得到的DOG金字塔中有4个图像。步骤S32、在DOG金字塔的每层上提取极值点，所谓极值点是指在局部邻域内D (x,y，ko )取值最大的点。提取极值点的过程为，选择DOG金字塔上的任一点，若该点在该层及上、下相邻两层的26个邻域内不是极值点，则将该点去除，否则将该点作为极值点。图6是提取极值点的示意图，如图6所示，DOG金字塔中的第k层图像的标“ X ”的点与第k-1层、第k+1层的26个标“0”的点进行比较，若标“ X ”的点对应的D(x，y，k 0)是这26个邻域点中的最大值，则标“ X ”的点为极值点。步骤S33、对于所提取的极值点，去除局部曲率非常不对称的极值点。在该实施例中，计算差分图像D的局部Hessian矩阵H，去除满足下面条件的极值点tr (H)2/det (H) >10，其中det(H)表示矩阵H的行列式值，tr(H)表示矩阵H的迹；
步骤S34、计算SIFT特征的亚像素级别的空间位置、尺度，所述SIFT特征指的是保留下来的极值点。假设SIFT特征X = (X, y, o )，其中x, y, o分别为极值点X的x、y方向坐标及尺度参数，此时三个方向的坐标都为正数。根据高斯差分图像D(x，y，o)泰勒展开公式
权利要求
1.一种可见光图像与高光谱图像的配准方法，其特征在于，包括如下步骤 步骤SI、对可见光图像进行多尺度分解，形成低分辨率的可见光图像； 步骤S2、根据高光谱图像生成高光谱图像显著波段图像； 步骤S3、在低分辨率可见光图像和高光谱图像显著波段图像上提取SIFT特征、多尺度角点特征和面点特征，匹配SIFT特征并去除外点，利用匹配的SIFT特征对求取变换模型；步骤S4、在每层可见光图像和高光谱图像显著波段图像上利用上一层配准的变换模型作为该层的初始变换模型，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换和多尺度角点特征、面点特征集合利用迭代重加权最小二乘法选择变换类型并求取变换参数； 步骤S5、根据所述变换模型对高光谱图像进行变换，得到变换后的高光谱图像。
2.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，在步骤SI中，对可见光图像进行多尺度分解，形成低分辨率的可见光图像。
3.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，在步骤S2中，将高光谱图像的各波段的均值图像作为显著波段图像。
4.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，在步骤S3中，采用最近邻比值法来匹配SIFT特征，并去除外点，外点指不满足上述变换模型的SIFT特征对。
5.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，在步骤S3中，利用GDBICP法得到初始变换模型。
6.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，在步骤S3中，提取SIFT特征的步骤包括 步骤S31、构建图像的DOG金字塔； 步骤S32、在DOG金字塔的每层上提取极值点，所谓极值点是指在局部邻域内取值最大的点； 步骤33、对于所提取的极值点，去除局部曲率不对称的极值点； 步骤S34、计算SIFT特征的亚像素级别的空间位置、尺度，所述SIFT特征指的是保留下来的极值点； 步骤S35、确定所述SIFT特征主方向，所谓主方向是指与以SIFT特征为中心的邻域内的梯度方向直方图的峰值对应的梯度方向； 步骤S36、为SIFT特征构造描述向量，所谓描述向量是指用于刻画该SIFT特征周围图像块统计特征的、由梯度方向直方图构成的向量。
7.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，在步骤S3中，提取角点特征和面点特征的步骤包括 步骤S31’、对于图像的每个像素点计算互相关矩阵，所述互相关矩阵是用来描述该像素点与其邻域像素的关系； 步骤S32’、根据互相关矩阵的特征值选取角点特征和面点特征，得到角点特征集合和面点特征集合； 步骤S33’、去除角点特征集合和面点特征集合中的噪声点； 步骤S34’、对角点特征和面点特征进行非极值点抑制；步骤S35’、根据特征强度的大小来选择被动角点特征和被动面点特征； 步骤S36’、根据特征强度的大小来选择主动角点特征和主动面点特征。
8.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，在步骤S3中，选择置信度高且未尝试过的SIFT特征对，由该SIFT特征对及被动匹配角点特征集合Cm、被动匹配面点特征集合Fm、主动匹配角点特征集合Cd、主动匹配面点特征集合Fd通过⑶BICP方法进行匹配，若该次匹配成功，粗配准终止；否则，选择下一个置信度高的SIFT特征对通过⑶BICP方法进行匹配。
9.如权利要求8所述的可见光图像与高光谱图像的配准方法，其特征在于，所述⑶BICP方法包括如下步骤 步骤S31”、根据选择的SIFT特征对确定初始变换模型(相似变换)，SIFT特征对所在的邻域作为初始匹配区域； 步骤S32”、根据当前迭代步骤的变换模型和当前匹配区域，分别从前向和后向利用ICP方法匹配当前匹配区域内的角点特征和面点特征； 步骤S33”、根据当前匹配的角点特征和面点特征利用迭代重加权最小二乘法重新估计前向和后向变换参数；通过ICP和参数估计的交替迭代，确定最优变换参数和最优的匹配； 步骤S34”、利用当前最优匹配的角点特征和面点特征集合,根据Akaike Information准则进行变换类型选择； 步骤S35”、根据当前变换模型的不确定性(进行匹配区域增长，区域增长的速度与当前匹配区域的前向匹配和后向匹配的角点特征和面点特征的匹配误差成反比。当匹配区域增长到角点特征和面点特征的最大外接矩形时，GDBICP收敛，此时的前向匹配变换模型作为步骤S4的初始变换模型。
10.如权利要求I所述的可见光图像与高光谱图像的配准方法，其特征在于，所述步骤S4包括 步骤S41 :根据初始变换模型My进行基于图像块对的多尺度角点特征、面点特征特征提取； 步骤S42 :根据初始变换模型A和多尺度角点特征、面点特征集合利用迭代重加权最小二乘法选择变换类型并求取变狹翏数。
全文摘要
本发明公开了一种可见光图像与高光谱图像的配准方法，包括对可见光图像进行多尺度分解，形成低分辨率的可见光图像；根据高光谱图像生成高光谱图像显著波段图像；在低分辨率可见光图像和高光谱图像显著波段图像上提取SIFT特征、多尺度角点特征和面点特征，匹配SIFT特征并去除外点，利用匹配的SIFT特征对求取变换模型；在每层可见光图像和高光谱图像显著波段图像上利用上一层配准的变换模型作为该层的初始变换模型，进行基于图像块对的多尺度角点特征、面点特征提取，根据初始变换和多尺度角点特征、面点特征集合利用迭代重加权最小二乘法选择变换类型并求取变换参数；根据所述变换模型对高光谱图像进行变换，得到变换后的高光谱图像。
文档编号G06T7/00GK102800099SQ20121025185
公开日2012年11月28日 申请日期2012年7月19日 优先权日2012年7月19日
发明者张秀玲, 霍春雷, 江碧涛, 潘春洪, 余晓刚, 杜鹃, 常民, 蔡琳 申请人:北京市遥感信息研究所, 中国科学院自动化研究所