专利名称：多特征多级别的红外与高光谱图像的高精度配准方法
技术领域：
本发明属于图像处理技术领域，具体涉及遥感图像的配准方法，特别是一种多特征多级别的红外与高光谱图像的高精度配准方法。本发明可以广泛适用于航天、航空传感器平台所获取的遥感图像的配准。
背景技术：
与可见光图像相比，红外图像和高光谱图像具有独特的优势红外图像反映了目标的温度信息，可以识别目标的工作状态；高光谱图像反映了目标的材质信息，可以识别目标的材质以用于区分目标的真伪。因此，综合利用不同传感器的互补特性，对红外图像与高光谱图像进行融合，对情报获取和分析具有重要的作用 。作为红外图像与高光谱图像融合的前提是红外图像与高光谱图像必须进行自动、高精度配准。红外与高光谱图像高精度自动配准技术是制约红外与高光谱图像融合应用的关键技术，具有重要的应用价值。然而，由于成像机理和空间分辨率等方面的差异，同一物体在红外与高光谱图像上的表现差异很大，这种差异给传统的特征匹配方法带来了很大的挑战。实际上，即使让判图专家在红外与高光谱图像中手工快速标定一些控制点对也是一件很困难的事情。也正是因为红外与高光谱图像的较大差异，目前红外与高光谱图像配准技术基本上仍处于研究阶段，尚未有专门的红外-高光谱图像配准软件。尽管商业软件，如Erdas和Envi，都提供了配准功能，但这些配准功能都是为可见光图像设计的。在这些软件上对红外和高光谱图像进行配准，成功的概率很小。在这种情况下，必须另辟思路研究新的配准方法，在保证配准精度的同时，尽可能提供其自动化程度和计算速度。
发明内容
(一 )要解决的技术问题本发明所要解决的技术问题是针对红外图像与高光谱图像的互补性而提出一种特别适合于红外与高光谱图像的自动、高效、高精度的配准方法，以推动遥感识别技术的发展。( 二 )技术方案本发明提出一种红外图像与高光谱图像的配准方法，包括如下步骤步骤SI、对红外图像进行降采样，生成低分辨率红外图像，并根据高光谱图像生成显著波段图像；步骤S2、在所述低分辨率红外图像和显著波段图像上提取SIFT特征、并在所述低分辨率红外图像和显著波段图像的多个尺度上提取角点特征和面点特征；步骤S3、对低分辨率红外图像和显著波段图像提取的SIFT特征进行匹配，得到匹配的SIFT特征对，并利用匹配的SIFT特征对和GDBICP方法获得变换模型，所谓变换模型是指红外图像和高光谱图像之间的一种几何变换关系；步骤S4、在所述原始红外图像和显著波段图像上，利用所述初始变换模型据提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征的提取，并根据初始变换模型、多尺度角点特征和多尺度面点特征确定更精确的变换模型；步骤S5、根据所述变换模型对高光谱图像进行变换，得到变换后的高光谱图像。(三)有益效果本发明的红外与高光谱图像高精度自动配准方法基于多特征多级别的配准，综合利用了模式识别、计算机视觉领域中最新的特征提取和特征匹配技术及并行计算技术，有效地解决了红外与高光谱图像的配准问题，弥补了现有配准软件对红外与高光谱图像配准方面的缺陷。
本发明的配准方法对红外与高光谱图像配准具有很好的通用性和实用性，能够大大推动红外与高光谱图像的广泛应用，具有很好的经济效益。
图I是本发明的红外与高光谱图像高精度自动配准方法的流程图；图2是本发明的方法的一个具体实施例的原始红外图像和生成的低分辨率图像的例图；图3是本发明的方法的一个具体实施例的原始高光谱图像与生成的显著波段图像的例图；图4是本发明的方法的一个具体实施例的提取SIFT特征的例图；图5是本发明的方法的一个具体实施例的SIFT特征提取中DOG构建图例；图6是本发明的方法的一个具体实施例的SIFT特征提取中极值点提取图例；图7是本发明的方法的一个具体实施例的SIFT特征提取中主方向检测图例；图8是本发明的一个具体实施例的为特征点构造描述向量的一个示意图；图9是粗配准流程；图10是⑶BICP核心流程。
具体实施例方式本发明的多特征多级别的红外与高光谱图像的高精度配准方法既可以硬件方式实现，也可以软件方式实现。例如在个人计算机、工控机及服务器上以软件的形式安装并执行，也可本发明的方法做成嵌入式芯片以硬件的形式来体现。下面参照附图对本发明的具体实施方式
进行说明。在下面的描述中，所述的“图像”特指通过遥感设备获得的遥感图像，并且是已进行了数字化的数字图像。然而，本发明并不限于遥感图像，对于其它技术领域中获得的需要配准的红外图像和高光谱图像，本发明也可适用。图I是本发明的红外与高光谱图像高精度自动配准方法的流程图。如图I所示，总的来说，本发明的方法包括如下步骤步骤SI :对红外图像进行降采样，生成低分辨率红外图像，并根据高光谱图像生成显著波段图像。根据本发明的一种具体实施方式
，将高光谱图像的各波段的均值图像作为显著波段图像。
步骤S2 :在低分辨率红外图像和显著波段图像上提取SIFT(Scale InvariantFeature Transform)特征、并在所述低分辨率红外图像和显著波段图像的多个尺度上提取角点特征和面点特征。根据本发明的一种具体实施方式
，角点特征分为主动匹配角点特征和被动匹配角点特征，面点特征分为主动匹配面点特征和被动匹配面点特征。主动匹配角(面)点特征是参考图像(如红外图像)上需要匹配的角(面)点特征，被动匹配角(面)点特征是待配准图像(如高光谱图像)上可能匹配的角(面)点特征。主动匹配角(面)点特征是被动匹配角(面)点特征的子集。步骤S3 :对低分辨率红外图像和显著波段图像提取的SIFT特征进行匹配，得到匹配的SIFT特征对，并利用匹配的SIFT特征对和GDBICP方法获得变换模型，所谓变换模型是指红外图像和高光谱图像之间的一种几何变换关系。(注变换函数不恰当，文献中术语为变换参数) 变换模型包含变换类型和变换参数-两层含义。同样，变换模型的确定也包括变换类型选择和变换参数求解。上述变换模型是后续配准变换模型的初始值即初始变换模型，在精配准阶段变换模型的类型及其参数都将不断调整。根据本发明的一种具体实施方式
，采用最近邻比值法来匹配SIFT特征，并去除外点，外点指不满足上述变换模型的SIFT特征对；根据本发明的一种具体实施方式
，利用⑶BICP(Generalized Dual BootstrapIterative Closest Point)法得到初始变换模型。步骤S4 :在原始红外图像和显著波段图像上，利用所述初始变换模型据提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征的提取，并根据初始变换模型、多尺度角点特征和多尺度面点特征确定更精确的变换模型。一在更精确的变换模型下，红外图像和显著波段图像的多尺度角/面点特征之间的拟合误差更小。根据本发明的一种具体实施方式
，利用迭代重加权最小二乘法选择变换模型并求取变换参数。步骤S5 :根据所述变换模型对高光谱图像进行变换，得到变换后的高光谱图像。根据本发明的一种具体实施方式
,根据变换模型对高光谱图像进行双三次样条插值，然后根据变换模型及原始红外图像和高光谱图像的尺寸计算参考图像和变换后的高光谱图像的最大重叠区域的坐标，取出、保存所述最大重叠区域的坐标内的红外图像和高光谱图像。为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明作进一步的详细说明。在该实施例中，步骤SI利用双线性插值方法对红外图像进行降采样，生成低分辨率红外图像。图2为原始红外图像和生成的低分辨率图像的例图，其中上图为原始红外图像，下图为低分辨率图像。显著波段图像可通过波段选择、波段融合等方式生成，但计算量很大。为了减少计算量并克服噪声的影响，在该实施例中，将高光谱图像的各波段的均值图像作为显著波段图像。图3为原始高光谱图像与生成的显著波段图像的例图，其中上图为原始高光谱图像，下图为显著波段图像。
图4是本发明的方法的具体实施例中步骤S2的提取SIFT特征的流程图。在该实施例中，SIFT特征的提取是按照如下流程实现的步骤S21、构建图像的DOG(Difference of Gaussian,高斯差分)金字塔。设图像为I (X, y),贝U DOG金字塔中第k层高斯差分图像为D (X, y, σ ) = L(x, y,
权利要求
1.一种红外图像与高光谱图像的配准方法，其特征在于，包括如下步骤 步骤SI、对红外图像进行降采样，生成低分辨率红外图像，并根据高光谱图像生成显著波段图像； 步骤S2、在所述低分辨率红外图像和显著波段图像上提取SIFT特征、并在所述低分辨率红外图像和显著波段图像的多个尺度上提取角点特征和面点特征； 步骤S3、对低分辨率红外图像和显著波段图像提取的SIFT特征进行匹配，得到匹配的SIFT特征对，并利用匹配的SIFT特征对和GDBICP方法获得变换模型，所谓变换模型是指红外图像和高光谱图像之间的一种几何变换关系； 步骤S4、在所述原始红外图像和显著波段图像上，利用所述初始变换模型据提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征的提取，并根据初始变换模型、多尺度角点特征和多尺度面点特征确定更精确的变换模型； 步骤S5、根据所述变换模型对高光谱图像进行变换，得到变换后的高光谱图像。
2.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，在步骤SI中，将高光谱图像的各波段的均值图像作为显著波段图像。
3.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，所述步骤S2中提取SIFT特征的步骤包括 步骤S21、构建图像的DOG金字塔； 步骤S22、在DOG金字塔的每层上提取极值点，所谓极值点是指在局部邻域内D(x，y,ko )取值最大的点； 步骤S23、对于所提取的极值点，去除局部曲率非常不对称的极值点； 步骤S24、计算SIFT特征的亚像素级别的空间位置、尺度，其中SIFT特征是指保留下来的极值点； 步骤S25、确定所述SIFT特征主方向，所谓主方向是指与以SIFT特征为中心的邻域内的梯度方向直方图的峰值对应的梯度方向； 步骤S26、为SIFT特征构造描述向量，所谓描述向量是指用于刻画该SIFT特征周围图像块统计特征的、由梯度方向直方图构成的向量；
4.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，所述步骤S2中提取角点特征和面点特征的步骤包括 步骤S21’、对于图像的每个像素点计算互相关矩阵，互相关矩阵是用来描述该像素点与其邻域像素的关系； 步骤S22’、根据互相关矩阵的特征值选取角点特征和面点特征，得到角点特征集合和面点特征集合； 步骤S23’、去除角点特征集合和面点特征集合中的噪声点； 步骤S24’、对于角点特征和面点特征进行非极值点抑制； 步骤S25’、根据特征强度的大小来选择被动角点特征和被动面点特征； 步骤S26’、根据特征强度的大小来选择主动角点特征和主动面点特征。
5.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，在所述步骤S3中，采用最近邻比值法来匹配SIFT特征，并去除外点，外点指不满足上述变换模型的SIFT特征对。
6.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，在所述步骤S3中，利用GDBICP法得到初始变换模型。
7.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，所述步骤S3包括 步骤S31、根据选择的SIFT特征对确定初始变换模型，SIFT特征对所在的邻域作为初始匹配区域 步骤S32、根据选择的SIFT特征对确定初始变换模型，SIFT特征对所在的邻域作为初始匹配区域和当前匹配区域，分别从前向和后向利用ICP方法匹配当前匹配区域内的角点特征和面点特征； 步骤S33、根据当前匹配的角点特征和面点特征利用迭代重加权最小二乘法重新估计前向和后向变换参数；通过ICP和参数估计的交替迭代，确定最优变换参数和最优的匹配； 步骤S34、利用当前最优匹配的角点特征和面点特征集合,根据Akaike Information准则进行模型选择； 步骤S35、根据当前变换模型的不确定性进行匹配区域增长，区域增长的速度与当前匹配区域的前向匹配和后向匹配的角点特征和面点特征的匹配误差成反比；
8.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，在所述步骤S4中，利用迭代重加权最小二乘法选择变换模型并求取变换参数。
9.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，所述步骤S4包括 步骤S41、在原始红外图像和高光谱图像显著波段图像上利用步骤S3提供的初始变换模型，进行基于图像块对的多尺度角点特征、面点特征特征提取； 步骤S42、根据初始模型和多尺度角点特征、面点特征集合利用迭代重加权最小二乘法选择变换模型并求取变换参数。
10.如权利要求I所述的一种红外图像与高光谱图像的配准方法，其特征在于，所述步骤S5包括 根据步骤S4求得的变换模型，按照高光谱图像的波段排列顺序对高光谱图像的每一波段图像分别进行双三次样条插值得到变换后的高光谱图像，变换后的高光谱图像与红外图像已经配准。
全文摘要
本发明公开了一种红外图像与高光谱图像的配准方法，包括对红外图像进行降采样，生成低分辨率红外图像，并根据高光谱图像生成显著波段图像；在低分辨率红外图像和显著波段图像上提取SIFT特征、并在低分辨率红外图像和显著波段图像的多个尺度上提取角点特征和面点特征；对低分辨率红外图像和显著波段图像提取的SIFT特征进行匹配，得到匹配的SIFT特征对，并利用匹配的SIFT特征对和GDBICP方法获得变换模型；在原始红外图像和显著波段图像上，利用初始变换模型据提供的几何约束，进行基于图像块对的多尺度角点特征、面点特征的提取，并根据初始变换模型、多尺度角点特征和多尺度面点特征确定更精确的变换模型；根据变换模型对高光谱图像进行变换，得到变换后的高光谱图像。
文档编号G06T7/00GK102819839SQ20121025153
公开日2012年12月12日 申请日期2012年7月19日 优先权日2012年7月19日
发明者张秀玲, 霍春雷, 江碧涛, 潘春洪, 李京龙 申请人:北京市遥感信息研究所, 中国科学院自动化研究所