一种基于新型光谱SIFT特征的高光谱图像拼接方法

本发明涉及遥感图像处理，具体涉及一种基于新型光谱sift特征的高光谱图像拼接方法。

背景技术：

1、高光谱图像能够同时获取地物的图像信息与光谱信息，往往包含数十个乃至数百个连续的光谱波段，因而所含信息十分丰富，在遥感图像技术领域备受关注。图像拼接是一种能够将多幅具有一定重叠区域的窄视角图像融合成为一整幅广视角图像的技术。当将图像拼接技术应用于高光谱图像时，由于高光谱图像数据量大、冗余信息多，容易造成特征点的误匹配，导致传统的图像拼接算法的准确性无法达到要求；但其对于拼接所得的全景图像质量要求高，因此改进高光谱图像的拼接算法、优化拼接的效果十分有必要。图像拼接技术主要分为四个步骤，即图像采集、图像预处理、图像配准和图像融合。其中最为关键的步骤是图像配准，在这一步骤中会根据提取所得的图像sift(scale-invariant featuretransform)特征点的位置信息，计算匹配图像之间的变换矩阵参数，进而根据变换矩阵实现图像几何位置上的对齐。sift特征对于仿射失真、图像噪声、视角和光照变化等因素具有良好的不变性，较为适用于图像处理的大多数情况。但由于一般图像提取出的特征点数量很多，在进行匹配时容易出现误匹配的情况。因此，在特征匹配后往往会使用可剔除误匹配点对的ransac(random sample consensus)算法。尽管如此，由于高光谱图像在拍摄时的高度、角度等差别比一般图像大、冗余信息多等原因，其误匹配点对仍然存留较多，拼接后的高光谱图像仍存在配准效果不佳的情况。

2、因此，设计一种提高特征点匹配精度、优化拼接效果的高光谱图像拼接方法是很有必要的。本发明提出一种基于新型光谱sift特征的高光谱图像拼接方法。

技术实现思路

1、为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于新型光谱sift特征的高光谱图像拼接方法。

2、本发明的目的通过以下技术方案实现：

3、一种基于新型光谱sift特征的高光谱图像拼接方法，包括如下：

4、读取两幅待拼接高光谱图像，并将每一幅图像分割为多个单波段图像；

5、提取每一幅高光谱图像的每个单波段sift特征点，包括sift特征点位置信息和sift特征点描述符；

6、提取sift特征点的光谱维信息；

7、将提取的光谱维信息加入对应的sift特征点描述符中，得到新型光谱sift特征点描述符，组成新型光谱sift特征点；

8、根据新型光谱sift特征点描述符，对两幅高光谱图像中的新型光谱sift特征点进行匹配，得到新型光谱sift特征匹配对；

9、对新型光谱sift特征匹配对进行提纯，获取图像对之间的特征内点，并计算该图像对之间的匹配关系；

10、根据匹配图像的匹配关系及提纯后的特征内点，计算匹配的两幅图像之间的变换矩阵；

11、迭代优化图像的变换矩阵参数，计算最终的变换矩阵；

12、根据计算所得的图像的变换矩阵，得到图像的相对位置，通过图像融合步骤得到最终拼接图像。

13、进一步，所述提取sift特征点的光谱维信息，具体为：

14、对每幅图像，根据所提取出的单波段sift特征点位置，在对应的所有单波段图像中提取出相应sift特征点位置上的灰度值，并按顺序组合成一个列向量，即光谱维，设同一个特征点在每幅图像i对应的所有单波段图像im中的位置均为(x,y)，则该特征点的光谱维计算方式如下：

15、

16、其中，m为原始高光谱图像的所有波段数。

17、进一步，所述将提取的光谱维信息加入对应的sift特征点描述符中，具体为：

18、对每个sift特征点，设其原始128维描述符如下：

19、

20、将光谱维嵌入该128维描述符之中，形成融合光谱信息的新型光谱sift特征描述符如下：

21、

22、其中，表示融合光谱信息后得到的新型光谱sift特征描述符；des为前述每个sift特征点的原始128维描述符，其中di(i∈[1,128])表示原始128维sift特征点描述符中的第i维；hyp为前述所提取出的该sift特征点的光谱维描述符，其中ij(x,y)(j∈[1,m],m为原始高光谱图像i的所有波段数)表示该sift特征点在高光谱图像i的第m个单波段中的位置，也即所提取出的m维光谱维信息中的第j维。

23、进一步，所述根据新型光谱sift特征描述符，对两幅高光谱图像中的新型光谱sift特征点进行匹配，得到新型光谱sift特征匹配对，具体为：

24、采用最近欧式距离与次近欧式距离比值法来实现特征描述符向量的粗匹配。

25、进一步，所述粗匹配具体为：

26、选出参考图像中的某一特征点，再在目标图像中找出与该特征点的欧式距离最近和次近的两个特征点，再将这两个欧式距离值相除，若所得结果小于设定的阈值，则认为欧氏距离最近的这对特征点匹配。

27、进一步，所述获取图像对之间的特征内点，并计算该图像对之间的匹配关系，具体为：

28、设其提取所得的sift特征匹配对总数量为nf，通过ransac算法进行提纯后得出的特征内点对数量为ni，若ni>8+0.3·nf，则两幅图像匹配。

29、进一步，迭代优化图像的变换矩阵参数，计算最终的变换矩阵，具体步骤为：将两幅匹配的图片i，j之间的误差定义为所有特征内点经过单应性变换矩阵变换后的新坐标点与原坐标点的距离总和，计算方式如下：

30、

31、其中，和分别为图像i和图像j中的第k个特征内点，表示图像i和图像j的所有特征内点，hij表示图像i和图像j之间的单应性变换矩阵，全体图像的累积误差为所有图像与其匹配的图像之间的误差总和，计算方式如下：

32、

33、其中，n表示待拼接图像数量，i(i)表示所有与图像i匹配的图像，随后进行迭代优化计算单应性变换矩阵的参数hij，最终变换矩阵表示如下：

34、

35、进一步，利用平均值融合法得到最终拼接图像。

36、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述高光谱图像拼接方法。

37、一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述高光谱图像拼接方法。

38、与现有技术相比，本发明具有以下优点和有益效果：

39、本发明提出的利用光谱维数据信息的方法，增广特征点的描述符，将特征点的位置与光谱信息结合，使得sift特征点描述符在原来的图像信息基础上融合光谱信息，进一步应用于特征点匹配步骤时，可令具有相似光谱信息的特征点对更易匹配成功，不具有相似光谱信息的特征点对误匹配被消除，得到精匹配的特征点对，从而根据精匹配点对计算出更优的变换矩阵参数，获取更佳的配准效果。相较于传统sift特征点，利用新型光谱sift特征进行拼接的效果显著提高。