一种基于聚类及光流法的高光谱和LiDar图像自动化配准方法与流程

本申请涉及遥感图像处理领域，特别涉及一种基于聚类及光流法的高光谱和lidar图像自动化配准方法。

背景技术：

随着科学技术、社会生活的发展，在遥感图像处理和应用领域中，融合多源数据协同处理已是大势所趋。遥感图像配准是将不同时间、不同条件、不同传感器及不同拍摄视角对同一地点、同一片区域内物体的2幅及以上的遥感图像进行对应点校准、叠加、匹配的过程。lidar图像是一组在统一的坐标系中无规则的3d空间点云，每个点具有三维坐标x，y，z和激光返回的强度值i；lidar图像缺乏颜色信息，难以获得完整的地物表面信息。高光谱图像是在特定波长范围内由一系列连续的窄波图像组成的图像数据块，是一个光谱图像立方体，其最主要的特点将图像空间维与光谱维信息合为一体，与单波段相比，多出了一维光谱信息。在获取地表空间图像同时，会得到每个像元对应的地物光谱信息。lidar图像和高光谱图像在空间信息与光谱信息之间互相补充，协同处理这两种类型的数据将更有利于提高森林生态物的反演精度。遥感图像配准是后续融合、特征提取、分类的先决步骤。

传统的高光谱和lidar图像配准方法是手动选取配准控制种子点进行配准，导致产生的额外误差较大，而且采用了最近点迭代(icp)，计算量十分庞大。

因此，如何提高lidar图像和高光谱图像的配准精度、配准效率是本领域技术人员亟需解决的技术问题。

技术实现要素：

本申请的目的是提供一种基于聚类及光流法的高光谱和lidar图像自动化配准方法，能够提高lidar图像和高光谱图像的配准精度、配准效率。

为解决上述技术问题，本申请提供一种基于聚类及光流法的高光谱和lidar图像自动化配准方法，包括：

选取高光谱图像中的目标波段，并基于所述目标波段构建伪彩色图像；

对lidar图像进行预处理，得到二维栅格化图像；

利用pca算法对所述伪彩色图像和所述二维栅格化图像进行降维并提取主成分处理，分别得到第一数据集合和第二数据集合；

利用k-means聚类算法确定所述第一数据集合和所述第二数据集合中对应区域的种子点，并进行图像粗配准操作，得到初始配准图像；

利用光流法对所述初始配准图像进行精配准，得到配准图像。

优选地，所述选取高光谱图像中的目标波段，并基于所述目标波段构建伪彩色图像，包括：

根据所述高光谱图像的信息量确定所述目标波段；

利用灰度级-彩色变换法构建所述目标波段的所述伪彩色图像。

优选地，所述对lidar图像进行预处理，得到二维栅格化图像，包括：

对所述lidar图像进行点云滤波，得到地面数据和非地面数据；

对所述非地面数据进行插值操作，得到数字高程模型；

对所述数字高程模型进行透视投影操作，得到所述二维栅格化图像。

优选地，所述利用光流法对所述初始配准图像进行精配准，得到配准图像，包括：

利用金字塔lk光流法对所述初始配准图像进行精配准，得到所述配准图像。

本申请所提供的一种基于聚类及光流法的高光谱和lidar图像自动化配准方法，包括：选取高光谱图像中的目标波段，并基于所述目标波段构建伪彩色图像；对lidar图像进行预处理，得到二维栅格化图像；利用pca算法对所述伪彩色图像和所述二维栅格化图像进行降维并提取主成分处理，分别得到第一数据集合和第二数据集合；利用k-means聚类算法确定所述第一数据集合和所述第二数据集合中对应区域的种子点，并进行图像粗配准操作，得到初始配准图像；利用光流法对所述初始配准图像进行精配准，得到配准图像。

本申请将pca算法与k-means聚类算法相结合，实现自动提取配准种子点，提高了配准效率，且本申请结合应用建立的粗配准图像关系再使用光流法，提高了配准精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种基于聚类及光流法的高光谱和lidar图像自动化配准方法的流程图；

图2为本申请实施例所提供的一种伪彩色变换图；

图3为本申请实施例所提供的一种传递函数；

图4为本申请实施例所提供的一种透视投影模型；

图5为本申请实施例所提供的一种透视投影的相似三角形。

具体实施方式

本申请的核心是提供一种基于聚类及光流法的高光谱和lidar图像自动化配准方法，能够提高lidar图像和高光谱图像的配准精度、配准效率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着科学技术、社会生活的发展，在遥感图像处理和应用领域中，融合多源数据协同处理已是大势所趋。遥感图像配准是将不同时间、不同条件、不同传感器及不同拍摄视角对同一地点、同一片区域内物体的2幅及以上的遥感图像进行对应点校准、叠加、匹配的过程。lidar图像是一组在统一的坐标系中无规则的3d空间点云，每个点具有三维坐标x，y，z和激光返回的强度值i；lidar图像缺乏颜色信息，难以获得完整的地物表面信息。高光谱图像是在特定波长范围内由一系列连续的窄波图像组成的图像数据块，是一个光谱图像立方体，其最主要的特点将图像空间维与光谱维信息合为一体，与单波段相比，多出了一维光谱信息。在获取地表空间图像同时，会得到每个像元对应的地物光谱信息。lidar图像和高光谱图像在空间信息与光谱信息之间互相补充，协同处理这两种类型的数据将更有利于提高森林生态物的反演精度。遥感图像配准是后续融合、特征提取、分类的先决步骤。

传统的高光谱和lidar图像配准方法是手动选取配准控制种子点进行配准，导致产生的额外误差较大，而且采用了最近点迭代(icp)，计算量十分庞大。本申请提供的一种基于聚类及光流法的高光谱和lidar图像自动化配准方法，能够提高lidar图像和高光谱图像的配准精度、配准效率。具体请参考图1，图1为本申请实施例所提供的一种基于聚类及光流法的高光谱和lidar图像自动化配准方法的流程图，该基于聚类及光流法的高光谱和lidar图像自动化配准方法具体包括：

s101、选取高光谱图像中的目标波段，并基于目标波段构建伪彩色图像；

进一步地，上述选取高光谱图像中的目标波段，并基于目标波段构建伪彩色图像，通常包括：根据高光谱图像的信息量确定目标波段；利用灰度级-彩色变换法构建目标波段的伪彩色图像。具体过程如下：

设f(x,y)为一幅黑白图像，使用灰度级-彩色变换法，将灰度图变为具有多种颜色的连续彩色图像。该方法先将灰度图像输入具有不同变换特性的红、绿、蓝三个变换器中，然后再将三个变换器对f(x,y)进行不同的变换，三个不同的变换器产生出不同数据，从而对不同大小灰度级可以合成不同的颜色。如图2所示，图2为本申请实施例所提供的一种伪彩色变换图，图2中f(x,y)分别输入红色变换器、绿色变换器、蓝色变换器，分别输出ir(x,y)到红通道、ig(x,y)到绿通道、ib(x,y)到蓝通道。灰度级-彩色变换法的各个传递函数如图3所示，图3为本申请实施例所提供的一种传递函数，图3中(a)、(b)、(c)分别表示红色r、绿色g、蓝色b的传递函数，图(d)是三种彩色传递函数组合在一起的效果。图3中纵坐标fr(x,y)、fg(x,y)、fb(x,y)分别为生成的r，g，b伪彩色图像生成函数，其对应的值为该通道的像素点，横坐标f(xy)表示灰度级，l表示预设的灰度级。例如，由(a)可见，凡灰度级小于l/2的像素将被转变为尽可能的暗红色，而灰度级位于l/2到3l/4之间的像素则取红色，从暗到亮的线性变换。若灰度级大于3l/4的像素均被转变成最亮的红色。其他两种颜色以此类推。

s102、对lidar图像进行预处理，得到二维栅格化图像；

进一步地，上述对lidar图像进行预处理，得到二维栅格化图像，通常包括：对lidar图像进行点云滤波，得到地面数据和非地面数据；对非地面数据进行插值操作，得到数字高程模型；对数字高程模型进行透视投影操作，得到二维栅格化图像。具体过程如下：

透视投影方法是从lidar图像中，经过点云滤波后，将地面数据和非地面数据分离出来，随后对地面数据进行插值，得到能够描述三维空间信息的数字高程模型(dem)。将获取的dem透视投射到二维的平面上，得到接近真实三维物体的视觉效果。此方法能够呈现出有规律的变化透视特性，能够逼真地反映点云的空间形象。透视投影的标准模型如图4所示，图4为本申请实施例所提供的一种透视投影模型，由图4可知，该透视投影模型中有近截面和远截面。相应的，透视投影的相似三角形如图5所示，图5为本申请实施例所提供的一种透视投影的相似三角形。

由图5可知，设位于视锥体内的任意一点x(x,y,z)在视平面的透视投影为xp(xp,yp,zp)，从点x和xp做z轴的垂线，并分别在xoz平面和yoz平面投影，zp＝n，则根据三角形相似定理，可知：

解上式子可得：

(xp,yp,zp)为lidar图像在二维平面的投影像素点。

s103、利用pca算法对伪彩色图像和二维栅格化图像进行降维并提取主成分处理，分别得到第一数据集合和第二数据集合；

步骤s103的实现过程如下：

对图片的像素点进行均值化，再对两张图片的各像素点对应组成一个矩阵x：

然后用x乘以x^t(x的转置)，并乘上系数1/m，得到矩阵d：

所得到的矩阵d即是像素点的协方差矩阵。

求得协方差矩阵的特征向量x并将其组成矩阵e，再将矩阵e转置为矩阵p：

p＝e^t

我们再对协方差矩阵的特征向量单位化后按行排列，所得出的矩阵其中每一行都是x的一个特征向量。如果设p按照其中向量特征值的从大到小，将特征向量从上到下排列，则用p的前k行组成的矩阵乘以原始数据矩阵x，就得到了我们需要的降维后的数据矩阵y。

s104、利用k-means聚类算法确定第一数据集合和第二数据集合中对应区域的种子点，并进行图像粗配准操作，得到初始配准图像；

步骤s104中k-means的无监督聚类算法，提取图像配准种子点实现如下：

分别输入两幅图像样本集d：

d＝{x1,x2,……,xm}

聚类的簇树k，最大迭代次数n，输出是簇划分c:

c＝{c1,c2,……,ck}

从数据集d中随机选择k个样本作为初始的k个质心向量：

{u1,u2,……,uk}

对于n＝1,2,...,n，将簇划分c初始化为：

ct＝φ,t＝1,2,…,k

对于i＝1,2...m,计算样本xi和各个质心向量uj(j＝1,2,…k)的距离：

dij＝||xi-uj||

将xi标记最小的为dij所对应的类别cγi。此时更新

cγi＝cγi∪{xi}

对于j＝1,2,...,k,对cj中所有的样本点重新计算新的质心

输出簇划分：

c＝{c1,c2,……,ck}

划分后的簇的质心作为配准种子点：

u＝{u1,u2……uk}

s105、利用光流法对初始配准图像进行精配准，得到配准图像。

进一步地，上述利用光流法对初始配准图像进行精配准，得到配准图像，通常包括：利用金字塔lk光流法对初始配准图像进行精配准，得到配准图像。具体过程如下：

采用金字塔lk光流法，基于帧间局部区域“灰度不变”的假设，实现两幅图像之间的配准。

(1)为高光谱混合波段伪彩色图像i建立金字塔{i^l}l＝0,1lm并定义特征点为u和lidar二维投影图像j建立金字塔{j^l}l＝0,1…lm并定义特征点为v。其中，l为金字塔层数，lm为最大金字塔层数。

(2)初始化最高层光流的初始值g^lm＝[00]^t(g为光流初始值)，设l＝lm，m--，循环执行以下步骤：

计算图像i^l中特征像素点u对应的位置：

表示金字塔第l层中，(x,y)为特征像素点u对应的位置，

为对应像素的x值，为对应像素的y值。

计算图像i^l在x方向的梯度：

计算图像i^l在y方向的梯度：

计算空间变换矩阵wx为x的权重，wy表示为y的权重。

初始化迭代lk初始值：v⁰＝[00]^t，设k＝1，k≤k||||η^k＜threhold||；k++其中，threhold为设定的光流阈值，η^k表示为第k次的光流值，初始值为0，k表示迭代次数。

循环执行以下步骤：

计算图像差异：其中，i^l(x,y)表示为图像i在l层的梯度，j^l表示为图像j在l层的梯度，表示为第l层x方向的光流初始值，表示为第k-1次上x方向的下一次迭代值，表示为第l层y方向的光流初始值，表示为表示为第k-1次上y方向的下一次迭代值。

计算图像不匹配向量：

其中wx为x的权重，wy表示为y的权重，ix(x,y)表示为图像i在x方向的梯度，iy(x,y)表示为图像i在y方向的梯度。

计算光流：η^k＝g^-1bk(g^-1空间变换矩阵g的逆矩阵)

为下一次迭代提供初始值：v^k＝v^k-1+η^k

结束k上的迭代，得到第l层图像上的光流优化值：d^l＝v^k

为第l-1层图像提供光流初始值：g^l-1＝2(g^l+d^l)

结束l上的迭代，最终计算得到光流d＝g⁰+d⁰

lidar二维投影图像j中对应点坐标v＝u+d；当v＝u+d超出lidar二维投影图像j时，则判定为匹配失败。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本申请所提供的一种基于聚类及光流法的高光谱和lidar图像自动化配准方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。