高空间分辨率便携式抗抖动高光谱成像方法及装置与流程

本发明属于高光谱成像领域，涉及一种高空间分辨率、低成本的便携式抗抖动高光谱成像仪。

背景技术：

高光谱成像已经深入运用到生产生活领域，对于空间高光谱成像，高成像光谱仪的抖动对检测结果的影响一直是一个棘手的问题，目前主流方案是增加精密的防抖装置，但大大增加了系统成本。便携式高光谱成像仪大多由于抖动会造成高光谱图像的扭曲和失真，目前的主流防抖算法，未能很好适用于该应用领域。

技术实现要素：

为了克服现有技术的不足，本发明的目的是提供一种高空间分辨率便携式抗抖动高光谱成像方法及装置。

一种高空间分辨率便携式抗抖动高光谱成像方法，通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；

所述的偏移量提取依据特征点来进行，具体步骤如下：

1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：

其中n是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，hor是第(i+j)帧与起始帧之间的像素水平偏移量，ver是第(i+j)帧相对于起始帧的像素垂直偏移量；

2)判断是否补偿矫正：如果垂直偏移量a_ver(fi+j)小于阈值t_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧，迭代直到当前帧fi移动到结束帧；

3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，(由于高光谱成像仪的像面与定标相机的像面平行，因此)旋转矩阵为单位矩阵，关系如下：

其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，r为旋转矢量，s为缩放矢量，t为平移矢量。

一种高空间分辨率便携式抗抖动高光谱成像装置，包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景。

所述的偏移量提取依据特征点来进行，具体步骤如下：

1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：

其中n是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，hor是第(i+j)帧与起始帧之间的像素水平偏移量，ver是第(i+j)帧相对于起始帧的像素垂直偏移量；

2)判断是否补偿矫正：如果垂直偏移量a_ver(fi+j)小于阈值t_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧，迭代直到当前帧fi移动到结束帧；

3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，(由于高光谱成像仪的像面与定标相机的像面平行，因此)旋转矩阵为单位矩阵，关系如下：

其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，r为旋转矢量，s为缩放矢量，t为平移矢量。

所述的装置，校准得到的高光谱立方体中一个维度记录空间数据，空间数据由校准相机的ccd中间一列像素采集，另一个维度记录光谱数据，高光谱数据由高光谱成像仪采集，并通过坐标映射得到。

本发明的有益效果：

1)以较低的成本实现了高光谱成像的去抖防模糊功能；

2)初步实现了场景扫描。

附图说明

图1是高空间分辨率便携式抗抖动高光谱成像方法的一种流程图。

具体实施方式

下面结合实施例对说明书附图进一步阐述。

一种高空间分辨率便携式抗抖动高光谱成像装置，包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景。

高光谱成像仪采集的视频和矫正相机采集的视频之间保持时间帧同步关系，高光谱成像仪采用线扫描，ccd上记录的是对应线区域的光谱图像。高光谱成像仪采集的视频中的二维图像帧沿着光谱维积分便得到原始的线图像。系统在抖动中分为垂直于扫描方向的抖动和沿着扫描方向的水平抖动。垂直抖动在j帧之后相对于当前帧会有较大的抖动像素偏移量，通过校准相机采集视频的当前图像帧和第j帧后的图像帧得sift特征点纵坐标之差的平均值来计算出系统垂直抖动量。高光谱成像仪采集的原始线图像的纵坐标与垂直抖动像素偏移量相加，补偿因为系统在垂直于扫描方向上的抖动所造成高光谱成像仪在拼接图像的扭曲和失真。

系统在水平方向抖动主要体现在系统沿着扫描方向推扫过程中由于推扫速度过慢导致拼接图像会产生重影。系统在扫描方向上的偏移量主要由当前帧和后一帧的sift特征点横坐标之差的平均值得到。若是水平像素偏移量小于阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。

偏移量的计算要依靠特征点来进行，具体步骤如下：

(1)如图1所示，首先校准高光谱成像仪和校准相机位置，校准结果保存为r、s、t，读取校准相机中的视频，设校准相机捕获的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：

其中n是正确匹配的筛选特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标。hor是第(i+j)帧与起始帧之间的像素水平偏移量，ver是第(i+j)帧相对于起始帧的像素垂直偏移量。接下来判断是否需要矫正，如果垂直偏移量a_ver(fi+j)小于阈值t_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧。迭代直到当前帧fi移动到结束帧fe。最终由校准结果的转换矩阵r、s、t将其统一到一个坐标系中：

(2)判断相对垂直像素偏移ver(fi,fi+j)是否大于垂直偏移阈值t_sh：如果ver(fi,fi+j)小于阈值，则j逐渐递增，直到ver(fi,fi+j)大于垂直偏移阈值t_sh。若后j帧图像帧fi+j和当前帧fi的相对垂直像素偏移ver(fi,fi+j)，满足大于垂直偏移阈值t_sh的条件，当前帧fi就会移动到之后j帧的位置，以便fi+j在逐渐向后移动的过程中能够始终和当前帧fi检测到足够的匹配特征点。

(3)判断绝对水平偏移像素a_hor(fi)是否大于水平偏移像素阈值。若是绝对水平像素偏移量a_hor(fi)小于水平偏移像素阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。

根据上述公式，计算校准相机中当前帧fi和起始帧fs的绝对水平像素偏移量a_hor(fi)和绝对垂直像素偏移量a_ver(fi)。高光谱成像仪采集的原始线图像的纵坐标与绝对垂直偏移量a_ver(fi)相加，就补偿了因为系统在垂直方向上的抖动所造成拼接图像的扭曲和失真。系统在水平方向抖动主要体现在扫描过程的速度过慢导致拼接图像会产生重影。在抖动矫正过程中若是绝对水平像素偏移量a_hor(fi)小于水平像素偏移阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。将校准相机采集视频的当前帧fi从起始帧fs不断循环至结束帧fe，高光谱线图像逐帧补偿抖动偏移并拼接在一起，就可以得到系统抖动矫正后的高光谱图像。其中，抖动矫正后的高光谱图像的一个维度记录光谱数据，另外一个维度记录空间数据。

高光谱成像仪采用线扫描的方式，沿着水平方向一直推扫运动，在运动过程中交校准相机可以采集场景不同视角下的图像序列，基于该图像序列，我们可以用sfm-mvs算法来重建场景的三维结构。

利用sfm-mvs算法重建扫描场景，具体步骤如下：

(1)在提取两帧匹配的筛选特征点的基础上，计算出两帧的逆几何，并估计出f矩阵。

通过ransac算法对特征点的匹配进行优化，使特征点以链的形式在每两帧之间传输，形成轨迹。

(2)从图像中提取的焦距用作种子，以初始化整个ba(束调整)过程。然后向循环中添加一个新图像，并继续ba，直到没有合适的图像可以添加为止。

(3)在ba的末尾，得到相机的估计参数和场景的稀疏点云。采用基于补丁的mvs，在局部光度一致性和全局可见性的约束下，利用sfm生成的稀疏点云作为种子块，逐渐扩散，重建周围空间块，最终完成密集点云的重建。

将该系统应用于人脸的高光谱图像分析。不仅的能够很好的对人脸成像，同时基于嘴唇的高光谱数据还能很好区分照片中的人脸和真人脸的差别。同时，由于该系统具有优良的防抖性能，该系统被安装在一架无人机上，用于浙江大学的某个讲堂的环境遥感。结果表明，该系统不仅在日常光谱探测方面具有很好的应用价值，而且在无人机遥感观测方面也具有很好的应用前景。