一种混合型高光谱图像重构的方法及系统与流程

本申请涉及人工智能领域，尤其涉及一种混合型高光谱图像重构的方法及系统。

背景技术：

近年来，高光谱图像采集在遥感、农业、工业检测等各应用领域中扮演着越发重要的角色。一般情况下，高光谱图像的采集需要在常规的图像传感器前加装滤波装置以获得多个不同波段的窄带光信号，例如，基于利奥(lyot)滤镜组的液晶可调滤镜(liquidcrystaltunablefilter,lctf)，但是由于其原理是按照时间顺序收集多个单一波段的图像来进行高光谱图像采集的，因此只适用于拍摄静止的景物；或者添加分光装置如基于弹光效应的声光可调滤镜(acousto-opticaltunablefilter,aotf)并通过图像传感器的不同区域接收不同波段的光，因此可以实现瞬时的高光谱拍摄。以上进行高光谱图像采集的两种方法均需要添加外置装置，降低了整体系统的便携性，提高了成本；并且为了获得较高的光谱分辨率，均一定程度上牺牲了时域分辨率或空间分辨率。

技术实现要素：

本申请提供了一种混合型高光谱图像重构的方法及系统，用于解决高光谱图像采集方法便携性低、成本高的缺点。

第一方面，本申请提供了一种混合型高光谱图像重构的方法，所述方法包括以下步骤：

图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为rgb图像，所述第二区域图像为高光谱图像；

将所述第一区域图像重构为第一区域的高光谱图像；

将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。

可选地，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。

可选地，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。

可选地，在所述第一区域的高光谱图像中出现波段重叠区域的情况下，所述方法还包括：

获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；

使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；

对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；

将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。

可选地，将所述第一区域图像重构为第一区域的高光谱图像包括：

将所述第一区域图像输入rgb重构模型yrgb＝drgbx，根据rgb图像字典drgb，获得所述权重系数矩阵x，其中，yrgb为输出的rgb图像，drgb为rgb图像字典，x为权重系数矩阵，所述权重系数矩阵反映了所述输出的rgb图像yrgb和rgb图像字典drgb之间的映射关系，所述rgb图像字典drgb根据所述高光谱图像字典dh以及图像传感器的光谱响应函数s获得；

根据所述权重系数矩阵x输入高光谱图像重构模型yh＝dhx，根据高光谱图像字典dh，获得所述第一区域的高光谱图像，其中，yh为输出的高光谱图像，dh为高光谱图像字典，x为权重系数矩阵，所述权重系数矩阵反映了所述输出的高光谱图像yh和高光谱图像字典dh之间的映射关系，所述高光谱图像字典dh是在所述获取待重构图像之前，通过将所述权重系数矩阵x初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。

可选地，在所述图像传感器拍摄目标视野获取目标待重构图像之前，所述方法还包括：

将所述权重系数矩阵x初始化0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典dh；

根据所述高光谱图像字典dh以及所述图像传感器的光谱响应函数s，获得rgb图像字典drgb，其中，drgb＝sdh。

可选地，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。

可选地，所述图像传感器基于半导体薄膜技术，其中，

所述第一滤光片是rgb染料滤光片；

所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的f-p腔薄膜阵列；或者，

所述第二滤光片是利用光子晶体在cmos传感器阵列上构成的反射式多通道滤波片。

可选地，所述获得重构后的目标高光谱图像之后，所述方法还包括：

将拍摄所述目标区域使用的第一滤光片切换为第二滤光片。

第二方面，提供了一种混合型高光谱图像重构系统，所述系统包括：

获取单元，所述获取单元用于使用图像传感器拍摄目标视野获取目标待重构图像，其中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为rgb图像，所述第二区域图像为高光谱图像；

重构单元，所述重构单元用于将所述第一区域图像重构为第一区域的高光谱图像；

融合单元，所述融合单元用于将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。

可选地，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于所述第二区域图像。

可选地，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。

可选地，所述系统还包括补拍单元，

所述补拍单元用于在所述第一区域的高光谱图像中出现波段重叠区域的情况下，获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；

使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；

所述补拍单元还用于对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；

所述融合单元还用于将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得所述重构后的目标高光谱图像。

可选地，所述重构单元具体用于将所述第一区域图像输入rgb重构模型yrgb＝drgbx，根据rgb图像字典drgb，获得所述权重系数矩阵x，其中，yrgb为输出的rgb图像，drgb为rgb图像字典，x为权重系数矩阵，所述权重系数矩阵x反映了所述输出的rgb图像yrgb和rgb图像字典drgb之间的映射关系，所述rgb图像字典drgb根据所述高光谱图像字典dh以及图像传感器的光谱响应函数s获得；

所述重构单元具体用于根据所述权重系数矩阵x输入高光谱图像重构模型yh＝dhx，根据高光谱图像字典dh，获得所述第一区域的高光谱图像，其中，yh为输出的高光谱图像，dh为高光谱图像字典，x为权重系数矩阵，所述权重系数矩阵x反映了所述输出的高光谱图像yh和高光谱图像字典dh之间的映射关系，所述高光谱图像字典dh是在所述获取待重构图像之前，通过将所述权重系数矩阵x初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。

可选地，所述系统还包括训练单元，

所述训练单元用于在所述图像传感器拍摄目标视野获取目标待重构图像之前，通过将所述权重系数矩阵x初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典dh；

所述训练单元还用于根据所述高光谱图像字典dh以及所述图像传感器的光谱响应函数s，获得rgb图像字典drgb，其中，drgb＝sdh。

可选地，所述第一滤光片是rgb染料滤光片；

所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的f-p腔薄膜阵列；或者，

所述第二滤光片是利用光子晶体在cmos传感器阵列上构成的反射式多通道滤波片。

可选地，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。

可选地，所述系统还包括切换单元，

所述切换单元用于在所述获得重构后的目标高光谱图像之后，将所述与拍摄所述目标区域使用的第一滤光片切换为第二滤光片。

基于本申请提供的混合型高光谱图像重构的方法及系统，通过图像传感器拍摄目标视野获取目标待重构图像，再将所述第一区域图像重构为第一区域的高光谱图像，从而将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。使得图像传感器无需添加额外的分光装置或者滤波装置就可以拍摄出高精度的高光谱图像，具有便携性好，成本低的优点。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的一种混合型高光谱图像重构的方法；

图2是本申请提供的一种图像传感器成像区域中的超级像素分布示意图；

图3是本申请提供的一种使用f-p腔薄膜阵列形成的超级像素的结构示意图；

图4是本申请提供的一种混合型高光谱图像重构的方法的拍摄流程示意图；

图5是本申请提供的一种混合型高光谱图像重构系统的结构示意图；

图6是本申请提供的一种电子设备的结构示意图。

具体实施方式

本申请实施例的混合型高光谱图像重构的方法及系统可以应用在多个领域。例如，遥感、农业、工业检测、军事等各个应用领域，可以装在飞行器上进行目标视野的高光谱图像拍摄，例如，在农业领域中，可以根据拍摄的农作物的高光谱图像进行农作物长势评估、灾害预警和生产管理；在地质勘探和矿产领域中，可以根据拍摄的地物的高光谱图像获取波谱特征，从而进行地表矿物的识别；在军事侦测领域中，可以根据拍摄的战场的高光谱图像来区分识别目标、伪装物以及自然物，从而提高目标打击的准确率等等，本申请不作具体限定。

图1是本申请提供的一种混合型高光谱图像重构的方法，所述方法包括以下步骤：

s101：图像传感器拍摄目标视野获取目标待重构图像。

在一实施例中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为rgb图像，所述第二区域图像为高光谱图像。所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。也就是说，图像传感器拍摄目标视野后，可以得到一张目标待重构图像，这张目标待重构图像一部分是rgb图像，也就是第一区域图像，一部分是高光谱图像，也就是第二区域图像。其中，第一区域图像是图像传感器第一滤光片得到的图像，第二区域图像是图像传感器使用第二滤光片拍摄得到的图像。应理解，对于本申请提供的图像传感器来说，第一滤光片拍摄的第一区域的面积，远远大于第二滤光片拍摄的第二区域的面积。这是因为图像传感器拍摄高光谱图像需要额外添加昂贵的分光装置以及滤波装置，如果直接使用添加外置装置的图像传感器直接拍摄高光谱图像，对于经常与无人机搭配使用进行目标视野拍摄的高光谱采集图像传感器来说，成本高，并且便携性差。因而本申请提供的方案，主要是由采集rgb图像的第一滤光片进行目标视野的拍摄的，图像传感器无需额外添加外置装置即可获得高精度的高光谱图像，从而大大降低制作成本，且具有良好的便携性。

在一实施例中，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。也就是说，第一区域图像是直接使用图像传感器及第一滤光片拍摄获得的，而第二滤光片只能拍摄出多光谱图像，而第二区域图像是高光谱图像，因此，图像传感器可以直接使用第二滤光片拍摄目标视野获得多光谱图像后，再进行空间分辨率的恢复操作得到第二区域。应理解，多光谱图像其实可以看做是高光谱图像的一种情况，即成像的波段数量比高光谱图像少，一般只有几个到十几个。由于光谱信息其实也就对应了色彩信息，所以多光谱图像或者说多波段遥感图像可以得到地物的色彩信息，但是空间分辨率较低。因此使用第二滤光片获得目标视野的多光谱图像后，可以使用空间分辨率恢复的操作，获得高光谱图像。可以理解的是，使用第二滤波片采集多光谱数据还可以有效降低rgb重构高光谱图像的运算成本，在一定程度上缩短重构计算的时间。

在一实施例中，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。应理解，每个超级像素用于直接获得多光谱图像，对多光谱图像进行空间分辨率的恢复后，可以获得高光谱图像。虽然第二滤光片采集多光谱数据还可以有效降低rgb重构高光谱图像的运算成本，但是，直接拍摄rgb图像的第一滤光片的成本远远低于拍摄多光谱的第二滤光片的成本。因此，第二滤光片中的超级像素个数是有限的，不能太多。优选地，图像传感器成像区域每个象限的超级像素的数目为4-6个，组成超级像素的单波长像素种类数目为2×2或者3×3。例如，图2是本申请提供的一种图像传感器成像区域中的超级像素分布示意图。其中，图中的无色部分为第一滤光片覆盖的区域，深色部分为第二滤光片覆盖的区域，第二滤光片包含的超级像素的总个数为4×6个，分别位于图像传感器的成像区域中的四个象限中心位置，每个象限的中心包含6个超级像素，每个超级像素由3×3个单波长像素排列组合成正方形像素集合。应理解，上述举例仅用于说明，并不能构成具体限定。

在一实施例中，所述第一滤光片是rgb染料滤光片；所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的f-p腔薄膜阵列；或者，所述第二滤光片是利用光子晶体在cmos传感器阵列上构成的反射式多通道滤波片。应理解，第二滤光片用于拍摄多光谱图片，即第二滤光片具有采集不同波段的光信号的特性，而f-p腔是一种利用多光束干涉现象来进行分光操作的装置，因此可以通过改变传感器前端f-p腔的结构，包括但不限于腔长、腔体介质的折射率、反射镜的材质等等，从而改变第二滤光片的光通过频率，组成可以进行多光谱拍摄的超级像素。例如，一种使用f-p腔薄膜阵列形成的超级像素的结构如图3所示，其中，图3显示的是f-p腔薄膜阵列形成的超级像素的侧视图，图3仅显示了超级像素中的5个单波长像素，每个单波长像素包括底层反射镜301，透明介质302以及顶层反射镜303。其中，透明介质302的材料为二氧化硅si02，其折射率约为n＝1.54，底层反射镜301采用银ag作为反射材料，其在可见光波段反射率约为90％以上，由图3可知，每个单波长像素的腔长是不同的。下面以红光(波长630nm)绿光(波长550nm)蓝光(波长440nm)为例，对透明介质302的介质腔腔长的计算进行举例说明。应理解，图3所示的f-p腔薄膜阵列的光学腔长应满足下列相干干涉条件(以正入射为例)：

2nd＝nλ，n∈z(1)

其中，n为透明介质302的折射率，d为透明介质302的介质腔腔长，λ为入射光波长，n为一个正整数。因此，上述红、绿、蓝三个通道一种可能的腔长组合为：201nm、179nm以及143nm。因此，根据公式(1)以及不同的光波段的波长，可以分别计算出对应的介质腔腔长，从而制作出f-p腔薄膜阵列形成超级像素。应理解，上述举例仅用于说明，并不能构成具体限定，图像传感器的超级像素还可以是利用光子晶体在coms传感器阵列上构成反射式多通道滤波片，从而代替f-p腔薄膜阵列对不同波段进行选择，本申请不再赘述。

s102：将所述第一区域图像重构为第一区域的高光谱图像。

在一实施例中，将所述第一区域图像重构为第一区域的高光谱图像包括：将所述第一区域图像输入rgb重构模型yrgb＝drgbx，根据rgb图像字典drgb，获得所述权重系数矩阵x，其中，yrgb为输出的rgb图像，drgb为rgb图像字典，x为权重系数矩阵，所述权重系数矩阵x反映了所述输出的rgb图像yrgb和rgb图像字典drgb之间的映射关系，所述rgb图像字典drgb根据所述高光谱图像字典dh以及图像传感器的光谱响应函数s获得；根据所述权重系数矩阵x输入高光谱图像重构模型yh＝dhx，根据高光谱图像字典dh，获得所述第一区域的高光谱图像，其中，yh为输出的高光谱图像，dh为高光谱图像字典，x为权重系数矩阵，所述权重系数矩阵x反映了所述输出的高光谱图像yh和高光谱图像字典dh之间的映射关系，所述高光谱图像字典dh是在所述获取待重构图像之前，通过将所述权重系数矩阵x初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。

优选地，可以通过正交匹配追踪算法(orthogonalmatchingpursuit,omp)，根据输入的rgb图像以及公式(2)计算对应的权重系数矩阵x：

yrgb＝drgbx，w∈r^k×l(2)

其中，k表示矩阵的行数，l表述矩阵的列数，并且dh和drgb有如公式(3)所示的确定的映射关系：

drgb＝sdh＝{c1,c2,…,ck}，s∈r^3×n，ci＝(ri,gi,bi)^t(3)

其中，s为图像传感器的光谱响应函数，光谱响应函数s可以通过rgb图像传感器的生产厂家获取或直接测定，其物理意义为对一个高光谱通道的信号在对应的r或g或b通道的响应。因此，dh和drgb有确定映射关系的情况下，rgb图像字典drgb的权重系数矩阵x同样可以用于高光谱字典dh。通过对高光谱字典中原子的线性组合，重构出输入rgb图像的高光谱图像yh，其中，

yh＝dhx(4)

应理解，上述计算过程为举例说明，本申请除了通过omp方法根据输入的rgb图像计算出权重系数矩阵x，还可以使用其他方法获得重构的高光谱图像，例如利用深度学习神经网络的方法，使用已有的rgb图像库和对应的高光谱图像库对神经网络进行训练，从而获得输入rgb图像，输出高光谱图像的重构模型，本申请不作具体限定。

在一实施例中，在所述图像传感器拍摄目标视野获取目标待重构图像之前，所述方法还包括：将所述权重系数矩阵x初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典dh；根据所述高光谱图像字典dh以及图像传感器的光谱响应函数s，获得rgb图像字典drgb，其中，drgb＝sdh。

优选地，步骤s102根据输入的第一区域图像进行高光谱图像的重构过程中，使用的高光谱图像字典dh可以是利用预先已有的高光谱图像字典，也可以是通过字典学习中的一种经典算法k-svd算法迭代更新后获得的过完备的高光谱图像字典dh。具体地，给定训练数据y，即已有的高光谱图像数据库，把y矩阵分为y≈d*x，其中d称为字典，d的每一列称为原子，x称为系数矩阵。从样本集y随机挑选k个样品，作为字典d的原子，并且初始化系数矩阵x为0，以如下函数为目标函数对d和x进行逐列更新：

d,x＝argmind,x{‖x‖0},st‖y-dx‖²≤ε(5)

其中ε是重构误差中允许的最大值，经过反复迭代更新，获得高光谱图像字典dh：

dh＝{h1,h2,…,hk}，hi∈r^n×1，dh∈r^n×k(6)

其中n表示矩阵的行数，k表示矩阵的列数。获得高光谱图像字典dh后，再通过公式(3)以及光谱响应函数s，将获得的高光谱图像字典dh降维映射至rgb空间，从而获得对应的rgb字典drgb。使得步骤s102可以根据输入的第一区域图像，也就是rgb图像，根据公式(2)获得权重系数矩阵x后，再根据公式(4)即可获得重构的第一区域的高光谱图像。应理解，上述计算过程仅用于举例说明，本申请不作具体限定。其中，在计算y≈d*x是一欠定方程时，除了使用本申请提供的omp算法，还可以根据稀疏性的先验条件，通过使用l0范数约束找到最稀疏的解，比如贪婪(greedy)算法以及mp算法，对于其他计算方法，本申请不再作赘述。其中，为了提高高光谱图像重构的准确率，本申请使用的高光谱图像样本集可以包括多个不同场景下的高光谱图像，包括但不限于城市、郊区、农业、动植物景观、室内景观等高光谱可以应用的区域。

s103：将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。

在一实施例中，在所述第一区域的高光谱图像中出现波段重叠区域的情况下，所述方法还包括：获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。应理解，利用图像字典进行rgb图像重构为高光谱图像的方法，经过对损失函数的分析可以发现，在rgb各个波带边缘区域，重构质量有一定程度的下降，原因是rgb各个波段之间的交叠会引起映射误差。换句话说，波段重叠区域指的就是各个波段之间的交叠区域。因此，本申请提供的混合高光谱重构的方法，可以将图像传感器的第二区域加工成为可以进行高光谱图像采集的超级像素，用于直接获得准确的高光谱图像，对光波段交叠区域直接进行高光谱图像的拍摄，从而提高高光谱图像的重构精度。其中第二区域可以是预先通过计算得出的各个光波段之间的交叠区域，还可以是在使用第一区域拍摄并重构高光谱图像后确定的波段重叠区域。需要说明的，如果拍摄时由于无人机振动、光线角度或者其他外界情况造成图片不清晰的区域，也可以使用第二滤光片进行补拍，从而最大程度地确保最后获得的高光谱重构图像的重构精度。

例如，图4是本申请提供的一种混合型高光谱重构的方法的拍摄流程示意图。首先，使用图像传感器对目标视野区域进行拍摄，获得待重构图像，其中，拍摄使用的传感器可以是包含如图3所示使用f-p腔薄膜阵列的coms图像传感器阵列；接着，将待重构图像的第一区域图像也就是rgb图像，进行步骤s102的rgb重构高光谱操作，对于rgb各波段边缘的成像区域，系统将会提示需要利用图像传感器的第二滤波片对目标区域进行补拍，获得目标区域的多光谱图像，以弥补rgb各个波段边缘重构精度低的问题，再对补拍得到的多光谱图像进行空间分辨率的恢复后，获得一张或者多张目标区域的高光谱图像；再将第二区域图像也就是使用第二滤波片拍摄获得的多光谱图像，进行空间分辨率的恢复后，获得第二区域的高光谱图像；最后将第一区域的高光谱图像、一张或者多张目标区域的高光谱图像、以及第二区域的高光谱图像，使用主成分分析(principalcomponentanalysis,pca)等图像融合算法进行融合后，即可获得重构后的高精度的高光谱图像。其中，如果第一滤波片拍摄的rgb图像进行步骤s102的高光谱重构后，没有处于光波段边缘的波段重叠区域，则不需要再使用第二滤波片进行高光谱图像的补拍，这里，可以直接使用第一区域的高光谱图像与第二区域的高光谱图像进行图像融合操作，即可获得重构后的高精度的高光谱图像。由图4可知，使用本申请提供的混合型高光谱图像重构的方法，利用rgb图像重构出高光谱图像，不但大大降低了硬件成本，由于添加了具备多光谱拍摄能力的超级像素，同时也大大提高了高光谱重构的精度，并且，超级像素采集的多光谱数据还可以有效降低rgb重构高光谱的运算成本，从而缩短重构高光谱图像的计算时间。

在一实施例中，所述获得重构后的目标高光谱图像之后，所述方法还包括：将拍摄所述目标区域使用的第一滤光片切换为第二滤光片。也就是说，第二滤光片的初始分布可以是分布于图像传感器的四个象限的中心位置，在第一区域的高光谱图像多次出现光谱重叠的情况时，还可以对第二滤光片的超级像素分布进行调整。换句话说，本申请提供的混合型高光谱图像重构的方法使用的图像传感器，其中用于拍摄多光谱图像的超级像素，可以根据实际应用领域的需要，更改光信号的通道数目、超级像素的数量及具体分布。

上述方法中，通过图像传感器拍摄目标视野获取目标待重构图像，再将所述第一区域图像重构为第一区域的高光谱图像，从而将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。通过上述方法，使得图像传感器无需添加额外的分光装置或者滤波装置就可以拍摄出高精度的高光谱图像，具有便携性好，成本低的优点。

图5是本申请提供的一种混合型高光谱图像重构系统的结构示意图，如图5所示，本申请提供的混合型高光谱图像重构系统包括获取单元510，重构单元520、融合单元530、训练单元540、补拍单元550以及切换单元560。

所述获取单元510用于使用图像传感器拍摄目标视野获取目标待重构图像。

在一实施例中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为rgb图像，所述第二区域图像为高光谱图像。所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。也就是说，图像传感器拍摄目标视野后，可以得到一张目标待重构图像，这张目标待重构图像一部分是rgb图像，也就是第一区域图像，一部分是高光谱图像，也就是第二区域图像。其中，第一区域图像是图像传感器第一滤光片得到的图像，第二区域图像是图像传感器使用第二滤光片拍摄得到的图像。应理解，对于本申请提供的图像传感器来说，第一滤光片拍摄的第一区域的面积，远远大于第二滤光片拍摄的第二区域的面积。这是因为图像传感器拍摄高光谱图像需要额外添加昂贵的分光装置以及滤波装置，如果直接使用添加外置装置的图像传感器直接拍摄高光谱图像，对于经常与无人机搭配使用进行目标视野拍摄的高光谱采集图像传感器来说，成本高，并且便携性差。因而本申请提供的方案，主要是由采集rgb图像的第一滤光片进行目标视野的拍摄的，图像传感器无需额外添加外置装置即可获得高精度的高光谱图像，从而大大降低制作成本，且具有良好的便携性。

在一实施例中，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。也就是说，第一区域图像是直接使用图像传感器及第一滤光片拍摄获得的，而第二滤光片只能拍摄出多光谱图像，而第二区域图像是高光谱图像，因此，图像传感器可以直接使用第二滤光片拍摄目标视野获得多光谱图像后，再进行空间分辨率的恢复操作得到第二区域。应理解，多光谱图像其实可以看做是高光谱图像的一种情况，即成像的波段数量比高光谱图像少，一般只有几个到十几个。由于光谱信息其实也就对应了色彩信息，所以多光谱图像或者说多波段遥感图像可以得到地物的色彩信息，但是空间分辨率较低。因此使用第二滤光片获得目标视野的多光谱图像后，可以使用空间分辨率恢复的操作，获得高光谱图像。可以理解的是，使用第二滤波片采集多光谱数据还可以有效降低rgb重构高光谱图像的运算成本，在一定程度上缩短重构计算的时间。

在一实施例中，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。应理解，每个超级像素用于直接获得多光谱图像，对多光谱图像进行空间分辨率的恢复后，可以获得高光谱图像。虽然第二滤光片采集多光谱数据还可以有效降低rgb重构高光谱图像的运算成本，但是，直接拍摄rgb图像的第一滤光片的成本远远低于拍摄多光谱的第二滤光片的成本。因此，第二滤光片中的超级像素个数是有限的，不能太多。优选地，图像传感器成像区域每个象限的超级像素的数目为4-6个，组成超级像素的单波长像素种类数目为2×2或者3×3。例如，图2是本申请提供的一种图像传感器成像区域中的超级像素分布示意图。其中，图中的无色部分为第一滤光片覆盖的区域，深色部分为第二滤光片覆盖的区域，第二滤光片包含的超级像素的总个数为4×6个，分别位于图像传感器的成像区域中的四个象限中心位置，每个象限的中心包含6个超级像素，每个超级像素由3×3个单波长像素排列组合成正方形像素集合。应理解，上述举例仅用于说明，并不能构成具体限定。

在一实施例中，所述第一滤光片是rgb染料滤光片；所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的f-p腔薄膜阵列；或者，所述第二滤光片是利用光子晶体在cmos传感器阵列上构成的反射式多通道滤波片。应理解，第二滤光片用于拍摄多光谱图片，即第二滤光片具有采集不同波段的光信号的特性，而f-p腔是一种利用多光束干涉现象来进行分光操作的装置，因此可以通过改变传感器前端f-p腔的结构，包括但不限于腔长、腔体介质的折射率、反射镜的材质等等，从而改变第二滤光片的光通过频率，组成可以进行多光谱拍摄的超级像素。例如，一种使用f-p腔薄膜阵列形成的超级像素的结构如图3所示，其中，图3显示的是f-p腔薄膜阵列形成的超级像素的侧视图，图3仅显示了超级像素中的5个单波长像素，每个单波长像素包括底层反射镜301，透明介质302以及顶层反射镜303。其中，透明介质302的材料为二氧化硅si02，其折射率约为n＝1.54，底层反射镜301采用银ag作为反射材料，其在可见光波段反射率约为90％以上，由图3可知，每个单波长像素的腔长是不同的。下面以红光(波长630nm)绿光(波长550nm)蓝光(波长440nm)为例，对腔长的计算进行举例说明。应理解，图3所示的f-p腔薄膜阵列的光学腔长应满足公式(1)所示的相干干涉条件(以正入射为例)，其中，n为透明介质302的折射率，d为透明介质302的介质腔腔长，λ为入射光波长，n为一个正整数。因此，上述红、绿、蓝三个通道一种可能的腔长组合为：201nm、179nm以及143nm。因此，根据公式(1)以及不同的光波段的波长，可以分别计算出对应的介质腔腔长，从而制作出f-p腔薄膜阵列形成超级像素。应理解，上述举例仅用于说明，并不能构成具体限定，图像传感器的超级像素还可以是利用光子晶体在coms传感器阵列上构成反射式多通道滤波片，从而代替f-p腔薄膜阵列对不同波段进行选择，本申请不再赘述。

所述重构单元520用于将所述第一区域图像重构为第一区域的高光谱图像。

在一实施例中，所述重构单元520具体用于将所述第一区域图像输入rgb重构模型yrgb＝drgbx，根据rgb图像字典drgb，获得所述权重系数矩阵x，其中，yrgb为输出的rgb图像，drgb为rgb图像字典，x为权重系数矩阵，所述权重系数矩阵x反映了所述输出的rgb图像yrgb和rgb图像字典drgb之间的映射关系，所述rgb图像字典drgb根据所述高光谱图像字典dh以及图像传感器的光谱响应函数s获得；所述重构单元520具体用于根据所述权重系数矩阵x输入高光谱图像重构模型yh＝dhx，根据高光谱图像字典dh，获得所述第一区域的高光谱图像，其中，yh为输出的高光谱图像，dh为高光谱图像字典，x为权重系数矩阵，所述权重系数矩阵x反映了所述输出的高光谱图像yh和高光谱图像字典dh之间的映射关系，所述高光谱图像字典dh是在所述获取待重构图像之前，通过将所述权重系数矩阵x初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。

在一具体的实施例中，可以通过正交匹配追踪算法(orthogonalmatchingpursuit,omp)，根据输入的rgb图像以及公式(2)计算对应的权重系数矩阵x，其中，k表示矩阵的行数，l表述矩阵的列数，并且dh和drgb有如公式(3)所示的确定的映射关系，其中，s为图像传感器的光谱响应函数，光谱响应函数s可以通过rgb图像传感器的生产厂家获取或直接测定，其物理意义为对一个高光谱通道的信号在对应的r或g或b通道的响应。因此，dh和drgb有确定映射关系的情况下，rgb图像字典drgb的权重系数矩阵x同样可以用于高光谱字典dh。通过对高光谱字典中原子的线性组合，重构出输入rgb图像的高光谱图像yh，应理解，上述计算过程为举例说明，本申请除了通过omp方法根据输入的rgb图像计算出权重系数矩阵x，还可以使用其他方法获得重构的高光谱图像，例如利用深度学习神经网络的方法，使用已有的rgb图像库和对应的高光谱图像库对神经网络进行训练，从而获得输入rgb图像，输出高光谱图像的重构模型，本申请不作具体限定。

在一实施例中，所述系统还包括训练单元540，所述训练单元540用于在所述图像传感器拍摄目标视野获取目标待重构图像之前，将所述权重系数矩阵x初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典dh；所述训练单元540还用于根据所述高光谱图像字典dh以及图像传感器的光谱响应函数s，获得rgb图像字典drgb，其中，drgb＝sdh。

优选地，步骤s102根据输入的第一区域图像进行高光谱图像的重构过程中，使用的高光谱图像字典dh可以是预先利用已有的高光谱图像字典，也可以是通过字典学习中的一种经典算法k-svd算法迭代更新后获得的过完备的高光谱图像字典dh。具体地，给定训练数据y，即已有的高光谱图像数据库，把y矩阵分为y≈d*x，其中d称为字典，d的每一列称为原子，x称为系数矩阵。从样本集y随机挑选k个样品，作为字典d的原子，并且初始化系数矩阵x为0，以公式(5)为目标函数对d和x进行逐列更新，其中ε是重构误差中允许的最大值，经过反复迭代更新，获得公式(6)所示的高光谱图像字典dh。其中n表示矩阵的行数，k表示矩阵的列数。获得高光谱图像字典dh后，再通过公式(3)以及光谱响应函数s，将获得的高光谱图像字典dh降维映射至rgb空间，从而获得对应的rgb字典drgb。使得步骤s102可以根据输入的第一区域图像，也就是rgb图像，根据公式(2)获得权重系数矩阵x后，再根据公式(4)即可获得重构的第一区域的高光谱图像。应理解，上述计算过程仅用于举例说明，本申请不作具体限定。其中，在计算y≈d*x这一欠定方程时，除了使用本申请提供的omp算法，还可以根据稀疏性的先验条件，通过使用l0范数约束找到最稀疏的解，比如贪婪(greedy)算法、mp算法以及omp算法，对于其他计算方法，本申请不再作赘述。其中，为了提高高光谱图像重构的准确率，本申请使用的高光谱图像样本集可以包括多个不同场景下的高光谱图像，包括但不限于城市、郊区、农业、动植物景观、室内景观等高光谱可以应用的区域。

所述融合单元530用于将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。

在一实施例中，所述系统还包括补拍单元550，所述补拍单元用于在所述第一区域的高光谱图像在所述第一区域的目标区域出现光谱波段重叠区域的情况下，获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；所述补拍单元550用于使用第二滤光片对所述第一区域的目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；所述补拍单元550还用于对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；所述融合单元还用于将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得所述重构后的目标高光谱图像。应理解，利用图像字典进行rgb图像重构为高光谱图像的方法，经过对损失函数的分析可以发现，在rgb各个波段边缘区域，重构质量有一定程度的下降，原因是rgb各个波段之间的交叠会引起映射误差。换句话说，换句话说，波段重叠区域指的就是各个波段之间的交叠区域。因此，本申请提供的混合高光谱重构的方法，可以将图像传感器的第二区域加工成为可以进行高光谱图像采集的超级像素，用于直接获得准确的高光谱图像，对光波段交叠区域直接进行高光谱图像的拍摄，从而提高高光谱图像的重构精度。其中第二区域可以是预先通过计算得出的各个光波段之间的交叠区域，还可以是在使用第一区域拍摄并重构高光谱图像后确定的波段重叠区域。需要说明的，如果拍摄时由于无人机振动、光线角度或者其他外界情况造成图片不清晰的区域，也可以使用第二滤光片进行补拍，从而最大程度地确保最后获得的高光谱重构图像的重构精度。

例如，图4是本申请提供的一种混合型高光谱图像重构的方法的拍摄流程示意图。首先，使用图像传感器对目标视野区域进行拍摄，获得待重构图像，其中，拍摄使用的传感器可以是包含如图3所示使用f-p腔薄膜阵列的coms图像传感器阵列；接着，将待重构图像的第一区域图像也就是rgb图像，进行步骤s102的rgb重构高光谱操作，对于rgb各波段边缘的成像区域，系统将会提示需要利用图像传感器的第二滤波片对目标区域进行补拍，获得目标区域的多光谱图像，以弥补rgb各个波段边缘重构精度低的问题，再对补拍得到的多光谱图像进行空间分辨率的恢复后，获得一张或者多张目标区域的高光谱图像；再将第二区域图像也就是使用第二滤波片拍摄获得的多光谱图像，进行空间分辨率的恢复后，获得第二区域的高光谱图像；最后将第一区域的高光谱图像、一张或者多张目标区域的高光谱图像、以及第二区域的高光谱图像，使用主成分分析(principalcomponentanalysis,pca)等图像融合算法进行融合后，即可获得重构后的高精度的高光谱图像。其中，如果第一滤波片拍摄的rgb图像进行步骤s102的高光谱重构后，没有处于光波段边缘的波段重叠区域，则不需要再使用第二滤波片进行高光谱图像的补拍，这里，可以直接使用第一区域的高光谱图像与第二区域的高光谱图像进行图像融合操作，即可获得重构后的高精度的高光谱图像。由图4可知，使用本申请提供的混合型高光谱图像重构的方法，利用rgb图像重构出高光谱图像，不但大大降低了硬件成本，由于添加了具备多光谱拍摄能力的超级像素，同时也大大提高了高光谱重构的精度，并且，超级像素采集的多光谱数据还可以有效降低rgb重构高光谱的运算成本，从而缩短重构高光谱图像的计算时间。

在一实施例中，所述系统还包括切换单元560，所述切换单元560用于在所述获得重构后的目标高光谱图像之后，将所述与拍摄所述目标区域使用的第一滤光片切换为第二滤光片。也就是说，第二滤光片的初始分布可以是分布于图像传感器的四个象限的中心位置，在第一区域的高光谱图像多次出现光谱波段重叠区域的情况时，还可以对第二滤光片的超级像素分布进行调整。换句话说，本申请提供的混合型高光谱图像重构的方法使用的图像传感器，其中用于拍摄多光谱图像的超级像素，可以根据实际应用领域的需要，更改光信号的通道数目、超级像素的数量及具体分布。

上述系统中，通过图像传感器拍摄目标视野获取目标待重构图像，再将所述第一区域图像重构为第一区域的高光谱图像，从而将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。通过上述系统，使得图像传感器无需添加额外的分光装置或者滤波装置就可以拍摄出高精度的高光谱图像，具有便携性好，成本低的优点。

图6是本申请实施例提供的一种电子设备结构示意框图。如图6所示，本实施例中的电子设备可以包括：一个或多个处理器601；一个或多个输入设备602，一个或多个输出设备603和存储器604。上述处理器601、输入设备602、输出设备603和存储器604通过总线605连接。存储器602用于存储计算机程序，所述计算机程序包括程序指令，处理器601用于执行存储器602存储的程序指令。

在本申请实施例中，所称处理器601可以是中央处理单元(centralprocessingunit，cpu)，该处理器还可以是其他通用处理器、dsp、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备602可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备603可以包括显示器(lcd等)、扬声器等。

存储器604可以包括易失性存储器，例如ram；存储器也可以包括非易失性存储器，例如只读存储器(read-onlymemory,rom)、快闪存储器、硬盘(harddiskdrive,hdd)或固态硬盘(solid-statedrive,ssd)，存储器还可以包括上述种类的存储器的组合。存储器604可以采用集中式存储，也可以采用分布式存储，此处不作具体限定。可以理解的是，存储器604用于存储计算机程序，例如：计算机程序指令等。在本申请实施例中，存储器604可以向处理器601提供指令和数据。

具体实现中，本申请实施例中所描述的处理器601、输入设备602、输出设备603、存储器604、总线605可执行本申请提供的混合型高光谱图像重构的方法的任一实施例中所描述的实现方式，在此不再赘述。

在本申请的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现本申请提供的混合型高光谱图像重构的方法的任一实施例中所描述的实现方式，在此不再赘述。

所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。