基于优化计算成像的多光谱成像方法、系统及相关设备与流程

本发明适用于计算光谱成像，尤其涉及一种基于优化计算成像的多光谱成像方法、系统及相关设备。

背景技术：

1、光谱成像技术是一种将成像技术与光谱探测技术结合在一起的前沿技术。该技术可以获得同一目标物体的空间信息和光谱信息，并利用多个通道的图像数据堆叠成一个三维的数据立方体，为图像处理提供丰富的空间信息和光谱信息，在各种行业领域均具有广泛的应用。

2、现有的主要光谱成像技术包括：

3、一、专用高光谱成像技术，如采用光栅、lctf（liquid crystal tunable filter，液晶可调谐滤光片）、aotf（acousto-optic tunable filter，声光可调谐滤波器）等技术进行高光谱成像，但这类设备设计复杂，价格昂贵，光谱采集实时性不高；

4、二、采用多镜头、多滤光片和多传感器进行多光谱成像，这种方法的优点是能实现光谱实时采集，但缺点是体积较大，多镜头图像需要进行像素对齐等处理，无法扩展为光学变倍变焦等；

5、三、采用单镜头，及棱镜分光，加上多滤光片和多传感器进行多光谱成像，这种方法优点是能实现光谱实时采集，缺点是光损失较大；

6、四、计算成像，该方法通常采用彩色传感器拍摄彩色rgb图像，并以此重建光谱图像，其波段范围集中在400nm~700nm的可见光区域，但这种方法不能对近红外和红外波段范围进行成像，而且计算重建的精度不高。

技术实现思路

1、本发明提供一种基于优化计算成像的多光谱成像方法、系统及相关设备，旨在解决现有技术发多光谱成像方案存在的成像波段小、实现成本高的问题。

2、为解决上述技术问题，第一方面，本发明提供一种基于优化计算成像的多光谱成像方法，所述多光谱成像方法包括以下步骤：

3、s101、获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围；

4、s102、将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数；

5、s103、根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元；

6、s104、通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对；

7、s105、将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，得到多光谱重构模型；

8、s106、将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，再通过所述多光谱重构模型输出得到多光谱成像结果。

9、更进一步地，步骤s102包括以下子步骤：

10、s1021、确定所述差分进化算法的控制参数，包括：种群大小、缩放因子、杂交概率与最大差分进化代数；

11、s1022、根据所述膜系参数，按照所述种群大小和所述缩放因子随机产生种群；

12、s1023、根据预设评价算法计算所述种群中每个个体的适应度值；

13、s1024、判断所述差分进化算法是否达到预设差分进化终止条件：若是，则根据所述适应度值输出其中最优个体对应的所述最优膜系参数；若否，执行步骤s1025；

14、s1025、将所述种群根据所述杂交概率进行变异交叉，得到中间种群；

15、s1026、在当前所述种群和所述中间种群进行随机个体选择，得到新一代的种群；

16、s1027、更新差分进化代数，返回步骤s1023。

17、更进一步地，所述种群中每个个体对应的所述膜系参数的厚度区间为10nm~300nm。

18、更进一步地，所述预设差分进化终止条件为：

19、所述差分进化代数达到所述最大差分进化代数；或，

20、所述种群中的所述个体的所述适应度值达到预设最优阈值。

21、更进一步地，所述预设评价算法具体为：

22、s201、确定评价最大迭代次数，以及用于构建所述预设多光谱重构网络的预设光谱数据和彩色传感器响应曲线；

23、s202、通过时域有限差分法计算当前所述个体对应的所述膜系参数的光谱响应曲线；

24、s203、初始化所述预设多光谱重构网络的权重；

25、s204、判断评价迭代次数是否到达所述评价最大迭代次数：若是，则将所述预设多光谱重构网络的训练损失值作为所述个体的所述适应度值进行输出；若否，则执行步骤s205；

26、s205、通过所述预设光谱数据和所述彩色传感器响应曲线计算出图像强度数据；

27、s206、将所述图像强度数据作为所述预设多光谱重构网络的输入，并进行所述预设多光谱重构网络的前向传播，输出为得到第二光谱训练数据，通过损失函数计算所述光谱训练数据和所述第二光谱训练数据之间的所述训练损失值；

28、s207、根据所述训练损失值对所述权重进行更新；

29、s208、更新所述评价迭代次数，返回步骤s204。

30、更进一步地，所述损失函数为mrae。

31、更进一步地，所述预设多光谱重构网络基于dnn。

32、第二方面，本发明还提供一种基于优化计算成像的多光谱成像系统，包括：

33、参数获取模块，用于获取用于构建多光谱成像第一单元的膜系参数，所述多光谱成像第一单元用于扩宽光谱成像第二单元的成像波段范围；

34、差分进化模块，用于将所述膜系参数作为差分进化算法的输入，通过所述差分进化算法的迭代计算输出得到最优膜系参数；

35、单元组合模块，用于根据所述最优膜系参数构建所述多光谱成像第一单元，并将所述多光谱成像第一单元与多光谱成像第二单元组合得到多光谱成像单元；

36、数据对构建模块，用于通过所述多光谱成像单元获取多光谱训练数据，同时，获取与所述多光谱训练数据对应的彩色训练数据，构建彩色-多光谱数据对；

37、有监督训练模块，用于将所述彩色多光谱数据作为预设多光谱重构网络的输入，对所述预设多光谱重构网络进行有监督训练，再通过所述多光谱重构模型得到多光谱重构模型；

38、多光谱成像模块，用于将所述多光谱成像单元采集的多光谱成像数据输入所述多光谱重构模型，输出得到多光谱成像结果。

39、第三方面，本发明还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于优化计算成像的多光谱成像程序，所述处理器执行所述基于优化计算成像的多光谱成像程序时实现如上述实施例中任意一项所述的基于优化计算成像的多光谱成像方法中的步骤。

40、第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于优化计算成像的多光谱成像程序，所述基于优化计算成像的多光谱成像程序被处理器执行时实现如上述实施例中任意一项所述的基于优化计算成像的多光谱成像方法中的步骤。

41、本发明所达到的有益效果，在于提出了一种结合光谱分析和计算成像的多光谱成像方法及系统，该方法通过差分进化算法设计具有光学效果的成像单元，在将其结合到彩色传感器的成像单元中，从而扩大光谱重建的波段范围，优化了多光谱数据的采集效果，另外，该方法还通过构建深度神经网络dnn来提高光谱成像重建的精度，这样的设计不但降低了多光谱成像系统的实现成本，还进一步提高了多光谱成像的质量。