一种光谱多通道混合压缩传输方法与流程

本发明涉及图像处理领域，特别涉及一种光谱多通道混合压缩传输方法。

背景技术：

近年来光谱视频成像已经成为计算机视觉、数字信号处理、图形学等领域的前沿研究热点，特别是光谱视频的实时采集处理是上述领域的重点。由于光谱视频信息量大，所以实时传输处理对带宽的要求很高，因此必须对光谱视频进行压缩传输。由于光谱视频不仅仅是为了显示，满足人眼的需求，而且还是为了后面利用数据进行一系列的研究，所以必须在压缩的过程中保留信息的准确性。在很多场景下，需要用到无损压缩，但是多数的实时光谱视频采集系统空间分辨率较低，这导致空间点的连续性很差，大大提高了压缩的难度，从而增加了传输的负担，许多的光谱视频无法做到实时传输。因此，研究光谱视频的实时压缩传输对光谱视频远程监控，客户机分析具有重要的作用。

目前主流的视频压缩算法包括mpeg-4以及h.264等，mpeg-4于1998年11月发布，mpeg-4是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。mpeg-4标准力求做到两个目标：低比特率下的多媒体通信；是多工业的多媒体通信的综合。h.264和曾经的标准一样，也是dpcm加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比h.263++好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输(存储)场合的需求；它的基本系统是开放的，使用无需版权。但是这些算法大多只是针对rgb图像进行压缩，没有针对光谱视频做特殊的处理，没有利用到光谱视频中包含的多通道信息，压缩效果差，无法满足光谱视频实时压缩传输的要求。

在获得视频光谱的方式上，通常都需要棱镜或者光栅参与，棱镜利用的是折射原理，分光不是线性的，即不同波长偏移的偏向角是不同的，棱镜的波长越短，偏向角越大。光栅是利用衍射效应分光的，光栅的谱级重叠，有干扰，因此要考虑消除，而棱镜不存在这种情况。阿米西棱镜由两个三棱柱组成，第一个三棱柱通常由色散能力为中等的冕牌玻璃制成，第二个则以高色散的火石玻璃制造。光线进入第一个棱镜时先被折射，然后进入两个棱镜之间的接口，再以几乎垂直于第二个棱镜表面的方向射出。棱镜的角度和材质经过选择，使得其中一个波长(颜色)的光，通常是中心的波长，离开棱镜时与入射的光束是平行的。其他波长偏转的角度则与材料的色散能力有关。观察一个通过棱镜的光源就能显示出光源的光学光谱。在色散棱镜中，为了降低成像的几何畸变，通常使用双阿米西棱镜，是由一个阿米西棱镜加一个复制但反置的阿米西棱镜，能增加色散的角度与作用，并且能将有用的成分、中心的波长，折射回入射的路径上。

技术实现要素：

本发明旨在解决现在技术中存在的技术问题，特别创新地提出了一种光谱多通道混合压缩传输方法。

为实现本发明的上述目的，本发明方法采用的技术方案如下：

一种光谱多通道混合压缩传输方法，包括如下步骤：

s1，利用棱镜和掩模获得高光谱分辨率和低空间分辨率的多通道光谱视频，其中，掩模的开孔可以通过多个空间点的光，并在水平方向和垂直方向都进行采样；

s2，利用荧光灯或其他至少有两个特征峰光谱的光源，拍摄白色漫反射背景，特征峰对应的像素亮度梯度大，可以据此标记出单帧光谱图像中特征波长所对应的图像像素坐标；

s3，利用特征峰的位置并模拟棱镜参数，获得步骤s2拍摄的光谱图像上各图像像素坐标对应的波长，得到一张映射表；

s4，利用映射表，拍摄其他场景时，提取对应相同波长的像素点，将这些像素点按照原图像的空间相对位置进行排列，并保证不会出现空间位置在垂直位置上偏移；通过在行采样末尾填不同数量的空白像素，保证提取的不同波长图像的大小是一致的；

s5，将提取的同一波长的像素进行拼接，组成特定大小的单通道图像；将不同波长的单通道图像组合成视频流，对视频流进行压缩；

s6，将压缩后的单通道图像视频流通过网络实时传输至客户端，并进行实时解码拼接，得到完整的光谱视频。

所述步骤s3中，获得映射表的具体步骤为：首先模拟棱镜的参数确定特定点的比例因子，棱镜的参数包括入射角α、出射角β、焦距f以及影响光路出射角度的阿米西棱镜的拼接夹角，不同波长的光线出射后的偏移角度取决于棱镜的参数，在光谱畸变校正的过程中通过随机设置棱镜的参数，模拟出不同波长的光相对于水平位置偏移的距离；根据不同材料的棱镜提供的若干特定波长对应的折射率，通过设定模拟值求解出特定点波长对应的偏移距离，然后通过牛顿差值法，获得步骤s2中特征峰波长对应的偏移距离，之后求取所述特定点波长相对于特征峰波长的偏移比例因子，该偏移比例因子是固定的，不受棱镜参数的影响，这样就可以通过测量实际拍摄图像中特征峰波长的偏移，根据求取的特定点波长的偏移比例因子求得特定点波长对应的像素位置，再通过牛顿差值的方法求得每一个像素对应的波长，得到一张映射表。

所述步骤s5中，将整个视频流分为空间帧和光谱帧，每个空间帧中包含若干光谱帧。

上述方法可以将掩模造成的空间信息不连续的光谱图像按照通道重新拼接，保证光谱质量的前提下进行压缩，相对于直接压缩稀疏的光谱图像，本方法大大提高了压缩比，并且采用压缩传输并行的算法，大幅度提高了传输效率，实现了光谱图像的实时异地采集传输与重建。

附图说明

图1是本发明方法的流程图；

图2是获取光谱视频装置的示意图，由掩模，棱镜和灰度相机组成；

图3是荧光灯的光谱，用来标定相机，荧光灯在可见光波长存在两个特征波峰；

图4是以荧光灯作为光源，光谱视频装置获取的单帧光谱图像；

图5是实例化中具体的棱镜模型，用于参数模拟求取像素——波长映射表；

图6拍摄实际场景，获取的光谱视频中的单帧图像；

图7是将图6进行部分放大后的图像，其中每一条表示一个光谱条带；

图8将图6的单帧光谱图提取出的单通道图，对应波长为570nm；

图9提取若干通道图像经传输之后重新恢复出的光谱图；

图10是图9进行部分放大后的图像。

具体实施方式

为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明的实施方法作详细的描述。

本发明的方法流程如图1所示，具体步骤为：

s1，利用棱镜和掩模获得高光谱分辨率、低空间分辨率的多通道光谱视频，为了保证通过量，掩模的开孔不能太小，要可以通过多个空间点的光，在水平方向和垂直方向都进行采样。因为棱镜在垂直方向上分光，所以垂直方向的采样率更低。高光谱分辨率指的是图像的光谱分辨率高，低空间分辨率指的是这幅图像转化为光谱图像对应的空间分辨率低，在一幅高像素值的图像中通过牺牲空间分辨率获得较高的光谱分辨率。获取的图像由于掩模的空间采样和棱镜的分光作用，使得多个像素点映射到同一个空间位置，但是映射的波长不同，获取的单帧光谱图像的空间分辨率低，但是可以一次拍摄获得光谱，从而实现光谱视频的拍摄。

s2，利用荧光灯或其他至少有两个特征峰光谱的光源，也可以直接利用激光进行标定，通过拍摄白色漫发射的背景，因为光源存在特征峰，拍摄出的图像在特征峰处亮度值梯度大，可以利用梯度变化标记出特征峰的像素位置。

s3，光谱在像素上的映射是非线性的，即相邻两个像素映射的波长差值并不是相同的，这是因为棱镜展开的光谱是非线性的，利用特征峰并模拟棱镜参数，获得光谱图像上各坐标对应的波长，可以得到一张映射表。

s4，利用映射表，拍摄其他场景时，提取对应相同的相同波长的像素点，将这些像素点按照原图像的空间相对位置进行排列，保证不会出现空间位置在垂直位置上偏移，由于掩模的形状，可能水平采样数是不同的，为了保证提取的不同波段图像的大小一致性，通过在行采样末尾添加空白像素，保证不同波长组合的新图像大小是一致的。

s5，将不同波长拼接的图像组合成视频流，对视频流进行压缩。

s6，将压缩后的光谱视频通过网络实时传输至客户端，并进行实时解码恢复，得到各个波长(通道)图像。

步骤s3是利用s2得到的特征峰的位置求取映射表，首先模拟棱镜的参数确定特定点的比例因子，特定点的选取是根据棱镜材料制作商提供的标准文档确定。棱镜的参数包括入射角，出射角α，焦距f，不同波长的折射率，以及影响入射光出射角β的棱镜夹角。棱镜的组成可能包含有多重材料，不同材料的折射率不同，不同的波长也对应于不同的折射率，总之不同波长的光线偏移角度取决于棱镜的各部分参数，光谱畸变校正的过程中通过随机设置棱镜各部分的参数，模拟出不同波长的光相对于水平位置偏移的距离。不同材料的玻璃都提供了若干特定点波长对应的折射率，通过设定模拟值求解出特定点波长对应的偏移距离，然后通过牛顿差值法，获得步骤s2中特征峰波长对应的偏移距离，之后求取特定点波长针对于特征峰波长的偏移比例因子。通过模拟多组棱镜参数，发现针对于特定点波长，相对于特征峰波长的比例因子是固定的，不受棱镜参数的影响，这样就可以通过测量实际拍摄图像中特征峰波长的偏移，根据模拟中求取的特定点波长的比例因子求得特定点波长对应的像素位置，再通过牛顿差值的方法求得每一个像素对应的波长，得到一张映射表。

经过步骤s2，s3的标定得到一张映射表，映射表对于之后拍摄的任意场景都是通用的。

根据映射表用映射表，对之后拍摄的视频中的单帧图像进行像素提取。由于掩模对空间进行采样，所以单通道的图像像素点之间存在空洞，没有信息，提取的像素需要保持空间一致性，需要通过平移将空洞填补掉，而不能在垂直方向移动，水平移后的图像相对于原图水平像素数会减少，由于采样的不一致性，不能保证水平采样数相同，所以在末尾填不同数量的空白像素保持单通图像的水平像素数和垂直像素数是一致的。末尾填充的像素数量不定，填充后的图像水平像素数和所有行中采样率最高的行的像素数是一致的。

步骤s5中得到拼接的单通道图像，填补了空间中的空洞。将单通道的单帧图像组合为光谱序列，步骤s1得到的光谱视频在光谱维度展开。可将整个视频分为空间帧和光谱帧，每个空间帧中包含若干光谱帧，由于光谱帧之间空间信息的一致性，所以光谱帧的帧间压缩可以极大的缩小视频体积，而空间帧之间利用传统的数据压缩方式进行压缩。

步骤s6是对压缩之后的光谱视频进行传输，步骤s4，s5是可以实时进行处理，处理后的结果因为体积小，可以实时进行传输，传输到客户端之后实时进行解码拼接，恢复出拍摄到的光谱图，从而实现光谱数据的采集与应用的异地需求。

实施例

图2是获取光谱视频装置的示意图，本实施例中采用荧光灯作为标定的特征光源，场景中的光通过掩模板进行空间采样，之后通过棱镜进行分光，被灰度相机获取，灰度相机为pointgrey公司生产的chameleon灰度相机，分辨率为2048*1536，焦距为50mm。光谱敏感范围400-1000nm，可以获得最高50fps的光谱视频，得到的光谱视频单帧空间采样点为5898个，空间采样率为1/500，水平采样每行之间略微有差异。

图3是荧光灯光谱，可以看出荧光灯在546.5nm和611.6nm处存在两个特征峰，图4是以荧光灯作为光源，拍摄漫反射背景得到的图像，可以看出每条光谱有两个亮度极大值，检测亮度在垂直方向的梯度变化，标记出亮度变化前两位的像素点，获得其像素位置。

图5是分光棱镜的一个实例，本实施例中，棱镜由两种材料组成，其中入射角为α，出射角为β，f为焦距。最左侧为火石玻璃，中间和右边玻璃为冕玻璃，棱镜各部分的夹角w1,w2,w3如图所示。设火石玻璃和冕玻璃的折射率分别为n1(λ)和n2(λ)，出射后相对于中心偏移的距离为x，根据公式推导出射角可得：

x＝f×tan(β)

考虑到实际模型，可得棱镜角度如下关系式:

w2＝w1+w3

光谱畸变校正的过程中通过随机设置系统参数α,β,f,w1,w2模拟出不同波长的光偏移的距离。

本实例中模拟了五条畸变曲线。火石玻璃和冕玻璃针对不同波长的光的折射率如表1，

表1火石玻璃和冕玻璃针对特定点波长的折射率

其中提供的特定点波长的折射率如第一列所示，通过代入参数可以获得特定点波长对应的偏移值x，根据牛顿差值的方法求出荧光灯对应特征峰波长(546.5nm,611.6nm)的偏移距离。

在这五条曲线中对于以上的每个特定点波长求出相对于荧光灯特征峰波长的比例因子：

其中xλ′0代指特征峰波长611.6nm波长的偏移距离，xλ0代指特征峰波长546.5nm波长对应的偏移距离。xλi是玻璃材料特定点波长对应的偏移距离，通过大量的曲线模拟可以发现特征点的比例因子基本保持不变。通过求取多条曲线特征点比例因子的平均值确定校正曲线的比例因子。在确定比例因子之后，根据实际拍摄的图4中特征峰的偏移距离差值，根据玻璃特定点波长对应的比例因子，就可以求取玻璃特定点波长对应的像素偏移值，进而根据牛顿差值法可以确定出每一个像素点对应的波长值。之后可以建立一张映射表，记录所有的像素对应的波长值。映射表部分样例(对应图4白框中的光谱带)如下表所示。

表2映射表部分样例

得到映射表说明标定已经完成，就可以拍摄任意场景了，为了便于说明，这里用视频中单帧图像的处理作为实例说明，图6是拍摄光谱图像中的一帧，图7是图6放大后的一部分，从图6中可以大致看出拍摄的是一组植物，图7的细节可以看出，在光谱条带以外的空间内噪声值较大，因为存在噪声和条带之间的黑色区域，导致像素变化剧烈，压缩效果差。

图8是根据映射表，将波长570nm的像素点全部提取出来进行拼接后的单通道图像，如图6中所示，水平采样数是不一致的，为了保证所有波长提取出的像素拼接后图像的长宽都是一致的。所以取水平采样数最多的一行，本实例中最多的一行为768个像素点，所以在其他行若采样点不足768个就在之后填补黑色。从图8也可以看出最后几列的像素值为0，这是为了保证提取的单通道图像的大小一致性。

本实施例中，将光谱视频中的单帧图像(2048*1536)切割成48个单通道图像(48*768)，原始图像每帧大小为3m，控制相机帧率为50fps，增益为10db，对于200帧的视频未提取通道，采用h.264进行无损压缩，设置qp＝0，profile＝veryfast，平均每帧大小为1.8m，若进行通道分割进行无损压缩，将光谱视频中的单帧图像按照通道分割，重新组织成大小为48*768的视频流，同样使用h264进行压缩，参数设置相同，平均每帧的压缩大小为0.8m。明显的提高了压缩比。

在本实施例中，通过实时编码视频并通过tcp协议将光谱视频传输到客户机中，为了加快编码速度，采用inteli7-4690cpu中的quicksyncvedio技术结合ffmpeg进行硬件加速，上述用的方法都是开源算法或者社区版，通过分通道压缩并利用硬件加速。使得实时传输显示的视频流可以达到15fps以上。

在本实施例中，在步骤s4和s5中在光谱视频根据映射表提取深度时，采用多线程的方法，由于提取光谱通道并拼接视频的速度，要远快于视频压缩的速度，所以压缩和提取分别放在两个线程中，有效的减少了处理的时间。

在本实施例中，步骤s6通过tcp协议传输到客户端中之后，首先需要解码，并且根据映射表重新恢复分通道之前的光谱图像。图9是恢复之后的图像，图10是恢复之后的部分放大图，从图9和图6的对比中可以看出有效的信息并没有损失，并且图10可以看出光谱条带之间的噪声也被滤除。