一种高速高光谱成像仪图像处理系统的制作方法

本发明涉及一种高分辨干涉型成像光谱仪图像处理系统。

背景技术：

随着近年来国民经济飞速发展，环保、国土资源、气象、农业、减灾等部门由于业务需求，对成像遥感领域提出了更高的要求。使得高空间分辨率、高时间分辨率、高光谱分辨率成像正成为必须实现的目标。在遥感成像俯瞰地面幅宽尽可能不缩小的条件下，图像分辨率要持续提高，则对应地要求遥感成像光谱成像仪图像幅面要大、帧频要高。再依赖传统光谱成像仪设计思路，简单地对探测器输出的每个单路信号进行并行处理，带来的是硬件设计规模成比例增大、成像电路功耗增高，极大地增加了对卫星平台资源的过度占用。因此设计高时空、光谱分辨率、低功耗光谱成像仪图像处理系统成为难题。在此背景下，设计新型高效成像处理电路意义重大。

发明目的

本发明目的是提供一种高速高光谱成像仪图像处理系统，为遥感成像实现高空间分辨率、高时间分辨率提供了一种高效的技术途径。

本发明技术解决方案：

该高速高光谱成像仪图像处理系统包括依次连接的高速光电转换电路板、高速视频信号调理及模数转换电路板、高速图像拼接及高速传输电路板，以设置于高速图像拼接及高速传输电路板上的fpga为中央处理电路单元；

所述高速光电转换电路板上设置有ccd及其驱动和模拟视频信号读出电路，输出32路模拟视频信号；其中每一路模拟视频信号的读出端口外部均设置有由高频三极管搭建的电压跟随电路，以实现读出端口的阻抗变换及驱动能力提升；

所述高速视频信号调理及模数转换电路板上设置有模拟视频信号前端信号调理电路、模数转换电路、时序控制电路；所述时序控制电路根据fpga的控制信号产生ccd光电转换所需的时序逻辑时序、模数转换电路的工作时序和相位调整时序；所述模拟视频信号前端信号调理电路按照单端转差分的形式相应采用64个运算放大电路输出64路差分调理信号，所述模数转换电路采用8片四通道集成的高速adc转换器，64路差分调理信号进入8片四通道集成的高速adc转换器的模拟前端，通过可编程控制的相关双采样，再进行增益调整，然后完成模数转换，转换后得到32路并行输出的数字化图像数据；

所述高速图像拼接及高速传输电路板，基于fpga对32路并行输出的数字化图像数据进行图像数据拼接及辅助数据合成，合成后基于整帧图像提供对所述增益调整的反馈，实现自适应增益调整，同时记录自适应参数到图像辅助数据中，作为自适应调整标记；然后将整帧图像数据划分为8块，相应通过8路高速serdes收发器进行并串转换后实现海量图像数据的高速传输。

基于以上方案，本发明还进一步作了如下优化：

所述可编程控制的相关双采样具体由所述fpga实现，初始以复位脉冲为起点向视频波形的信号峰值方向搜索，根据采样点图像的传递函数值的变化情况，反复几次调整搜索方向并减小搜索步长，最终确定最佳采样点，即确定复位电平位置，从而与视频波形的信号峰值作差得到反映目标信息的有效值。

所述增益调整具体是：所述自适应增益调整，具体是：对于图像数据拼接及辅助数据合成得到的图像，连续若干帧提取一帧，计算该帧图像中最大灰度值，计算该最大灰度值与设定阈值的差值；根据差值，推算需要调整的放大/缩小倍数，在高速adc转换器的模拟前端进行增益的反馈调节。

所述ccd为背照式帧转移ccd，具有2048×256图像面阵。

高速光电转换电路板与高速视频信号调理及模数转换电路板之间的数据输出连接器采用ieh公司生产的hmm158fae9x710787连接器。

所述运算放大电路采用ti公司的lmh6715j-qml。

所述fpga的型号为xc5vfx130t-1ff1738i。

该图像处理系统的工作流程如下：

(1)在高速视频信号调理及模数转换电路中的控制单元ccd驱动时序控制下，高速光电转换电路实现景物到电信号的转换，并将包含光信息的电信号高速输出；

(2)根据数管系统指令，视频信号调理及转换电路对高速模拟视频电信号进行增益调节；

(3)对32路高速模拟视频信号进行相关双采样，然后每四个通道为一个单元进行模数转换；

(4)模数转换后的数字信号并行送控制单元进行图像数据拼接，并加入辅助数据；

(5)采用自适应图像亮暗调整，在非人为干预情况下，能根据整幅图像灰度值直方图算法进行图像亮暗调整(反馈调整：调整参数由fpga算法产生，执行反映在模数转换前端中的增益调整放大器中)；

(6)将整帧图像数据划分为8块，并行通过8路高速serdes芯片进行发送。

本发明具有以下有益效果：

(1)该系统充分利用了高速四通道增益调整、相关双采样功能adc的优势，并进行自适应亮暗调整，解决了高光谱成像产生的高速光电数据的并行高速信号调理、adc转换、高速传输等实际问题，具有处理速度快、一致性好、工作性能稳定等诸多优点，为星载高空间分辨率、高时间分辨率成像扩大动态范围提供了一种新的技术手段。

(2)该系统高效地实现了高达9.6gbps带宽的大幅面、高帧频、低噪声的高光谱图像数据处理能力。

(3)经济效益好、实用性强。该系统构架兼容遥感领域使用的基于ccd、adc、fpga的设计构成，接口预留充分考虑了后续参数提升所需的扩展，需参考的设计无需再花精力重新设计系统构架。

(4)该系统具有广泛的应用前景，还可以用在如：高分辨商业遥感成像、立体测绘相机、宽刈幅遥感普查、大画幅高分辨率灾害监视等诸多成像设备中。

附图说明

图1为本发明实施例的星载高分辨光谱成像仪图像数据处理系统组成示意图。

图2为清晰度评价函数随靠近最佳采样点位置变化曲线。

图3为最佳采样点搜索算法的示意图。

具体实施方式

下面结合附图以及具体实施例对本发明进行详细说明。

本发明主要包括3部分，分别是高速光电转换电路、高速视频信号调理及模数转换电路、高速图像拼接及高速传输电路组成。

(1)高速光电转换电路板

高速光电转换电路采用光谱响应范围宽的高速大面阵背照式图像传感器(ccd)，配置驱动电路和模拟视频信号读出电路，为探测器提供高速光电转换所需的高速、强动力驱动时序，最终高速读出高灵敏度、高带宽的视频电压信号，实现高性能光电转换指标。

具体如图1所示，该板的大面阵、高帧频、高量子效率ccd探测器通过采用2048×256图像面阵、帧频1500fps，采用背照式的结构，量子效率在450nm～850nm范围内≥65％。32个模拟视频信号读出电路读出端口外部设置了由高频小功率三极管3dg112d搭建的电压跟随电路，实现了读出端的阻抗变换及驱动能力提升。探测器驱动电路采用intersil公司的四通道驱动器isl7457，驱动脉冲最窄脉宽可以控制到9ns，实现了每通道34mhz读出像元的驱动能力。

数据输出连接器采用ieh公司生产的hmm158fae9x710787连接器，插入损耗低、传输线缆信号完整性性能良好。

工作过程为：ccd将入射光信号转换成电荷信号的同时，在高频驱动脉冲驱动下，将势井中的电荷信号转移至32路端口读出电路，然后读出电路将电荷转换成电压信号，经电压跟随电路增强功率后，传递给后级的信号调理及模数转换单元。

(2)高速视频信号调理及模数转换电路板

所述高速视频信号调理及模数转换电路板主要包括模拟视频信号前端信号调理单元、模数转换单元、时序控制单元。

所述模拟视频信号前端信号调理单元采用带使能的运算放大器组成的信号调理电路，进行可编程控制的相关双采样和增益控制调节功能；所述模数转换单元电路采用四通道集成的高速adc转换器，输出差分数字信息给后端图像拼接电路；所述时序控制单元由fpga实现控制ccd光电转换所需的驱动时序，产生adc工作所需的前端增益控制及ad的工作时序和相位调整时序。

具体如图1所示，模拟视频信号前端信号调理单元主要为32个通路的(64个)运算放大电路，模数转换单元主要由8片集成四通道高速模拟前端及adc转换的adc处理器构成，用于完成高达32个通道、每通道最高40mhz的高速模拟视频数字化。

高速视频信号调理电路由64片ti公司的lmh6715j-qml构成，实现高宽带高速模拟视频转换。根据光谱成像仪光学系统透过率不同，可以对模拟信号幅度进行灵活调整，可补偿充光学设计能量计算的偏差。模拟视频数据输入连接器选用ieh公司hmm158fae9x710787连接器。

经过lmh6715的高速模拟视频信号，进入四通道adc转换电路，电路首先对模拟视频信号进行相关双采样，然后进行增益调整，再进行模数转换。模数转换电路使用addi7004，adc电路设计使用中可以对量化位数进行设置。最高支持14bit量化。对可见光模拟视频信号，模数转换在调试过程中需要搜索最佳采样点，本发明在此还创新地提出了一套快速逼近最佳采样位置的调试方法。addi7004的模数转换时钟采用40mhz时钟，量化后的数据串行送给后级图像拼接和自适应修正及控制单元。

前述相关双采样，取视频波形的信号峰值(相对于复位脉冲，该信号峰值为低电平)，与视频波形中的复位电平(平坦段，作为参考值)作差，得到反映目标信息的有效值。

本发明由于采用高速、高精度的ccd探测器，使得光电转换后的信号(电压跟随电路驱动放大之前)在每个周期的复位阶段不会出现平坦的电平，而是会出现波动，因此，本发明需要确定其波谷的位置作为相关双采样的参考点。

对于复位电平位置的确定，常规的算法是：估算复位脉冲到平坦段的时间，来确定复位电平位置。本发明的快速逼近最佳采样位置的调试方法是：

1、预估复位脉冲到信号峰值的区间；

2、设定搜索步长，以复位脉冲为起点，向信号峰值方向搜索确定复位电平位置：每一“步”采集一帧视频图像，计算图像的传递函数，如果本次传递函数的值小于上次传递函数的值，表明还未到复位电平位置，则继续向信号峰值方向搜索；

若本次传递函数的值tn小于上次传递函数的值tn-1，表明越过了最佳采样点(复位电平位置)，则调整搜索步长(步长减半)，反方向搜索；

若步长调整后的采样点计算得到的传递函数值tn+1与tn和tn-1比较，确定下一步的搜索方向；

小于tn，则继续向复位脉冲方向搜索；

通过反复几次调整搜索方向和步长，最终确定最佳采样点。

高速视频信号调理及模数转换电路板工作过程为：32路ccd模拟视频经运放电路调理信号后，以差分形式进入8片集成四通道的高速adc的模拟前端，对各路增益进行放大后，进行并行高速adc转换，每一路转换后的数字信号高速串行发送给后端处理电路。

(3)高速图像拼接及高速传输电路板

所述高速图像拼接电路由fpga完成图像数据拼接及辅助数据合成，其中还涉及自适应修正的反馈控制；所述高速传输电路由高速serdes收发器进行并串转换后实现海量图像数据的高速传输。

高速图像拼接及高速传输电路是以现场可编程阵列(fieldprogrammablegatearray，fpga)为核心的中央处理电路单元，及以高速串行/解串收发器tlk2711为主的多路径、高速差分串行数据串化发送单元组成。

具体如图1所示，由fpga为核心组成高速图像拼接电路、由tlk2711高速串行/解串收发器组成高速图像数据传输电路；高速数据传输电路对外连接通过airborn公司生产的hsmhk-02l0-402-275-26c0连接器与数据传输设备相连。

fpga具体地选用fpga型号为xc5vfx130t-1ff1738i，其主要完成adc量化后接收图像数据高速拼接，产生ccd光电转换所需的时序逻辑时序，驱动高速多路adc的工作时钟及相位调整。

自适应亮暗修正的意义：弥补地面干预的滞后，充分利用相机的动态范围(dn值)，实时调整视频图像(数字信号)。

对于拼接后的图像，每1000帧提取1帧，计算该帧图像中最大灰度值(最亮点)，计算该最大灰度值与设定阈值的差值；该阈值的经验值为动态范围的2/3，例如相机的dn值为4096，则该阈值2600；

根据差值，推算需要调整的放大/缩小倍数，在高速adc转换器的模拟前端进行增益调整(反馈控制)。

fpga发送串行图像数据、时钟和控制信号，根据8b/10b编码，fpga通过内部运行软件调用其内部逻辑单元实现将12bit的图像数据编制成可用于高速serdes发送的连续的16bit图像数据，然后发给高速tlk2711芯片进行并串转换。

高速serdes发送电路使用了8片tlk2711芯片，单片工作时钟100mhz；单片的稳定发送速率在1.6gbps，整个数据接口8片tlk2711芯片达到12.8gbps发送速率。

该实施例正常工作过程中的操作流程如下：

(1)ccd探测器在驱动器isl7457驱动下，将光电转换产生的电信号高速并行读出，生成连续的模拟视频信号；

(2)32高速模拟视频信号经宽带运放lmh6715搭建的信号调理电路后，被8片高速、四通道adc芯片addi7004量化后，变成数字化图像数据；

(3)32并行输出的数字化图像数据，在fpga中进行图像拼接，拼接图像包含了帧频、时间等辅助数据后，被分成8份图像数据包；

(4)fpga将并行的图像数据包，分配给8片高速serdes芯片组成的串行发送接口，图像数据以12.8gbps的速率发送给数传系统。

(5)数传系统负责将高光谱成像仪图像数据实时下传。

以下就模数转换过程中快速逼近最佳采样位置的调试方法(最佳采样点搜索)进行详细说明：

对不同采样位置所成像的清晰度进行评价，利用在最佳采样位置上图像的清晰度最佳这个特征找到正确的最佳采样位置。判断是否选取的是最佳采样位置是通过图像清晰度评价函数来作为主要的衡量依据。利用清晰度评价函数不同采样位置下的图像对应函数值勾画出的曲线图，搜索曲线图上表征最佳采样位置的函数值。评价函数选取具有比较稳定特性的灰度梯度函数。

当远离最佳采样位置时，清晰度评价函数值较小，继续同方向移动采样位置，向最佳采样位置靠拢；当处于最佳采样位置附近时，清晰度评价函数值较大，则减小移动步长，实现精细调整采样位置。

图像清晰度评价函数是用来描述图像清晰度的一个参量，即清晰度评价函数值越大，图像越清晰，此处的采样位置就是最佳的采样位置。图像清晰度评价函数应具有无偏性、单峰性、能反映离开最佳采样位置的特性、较高信噪比、计算量小，同时在最佳采样位置附近，反映收拢特性曲线较窄，更陡峭的优点。理想的图像清晰度评价函数随收拢到最佳采样点位置程度的变化曲线如图2所示。

图像灰度时域清晰度评价函数包括如下常见形式(x,y表示图像的行数和列数)：

f(x,y)的八个邻域灰度梯度为：

根据调整相机电路中ad采样位置过程中，对应生成图像灰度的特点，设计基于灰度梯度最大值累加的、具有反映对应图像清晰度的评价函数为：

其中：

max(t)＝max(t1，t2，t3，t4，t5，t6，t7，t8)

min(t)＝min(t1，t2，t3，t4，t5，t6，t7，t8)

根据清晰度评价函数计算出靠近最佳采样点附近位置处的清晰度评价函数值，需要搜索算法找出清晰度最佳时的采样点位置。采样点搜索算法要求收敛速度快，同时搜索的准确度高。假设系统任意初始位置为pi，初始位置处清晰度评价函数值为f(i)，移动一次所处的位置为pi+1，清晰度评价函数值为f(i+1)，搜索移动步长为l。

以f(i)在最佳采样位置左侧进行研究，如果f(i)在最佳采样位置的右侧也可以得出类似的结论。搜索过程如图3所示：

a)设开始调试选定的采样位置为原理最佳采样点且左侧的位置pi，清晰度评价函数f(i)，以大步长l移动一次对应的位置为pi+1，其清晰度评价函数值为f(i+1)，如果f(i)和f(i+1)没有明显区别，即满足公式(3)的条件时，说明选采样取的初始采样位置还距离最佳采样点位置较远，继续搜索对采样影响不大，保持方向不变，同时将搜素步长由l变为2l。th为根据调试时选取的经验值dn＝1800，原因在于基于星载的图像ad分辨率我们一般用12bit量化，则图像满量程最大灰度值在dn＝4095。根据工程经验，dn＝3800以上非线性明显，故实际调试以3800为上限。

b)如果f(i+1)和f(i)明显增大，即满足公式(4)的条件时，说明上一次的步长l对趋近最佳采样点的效果影响较大，则保持搜索方向不变，同时减小采样移动步长l为l/2。

c)如果f(i+1)比f(i)明显减小，即满足公式(5)的条件时，说明目前的采样位置距离最佳采样点很近，改变搜索方向，同时减小采样移动步长l为l/2。重复步骤(a)和(b)，直到搜索方向改变达到3次。

d)此时采样点已经位于最佳采样点邻域，改变搜索方向，以最小步进距离lmin开始进行验证搜索，直到确认满足条件式(6)，此时采样处于最佳采样点位置。

f(i+1)≥f(i)(6)

该最佳采样点搜索算法的优点：

对噪声影响具有较强的免疫特性。因为当存在孤立噪声点时，很容易在噪声点位置获得最大梯度，但是对于噪声点来说，其八邻域像素灰度是相近的。

即同时具有的特点。

而由于我们定义的评价函数使得对于孤立噪点的计算结果会表现出max(t)×[max(t)-min(t)]≤max(t)，即对评价函数的影响微乎其微。

实际工程试验中，我们选取在实验室稳定光源(积分球)下，图像灰度dn＝3800左右时进行验证；调试出最佳采样点后，相机在不同光照、不同景物下，图像具有稳定可靠的图像特性，验证了该算法的有效性。