一种扰动测量成像系统的制作方法

文档序号:12498081阅读:198来源:国知局

本发明涉及扰动测量与成像技术领域,特别是一种扰动测量成像系统。



背景技术:

随着空间遥感成像分辨率要求的提高,遥感相机的在轨不稳定性成为制约成像质量的重要因素之一。尤其是在轨TDI遥感相机对地成像时,相机抖动造成光学系统的光轴扰动,影响成像质量,引起图像退化。因此需要高速光轴扰动测量系统,对相机的抖动信息进行测量,进而根据获取的数据,对退化图像进行复原。此外遥感器在轨成像过程中,由于成像对象的光强分布差异过大,会存在曝光过度或者曝光不足的情况,需要使用HDR技术进行动态光强范围的扩展,这就同样需要对扰动进行测量,然后对成像数据进行处理获得高动态的成像结果。另外对于要进行数字TDI的成像遥感器也需要进行相应的位移测量与成像数据处理。

现有的光轴扰动测量系统一般由成像系统与扰动测量系统组成,将成像与扰动测量分开。随着精度要求的提高,参与扰动测量计算的图像像元个数有更多的需求,将成像电路与测量电路分开后,图像数据的传输延时会对计算时间有很大影响,进而影响测量结果的实时性。同时,成像系统与扰动测量系统需要同时工作,有较大的功率需求、散热需求和尺寸要求,不利于于在轨遥感器的实现。

因此,需要提出一种扰动测量成像系统,在成像读取焦面图像数据的同时,实时进行扰动测量计算,进而可以根据实时扰动数据进行图像HDR、数字TDI处理,达到改善图像质量、满足高动态成像的需求。



技术实现要素:

本发明解决的技术问题是:克服现有技术的不足,提供了一种扰动测量成像系统,解决了现有技术不能对扰动进行测量的问题。

本发明的技术解决方案是:一种扰动测量成像系统,包括成像焦面模块、焦面控制模块、图像数据读取模块、扰动测量模块、图像处理模块、图像输出模块、高速存储模块、接口模块,其中,

接口模块,接收外部发送的成像控制信息后送至焦面控制模块,成像控制信息包括帧频、积分时间;接收外部发送的数据输出指令后转发至图像输出模块;所述的数据输出指令为控制图像输出模块输出成像数据或者成像数据处理结果的指令;

焦面控制模块,对成像控制信息进行解析计算,得到焦面时序控制信号并送至成像焦面模块,焦面时序控制信号包括时钟、采样周期、积分时间;

成像焦面模块,根据焦面时序控制信号成像并输出成像数据至图像数据读取模块;

图像数据读取模块,采用乒乓缓冲存储成像数据至高速存储模块,同时送至扰动测量模块;

高速存储模块,存储成像数据;

扰动测量模块,对成像数据进行扰动测量计算,包括:对成像数据进行二维FFT,得到二维FFT的结果矩阵,对结果矩阵中每个元素和参考图像FFT结果矩阵中同样位置的元素进行共轭相乘,得到共轭相乘结果,对共轭相乘结果进行FFT逆变换,得到FFT逆变换结果矩阵,对FFT逆变换结果矩阵中各个元素取模,得到代表匹配程度大小的像移匹配参数构成的像移匹配参数矩阵,寻找像移匹配参数矩阵中的最大元素值,根据最大元素值对应坐标得到扰动测量结果,并送至图像处理模块;所述的参考图像FFT结果矩阵为上一次二维FFT的结果矩阵,当成像数据为首帧图像数据时,不进行扰动测量;

图像处理模块,读取高速存储模块存储的成像数据,使用扰动测量结果对成像数据进行处理,将成像数据处理结果送至图像输出模块;

图像输出模块,接收数据输出指令并根据数据输出指令将成像数据处理结果输出,或者从高速存储模块读取成像数据并输出。

所述的使用扰动测量结果对成像数据进行处理的算法包括HDR算法、数字TDI算法。

所述的图像输出模块将成像数据处理结果或者成像数据是通过CAMERA LINK接口输出。

所述的扰动测量模块对成像数据使用FPGA进行二维FFT,进行二维FFT的方法包括如下步骤:

(1)假设要进行二维FFT变换的成像数据的像素灰度阶数为m位,m为正整数且8≤m≤12,成像数据的行数、列数均为2的n次幂,n为正整数且4≤n≤9,设置FPGA的FFT核为X=4m位输入,设置实部结果、虚部结果的存储器为有符号Y=2m位;

(2)当对成像数据每一行进行一维的FFT变换时,使得成像数据在行FFT变换后的有效位增加p1位,当对成像数据每一列进行一维的FFT变换时,得到结果数据,使得结果数据在列FFT变换后的有效位增加p2位,其中,m+p1+p2=Y,p1+p2=m,当m为奇数时,p1=p2+1,当m为偶数时,p1=p2;进而得到p1、p2;

(3)将成像数据中各个像元的灰度值增大2的L1次幂,L1=X-m,然后对成像数据每一行进行一维的FFT变换,得到行FFT变换结果数据,将行FFT变换结果数据中0频率处的数据缩小2的[n/2]次幂,然后对0频率处数据缩小后的行FFT变换结果数据中所有数据缩小2的(L1-p1-[n/2])次幂,最后将低Y位数据存储并作为行FFT变换存储结果数据至存储器;

(4)将行FFT变换存储结果数据中各个像元的灰度值增大2的L2次幂,L2=X-(m+p1),对增大后的行FFT变换存储结果数据每一列进行一维的FFT变换,得到列FFT变换结果数据,将列FFT变换结果数据中0频率处的数据缩小2的[n/2]次幂,然后对0频率处数据缩小后的列FFT变换结果数据中所有数据缩小2的[(n+X)-(Y+[n/2])]次幂,作为最终变换结果并存储至存储器,进而得到二维FFT的结果矩阵。

本发明与现有技术相比的优点在于:

本发明扰动测量成像系统在成像读取焦面图像数据的同时,实时进行扰动测量计算,进而可以根据实时扰动数据进行图像HDR、数字TDI处理,达到改善图像质量、满足高动态成像的需求,在航空航天遥感、无人机吊舱方面都有很强的应用前景,同时具有很强的数字图像高速处理能力,可应用于与高速数字视频处理相关的多种领域。

附图说明

图1为本发明一种扰动测量成像系统硬件结构图。

具体实施方式

本发明针对现有技术的不足,提出一种扰动测量成像系统,在成像读取焦面图像数据的同时,实时进行扰动测量计算,进而可以根据实时扰动数据进行图像HDR、数字TDI处理,达到改善图像质量、满足高动态成像的需求,本发明具体功能与实施方式如下:

(1)硬件系统

本发明系统的硬件系统由电源模块、CMOS最小系统、FPGA最小系统、高速存储模块、外围接口器件等组成。具体功能与实施方式如下:

1)电源模块将管理控制器的输入电压转换为硬件系统内各个芯片所需要电压,进行芯片供电。

2)CMOS最小系统包括CMOS及相应的电源滤波电路,其主要功能为根据FPGA提供的时钟、SPI信号,调节CMOS的特性参数(包括成像区域、帧频、曝光时间、增益、输出通道等),并根据设置从相应的输出通道中输出高速图像数据及相应的同步时钟、行/帧同步信号。

3)FPGA最小系统输出CMOS控制信号及时钟后,接收CMOS的输出信号。解调后将图像数据存入DDR中。FPGA控制数据的乒乓缓冲,在一个DDR写入数据的同时,FPGA对另一个DDR中缓存的数据进行运算。主要算法包括扰动测量算法、图像复原算法、数字TDI及HDR算法,获取最终的图像。通过外围接口器件,将TTL电平转化为LVDS信号,输出至管理控制器。

4)高速存储模块

系统采用DDR II进行高速数据存储,使用数据乒乓输入形式可以有效缓冲图像数据。使用乒乓缓冲时,其中一个存储空间进行数据写入时,对另一存储空间进行运算。这样做可以避免数据传输冲突,有效利用存储空间,提高数据输入输出速度和图像处理速度。使用数据总线扩展技术,将16位数据总线合并和扩展到32位,进而提高每个周期的数据吞吐量,缩短数据传输时间,保证图像实时处理。

5)外围接口模块

外围接口主要包括三线通信及图像监测系统等。其中图像检测系统通过CAMERA LINK接口与地检设备相连,实时显示图像,便于调试及效果展示,本发明系统的硬件结构连接关系如图1所示。

(2)软件算法及性能评估

本发明系统的软件算法主要包括焦面驱动、图像高速乒乓缓存、像移测量算法、图像复原算法、HDR算法及数字TDI等,系统的主要软件流程为:焦面驱动输出相应的控制信号控制CMOS输出图像数据并根据时序进行解调,将解调后的数据存储于高速乒乓存储模块中。像移测量算法实时进行运算,得出帧间像移量后,由图像复原算法对图像进行复原。并根据实际需求进行HDR及数字TDI算法。其中系统的核心算法为高速像移检测算法。

为保证高速像移检测算法的实时输出,以下对主要算法进行说明评估。

1)像移测量算法

在进行焦面的图像数据读取时,可以同时进行扰动测量计算,即通过图像数据中二维帧数据或者一维行数据进行不同帧、行间的数据的匹配程度测量,获得像移测量结果。在扰动测量过程中,使用高帧频图像的帧间位移代表扰动的幅值,完成扰动测量。对于FPGA而言基于FFT的图像相关运算获得图像的帧间位移所占用资源相对较少,速度较快。

具体方法是,先进行图像的二维FFT,然后对FFT的结果矩阵中每个元素和参考图像FFT结果矩阵每个元素的共轭相乘。对相乘结果再进行FFT逆变换。对逆变换后的矩阵取模后,需要获得代表匹配程度大小的像移匹配参数。匹配参数的最大模值对应点位置反映了图像帧间的相对位置。在计算匹配参数过程中,如果参与运算的数据过大,容易引起FPGA的数据溢出或者占用更多资源、降低运算速度;如果过小,难以满足高精度的扰动测量需要,因此提出根据实际参与计算的相关参数的位数对运算过程中的匹配参数进行同步的左移(增大)或者右移(减小)的调整。使用自适应的数据位移方法,保证了匹配计算的精度。

假设要进行二维FFT变换的成像数据的像素灰度阶数为m位,m为正整数且8≤m≤12,成像数据的行数、列数均为2的n次幂,n为正整数且4≤n≤9,设置FPGA的FFT核为X=4m位输入,设置实部结果、虚部结果的存储器为有符号Y=2m位;

当对成像数据每一行进行一维的FFT变换时,使得成像数据在行FFT变换后的有效位增加p1位,当对成像数据每一列进行一维的FFT变换时,得到结果数据,使得结果数据在列FFT变换后的有效位增加p2位,其中,m+p1+p2=Y,p1+p2=m,当m为奇数时,p1=p2+1,当m为偶数时,p1=p2;进而得到p1、p2;

将成像数据中各个像元的灰度值增大2的L1次幂,L1=X-m,然后对成像数据每一行进行一维的FFT变换,得到行FFT变换结果数据,将行FFT变换结果数据中0频率处的数据缩小2的n/2次幂,然后对0频率处数据缩小后的行FFT变换结果数据中所有数据缩小2的(L1-p1-n/2)次幂,最后将低Y位数据存储并作为行FFT变换存储结果数据至存储器。其中n/2的结果取整数部分;

将行FFT变换存储结果数据中各个像元的灰度值增大2的L2次幂,L2=X-(m+p1),对增大后的行FFT变换存储结果数据每一列进行一维的FFT变换,得到列FFT变换结果数据,将列FFT变换结果数据中0频率处的数据缩小2的n/2次幂,然后对0频率处数据缩小后的列FFT变换结果数据中所有数据缩小2的[(n+X)-(Y+n/2)]次幂,作为最终变换结果并存储至存储器,进而得到二维FFT的结果矩阵。其中n/2的结果取整数部分。这样就在有限FPGA资源下,保证了二维FFT变换的更为准确的结果。

2)HDR算法

目前获取HDR图像的方法为多曝光图像融合技术,即利用每个曝光时间相对应最佳细节的图像合成最终的HDR图像,能提供更多的动态方位和图像细节。在轨相机或其他航空航天载荷受平台扰动、目标移动等因素的影响,直接进行多曝光图像融合往往会使融合后的图像产生“鬼影”。同时目前的多曝光图像融合技术在目标动态范围较大的时候,会丢失部分细节信息。

本发明采用将扰动测量结果与多曝光融合技术结合,在融合前利用扰动测量结果将动态图像转化为静态图像,从而消除了融合图像时“鬼影”、丢失细节等问题。同时为保证实时性,将多幅多曝光图像进行累加,获得HDR图像

根据本发明的运算结果及多曝光融合的需求设计算法,算法的主要实施过程为:

(1)焦面驱动程序根据HDR算法需求控制CMOS的曝光时间,依次输出多幅低动态范围(LDR)的图像,并解调存储于高速乒乓存储设备中。

(2)像移测量算法实时进行运算,得出图像的帧间位移。同时图像复原算法对各图像进行复原。

(3)当完成图像复原后,将图像进行累加,实时获到HDR图像。

数字TDI技术是一种有效拓展传感器积分时间从而提高探测系统灵敏度的方法。在本发明中,利用扰动测量程序对一行图像的像移量进行测量,完成后根据结果对当前行进行复原,与前一行进行累加并存储。如此不断累加,直至满足数字TDI的级数要求后,将累加后的行数据输出。本发明将像移测量与数字TDI相结合,可有效地避免因平台扰动造成的行数据错位,从而降低TDI图像的信噪比。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1