专利名称：基于cmos-tdi模式的高分辨率成像系统及方法
技术领域：
本发明属于图像处理技术领域，更进ー步涉及高分辨率成像技术领域中的一种基于互补金属氧化物半导体-时间延迟积分CM0S-TDI (Complementary Metal OxideSemiconductor-Time Delay and Integration)模式的图像压缩编码实现方法，并建立高分辨率成像系统。本发明可以实现图像的高分辨率获取和重构。
背景技术：
高分辨率成像在各种领域，如遥感监測，军事侦察，运输和安全监测，医疗诊断和模式识别等有重大需求。传统成像的空间像素分辨率取决于探測器的像元密度。但由于加エエ艺和制造材料的限制，获得高分辨率探測器难度大、成本高，且容易带来散粒噪声使图像质量受到严重影响。因此，高分辨率成像的关键在于如何利用低密度探测器获得高分辨率图像，现有的高分辨率成像技术主要有以下两种。第一种，基于压缩感知理论的高分辨率成像。例如，L. Jacques,P. Vandergheynst,A. Bibet, V. Majidzadeh, A. Schmid 和 Y. Leblebici 在论文“CMOS compressed imagingby random convolutionProc. Int. Conf. Acoust. , Speech Signal Process. , 2009 1113-1116中提出利用移位寄存器产生的伪随机码对光电转换得到的模拟信号进行随机卷积计算，实现对模拟信号的压缩，最后通过压缩感知理论重构高分辨率图像。这种方法存在的不足是，在每ー像素中需放置ー个一位的存储单元，需要额外的エ艺流程，并且需进行多次移位操作获取测量值，降低了图像获取效率。此外，R. F. Marcia, Z. T. Harmany和R. M. Willett 在论文“Compressive coded aperture imaging，，Proc. IST/SPIE[C]Elect.Imag. =Computat. Imag. VII, 2009, vol. 7246，no. I 72460G 中提出在光学系统中利用编码孔径掩膜实现对图像信息的压缩编码，最后通过压缩感知理论恢复高分辨率图像。这种方法存在的不足是，任何掩膜图形都阻挡光，编码孔径掩膜的使用势必削弱图像的曝光量，降低了输出图像信噪比。第二种，基于图像融合技术的高分辨成像。例如，V. P. Shah，N. H. Younan和R. L. King在论又“An efficient pan-sharpening method via a combined adaptive peaapproach and contourlets，，IEEE Trans, on Geosci. Remote Sensing, vol. 46, no. 5,pp. 1323-1335中提出基于Pan-sharpening算法的图像融合方法,是通过对ー个高分辨率全色图像和一个低分辨率多光谱图像的融合来提高空间分辨率。然而，这种方法存在的不足是，需要ー个额外的照相机获得高分辨率全色图像。由于ー些因素的制约，如大小，重量，电池容量，内存空间和传输带宽，成像系统很难提供高分辨率的全色图像。
发明内容
本发明的目的在于克服上述已有技术的不足，根据压缩感知理论，利用行间转移面阵CMOS探測器的可编码功能并使其工作于TDI模式，设计随机曝光控制模块，提出了一种基于CMOS-TDI模式的压缩编码图像获取方式。并在此基础上，针对推扫式成像，建立了一种高分辨率成像系统，实现图像的高分辨获取和重构。本发明的系统包括五个模块控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块，各模块之间通过总线连接；其中，控制信号发生器模块，用于产生控制运动路线控制索道模块、曝光控制模块和面阵CMOS平板模块的使能信号，实现对系统的驱动；面阵CMOS平板模块，用于产生观测矩阵和场景图像的随机压缩编码图像，完成观测矩阵和低分辨率观测值图像的输出；运动路线控制索道模块，用于控制面阵CMOS平板模块中行间转移面阵CMOS探測器运动；随机曝光控制模块，用于控制行间转移面阵CMOS探測器中传输门开或关，实现对传输门开或关的随机控制；图像重构处理器模块，用于重构高分辨图像。本发明方法的具体实施步骤如下 (I)初始化操作将行间转移面阵CMOS探测器对准待拍摄场景，设定行间转移面阵CMOS探测器输出观测值图像大小，设定每个观测值的时间延迟积分TDI级数，将探测器面阵按行划分为与观测值个数相等的探測器子块，每个探測器子块的大小与观测值TDI级数相同。(2)探測器沿与场景平行的路线向前推扫s个像素。(3) ニ进制随机数生成器生成ニ进制随机序列。(4)探测器积分曝光探測器像元感光区对探测器像元对准的η个场景像素信息积分曝光，将光信号转化为电信号，得到光生电荷。(5)光生电荷像元内转移在传输门控制电路的控制下，当步骤2生成的随机数为I时，传输门控制电路控制像元传输门打开，光生电荷转移到像元行间掩膜区；当步骤2生成的随机数为O吋，传输门控制电路控制CMOS像元传输门关闭，像元掩膜区不收集光生电荷，完成像元感光区光生电荷的像元内转移。(6)掩膜区电荷行间转移面阵CMOS平板模块中的垂直扫描移位寄存器产生垂直控制脉沖，驱动每行像元掩模区内的光生电荷通过由行间掩模区形成的电荷转移通道垂直转移到下一行像元的掩膜区，当光生电荷转移到所属探測器子块内最后一行像元掩膜区时，掩膜区光生电荷停止行间转移等待输出。(7)判断是否完成场景扫描若探测器最后一行像元积分曝光次数小于曝光次数阈值K，表明尚未完成场景扫描，则执行步骤2，若探测器最后一行像元积分曝光次数等于曝光次数阈值K，表明完成场景扫描，则执行步骤8。(8)输出观测值图像8a)控制信号发生器模块控制探測器停止积分曝光；Sb)面阵探测器的垂直扫描移位寄存器产生垂直控制脉冲，垂直控制脉冲驱动电荷垂直转移，使电荷从掩膜区转移到水平扫描移位寄存器；Sc)水平扫描移位寄存器产生水平控制脉冲，水平控制脉冲驱动电荷串行输出到模数转换器；
8d)模数转换器 将电信号转化为观测值数据后组成的观测值图像输出到图像重构处理器模块。(9)优化求解LI-范数9a)利用时域变换方法稀疏变换域；9b)面阵CMOS平板模块中的矩阵乘法器生成观测矩阵；9c)利用非线性优化算法求解LI-范数，生成高分辨率图像。(10)获得高分辨率图像。本发明与现有技术相比具有以下优点第一，由于本发明采用随机曝光控制模块，实现对传输门开或关的随机控制，克服了现有技术中控制电路设计复杂和电路运算复杂度高的缺点，使得本发明具有控制电路设计简单和电路运算复杂度低的优点。第二，由于本发明将探测器感光区的光生电荷通过传输门控制器的随机控制，进行像元内转移，实现对场景信息的高速随机调制，克服了现有技术中场景高频率信息严重丢失的缺点，使得本发明保存了场景足够的高频率信息。第三，由于本发明将行间转移面阵CMOS探测器掩膜区电荷行间转移，实现行间转移面阵CMOS探測器的TDI工作，克服了现有技术中探测器对场景积分曝光不足和观测值图像获取效率低的缺点，使得本发明具有输出图像信噪比高和观测值图像获取效率高的优点。
图I为本发明系统的方框图；图2为本发明方法的流程图；图3为本发明仿真实验图。
具体实施例方式下面结合附图对本发明做进ー步描述。參照附图1，本发明的系统包括五个模块控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块，各模块之间通过总线连接。其中，控制信号发生器模块，用于产生控制运动路线控制索道模块、曝光控制模块和面阵CMOS平板模块的使能信号，实现对系统的驱动，控制信号发生器模块的一个输出端连接着运动路线控制索道模块的输入端，第二个输出端连接随机曝光控制模块的输入端，第三个输出端连接面阵CMOS平板模块的输入端；面阵CMOS平板模块，用于产生观测矩阵和场景图像的随机压缩编码图像，完成观测矩阵和低分辨率观测值图像的输出，面阵CMOS平板模块的输出端连接图像重构处理器模块的输入端；运动路线控制索道模块，用于控制面阵CMOS平板模块中行间转移面阵CMOS探測器运动，运动路线控制索道模块的输出端连接面阵CMOS平板模块的输入端；随机曝光控制模块，用于控制行间转移面阵CMOS探測器中传输门开或关，实现对传输门开或关的随机控制，随机曝光控制模块的输出端连接面阵CMOS平板模块的输入端；图像重构处理器模块，用于重构高分辨图像，图像重构处理器模块的输入端与面阵CMOS平板模块的输出端相连接。
本发明系统中的面阵CMOS平板模块包括通过信号传输线相连的行间转移面阵CMOS探測器、垂直扫描移位寄存器、水平扫描移位寄存器、模数转换器和矩阵乘法器。其中，行间转移面阵CMOS探測器中的感光区，用于获取场景信息，将光信号转换为电信号；行间转移面阵CMOS探測器中的传输门，用于实现电信号的像元内转移；行间转移面阵CMOS探测器中的掩膜区，用于实现电信号的行间转移；垂直扫描移位寄存器，用于产生垂直驱动脉沖，驱动电信号垂直转移；水平扫描移位寄存器，用于产生水平驱动脉沖，驱动电信号串行输出；模数转换器，用于将电信号转化为数字信号，完成数字信号的输出；矩阵乘法器，用于计算矩阵相乗，完成观测矩阵的输出。本发明系统中的随机曝光控制模块包括通过信号传输线相连的ニ进值随机数生成器和传输门控制器。其中，ニ进制随机数生成器，用于产生ニ进制随机序列，输出与随机序列对应的脉冲信号序列；传输门控制器，用于控制行间转移面阵CMOS探測器中传输门开 或关。參照附图2，对本发明实现方法做进ー步的描述。步骤I.初始化操作将行间转移面阵CMOS探测器对准待拍摄场景，设定行间转移面阵CMOS探测器输出观测值图像大小，设定每个观测值的时间延迟积分TDI级数，时间延迟积分TDI级数为2 6之间，将探测器面阵按行划分为与观测值个数相等的探測器子块，每个探測器子块的大小与观测值TDI级数相同。步骤2.探測器推扫s个像素探測器沿与场景平行的路线向前推扫s个像素，像素个数s的取值范围是I彡s く N/M，其中N为场景图像的列数，M为观测值图像的列数。尽管探測器运动得越慢，每个像素获取的场景信息越充分，但实际上曝光时间不宜过长，探測器移动的速度不宜过慢，此时可以选择s = N/M。步骤3. ニ进制随机数生成器产生ニ进制随机序列，输出与随机序列对应的脉冲信号序列。步骤4.探测器积分曝光探測器像元感光区对探测器像元对准的η个场景像素信息积分曝光，将光信号转化为电信号，得到光生电荷。场景像素数η的取值范围是I < η < N，其中N为场景图像的列数。步骤5.光生电荷像元内转移在传输门控制电路的控制下，当步骤2生成的随机数为I时，传输门控制电路控制像元传输门打开，光生电荷转移到像元行间掩膜区；当步骤2生成的随机数为O吋，传输门控制电路控制CMOS像元传输门关闭，像元掩膜区不收集光生电荷，完成像元感光区光生电荷的像元内转移。步骤6.掩膜区电荷行间转移面阵CMOS平板模块中的垂直扫描移位寄存器产生垂直控制脉沖，驱动每行像元掩模区内的光生电荷通过由行间掩模区形成的电荷转移通道垂直转移到下一行像元的掩膜区，当光生电荷转移到所属探測器子块内最后一行像元掩膜区时，掩膜区光生电荷停止行间转移等待输出。
步骤7.判断是否完成场景扫描若探测器最后一行像元积分曝光次数小于曝光次数阈值K，表明尚未完成场景扫描，则执行步骤2，若探测器最后一行像元积分曝光次数等于曝光次数阈值K，表明完成场景扫描，则执行步骤8。曝光次数阈值K= (N+s-n)/s，其中N为场景图像的列数，s为探测器推扫的像素数，η为探测器像元积分曝光的场景像素数。步骤8.输出观测值图像控制信号发生器模块控制探測器停止积分曝光；面阵探测器的垂直扫描移位寄存器产生垂直控制脉冲，垂直控制脉冲驱动电荷垂直转移，使电荷从掩膜区转移到水平扫描移位寄存器；水平扫描移位寄存器产生水平控制脉冲，水平控制脉冲驱动电荷串行输出到模数转换器；模数转换器将电信号转化为观测值数据后组成的观测值图像输出到图像重构处理器模块。步骤9.优化求解LI-范数利用时域变换方法稀疏变换域，时域变换方法是指DCT变换、小波变换、傅里叶变换，使场景图像在稀疏变换域中的投影系数稀疏；面阵CMOS平板模块中的矩阵乘法器生成观测矩阵，将观测矩阵输出到重构处理器模块；重构处理器模块利用非线性优化算法求解LI-范数，生成高分辨率图像，非线性优化算法按照下列公式进行X = arg min | | ΨΤΧ | |!其中，X高分辨率图像矩阵，X必须满足条件Φ ΨΧ = Y，Φ为观测矩阵，Ψ为稀疏变换基，Y为观测值图像矩阵，arg mini | · | I i代表对投影系数取LI-范数最小值，T代
表转置。步骤10.从重构处理器模块中提取高分辨率图像，获得高分辨率图像。本发明的效果可以通过下述仿真实验加以说明仿真条件本发明的仿真条件是MATLAB软件，待拍摄图像为256X256的Lena图像，仿真參数设置如下表所示。
权利要求
1.一种基于CMOS-TDI模式的高分辨率成像系统，包括五个模块控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块，各模块之间通过总线连接；其中， 所述控制信号发生器模块，用于产生控制运动路线控制索道模块、曝光控制模块和面阵CMOS平板模块的使能信号，实现对系统的驱动； 所述面阵CMOS平板模块，用于产生观测矩阵和场景图像的随机压缩编码图像，完成观测矩阵和低分辨率观测值图像的输出； 所述运动路线控制索道模块，用于控制面阵CMOS平板模块中行间转移面阵CMOS探测器运动； 所述随机曝光控制模块，用于控制行间转移面阵CMOS探测器中传输门开或关，实现对传输门开或关的随机控制； 所述图像重构处理器模块，用于重构高分辨图像。
2.根据权利要求I所述的基于CMOS-TDI模式的高分辨率成像系统，其特征在于，所述面阵CMOS平板模块包括通过信号传输线相连的行间转移面阵CMOS探测器、垂直扫描移位寄存器、水平扫描移位寄存器、模数转换器和矩阵乘法器；其中， 所述的行间转移面阵CMOS探测器中的感光区，用于获取场景信息，将光信号转换为电信号；行间转移面阵CMOS探测器中的传输门，用于实现电信号的像元内转移；行间转移面阵CMOS探测器中的掩膜区，用于实现电信号的行间转移； 所述的垂直扫描移位寄存器，用于产生垂直驱动脉冲，驱动电信号垂直转移； 所述的水平扫描移位寄存器，用于产生水平驱动脉冲，驱动电信号串行输出； 所述的模数转换器，用于将电信号转化为数字信号，完成数字信号的输出； 所述的矩阵乘法器，用于计算矩阵相乘，完成观测矩阵的输出。
3.根据权利要求I所述的基于CMOS-TDI模式的高分辨率成像系统，其特征在于，所述随机曝光控制模块包括通过信号传输线相连的二进值随机数生成器和传输门控制器；其中， 所述的二进制随机数生成器，用于产生二进制随机序列，输出与随机序列对应的脉冲信号序列； 所述的传输门控制器，用于控制行间转移面阵CMOS探测器中传输门开或关。
4.一种基于CMOS-TDI模式的高分辨率成像方法，包括如下步骤 (1)初始化操作 将行间转移面阵CMOS探测器对准待拍摄场景，设定行间转移面阵CMOS探测器输出观测值图像大小，设定每个观测值的时间延迟积分TDI级数，将探测器面阵按行划分为与观测值个数相等的探测器子块，每个探测器子块的大小与观测值TDI级数相同； (2)探测器沿与场景平行的路线向前推扫s个像素； (3)二进制随机数生成器生成二进制随机序列； (4)探测器积分曝光 探测器像元感光区对探测器像元对准的n个场景像素信息积分曝光，将光信号转化为电信号，得到光生电荷； (5)光生电荷像兀内转移在传输门控制电路的控制下，当步骤2生成的随机数为I时，传输门控制电路控制像元传输门打开，光生电荷转移到像元行间掩膜区；当步骤2生成的随机数为O时，传输门控制电路控制CMOS像元传输门关闭，像元掩膜区不收集光生电荷，完成像元感光区光生电荷的像元内转移； (6)掩膜区电荷行间转移 面阵CMOS平板模块中的垂直扫描移位寄存器产生垂直控制脉冲，驱动每行像元掩模区内的光生电荷通过由行间掩模区形成的电荷转移通道垂直转移到下一行像元的掩膜区，当光生电荷转移到所属探测器子块内最后一行像元掩膜区时，掩膜区光生电荷停止行间转移等待输出； (7)判断是否完成场景扫描 若探测器最后一行像元积分曝光次数小于曝光次数阈值K，表明尚未完成场景扫描，则执行步骤2，若探测器最后一行像元积分曝光次数等于曝光次数阈值K，表明完成场景扫描，则执行步骤8; (8)输出观测值图像 8a)控制信号发生器模块控制行间转移面阵CMOS探测器停止积分曝光； Sb)面阵探测器的垂直扫描移位寄存器产生垂直控制脉冲，垂直控制脉冲驱动电荷垂直转移，使电荷从掩膜区转移到水平扫描移位寄存器； Sc)水平扫描移位寄存器产生水平控制脉冲，水平控制脉冲驱动电荷串行输出到模数转换器； 8d)模数转换器将电信号转化为观测值数据后组成的观测值图像输出到图像重构处理器模块； (9)优化求解LI-范数 9a)利用时域变换方法稀疏变换域； 9b)面阵CMOS平板模块中的矩阵乘法器生成观测矩阵； 9c)重构处理器模块利用非线性优化算法求解LI-范数，生成高分辨率图像； (10)获得高分辨率图像。
5.根据权利要求4所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(1)中所述的时间延迟积分TDI级数为2 6之间。
6.根据权利要求4所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(2)中所述的像素个数s的取值范围是I彡s彡N/M，其中N为场景图像的列数，M为观测值图像的列数。
7.根据权利要求4所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(4)中所述场景像素数n的取值范围是I < n < N，其中N为场景图像的列数。
8.根据权利要求4所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(7)中所述的曝光次数阈值K= (N+s-n)/s，其中N为场景图像的列数，s为探测器推扫的像素数，n为探测器像元积分曝光的场景像素数。
9.根据权利要求4所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(9)中所述的时域变换方法是指DCT变换、小波变换、傅里叶变换，使场景图像在稀疏变换域中的投影系数稀疏。
10.根据权利要求4所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(9)中所述的非线性优化算法按照下列公式进行 X = arg min | | ^jlX | |!其中，X高分辨率图像矩阵，X必须满足条件O WX = Y, O为观测矩阵，^为稀疏变换基，Y为观测值图像矩阵，arg min| . | I:代表对投影系数取LI-范数最小值，T代表转置。
全文摘要
本发明公开一种基于CMOS-TDI模式的高分辨率成像系统及方法，主要解决现有技术中图像获取效率低和输出图像信噪比差的问题。其系统包括控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块。其方法包括1.初始化操作；2.探测器推扫s个像素；3.产生二进制随机序列；4.探测器积分曝光；5.光生电荷像元内转移；6.掩膜区电荷行间转移；7.判断是否完成场景扫描；8.输出观测值图像；9.优化求解L1-范数；10.获得高分辨率图像。本发明具有电路结构简单、运算复杂度低、图像获取效率高和输出图像信噪比高的优点。
文档编号H04N5/353GK102638659SQ20121008501
公开日2012年8月15日 申请日期2012年3月28日 优先权日2012年3月28日
发明者刘丹华, 潘旋, 王晓甜, 石光明, 董伟生, 谢雪梅, 高大化 申请人:西安电子科技大学