专利名称：实现面阵cmos图像传感器时间延迟积分的装置的制作方法
技术领域：
本发明属于光电传感器应用领域中，涉及的一种CMOS图像传感器特殊应用的方法。
背景技术：
目前，CMOS图像传感器的应用已经逐渐被人们所重视。相比于传统的(XD图像 传感器，CMOS传感器具有功耗低、集成度高、体积小、抗干扰能力强、只需单一电源等优点， 因此图像传感器在民用相机、机器视觉、天文观测、小卫星、星敏感器等多个应用领域表现 出了极大的潜力。然而，由于光电转换原理、内部结构和工艺等原因，目前CMOS图像传感 器多为面阵结构，与线阵CCD和TDI CCD (时间延迟积分CCD)相对应的线阵CMOS或者TDI CMOS(时间延迟积分CMOS)器件极为少见。而对于一些特殊应用场合(如航天遥感推扫成 像)则需要图像传感器具有时间延迟积分的能力，这使得CMOS传感器在这些领域的应用遇 到了困难。TDI (XD图像传感器时间延迟积分的原理是当光入射到(XD光敏面时，(XD便产生 光电子，产生光电子的过程称作积分。TDI CCD的工作过程是对同一目标进行多次曝光，通 过延时积分的方法，增强光能的收集。TDI (XD的时间延迟积分过程是在器件内部进行的，在严格的垂直转移时序和水 平转移时序驱动下，将光电子在TDI C⑶像元间转移、积分。所以TDI C⑶时间延迟积分的 本质是光电子的积分。而CMOS器件在生成光电子以后，将会立即转换为电压信号，不能进 行光电子的转移和积分，这使得TDI CMOS器件不易获得。
发明内容
本发明解决的技术问题是提供一种不改变当前CMOS器件的构造，而是利用外部 器件实现时间延迟积分的实现面阵CMOS图像传感器时间延迟积分的装置。为了解决上述技术问题，本发明的实现面阵CMOS图像传感器时间延迟积分的装 置包括TDI控制时序装置，随机存储器；TDI控制时序装置产生CMOS图像传感器驱动波形， CMOS图像传感器开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装 置生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分 处理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至图像采集卡 或存储器。所述TDI控制时序装置包括开辟存储区的装置该装置用于在随机存储器中开辟N行图像数据存储区，每行 图像数据存储区用于存储对应级数积分后的结果；使图像数据存储区中的数据进行流水移位的装置该装置用于将第N行图像数据 存储区中的数据传输至图像采集卡或存储器，将第N-1行图像数据存储区中的数据转移至 第N行图像数据存储区中，依此类推，将第2行图像数据存储区中的数据转移至第3行图像数据存储区中，将第1行图像数据存储区中的数据转移至第2行图像数据存储区中，第1行 图像数据存储区清零；将图像数据存储区内的数据进行累加存储的装置该装置用于读取CMOS图像传 感器输出的N行数据，将第1行数据直接存储至第1行图像数据存储区中，将第2行数据与 第2行图像数据存储区中原有数据相加，并将积分结果存储在第2行图像数据存储区中，依 此类推，将第N行数据与第N行图像数据存储区中原有数据相加，并将积分结果存储在第N 行的图像数据存储区中。本发明在不改变面阵CMOS图像传感器结构的前提下，利用外部器件实现了数字 图像的时间延迟积分，使面阵CMOS成像系统能够替代TDI (XD成为未来对地遥感的成像系 统。禾_本发明可以实现相机的推扫拍照，推扫的方向可以灵活选择，可以顺扫与逆扫，而 无须如TDI CCD—样只能按照一个方向进行推扫。同时本发明对TDI的级数可以灵活选择， 在一定级数范围内可以连续选择，使得曝光时间的最优设置成为可能。而TDI CCD在级数 选择上往往只规定了几档，如只能在4级、8级、16级、32级、64级中进行选择。CMOS图像传感器较(XD有很多优势，利用本发明可以使CMOS成像系统具备TDI CCD成像系统的所有功能，并可以使其应用得到一定程度的扩展，尤其为对地遥感相机增添 了很多灵活的工作方式。利用本发明可以很方便地实现CMOS成像系统的工作模式的切换， 使其具备面阵和TDI两种工作模式，这对其应用提供了灵活的选择。例如在对地遥感领域， 在面阵工作模式下可以实现相机的凝视拍照，而在TDI工作模式下则可以实现相机的推扫 拍照。利用面阵和TDI两种工作模式，还可以进行相机在轨自动调焦。因为面阵自主调焦 技术非常成熟，而TDI自主调焦技术尚处于研究阶段，利用面阵工作模式与TDI工作模式的 不同特点，可以实现在面阵工作模式下进行自主调焦，然后再切换到TDI模式进行拍照。本发明还可以包括成像控制器，通信装置，驱动时序装置；所述成像控制器向通信 装置发送指令和参数，经通信装置解码后，将指令和参数传输到TDI控制时序装置，TDI控 制时序装置根据指令和参数产生TDI控制时序，并控制驱动时序装置产生CMOS图像传感器 驱动波形。所述随机存储器包括缓存器，扩展存储装置；CMOS图像传感器输出的数字图像传 输至缓存器；TDI控制时序装置生成的TDI控制时序传输给缓存器，缓存器进行数字图像的 时间延迟积分处理，并将各级积分处理后的结果存储在扩展存储装置中。本发明还可以包括图像输出装置；所述TDI控制时序装置将生成的数传输出控制 时序传输给图像输出装置，使经过延迟积分后的最终图像通过图像输出装置传输给图像采 集卡或存储器。
下面结合附图和具体实施方式
对本发明作进一步详细说明。图1为TDI C⑶时间延迟积分的原理图。图2为本发明的实现面阵CMOS图像传感器时间延迟积分的装置结构框图。图3为本发明的具体实施方式
结构框图。图4为在一个完整的行周期内，FPGA的TDI控制时序模块32'的具体工作流程 图。
4图5为本发明的工作原理图。
具体实施例方式TDI (XD时间延迟积分原理如图1所示。在T1时刻，第一行像元11曝光产生光 电子el ；在T2时刻，第二行像元12曝光产生光电子e2，同时第一行像元的光电子el转移 至第二行像元12与e2相加得到二级积分结果；T3时刻，第三行像元13曝光产生的光电子 e3与光电子el、光电子e2累加得到三级积分结果。依次类推，如果积分级数为N级，则第N 行像元14对同一目标进行了 N次积分，得到了最终的N级积分结果，从而提高了 CCD图像 传感器的灵敏度。如图2所示，本发明的实现面阵CMOS图像传感器时间延迟积分的装置包括TDI控 制时序装置32，随机存储器；TDI控制时序装置32产生CMOS图像传感器1驱动波形，CMOS 图像传感器1开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装置32 生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分处 理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至图像采集卡或 存储器。本发明还包括成像控制器2，通信装置31，驱动时序装置33 ；所述成像控制器2向 通信装置31发送指令和参数，经通信装置31解码后，将指令和参数传输到TDI控制时序装 置32，TDI控制时序装置32根据指令和参数控制驱动时序装置33产生CMOS图像传感器1 驱动波形；同时，TDI控制时序装置32生成的TDI控制时序传输给随机存储器。所述随机存储器包括缓存器35，扩展存储装置36 ；CMOS图像传感器1输出的数字 图像传输至缓存器35 ；TDI控制时序装置32生成的TDI控制时序传输给缓存器35，缓存器 35进行数字图像的时间延迟积分处理，并将各级积分处理后的结果存储在扩展存储装置 36中。本发明还包括图像输出装置34 ；所述TDI控制时序装置32将生成的数传输出控 制时序传输给图像输出装置34，使经过延迟积分后的最终图像通过图像输出装置34传输 给图像采集卡或存储器。所述的成像控制器2为相机的控制单元；通信装置31、TDI控制时序装置32、驱动 时序装置33、图像输出装置34和缓存器35采用FPGA编程实现；扩展存储装置36采用外部 存储器36'实现。如图3所示，通信模块31'实现通信装置31的功能，TDI控制时序模块 32'实现TDI控制时序装置32的功能，驱动时序模块33'实现驱动时序装置33的功能，图 像输出模块34'实现图像输出装置34的功能，RAM缓存区35'实现缓存器35的功能。相机实现CMOS的TDI成像流程如下成像控制器2向FPGA中的通信模块31 ‘发 送指令和参数，经通信模块31'解码后，将指令和参数传输到TDI控制时序模块32'，TDI 控制时序模块32'根据指令和参数控制驱动时序模块33'产生CMOS图像传感器1驱动波 形，CMOS图像传感器1开始输出数字图像至FPGA的内部RAM缓存区35'；同时，TDI控制 时序模块33'生成TDI控制时序，在FPGA的内部RAM缓存区35'内进行图像的时间延迟 积分处理，并将时间延迟积分处理后的结果存储在外部存储器36'；经过N级积分后的图 像被传送至FPGA中的图像输出模块34'，所述TDI控制时序模块32'控制图像输出模块 34'，将最终的图像数据传输到外部采集或存储设备中。本发明选择了 FPGA作为CMOS图像传感器输出信号时间延迟积分的场所。由于
5FPGA具有强大的时钟管理和丰富的内部存储缓存资源，所以FPGA既可以作为CMOS图像传 感器的时序发生源，又可以对CMOS图像传感器输出的视频信号进行时间延迟积分。在一个完整的行周期内，FPGA的TDI控制时序模块32'的具体工作流程为1)开辟存储区。对于N级积分，在扩展存储区36中开辟N行图像数据存储区，每 行图像数据存储区用于存储对应级数积分后的结果。如第1行图像数据存储区用于缓存1 级积分后的结果，第2行图像数据存储区用于缓存2级积分后的结果，第N行图像数据存储 区用于缓存N级积分后的结果。2)流水移位。第N行图像数据存储区中的数据转移至图像输出模块34'中，第 N-1行图像数据存储区中的数据转移至第N行图像数据存储区中，依此类推，第2行图像数 据存储区中的数据转移至第3行图像数据存储区中，第1行图像数据存储区中的数据转移 至第2行图像数据存储区中，第1行图像数据存储区清零。3)累加存储。读取CMOS图像传感器输出的N行数据。第1行数据直接存储至第 1行图像数据存储区中；第2行数据与第2行图像数据存储区中原有数据相加，并将积分结 果存储在第2行图像数据存储区中；依此类推，第N行数据与第N行图像数据存储区中原有 数据相加，并将积分结果存储在第N行的图像数据存储区中。4)将最终的图像通过图像输出模块34'发送到图像采集卡或存储器中；5)在下一个行周期内重复2)、3)、4)三个步骤，便完成了 CMOS图像传感器的N级 时间延迟积分成像。本发明中积分级数N的数值没有严格的限制，可以在实际拍照时根据景物的照度 选择合适的数值。当需要停止拍照时，成像控制器2向FPGA发出停止拍照指令，FPGA停止各模块工 作，并向成像控制器2发送已停止拍照消息。下面以4级积分为例详细说明本发明的工作原理。首先，系统进行上电，上电后成像控制器2与FPGA建立通信连接。通信链路正常 以后，成像控制器2向FPGA发送成像参数设置指令。FPGA在收到成像参数后进行初始化。 与时间延迟积分相关的参数是行时间和积分级数(本例积分级数为4)。参数设置完毕后， FPGA向成像控制器2发送初始化完成指令。初始化完成后，成像控制器2向FPGA发送开始拍照指令，FPGA开始启动TDI成像。 首先，FPGA配置CMOS的行选择控制单元，选择4行图像作为图像输出窗口。以第一行图像 输出时刻作为第一个行周期的起始，以下一行图像输出时刻最为这个行周期的结束。本发明的核心算法在FPGA中的TDI控制时序模块32 ‘中实现，该模块根据积分级 数和行转移时间产生相应的时序控制波形，从而控制CMOS图像传感器的行选择控制单元、 列输出单元以及扩展存储装置36中图像的积分和传输时序。工作原理说明本发明的工作原理如图5所示，以4级积分为例。图5中上部矩形表示CMOS图像 传感器的感光像元区域，L1-L6表示CMOS图像传感器的6行像元，P1-P6表示目标景物经 CMOS图像传感器感光得到的6行图像数据。在不同的时刻，L1-L6将对不同目标景物进行 感光，对应不同的图像。图5下半部分，表示了图像数据的存储和传输路线。M1-M4表示1-4 级积分图像的存储区，M1-M4可以利用FPGA中的RAM实现，如FPGA中的RAM资源不足，可
6以利用外部存储器36'的RAMI、RAM2、RAM3、RAM4实现。在T1行周期内，CMOS图像传感器曝光，L1行像元感光得到目标第一行景物图像 T1P1，通过FPGA的控制，将第一行景物图像T1P1传送至外部存储器36'的Ml中。T1行周 期内完成了第一行图像的1级积分。在T2行周期内，CMOS图像传感器相对景物发生了位 移，CMOS的L2行像元对第一行景物进行第二次曝光得到T2P1，通过FPGA的控制，将第一行 景物图像T2P1传送至外部存储器36'的M2中；与此同时，外部存储器36'在FPGA的控制 下进行像元存储空间的转移，将Ml中的T1行周期图像T1P1转移至M2中，并将Ml清零。此 时，M2中存储的图像数据为T1P1与T2P1之和，即第一行景物图像的二级积分结果。而L1 行像元对第二行景物进行第一次曝光，得到目标第二行景物图像T2P2，T2P2传送至外部存 储器36'的Ml中，即Ml中存储了第二行景物图像的一级积分的结果。T3、T4行周期，也依 然按前两个行周期的顺序进行积分与传输，T4周期后Ml至M4的状态为M1中存储第四行 图像一级积分的结果，M2中存储第三行图像二级积分的结果，M3中存储第二行图像三级积 分的结果，M4中存储第一行图像四级积分的结果。到T5周期，依然按照上述顺序执行，则 经过四级积分的第一行图像被传送至图像输出模块34'等待输出，而第五行景物图像完成 第一次积分进入了 Ml缓存。此时，Ml至M4的状态为M1中存储第五行图像一级积分的结 果，M2中存储第四行图像二级积分的结果、第三行图像三级积分的结果，M4中存储第二行 图像四级积分的结果。按照上述过程循环进行，则在FPGA控制下实现了 CMOS的时间延迟 积分。本发明不限于上述实施方式，TDI控制时序装置32和随机存储器还可以采用DSP 或者其他具有高速图像处理功能的器件实现。只要是采用TDI控制时序装置产生CMOS图 像传感器1驱动波形和TDI控制时序，并利用随机存储器进行数字图像的时间延迟积分处 理，并存储时间延迟积分处理后的结果，都在本发明意图保护范围之内。
权利要求
一种实现面阵CMOS图像传感器时间延迟积分的装置，其特征在于包括TDI控制时序装置(32)，随机存储器；TDI控制时序装置(32)产生CMOS图像传感器(1)驱动波形，CMOS图像传感器(1)开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装置(32)生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分处理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至图像采集卡或存储器。
2.根据权利要求1所述的实现面阵CMOS图像传感器时间延迟积分的装置，其特征在于 所述TDI控制时序装置(32)包括开辟存储区的装置，该装置用于在随机存储器中开辟N行图像数据存储区，每行图像 数据存储区用于存储对应级数积分后的结果；使图像数据存储区中的数据进行流水移位的装置该装置用于将第N行图像数据存储 区中的数据传输至图像采集卡或存储器，将第N-I行图像数据存储区中的数据转移至第N 行图像数据存储区中，依此类推，将第2行图像数据存储区中的数据转移至第3行图像数据 存储区中，将第1行图像数据存储区中的数据转移至第2行图像数据存储区中，第1行图像 数据存储区清零；将图像数据存储区内的数据进行累加存储的装置该装置用于读取CMOS图像传感器 输出的N行数据，将第1行数据直接存储至第1行图像数据存储区中，将第2行数据与第2 行图像数据存储区中原有数据相加，并将积分结果存储在第2行图像数据存储区中，依此 类推，将第N行数据与第N行图像数据存储区中原有数据相加，并将积分结果存储在第N行 的图像数据存储区中。
3.根据权利要求1所述的实现面阵CMOS图像传感器时间延迟积分的装置，其特征在 于还包括成像控制器(2)，通信装置(31)，驱动时序装置(33)；所述成像控制器(2)向通信 装置(31)发送指令和参数，经通信装置(31)解码后，将指令和参数传输到TDI控制时序装 置(32)，TDI控制时序装置(32)根据指令和参数产生TDI控制时序，并控制驱动时序装置(33)产生CMOS图像传感器(1)驱动波形。
4.根据权利要求1所述的实现面阵CMOS图像传感器时间延迟积分的装置，其特征在于 随机存储器包括缓存器(35)，扩展存储装置(36) ；CMOS图像传感器(1)输出的数字图像传 输至缓存器(35) ；TDI控制时序装置(32)生成的TDI控制时序传输给缓存器(35)，缓存器(35)进行数字图像的时间延迟积分处理，并将各级积分处理后的结果存储在扩展存储装置(36)中。
5.根据权利要求3或4所述的实现面阵CMOS图像传感器时间延迟积分的装置，其特征 在于还可以包括图像输出装置(34)；所述TDI控制时序装置(32)将生成的数传输出控制 时序传输给图像输出装置(34)，使经过延迟积分后的最终图像通过图像输出装置(34)传 输给图像采集卡或存储器。
全文摘要
本发明涉及一种实现面阵CMOS图像传感器时间延迟积分的装置，该装置包括TDI控制时序装置，随机存储器；TDI控制时序装置产生CMOS图像传感器驱动波形，CMOS图像传感器开始输出推扫成像生成的数字图像至随机存储器；同时，TDI控制时序装置生成的TDI控制时序传输至随机存储器，在随机存储器中完成数字图像的时间延迟积分处理，并存储各级积分处理后的结果；经过时间延迟积分后的最终图像传输至图像采集卡或存储器。本发明在不改变面阵CMOS图像传感器结构的前提下，利用外部器件实现了数字图像的时间延迟积分，使面阵CMOS成像系统能够替代TDI CCD成为未来对地遥感的成像系统。
文档编号H04N5/335GK101854489SQ201010143520
公开日2010年10月6日 申请日期2010年4月12日 优先权日2010年4月12日
发明者张叶, 张贵祥, 曲宏松, 郑亮亮, 金光 申请人:中国科学院长春光学精密机械与物理研究所