专利名称：红外光学超分辨率成像仪的制作方法
技术领域：
实用新型涉及一种红外光学超分辨率成像仪，属于信号获取及信号处理和视频监
视监控领域。
背景技术：
随着人们对电视监控系统工程的要求愈来愈高，对一些重要的场所越来越要求做到24小时连续监控，因此高可靠的夜间监控也越来越受到人们的重视。实现夜视的方法，可以采用常规的可见光照明，但此法不仅不能隐蔽，反而更加暴露监控目标。隐蔽的夜视监控，目前都是采用红外摄像技术。红外摄像技术是利用任何物体在绝对零度(一 273tO以上都有红外光发射的原理。由于人的身体和发热物体发出的红外光较强，其它非发热物体发出的红外光很微弱，因此，利用特殊的红外光学监测设备就可以实现夜间监控。[0003] 高分辨率图像通常是目前大多数电子成像系统所要追求达到的最终效果。所谓高分辨率就是指图像中的像素密度很高以致可以提供更多细节信息，而这一点在实用当中是非常关键的。从上世纪70年代开始，在许多成像系统中CCD和CMOS成像传感器被广泛地使用。尽管这些传感器对多数成像应用是合适的，但分辨率的提高仍是将来很长一段时间的主要需求。通常，增加空间分辨率的方式有两种。最为直接的方法就是减小传感器像素的尺寸，也即增加单位面积上的像素数。这主要依赖于传感器制造工艺上的改进。然而，随着传感器像素尺寸的降低，它所吸收的光量也减少，这样成像噪声就会严重影响图像的质量。实验表明，传感器像素尺寸存在一个最优极限，如果小于这个尺寸，图像就会受到噪声的极大干扰。目前成像传感器工艺技术已经几乎达到了这样一个极限。另外一种增强分辨率的方式就是增大集成芯片的尺寸以获得更多的图像信息。但是这样导致芯片电容也会提高，由于大电容会使电荷转移速率降低，因此这种方法很少采用。 除了以上两种方法在在物理特性上的限制，在实际的一些应用中，高精度光学传感器的价格也是需要考虑的重要因素。尤其是，目前所使用的高清晰红外型监视摄像机普遍价格昂贵，因此主要应用于军事领域。对于民用普通夜间监控，很少采用昂贵的高清红外成像系统，而是牺牲一定的清晰度寻求价格适中，大多用户能够接受的低分辨率红外摄像机。由于普通民用成像设备的低分辨率再加上夜间红外成像，直接获得的视频或图像是不清晰的。在此我们提出采用一种不依赖成像设备的软方法来改善获得的视频或图像的清晰度。该方法对观测的一系列低分辨率图像进行处理可以得到高质量高分辨率的图像从而满足硬件难以达到的要求。目前，这种分辨率增强方法已成为最为活跃的研究领域之一，并被称为超分辨率图像重构。应用信号处理的方法增强分辨率主要有两大优点一个是成本较低，另外就是可利用现有的低分辨率成像系统。目前，超分辨率重构已有很多成熟的算法，在这些众多算法当中，基于Huber先验模型的最大后验(maximum a posteriori,MAP)算法以其对细节和边缘良好的保持能力而被广泛采用。然而，对于很多应用领域，图像的细节和边缘需要额外的突出，因此改进的基于Huber先验模型的MAP算法被用来满足特定的要求。[0005] 大多数超分辨率图像重构都是应用通用的PC机加以实现的。首先，要将获取到的低分辨率图像序列导入PC中，然后调用事先写好的算法程序对此图像序列进行处理，这一过程包括图像序列的配准和重构。很多情况下，被处理图像序列的数据量都是很大的，因此依赖于PC机仅适用于对实时性要求不太强的情况。 目前视频监控存在的几个问题①主要都是针对目标的可见光监控，对于夜间黑暗场合，较低成本的设备较难获得目标的完整清晰的可见光视频信息。②红外光学图象传感器能够捕捉到较完整的目标信息，但价格适中且常用的红外光学图象传感器分辨率不高，很难获得目标的细节信息。③基于信号处理的软方法可以弥补图象传感器分辨率的不足，但采用通用PC机基于信号处理的软方法，其实时处理及灵活性能力不强。 多数视频监控仪仅可以短距离固定监视，满足不了便捷快速的网络化监视监控的要求。
实用新型内容本实用新型所要解决的技术问题是克服现有的红外光学传感器不能获取更高分
辨率图像和价格昂贵的缺点以及PC机处理数据实时性不高和网络化监视监控不便的问
题，本实用新型提出一种红外光学超分辨率成像仪。该成像仪不仅能满足红外图像实时获
取超分辨率处理的要求，而且能高速地方便地输出图像以便于网络监视监控，另外图像的
细节和边缘还得到了有效的增强，弥补了普通算法只能保持细节和边缘的不足。 本实用新型为实现上述目的，采用如下技术方案 本实用新型红外光学超分辨率成像仪，其特征在于由以下四个单元所组成逻辑控制与数据处理单元、红外视频采集单元、USB接口单元、Cameralink接口单元，其中红外视频采集单元的数字信号图像的输出端接逻辑控制与数据处理单元的数字信号图像的输入端，红外视频采集单元的状态信号端与逻辑控制与数据处理单元的状态信号端双向连接，逻辑控制与数据处理单元的数字信号输出端接USB接口单元的数字信号输入端，逻辑控制与数据处理单元的控制信号端与USB接口单元的控制信号端双向连接，逻辑控制与数据处理单元的视频信号输出端接Camera link接口单元的视频信号输入端，Camera link接口单元的相机控制信号输出端接逻辑控制与数据处理单元的相机控制信号输入端。[0010] 本实用新型的有益效果是，尽管利用普通的红外光学传感器获取的夜间红外监视图像序列的分辨率较低，但可以利用超分辨率重构的软方法对图像序列进行处理并高速且有效的重构出高分辨率夜间红外监视图像，而且重构出的图像细节和边缘能够突出。高分辨率图像可通过USB和Camera link通信接口高速方便地实现网络化监视监控。
图1是本实用新型的结构示意图。 图2是本实用新型红外视频采集模块电路示意图。 图3是本实用新型的FPGA内部结构框图。 图4是本实用新型DSP模块的超分辨率算法流程图。 图5是本实用新型信号USB接口模块电路示意图。 图6是本实用新型信号Camera link接口模块电路图。
具体实施方式
以下结合附图对本实用新型实施例进一步详述 如图1所示，本实用新型是一种红外光学超分辨率成像仪，主要有以下四个单元 所组成逻辑控制与数据处理(FPGA)单元1、红外视频采集单元2、USB接口单元3、Camera link接口单元4。 其中，如图2所示，该图显示的是图1中的红外视频采集单元2，本单元采用的视 频解码芯片ADV7181B(ADI公司多制式视频解码芯片)将红外光学传感器获得的模拟视频 信号转换为数字信号。但在此实时图像处理系统中，恒速的视频解码芯片ADV7181B与变速 的FPGA图像处理之间需要加入缓冲电路。为适应高速视频信号处理的需求，本设计采用了 在FPGA芯片内部实现3. 5M大小16位宽的双口 RAM，它的一个端口接收经过预处理模块处 理的数据，另外一个端口为DSP模块提供数据。ADV7181B芯片输出两路视频图像数据，通 过弓l展卩P10-P17，引脚P20-P27传输到FPGA的BANK0 口禾口 BANK1 口 ，与引脚I0_L66N_0， 10— L66P_0， I0_L67N_0， I0_L67P_0， I0_L68N_0， I0_L68P_0， I0_L69N_0， I0_L69P_0和引脚I0_ L44N—1, I0—L44P—1, I0_L45N_1， I0_L45P_1， I0_L46N_1， I0_L46P_1， I0—L47N—1, I0—L47P—1 相连；ADV7181B芯片的VS1，VS2引脚分别与I0_L73N_0， I0_L48N_1相连；ADV7181B芯片的 HS1， HS2引脚分别与I0_L73P_0， I0_L48P_1相连；ADV7181B芯片的时钟信号Sclkl， Sclk2 引脚分别与I0_L74P_0， I0_L74P_1相连。 如图3所示，该图显示的是图1中的逻辑控制与数据处理(FPGA)单元l，逻辑控制 与数据处理FPGA单元主要由双路红外光学传感器接口 、数据锁存、双口 RAM模块、图像预处 理模块、数字信号处理模块、双FIFO数据缓冲、端口映像逻辑、相机同步信号产生逻辑、USB 接口单元等单元通过PLB总线交由FPGA芯片自带PowerPC处理器调度，并由RAM控制器 将这些数据在RAM存储器中解析成帧图像数据，以供图像处理模块进行后续的图像信号处 理，其结果可通过USB接口输出至电脑，或者通过Camera Link接口输出至数字相机，以显 示图像或者对图像进一步处理。 在超高速数据采集方面，FPGA(现场可编程门阵列)有着单片机、PC和DSP所无 法比拟的优势，新一代的FPGA集成了中央处理器(CPU)或数字信号处理器(DSP)的内核， 在一片FPGA上进行软硬件协同设计，为实现片上可编程系统提供了强大的硬件支持。FPGA 时钟频率高，内部延时小，硬件资源丰富，单片集成的可用门数达IOOO万门，全部控制逻辑 由硬件资源完成，速度快，效率高，因此基于FPGA的控制电路组成形式灵活，可以集成外围 控制、译码和接口电路。因此FPGA能够满足信号采集，超分辨率重构实时处理的要求。目 前，网络已经越来越普及，然而大多监控系统在网络传输方面达不到方便快捷，为了实现网 络化视频监视监控，且做到网络接口方便，本实用新型设计了 USB和Camera link接口，这 样就可方便地将高分辨率信号快速的传输到监视器。 逻辑控制与数据处理(FPGA)单元为本实用新型的主模块单元，FPGA主控芯片使 用的是Xilinx的Virtex-II Pro系列芯片中的XC2VP30。该FPGA芯片拥有30816个逻辑 单元，相当于有30多万的ASIC门，另有2Mb的片上BlockRAM，644个I/O 口，并内嵌两个 PowerPC405硬核处理器。在本实用新型中由PowerPC405硬核处理器控制整个系统运行的 时序和逻辑操作。实现过程采用可采用Xilinx的全自动、完整的集成设计环境ISE9. li， 进行FPGA综合使用的工具是Synplify Pro。并且FPGA的生产厂商Xilinx及其第三方厂商已经实现并优化了很多典型的IP核，提供了包括基础逻辑、总线接口与1/0、视频与图像 处理、数字信号处理、存储器接口等大量IP核，在代码转换时可以充分利用这些资源，对代 码进行优化来提高设计性能。经过图1中2单元采集后的数据首先进入FPGA的数据锁存 单元，它为8位锁存输出，具有输出使能端，采样时刻为采样信号的上升沿。其中双口 RAM， 以及本单元中图像预处理模块中如曝光调整处理模块、降噪滤波处理模块、白平衡处理模 块及色彩空间变换模块都可直接利用现有的IP核实现。其中双口 RAM拥有3.5M大小16 位宽的存储区，它的一个端口接收经过预处理模块处理的数据，另外一个端口为DSP模块 提供数据。虽然双口 RAM能同时在两边进行读写操作，但是必须保证不是对同一地址进行 操作。本设计过程中在每帧数据写完后，由FPGA预处理模块给出一个指示位，同时给出当 前写入的帧所在双口 RAM芯片内的位置。DSP模块执行一个死循环来不定时查询这个标志 位，根据这个标志位判断是否有一帧新的数据写入。如果有新的数据写入，DSP模块将进一 步查询新出现数据帧的位置，然后读入新的数据帧进行处理。 在图4中所示算法流程图部分是本设计算法部分的核心，通过这部分FPGA程序实 现对输入图像信号的处理。首先将视频序列进行配准得到几何模糊畸变矩阵W，与此同时对 视频序列进行逐个增强而后插值并求出均值图像X作为迭代寻优的初始图像。令W与X相 乘得到几何模糊畸变的图像序列，将此序列与输入视频序列相减并取其2-范数的平方，这 一过程相当于构造MAP超分辨率重构的近似逼近项。将近似逼近项与基于Huber分布的正 则项-Plog(p(x))相加就得到了迭代寻优的目标函数。求出最小目标函数下的X值就是 一次迭代后的图像。此时判断迭代条件是否超出，如果超出此时的X就是重构的结果，如果 未超出将X再与W相乘重复前述的迭代步骤直到超出迭代条件输出最终重构结果。 如图5所示，该图显示的是图1中的USB接口单元(3) ， USB芯片采用Cypress的 CY7C68013A，它集成了 USB2. 0收发器、SIE和增强型8051单片机，时钟最大为48MHz， USB接 口通过4个16位片上FIF0轮流上传和下行数据实现高速数据传输。CY7C68013A芯片的引 脚D0-D7分别与Xilinx xc2vp30芯片的BANK3端口的I0_L50N_3， I0_L50P_3， I0_L51N_3， I0_L51P_3， I0_L52N_3， I0_L52P_3， I0_L53N_3， I0_L53P_30引脚相连；CY7C68013A芯片的 引脚INTO与xc2vp30芯片的BANK3端口的I0_L54N_3相连；CY7C68013A芯片的引脚RDY与 xc2vp30芯片的BANK3端口的I0_L54P_3相连；CY7C68013A芯片的引脚CLKOUT与xc2vp30 芯片的BANK3端口的I0_L55N_3相连；CY7C68013A芯片的引脚RESET与xc2vp30芯片的 BANK3端口的I0_L55P_3相连；CY7C68013A芯片的引脚WAKEUP与xc2vp30芯片的BANK3端 口的I0_L56P_3相连。 如图6所示，该图显示的是图1中的Camera Link接口模块单元(4)，它通过FPGA 芯片的BANK2接口输出图像数据信号和控制信号转换成与Camera Link协议相匹配的低压 差分信号(LVDS)进行传输，为图像数据采集装置的测试提供可靠的信号源。Camera Link 接口器件DS90CR285芯片是专用电平转换器件，它能将28位CMOS/TTL电平数据和一位像 素时钟信号分别转换成4组LVDS数据流及一对LVDS时钟信号进行传输，由于采用差分传 输方式，提高了传输距离及信号精度。系统上电后，晶体振荡器输出时钟信号，FPGA内部主 控模块将自动产生与Camera Link协议相匹配的信号传输时序。FPGA内部产生的像素时 钟信号、帧同步信号、行同步信号和图像数据一起进入DS90CR285，并通过该电平转换器件 转换成LVDS信号，每对LVDS信号之间采用双绞线传输，以消除耦合干扰。传输数据时使用的视频同步信号固定不变，分别为帧同步信号FVAL(当FVAL为高电平时，正输出一帧有效 数据)、行同步信号LVAL(当LVAL为高电平时，正输出一个有效像元行)以及数据有效信 号DVAL(当FVAL和LVAL为高时，DVAL为高电平，正输出有效的数据)。DS90CR285芯片的 引脚TxINO-TxINlO分别与Xilinx xc2vp30芯片的I0_L44N_2， I0_L44P_2， I0_L45N_2， I0_ L45P_2， I0_L46N_2， I0_L46P_2， I0_L47N_2， I0_L47P_2， I0_L48N_2， I0_L48P_2， I0_L49P_2 相连。
权利要求一种红外光学超分辨率成像仪，其特征在于由以下四个单元所组成逻辑控制与数据处理单元(1)、红外视频采集单元(2)、USB接口单元(3)、Camera link接口单元(4)，其中红外视频采集单元(2)的数字信号图像的输出端接逻辑控制与数据处理单元(1)的数字信号图像的输入端，红外视频采集单元(2)的状态信号端与逻辑控制与数据处理单元(1)的状态信号端双向连接，逻辑控制与数据处理单元(1)的数字信号输出端接USB接口单元(3)的数字信号输入端，逻辑控制与数据处理单元(1)的控制信号端与USB接口单元(3)的控制信号端双向连接，逻辑控制与数据处理单元(1)的视频信号输出端接Camera link接口单元(4)的视频信号输入端，Cameralink接口单元(4)的相机控制信号输出端接逻辑控制与数据处理单元(1)的相机控制信号输入端。
2. 根据权利要求1所述的红外光学超分辨率成像仪，其特征在于所述红外视频采集单元(2)采用2个结构相同的红外光学图像采集装置，其中每一个图像采集装置都由红外光学传感器串接A/D转换芯片组成。
3. 根据权利要求2所述的红外光学超分辨率成像仪，其特征在于，所述的A/D转换芯片为ADV7181B芯片。
4. 根据权利要求1所述的红外光学超分辨率成像仪，其特征在于，所述的逻辑控制与数据处理单元(1)采用现场可编程门阵列FPGA芯片XC2VP30芯片。
5. 根据权利要求1所述的红外光学超分辨率成像仪，其特征在于，所述USB接口单元(3)由USB控制器与USB接口电连接组成，所述USB控制器为CY7C68013A芯片。
6. 根据权利要求l所述的红外光学超分辨率成像仪，其特征在于，所述Camera link接口单元(4)由Camera link接口电平转换器件与Camera link接口双向连接构成，所述Camera 1 ink接口电平转换器件为DS90CR285芯片。
专利摘要本实用新型公布了一种红外光学超分辨率成像仪，由以下四个单元所组成逻辑控制与数据处理单元、红外视频采集单元、USB接口单元、Camera link接口单元。本实用新型高速数字接口Camera Link和USB可方便地实现夜间网络化监视监控，FPGA中写入边缘增强的超分辨率重构算法，可以对低分辨率夜间红外监视图像进行超分辨率重构得到高分辨率的红外监视图像且其细节和边缘得到有效增强。
文档编号H04N7/18GK201479255SQ200920234630
公开日2010年5月19日 申请日期2009年8月5日 优先权日2009年8月5日
发明者吴学文, 徐枫, 徐立中, 李敏, 樊棠怀, 石爱业, 郑胜男, 钟云龙, 高红民 申请人:河海大学