专利名称：基于niosii处理器的高速成像系统的制作方法
技术领域：
本实用新型涉及基于NIOSII处理器的高速成像系统，尤其涉及基于NIOSII处理器的双路高速成像系统。
背景技术：
如今成像系统在航空航天、天文观测、生物医学、工业、农业等领域得到了十分广泛的应用。但是随着现代科学技术的发展，尤其是军事国防、天文观测、农业信息化等领域的发展和深入，对成像系统的成像速度、成像质量提出了越来越高的要求，高性能成像系统的研究无论是对于国民经济增长以及科学研究的促进都具有十分重要的意义。NIOSII是采用流水线技术和哈弗结构的通用RISC处理器，它具有以下特点具备完整的32位指令集、32位数据通道和地址空间；支持32个外部中断源；单指令的32位与32位乘法和除法结果是32位；对于结果为64位或1 位的乘法，提供专用指令；带有单指令桶形移位寄存器；可以访问各种片内外设，提供与片外存储器和外设的接口 ；具有硬件辅助调试模块，NIOSII处理器可以在IDE下执行开始、停止、单步执行和追踪等操作。 随着SOPC技术的日益成熟，SOPC结合了 SOC和PLD、FPGA各自的优点，一般具备以下基本特征至少包含一个嵌入式处理器内核；具有小容量片内高速RAM资源；丰富的IP Core资源可供选择；足够的片上可编程逻辑资源；处理器调试接口和FPGA编程接口 ；可能包含部分可编程模拟电路；单芯片、低功耗、微封装。用户可以灵活定制满足需要的嵌入式处理器 (NIOSII)，也可以应用HDL语言设计自定义外设备，同时Avalon总线支持各种外设之间的互相访问，提高了 SOPC系统在嵌入式领域的应用。
实用新型内容本实用新型目的在于提供高速的成像系统，以满足对成像系统的成像速度、成像质量提出的越来越高的要求。本实用新型为此提供了基于NIOSII处理器的高速成像系统，其包括光学成像部分、嵌入式图像采集系统和主控计算机；其中所述光学成像部分包括光学镜头和图像传感器，所述嵌入式图像采集系统包括嵌入式最小系统、图像传感器控制器和像素信号处理电路；其中所述嵌入式最小系统包括嵌入式CPU、时钟产生电路、SDRAM和网卡，用以完成该嵌入式图像采集系统的任务调度和与所述主控计算机之间的数据和命令传输；当所述嵌入式图像采集系统从以太网收到该主控计算机的图像采集指令后，该图像采集指令包括曝光时间和读出区域参数，该嵌入式CPU把该曝光时间和读出区域参数写入所述传感器控制器相对应的寄存器中，然后该嵌入式CPU向传感器控制器发出图像采集指令，当该传感器控制器收到该命令后，该传感器控制器的主状态机从空闲状态跳入曝光状态，完成曝光、像素读出和像素存储，当一帧图像存储完成后，该嵌入式图像采集系统将一帧图像上传到所述主控计算机。优选地，在所述像素读出状态下，所述传感器控制器从两个输出端口读出像素信号。优选地，从输出端口读出的像素信号先经过一个电压跟随电路对该像素信号进行电流放大，放大后的信号进入差分放大电路，差分放大后的信号进入AD变换电路，在AD时钟的驱动下把该像素信号转换为12位的数字信号，该数字信号先进入DMA中的缓存，当有 256个像素读出后，DMA把256个像素数据写入SDRAM，直至一帧图像全部写入SDRAM。更进一步地，所述图像传感器采用CMOS图像传感器LUPA4000，所述传感器控制器采用FPGA时序控制电路。
图1为本实用新型的基于NIOSII处理器的高速成像系统的总体设计框图；图2为本实用新型的基于NIOSII处理器的高速成像系统的嵌入式图像采集系统的原理框图；图3为本实用新型的基于NIOSII处理器的高速成像系统的嵌入式图像采集系统的工作流程图；图4为本实用新型的基于MOSII处理器的高速成像系统的嵌入式最小系统框图；图5为本实用新型的基于NIOSII处理器的高速成像系统的图像传感器LUPA-4000 的结构图；图6为本实用新型的基于NIOSII处理器的高速成像系统的图像传感器控制器原理框图；图7为本实用新型的基于MOSII处理器的高速成像系统的曝光控制时序原理图；图8为本实用新型的基于MOSII处理器的高速成像系统的像素读出时序原理图；图9为本实用新型的基于NIOSII处理器的高速成像系统的像素信号处理原理框图；图10为本实用新型的基于NIOSII处理器的高速成像系统的自定义DMA原理框图。
具体实施方式
以下结合附图详细说明本实用新型的基于NIOSII处理器的高速成像系统的组成和工作原理。本实用新型的基于NIOSII处理器的高速成像系统总体设计如图1所示，系统由三大部分组成光学成像部分、嵌入式图像采集系统和主控计算机。其中光学成像部分包括光学镜头和图像传感器，该光学镜头采用普通的Φ52， = 50mm镜头，焦距、光圈均为可调，在不同的光照强度和拍摄距离下均可较好的成像。嵌入式图像采集系统由嵌入式最小系统、 图像传感器控制器和像素信号处理电路组成。最小系统包括处理器、存储器和网卡，完成嵌入式图像采集系统的任务调度和与主控计算机之间的数据和命令传输。主控计算机采用普通带有网卡的PC机，在PC机上安装自主研发的图像采集控制软件后，可以通过以太网对嵌入式图像采集系统进行远程控制和图像传输，成像系统的曝光时间和像素读出区域均可在控制界面对其方便设置。图像传感器采用快照快门，即所有像素在同一段时间内完成曝光， 然后在控制信号的作用下像素信号存储在各自的存储单元内，最后在像素读出控制信号的作用下从两个(或一个)输出通道输出读出区域的像素信号，紧接着将像素信号进行AD变换，AD变换后的12位数字信号进入DMA缓存，当有256个像素信号存储完成后，DMA把缓存中的数据直接写入数据存储器SDRAM中，当一帧图像全部读出后，嵌入式系统把一帧图像通过以太网上传至主控计算机，主控计算机收到图像后可以对图像进行数据分析和数据处理。下面介绍嵌入式成像系统的设计。嵌入式成像系统的原理框图如图2所示，嵌入式成像系统主要由以下模块组成， CMOS图像传感器、像素信号处理电路、AD转换电路、DMA、存储器、网卡、FPGA时序控制电路 (传感器控制器)、嵌入式CPU、时钟产生电路和直流偏置电路。当嵌入式系统从以太网收到主控计算机的图像采集指令后，图像采集指令包括曝光时间和读出区域参数，CPU把曝光时间和读出区域参数写入传感器控制器相对应的寄存器中。然后嵌入式成像系统的CPU向传感器控制器发出图像采集指令，当传感器控制器收到该命令后，控制器的主状态机从空闲状态跳入曝光状态，当曝光时间计数器完成计数后，控制器状态机进入像素读出区域设置状态，该成像系统采用LUPA4000图像传感器，该传感器的读出区域通过SPI总线设置读出区域的起始横坐标和起始纵坐标，读出行数和读出列数通过读出时钟和读出同步信号进行控制。当读出区域设置完成后，传感器控制器状态机进入像素读出状态，传感器控制器在该状态按照预设范围把像素信号从两个(或一个)输出端口读出。读出后的像素信号进入像素信号处理电路，像素信号的输出范围为0. 3V至1. 3V，先经过一个电压跟随电路对像素信号进行电流放大，放大后的信号进入差分放大电路，差分放大后的信号进入AD变换电路，在AD时钟的驱动下把像素信号转换为12位的数字信号，该数字信号先进入DMA中的缓存，当有256个像素读出后，DMA把256个像素数据写入SDRAM，当一帧图像全部写入SDRAM 后，嵌入式成像系统把一帧图像数据通过以太网上传至主控计算机，嵌入式系统完成一帧图像采集，等待下一个图像采集指令。其工作流程如图3所示。下面介绍基于FPGA的最小系统设计。嵌入式最小系统的原理框图如图4所示，嵌入式最小系统由CPU、AVALON总线、 SDRAM、FLASH、NIC(网卡)、传感器控制器、PIO等设备组成。该嵌入式系统采用的是NIOSII 处理器，NIOSII是采用流水线技术和哈弗结构的通用RISC处理器，它具有以下特点具备完整的32位指令集、32位数据通道和地址空间；支持32个外部中断源；单指令的32位与 32位乘法和除法结果是32位；对于结果为64位或1 位的乘法，提供专用指令；带有单指令桶形移位寄存器；可以访问各种片内外设，提供与片外存储器和外设的接口 ；具有硬件辅助调试模块，NIOSII处理器可以在IDE下执行开始、停止、单步执行和追踪等操作。一个 NIOSII处理器系统由NI0SIICPU和一系列的外设组成。外设包括片内外设、片内存储器和片外外设，其接口都在Altera公司的FPGA芯片上实现，相当于在单片上实现一台计算机或一个微处理器。由于FPGA是可编程的，在FPGA上实现的NIOSII处理器可以根据设计者的需要对其特性进行裁剪，使其符合性能和成本的要求。FPGA芯片的可用引脚可以由用户自己来分配，这使得制作NIOSII系统的电路板变得更简单。例如，FPGA上外部SDRAM存储器的地址和数据引脚在电路板上可以放到靠近SDRAM的一侧，这样可以缩短PCB上的走线。对于容量较大的FPGA来说，一个NIOSII处理器系统可能只占用其中一部分逻辑资源和引脚，剩下的资源可以来实现NIOSII系统以外的功能或其他的系统，也可以对NIOSII系统进行扩展， 添加一些有用的外设。该嵌入式成像系统实现如下三大功能图像采集、数据存储和数据传输。嵌入式系统的CPU负责总体任务调度和控制外部设备完成相应的功能操作。图像采集由图像传感器控制器配合图像传感器工作，完成曝光和像素读出任务。经过AD变换的像素数据存储在 SDRAM中，当一帧图像存储完成后，嵌入式系统把一帧数据通过以太网上传至主控计算机进行后期图像处理工作。下面介绍图像传感器及其控制器设计。该成像系统中我们采用了 CPRESS公司的LUPA-4000CM0S图像传感器，其结构如图 5所示，该型号图像传感器为一款科学级单色图像传感器，传感器主要由2048*2048的像素阵列和逻辑控制电路组成，每个像素单元为12um*12um的6T-CM0S像素，图像传感器的最大像素读出速度为66MHz，整幅读出的最大读出帧率为15帧/秒，传感器输出信号范围为 0. 3-1. 3V，芯片内部集成了 2路10位AD，同时系统设计了 2路片外12位AD，在控制字的控制下可以互相切换。图像传感器控制器的结构框图如图6所示，CPU通过Avalon总线把曝光时间和读出区域参数写入控制器内部寄存器，当控制器收到CPU的图像采集指令后，控制器产生如图7的曝光控制时序，当曝光结束后控制产生如图8的像素读出控制脉冲。传感器在控制器的作用下依次从两个输出端口输出像素信号，像素信号经过差分放大以后进入AD变换电路。下面介绍数据读出及数据处理设计。数据读出、变换和存储如图9所示，读出后的像素信号进入像素信号处理电路，像素信号的输出范围为0. 3V至1. 3V，由于传感器输出信号的驱动能力较弱，不能直接进行AD 变换或差分放大，先经过由0PA690构成的电压跟随电路对传感器输出的像素信号进行电流放大，从而达到下一级放大电路的输入条件。由于系统采用的AM410作为系统AD器件， 该器件要求输入信号幅度为2V的差分信号，所以在AD变换之前要把0. 3-1. 3V的像素信号进行差分放大，系统采用了 THS4503作为差分放大器件，THS4503具有共模电压外部输入和差分放大倍数可调的差分放大器，配合ADS5410工作满足系统总体要求。差分放大后的信号进入AD变换电路，AD变换电路采用了流水线AD器件ADS5410，转换周期两个时钟周期， ADS5410在转换时钟的驱动下把差模电压为2V的像素信号转换为12位的数字信号，该数字信号在读出同步时钟信号的作用下写入DMA中的缓存，在FPGA内部应用VHDL语言自定义了满足功能需求的DMA，其原理框图如图10所示，在DMA内部定义了一个512*32位的FIFO， 因为有两路AD，每一路输出为12位数字信号，按照16位的数据宽度存储在存储器内，所以在一个时钟周期内有32位数字信号进入FIFO。当有256*32位的数据写入FIFO后，DMA把 256*32位的像素数据写入SDRAM，当一帧图像全部写入SDRAM后，嵌入式成像系统把一帧图像数据通过以太网上传至主控计算机，嵌入式系统完成一帧图像采集，等待下一个图像采集指令。[0032] 本实用新型已经通过具体的实施方式进行了说明，本领域技术人员可以理解的是，在不脱离本实用新型的精神和范围的情况下，可以对本实用新型做出许多变形。比如像素信号可以从多个两个的通道读出，这样使得系统的成像速度更快；还比如系统中采用的设备、芯片等可以用其他适合的等同物代替。
权利要求1.基于NIOSII处理器的高速成像系统，包括光学成像部分、嵌入式图像采集系统和主控计算机；其中所述光学成像部分包括光学镜头和图像传感器，所述嵌入式图像采集系统包括嵌入式最小系统、图像传感器控制器和像素信号处理电路，其特征在于其中所述嵌入式最小系统包括嵌入式CPU、时钟产生电路、SDRAM和网卡，用以完成该嵌入式图像采集系统的任务调度和与所述主控计算机之间的数据和命令传输。
2.根据权利要求1所述的高速成像系统，其特征在于在所述像素读出的状态下，所述传感器控制器从两个输出端口读出像素信号。
3.根据权利要求2所述的高速成像系统，其特征在于从输出端口读出的像素信号先经过一个电压跟随电路对该像素信号进行电流放大，放大后的信号进入差分放大电路，差分放大后的信号进入AD变换电路，在AD时钟的驱动下把该像素信号转换为12位的数字信号，该数字信号先进入DMA中的缓存，当有256个像素读出后，DMA把256个像素数据写入 SDRAM，直至一帧图像全部写入SDRAM。
4.根据权利要求1-3中任一项所述的高速成像系统，其特征在于所述图像传感器采用CMOS图像传感器LUPA4000，所述传感器控制器采用FPGA时序控制电路。
专利摘要基于NIOSII处理器的高速成像系统，包括光学成像部分、嵌入式图像采集系统和主控计算机；其中所述光学成像部分包括光学镜头和图像传感器，所述嵌入式图像采集系统包括嵌入式最小系统、图像传感器控制器和像素信号处理电路；其中所述嵌入式最小系统包括嵌入式CPU、时钟产生电路、SDRAM和网卡，用以完成该嵌入式图像采集系统的任务调度和与所述主控计算机之间的数据和命令传输。本高速成像系统能够实现快速、高效的图像采集功能。
文档编号H04N5/232GK202095007SQ201120007939
公开日2011年12月28日 申请日期2011年1月12日 优先权日2011年1月12日
发明者关永, 刘卉, 尚媛园, 徐达维, 杨新华, 赵晓旭, 韩宝媛 申请人:首都师范大学