专利名称：一种基于FPGA和Camera Link协议接口的通用数据采集传输板设计的制作方法
技术领域：
本发明属于图像采集及传输设计领域，涉及现场可编程门阵列及Camera Link协议接ロ的集成电路设计技术领域。
ニ背景技术：
作为图像传感器后端获取图像信号必备单元，图像采集及传输系统在图像光谱学、半导体检测、医学和生物以及光纤通信等领域获得了广泛的应用。现今，各种图像传感器发展迅速，探測波段不仅有可将光(如数码相机)，也拓展到了紫外，红外等波段。而传统的采集传输技术一般都由国外把持，而且都是针对特定波段或特定功能的图像传感器，在通用性方面较差，本顶发明即是解决这ー问题，采用可编程方式设计了ー套通用图像采集 及传输系统，可编程方式提高了系统的灵活性，使其能按使用者的具体要求去灵活改变相应的控制信息等。基于FPGA和Camera Link协议接ロ的通用图像采集传输板与传统采集板相比，在实时处理方面取得了更好的效果。发明中采用了可重构的现场可编程器件FPGA作为控制核心，FPGA与DSP或单片机等其他MCU处理器相比，采用的是硬件处理方式，硬件固有的并行性使得实时处理成为可能，满足了高速图像的实时处理要求。同时采用了基于CameraLink协议的通用相机接ロ，能与各种Camera Link图像采集卡互连,实现与PC的通信。通用图像采集传输板含括了图像传感器后端电路所需的各主要単元，如图像A/D采集、大容量图像缓存、下位机实时视频显示、图像预处理及Camera Link协议接ロ传输单元，为了同各图像传感器配合使用，预留了 FPGA的ー些IO ロ以便与前端传感器互连。从图像信号的流向各功能模块划分如下(I)图像采集単元。此部分用于对图像传感器输出信号进行模拟滤波及模数转换，以便后继数字电路的存储及处理。模拟低通滤波用来滤波传感器稳定输出之前的高频过冲，采用ニ阶压控型有源低通滤波器，与无源滤波方式相比具有更好的滤波效果和选择性，其中低通滤波截止频率可由具体传感器输出频率值进行选择。模数转换采用高速高精度且具有相关双采样功能的A/D转换器，实现模拟图像的数字化；(2)图像缓存单元。传感器输出的图像信息量都较大，尤其是对于面阵图像传感器来说，大多都在I. 5M像素以上，经数字化后信息量更大，因此为了能对这ー的数据进行缓存，FPGA片上的存储单元是远远不够的,片外RAM缓存有效解决了这些问题；(3)下位机实时视频显示。采用VGA显示器对采集到的传感器图像进行实时显示，在FPGA内部进行视频频合成；(4)图像预处理。充分利用FPGA并行处理能力，对采集图像进行底层的ー些预处理(如滤波、增强)等操作，这些操作数据量大，且数据需多次重复使用，而算法结构相对简单(乘、加、比较等运算)。低层图像处理往往是图像处理系统中最为耗时的环节，对整个系统速度影响最大。FPGA图像处理思想是按设计者的要求在芯片内部搭建电路，是基于硬件的算法，因此能实现并行实时处理；(5) Camera Link协议接ロ。采用基于Camera Link协议的接ロ具有三大优点一是其为通用的相机接ロ标准，能与具有该种接ロ的任意采集卡或相机互连；ニ是传输速率快，最高可达2. 38Gbps。以LVDS方式传输，抗噪性能好，可实现远距高质量图像传输；三是具有相机控制专用接ロ及与上位机相互通信的专用按ロ，功能划分清晰，避免了控制信号与数据信号的相互干扰；(6)预留IO ロ。作为通用图像传感器后端图像采集及传输单元，为了实现同各类传感器的互连，将FPGA剰余IO ロ全部引出并以接插件的形式与前端传感器互连，以实现对不同传感器驱动控制功能。发明中采用可编程的控制方式，在FPGA片内开辟各控制模块，能灵活按照用户需要与前端图像传感器互连并可实现功能扩展。
发明内容
本发明的目的是设计ー套通用图像采集及传输系统板，功能是采集图像传感器信号并将其数字化、存储、实时显示、预处理及传输至上位机。特点是采用FPGA可编程方式，能灵活实现对多种图像传感器的驱动控制及数据的处理和传输。同时采用基于CameraLink协议的传输接ロ，既实现了高速率远距离像素传输，也由于其良好的抗噪特性使得图像质量得到了较好的保证。FPGA作为控制核心，与其他传统MCU方式相比，其并发处理特性使其在高速实时处理方面发挥出独特的优势。发明中，数据采集单元采用30MSPS处理速度，12bits精度的带有⑶S相关双采样的模数转换器AD9845B，满足绝大多数图像传感器的速度及精度要求，CDS采样方式进ー频减小了传感器输出信号中的噪声干扰。存储部分安排不同的需要，在视频合成及显示前端采用两片SRAM构成乒乓缓存结构，实现图像的无间断显示；而图像预处理前端则采用大容量缓存器SDRAM，节约了成本及IO ロ资源。实时显示単元中，视频的合成在FPGA内采用状态机完成，图像输出采用带有VGA端子的显示器。预处理中在FPGA片内开辟了ー个预处理単元，完成了儿种比较耗时的空域滤波和增强处理算法。
四
图I是本发明中通用数据采集传输板整体功能结构图；图2是本发明中视频合成及VGA显示控制单元功能结构图；图3是本发明中VGA视频合成行扫描状态转移图；图4是本发明中VGA视频合成场扫描状态转移图；图5是本发明中FPGA空域滤波程序流程图；图6是本发明中FPGA空域滤波滑动窗ロ示意图。 图7是本发明中FPGA空域滤波3*3窗ロ比较器；图8是本发明中Camera Link协议接ロ Base模式结构图；五、具体实现为使本发明的目的、技术方案及优点更加清楚，下面參照附图，具体说明本发明的实现过程。图I所示为通用数据采集传输板整体功能结构图，该板包括如下模块前端模拟低通滤波及A/D模数转换器、FPGA核心控制器、大容量缓存模块、视频合成及显示模块、空域滤波预处理模块和Camera Link传输接ロ模块。按信号流向其功能描述如下所示图像传感器在FPGA预留IO ロ所给驱动时序等控制下将输出模拟信号通过图像输入口送入模拟低通滤波器。滤波后的信号由⑶S相关双采样单元进行模数转换并输出，⑶S采样单元由FPGA控制器对其进行寄存器配置利采样时序控制。数字化后的信号将分由两路处理一路送入SRAM，通过乒乓SRAM操作实现实时视频合成及显示；另一路送入SDRAM大容量缓存，以便后继图像预处理。经预处理后的图像数据将通过Camera Link接ロ传输单元经双绞线传输出去，FPGA中完成普通数据到Camera Link协议格式的数据组帧。各部分具体实现步骤如下
(I)FPGA核心控制器。由FPGA电源系统(由两片AMS1084芯片分别产生稳定的3. 3V的IO电压和I. 2V的内核电压)、阻容复位电路、晶振电路(外接14. 318MHz和50MHz两个有源晶振，可根据需要选配不同的系统主时钟输入)、AS及JTAG下载电路及接ロ(AS下载配置芯片为EPCS，两种下载模式满足了调试及最終程序固化的需求)。(2)前端模拟低通滤波及A/D模数转换器。模拟低通采用了选择性及幅频特性较好的ニ阶压控型有源低通滤波器，截止频率可根据需要选择不同的电容及电阻匹配实现。A/D模数转换选用的是带⑶S相关双采样功能的AD9845B，通过FPGA对其寄存器进行配置后可实现增益调整、暗电平筘位等。CDS两次采样时钟及数据时钟之间的相位关系由FPGA根据前端图像传感器输出信号特点进行严格匹配，确保采样后得到噪声最小的图像信息。(3)缓存单元。前已述数字化后的信号有两种缓存模式。SRAM的乒乓缓存为无间断的实时视频显示提高了保证，能以60Hz的刷新频率进行视频显示。两片SRAM轮流进行读写，当其中一片写满ー帧图像数据后，进行读写切換，另一片开始进行写操作，此片开始成读出数据以供视频显示。SRAM的数据I/O ロ为双向IO ロ，在程序中需将其定义为INOUT型，同时通过三态门来控制数据端ロ的方向，当写入AD采样数据时，SRAM由三态门切换至AD采集一端，写入数据；当进行视频合成吋，SRAM由三态门切换至FPGA视频合成器，输出数据。如果系统连续不间断采集传感器输出信号，会浪费很多存储资源及功耗，而且对实际应用来说连续采集图像信号并没有太大意义。通常的处理是连续采集儿帧图像，提取感兴趣的分量。面阵图像传感器的输出信号量非常大，采用SDRAM存储器能实现大容量存储且信价比高。发明中SDRAM存储容量为64Mb，采用lM*16Bits*4Banks的模式。为了提高SDRAM的工作频率，采用了全页读写模式进行缓存。SDRAM正常工作首先需要进行初始化，初始化完成后，以后读写不需要再次初始化。初始化过程上电复位等待200us(此期间不做任何操作)；然后依次完成预冲，两次刷新操作；接下来配置寄存器(可以定义突发长度burst latency、突发模式WB及操作模式op mode等)。初始化过程状态转移如下所7]\ waiting (200us) ->nop 空操作->precharge 预充电->nop 空操作->refreshl (第一次刷新)->nop空操作_>refresh2 (第二次刷新)_>nop空操作_>load mode (写入模式寄存器)->nop空操作->load_reg2->nop空操作->load_regl->nop空操作。初始化完成后进行全页读写，Fullpage模式进行读写时,姆次写入先给出首地址，Fullpag读写操作会自动读写一行共256个数据。毎次读写完一行数据，要进行预冲，然后再执行下一次读写操作。全页写模式状态转移如下所示(全页读与此类似)写入write命令(同时写入起始地址)->等待CMDACK-〉延迟ー个clk->nop空操作-> 等待CMDACK-〉延迟RC-2个clk_>写入数据到DATAIN-> 等待 253 个 clk_>precharge 预充电-> 等待 4 个 clk_> 全页写结束->precharge预充电_>下一行全页写开始。(4) VGA视频合成及显示。图2给出了 VGA视频合成及显示功能结构图。其中视频合成在FPGA内采用状态机完成，对图像信号进行行/场扫描，图3为VGA视频合成行扫描状态转移图，图4为VGA视频合成场扫描状态转移图。行场扫描及数字图像信号经专用视频D/A芯片ADV7123转换成模拟视频分量后即可通过VGA按ロ送入VGA显示器显示。ADV7123具有IOBits转换精度利20MSPS吞吐率，完全满足VGA视频显示的需求利人眼视觉分辨率的要求。(5)图像预处理单元。发明中采用了比较通用的空域滤波处理(直方图统计及均衡化、高斯滤波及中值滤波)，对一般的图像传感器信号基本都使用。图5为空域滤波处理流程图。在直方图均衡化处理中，首先进行原始直方图统计，然后建立均衡化新灰度值查找表，最后映射得出新灰度值像素输出。在中值滤波和高斯滤波中，核心部分是窗ロ产生器，发明中采用3*3窗ロ，窗ロ在时钟的作用下将遍历整个图像，滑动窗ロ示意图如图6所示。 发明中在FPGA片内调用FIFO和移位寄存器得到窗口中9个数据输出，如图7所示。(6) Camera Link 传输接 ロ模块。Camera Link 协议按 ロ有 Base、Medium 利 Full三种配置模式，其中Base模式最为通用，图8所示为Camera Link协议按ロ Base模式结构图。发明中采用NS公司的DS90CR285MTD作为驱动发送芯片，能将24路的信号串行化后以LVDS形式通过双绞线传输出去。4组相机控制信号CCl CC4经DS90LV032ATM转换成单端信号后传送至主控单元。DS90LV027ATM和FIN1028则分别完成FPGA与采集卡串行通信的发送和按收,并行像素读取时钟为20-66MHz。
权利要求
1.一种基于FPGA利Camera Link协议的图像传感器数据米集及传输系统板,按图像传感器信号流程可将系统功能描述如下首先，通过预留FPGA的IO ロ对传感器进行时序驱动及相关控制；再次通过前端模拟低通滤波将模拟图像信号经相关双采样转换为数字信号；再次数字图像信号一方面通过乒乓SRAM存储后送视频合成器进行实时显示，另ー方面通过大容量缓存器SDRAM为图像预处理做准备；预处理完成后的图像通过Camera Link协议接ロ传送出去。
2.如权利要求I所述的对模拟图像信号进行数字化的是CDS相关双采样模数转换器，该模数转换器为AD9845B，由FPGA对其进行内部寄存器配置及采样时序控制，相比一般的A/D转换器，该种具有CDS功能的ADC能对图像传感器中普通存在的复位电平噪声进行很好的抑制。
3.如权利要求I所述采用了两种存储模式，乒乓SRAM方式中两个SRAM轮流读写，保证了无间断的视频显示；SDRAM的全页读写操作保证了数据存取的连续性及高速性。
4.如权利要求I所述FPGA的图像预处理方法中，提出了滑动窗ロ及窗ロ产生器的硬件实现原理及方法，实现了并行处理。
5.如权利要求2所述后端传输接ロ基于CameraLink协议思想，该种传输按ロ采用串行LVDS传输方式，不仅节约了线缆数目，而且噪声小速率高，同时保证了系统板与其它采集板的互连，具有较强的通用性。
全文摘要
本发明属于图像采集及传输设计领域，涉及现场可编程门阵列及Camera Link协议接口的集成电路设计技术领域。本发明提出了一种基于FPGA和Camera Link协议的图像传感器数据采集及传输系统板。系统板由图像模数转换单元、FPGA控制中心、大容量缓存单元、视频合成及实时显示单元、FPGA空域预处理单元及Camera Link协议接口单元构成。为适应一般传感器的要求，预留了FPGA的IO口作为与系统板与传感器的接口，采用具有CDS相关双采样特性的A/D转换器以抑制图像传感器输出中的无用信号，采用乒乓SRAM及全页读写SDRAM的方式为下位机端图像实时显示及预处理进行了数据缓存，最后在CameraLink协议接口下，实现了与具有该种端口的仍以采集卡的互连及通信。实现了快速实时的处理和硬件通用性的目的。
文档编号H04N5/3745GK102694997SQ20111007149
公开日2012年9月26日 申请日期2011年3月24日 优先权日2011年3月24日
发明者张天飞 申请人:张天飞