专利名称：多路图像采集前端装置的制作方法
技术领域：
本实用新型涉及多路图像采集与处理设备，特别涉及ー种基于现场可编程门阵列器件(FPGA)作为核心的，整合处理各图像传感器输出图像的多路图像采集前端装置。
背景技术：
目前在视频监控及エ业检测领域，对多个图像传感器(或称为摄像头、摄像机、监控摄像机、CCD摄像机等，通常还包括其内置的信号转换电路及必要的附属装置，如云台、闪光灯等)同时工作的需求越来越大，因为只有这样才能实现更广阔的监控视野和更精细的检测能力。随着图像传感器数量的增多，对整个系统的布线复杂度以及后端的接收、显示、处理设备的要求也相应的提高了。现有技术是采用一个图像传感器独自占用ー个通道，然后再接入到以太网或多路 图像采集卡或多路输入硬盘录像机等。比如在视频监控领域，多路图像采集前端装置如图4所示，第一个监控摄像机到第n个监控摄像机都各自独占ー个通道，通过专用的视频电缆接入到多路输入硬盘录像机。随着摄像机数量的増加，硬盘录像机的要求也相应提高，同时在布线上也増加了难度。还有的监控系统的摄像机是采用网络摄像机，即每个摄像机都是ー个独立的网络设备，然后接入到以太网中，这样也同样存在布线复杂、需要更多路数的网络交换机以及管理更多的不同IP的网络设备。在エ业检测领域，如果图5所示。4个エ业CCD摄像机检测ー个被测物体，采集后的图像数据通过局域网返回给检测计算机。同时检测计算机通过PLC来控制测试台的动作。每个C⑶摄像机各自占用ー个局域网IP，并通过网络交换机连接到局域网上。上述现有技术存在的共同问题就是每个图像传感器都独自占用ー个通道，然后再汇聚到后端处理设备上。这样会导致布线复杂，同时对后端处理设备要求较高，需要具有多路图像输入的能力。对于视频监控来说，在像银行营业大厅这种的场所，在ー个区域不同位置放置多个监控摄像机才能实现对整个区域的监控，其布线复杂程度可想而知。对于エ业检测，现有的方法还有以下几点问题1)同步性问题。同步性问题又分为摄像机之间的同步以及摄像机与控制台的同歩。对于摄像机的同步来说，由于多台C⑶摄像机通过局域网共享网络连接到检测计算机，由于网络延迟的存在，所以多台CCD摄像机无法达到很好的同步图像采集。若使CCD摄像机工作在外同步方式，则需要増加的额外的外同步设备。而即使是采用外同步设备，也必须使外同步设备与测试台的控制同步起来才有意义。2)检测效率问题。由于网络延迟的存在以及图像处理未在图像传输前进行，因此对最终检测结果的判决具有较大的延迟。实用新型的内容本实用新型所要解决的技术问题，就是针对现有技术的多路图像采集系统布线复杂，后端处理问题多、设备复杂的缺点，提供一种基于FPGA的多路图像采集前端装置。本实用新型解决所述技术问题，采用的技术解决方案是，多路图像采集前端装置，包括图像传感器、图像处理装置、控制接口和图像输出接ロ，其特征在于，所述图像传感器数量为n只，所述图像处理装置包括FPGA、缓存单元和非易失存储器，所述缓存単元和非易失存储器与所述FPGA连接，所述FPGA至少具有n组并行接ロ，分别与n只图像传感器连接，所述控制接ロ与所述FPGA连接，所述图像输出接ロ与所述FPGA连接，其中，n为正整数。本实用新型利用FPGA丰富的并行接ロ资源以及可编程的特点，同时将多个图像传感器输出的图像数据在传输前进行整合处理，按设定的方式将所有图像传感器或某几个图像传感器的图像数据处理后，以占用一个图像输出通道的方式输出给后端处理设备。图像传感器将采集的图像数据信号输入FPGA的并行接ロ，并接收现FPGA发送过 来的设备控制指令，控制图像传感器及其附属设备，如云台、闪光灯等的工作。图像输出接ロ用于将FPGA输出的图像以VGA方式或者其他方式输出，以便显示器和后端处理设备可以接收图像数据。图像数据输出接ロ包含有必要的信号匹配电路，可以进行电平转换、数-摸转换等，以及其他传输协议处理模块。FPGA负责调度以及控制所有相连的功能単元和模块，进行图像数据的接收以及缓存，并将缓存的图像数据以用户指定的整合形式通过图像输出接ロ输出。同时FPGA还要接收通过控制接ロ传递过来的用户控制指令，并根据指令内容进行相应的操作。控制接ロ用于接收用户的控制指令，也可以返回參数给用户。控制接ロ可以是通用串ロ、网络接ロ等。非易失存储器用于保存当前通过控制接ロ传递过来的控制指令，以便在下次上电时，自动进入到上次关电前的工作模式。缓存单元用于缓存图像传感器采集的图像数据。根据用户定义的工作模式，可以缓存所有或者部分图像传感器的图像数据，其缓存动作的执行由FPGA来控制。进ー步的，在所述FPGA内部，每只图像传感器都对应ー个FIFO(先进先出)缓冲单元。图像数据输入并行接ロ后，先进入其对应的FIFO缓冲单元。FPGA内部的控制逻辑根据FIFO当前状态进行相应FIFO的读写操作，并将从FIFO中读出的图像数据写入到外部的缓存单元中。进ー步的，所述图像传感器内置信号变换电路，所述图像传感器采集的图像信号通过所述信号变换电路与FPGA的并行接ロ连接。信号变换电路一方面将图像传感器输出的图像数据转换为FPGA匹配的信号，另一方面将FPGA传送的控制信号变换为其附属设备，如云台、闪光灯等兼容的信号。具体的，所述缓存単元分为m个独立的存储空间，m为正整数。缓存单元存储空间的大小及配置情况，与图像传感器的数量和图像的分辨率以及传感器输出的图像数据速率有夫。在图像速率较低的情况下，可能使用I片存储器，在存储器内部开辟ー个存储空间就可以了，或者在一片存储器中开辟两个或两个以上的独立存储空间；如果数据速率较高，那么可能需要2片或者2片以上的存储器。不论是多片存储器还是在I片存储器，都可以开辟多个存储器空间，这些存储空间都可以是相互独立的。每个存储空间可以是一片存储器的一部分，也可以包含一片或多片存储器。特别的，m= 2。将缓存単元分为两部分，分别使用不同的存储空间，可以实现两个存储空间的乒乓读写。更具体的，所述n = 4。采用4只图像传感器，可以实现全方位的监控探測。[0021]具体的，所述4只图像传感器分别指向东南西北四个方向。4只图像传感器背对背配置，分别指向东南西北四个方向，适合对较大空间的大厅等场合的监控。具体的，所述n只图像传感器指向同一被测物。这是ー种エ业应用的情況。要求4只图像传感器严格同步，并且各图像传输到检 测计算机延迟应当相等。采用本实用新型的技术方案，用于各个图像传感器的图像信号在传输前进行了整合，采用同一图像输出接口和同一传输线进行图像传输，各个图像传感器不会产生延迟误差，非常使用エ业检测的应用环境。本实用新型的有益效果是(I)由于FPGA具有的接ロ资源丰富且能够并行处理的特点，因此能够同时接收多路图像传感器输出的图像数据并进行缓存，然后再不丢失、不失真的将多个图像传感器输出的图像数据整合处理后只占用ー个图像输出通道输出，減少布线复杂度和系统硬件成本；(2)在エ业检测应用中，由于图像传感器的控制和图像数据处理的及时性，以及图像数据传输的同时性，因此具有检测快速高效、精准的特点；(3)由于FPGA具有可编程的特点，因此可以在不改变硬件电路的前提下，能够适应更多种类型的图像传感器和多变的用户需求，从而具有灵活的扩展性。
图I是实施例组成示意图；图2是4只摄像机平面配置示意图；图3是ー种エ业检测摄像头配置示意图；图4现有技术视频监控系统结构示意图；图5是现有エ业视频检测系统不意图。
具体实施方式
以下结合附图及实施例，对本实用新型的技术方案进行详细描述。显然下面的描述仅仅用于对本实用新型的说明，所列举的实施例仅是本实用新型的一部分实施例，而非全部实施例。本领域技术人员在没有做出创造性劳动的前提下，根据本实用新型的描述，所作的常规替换或等同替换，均在本实用新型的保护范围之内。下面描述本实用新型的工作原理因为不同的传感器或者同一图像传感器在不同的工作模式下会有不同的图像格式输出，因此首先要进行数据格式的变换，比如YUV格式转RGB格式等。有的图像传感器本身具有信号格式转换功能，一定需要内置专门的信号转换电路。图像传感器输出的图像数据经过信号变换，使其输出的图像信号与FPGA的并行接ロ兼容。FPGA具有接ロ丰富且能够并行工作的特点，其并行接ロ可以同时接收从各个图像传感器输出的图像信号。在FPGA内部对每个图像传感器都对应ー个先进先出(FIFO)缓冲单元。当数据格式变换完成后，图像数据便进入其对应的FIFO缓冲单元，FPGA内部的控制逻辑根据FIFO当前状态进行相应FIFO的读写操作，并将从FIFO中读出的图像数据写入到外部的缓存单元中。图像数据写入到缓存单元的哪组存储器以及存储器的哪个位置，都由FPGA控制。对于缓存数据的读出并从图像数据输出接ロ输出存在两种情況ー是要求只输出触发时刻的图像，ニ是要求图像数据的实时流畅输出。对于第一种情况，可以将缓存单元分为2个独立的存储空间，然后实现两个存储空间的乒乓读写，每个存储空间分别受FPGA控制。对于第二种情况，虽然ー个或者两个独立的存储空间也可以实现，但是在图像数据输出接口数据速率与图像传感器输出数据速率不相等的情况下，则控制逻辑会非常复杂。要能保证图像数据实时流畅不丢失的输出，就必须要求图像数据输出接ロ输出的数据速率必须要等于或者大于所有图像传感器输出数据速率的总和。因此在写每个独立的存储空间的时候不覆盖没有被读过的存储空间，而在读每个独立的存储空间的时候，要保证不会读到没有更新的存储空间。 综上所述，FPGA内部的控制逻辑同时监测缓存单元的数据更新状态，当缓存单元中的某个存储空间被写完整帧图像数据之后，就会进入读此存储空间的状态，读出的数据首先进入输出数据的FIFO缓冲单元，然后再根据图像输出接ロ的时序状态，将输出数据的FIFO缓冲单元中的数据读出并输出给图像输出接ロ。而写缓存单元时，根据缓存単元已经被读取的状态，确定该更新哪个存储空间的数据，然后将输入数据的FIFO缓冲单元中的数据写入该存储空间。对于图像传感器及其附属设备的參数配置以及控制则由用户通过控制接ロ发送控制指令，在FPGA中解析控制指令并根据指令内容发送图像传感器及其附属设备可识别的控制指令。对图像传感器的控制包括工作模式、触发操作、增益控制、白平衡控制等，图像传感器附属设备可以是镜头、闪光灯、云台等。整个系统的工作模式的设置由用户通过控制接ロ发送控制指令到FPGA。在FPGA中解析控制指令。整个系统的工作模式可以是各图像传感器图像数据的最终在显示画面上的排列方式、图像数据的处理方式等。对于图像数据的处理，比如图像像素灰度值的统计，需要的參数也由控制接ロ发送，同时对于处理结果的返回也是通过控制接ロ。所有的图像传感器及其附属设备的控制參数、系统的工作模式參数、图像处理參数都保存在非易失存储器中。当系统上电之后，首先FPGA从非易失存储器中读取參数，配置各传感器及其附属设备的工作模式以及系统的工作模式。在整个系统工作过程中，如果有任何參数变化，都会存储到非易失存储器中。非易失存储器也由FPGA控制。实施例I參见图1，本例的多路图像采集前端装置，包括图像传感器、图像处理装置、控制接口和图像输出接ロ。其中，图像传感器数量为4只，图像处理装置包括FPGA、缓存单元和非易失存储器。本例FPGA采用Xilinx公司的XC3S1000-4FT256C商品器件，缓存单元可以采用SDRAM(同步动态随机存储器)芯片，非易失存储器则可以选用EEPROM(—种电可擦除只读存储器)芯片。缓存单元和非易失存储器与FPGA连接，接受其控制。相应的FPGA至少具有4组并行接ロ，分别与4只图像传感器连接，对其采集的图像信号进行处理，通过图像输出接ロ输出图像数据。本例控制接ロ采用通用串ロ(UART)，主要用于传送用户的控制指令，以及FPGA输出的运行參数等。要实现对ー个矩形区域进行监控，需要在不同位置放置4个摄像头。采用传统的方法大部分是在该区域的对角线各放置ー个摄像头，这样虽然可以实现整个区域的监控，但是布线会复杂，而且对后端的图像接收设备要求高。本例只需要在区域中心位置放置一个多路图像采集前端装置即可，在该装置上装有4个背靠背安装的摄像头，如图2所示，4只摄像头背对背配置，分别指向东南西北4个方向。而最终图像的输出是4个摄像头图像整合在一起的图像，因此在ー个画面上就可以同时看到这4个摄像头监控到的图像，而又只需布线I路视频通道到监控中心，从而将原有的4路布线通道改成I路布线通道，而达到的监控效果是相同的。本实施例的结构框图如图I所示，4个图像传感器(摄像头)的核心芯片为 Omnivision 的 0V7670,姆个摄像头通过 FFC (Flexible Flat Cable)与 FPGA 相连。FPGA内部为每个摄像头配置了有关FIFO缓冲单元，便干与缓存单元交換数据。本例缓存单元由4片K4S561632J组成，每片K4S561632J的数据总线、地址总线、控制总线都是独立的，并且都与FPGA相连，构成独立的存储空间。本例非易失存储器型号为24LC08，用于保存系统的工作參数。本例控制接ロ型号为MAX3232，本例图像输出接ロ采用型号为ADV7123的视频输出接ロ，可以连接VGA显示器或者具有VGA输入接ロ的硬盘录像机。设定4只摄像头输出的图像在整合的时候以上、下、左、右分别占据整个画面的1/4的方式来排列。因为0V7670的分辨率为640x480，因此ADV7123输出的视频分辨率为1280x960。 实施例2在エ业检测中，需要对被测物进行高分辨率的图像采集，然后进行像素级的图像分析。因此，要求图像采集与处理系统具有高分辨率、高实时性、良好的同步性。在这个应用实例中采用的4个图像传感器为Omnivision的MT9P401，其最高分辨率为2592x1944，同时安装的附属设备有照明光源，照明光源具有多级光亮调节。本例图像传感器配置结构如图3所示，4只摄像头分别安装在正四棱柱的4条棱上，指向同一被测物并正对被测物。图像处理装置置于4只图像传感器之间。图像传感器及其照明光源通过FFC与FPGA相连。本例FPGA采用Xilinx公司的XC6SLX45T，数据缓存单元由2片K4S561632J组成，每片K4S561632J的数据总线、地址总线、控制总线都是独立的，并且都与FPGA相连。24LC08作为非易失存储器保存系统的工作參数，通用串ロ MAX3232作为控制接ロ并与XC6SLX45T相连。FPGA与pixeLINK公司的PL-B777板的图像输入接ロ相连，该图像输出接ロ能够将FPGA整合后的图像通过USB2. 0、Firewire A或GigE返回给检测计算机。在图像整合的时候,取姆个图像传感器的连续486行像素，这样在整合后，就是ー帧2592x1944分辨率的图像。每个图像传感器的图像在整个画面的排列方式是从上至下排列。对于ー个图像传感器来说，具体取哪部分区域，由控制端发送參数到FPGA，由FPGA实现有效图像区域图像数据的存储和图像整合。在实际应用中，对图像的实时显示要求不高，但需要能够在指定时刻拍摄图像，因此，在FPGA中要实现接收控制端发送的拍摄图像指令，并存储拍摄时刻的有效区域的图像，同时进行图像整合。而对照明光源的控制，也通过控制接ロ发送控制指令到FPGA，实现对照明光源的控制。在有需要对图像分析的应用中，在FPGA要实现对每个像素进行特定分析处理。比如对每个像素的灰度值进行判断并进行统计，并将统计结果通过控制端ロ返回给控制端，以供决策之用。
权利要求1.多路图像采集前端装置，包括图像传感器、图像处理装置、控制接口和图像输出接口，其特征在于，所述图像传感器数量为n只，所述图像处理装置包括FPGA、缓存单元和非易失存储器，所述缓存单元和非易失存储器与所述FPGA连接，所述FPGA至少具有n组并行接口，分别与n只图像传感器连接，所述控制接口与所述FPGA连接，所述图像输出接口与所述FPGA连接，其中，n为正整数。
2.根据权利要求I所述的多路图像采集前端装置，其特征在于，在所述FPGA内部，每只图像传感器都对应一个FIFO缓冲单元。
3.根据权利要求I所述的多路图像采集前端装置，其特征在于，所述图像传感器内置信号变换电路，所述图像传感器采集的图像信号通过所述信号变换电路与FPGA的并行接口连接。
4.根据权利要求I所述的多路图像采集前端装置，其特征在于，所述缓存单元分为m个独立的存储空间，m为正整数。
5.根据权利要求4所述的多路图像采集前端装置，其特征在于，m= 2。
6.根据权利要求I所述的多路图像采集前端装置，其特征在于，所述n= 4。
7.根据权利要求6所述的多路图像采集前端装置，其特征在于，所述4只图像传感器分别指向东南西北四个方向。
8.根据权利要求I所述的多路图像采集前端装置，其特征在于，所述n只图像传感器指向同一被测物。
专利摘要本实用新型涉及多路图像采集与处理设备。本实用新型针对现有技术统布线复杂、设备复杂的缺点，公开了一种基于FPGA的多路图像采集前端装置。其技术方案是，多路图像采集前端装置，包括图像传感器、图像处理装置、控制接口和图像输出接口，所述图像传感器数量为n只，所述图像处理装置包括FPGA、缓存单元和非易失存储器，所述缓存单元和非易失存储器与所述FPGA连接，所述FPGA至少具有n组并行接口，分别与n只图像传感器连接，所述控制接口与所述FPGA连接，所述图像输出接口与所述FPGA连接，其中，n为正整数。减少布线复杂度和系统硬件成本，各个图像传感器不会产生传输延迟，非常适合工业测量和视频监控领域。
文档编号H04N5/265GK202406224SQ20112053032
公开日2012年8月29日 申请日期2011年12月16日 优先权日2011年12月16日
发明者栾志超 申请人:栾志超