专利名称：一种多模式多目一体化智能相机的制作方法
技术领域：
本发明涉及一种多模式多目一体化智能相机的设计方案与主要功能，具体指通过开发基于嵌入式系统的视频处理平台，集成多路不同模式的相机，实现视频采集、本地显示、回放、存储、目标捕获跟踪、目标定位等智能化功能，并可通过网络接口与用户传输视频数据和接收控制信息。
背景技术：
随着嵌入式技术的发展以及图像处理技术的完善，嵌入式图像处理平台取得了飞速发展。其中，集图像采集、图像处理、网络通信等单元于一体的嵌入式视觉系统因具有多功能、智能化、模块化、高可靠性、易于实现的机器视觉解决方案等优势在家庭监控、交通监管、产品监督等领域得到青睐。监控系统正步向分布式、网络化模式，如何灵活有效利用网络资源成为嵌入式视觉系统发展需考虑的问题。同时，为满足多领域多功能需求，如何搭建高速嵌入式图像处理平台也一直是研究的热点。近年来，3D电影风靡全球，观众在惊叹导演的惊人想象力的同时，也领略到立体视觉的震撼与真实感。尤其是立体视频处理技术的发展，图像视觉对物体的感知不再满足于物体图像信息，而是进一步获得物体三维深度信息，如观察对象的形状、离观察点的距离、 运动特征方向和速度等。而双目视觉系统，使用模拟人类感知物体距离的方法，借助性能相同、相对位置固定的相机，利用三角测距原理，可获取物体三维信息，因此双目智能相机在立体视频中有广阔的应用前景。在特殊领域，如军事侦察、高速公路交通监控等，跟踪高速行驶的飞机、汽车时，对目标进行高帧频抓拍，需处理大量的实时图像数据，或者实现高速存储作为后期处理参考， 普通相机无法达到理想的效果。现有的CMOS相机为获取高帧频，一般都工作在小视场高速模式；而CCD相机一般都设计成大视场标准模式，帧频相对较低。因此，如何充分发挥现有技术的优势，开发具有高速跟踪功能的智能相机具有重要的意义。
发明内容
针对上述问题，本发明目的在于设计一种多模式多目一体化智能相机，提供一个多模式、多目、多功能、高分辨率、高帧频、高性能的新型嵌入式智能视觉系统。系统基于嵌入式技术，集成两路CCD相机以及一路CMOS相机，充分发挥了 CCD、CM0S两种模式相机的优势，既拓宽了相机视场，又可以获取较高的图像帧频和分辨率，有效的对高速目标抓拍。系统具有采集视频、本地回放、本地存储、高速目标跟踪、目标定位等功能。同时，系统提供了一个VGA输出接口、一个BNC视频输出接口、一个RJ-45网口、一个RS-232串口、一个RS-485 串口、三个IDE硬盘接口等标准化接口。进一步，上述系统中，嵌入式平台选用DSP+FPGA框架，充分发挥FPGA硬件并行处理图像底层数据以及DSP处理算法复杂的图像优势。进一步，上述系统中，FPGA外扩两片SDRAM用于图像预处理时的缓存区；DSP外接两片SDRAM、一片FLASH用作高速缓存区，同时增加寻址空间以及代码存储空间。进一步，上述系统中，两路CXD相机、一路CMOS相机位于同一平面，CXD相机之间的中心距离为5-7cm，可用于模拟双目定位，感知目标的三维深度信息。进一步，上述系统中，CMOS相机用于高速跟踪，在工作于大视场模式的CCD相机的协助下，捕获目标，并高速跟踪。进一步，上述系统中，VGA输出、BNC视频输出用于本地显示、回放，灵活适应本地显不设备。进一步，上述系统中，RJ-45网络接口提供以太网的接口，RS-232串口可用于连接串口 GPRS/EDGE/3G模块，实现GPRS/EDGE/3G无线上网。进一步，上述系统中，RS-485串口用于控制云台以及相机调焦。进一步，上述系统中，FPGA外扩两个IDE接口控制硬盘用于乒乓存储，高速存储 CMOS相机跟踪采集的高速目标图像，做后期处理。进一步，上述系统中，DSP外扩一个IDE接口控制硬盘用于存储两路CXD相机采集的视频数据，以及双目定位的深度信息。实现的主要功能本发明采用嵌入式技术，结构紧凑，具有功耗低和集成度高等特点。利用现有CMOS 相机以及CCD相机的优势，实现高速目标的捕获、定位以及自动跟踪。并充分考虑到以太网以及GPRS/EDGE/3G网络的普及以及覆盖范围，同时提供有线以及无线网络接口。3路相机采集，可充分获取目标信息；同时VGA输出、BNC视频输出用于本地显示、回放，或通过网络传输视频数据。FPGA外扩两个IDE接口，用于控制硬盘高速乒乓存储CMOS相机视频数据； DSP外扩IDE接口，用于控制硬盘存储CXD相机视频数据以及三维深度信息。并可通过网络交互，控制云台以及相机焦距等参数。
图1为本发明的系统结构框2为两路CXD相机双目定位原理3为高速目标捕获跟踪以及存储流程图
具体实施例方式下面结合附图具体说明本发明如图1所示，DSP 15与FPGA 9通过DSP 15的EMIF接口连接，FPGA 9内部开辟 FIFO，相当于DSP 15的外部存储器。DSP 15同时通过EMIF接口连接SDRAM13、14，FLASH 16 以及IDE 20。DSP 15与RJ-45 18通过网络接口连接。DSP 15与BNC 19通过VPORT 口连接。FPGA 9 通过用户 1/0 连接 SDRAM 7,8, IDE 10、11，视频 A/D 4, VGA 12。云台 5 与 FPGA 9通过1/0控制的RS-485 18串口连接；GPRS/EDGE/3G模块21与DSP 15配置的RS-232串口连接。如图2所示，设两部相机C1、C2之间距离的中心点为世界坐标系原点，以两部相机头之间的连线右方向为Xw轴正方向，以过原点且垂直于水平面向上为Yw轴正方向，以过原点且平行于水平面指向物体的方向为2,轴正方向，如图左上角坐标系所示。P1、P2为物象P在相机R1A2像平面上的成像点。建立世界坐标系与图像坐标系之间的关系，根据立体成像原理即可得出世界坐标。从而可以获取物象距观察点的位置，以及目标形状、速度等三维深
度{曰息。 如图3所示，提取高速目标模板，在两路CXD相机的工作视野中搜索。匹配后，由 CMOS相机捕获，并进行跟踪及高速抓拍，同时，IDE 10、11控制图像数据硬盘乒乓存储，直至高速目标脱离视场。高速存储的图像数据用于后期处理。
权利要求
1.一种多模式多目一体化智能相机，其特征在于设计一种多模式多目一体化智能相机，该嵌入式视觉系统集成两路CXD相机以及一路CMOS相机。系统提供了 RS-232及RS-485 串口、IDE接口、网口、VGA输出、BNC输出等标准化接口。同时，集视频采集、本地显示、回放、视频存储、目标定位、目标捕获和自动追踪等功能，目标追踪的对象可以是高速目标。
2.如权利要求1所述的嵌入式平台采用DSP+FPGA框架，充分发挥FPGA硬件并行处理底层图像数据以及DSP处理算法复杂的图像的优势，达到高速实时处理图像数据的要求。
3.如权利要求1所述的系统可通过网口接入以太网，或者是RS-232接口连接GPRS模块，接入GPRS网络，灵活适应应用场合以及网络资源。
4.如权利要求1所述的两路CCD相机，除视频采集外，还可工作于双目定位模式，感知目标的三维深度信息，如形状、尺寸和坐标等，由挂载于DSP的硬盘存储。
5.如权利要求1所述的CMOS相机用于高速目标的捕获跟踪，通过两路工作在大视场模式的CCD相机搜索目标，实时图像数据由挂载于FPGA的两块硬盘乒乓存储。
6.如权利要求1所述的VGA接口输出、BNC接口输出用于本地显示、回放，标准化的视频输出接口适用于多种显示器。
7.如权利要求1所述的RS-485串口，用于控制云台以及调节相机焦距等参数。通过网络实现远程的主动设备维护。
全文摘要
本发明涉及一种多模式多目一体化智能相机，提供一个多功能、高分辨率、高帧频、高性能的新型嵌入式视觉系统。采用嵌入式平台，同时集成两路CCD相机、一路CMOS相机，充分发挥CCD、CMOS两种模式相机的优势。系统结构紧凑，硬件集成度高，提供了RS-232、RS-485串口、网口、IDE接口、VGA接口、BNC视频接口等标准化接口。可通过有线或GPRS/EDGE/3G无线方式接入网络并传输视频数据和控制信息等。RS-485串口控制云台以及相机参数等。VGA输出及BNC输出用于本地显示、回放。两路CCD相机除采集视频外，还可用于双目定位，并获取目标三维深度信息。CMOS相机用于高速目标捕获跟踪。IDE接口挂载硬盘存储图像数据信息等。本发明可灵活用于交通监控、军事侦察、机器视觉和工业检测等领域。
文档编号H04N7/18GK102238368SQ201010157919
公开日2011年11月9日 申请日期2010年4月28日 优先权日2010年4月28日
发明者于飞, 刁玉峰, 刘维, 叶成明, 李程贵, 潘石, 范治宇, 顾海军, 马德华 申请人:长春博鸿电子科技公司(普通合伙)