一种基于dsp的嵌入式全景立体球视觉图像采集系统的制作方法
【专利摘要】一种基于DSP的嵌入式全景立体球视觉图像采集系统，属于机器视觉领域。本发明是为基于鱼眼镜头的全景立体球视觉系统提供一套嵌入式4路图像采集和处理系统，该系统包括4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块。处理器采用高速的DSP（digital?singnal?processor），图像传感器采用CMOS，使用FPGA管理和修正图像数据，实现一次拍摄，同时采集4路数据。同时其数据的预处理、畸变校正、匹配等预算都在改嵌入式系统中运行，具有体积小、便携、功耗低、运算速度快等显著特点。
【专利说明】一种基于DSP的嵌入式全景立体球视觉图像采集系统
【技术领域】
[0001]本发明属于机器视觉领域，涉及全景立体视觉系统中的图像数据采集和处理。具体是基于DSP (digital singnal processor)构建嵌入式多路图像采集和处理系统，同时获取多路相关图像数据。
【背景技术】
[0002]全景视觉是机器视觉的一个重要分支，它无须视觉系统的机械回转或扫描即可将全部视场内的上、下、左、右、前、后景物一眼看遍。由于其具有几乎无盲区信息采集的显著特点，因此全景视觉有着广泛的应用需求，如辅助驾驶、安全监控、文化娱乐等。当前，全景视觉的构成主要是使用多个同种视觉传感器构成一定结构的组合式视觉系统，采集多路图像数据，再经由处理器分析计算后形成全景图像。常用的全景视觉系统包括多路相机或者图像传感器，为提高图像精度，其镜头采用常规的工业镜头。但由于常规镜头视场较小，为形成相邻传感器之间的图像区域交叠，需要使用的相机数量较多，通常在8只以上。
[0003]鱼眼镜头是一种大视场、短焦距的特殊广角镜头，大广角的鱼眼镜头可以实现180° X 180°视场范围内的信息。所以采用鱼眼镜头构建全景立体球视觉系统可以有效减少相机的数量，相对于传统的全景系统具有结构简单、体积更小的优势。经过分析和计算得知，利用4个成90°对称分布的大广角鱼眼镜头就可以获取360° X360°的全景信息。如图1所示，利用四个鱼眼镜头水平放置，保持光心在同一水平面上，相邻两镜头夹角为90°。由于鱼眼镜头视场较大，相邻镜头之间的视场区域相互交叠，这样不仅可以保证空间内任意位置上的物点至少会在两个鱼眼镜头中成像，从而满足了立体视觉的条件；并且可以获得360° X360°全球域视场内的图像信息，真正实现了无盲区全景球视觉观测。结合双目视觉技术和图像匹配技术，就可以计算出图像之间的相互关联，从而得到视场中的空间立体信息，从而获取360° X360°全球域的图像信息和空间信息，也就是获得全景球视觉息。
[0004]鱼眼镜头在具有视场区域大的优点，同时也具有图像畸变大的缺点，所以在获取全景信息时首先需要对图像进行滤波、畸变校正等一系列预处理工作，计算量比较大。同时考虑到全景视觉采集时的方便和易用性，其数据计算和匹配最好能够脱离计算机系统而采用嵌入式系统实现。
【发明内容】
[0005]本发明的目的是解决基于鱼眼镜头的全景立体球视觉系统的图像采集和处理问题，提供一种基于DSP的嵌入式全景立体球视觉图像采集系统。
[0006]本发明提供的基于DSP的嵌入式全景立体球视觉图像采集系统包括:
[0007]4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块；4路同型号的CMOS图像传感器分别焊接在4块驱动电路板上，然后通过柔性数据线连接到FPGA模块。4路CMOS的光轴分布在一个平面上，分别按照0°、90°、180°、270°等4个角度，正面向外放置并固定在基座上，并保证0°和180°的CMOS光轴重合；90°和270°的光轴重合。CMOS接收由DSP模块通过I2C总线发出的控制信号，CMOS的输出数据通过柔性数据线传输到FPGA模块中。由于采用了柔性数据线连接CMOS和FPGA模块，所以CMOS驱动电路板的位置易于安装和调整。FPGA模块和DSP模块安装在同一块驱动电路板上，两者之间采用板内数据和控制线连接。
[0008]4个CMOS彩色图像传感器型号为MT9T001，分别焊接在对应的驱动电路板上，输入输出信号为柔性通讯线缆连接到FPGA模块上。图像数据从CMOS输出后，进入FPGA模块，在FPGA中进行预处理后送入DSP，从而完成图像的采集工作。图像的处理主要在DSP中进行，整个过程脱离计算机运行。为提高FPGA的数据容量，FPGA带RAM，用来缓存图像数据；DSP同样自带RAM，用来缓存自己的数据，同时还采用FLASH存储固化程序和数据，采用网路同外界通讯。
[0009]本发明的优点和有益效果:
[0010]为解决基于鱼眼镜头的全景球视觉系统的图像采集和处理问题，本发明采用高速DSP+FPGA的嵌入式系统同时采集和处理4路鱼眼镜头的彩色图像，整个过程完全脱离了传统的计算机。其优点在于:基于嵌入式系统构建全景立体球视觉图像采集和处理系统，脱离计算机系统存在，结构简单、体积小、重量轻、成本低。同整个系统不需要回转结构，一次采集就可以同时获取4路鱼眼镜头图像数据，从而计算获得360° X 360°全球域的全景信肩、O
【专利附图】
【附图说明】
[0011]图1是4只鱼眼镜头安装示意图。
[0012]图2是系统模块框图。
【具体实施方式】
[0013]如图2所示基于DSP的嵌入式全景立体球视觉图像采集系统，该系统主要由4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块构成。4路同型号的CMOS图像传感器分别焊接在4块驱动电路板上，然后通过柔性数据线同时连接到FPGA模块上。4路CMOS的光轴分布在一个平面上，分别按照0°、90°、180°、270°等4个角度正面向外放置并固定在基座上，并保证0°和180°的CMOS光轴重合；90°和270°的光轴重
八
口 ο
[0014]CMOS接收由DSP模块通过I2C总线发出的控制信号，CMOS的输出数据通过柔性数据线传输到FPGA模块中。FPGA模块和DSP模块安装在一块驱动电路板上，两者之间采用板内互联线路。为提高FPGA的数据容量，FPGA带RAM，用来缓存图像数据。DSP同样自带RAM，用来缓存自己的数据，同时还采用FLASH存储固化程序和数据，采用网路同外界通讯。
[0015]本发明处理器采用TI公司的高速DSP (TMS320C6657),图像传感器采用型号为MT9T001的CM0S，分辨率为2048X1536像素，逻辑部分采用Altera公司的Stratix IV系列高端FPGA进行控制。高分辨率的彩色图像数据由CMOS输出后送入由FPGA的外置RAM中，由FPGA对其进行时序整理和图像的预处理，主要是图像的滤波、色彩校正等。预处理完成后，再经过DSP的高速数据口送入DSP控制的外部存储器中，就实现了图像的采集。[0016]系统的工作过程
[0017]系统上电后，程序由FLASH中载入到DSP中，实现程序的自举和启动，随后开始运行，具体为:
[0018]1)DSP程序启动后，对自身的寄存器进行配置，然后采用I2C总线对CMOS的工作模式、宽门宽度、增益进行配置，最后对FPGA的工作方式进行配置。
[0019]2) CMOS配置成内部触发方式，也就是平时处于等待状态，收到一个DSP发出的触发信号后才开始采集，采集完一帧图像后重新处于等待状态。
[0020]3)启动TCP/IP网络协议栈，为外部设备连接做好准备。
[0021]4) DSP利用I2C总线控制CMOS的图像采集，先触发第一个CMOS的图像采集，在FPGA中进行Bayer解码、白平衡校正、彩色增强和畸变校正后，把图像送入RAM中，同时给DSP发出完成信号。DSP收到信号后启动图像传输，把FPGA所外挂的RAM中的数据读入DSP的外部RAM中，完成一个CMOS的图像采集。依次启动第2、3、4个CMOS的图像采集，最终采集完所有CMOS的图像数据。
[0022]4)利用CMOS的帧同步信号作为图像同步信号，标识一帧图像，低电平有效。数据采样时钟采用CMOS的输出时钟，上升沿采样。
[0023]5) DSP和CMOS之间的通讯采用I2C总线，用来发送CMOS的配置信息，同时也用来发送命令信息，如触发一帧图像等。
[0024]6)采集完4帧图像数据有序存放在DSP的外置RAM中，随后就可以由DSP进行相关的全景视觉算法分析和处理了，例如特征点提取、图像拼接、图像匹配、立体重建等。
【权利要求】
1.一种基于DSP的嵌入式全景立体球视觉图像采集系统，其特征在于该系统主要包括4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块；4路同型号的CMOS图像传感器分别焊接在4块驱动电路板上，然后通过柔性数据线连接到FPGA模块上；4路CMOS的光轴分布在一个平面上，分别按照0°、90°、180°、270°四个角度，正面向外放置并固定在基座上，且保证O°和180°的CMOS光轴重合；90°和270°的光轴重合；CMOS接收由DSP模块通过I2C总线发出的控制信号，CMOS的输出数据通过柔性数据线传输到FPGA模块中；FPGA模块和DSP模块安装在同一块驱动电路板上，两者之间采用板内互联线路。
2.根据权利要求1所述的基于DSP的嵌入式全景立体球视觉图像采集系统，其特征在于，为提高FPGA的数据容量，FPGA带RAM，用来缓存图像数据；DSP同样自带RAM，用来缓存自己的数据，同时还采用FLASH存储固化程序和数据，采用网路同外界通讯。
【文档编号】H04N5/232GK103888751SQ201410089789
【公开日】2014年6月25日 申请日期:2014年3月12日 优先权日:2014年3月12日
【发明者】朱均超, 张宝峰, 韩芳芳, 焦英魁, 万丽 申请人:天津理工大学