基于fpga实现的双目视觉定位装置的制造方法
【技术领域】
[0001]本发明为一种基于FPGA实现的双目视觉定位装置，涉及机器视觉技术，图像处理技术，人工神经网络技术，嵌入式技术等多个技术领域。
【背景技术】
[0002]FPGA(Field Programmable Gate Array)是高性能的可编程逻辑器件，可以实现高速的计算和并行处理，是高性能嵌入式视觉系统的一种更优的解决方案。由于FPGA具有并行处理的优点，其对图像处理的计算速度超过传统的数字信号处理器(DSP)处理速度。并且基于FPGA嵌入式视觉系统的功耗远低于基于通用CPU和GPU的计算机视觉系统。随着技术的发展，FPGA的集成度越来越高，设计规模越来越大，而功耗则越来越低，基于FPGA的嵌入式视觉系统将是机器视觉重要研究方向。
[0003]在双目视觉定位系统中需要将两个摄像机的图像坐标转换为笛卡尔空间坐标。传统的方法需要知道确定的摄像机内、外参数模型，并经过复杂的坐标转换才能获得世界坐标位置。而利用BP神经网络标定方法可实现二维信息到三维信息之间非线性变换，无需确定摄像机的内、外参数，同时可降低摄像机镜头各种畸变及外界噪声的影响，使得双目视觉定位系统更加准确、稳定。视觉系统主要用于工业机器人的焊接、搬运等生产中对工件的测量与定位，以及移动机器人的目标跟踪、移动定位等。
[0004]现有专利201010185865.1用FPGA实现了实时立体视觉，但采用的是传统的Census立体匹配算法；专利200810017899.2利用FPGA实现单目的运动目标与跟踪设备。专利201110434839.2实现基于FPGA的视觉目标自适应检测控制器，但仅限于检测出目标物体未实现定位。
【发明内容】
[0005]发明一种基于FPGA的双目视觉定位装置，整个装置核心通过硬件编程语言在FPGA上实现，没有嵌入任何软核处理器，使得系统速度更快、更稳定。整个装置的核心从硬件上看，主要由FPGA控制器[I]，两个CMOS摄像头[2]，两个SDRAM储存芯片[3]，IXD显示部分[4]及RS232通信部分[5]等构成。整个系统由FPGA[1]控制，在FPGA[1]实现对两个CMOS摄像头[2]图像采集与控制模块[6]，对两个SDRAM储存芯片[3]进行图像储存与控制的模块[7]，图像显示模块[8]，图像处理与定位模块[9]，BP神经网络标定模块[10]以及RS232控制模块[11]。
[0006]系统工作时，通过FPGA[1]内部的图像采集与控制模块[6]对两个CMOS摄像头
[2]控制，采集外界及目标物体的图像信息，并将图像信息通过图像储存与控制模块[7]存储至SDRAM储存芯片[3]中；之后图像信息通过图像初步处理与定位模块[9]对图像进行滤波、特征提取、目标定位等初步处理，得到目标物体的图像坐标(U1, V1), (u2, V2);然后将两个坐标信息输入到BP神经网络标定模块[10]中变换得到目标物体笛卡尔空间坐标信息(x，y，z);得到的笛卡尔空间坐标信息通过RS232控制模块[11]实时输出到PC机、机器人等其他设备中；图像显示模块[8]控制一块IXD显示部分[4]同时显示两幅图像采集与控制模块[6]采集到的原数字图像或者通过图像处理与定位模块[9]处理过的数字图像，并且IXD显示部分[4]可实时显示图像坐标(U1, V1)、(u2, V2)、目标物体笛卡尔空间坐标信息(X，y，z)及相关状态信息。
【附图说明】
[0007]图1是基于FPGA双目视觉定位装置的整体原理框图
[0008]图中:
[0009][I]FPGA 芯片；
[0010][2]两个CMOS摄像头；
[0011][3]两个 SDRAM 芯片；
[0012][4] IXD控制芯片及IXD显示器；
[0013][5]RS232 控制芯片；
[0014][6] FPGA内部图像采集与控制模块；
[0015][7] FPGA内部图像储存与控制模块；
[0016][8] FPGA内部图像显示模块；
[0017][9] FPGA内部图像处理与定位模块；
[0018][10] FPGA内部BP神经网络标定模块；
[0019][II]FPGA 内部 RS232 控制模块。
【具体实施方式】
[0020](I)利用两个CMOS摄像头采集实时图像，利用一个IXD显示器显示两幅实时图像；
[0021](2)根据彩色分割提取特定颜色目标物体，计算出目标物体的图像坐标(U1, V1),(U2，V2);
[0022](3)通过训练好的BP神经网络计算出目标物体笛卡尔空间坐标信息(X，y, z)；
[0023](4)通过RS232串口通信输出目标物体笛卡尔空间坐标信息(x，y，z)到其他设备上。
【主权项】
1.一种基于FPGA实现的双目视觉定位装置，该装置由FPGA控制器[I]，两个CMOS摄像头[2]，两个SDRAM储存芯片[3]，IXD显示部分[4]及RS232通信部分[5]等构成，其特征在于使用FPGA控制器[I]实时采集两个CMOS摄像头[2]图像信息，并用LCD显示部分[4]实现多屏高分辨率的图像显示；FPGA控制器[I]内部实现图像处理与定位[9]，BP神经网络标定[10]，最终获取目标物体笛卡尔空间位置信息通过R232通信部分[5]传输到外部设备。
2.根据权利要求1所述的基于FPGA实现的双目视觉定位装置，其特征在于FPGA控制器[I]内部实现图像处理与定位[9]可实现两幅图像的并行处理，通过图像中值滤波、阈值分割、彩色分割、边缘检测的等方法实现特定目标的特征提取与图像定位。
3.根据权利要求1所述的基于FPGA实现的双目视觉定位装置，其特征还在于FPGA控制器[I]内部的BP神经网络标定模块[10]可不需要摄像机的内外参数便可确定图像位置与笛卡尔空间位置的非线性变换关系，最终获得目标物体相对双摄像机的笛卡尔空间精确的位置信息。
4.根据权利要求1所述的基于FPGA实现的双目视觉定位装置，其特征还在于FPGA控制器[I]内部的图像显示模块[8]可实现在一块LCD上实时显示两个摄像机的图像信息、目标物体的图像位置信息和笛卡尔空间位置信息。
【专利摘要】本发明公开了一种基于FPGA实现的双目视觉定位装置，该装置通过两个摄像头采集图像信息，利用两片SDRAM分别对两幅图像进行缓存，最后在LCD上实时显示两幅图像。在FPGA内部实现两幅图像的并行处理，经过图像滤波、特征提取等数字图像处理方法获得特定目标图像位置信息后，利用BP神经网络标定方法确定目标物体的笛卡尔空间位置信息。所有FPGA内部的模块均采用硬件编程语言实现，确保了整个系统的实时性与稳定性，利用BP神经网路对摄像机标定减少了摄像机参数不确定、镜头畸变等因素的影响，提高了对目标物体的定位精度。
【IPC分类】G06T7-00
【公开号】CN104700385
【申请号】CN201310651555
【发明人】胡立坤, 卢泉, 马文光, 李小为
【申请人】广西大学
【公开日】2015年6月10日
【申请日】2013年12月6日