专利名称：双路图像信息定位处理方法及系统的制作方法
技术领域：
本发明涉及信息处理技术领域，特别是双路图像信息定位处理方法及系统。
本发明的技术解决方案是一种双路图像信息定位处理方法及其系统，本发明的方法是由成像子系统通过两个摄像头分别采集对象的图像信息，转换成数字信号，再经图像处理子系统进行定位处理，然后显示、输出，本方法是利用CMOS摄像芯片实现图像信息采集。
本发明的系统是一种双路图像信息定位处理系统，由成像采集设备、控制器、存储器、处理器及外围接口电路组成，由FPGA控制器分别联接由CMOS摄像芯片构成的两个摄像头A、B及专用DSP处理器，两个CMOS芯片摄像头A、B各自与存储器联接，存储器与DSP处理器联接，DSP处理器与接口电路联接，组成双路图像信息定位处理系统。
本发明双路图像定位处理方法及系统是利用对以上技术的集成，通过对双路视觉定位原理的研究，设计了一套集成度高、标定方便、处理速度快的相对定位信息提取系统。可广泛应用于机器人视觉、目标搜索、工件定位等。还可以用于嵌入式系统等，作为某些系统的视觉子系统。
本发明的方法是利用计算机视觉技术是将计算机技术与模式识别等技术相结合，通过对计算机所得到的图像进行图像增强、特征提取、模式识别等处理手段，得到物体的空间信息，进而重建三维空间模型的一种方法。近年来，双路视觉技术在这一领域得到了深入的研究，并且有了广泛的应用。例如通过模拟两只眼睛，并利用所拍下的左、右视图重叠部分的相关性计算深度信息，最终确定感兴趣物体的方位信息。其主要技术包括两个方面，一个是确定左、右视图之间的空间几何关系，另外一个就是在左、右视图上寻找同名像素点的问题。国内外对此已经作了大量的研究工作，算法比较成熟，实际使用效果也比较好，可以满足基于CMOS芯片的双路定位处理系统的需要。
为了从二维的摄像平面计算三维环境物体的位置、形状等几何参数，图像采集设备必须先进行标定。摄像头标定的方法有很多，比较重要的是自标定技术和基于平面物体的标定。自标定技术即不需要标定参照物，仅利用摄像头在运动过程中周围环境的图像及图像之间的对应关系对摄像头进行标定。双路视觉中的标定根据具体的系统不同有不同的实现方法。
本发明的系统是由成像采集设备、控制器、存储器、专用DSP处理器以及外围接口电路组成。CMOS摄像头是图像的采集设备，根据使用环境的不同，以及具体需求的不同，可以在分辨率、色彩等方面做出选择，与之配套的还有专用的镜头，也需要根据实际情况来选择。选用FPGA作为CMOS成像芯片的控制器，可以对CMOS摄像头的曝光时间、数据传输等进行控制，以实现两片CMOS成像芯片图像采样、数据传输等的同步性。存储器是用来存储所采集的图像信息的，同时也为检测算法提供数据交换的空间。DSP是整个系统的核心部件，它提供了最基本的控制信号，以及利用集成好的算法对采集到的图像进行处理，以得到感兴趣物体的位置，距离等信息。对外部的接口电路可以采取不同的方式，根据需要不同，可以采用RS232，USB接口，104总线等。通过这样的一个系统，就可以对感兴趣的目标进行处理，最后得到相应的位置信息。对系统硬件要求基于CMOS芯片的双目视觉定位处理系统在硬件选择方面，主要要考虑以下几个方面的要求(1)CMOS视觉芯片的选取目前，生产CMOS视觉芯片的公司有很多，国内的部分厂家也有生产CMOS视觉芯片的能力。分辨率方面，美国Foveon，Inc.和美国National Semiconductor Corp.共同开发出了象素最高为1680万的CMOS图像传感器(ImageSensor)，帧速率方面，Dalsa公司发布了超高速CMOS图像传感器(ultra high-speed CMOS Image Sensor)，速率达到20,000帧/秒。所以可供选择的种类很多。
(2)FPGA的选择在系统中，FPGA起到的是对各个器件发控制命令，起到一个协调控制的作用。在整个定位处理系统中，存在多种总线结构(I2C总线，并行总线等)。系统中起到控制作用的器件，在与CMOS及DSP通讯时，涉及到各种总线通讯方式。FPGA可以编程配置其结构，通过单片FPGA就可以完成整个系统的协调，控制外围接口简单，便于集成。
(3)存储器要求存储器主要是存储CMOS所采集的图像数据，等待DSP读取进行处理的。存储器容量的大小要根据CMOS芯片所采集到的图像数据的大小，以及处理算法所需存储空间来选择。
(4)DSP的选择DSP的选择受处理算法的影响，目前通用的可以开发的DSP的型号有很多，处理速度也比较快，通过选择合适的DSP，再结合成熟的算法，可以得到满意的检测效果。系统的集成化为了简化系统结构和增加可靠性，整个系统硬件，除镜头外，均可采用集成电路既可用分离的集成芯片，也是用大规模集成电路，用ASIC(专用集成电路)集成到一大块芯片上；或者整个系统的赢家固定在一块集成电路板上，塑胶绝缘密封固化。这样可以方便的将这一系统安装在各种设备上，还可以方便的设计与外部设备的借口，避免了使用CCD摄像设备所必须进行的视频采集工作，直接处理数字信号，简单快速。以下结合
本发明的系统组成结构双路图像信息定位处理系统的主要组成，参见附图1，图中两片CMOS视觉芯片是成像采集设备，它们之间的几何位置是固定的，可以精确测量，以进行以后的标定。FPGA完成对视觉芯片的控制工作，它根据DSP所发的指令，执行事先设计好的控制命令。存储器用于对所拍摄图像的存储，供DSP处理使用。DSP是定位处理核心部件，它从存储器中读取数据，完成定位处理工作，同时，根据它的工作情况，对FPGA发指令，使图像采集与处理协调进行。最后一部分是对外的接口电路，根据实际需要不同，选择不同的接口方式。本发明的应用范围举例机器人视觉机器人在很多领域应用广泛，其中越来越多地利用到了环境信息。基于CMOS芯片的双路视觉定位系统正是由于整个系统的集成程度比较高，所以在使用的过程中可以安装在机器人上，完成现场环境的采集工作。一个典型的应用就是机器人足球赛，在使用分布式视觉时，由于足球机器人自身体积的限制，必须使用这种CMOS摄像头，才能满足要求。
目标搜索在某些特殊领域，可能会遇到对一些特定目标搜索的问题，这些目标在颜色，或者形状上有明显的特征，利用基于CMOS芯片的双路定位处理系统，可以比较容易的完成对这些特定目标的定位、测距工作。使环境的视觉信息可以更好的被利用。
工件定位在工业自动化的应用领域中，使用这种基于CMOS芯片的双目定位处理系统以后，可以实现对流水线上传送的工件进行识别，得到位置和距离信息，形成控制参数，指引机器设备从流水线上抓取需要的工件。由于整个系统结构简单，集成度高，所以可以大量的应用于这样的工业生产领域。
本发明双路图像信息定位处理方法及系统的优点是由于采用了CMOS视觉芯片采集图像信息与计算机技术相结合，系统结构简化，可集成度高，体积小，处理速度快，应用范围广，特别适用于某些对硬件体积限制要求较高的领域。
权利要求
1.一种双路图像信息定位处理方法其方法是由成像子系统通过两个摄像头分别采集对象的图像信息，转换成数字信号，再经图像处理子系统进行定位处理，然后显示、输出，方法的特征是利用CMOS摄像芯片实现图像信息采集。
2.一种双路图像信息定位处理系统由成像采集设备、控制器、存储器、处理器及外围接口电路组成，其特征在于由FPGA控制器分别联接由CMOS摄像芯片构成的两个摄像头A、B及专用DSP处理器，两个CMOS芯片摄像头A、B各自与存储器联接，存储器与DSP处理器联接，DSP处理器与接口电路联接，组成双路图像信息定位处理系统。
3.根据权利要求1所述的双路图像信息定位处理方法，其特征在于采集对象的图像处理后的相对位置信息，经计算机通用接口输出，并可用液晶屏显示。
4.根据权利要求2所述的双路图像信息定位处理系统，其特征在于除镜头外，系统包含的各硬件可采用集成电路既可用分离的集成芯片，也可为大规模集成电路；或者整个系统的硬件固定在一块集成电路板上，塑胶绝缘密封固化。
全文摘要
一种基于CMOS摄像芯片的双路定位处理系统，它由CMOS摄像芯片、镜头、信号转换电路、可编程控制电路、DSP(数字信号处理器)处理芯片等硬件及相应的控制处理软件组成。它通过对同一目标的双路视觉信息进行同时处理，完成提取相对目标的定位信息的功能。该系统可根据需要集成在一块集成电路板上，或者用定制(ASIC，专用集成电路)芯片集成在一块大的芯片上。本发明的优点是结构简化，可集成度高，体积小，处理速度快，适用于机器人视觉、目标搜索、工件定位等应用。
文档编号G01C3/00GK1444010SQ0311822
公开日2003年9月24日 申请日期2003年4月1日 优先权日2003年4月1日
发明者郑志强, 刘斐, 季秀才, 柳林, 夏旻, 耿丽娜 申请人:郑志强