专利名称：一种基于fpga的贴片机快速定位系统的制作方法
技术领域：
本实用新型涉及一种数字图像处理和自动控制技术领域，具体涉及一种基于FPGA 的贴片机快速定位系统。
背景技术：
贴片机是SMT生产线上的关键生产设备，研究和开发高速高精度的贴装设备近年来一直是国外有关科研单位及大型电子设备制造厂商的重点目标。在贴片机控制系统中， 对拾取的芯片进行视觉检测是其中最重要的一环。由于多功能贴片机要处理的元器件封装形式多样化，考虑到各种元器件在外形和大小上的差异，对贴片机图像处理技术提出了新的要求。贴片机控制系统中，需要对扫描的芯片进行视觉检测，需要配置有图像采集和处理分析系统，简称视觉系统。图像处理系统是贴片机视觉系统中的重要组成部分，它直接影响贴片机的工作质量。图像处理系统引起的误差，会影响整个系统的识别精度。多功能贴片机要处理的元器件封装形式多样，有CHIP、SOP、SOIC、QFP, BGA, CSP, PLCC等。这些封装形式之间外观差异很大，有基本上是立方体的CHIP型，有带凹管脚的QFP型，也有带球状突起的BGA型。就算是同种封装，在芯片截面积的大小上也有很大的差异，跨度从 0. 254msX0. 58ms到50msX50ms。各种元器件在外形和大小上的差异，对图像处理技术提出了较高的要求。在图像处理领域，经过多年的摸索，人们总结出了一系列经验性的原则， 以对不同特征的数字图像进行恰当的算法处理使识别目标更加清晰。将这些经验原则灵活运用于贴片机定位系统中，可以在实验室环境下使用相应的照明光源组合对各种外形的元器件适当图像采集和目标识别。
实用新型内容本实用新型所要解决的技术问题是解决上述现有技术存在的问题，而研制一种基于FPGA的贴片机快速定位系统，建立一套面对贴片机自适应光源的图像采集系统和数字处理平台，通过采集元器件当前图像，并实时进行图像处理。图像采集处理系统以FPGA 为核心实现数字图像的高速处理和目标识别，提高系统的运行速度，提高系统的定位精度， 降低设备的成本和复杂程度。本实用新型采用的技术方案是这种基于FPGA的贴片机快速定位系统，由成像系统、照明系统、图像采集系统、图像处理系统、目标识别系统和SOPC控制系统六个部分组成，以SOPC控制系统为中心，将各系统联系在一起，照明系统为贴片机自适应光源系统，成像系统利用图像传感器直接采集物体表面图像，输出图像数据连接至图像采集系统，图像采集系统读取图像数据输出连接至图像处理系统，图像处理系统对图像数据进行处理后， 输出连接至目标识别系统。上述技术方案中，所述的成像系统由CPLD与图像传感器组成，两者之间的接口主要包括电源线、地线、图像数据信号、垂直同步信号、水平同步信号和像素同步信号线，CPLD与图像采集系统之间的接口包括扩存储数据总线、控制信号线、电源线、地线和输入输出端□。上述技术方案中，所述照明系统的贴片机自适应光源系统为环形光源、条形光源和同轴光源三种LED光源的组合。本实用新型的基于FPGA的贴片机快速定位方法，具有成像系统、照明系统、图像采集系统、图像处理系统、目标识别系统和SOPC控制系统，以SOPC控制系统为中心，将各系统联系在一起；照明子系统由各类光源、光源控制器和照明方案组成，负责接收图像处理系统发出的指令，并根据指令调速光源组合形式；成像系统利用图像传感器直接采集物体表面图像，然后对图像数据进行处理并传输给图像采集系统；图像采集系统完成对图像数据缓存器FIFO的读取，通过获得图像同步信号向DSP系统发出中断信号；图像处理系统对图像进行降噪与增强的同步流水线处理；然后输出连接至目标识别系统，目标识别系统以图像匹配为基础，把目标识别定位转化为图像匹配。上述技术方案中，所述的照明系统为贴片机自适应光源，采用环形光源、条形光源和同轴光源三种LED光源组合方式，所述的LED光源采用可编程控制的LED光源。上述技术方案中，所述的图像处理系统对图像进行降噪处理为采用统计排序滤波器对图像进行中值滤波，中值滤波器由FPGA来实现；所述的对图像进行增强处理为采用基于微分的细节锐化滤波器对图像进行锐化处理，并采用Sobel算子对图像进行边沿检测。上述技术方案中，所述的目标识别系统包含三大核心部分样本图像数据库的建立、待识别图像的规格化处理和匹配处理；建立样本图像数据库主要是特征提取，将待识别的图像变换成与样本图像相匹配的规格；匹配处理是比较样本图像与待识别图像之间的特征相似度、完成匹配算法的过程。上述技术方案中，所述的SOPC控制系统，以ARM为基础对各部分进行集中管理，不依赖计算机，独立完成全系统的程序同步控制。下面对本实用新型的各系统分别作进一步的详细说明成像系统视觉成像系统主要完成图像传感器的成像和图像数据传输功能，形成清晰且数据量小的图像，实现可靠传输以满足下一阶段图像处理的需要。利用图像传感器直接采集物体表面图像，然后对图像数据进行处理。图像数据是整个系统处理分析的依据，是后期进行图像处理的关键。在视觉成像系统中，主要CPLD与图像传感器组成，两者之间的接口主要包括电源线、地线、图像数据信号、垂直同步信号、水平同步信号和像素同步信号等。CPLD与图像采集系统之间的接口主要包括外据为扩存储数据总线、控制信号线、电源线、地线和输入输出端口等。照明系统照明系统主要由各类光源、光源控制器和照明方案组成，其功能主要负责接收图像处理系统发出的指令，并根据指令调速光源组合形式。在机器视觉应用系统中，需要良好的光源与照明方案，是整个系统设计成败的关键，并不是简单的照亮物体。光源与照明方案的配合应尽可能地突出物体特征量，在物体需要检测的部分与那些不重要部分之间应尽可能地增加对比度。同时还应保证足够的整体亮度，物体位置的变化不影响成像的质量。贴片机自适应光源系统对光源的形状也采用多元化的组合方式，主要采用环形光源、条形光源和同轴光源等三种LED光源组合方式。根据元件封装形式的不同，采用不同的照射条件。 贴片自适应光源系统中采用可编程控制的LED光源，也就是根据不同的目标物选择不同的照明方式，相当于同时有几个光源可以照射到目标，这样可以达到对每种元件都能够采集到足够对比度和清晰的图像。主要用到的方式有背面照射、正面照射和侧面照射三种。图像采集系统图像采集系统主要完成对图像数据缓存器FIFO的读操作，通过获得图像的同步信号向DSP系统发出中断信号，以上操作主要由CPLD来完成。图像处理系统首先进行图像的降噪处理。数字图像来源于现实的影像，在图像的获取过程中受各种噪声的影响，同时噪声对图像质量的影响也十分复杂。数字图像处理过程中，去除噪声的主要方法之一是进行图像滤波。典型的滤波方法是统计排序滤波器的中值滤波，一种非线性的空间滤波器。本系统设计的中值滤波器由FPGA来实现，中值滤波既能消除图像中的噪声，而且还能较好地保持图像的边缘。首先借构建一个三值排序的方法，作为后端图像处理排序的基础。根据实际处理速度、处理效果和器件资源要求，本系统选用的是3X3邻域窗口。本系统所使用的排序方法对传统方法进行了改进，它基于三输入排序单元，每个三输入单元由若干二输入单元构成，排序过程如图1 4所示。图像处理系统其次进行图像的增强处理。图像增强的处理目的是使图像更适合特定的应用，本系统图像处理的最终是目标识别。而待识别的图像边界越清晰，识别的成功率就越高。锐化处理主要是突出图像中的细节或者增强被模糊了的细节，这些模糊是图像采集时不可避免的。基于微分的细节锐化滤波器是应用很广而又相对容易实现的锐化滤波器，其中二阶微分处理对细节有较强的响应，对线的响应阶梯性强，非常适合识别图像的锐化处理。本系统采用的是Sobel算子对图像进行边沿检测，并在应用时做了适当的修改。 Sobel算子得到的结果是对水平和垂直方向的响应最大。由于图像在边缘附近会出现灰度上的突变，本系统利用Sobel边缘检测方法，通过考察图像某像素在其领域内水平和垂直方向上的灰度变化，然后利用一阶导数来检测边缘。如图5 7所示，其水平、垂直梯度值的计算(Z1 + 2Ζ4 + Ζι)1算法的实现过程由FPGA完成，首先采用4个4输入8位加法器实现(z7+2Z8+Z9)等4个求和运算，此处运算没有采用乘法器，而用加法实现2倍运算， 保证运算的同步性。然后使用4个10位减法器和4个三态选通模块，实现两个减法和绝对值运算。最后用一个2输入10加法器完成最后结果。Sobel算法在FPGA中只需一个时钟周期完成，能够与前面设计的中值滤波同步完成。图像处理最后一部分是目标识别系统，本系统针对高速贴片机的需要提出了一种新型的目标高速识别系统，以图像匹配为基础，把目标识别定位问题转化成图像匹配的问题。本系统的基本思路是从原图像中抽取图像的特征，用户以此作为识别的依据，建立样本图像数据库，再将待识别的图像变换成与模板相匹配的规格，待查询图像通过与样本库之间的匹配，从而实现图像的识别。本系统主要包含三大核心部分样本图像数据库的建立、待识别图像的规格化处理和匹配处理。建立样本图像数据库主要是特征提取，特征提取是要求有足够的区分度和执行性。特征提取可以是提取图像全局的特征，也可以是图像中局部的特征。匹配处理是比较模板图像与待识别图像之间的特征相似度，完成匹配算法的过程。本系统是针对性很强的识别系统，同时对系统有着特别的要求，特别是在识别速度方面要求很高。而特征提取的原理，关键性的决定了整个系统的识别精度和识别速度的高低。图像特征表述是以颜色、形状、纹理和空间关系等为主要的特征，还有统计特征和结构特征。匹配标准模板特征提取，首先经过必要的图像处理，强化图像特征，再进行标准化，标准化的目的是使待的图像和标准模板的匹配特征相适应。本系统因样本较少，因此在标准化时，并不考虑图像的缩放，以更好的保证系统的运行速率和识别的准确度。标准模板都为二值图像模板(字符为1像素，背景为0像素)，同时待识别的图像也是字符像素为1， 背景像素为0的二值图像，相似度作为判据准则。识别系统的具体的系统框架结构如图8所示。识别系统样本特征库，通过样本采集与特征提取建立后，作为系统的一个稳定的匹配模板库。待识别的图像，首先判断目标的基本信息，不同的对象调用不同的匹配模板，并确定相似度的计算位数。图像匹配是点与点匹配的过程，系统采用FPGA的异或门实现点与点的匹配，建立一个与图片像素大小相同的异或门矩阵，便可一次性完成图像的匹配过程，本系统称该矩阵为匹配矩阵。相似度计算模块的主要组成部分是位加法器，将匹配矩阵的输出累加起来，既为模板与待识别图像的相似度。匹配矩阵结构如图8所示，图像匹配矩阵由待识别图像FIFO、模板图像FIFO、待识别图像累加器、模板图例累加器、与门矩阵、异或门矩阵、匹配结果有效判定模块、匹配结果累加模块组成。先将待识别图像和模板图像数据写入FIFO，然后分别求出待识别图像和模板图像的有效像素个数。本实用新型建立了一套面对贴片机自适应光源的图像采集系统和数字处理平台， 通过采集元器件当前图像，并实时进行图像处理。图像采集处理系统以FPGA为核心实现数字图像的高速处理和目标识别，提高系统的运行速度，提高系统的定位精度，降低设备的成本和复杂程度，具有很强的实用性。
图1 4为三输入排序过程图，其中图1为3X3邻域图，图2为行排序图，图3为列排序图，图4为对角排序图；图5 7为Sobel算子图，其中图5为3X3掩模图，图6为Sobel算子垂直梯度图，图7为Sobel算子水平梯度图；图8为匹配矩阵结构图；图9为自动对准系统机构示意图；图10为自动对准流程框图。
具体实施方式
1、基于FPGA的贴片机快速定位系统总体实施方式基于FPGA的贴片机快速定位系统，由成像系统、照明系统、图像采集系统、图像处理系统、目标识别系统和SOPC控制系统6个部分组成。由成像系统、照明系统和图像采集系统3个部分完成对目标图像的采集，由图像处理系统和目标识别系统2个部分完成对目标图像的定位。本实用新型以SOPC控制为中心，利用图像传感器技术、数据采集技术、信息传输借口技术、数字图像处理技术、FPGA的时序控制技术和基于FPGA的图像匹配技术，综合集成，实现贴片机的目标快速定位，如图9所示，图中，1-芯片，2-基底，3-对准系统工作台。2、成像系统在视觉成像子系统中，主要CPLD与图像传感器组成，系统利用图像传感器进行图像采集，采用ALTERA的低成本CPLD为时序控制与图像传感器驱动核心，使用硬件描述语言在QUARTUSII6. 5开发环境中对图像传感器及模拟前端驱动时序，对模数转换进行同步行采样控制。本实用新型可使图像数据实时采集系统在FPGA技术的支持下可实现硬件实现图像处理和识别，并行处理程度高。可实现识别系统的高速处理，集成度高，硬件电路简单， 避免了传统设计中使用大量分立元件的繁琐方式。为保证调试的方便和设计的可靠性，图像采集部分的相对独立模块式设计，为各系统的研究创建了的实验研发平台和方便系统分组升级。3、照明系统光源与照明方案的配合应尽可能地突出物体特征量，在物体需要检测的部分与那些不重要部分之间应尽可能地增加对比度。同时还应保证足够的整体亮度，物体位置的变化不影响成像的质量。贴片机自适应光源系统对光源的形状也采用多元化的组合方式，主要采用环形光源、条形光源和同轴光源等三种LED光源组合方式。根据元件封装形式的不同，采用不同的照射条件。贴片自适应光源系统中采用可编程控制的LED光源，也就是根据不同的目标物选择不同的照明方式，相当于同时有几个光源可以照射到目标，这样可以达到对每种元件都能够采集到足够对比度和清晰的图像。主要用到的方式有背面照射、正面照射和侧面照射三种。4、图像处理系统图像处理系统首先进行图像的降噪处理。本实用新型图像处理系统设计的中值滤波器由FPGA来实现，中值滤波既能消除图像中的噪声，而且还能较好地保持图像的边缘。 首先借构建一个三值排序的方法，作为后端图像处理排序的基础。根据实际处理速度、处理效果和器件资源要求，本实用新型选用的是3 X 3邻域窗口。图像处理系统其次进行图像的增强处理。本实用新型采用的是Sobel算子对图像进行边沿检测，并在应用时做了适当的修改。Sobel算子得到的结果是对水平和垂直方向的响应最大。由于图像在边缘附近会出现灰度上的突变，本系统利用Sobel边缘检测方法，通过考察图像某像素在其领域内水平和垂直方向上的灰度变化，然后利用一阶导数来检测边缘。5、目标识别系统[0050]图像处理最后依一部分是目标识别系统，本系统主要包含三大核心部分建立样本图像数据库、待识别图像的规格化和匹配处理。本系统是针对性很强的识别系统，同时对系统有着特别的要求，特别是在识别速度方面要求很高。图像特征表述是以颜色、形状、纹理和空间关系等为主要的特征，还有统计特征和结构特征。匹配标准模板特征提取，首先经过必要的图像处理，强化图像特征，再进行标准化，标准化的目的是使待识别的图像和标准模板的匹配特征相适应。标准模板都为二值图像模板(字符为1像素，背景为0像素)，同时待识别的图像也是字符像素为1，背景像素为 0的二值图像，相似度作为判据准则。识别系统样本特征库，通过样本采集与特征提取建立后，作为系统的一个稳定的匹配模板库。待识别的图像，首先判断目标的基本信息，不同的对象调用不同的匹配模板， 并确定相似度的计算位数。图像匹配是点与点匹配的过程，系统采用FPGA的异或门实现点与点的匹配，建立一个与图片像素大小相同的异或门矩阵，便可一次性完成图像的匹配过程，本系统称该矩阵为匹配矩阵。相似度计算模块的主要组成部分是位加法器，将匹配矩阵的输出累加起来，既为模板与待识别图像的相似度，其自动对准系统如图10所示。
8
权利要求1.一种基于FPGA的贴片机快速定位系统，其特征在于由成像系统、照明系统、图像采集系统、图像处理系统、目标识别系统和SOPC控制系统六个部分组成，以SOPC控制系统为中心，将各系统联系在一起，照明系统为贴片机自适应光源系统，成像系统利用图像传感器直接采集物体表面图像，输出图像数据连接至图像采集系统，图像采集系统读取图像数据输出连接至图像处理系统，图像处理系统对图像数据进行处理后，输出连接至目标识别系统。
2.根据权利要求1所述的基于FPGA的贴片机快速定位系统，其特征在于所述的成像系统由CPLD与图像传感器组成，两者之间的接口主要包括电源线、地线、图像数据信号、垂直同步信号、水平同步信号和像素同步信号线，CPLD与图像采集系统之间的接口包括扩存储数据总线、控制信号线、电源线、地线和输入输出端口。
3.根据权利要求1所述的基于FPGA的贴片机快速定位系统，其特征在于所述照明系统的贴片机自适应光源系统为环形光源、条形光源和同轴光源三种LED光源的组合。
专利摘要一种基于FPGA的贴片机快速定位系统，由成像系统、照明系统、图像采集系统、图像处理系统、目标识别系统和SOPC控制系统六个部分组成，以SOPC控制系统为中心，将各系统联系在一起，照明系统为贴片机自适应光源系统，成像系统利用图像传感器直接采集物体表面图像，图像采集系统读取图像数据输出连接至图像处理系统，图像处理系统对图像数据进行处理后，输出连接至目标识别系统。本实用新型建立了一套面对贴片机自适应光源的图像采集系统和数字处理平台，图像采集处理系统以FPGA为核心实现数字图像的高速处理和目标识别，提高了系统的运行速度和定位精度，降低了设备的成本和复杂程度。
文档编号H05K3/30GK202335090SQ20112049895
公开日2012年7月11日 申请日期2011年12月5日 优先权日2011年12月5日
发明者刘合安, 周立波 申请人:湖南城市学院