机器视觉焊锡定位检测方法与流程

本发明属于图像检测领域，涉及一种对焊锡定位时的图像采集及定位方法。

背景技术：

目前，大部分厂家都是单纯基于光学原理来对焊接生产中遇到的常见缺陷进行检测，通过CCD摄像机得到元件的二维图像，经过图像处理、图像分析和计算机视觉方法进行处理，得到对图像的理解，进而实现物体的识别、定位和物体的状态表达。随着半导体、芯片等微电子元件行业的发展，芯片向着尺寸更加微小，电路更加复杂，功能更加强大的方向发展。贴装引脚的间距越来越小，精度要求越来越高，这样就给检测提出了更高的要求。但如今现有的AOI检测模式仅仅只是机器通过摄像头自动扫描PCB，采集图像，测试的焊点与数据库中的合格的参数进行比较检查出PCB上缺陷并通过显示器或自动标志把缺陷显示/标志出来，供维修人员修整，这样单一的检测模式仅能执行物件的表面检查，但对于零件边缘的焊点检测的效果便不尽理想，当然现在有许多的AOI能够做到多角度的摄影来增加对于IC脚翘的检出能力，并增加某些被遮蔽的元件的摄影角度，以提供更多的检出率。AOI最主要的不足就是有些灰阶或者遇到外界环境干扰较大光线不足或者被检测元件阴影明暗不明显时机器无法准确找到匹配区域导致检测准确率降低或出现误报。

Korhonen于1981年提出了自组织特征映射(SOFM)神经网络，该网络主要由输入层和竞争层构成的两层网络，输入层用于接收样本，而竞争层完成对输入样本进行分类，这种模式已经广泛的应用于决策制定、机器学习、数据挖掘、文件恢复、图像分割和模式分类等领域。在这些问题中，很少有数据的先验信息可用，而用户又要尽可能少的对数据的可能性进行假设，所以在这种限定下，自组织特征映射神经网络算法特别适用于查看数据点的内在关系，能够更加具体的对他们的组成结构进行评估。

在电路板的制作过程中，作为电路组件与电路板间衔接桥梁的焊点占有举足轻重的位置。焊点的制作过程必须经过锡量控制、定位与焊锡凝固等程序，而此程序比较难于控制，故在电路板的制作过程里，焊接的技术要求相对较高，继而可能发生的缺陷也相对较多。如果不能及时将缺陷发现和修复，将对整个系统能否可靠运行产生很大的影响。

由上可知，焊锡定位是一项对产品质量保证的重要工序，然而，在焊锡定位基本是基于图像进行的，可见，对于在流水线工程中，如何能够获取该产品的采集图像以作为焊锡定位的图像使用，也显得非常重要。

技术实现要素：

为了能够在流水线上对PCB进行图像采集，并且实现定位检测，本发明提出如下技术方案：机器视觉焊锡定位检测方法，包括图像预处理、图像配准、对定位点焊锡检测；图像预处理主要指对图像进行几何畸变校正和噪声点的抑制，减小参考图像和待拼接图像的几何畸变；图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找匹配，完成图像间的对齐；对测量范围内的定位焊点进行焊锡检测，应用模式匹配的方法将标准焊锡图像作为模板保存，运行时，将模板与一系列位置上的图像形态外观相似的子集进行比较，不断调整初始阈值，量化选取标准，分别统计每个样本图像在色调(H)、饱和度(S)和亮度(I)平面的直方图，同时得到与之相互对应的阈值结果，随即对多个样本的初始阈值进行修正，得到统一阈值用于图像二值化，标准灰度相关性运算作为一种形式的卷积，用来匹配的模板相当于卷积核，一个包含N像素的模板与检测图像内的N像素相乘随即求和，卷积核计算求出的测量图像内的每一个像素值，其结果最大的位置是与模板最相近的地方；该机器视觉焊锡定位检测方法，使用一种机器视觉焊锡定位检测系统，对图像进行采集，所述系统包括包括：包括：工业相机、球积分光源、蜂鸣器、光源控制器、传送带、工业计算机、传感器、显示器、嵌入式系统、图像采集卡；工业相机与图像采集卡连接，图像采集卡与工业计算机相连，工业计算机与光源控制器连接，光源控制器与球积分光源相连，所述球积分光源置于工业相机的下方，且位于传送带的上方，所述图像采集卡与计算机的连线引出两路，一路连接显示器，另一路分别连接传感器和嵌入式系统，所述传感器位于传送带的上方。

有益效果：使用本检测系统，可以在流水线上对PCB图像进行采集，并且，该图像可以被使用在焊锡定位的基础图像使用。

附图说明

图1为本发明所述系统的结构示意图。

具体实施方式

实施例1：一种机器视觉焊锡定位检测系统，包括：工业相机1、球积分光源2、蜂鸣器3、光源控制器4、传送带5、工业计算机6、传感器7、显示器8、嵌入式系统9、图像采集卡10；工业相机1与图像采集卡10连接，图像采集卡10与工业计算机6相连，工业计算机6与光源控制器4连接，光源控制器4与球积分光源2相连，所述球积分光源2置于工业相机的下方，且位于传送带的上方，所述图像采集卡10与计算机的连线引出两路，一路连接显示器8，另一路分别连接传感器7和嵌入式系统9，所述传感器7位于传送带的上方。

在本实施例中，涉及一种机器视觉焊锡定位检测方法，使用上述检测系统进行图像采集，包括图像预处理、图像配准、对定位点焊锡检测；图像预处理主要指对图像进行几何畸变校正和噪声点的抑制，减小参考图像和待拼接图像的几何畸变；图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找匹配，完成图像间的对齐；对测量范围内的定位焊点进行焊锡检测，应用模式匹配的方法将标准焊锡图像作为模板保存，运行时，将模板与一系列位置上的图像形态外观相似的子集进行比较，不断调整初始阈值，量化选取标准，分别统计每个样本图像在色调(H)、饱和度(S)和亮度(I)平面的直方图，同时得到与之相互对应的阈值结果，随即对多个样本的初始阈值进行修正，得到统一阈值用于图像二值化，标准灰度相关性运算作为一种形式的卷积，用来匹配的模板相当于卷积核，一个包含N像素的模板与检测图像内的N像素相乘随即求和，卷积核计算求出的测量图像内的每一个像素值，其结果最大的位置是与模板最相近的地方。

实施例2：作为实施例1中所述定位检测方法方案的补充：为了克服现有的AOI不能在有些灰阶或者遇到外界环境干扰较大光线不足被检测元件阴影明暗不明显时不能准确定位的缺陷或不足，基于原有算法编入自组织竞争人工神经网络，这种算法依赖于测量范围的起始位置和被测量物的方向。将依赖数据对应成二值型硬函数输入神经网络科荷伦层，采用无指导的训练方法对输入数据进行自组织竞争的分类与压缩，自组织神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，也就是说选择模式向量两者相距的数值当做聚类判据，本实施例使用的聚类判据为欧氏最小距离法。通过学习确定出一个比较合适的可以在该PCB板上检测所有焊锡的测量范围的大小，然后利用这个尺寸输出限定正确测量范围在需要测量的焊锡上，在学习得到的范围尺寸内找到焊锡的边界，随之求出测量坐标系原点，其精度可以达到亚像素精度。

对在检测过程中由于遇到灰阶或者遇到外界环境干扰较大光线不足或者被检测元件阴影明暗不明显时采集的图像质量过低，首先对图像的质量进行增强以改进图片的质量，将拍摄图片对比度增高去掉模糊和噪声，修正几何畸变，使用频率域法，把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。对由神经网络给出的测量区域使用面积最大法进行再次定位。

定位之前根据已学习的人工数据标定训练样本中的焊锡焊盘位置，对自动获取的焊盘区域中的主要颜色阈值进行统计，定位进行中利用此阈值对测量范围内的图像进行二值化，使用优化后的图像进行焊点定位。

对测量范围内的定位焊点进行焊锡检测，应用模式匹配的方法将标准焊锡图像作为模板保存，运行时，将模板与一系列位置上的图像形态外观相似的子集进行比较，初始阈值经过人工不断调节规范，达到焊点最佳抽出效果为止，量化选取标准，分别统计每个样本图像在色调(H)、饱和度(S)和亮度(I)平面的直方图，同时得到与之相互对应的阈值结果，随即对多个样本的初始阈值进行修正，得到统一阈值用于图像二值化，标准灰度相关性运算能够作为一种形式的卷积，在系统中用来匹配的模板相当于卷积核，普通相关性与以上卷积形式相同，一个包含N像素的模板与正常图像内的N像素相乘随即求和。卷积核计算求出的测量图像内的每一个像素值，结果最大的位置是与模板最相近的地方，标准化向量为：

以检测图像左上角为原点，水平与竖直方向分别为X和Y轴，搜索窗的尺寸为w_i和h_j，定位焊点坐标为S_i(x_i,y_i)，保持原点相对位置不变，w取值范围为[-min(0，x₂₁),x_i-max(x₂,x₂₁+x₁)],h取值范围为[0,y_j-(y₂₁+y1)].假设焊锡定位点属于阈值范围的像素数S(x,y),x_s＝-min(0,w₂₁),x_e＝ws-max(w₂,w₂₁+w₁),y_s＝0,y_e＝h_s-(h₂₁+h₁).则存在点(x_p,y_p)使得S(x_p,y_p)＝maxS(x,y),运算次数为(x_e-x_s)(y_e-y_s)(w₁h_i+w₂h₂)。

但当图像全部为白色或者黑色是系统将会达到一个最大值，这个最大值使得该点不再与模板相似，这种情况下相关性函数的标准化向量应改为：

使用上述表达式结果将不会收到图像或是模板中像素值的线性变化的影响，若测量目标与模板完全匹配时结果会达到最大峰值1，反之为0，如相似性出现负值，系统对负值自动消减为零，r²替代r规避了开放运算的速率缓慢，最终结果匹配分表示为百分数。

Score＝max(r,0)²×100％

该实施例中所述的定位检测方法，极大提高了AOI中焊锡焊点定位的精度，随着SMT行业技术的日新月异，芯片的尺寸也会越来越小，引脚焊线的精度为题势必将成为亟待解决的问题，与神经网络以及模式匹配技术相结合也解决了模板选取时的精度问题，将这些技术应用于半导体封装以及工业生产的视觉定位系统中将给领域内工艺的迅猛发展提供迅速有效的支持。

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。