一种基于彩色图像分割和梯度投影定位的贴装元件检测方法与流程

本发明涉及贴装元件检测技术领域，更具体地说，涉及一种基于彩色图像分割和梯度投影定位的贴装元件检测方法。

背景技术：

电子产品被广泛应用于工业各领域，表面贴装电子元件作为电子产品的核心部件，其功能好坏直接影响电子产品的使用性能。当前电子元件主要采用表面贴装技术通过焊锡贴装在电子产品的电路板上，因此，对焊点的质量检测显得十分关键。常见的焊点缺陷类型有假焊、焊锡不足、元件偏移、错件和立碑。传统都是依靠人工目检的方式对焊点质量进行检测，但是随着电子元件尺寸变小，相互之间密度变高，人眼很难做出准确判断，并且人工目检依赖主观经验，容易产生视觉疲劳等导致检测效率不高。实施无铅化的生产方式后，焊点的表面色泽更暗，更不利于人工检测，缺陷也更多。因此，采用自动化的方式来检测焊点的质量越来越显得必不可少。

自动光学检测采用图像采集系统获取电路板上焊点的图像，经过对图像进行特征提取、处理和分析来判定焊点质量是否合格。能对贴装密度高的电路板和微小的电子元件焊点进行检测。由于具有检测标准规范，产品质量管理有效、效率高等特点，自动光学检测被越来越多用于表面贴装生产线上。

自动光学检测用于检测印刷电路板的贴装元件常用的办法有参考比对法和非参考比对法两大类，参考比对法将待测图像与一个被称为“金样本”的参考图像进行比对，由于有标准图像提供比对，原理上看上去很简单，找到与标准图像不相同的地方就可算为缺陷。如中国专利号cn201510174839.1，申请日为2015年4月14日，发明创造名称为：一种检测电子元件贴装精度的方法；该申请案即是通过转化摄取的预检测电路板的图像与计算机处理系统内预设的理想图像进行对比，通过分析预检测电路板的图像，来确定预检测电路板中的电子元件的定位坐标与计算机处理系统内预设的标准坐标参数对比，从而得出电路板上电子元件的角点定位准确、不准确以及角点检测有误的结果。参考比对法与传统的封装人工检测相比较，减少了人工成本，大大降低了检测的出错率。但是该方法的主要缺点是定位一定要准确，还有就是照明要一致，对于与“金样本”不完全一致但是又合格的图像存在误报的情况。

非参考比对法不需要参考标准图像就能实现缺陷检测的目的。其判定是否有缺陷主要是根据设计的规则或自定的规则进行判定，此方法最大的优点是无需精准定位，也不需要使用占用大量存储空间的标准图像，如专利号cn201510357803.7，申请日为2015年6月25日，发明创造名称为：一种基于视觉的tr元件定位和缺陷检测方法；该申请案即是一种采用非参考比对法进行缺陷检测的方案，其通过二值化区域图像，提取外边界点集，寻找有效边界点集，寻找最小外接矩形，有效边界点集分类，二值图像仿射变换，tr元件类型检查，有效边界点集再次分类并编号，拟合引脚直线，拟合引脚足部直线，确定tr元件细节信息，检查tr元件引脚的缺陷。该申请案能够解决贴装元件检测人为误差、精度低、实时性差以及计算结果对光照敏感的问题，但该申请案检测过程复杂，使用了4领域快速轮廓跟踪，双轴旋转法寻找最小外接矩形等技术，不易实现。

技术实现要素：

1.发明要解决的技术问题

本发明的目的在于解决现有贴装元件缺陷检测方案存在的定位精度不高，导致误检率高的问题，提供了一种基于彩色图像分割和梯度投影定位的贴装元件检测方法；本发明是一种对贴装电子元件分区域提取特征的规则检测法，该方法不易受噪声干扰，对于不同光照条件都有很好的鲁棒性。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，其步骤为：

步骤一、采用相机加环形红绿蓝led结构光源对电路板上的焊点进行图像采集；

步骤二、将步骤一所得图像由rgb颜色模型转换为hsi彩色模型，并在此基础上进行彩色图像分割；

步骤三、对步骤二所得图像设置mark点，并利用所设置的mark点对pcb板图像中xy两个方向的误差进行补偿；

步骤四、进行焊盘主体区和贴装文字区的定位；

步骤五、对焊盘和主体区焊点进行检测。

更进一步的，所述贴装元件缺陷检测包括训练阶段和测试阶段，训练阶段和测试阶段均包括图像采集、颜色模型转换、mark点匹配、彩色图像分割、焊点定位及特征参数检测过程；其中，训练阶段对电路板上的焊点进行图像采集，并制作mark点，进行彩色图像分割，预先确定好焊点图像特征参数，并保存；测试阶段先采用识别mark点方式对电路板的定位误差进行补偿，再实时采集电路板的焊点图像，进行彩色图像分割，提取检测区域的焊点图像特征参数，并与在训练阶段已保存好的焊点图像特征参数进行对比，判断焊点是否合格。

更进一步的，将图像由rgb颜色模型转换为hsi彩色模型后，以色调和饱和度两个特征指标作为颜色分割的依据，采用下式进行分割：

式中，h(i，j)和s(i，j)是像素点(i,j)的色调和饱和度，img(i,j)为二值化处理结果，通过设定色调h、饱和度s的最高值hh和sh以及最低值hl和sl即能作基于hsi彩色模型的颜色分割，分割出指定颜色。

更进一步的，整个电路板的xy两个方向的误差由两个mark点来补偿，在搜索区域内提取mark点的面积形状特征，首先对标志mark点进行阈值分割，然后将图像二值化，具体如下：

一幅长宽分别为m×n的图像在坐标点(x,y)对应的像素点的灰度值f(x,y)按照颜色阈值[cmin,cmax]进行二值化处理，r(x,y)即是其处理的结果

计算mark点的面积

根据面积计算的结果与设定进行比较，就可以完成mark点的设置。

更进一步的，焊盘主体区的定位中依次抽取焊盘区红绿蓝三色，计算公式如下：

xk是一个三维特征向量，tr(x,y)是第r颜色框颜色图像的百分比，r＝1、2或3，1代表红色，2代表绿色，3代表蓝色，m×n是在焊盘区域的像素的数量。

更进一步的，贴装文字区定位采用基于梯度积分投影的方法，首先采用sobel算子梯度化图像，对梯度图像进行投影定位；其中，对图像进行梯度处理之后，f(x,y)表示在点(x,y)的梯度值，w和h表示贴装文字区的宽和高，通过函数f(x,y)投影到x轴和y轴上得到密度函数fx(x,y)和fy(x,y)，再进行定位；

更进一步的，焊盘区与主体区的检测通过提取此区域内红绿蓝三色下的面积、重心特征以及主成分特征值，并将焊盘区细化为多个子区域。

更进一步的，提取主成分特征值时，在图像中选定一个固定尺寸的小窗口，然后在窗口内以灰阶值当成密度计算x轴和y轴两个方向的协方差，形成一个协方差矩阵，利用主成分分析法计算协方差矩阵的两个特征值，这两个特征值代表在二维空间中的两个互为正交的最大方差量，利用正常图像与异常图像在特征值上的差异作为检测指标。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，由于采用hsi彩色模型进行图像分割，该模型的色调h(hue)、饱和度s(saturation)和强度i(intensity)三个基本特征量中，hs两个特征是与亮度无关的因素，用色调和饱和度两个特征指标作为颜色分割的依据，以色调和饱和度组合成的彩色图像分割方法，由于该方法与亮度因素无关，所以相比基于rgb模型的彩色分割更适合于常碰到的光源亮度多变的情形；

(2)本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，采用梯度图像投影定位的方法，该方法不易受噪声干扰，对于不同光照条件都有很好的鲁棒性；

(3)本发明的一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，采用以主成分分析法(principalcomponentanalysis,pca)为基础之特征值检测方法，在图像中选定一个固定尺寸的小窗口，然后在窗口内以灰阶值当成密度计算x轴和y轴两个方向的协方差，便可形成一个协方差矩阵，利用主成分分析法计算协方差矩阵的两个特征值(eigenvalue)，这两个特征值代表在二维空间中的两个互为正交的最大方差量，能利用正常图像与异常图像在特征值上的差异来设计一致性之特征指标，具备计算效率高、鲁棒性好的特点。

附图说明

图1是本发明的表面贴装元件检测流程的示意图；

图2是本发明的mark点定位示意图；

图3是本发明进行焊盘抽取颜色的示意图；

图4是本发明焊盘区域的子窗口示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

针对表面贴装电子元件作为电路板的部件进行检测，其焊点的贴装质量直接影响电路板的性能，由于传统的人工目检具有很高的误报以及效率低下的缺点，所以采用自动光学检测来对贴装元件的焊点进行自动检测是当前的主要趋势，本实施例提供了一种基于彩色图像分割和梯度投影定位的贴装元件检测方法，结合图1，其具体包括以下处理过程：

元件缺陷检测

(一)训练阶段：获取pcb板图片，采用3ccd相机加环形红绿蓝led结构光源以及镜头的装置对电路板上的焊点进行图像采集。接着制作出mark点，并根据彩色图像分割原理预先确定好焊点图像特征参数，并保存。

(二)测试阶段：首先进行定位补偿，采用识别mark点方式对电路板的定位误差进行补偿。再实时采集电路板的焊点图像，根据所提出的彩色图像分割原理分割，提取检测区域的焊点图像特征参数，并与在训练阶段已保存好的焊点图像特征参数进行对比，判断焊点是否合格。

由此可见，在训练阶段和测试阶段的步骤中都包含有图像采集，mark点匹配，彩色图像分割及焊点的定位及特征参数检测。

本实施例进行图像采集，焊点表面保持平面镜属性，其遵循反射的规律。光照射到焊点表面后，其被反射到相机的红色，绿色，蓝色光分别代表了平的，缓慢倾斜的和迅速倾斜部分。根据3色的照明和彩色照相机系统中，焊点的三维形状信息可以由一个二维彩色图像所描绘。

图像获取后，在印刷电路板检查的过程中，图像的颜色必须设置好，并且rgb颜色模型往往容易受到干扰。由于无铅，焊点饱和降低，需要考虑使用使得亮度因素减至最低的颜色模型，本实施例采用hsi彩色模型。

转换rgb模型到hsi模型：

对于范围rgb值[0，1]，对应的h，s和i在hsi模型分量计算：

公式(1)中如果g≥b，计算出h值在区间[0°,180°]，如果g<b，则令h＝360-h，即可将h转换到[180°,360°]。

由于hsi彩色模型中，色调h(hue)、饱和度s(saturation)和强度i(intensity)三个基本特征量中，hs两个特征是与亮度无关的因素，因此用色调和饱和度两个特征指标作为颜色分割的依据，以色调和饱和度组合成的彩色图像分割方法如公式4所示，(i,j)为图像中对应的像素点，h(i，j)和s(i，j)是像素点(i,j)的色调和饱和度，img(i,j)为二值化处理结果。由于该方法与亮度因素无关，所以相比基于rgb模型的彩色分割更适合于常碰到的光源亮度多变的情形。

通过设定色调h、饱和度s的最高值hh和sh以及最低值hl和sl就能作基于hsi彩色模型的颜色分割，分割出指定颜色。

贴装电子元件的定位

表面贴装电子元件的定位是进行检测的前提，定位的效果将直接影响到检测的好坏，本实施例在元件检测中主要包括有电路板的标志点(mark点)定位，元件本身的定位(焊盘定位)以及贴装文字定位。

mark点定位如图2所示，整个电路板的xy两个方向的误差可以由两个mark点来补偿。该方式进行定位补偿采用搜索区域内提取mark点的面积形状特征，首先对标志mark点进行阈值分割，然后将图像二值化。具体如下：

一幅长宽分别为m×n的图像在坐标点(x,y)对应的像素点的灰度值f(x,y)按照颜色阈值[cmin,cmax]进行二值化处理，r(x,y)即是其处理的结果

计算mark点的面积

根据面积计算的结果与设定进行比较，就可以完成mark点的设置，定位原理如图2所示。

焊盘主体区的定位采用依次抽取焊盘区红绿蓝三色，焊盘定位颜色抽取示意图如图3所示，其中：a为自动抽出窗口，b为焊盘窗口，c为贴装窗口，d为主体窗口。计算公式如下式(7)所示

xk是一个三维特征向量，tr(x,y)是第r颜色框(1＝红，2＝绿色，3＝蓝色)颜色图像的百分比，m×n是在焊盘区域的像素的数量。

贴装文字区定位由于很容易受到外界的干扰，因此本实施例提出基于梯度积分投影的方法，具体如下：

1)sobel算子求梯度图像

sobel算子是一种基于一阶微分的边缘检测算子，它对图像内的每一个像素f(i,j)，考察它上下左右邻点的灰度值的加权差，与它接近的邻点权重大小，sobel算子定义如下：

sobel(i,j)＝|δxf|+|δyf|

＝|f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)+f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)|+|f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)+f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)|

其卷积算子为：

采用上面的卷积算子与图像进行卷积求和运算就能得到基于sobel算子的梯度图像。

2)对梯度图像进行投影定位

对图像进行梯度处理之后，文字区域的特征可以由函数f(x,y)表示，f(x,y)表示在点(x,y)的梯度值，w和h对应于文字区域的宽和高，通过函数f(x,y)投影到x轴和y轴上得到密度函数fx(x,y)和fy(x,y)，再进行定位。

焊盘区和主体区的检测

焊盘区与主体区的检测主要是通过提取此区域内红绿蓝三色下的形状、颜色等特征，而焊盘区可以细化为多个子区域，区域示意图如图4和表1所示。

表1检测窗口

所提取的特征有：

1)归一化面积

r(x,y)为一幅长宽分别为m×n的图像在坐标点(x,y)对应的像素点的灰度值f(x,y)按照颜色阈值[cmin,cmax]进行二值化处理的结果，与上述mark点特征提取方法一样。

2)归一化重心

设对象的颜色重心为(xm,ym)，归一化重心为(gr,x,gr,y)，则gr,x＝xm/m,gr,y＝ym/n。因此，gr,x和gr,y定义如下：

3)主成分特征值

主成分分析法是一种从特征值分析中提取数据集结构的有力工具。对应于二维的情况，两特征值的平方根在几何上与一个椭圆的长轴和短轴的长度有关。它们在统计学上的对应为正交主方向上的两个最大方差。

将主成分分析应用于一个灰度图像，f是(2w+1)×(2w+1)大小图像中的所有灰度值的总和，

图像的所有像素重心，由下式给出

图像的加权协方差矩阵的定义是

其中，

特征值λ的加权协方差矩阵m由下式得到

m-λ·i＝0(17)

协方差矩阵是2×2、对称半正定矩阵。因此，两个特征值的协方差矩阵m由下式给出，且λ2≤λ1

本实施例在图像中选定一个固定尺寸的小窗口，然后在窗口内以灰阶值当成密度计算x轴和y轴两个方向的协方差，便可形成一个协方差矩阵，利用主成分分析法计算协方差矩阵的两个特征值(eigenvalue)，这两个特征值代表在二维空间中的两个互为正交的最大方差量，能利用正常图像与异常图像在特征值上的差异来设计一致性之特征指标，具备计算效率高、鲁棒性好的特点。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。