基于机器视觉的焊点缺陷检测方法与流程

本发明涉及产品表面缺陷检测技术领域，具体涉及一种基于机器视觉的pcb板焊点缺陷检测方法。

背景技术

随着现代工业的发展，基于pcb板的电子产品向着更轻、更薄的方向发展，这就要求pcb板要有更高的集成度。pcb板的使用极大提高了电子产品的可靠性及其生产效率，节约了更多的成本。印刷电路技术和电子器件的发展相互支撑，高密度互联技术是体现pcb板制造的最先进技术，使得pcb向微小孔径化、精细导线化方向发展。当前，pcb板组件的埋嵌技术是pcb板功能集成电路的重大改革，对相应的芯片和元器件结构有了相应要求。生产pcb板的过程中，电子元器件的焊接是重要的一部分，焊点的质量好坏也直接影响pcb板的质量。在pcb板的焊点焊接过程中，由于操作误差等原因可能会导致焊点出现缺陷，例如漏焊、虚焊、连焊等。如果将此类存在缺陷的pcb板应用到电子产品当中，会导致产品出现严重问题，进而造成严重的损失，也有可能使整个产品因此报废。

对pcb板的焊点的缺陷检测对保证pcb板的高质量和高可靠性具有重要意义，pcb板焊点质量检测的主要方法有目测法、自动光学检测、自动射线检测、电气检测等方法。目测法由人工完成，在人工长时间目测的情况下，容易引发眼睛疲劳，导致目测不够准确，检测效率低，同时，周围环境也会影响监测人员注意力，从而影响检测精度和效率；自动射线检测的检测范围有限，对于0.1um以下的缺陷无法进行检测；电气检测是离线检测，无法及时反馈信息，存在检测效率过低、实时性差的问题。

基于机器视觉的焊点检测，国内外均有很多的应用及研究，主要集中在二维处理方面。在国外，1985年，paul等人通过建立焊点的相应模板，用特征匹配的方法对焊点进行检测分类；2006年，acciani等人利用神经网络和模糊规则分类器对焊点表面信息进行分类；2012年，mar等人提出了使用log-gabor滤波器，离散小波变换和离散余弦变换对印刷电路板上的焊点图像进行特征提取。在国内，吴福培提出了概率排序的算法针对chip类元件焊点检测，通过分析彩色焊点图像来检测焊点质量；梁桥康等人提出了结合焊点形态结构，并利用极坐标hough变换算法，结合了滤波等多种算法，可以精确定位焊点的位置。这些方法都没有获取焊点的三维信息，对于一些存在微小缺陷的焊点无法准确检测出，不能满足现代化生产需要。

技术实现要素：

本发明的目的在于提供一种能够获得高质量融合图像，检测时间短，检测精度更高，满足高质量检测要求的基于机器视觉的焊点缺陷检测方法，以解决上述背景技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案：

本发明提供的一种基于机器视觉的焊点缺陷检测方法，该方法包括如下流程步骤：

步骤s110：对合格标准件进行三维模型重建，提取合格焊点的三维信息；

步骤s120：获取测试件的若干幅焊点图像并进行多曝光图像融合；

步骤s130：对融合的图像进行预处理，消除噪声和干扰，获得焊点特征图像；

步骤s140：利用极限学习机对所述焊点特征图像进行学习分类，得到不合格焊点；

步骤s150：对所述不合格焊点进行三维模型重建，提取所述不合格焊点的三维信息；

步骤s160：将所述不合格焊点的三维信息与所述合格焊点的三维信息进行比对，实现缺陷焊点的缺陷分析和分类。

进一步的，对合格标准件进行三维模型重建，提取合格焊点的三维信息包括：

步骤s111：通过调整相机位置获取多幅图像序列并融合为一个多通道图像；

步骤s112：对所述多通道图像的灰度值进行高通滤波，提取频域强度值；

步骤s113：对高通滤波后的多通道图像数据进行三维拟合，获得每个像素点的深度值，构建焊点深度图；

步骤s114：使用三角片法对焊点深度图进行邻域像素点灰度值匹配，重建三维表面的纹理信息，累加得到三维表面重建模型，记录标准件的平面以及高度信息值。

进一步的，所述获取测试件的若干幅焊点图像并进行多曝光图像融合包括：

以对比度、饱和度及亮度为因子确定作为融合源图像的若干幅焊点图像的贡献权重值，并对所述贡献权重值进行递归滤波，再与所述源图像进行加权平均，获得融合图像。

进一步的，所述利用极限学习机对所述焊点特征图像进行学习分类，得到不合格焊点包括：

对融合后的焊点特征图像进行主成分分析，得到降维数据，利用极限学习机对降维数据完成学习训练。

进一步的，所述对所述不合格焊点进行三维模型重建，提取所述不合格焊点的三维信息包括：

步骤s151：获取多幅不合格焊点的图像序列并融合为一个多通道图像；

步骤s152：对所述多通道图像的灰度值进行高通滤波，提取频域强度值；

步骤s153：对高通滤波后的多通道图像数据进行三维拟合，获得每个像素点的深度值，构建焊点深度图；

步骤s154：使用三角片法对焊点深度图进行邻域像素点灰度值匹配，重建三维表面的纹理信息，累加得到三维模型。

本发明有益效果：采集多幅图像进行多曝光图像融合，获得高质量的融合图像，融合结果相对于其它融合算法，获得的原图像信息更多，融合时间更短；利用主成分分析和极限学习机结合的方法对焊点缺陷进行了分类，相比其它的机器学习方法，检测准确率更高，auc值更大，检测时间更短；应用聚焦测距的方法实现对缺陷焊点的缺陷分析，检测结果精度更高，满足检测要求。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的基于及其视觉的焊点缺陷检测方法流程图。

图2为本发明实施例所述的对标准件进行三维模型重建的方法流程图。

图3为本发明实施例所述的对不合格焊点进行检测分类的方法流程图。

图4为本发明实施例所述的进行焊点缺陷检测的检测平台结构简图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的模块。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或模块，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块和/或它们的组。

需要说明的是，在本发明所述的实施例中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，可以是固定连接，也可以是可拆卸连接，或成一体，可以是机械连接，也可以是电连接，可以是直接连接，也可以是通过中间媒介间接连接，可以是两个元件内部的连通，或两个元件的相互作用关系，除非具有明确的限定。对于本领域技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。

本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附图中的部件或装置并不一定是实施本发明所必须的。

实施例一

如图1所示，本发明实施例一提供了一种基于机器视觉的焊点缺陷检测方法，其特征在于，包括如下流程步骤：

步骤s110：对合格标准件进行三维模型重建，提取合格焊点的三维信息；

步骤s120：获取测试件的若干幅焊点图像并进行多曝光图像融合；

步骤s130：对融合的图像进行预处理，消除噪声和干扰，获得焊点特征图像；

步骤s140：利用极限学习机对所述焊点特征图像进行学习分类，得到不合格焊点；

步骤s150：对所述不合格焊点进行三维模型重建，提取所述不合格焊点的三维信息；

步骤s160：将所述不合格焊点的三维信息与所述合格焊点的三维信息进行比对，实现缺陷焊点的缺陷分析和分类。

如图2所示，对合格标准件进行三维模型重建，采用聚焦测距的方法对焊点进行测量，需进行两个方面，第一方面，对合格质量的标准件的焊点进行三维重建，获得标准的三维形态信息。第二方面是进行测试，对测试件焊点进行三维重建获得表面三位形态信息，并与标准件作对比，获得误差结果。提取合格焊点的三维信息包括：

第一步，对合格质量的标准件的焊点进行图像采集：通过调整相机位置获取包含清晰点和模糊点的散焦图像序列，获取24幅图像，融合为一个多通道图像，可满足测量精度的要求。

第二步，对图像序列的每个位置的像素点的灰度值进行高通滤波，提取频域强度值。采用改进拉普拉斯算法得到每个像素点的聚焦点到相机的距离d和聚焦测度值f(i,j)，以此可以进行估计物体表面深度。

第三步，聚焦测度序列具有高斯分布特性，对其进行内插重建，实现数据三维拟合，获得每个像素点的深度值f，进而可以重建出焊点深度图。

第四步，使用三角片法进行邻域像素点灰度值匹配，重建三维表面的纹理信息，累加得到三维表面重建模型。记录平面以及高度信息值。

在本发明实施例一中，所述获取测试件的若干幅焊点图像并进行多曝光图像融合包括：

以对比度、饱和度及亮度为因子确定作为融合源图像的若干幅焊点图像的贡献权重值，并对所述贡献权重值进行递归滤波，再与所述源图像进行加权平均，获得融合图像。

所述利用极限学习机对所述焊点特征图像进行学习分类，得到不合格焊点包括：

对融合后的焊点特征图像进行主成分分析，得到降维数据，利用极限学习机对降维数据完成学习训练。

具体的，在得到融合的焊点图像后，需要对焊点质量进行检测评估，利用极限学习机随机给定网络的输入权重和阈值，通过正则化规则计算输出权值，此算法可逼近任意的连续系统。

对数据进行降维，即用少数分量不相关的新变量来代替分量相关的原变量，同时保证原有数据信息丢失最少，而这个被选取的新变量就是原有数据的“主成分”。

在本发明实施例一中，所述对所述不合格焊点进行三维模型重建，提取所述不合格焊点的三维信息与构建标准件的三维模型步骤基本相似，包括：

获取多幅不合格焊点的图像序列并融合为一个多通道图像；对所述多通道图像的灰度值进行高通滤波，提取频域强度值；对高通滤波后的多通道图像数据进行三维拟合，获得每个像素点的深度值，构建焊点深度图；使用三角片法对焊点深度图进行邻域像素点灰度值匹配，重建三维表面的纹理信息，累加得到三维模型。

实施例二

如图3所示，本发明实施例二提供的一种基于机器视觉的焊点缺陷检测方法，该方法包括图像采集、图像融合、预处理及机器学习分类、三维重建等几个步骤，具体的，

首先，获取焊点图像。图像采集是机器视觉检测系统的重要一环，因此需要获得全面、真实、包含足够多信息的焊点图像，在本次研究中对实际pcb板通过相机获取图像所获图片真实可靠，而且实验图像及缺陷种类数量足够。

然后，在采集图像过程中进行多曝光图像融合。由于焊点表面形状、焊锡与助焊剂的用量等的差异导致焊点的光洁度和反光度差别很大，单幅图像往往出现曝光不均匀的问题，导致部分焊点区域成像质量不佳，因此采用图像融合的方法，对每一幅图像的有用信息进行提取，综合到一幅图像中，融合后的结果图像包含实验所要求的全部信息，这样可以确保检测结果的准确性。

对融合后的图像进行预处理及机器学习分类。图像的预处理可以消除噪声和干扰，并且通过图像的预处理，可以获得焊点特征。

再应用机器学习的方法将预处理所获得的特征图像进行学习、分类。从而得到合格焊点和不合格焊点这两类焊点的大致分类。最后，对机器学习检测结果中的不合格焊点进行三维重建。为了确保焊点检测的准确率，通过三维重建的方法对焊点进行三维信息提取，获得合格焊点的三维信息，再提取测试焊点高度信息与合格焊点相对比，可以实现焊点质量检测。

实施例三

如图4所示，本发明实施例三根据实施例一和实施例二提供的检测方法设计一种检测平台，首先对已构建的机器视觉检测系统进行改进，在支架上安装升降装置，为了获取不同聚焦深度的图像序列，一般可以通过改变相机的位置、目标位置及相机拍摄参数实现，通过升降平台改变相机位置，获取到包含焊点的图像序列。

采用聚焦测距的方法对焊点进行测量，需进行两个方面，第一方面，对合格质量的标准件的焊点进行3d重建，获得标准的三维形态信息。第二方面是进行测试，对测试件焊点进行3d重建获得表面三位形态信息，并与标准件作对比，获得误差结果。

第一步，对合格质量的标准件的焊点进行图像采集：通过调整相机位置获取包含清晰点和模糊点的散焦图像序列，获取24幅图像，融合为一个多通道图像，可满足测量精度的要求。

第二步，对图像序列的每个位置的像素点的灰度值进行高通滤波，提取频域强度值。采用改进拉普拉斯算法得到每个像素点的聚焦点到相机的距离d和聚焦测度值f(i,j)，以此可以进行估计物体表面深度。

第三步，聚焦测度序列具有高斯分布特性，对其进行内插重建，实现数据三维拟合，获得每个像素点的深度值f，进而可以重建出焊点深度图。

第四步，使用三角片法进行邻域像素点灰度值匹配，重建三维表面的纹理信息，累加得到三维表面重建模型。记录平面以及高度信息值。

综上所述，本发明实施例通过采用多曝光图像融合的方式，获得高质量的融合图像，以对比度、饱和度和亮度为基础预估权重，并对权重进行递归滤波，再与原图像进行加权平均，获得融合图像，融合结果相对于其它融合算法，获得的原图像信息更多，融合时间更短；利用主成分分析和极限学习机结合的方法对焊点缺陷进行了分类，通过对融合后的焊点结果图像进行主成分分析，得到降维数据，利用极限学习机对降维后数据完成学习训练，并应用到焊点检测中进行缺陷焊点的检测，相比其它的机器学习方法，本文方法的检测准确率更高，auc值更大，检测时间更短；采用了聚焦测距的三维重建方法，提取焊点三维信息，结果的精度可以达到0.05mm，满足检测要求，通过提取缺陷焊点的三维信息并与合格焊点信息进行对比，从而实现对于缺陷焊点的分析和具体缺陷的分类。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。