一种基于卷积神经网络的通孔焊点识别方法与流程

本发明涉及计算机视觉技术领域，具体涉及一种基于卷积神经网络的通孔焊点识别方法。

背景技术：

随着科技的快速发展，计算机的计算能力越来越强，能够胜任越来越复杂的计算任务。 在过去几十年的发展中，计算机已经成功在多个领域内代替了人工，足以自动甚至智能地完 成任务。相比于人工完成任务，计算机自动化具有快速、准确的优点。然而，随着人工智能 领域的快速发展，不仅计算机能变得智能，而且工业生产也能变得智能化。

大规模电路板制造一般需要经过两个焊接过程，首先贴片焊接(SMT)，焊接细小的集 成电子元器件，接着通孔焊接(Though-Hole Technology)，这个焊接过程会焊接大型电子元器 件。现阶段SMT焊接已经实现基本自动化，提升焊接效率的瓶颈在通孔焊接，我们需要进 行通孔焊接相关自动化研究以提升工业生产效率。

由于表面贴装技术(SMT)流行，国内外的研究机构主要研究方向为贴片焊点的识别、 定位与其焊接质量评估。而本课题是研究的通孔焊点的识别与定位，这两者的区别在外型上 有着本质的区别，其外观侧视图如图1、图2所示。虽然识别的对象不一致，但在识别算法 研究上有着共通之处，现分析贴片焊点的视觉研究进展。

最开始，机器视觉检测的方法大部分集中在阈值分割的思想方面，即对印制电路板的焊 点区域通过一定的图像算法进行处理，将焊点区域分割出来。大多先运用形态学的处理方式， 例如膨胀与腐蚀，二值化等，以及一些其它的基本算法，对边界进行提取，粗化细化等处理， 再应用图像分割对点、线和边缘进行检测和阈值处理，从而提取出焊点区域。随着研究的深 入，处理方式逐渐智能化通用化，特别是随着机器学习算法的发展，支持向量机、BP神经 网络、卷积神经网络等各种新兴算法的出现，也都被应用于对印制电路板的焊点检测上并取 得了更好的检测效果。这些算法将焊点的检测转化为对一定特征的分类，检测可靠性更高。

技术实现要素：

本发明解决的技术问题是：克服了现有的基于传统特征和基于人工神经网络的通孔焊点 识别的不足，提供了一种基于卷积神经网络的通孔焊点识别方法。

本发明采用的技术方案为：一种基于卷积神经网络的通孔焊点识别方法，包括以下步骤：

步骤(1)基于区域像素相似度对输入图像进行分割操作：首先输入一个最小区域大小 值(比如3*3像素大小)，对每一个已经分配类别的区域与该区域周边的与最小区域大小值 一样大的邻域的像素进行颜色空间相似度比较，当最大相似度大于预设阈值时，将这块邻域 加入到该区域，如果最大相似度仍小于预设阈值，那么认定这块邻域为新的区域，将这块邻 域分配为新的类别；重复进行上面的过程，直到所有区域都被分配类别；然后不断从已经分 类的区域中取出两个类别进行相似度计算，如果两个区域距离小于一定值并且相似度大于阈 值，那么就将两个区域合并，重复以上过程，直到没有两个区域满足上述条件；最后将相同 类别的区域分割出来，形成数目众多的区域图像；

步骤(2)将分割出来的区域图像进行直方图均衡化操作：将RGB三通道的彩色图像转 换到HSV空间，然后利用HSV空间的亮度轴做直方图均衡化，将亮度集中的像素重新分布 到整个亮度空间，这样使得图像亮度更加均衡，对比度更高，得到HSV图像，最后将处理 后的HSV图像重新转换成RGB三通道的彩色图像；

步骤(3)将均衡化的区域图像缩放至固定大小输入到多层卷积和池化操作，提取卷积 特征，然后将卷积特征输入到2层全连接层，进行卷积特征筛选处理，通过降维处理后输出 较少维数的卷积特征；如均衡化的区域图像缩放至固定大小输入到4层卷积和池化操作，提 取出3136维卷积特征，然后输入2层全连接层，进行卷积特征筛选处理，通过降维处理后 输出512维数的卷积特征；

步骤(4)、将步骤(3)输出的卷积特征，经过分类器进行分类，按照已焊接的焊点、 焊盘、未焊接的焊点、背景四个类别进行分类，并将对应的区域图像标注为该类别；

步骤(5)、根据步骤(4)输出的焊点区域图像以及其对应的卷积特征，基于统计学方 法回归定位焊点引脚的位置。

优选地，所述步骤(2)中所述将处理后的HSV图像重新转换成RGB三通道的彩色图 像包括：将HSV图像缩放至固定的(112，112)大小的RGB三通道的彩色图像，然后将图 像序列化为112*112*3大小的1维序列，并将[0，255]的像素值除以所有训练数据的平均值 然后重新映射到到[-1，1]之间，得到均衡化的区域图像。

优选地，所述步骤(3)中的降维处理，其计算公式如下：Ym＝Wm×n×Xn×1+bm×1，X是 输入的n*1维的卷积特征，W为m*n维的权重矩阵，Wm×n×Xn×1得到m*1维的临时变量T (上述公式未标出)，然后加上m*1维的特征偏移b，最终输出m*1维特征Y，这样就完成 了从n维卷积特征到m维卷积特征的降维处理。

本发明的原理在于：

本发明提供一种基于卷积神经网络的通孔焊点识别方法，该方法以任意PCB电路板图 像为输入，可以准确地识别焊点。本方法包含五个步骤：(1)基于区域像素相似度对输入图 像进行分割操作；(2)将分割出来的区域图像进行直方图均衡化操作；(3)将均衡化的区域 图像缩放至固定大小输入到多层卷积和池化操作，提取卷积特征，然后将卷积特征输入到2 层全连接层，进行卷积特征筛选处理，通过降维处理后输出较少维数的卷积特征；(4)将步 骤(3)输出的卷积特征，经过分类器进行分类，按照已焊接的焊点、焊盘、焊点、背景四 类进行分类，并将对应的区域图像标注为该类别；(5)根据步骤(4)输出的焊点区域图像 以及其对应的卷积特征，基于统计学方法回归定位焊点引脚的位置。本发明可实现对PCB 电路板图像中通孔焊点的识别，具有速度快、准确率高的特点，有助于帮助自动焊锡机等 PCB焊接设备的自动取点。

本发明与现有技术相比的优点在于：

1、针对PCB图像中由于焊点种类繁多导致焊点识别效果精度低的问题，本发明采用了 基于卷积神经网络的焊点识别算法，该算法可对表中多种类的通孔焊点进行识别。

2、由于PCB面板表面大部分由绝缘漆覆盖，露出部分为焊盘，这些焊盘在有补光的情 形下，具有很高的镜面光。故本发明提出了一种新的基于相似度的分割算法，该算法针对性 针对性的分割出高光地方，这样可以迅速地分割出焊盘区域。

附图说明

图1通孔焊点的焊接前后图示，a)插接件引脚，b)焊盘，c)电路板，d)插接件；

图2贴片焊点焊接前后侧视图，a)贴片元器件，b)电路板，c)贴片元器件引脚，d)焊接 完成后锡膏；

图3为本发明基于卷积神经网络的通孔焊点识别方法的流程图；

图4为采用本发明的一个实施例的分割效果图；

图5为采用本发明的一个实施例的白平衡效果图；

图6为神经网络模型图；

图7为采用本发明的一个实施例获得的神经网络识别效果图。

具体实施方式

下面结合其他附图及具体实施方式进一步说明本发明。

本发明提供的基于卷积神经网络的通孔焊点识别方法，如图3所示主要步骤包括步骤(1) -(5)：

步骤(1)基于区域像素相似度对输入图像进行分割操作：首先输入一个最小区域大小 值，对每一个已经分配类别的区域与该区域周边的与最小区域大小值一样大的邻域的像素进 行颜色空间相似度比较，当最大相似度大于预设阈值时，将这块邻域加入到该区域，如果最 大相似度仍小于预设阈值，那么认定这块邻域为新的区域，将这块邻域分配为新的类别；重 复进行上面的过程，直到所有区域都被分配类别；然后不断从已经分类的区域中取出两个类 别进行相似度计算，如果两个区域距离小于一定值并且相似度大于阈值，那么就将两个区域 合并，重复以上过程，直到没有两个区域满足上述条件；最后将相同类别的区域分割出来， 形成数目众多的区域图像。

电路板中通孔焊点比较小，而电路板背景一般占视野范围比较多，通孔焊点在颜色上有 着明显的白色镜面光，这种图片如果直接进行识别，会浪费计算资源，我们可以先根据颜色 相似度对输入图像进行基于区域像素相似度的分割操作，将与白色镜面光相似度度比较大的 疑是焊点区域分割出来。分割操作分为两个步骤——基于相似度的类别分配和根据相似度与 距离的区域合并，分割效果如图4，左侧是原始图像，右侧是分割完成后的标注图像，白色 为背景类别1，灰色为背景类别2，黑色为前景色1，由于原始图像其相似度与镜面白光比较 类似，所以这些区域都被白色框圈起来，等待进行下一步处理。其具体描述如下：

a)首先输入一个最小区域的大小值n，n∈2*i+1，i＝1，2，3，…n代表最小区域 像素大小，一个最小距离s以及一个阈值k，k∈[20，210]，对于p*q大小的图片，对于每一个最小区域都会与区域周边8个领域里3*3区域的像素进行颜 色空间相似度比较，对于n*n大小的A、B区域图像其颜色相似度公式如下：当最大相似度大于一定阈值时，将这块3*3像素区域加入到最 相似的已经分配类别的一块区域，如果最大相似度仍小于一定阈值，那么这一块区域就可以 认为是新的区域，将被分配新的类别。从图像的左上角从左至右、从上至下重复进行上面的 过程，直到所有区域都被分配类别。

b)对于已经分配类别的每个区域不断从中取出一个区域类别，与剩余其他类别进行相 似度比较，当相似度大于相似度阈值k并且两区域的距离小于最小距离s时，将两个区域进 行合并。重复进行以上过程，直到距离小于s的范围内任意两个区域的相似度都小于相似度 阈值k。

步骤(2)将分割出来的区域图像进行直方图均衡化操作：将RGB三通道的彩色图像转 换到HSV空间，然后利用HSV空间的亮度轴做直方图均衡化，将亮度集中的像素重新分布 到整个亮度空间，得到HSV图像，最后将处理后的HSV图像重新转换成RGB三通道的彩 色图像。

将分割出来的区域图片进行直方图均衡化，用以规避亮度对识别的影响。其效果如图5 所示，左图是分割完成后的区域图像，高光较强，经过白平衡后，如右图所示，其颜色分布 更加均匀。其具体执行步骤如下：

a)将RGB三通道的彩色图像转换到HSV空间，其计算式如下：首先将R，G，B转换到 [0，1]空间分别得到R’，G’，B’：得到其3个通道的最大值 Cmax和最小值Cmin，以及两者的差： Cmin＝min(R’，G’，B’)；Cmax＝max(R’，G’，B’)；Δ＝Cmax-Cmin。

色调值(Hue)计算式为：

饱和度(Saturation)计算式为：

明度(value)即亮度计算式为：V＝Cmax

b)然后利用HSV空间的亮度轴做直方图均衡化，将亮度集中的像素重新分布到整个亮 度空间，这样使得图片亮度更加均衡，对比度更高，在离散形式下，用Rk代表离散亮度级， 用Pr(Rk)代表Pr(R)，并且下式成立：

其中，0≤R^k≤1，k＝0，1，2，…，n-1。式中nk为图像中出现R^k这种灰度的像素 数，n是图像中的像素总数，而就是概率论中的频数。图像进行直方图均衡化的函数表达 式为：

式中，k为灰度级数。那么对于原亮度值为i的像素其均衡化后的亮度值I为：

I＝255×Si i＝0，1，2，….255

c)最后再将处理后的HSV图像利用第一步中的公式反向转换成RGB通道的图像。

步骤(3)将均衡化的区域图像缩放至固定大小输入到多层卷积和池化操作，提取卷积 特征，然后将这些卷积特征输入到2层全连接层，进行卷积特征筛选处理，通过降维处理后 输出较少维数的卷积特征。降维处理的计算公式如下：Ym＝Wm×n×Xn×1+bm×1，X是输 入的n*1维的卷积特征，W为m*n维的权重矩阵，Wm×n×Xn×1得到m*1维的临时变量T，， 然后加上m*1维的特征偏移b，最终输出m*1维特征Y，形成从n维卷积特征到m维卷积 特征的降维处理。

为了使图像训练和预测更加易于神经网络loss收敛，将均衡化图像序列化并归一化。对 于训练集所有图片求出一个均值图像M，对于每个大小为m*n大小的输入图像A都进行以 下处理，首先将图片缩放至112*11大小，然后利用以下公式计算出新的112*112大小的图 像A，：

最后将A，以从左到右、从上到下序列化为1维的112*112*3大小的序列。

步骤(4)对于已经分割为一定区域的图像，只需要构造一个网络进行特征提取和分类， 将步骤(3)输出的卷积特征，经过分类器进行分类，按照已焊接的焊点、焊盘、未焊接的 焊点、背景四个类别进行分类，并将对应的区域图像标注为该类别。该步骤中可以直接用一 个网络来完成，卷积特征提取及识别网络。网络主要为训练时和预测时。其主要网络结构如 图6所示，神经网络训练步骤采用随机梯度下降法模型进行训练，设置初始学习率α为0.0001， 总迭代次数为6000次。卷积特征提取部分共有8层，其中包括4层卷积层和4层池化层， 卷积层的卷积核尺寸大小均为3x3，卷积步幅均为1，零填充数目为2，池化层的池化核尺寸 大小均为2x2，池化层步幅均为2。分类部分的输出值代表候选区域是属于哪一类，共分为4 类：未焊接的焊点、已焊接的焊点、焊盘、背景，其对应输出为0，1，2，3。神经网络预测 时训练，将训练好的每层参数导入到网络中，给对应层的对应值赋予相应值，将输入的均衡 化图片序列化数值，输入网络，网络进行运算，并输出预测类别。其预测效果如图7所示， 对于识别区域标注，每个识别区域都会被标为一个类别和一个识别的准确度，比如左下角区 域识别为2类别，准确度为0.75。

步骤(5)、根据步骤(4)输出的焊点区域图像以及其对应的卷积特征，基于统计学方 法回归定位焊点引脚的位置。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解 本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来 讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而 易见的，一切利用本发明构思的发明创造均在保护之列。