一种基于神经网络学习的焊膏印刷标记识别方法及系统与流程

1.本发明涉及计算机技术、控制技术与人工智能技术结合的机器视觉、机器学习及图像分析技术领域，具体而言，涉及一种基于神经网络学习的焊膏印刷标记识别方法及系统。


背景技术：

2.随着集成电路产业的不断发展，电子元器件的轻型化、多管脚、细间距、高集成逐渐成为未来发展的主要方向。集成电路产品制造和组装的关键技术之一是表面组装技术(surface mount technolog，smt)，其生产线主要是由焊膏印刷、贴装元件、再流焊、清洗、检测等环节组成。焊膏印刷是smt生产的第一环节，即在印刷电路板(printed circuit boards，pcb)上涂敷焊膏。高质量的焊膏印刷是保证smt质量的关键，早期的焊膏印刷机一般采用机械定位方法，精度、效率较低。
3.目前，新型的全自动焊膏印刷机开始采用机器视觉技术，可以达到很高的印刷精度，提高了生产效率和可靠性。基于机器视觉的自动焊膏印刷技术包括图像采集、相机校准、图像识别等步骤，其中，图像识别作为关键步骤之一，其识别的精度直接影响印刷精度。与其它几个步骤相比，图像识别需要考虑的因素较多，对环境噪声更加敏感，图像模板种类繁多，缺乏一致性的模型，技术难度比其它步骤要高得多，因此，一直是行业内亟待优化解决的难题。
4.在传统的基于机器视觉的识别方法中，根据识别特征的物理含义，通常分为基于像素网格的识别方法和基于几何外形的识别方法。基于像素网络的识别方法，是指识别特征是图像像素灰度值或者局部图像像素灰度值的集合(即像素网格)，主要通过对像素网格灰度分布进行建模获取识别的特征。典型的像素网格方法是灰度直方图，灰度直方图能够较好反应图像内像素灰度的分布规律，能够较好克服光照、模糊、污损等干扰，但不具备对像素之间相对位置关系的建模能力，因此当图像发生旋转等形变时无法正确检测出相应变化。基于几何外形的识别方法，是指通过检测图像的几何特征，如圆形、方形等特殊形状，以及这些形状的几何空间关系，来实现识别。几何外形特征对灰度噪声具备较强的鲁棒性和抗干扰性，但通常难以应用于比较复杂的形状，对特征形状具备较高的依赖性，并且对如仿射变换等形状变化抗干扰能力较差。


技术实现要素：

5.本说明书提供一种基于神经网络学习的焊膏印刷标记识别方法及系统，用以克服现有技术中存在的至少一个技术问题。
6.第一方面，根据本说明书实施例，提供了一种基于神经网络学习的焊膏印刷标记识别方法，所述焊膏印刷标记识别方法包括：
7.获取规格化的图像正标记样本集和图像负标记样本集；
8.利用规格化的图像正标记样本集、图像负标记样本集训练预设的标记识别神经网
络模型；
9.使用训练好的标记识别神经网络模型对含有标记的印刷电路板图像进行识别标记，并输出标记的图像坐标；
10.其中，所述使用训练好的标记识别神经网络模型对含有标记的印刷电路板图像进行识别标记，并输出标记的图像坐标包括：
11.获取含有标记的印刷电路板图像，并将其记为b0；
12.在印刷电路板图像b0中随机截取若干子图，并按照尺寸大小分别归类为z1、z2、
…
、zb，构成b组子图；
13.对每组子图中的每个子图进行规格化处理，并将规格化的每个子图分别输入训练好的所述标记识别神经网络模型中，依次得出输出结果；
14.若所述标记识别神经网络模型的输出结果大于0.6，则相对应分组的计数器cb加1；
15.获取b组子图中最大计数器值和次大计数器值，并计算两者的差值；
16.若所述差值小于最大计数器值的1/3，则对b组子图中的每组子图再分别随机截取m张与各自组尺寸一致的子图；对每组中新增加的子图进行规格化处理，输入所述标记识别神经网络模型中得出输出结果，并更新分组计数器，重新计算b组子图中更新后的最大计数器值与次大计数器值的差值，以此循环，直至所述差值不小于最大计数器值的1/3；
17.从所述印刷电路板图像b0的原点开始，依次截取尺寸与最大计数器值组尺寸相同的子图，并分别代入所述标记识别神经网络模型中计算得出输出值；
18.获取输出值最大的子图，并输出其中心点位置为标记的图像坐标。
19.可选地，所述获取规格化的图像正标记样本集和图像负标记样本集包括：
20.拍摄若干待印刷焊膏的印刷电路板图像；
21.将所述印刷电路板图像中含有标记部分与印刷区的图像区域单独分离出来，再进行规格化处理，得到若干图像正标记样本，构成规格化的图像正标记样本集；
22.去除所述印刷电路板图像中的标记部分，随机采集若干负标记样本，并进行规格化处理，得到若干规格化的图像负标记样本，构成规格化的图像负标记样本集。
23.进一步可选地，所述图像正标记样本尺寸与所述图像负标记样本尺寸相同。
24.可选地，所述利用规格化的图像正标记样本集、图像负标记样本集训练预设的标记识别神经网络模型包括：
25.构建标记识别神经网络模型；其中，所述标记识别神经网络模型包括一层输入层、多层隐藏层和一层输出层；
26.将图像正标记样本作为所述标记识别神经网络模型的输入层，输出层为1；将图像负标记样本作为所述标记识别神经网络模型的输入层，输出层为0；
27.采用反向传播算法对所述标记识别神经网络模型进行训练，获得训练好的标记识别神经网络模型。
28.进一步可选地，所述隐藏层为三层；所述输入层为图像正标记样本或图像负标记样本，定义为所述输出层为0或1，定义为y0；所述隐藏层一为由定义的所有节点组成的神经网络层，所述隐藏层二为由定义的所有节点组成的神经网络层，所述隐
藏层三为由定义的所有节点组成的神经网络层；其中，
[0029][0030]
式(1)中，为以(u，v)为中心的卷积窗口；p、q表示卷积窗口中相对位置的正整数坐标；表示输入层中坐标(u+p，v+q)处的节点；b0为线性偏置量；σ(
·
)称为激励函数；
[0031][0032]
式(2)中，max表示在以(4u，4v)为中心的窗口范围内取所有像素的最大值；p、q表示窗口中相对位置的正整数坐标；表示隐藏层一中坐标为(4u+p，4v+q)处的节点；b1为线性偏置量；σ(
·
)称为激励函数；
[0033][0034]
式(3)中，为以(u，v)为中心的卷积窗口；p、q表示卷积窗口中相对位置的正整数坐标；表示隐藏层二中坐标(u+p，v+q)处的节点；b2为线性偏置量；σ(
·
)称为激励函数；
[0035][0036]
式(4)中，p、q为隐藏层三中节点坐标；表示隐藏层三的节点；b3为线性偏置量；σ(
·
)称为激励函数。
[0037]
进一步可选地，所述激励函数σ(
·
)定义为：
[0038][0039]
式(5)中，参数α用于使函数在x＝0点处产生一个不连续断点；β为常数。
[0040]
进一步可选地，所述β的取值为-0.01。
[0041]
可选地，所述m的取值为16。
[0042]
第二方面，根据本说明书实施例，提供了一种基于神经网络学习的焊膏印刷标记识别系统，所述焊膏印刷标记识别系统用于实现上述第一方面所述的基于神经网络学习的焊膏印刷标记识别方法；所述焊膏印刷标记识别系统包括：
[0043]
图像采集模块，用于获取图像正标记样本和图像负标记样本；
[0044]
样本处理模块，用于对所采集的所述图像正标记样本、图像负标记样本进行规格化处理；
[0045]
神经网络模型模块，用于构建标记识别神经网络模型，并利用规格化处理后的图像正标记样本、图像负标记样本对所述标记识别神经网络模型进行训练；
[0046]
识别模块，用于利用训练好的标记识别神经网络模型对含有标记的印刷电路板图
像进行识别标记，并输出识别结果。
[0047]
本说明书实施例的有益效果如下：
[0048]
本焊膏印刷标记识别方法解决了基于视觉的自动焊膏印刷生产线印刷标记的识别问题，并通过对标记的识别实现印刷区域的定位，能够保证识别的高精度及高鲁棒性，克服典型环境噪声干扰，并适应旋转、形变、尺度变换等图像形变干扰，此外，该方法不依赖于几何形状特征的先验假设，在标记模板选择上更具灵活性，并且能够提高焊膏印刷效率和精度，提升了smt生产线的工作质量和效率。
[0049]
本说明书实施例的创新点包括：
[0050]
1、本实施例中，所有图像进行规格化处理，将含有标记部分与印刷区的图像区域单独分离出来，再经过图像缩放等操作，制作成尺寸相同的多个规格化样本，通过变尺寸将所采集的无论多大尺寸的图像都转化为尺寸相同的样本，从而使该方法能够适应不同尺寸的标记和待识别图像，适应范围更广，是本说明书实施例的创新点之一。
[0051]
2、本实施例中，搭建分层神经网络模型，并利用规格化的图像标记样本和负标记样本训练该模型，只要将待印刷焊膏的印刷电路板图像输入训练好的模型，便能够迅速输出标记的图像坐标，实现了快速确定合适的标记尺寸和位置的目的，是本说明书实施例的创新点之一。
[0052]
3、本实施例中，通过设计神经网络相邻层次之间神经元的连接方式和连接权重，搭建具有多尺度定位能力的分层神经网络模型，识别像素之间相对位置关系，能够充分利用印刷电路板图像的先验信息，解决了现有技术中需要预先假设标记点形状、轮廓等信息的问题，可适用于任意轮廓的标记，利用该模型可实现对不同尺度下标记的识别，是本说明书实施例的创新点之一。
[0053]
4、本实施例中，通过对待印刷焊膏的印刷电路板图像进行随机截取若干尺寸相同的子图组，并将每组中的每个子图作为模型的输入，累计每组的输出值，通过每组的输出值确定最大计数器值的子图组，以确定该印刷电路板图像的子图截取尺寸大小，并采用该截取尺寸大小对图像进行截取，将截取后的图像作为模型的输入，输出值最大的子图中心位置即为标记的图像坐标，本方法采用最合适的截取尺寸大小进行图像子图的截取，能够进行高精度识别，克服了光照、模糊、污损、几何形变等干扰因素对图像识别的影响，实现对焊膏印刷机印刷标记的鲁棒识别，是本说明书实施例的创新点之一。
附图说明
[0054]
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为本说明书实施例提供的基于神经网络学习的焊膏印刷标记识别方法中采集图像样本过程的设备及印刷电路板的布局示意图；
[0056]
图2为本说明书实施例提供的基于神经网络学习的焊膏印刷标记识别方法中所涉及含有焊膏印刷区及标记的印刷电路板示意图；
[0057]
图3为本说明书实施例提供的基于神经网络学习的焊膏印刷标记识别方法中所涉
及的标记识别神经网络模型示意图；
[0058]
图4为本说明书实施例提供的基于神经网络学习的焊膏印刷标记识别系统的结构框图；
[0059]
附图标记说明：1为摄像机、2为样本图像、3为印刷电路板、4为焊膏印刷区、5为焊膏印刷区周围的各种类型标记、6为图像采集模块、7为样本处理模块、8为神经网络模型模块、9为识别模块。
具体实施方式
[0060]
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]
需要说明的是，本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0062]
本说明书实施例公开了一种基于神经网络学习的焊膏印刷标记识别方法，其主要包括以下步骤：
[0063]
步骤1、印刷电路板标记样本的神经网络学习；
[0064]
步骤2、多尺度的印刷电路板焊膏印刷标记提取与图像定位。
[0065]
以下分别进行详细说明。
[0066]
步骤1、印刷电路板标记样本的神经网络学习。
[0067]
该步骤包括图像标记样本规格化和标记样本的神经网络学习两部分，即获取规格化的图像正标记样本集和图像负标记样本集，并利用规格化的图像正标记样本集、图像负标记样本集训练预设的标记识别神经网络模型。
[0068]
s1.1图像正标记样本的规格化，是指用摄像机拍摄若干待印刷焊膏的印刷电路板的图像，并将含有标记部分和印刷区的图像区域单独分离出来，再经过图像缩放等操作，制作成尺寸相等的若干规格化样本。
[0069]
在本说明书实施例中，如图1和图2所示，在拍摄印刷电路板3的样本图像2时，可将摄像机1的主光轴与印刷电路板3保持垂直，并且尽可能将标记部分放置于成像中心区域，即将焊膏印刷区4及焊膏印刷区周围的各种类型标记5置于样本图像2的中心区域，减少镜头畸变带来的不利影响。
[0070]
作为一种优选配置，从整张印刷电路板图像中分离标记部分图像时，分离出的标记部分局部图像应当包括完整的标记，并且尽可能少的包括除标记外的其它局部。通常情况下，整张图像和局部图像均是矩形，优选配置意味着最外侧的标记应当与局部图像的矩形边缘相切。
[0071]
在本说明书实施例中，图像缩放操作采用下面所述的式(6)、(7)。其中，图像样本的形状优选为正方形，尺寸为32
×
32像素。
[0072]
设待缩放的源图像尺寸为w
×
h，目标图像尺寸为32
×
32。已知源图像中任意一点
的取值i
(x,y)
，待求解的为目标图像中某一点的取值令：
[0073][0074]
其中，符号表示向下取整数，如果被操作数本身是整数，则等于其本身。根据下面规则求取的值：
[0075][0076]
s1.2获得足够数量的规格化的图像正标记样本后，从步骤s1.1中拍摄的印刷电路板图像中，排出标记部分后，以随机位置和大小采集若干图像负标记样本，图像负标记样本中不应当包含标记的任意部分。采集完毕后，将所有图像负标记样本缩放至与标记样本同样尺寸，构成规格化的图像负标记样本集。其中，所述的样本数量视标记的复杂程度、图像采集的清晰度、环境光照等现实情况确定。
[0077]
s1.3根据规格化的图像正标记样本与图像负标记样本，训练标记识别神经网络模型。
[0078]
定义图像正标记样本的样本图像s(u,v)和图像负标记样本的负样本图像其尺寸为m
×
n。样本图像和负样本图像的每个位置的像素值表示该点的图像灰度，规格化到[0，1]之间。如图3所示，标记识别神经网络模型由输入层、输出层和隐藏层组成，每一层包含若干节点，每个节点对应一个标量数据，又称为神经元。某一层的一个节点与其前一层的某一节点存在一条连接，对应一个运算函数。相邻两层任意两个节点的连接并非必然存在，但任一层的任一个节点必须至少与其前一层的某一个节点存在连续；如果一层的每个节点都与其前一层的所有节点存在连接，则称该层为全连接层。输入层、输出层、隐藏层的关系为：输入层在隐藏层之前，隐藏层在输出层之前，并且隐藏层中可以递归包含多个层。
[0079]
在本说明书实施例中，标记识别神经网络模型的输入层为样本图像s
(u,v)
或负样本图像输出层为0或1，当输入为样本图像时，输出为1，反之为0。隐藏层为模型的中间步骤，根据如下步骤实现。
[0080]
s1.3.1定义：
[0081]
[0082]
式中，为以(u，v)为中心的卷积窗口，p、q表示卷积窗口中相对位置的正整数坐标，在本说明书实施例中，的窗口大小为13
×
13，表示中p、q的取值范围为0到12。表示输入层中坐标(u+p，v+q)处的节点；b0为线性偏置量；σ(
·
)称为激励函数。
[0083]
由定义的所有节点组成的神经网络层称为隐藏层一。
[0084]
s1.3.2定义：
[0085][0086]
式中，max表示在以(4u，4v)为中心的窗口范围内取所有像素的最大值，p、q表示窗口中相对位置的正整数坐标。在本说明书实施例中，max窗口大小为4
×
4；p、q取值范围为[0,3]。表示隐藏层一中坐标为(4u+p，4v+q)处的节点；b1为线性偏置量；σ(
·
)称为激励函数。
[0087]
由定义的所有节点组成的神经网络层称为隐藏层二。
[0088]
s1.3.3定义：
[0089][0090]
式中，为以(u，v)为中心的卷积窗口，p、q表示卷积窗口中相对位置的正整数坐标，在本说明书实施例中，的窗口大小为3
×
3，表示中p、q的取值范围为0到2。表示隐藏层二中坐标(u+p，v+q)处的节点；b2为线性偏置量；σ(
·
)称为激励函数。
[0091]
由定义的所有节点组成的神经网络层称为隐藏层三。
[0092]
s1.3.4定义：
[0093][0094]
式中，p、q为第三隐藏层中节点坐标，表示隐藏层三的节点；b3为线性偏置量；σ(
·
)称为激励函数。可见，y0是全连接层，与隐藏层三的每一个节点都有连接。
[0095]
上述式(1)
–
(4)中，σ(x)称为激励函数，用于使网络具有对非线性数据集分类的能力。在本说明书实施例中，激励函数定义如下：
[0096][0097]
式中，参数α的作用是使函数在x＝0点处产生一个不连续断点，有助于改善分类效果。当x《0时，其设置为常数β，有助于抑制负样本时的梯度消失效应，优选β＝-0.01。
[0098]
y0记为标记识别神经网络模型的输出层，其取值为[0,1]。对应任一标记样本，其取值为1；对应任一非标记样本，其取值为0。采用反向传播算法对标记识别神经网络模型进行训练，确定式(1)
–
(4)中的权值w1、w3、w4、b0、b1、b2、b3。训练完毕后，获得可用于识别的标记识别神经网络模型
[0099]
上述为本说明书实施例的创新点之一，通过设计神经网络相邻层次之间神经元的连接方式和连接权重，从而搭建了一个具有多尺度定位能力的分层神经网络模型。
[0100]
步骤2、多尺度的印刷电路板焊膏印刷标记识别与图像定位。
[0101]
对待印刷焊膏的印刷电路板拍照，获得含有标记的印刷电路板图像，采用步骤1学习的标记识别神经网络模型识别标记，并输出标记的图像坐标。
[0102]
对于含有标记的印刷电路板图像，设为b0。
[0103]
(a)在b0中随机截取若干子图，将这些子图按尺寸分别归类为z1、z2、
…
、zb，构成b组子图。子图的位置和尺寸均为随机选取，其尺寸不低于步骤1中图像正标记样本的尺寸，例如32
×
32像素。对b组子图中其中一组的b组子图，参照式(6)
–
(7)的方法将其尺寸规格化，并将每一组(尺寸相同的子图)中每个子图作为标记识别神经网络模型的输入，依次计算其输出；如果某个子图经标记识别神经网络模型的输出大于0.6时，则对应分组计数器cb加1。
[0104]
(b)对于b＝max
b∈b cb，即计数器值最大的一个，计算最大计数器值和次大计数器值的差值，如果差值小于最大计数器值的1/3，那么对z1、z2、
…
、zb组子图，每一组分别再额外随机截取m张子图，每组所增加的子图尺寸与对应组的尺寸一致，优选m＝16，并对新增加的子图按照步骤(a)计算输出，更新分组计数器并回到步骤(b)。直到满足差值大于或等于最大计数器值的1/3，转步骤(c)。
[0105]
(c)对于b＝max
b∈b cb，从含有标记的印刷电路板图像b0(即待识别图像)的原点(通常为左上角)开始，以(2,2)为步长，依次截取尺寸为zb的子图，并代入标记识别神经网络模型计算输出，记录其输出值；对于输出值最大的子图，输出其中心点位置为标记的图像坐标，定位完成。
[0106]
本方法采用变尺寸的标记识别与图像定位方法，适应不同尺寸的标记和待识别图像，并采用快速随机查找的方法确定合适的标记尺寸和位置，通过对标记的识别实现印刷区域的定位，能够保证识别的高精度及高鲁棒性，克服典型环境噪声干扰，并适应旋转、形变、尺度变换等图像形变干扰，此外，该方法不依赖于几何形状特征的先验假设，在标记模板选择上更具灵活性，并且能够提高焊膏印刷效率和精度。进一步的，下表1示出了本发明方法与现有技术定位准确率比较：
[0107]
表1 本发明方法与现有技术定位准确率比较
[0108][0109]
本说明书实施例还公开了一种基于神经网络学习的焊膏印刷标记识别系统，上述基于神经网络学习的焊膏印刷标记识别方法基于该焊膏印刷标记识别系统实现。具体的，如图4所示，本焊膏印刷标记识别系统包括依次连接的图像采集模块6、样本处理模块7、神经网络模型模块8及识别模块9。
[0110]
其中，图像采集模块6用于获取图像正标记样本和图像负标记样本；样本处理模块7用于对所采集的所述图像正标记样本、图像负标记样本进行规格化处理；神经网络模型模块8用于构建标记识别神经网络模型，并利用规格化处理后的图像正标记样本、图像负标记样本对所述标记识别神经网络模型进行训练；识别模块9用于利用训练好的标记识别神经网络模型对含有标记的印刷电路板图像进行识别标记，并输出识别结果。
[0111]
综上所述，本说明书公开一种基于神经网络学习的焊膏印刷标记识别方法及系统，解决了基于视觉的自动焊膏印刷生产线印刷标记的识别问题，并通过对标记的识别实现印刷区域的定位，能够保证识别的高精度及高鲁棒性，克服典型环境噪声干扰，并适应旋转、形变、尺度变换等图像形变干扰，此外，该方法不依赖于几何形状特征的先验假设，在标记模板选择上更具灵活性，并且能够提高焊膏印刷效率和精度，提升了smt生产线的工作质量和效率。
[0112]
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0113]
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0114]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。