LED灯珠缺陷检测和评估方法、装置、计算机设备及介质与流程

led灯珠缺陷检测和评估方法、装置、计算机设备及介质
技术领域
1.本发明涉及计算机视觉与概率抽样检验技术领域，尤其涉及一种led灯珠缺陷检测和评估方法、装置、计算机设备及介质。


背景技术：

2.led(lighting emitting diode)灯珠具有体积小、发光效率高、寿命长、节能环保等优点，可以应用照明、背光、家电指示灯等多个场合。led灯珠缺陷检测一直是灯珠封装厂商生产过程中的重要一环，需要对led灯珠进行光电性能、外观全检以剔除光电性能失效和有外观缺陷的不良品。
3.目前外观缺陷不良检测主要还是依靠人员视力观察来完成，led缺陷种类有数十种，这不仅需要检验人员很高的能力要求，且效率低，经常会漏检。


技术实现要素：

4.本发明要解决的技术问题是：为了解决现有技术中led灯珠检测效率低且漏检率高的技术问题，本发明提供一种led灯珠缺陷检测和评估方法，通过将led灯珠图像进行标签化处理并输入led灯珠缺陷检测模型进行检测，对led灯珠缺陷检测模型的检测结果再进行抽样评估，可以提高检测的准确率。
5.本发明解决其技术问题所采用的技术方案是：一种led灯珠缺陷检测和评估方法，包括以下步骤：
6.s1：获取led灯珠板图像，对所述led灯珠板图像进行处理，获得整体的led灯珠图像，形成i类标签图像；
7.s2：将所述i类标签图像进行语义分割处理，得到多个单一的led灯珠图像；
8.s3：对所述多个单一的led灯珠图像分别进行标签化处理，得到多个ii类标签数据；
9.s4：将多个所述ii类标签数据分成训练集和测试集，通过所述训练集对深度神经网络模型进行训练，通过所述测试集对所述深度神经网络模型进行测试，得到led灯珠缺陷检测模型；
10.s5：对所有所述ii类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型；
11.s6：获取待检测的led灯珠板图像并进行处理，获得整体的待检测的led灯珠图像，形成待检测的i类标签图像；对所述待检测的i类标签图像进行语义分割处理，得到待检测的多个单一的led灯珠图像；将所述待检测的多个单一的led灯珠图像输入所述led灯珠缺陷检测模型中进行检测，并将所述led灯珠缺陷检测模型的检测结果输入所述抽样模型中进行评估；
12.s7：将所述抽样模型的评估结果a根据阈值n
ij
和m
ij
进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
13.本发明的led灯珠缺陷检测和评估方法，通过对led灯珠板图像进行分割，可以一
次性获得多个单一的led灯珠图像，并能快速地对这些led灯珠图像进行标记(标记缺陷种类)；利用这些带标记的led灯珠图像对深度神经网络模型进行训练得到led灯珠缺陷检测模型；将待检测的led灯珠图像输入该led灯珠缺陷检测模型中进行检测，再利用抽样模型对该检测结果进行二次评估，可以更为准确地评判led灯珠的缺陷情况，并且可以简化神经网络结构，提高模型的运算效率。
14.进一步，具体的，根据所述阈值n
ij
和m
ij
将所述评估结果a分为a1、a2和a3三类，a1为大于所述阈值nij的评估结果，a2为小于或等于所述阈值nij且大于或等于所述阈值mij的评估结果，a3为小于所述阈值mij的评估结果；所述评估结果a1表示所述led灯珠具有缺陷，所述评估结果a3表示所述led灯珠没有缺陷，所述评估结果a2表示需要进行人工复检。这样不仅能够快速地判断led灯珠是否具有缺陷，而且对于无法确定的评估结果进行人工复检，及时发现模型的缺陷并进行调整。
15.进一步，具体的，如果所述评估结果a1、a2或a3中的存储结果大于x张图像时，则重新进行步骤s4。其中，x例如可以是5000，如果每一类存储的结果大于5000张图像时，认为检测结果的误判率较大，需要重新优化led灯珠缺陷检测模型。
16.进一步，具体的，如果人工复检发现检测结果的错误率超过10％时，根据所述评估结果a1、a2和a3中存储结果以及所述训练集重新进行步骤s4。当人工复检发现错误率较高时，也需要重新优化led灯珠缺陷检测模型；这个过程是对led缺陷检测模型检测结果的二次评估，可以尽快发现led灯珠缺陷检测模型存在的问题，及时对模型进行优化和调整，进一步提高缺陷检测的准确率。
17.进一步，优选的，所述ii类标签数据的编码位数为3
‑
5位，所述编码为0或1，所述编码0表示所述led灯珠无缺陷，所述编码1表示所述led灯珠有缺陷。通过设计的多位编码标签可以一次性辨别led灯珠的多种缺陷，与传统的神经网络结构相比，采用编码标签后的网络结构能够更为简洁，降低运算的复杂程度，提高运算的效率。
18.进一步，优选的，所述阈值n
ij
和m
ij
分别设定为0.8和0.6。阈值的设定可以对抽样模型的评估结果进行分类，如果抽样模型的评估结果大于0.8时，则认为led灯珠具有缺陷；如果抽样模型的评估结果小于0.6时，则认为led灯珠没有缺陷；如果抽样模型的评估结果介于0.6和0.8之间(包含0.6和0.8)，则认为需要进行人工复检；阈值n
ij
和m
ij
分别设定为0.8和0.6可以提高评估结果的准确率，降低错检率和漏检率，使得检测结果的可信度更高。
19.进一步，优选的，所述训练集和测试集的比例为7:3。训练集内的数据是用来训练深度神经网络，并进行模型参数调整，测试集内的数据可以评估模型的检测能力，训练集和测试集的划分要尽可能保持数据分布的一致性。
20.进一步，优选的，所述抽样模型为x～n(μ,σ2)，所述抽样检测结果分为良品和缺陷品。随机变量x服从正态分布n(μ，σ2)，其中，μ为均值，σ2为方差，将ii类标签数据带入可以求解参数μ，σ2，可以得到抽样模型的分布状态图，从中可以发现ii类标签数据主要集中在哪一部分。
21.本发明还提供了一种led灯珠缺陷检测和评估装置，用于实现如上所述led灯珠缺陷检测和评估方法，包括：
22.获取模块，其被配置为获取led灯珠板图像，对所述led灯珠板图像进行处理，获得整体的led灯珠图像，形成i类标签图像；
23.分割处理模块，其与所述获取模块连接，被配置为将所述i类标签图像进行语义分割处理，得到多个单一的led灯珠图像；
24.标签处理模块，其与所述分割处理模块连接，被配置为对所述多个单一的led灯珠图像分别进行标签化处理，得到多个ii类标签数据；
25.训练模块，其与所述标签处理模块连接，被配置为将多个所述ii类标签数据分成训练集和测试集，通过所述训练集对深度神经网络模型进行训练，通过所述测试集对所述深度神经网络模型进行测试，得到led灯珠缺陷检测模型；
26.抽样模块，其与所述标签处理模块连接，被配置为对所有所述ii类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型；
27.检测模块，所述训练模块、所述抽样模块分别与所述检测模块连接，其被配置为获取待检测的led灯珠板图像并进行处理，获得整体的待检测的led灯珠图像，形成待检测的i类标签图像；对所述待检测的i类标签图像进行语义分割处理，得到待检测的多个单一的led灯珠图像；将所述待检测的多个单一的led灯珠图像输入所述led灯珠缺陷检测模型中进行检测，并将所述led灯珠缺陷检测模型的检测结果输入所述抽样模型中进行评估；
28.评估模块，其与所述检测模块连接，被配置为将所述抽样模型的评估结果a根据阈值n
ij
和m
ij
进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
29.本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上所述的led灯珠缺陷检测和评估方法。
30.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被理器执行时实现如上所述的led灯珠缺陷检测和评估方法。
31.本发明的有益效果是，本发明的led灯珠缺陷检测和评估方法和装置，通过对led灯珠板图像进行分割，可以一次性获得多个单一的led灯珠图像，并能快速地对这些led灯珠图像进行标记(标记缺陷种类)；利用这些带标记的led灯珠图像对深度神经网络模型进行训练得到led灯珠缺陷检测模型；将待检测的led灯珠图像输入该led灯珠缺陷检测模型中进行检测，再利用抽样模型对该检测结果进行二次评估，可以更为准确地评判led灯珠的缺陷情况；本方法还依据加工经验，构建抽样模型，使得led灯珠缺陷检测模型具有良好的再学习性，能够适应不同的加工环境所带来的缺陷检测问题，具有一定的可迁移性；本发明基于深度神经网络与抽样模型评估，采用多个编码标签对多种led灯珠缺陷进行一次性检测，可以简化深度神经网络的结构，且多个led灯珠缺陷检测模型可以进行串联分析，依次对不同缺陷进行检测，加快检测速度。
附图说明
32.下面结合附图和实施例对本发明进一步说明。
33.图1是本发明的led灯珠缺陷检测和评估方法的流程图；
34.图2是本发明ii类标签三位编码的示意图；
35.图3是本发明三位编码标签的缺陷网络结构示意图；
36.图4是本发明led灯珠缺陷检测模型的基本resnet单元结构；
37.图5是本发明抽样模型的评估结果示意图；
38.图6是本发明的led灯珠缺陷检测和评估装置的结构示意图。
39.图中：1、获取模块，2、分割处理模块，3、标签处理模块，4、训练模块，5、抽样模块，6、检测模块，7、评估模块。
具体实施方式
40.现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
41.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
42.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
43.如图1所示，一种led灯珠缺陷检测和评估方法，包括以下步骤：
44.s1：获取led灯珠板图像，对led灯珠板图像进行处理，获得整体的led灯珠图像，形成i类标签图像。
45.需要说明的是，可以通过工业相机获取led灯珠板图像，led灯珠板为一次成型，可以包括多个led灯珠，这样可以省去逐一采样产生的人工成本，对led灯珠板图像根据led灯珠的大小利用边界算法提取led灯珠的整体图像，形成i类标签，例如，对led灯珠板图像进行二值化处理，利用7
×
7像素大小的腐蚀区域进行腐蚀操作后，再进行边界提取，形成i类标签，也就是说i类标签中包含了多个led灯珠的图像。
46.s2：将i类标签图像进行语义分割处理，得到多个单一的led灯珠图像。
47.需要说明的是，图像语义分割是指对图片的内容根据像素的角度分割出图像中的不同对象，在本实施例中，可以采用基于resnet为基本框架的图像分割方法，将i类标签图像进行语义分割后，可以得到多个单一的led灯珠图像。
48.s3：对多个单一的led灯珠图像分别进行标签化处理，得到多个ii类标签数据。
49.需要说明的是，ii类标签数据的编码位数可以是3
‑
5位，ii类标签编码采用0和1进行组合，0表示无，1表示有，例如可以形成100,0001,01101等标签。以4位编码为例，每一位编码代表不同的缺陷种类，例如，0000可以表示无缺陷，0100可以表示有漏焊缺陷，0010可以表示有掉晶缺陷，0001可以表示有异物缺陷，等等，每一位编码代表的缺陷种类可以进行自行定义。
50.s4：将多个ii类标签数据分成训练集和测试集，通过训练集对深度神经网络模型进行训练，通过测试集对深度神经网络模型进行测试，得到led灯珠缺陷检测模型。
51.需要说明的是，训练集和测试集的比例可以为7:3，led缺陷检测模型的框架可以根据ii类标签编码的位数进行确定，例如，3位标签编码可以采用3
‑
6层的卷积网络，分别进行卷积和正则操作，构建深度神经网络模型；小于3位的标签编码，可以选择resnet
‑
18神经网络结构；大于5位的标签编码，可以采用resnet
‑
32或50及其以上的神经网络结构。训练集可以用来拟合缺陷检测模型，测试集可以对拟合的缺陷检测模型模型的准确率进行测试，根据测试集测试得到的准确率对拟合的缺陷检测模型模型进行重复训练和测试，当测试准确率可以达到95％以上(例如99％)时，形成led灯珠缺陷检测模型，led灯珠缺陷检测模型能够对led灯珠缺陷进行识别。在本实施例中，优选3位编码(如图2所示)，3位编码中的第一位和第二位可以表示不同的缺陷类型，第三位编码可以表示是否为正常品，例如，010的三位编码分别表示“无掉晶缺陷”、“有漏焊缺陷”、“无正常品”，这样可以简化led缺陷检测模型，提高led缺陷检测模型的学习效率，3位编码的缺陷检测网络结构如图3所示，图4为基本resnet单元结构。
52.s5：对所有ii类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型。
53.需要说明的是，根据led灯珠制造的出厂参数及实践经验，抽样模型可以为x～n(μ,σ2)，抽样检测的结果可以分为良品和缺陷品，将ii类标签数据带入抽样模型x～n(μ,σ2)中求解参数μ，σ2，并计算马尔科夫链状态转移矩阵q(i,j)，其中，可以根据蒙特卡洛法或metropolis
‑
hastings采样进行抽样求解参数μ，σ2。
54.s6：获取待检测的led灯珠板图像并进行处理，获得整体的待检测的led灯珠图像，形成待检测的i类标签图像；对待检测的i类标签图像进行语义分割处理，得到待检测的多个单一的led灯珠图像；将待检测的多个单一的led灯珠图像输入led灯珠缺陷检测模型中进行检测，并将led灯珠缺陷检测模型的检测结果输入抽样模型中进行评估。
55.需要说明的是，将待检测的led灯珠板图像按照步骤s1
‑
s2处理成待检测的多个单一的led灯珠图像，然后输入已经训练好的led灯珠缺陷检测模型中进行检测，led灯珠缺陷检测模型可以分类出带有缺陷的led灯珠图像，然后再将led灯珠缺陷检测模型检测的结果输入抽样模型x～n(μ,σ2)中进行评估。
56.s7：将抽样模型的评估结果根据阈值n
ij
和m
ij
进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
57.需要说明的是，根据阈值n
ij
和m
ij
可以将评估结果a分为a1、a2和a3三类，a1为大于阈值n
ij
的评估结果，a2为小于或等于阈值n
ij
且大于或等于阈值m
ij
的评估结果，a3为小于阈值m
ij
的评估结果；评估结果a1表示led灯珠具有缺陷，评估结果a3表示led灯珠没有缺陷，评估结果a2表示需要进行人工复检。阈值n
ij
和m
ij
分别可以设定为0.8和0.6，其中，如果抽样模型的评估结果大于0.8时，则认为led灯珠具有缺陷；如果抽样模型的评估结果小于0.6时，则认为led灯珠没有缺陷；如果抽样模型的评估结果介于0.6和0.8之间(包含0.6和0.8)，则认为需要进行人工复检。如图5所示，对6个led灯珠图像通过抽样模型进行评估，得到的评估结果分别为[0.97 0.0146 0.0148]，[0.99 0.0000042 0.000049]，[0.0211 0.964 0.0141]，[0.0349 0.281 0.683]，[0.173 0.0683 0.758]，[0.119 0.108 0.771]，从评估结果可知，第一个led灯珠图像有掉晶缺陷，第二个led灯珠图像有掉晶缺陷，第三个led灯珠图像有漏焊缺陷，第四个led灯珠图像需要进行人工复检，第五个le灯珠图像需要进行人工复检，第六个led灯珠图像有漏焊缺陷，可以快速地识别出led灯珠是否具有缺陷
以及具有什么缺陷。
[0058]
另外，当评估结果a1、a2或a3中的存储结果大于x(例如5000)张图像时则重新进行步骤s4。或者，当人工复检发现检测结果的错误率超过10％时，根据评估结果a1、a2和a3中存储结果以及训练集重新进行步骤s4。
[0059]
在本实施例中，重复步骤s1
‑
s7可以获得多个检测不同缺陷的led缺陷检测模型，再将这多个led缺陷检测模型依次排列可以对led灯珠缺陷进行一一检测。
[0060]
如图6所示，对应上述led灯珠缺陷检测和评估方法，本发明还提出了一种led灯珠缺陷检测和评估装置，包括获取模块1、分割处理模块2、标签处理模块3、训练模块4、抽样模块5、检测模块6及评估模块7。其中，获取模块1被配置为获取led灯珠板图像，对led灯珠板图像进行处理，获得整体的led灯珠图像，形成i类标签图像。分割处理模块2与获取模块1连接，被配置为将i类标签图像进行语义分割处理，得到多个单一的led灯珠图像。标签处理模块3与分割处理模块2连接，被配置为对多个单一的led灯珠图像分别进行标签化处理，得到多个ii类标签数据。训练模块4与标签处理模块3连接，被配置为将多个ii类标签数据分成训练集和测试集，通过训练集对深度神经网络模型进行训练，通过测试集对深度神经网络模型进行测试，得到led灯珠缺陷检测模型。抽样模块5与标签处理模块3连接，被配置为对所有ii类标签数据进行抽样检测，根据抽样检测的结果构建抽样模型。训练模块4、抽样模块5分别与检测模块6连接，被配置为获取待检测的led灯珠板图像并进行处理，获得整体的待检测的led灯珠图像，形成待检测的i类标签图像。对待检测的i类标签图像进行语义分割处理，得到待检测的多个单一的led灯珠图像；将待检测的多个单一的led灯珠图像输入led灯珠缺陷检测模型中进行检测，并将led灯珠缺陷检测模型的检测结果输入抽样模型中进行评估。评估模块7与检测模块6连接，被配置为将抽样模型的评估结果a根据阈值n
ij
和m
ij
进行对比并归类存储，根据对比结果判断是否需要进行人工复检。
[0061]
本发明实施例led灯珠缺陷检测和评估装置的具体实施方式可参照上述led灯珠缺陷检测和评估方法的实施例，在此不再赘述。
[0062]
对应上述实施例，本发明还提出一种计算机设备。本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的led灯珠缺陷检测和评估方法。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
[0063]
对应上述实施例，本发明还提出一种计算机可读存储介质。本发明实施例的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现根据本发明上述实施例所述的led灯珠缺陷检测和评估方法。计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(digital subscrib er line，dsl))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(digital versatile disc，dvd))、或者半导体介质(例如：固态硬盘(solid state disk，ssd))等。
[0064]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0065]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要如权利要求范围来确定其技术性范围。