基于深度学习的消费电子零部件缺陷分级系统及方法与流程

1.本发明涉及零部件缺陷检测技术领域，具体地，涉及一种基于深度学习的消费电子零部件缺陷分级系统及方法。


背景技术：

2.科技发展迅猛,在工业生产中自动化产品线日趋成熟,但是,表面缺陷检测大部分依然依赖人工检测，其人工成本高，且易产生视觉疲劳和受主观性影响导致检测结果不一致和出现漏检。在电子元器件生产过程中需要经过复杂的工艺处理，在多重工序处理下，会出现各种问题，如表面缺陷、字符不清等。因为电子元器件种类繁多，各类电子元器件的结构形状、损坏程度和检验方法也均不相同，传统检测方式已无法适应高节拍、柔性化的生产需求。
3.专利文献cn112697984a公布了一种基于神经网络的水果缺陷无损检测方法及分级方法。所述无损检测方法首先采集水果的外观图像集、对应的两张x射线图集、切片图像集以及切片化学检测数据集；再将采集的数据进行整合，得到水果缺陷分类及与缺陷类型对应的信息包，以缺陷类型作为标签，对拼接后的x射线图进行标记；基于神经网络构建水果缺陷无损检测或分级模型，以带有标签的x射线图的像素点矩阵对模型进行训练，训练完成后输入待检测水果的x射线图数据，得到缺陷或分级结果。
4.但是专利文献cn112697984a是针对水果的分级方法，无法适用于消费电子零部件缺陷的场景。
5.专利文献cn114820582a公布了一种基于形变卷积神经网络的废旧手机表面缺陷精准分级方法，针对废旧手机回收过程中表面缺陷难以精准分级的问题。
6.专利文献cn114299065a公布了一种丝锭外观成型不良缺陷检测与分级方法、存储介质及设备，包括以下步骤，丝锭有效区域分割与展开；丝锭成型缺陷检测；丝锭成型缺陷分级。
7.但是，上述两项专利文献中过直接检测出相关产品的缺陷特征进行产品质检，缺乏综合考虑，并且将工业产品质量简单分类为若干离散类别，如优、良、不合格等等，缺少对情况的具体分析，只是机械化的分成几个程度。


技术实现要素：

8.针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的消费电子零部件缺陷分级系统及方法。
9.根据本发明提供的一种基于深度学习的消费电子零部件缺陷分级方法，包括：
10.步骤s1：获取实际消费电子零部件的原始图像；
11.步骤s2：对所述原始图像进行预处理，得到对应的训练数据；
12.步骤s3：根据所述原始图像进行卷积操作构建检测模型；
13.步骤s4：将所述训练数据输入至检测模型中进行训练，得到训练后的检测模型；
14.步骤s5：根据所述训练后的检测模型获得缺陷等级。
15.优选地，步骤s2包括：
16.步骤s2.1：将原始图像裁剪为多张预设大小的图片；
17.步骤s2.2：将所述图片进行锐化及对比度调整突出边缘信息；
18.步骤s2.3：将突出的边缘信息通过数据增强技术得到对应的训练数据，其中数据增强技术包括翻转和水平变化。
19.优选地，步骤s3包括：
20.步骤s3.1：提取原始图像中的像素值，通过普通的卷积操作并根据固定的卷积偏移值得到卷积后的新数字图像；
21.步骤s3.2：将所述新数字图像作为输入，通过卷积层获得可变卷积的偏移量；
22.步骤s3.3：对所述可变卷积的偏移量对应的偏移坐标值进行分割，并对分割后的坐标进行采样像素获取，进而计算出对应位置坐标的像素值；
23.步骤s3.4：提取每个坐标的像素值对应的图像特征；
24.步骤s3.5：分别从分类分支和不确定度分支预测分类信息和不确定度信息，最终得到检测模型。
25.优选地，步骤s4包括：
26.分类分支监督训练：采用多分类交叉损失函数进行监督，函数如下：
[0027][0028]
其中，xi表示输入图像，yi表示相应yi的概率合集，p
ij
表示这个类别i属于类别j的概率，而p
ij
的计算则通过softmax函数获得，c表示总的类别数目；
[0029]
不确定分支监督训练：采用不确定度分支的损失函数进行监督，所述不确定度分支的损失函数根据预测分布和目标分布的kl散度得到，公式如下：
[0030][0031]
其中，l表示不确定分支的损失函数，n表示总的样本数量，e表示自然底数，表示预测xi结果的平均值，表示预测xi的修正值，表示预测xi正态分布的期望。
[0032]
优选地，步骤s5包括：
[0033]
划分缺陷类型相应的优先级，并将全部缺陷再分为关键缺陷、重要缺陷和一般缺陷；
[0034]
通过分类分支获取所测缺陷的缺陷类型及对应的级别，配合通过不确定分支提取的不确定信息，得到对应的缺陷等级。
[0035]
根据本发明提供的一种基于深度学习的消费电子零部件缺陷分级系统，包括：图像获取模块、图像预处理模块、网络结构模块、训练模块和分类模块；
[0036]
所述图像获取模块拍摄实际消费电子零部件的原始图像并发送给预处理模块；
[0037]
所述图像预处理模块对获取的原始图像进行预处理后得到训练数据；
[0038]
所述网络结构模块用于构建进行检测消费电子零部件缺陷情况的检测模型；
[0039]
所述训练模块将所述训练数据输入所述检测模型并进行训练后得到训练后的检测模型；
[0040]
所分类模块再根据训练后的检测模型获得缺陷等级。
[0041]
优选地，图像预处理模块包括：
[0042]
模块m2.1：将原始图像裁剪为多张预设大小的图片；
[0043]
模块m2.2：将所述图片进行锐化及对比度调整突出边缘信息；
[0044]
模块m2.3：将突出的边缘信息通过数据增强技术得到对应的训练数据，其中数据增强技术包括翻转和水平变化。
[0045]
优选地，网络结构模块包括：
[0046]
模块m3.1：提取原始图像中的像素值，通过普通的卷积操作并根据固定的卷积偏移值得到卷积后的新数字图像；
[0047]
模块m3.2：将所述新数字图像作为输入，通过卷积层获得可变卷积的偏移量；
[0048]
模块m3.3：对所述可变卷积的偏移量对应的偏移坐标值进行分割，并对分割后的坐标进行采样像素获取，进而计算出对应位置坐标的像素值；
[0049]
模块m3.4：提取每个坐标的像素值对应的图像特征；
[0050]
模块m3.5：分别从分类分支和不确定度分支预测分类信息和不确定度信息，最终得到检测模型。
[0051]
优选地，训练模块包括：
[0052]
分类分支监督训练：采用多分类交叉损失函数进行监督，函数如下：
[0053][0054]
其中，xi表示输入图像，yi表示相应yi的概率合集，p
ij
表示这个类别i属于类别j的概率，而p
ij
的计算则通过softmax函数获得，c表示总的类别数目；
[0055]
不确定分支监督训练：采用不确定度分支的损失函数进行监督，所述不确定度分支的损失函数根据预测分布和目标分布的kl散度得到，公式如下：
[0056][0057]
其中，l表示不确定分支的损失函数，n表示总的样本数量，e表示自然底数，表示预测xi结果的平均值，表示预测xi的修正值，表示预测xi正态分布的期望。
[0058]
优选地，分类模块包括：
[0059]
划分缺陷类型相应的优先级，并将全部缺陷再分为关键缺陷、重要缺陷和一般缺陷；
[0060]
通过分类分支获取所测缺陷的缺陷类型及对应的级别，配合通过不确定分支提取
的不确定信息，得到对应的缺陷等级。
[0061]
与现有技术相比，本发明具有如下的有益效果：
[0062]
1、本发明模型给出的不确定度是连续的数值与缺陷类别离散情况相互配合实现对于缺陷的有效检测，与零部件产品缺陷程度相适应，能够大大降低关键缺陷漏检，对于轻度缺陷适当放宽标准，从而提高整体的准确率。
[0063]
2、本发明通过将不确定度与可变卷积核结合的深度神经网络，提高网络的鲁棒性，能够更加适应多变的场景，对于检测性能有较好的提升。并且，通过该深度神经网络预测的不确定度数值与缺陷类别配合完成缺陷分级推断，丰富了零部件质检的方法。
[0064]
3、本发明通过该检测系统能够在一定程度上避免零件检测上缺乏针对性，对于所有缺陷采用同一标准而导致耗费巨大人力物力的问题
附图说明
[0065]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0066]
图1为本发明的工作流程示意图。
[0067]
图2为本发明的零件缺陷程度推断结构示意图。
[0068]
图3为本发明的模型推理逻辑示意图。
具体实施方式
[0069]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0070]
本发明针对零部件场景中的大部分消费电子零部件缺陷检测情况，提出了一种基于深度学习的消费电子零部件缺陷分级系统及方法，通过该检测系统和方法能够在一定程度上避免零件检测上缺乏针对性，对于所有缺陷采用同一标准而导致耗费巨大人力物力的问题。
[0071]
实施例一
[0072]
根据本发明提供的一种基于深度学习的消费电子零部件缺陷分级方法，如图1所示，包括：
[0073]
步骤s1：获取实际消费电子零部件的原始图像。具体地，为针对消费电子零部件缺陷的场景，选取合适的光源以及对应的镜头等相关硬件设备，使得获取的图像能够符合目前场景要求，硬件设备搭建完成之后，就开始准备关于相机的分辨率以及光圈的调试，拍摄出实际消费电子零部件的原始图像。
[0074]
步骤s2：对所述原始图像进行预处理，得到对应的训练数据。首先，将原始图像裁剪为多张预设大小的图片，保证每张图是一定的大小。然后再进行锐化及提高对比度从而突出边缘信息，最后将突出的边缘信息通过数据增强技术得到有助于神经网络训练的训练数据，其中数据增强技术包括翻转和水平变化。
[0075]
步骤s3：根据所述原始图像进行卷积操作构建检测模型。
[0076]
具体地，如图2所示，首先提取原始图像中的像素值，通过普通的卷积操作并根据固定的卷积偏移值得到卷积后的新数字图像。也就是说，提取原始数字图像u中的像素值，经过普通的卷积操作，并根据固定的卷积偏移值得到一个卷积后的新数字图像v。
[0077]
然后，将所述新数字图像v作为输入，再通过卷积层获得可变卷积的偏移量；对所述可变卷积的偏移量对应的偏移坐标值进行分割，并对分割后的坐标进行采样像素获取，进而用双线性插值方式计算出对应位置坐标的像素值。
[0078]
接着，提取每个坐标的像素值对应的图像特征。也就是说，在得到各个坐标的所有像素就会得到一个新的图片z，再将新图片z进行特征提取。采用可变卷积核，对不同尺寸的缺陷采用不同大小卷积核进行检测。本发明采用可变型卷积核的方式，提高了检测的准确性，让神经网络能够适应不同的场景，提升鲁棒性。
[0079]
最后，使用两个平行分支分别预测分类信息以及不确定度信息。分类部分预测各个缺陷类别的置信度，不确定度部分预测数据用于缺陷分级。最终，获得检测模型。其中，两个平行分支包括分类分支和不确定分支。
[0080]
步骤s4：将所述训练数据输入至检测模型中进行训练，完成模型前向计算得到训练后的检测模型。步骤s4包括：
[0081]
分类分支监督训练：采用多分类交叉损失函数进行监督，函数如下：
[0082][0083]
其中，xi表示输入图像，yi表示相应yi的概率合集，p
ij
表示这个类别i属于类别j的概率，而p
ij
的计算则通过softmax函数获得，c表示总的类别数目，通过多分类交叉损失函数能够加快矩阵更新，提高检测速度，且更好获得预测值和真实值的距离从而对于进行了判别有更好的帮助。
[0084]
不确定分支监督训练：采用不确定度分支的损失函数进行监督，不确定分支的预测结果符合高斯分布：
[0085][0086]
其中，θ是卷积神经网络中所有可训练参数的代称，代表的是预测的的不确定度。训练时的目标分布是狄拉克函数
[0087][0088]
不确定度分支的损失函数根据预测分布和目标分布的kl散度得到，公式如下：
[0089][0090]
经过推导后，包括去除常数部分等，得到不确定度分支的损失函数如下：
[0091][0092]
其中，l表示不确定分支的损失函数，n表示总的样本数量，e表示自然底数，表示预测xi结果的平均值，表示预测xi的修正值，表示预测xi正态分布的期望。
[0093]
通过比较真实值的概率分布以及预测值的概率分布的接近程度来反映消费电子零部件的缺陷检测情况，如果差值比较大，说明缺陷导致正常零件缺失的部分较多，该零件存在比较大的问题。通过损失函数不断更新优化器的学习参数，反复迭代使得损失函数能够达到最优解后，模型完成训练，得到训练后的检测模型。
[0094]
步骤s5：根据所述训练后的检测模型获得缺陷等级。如图3所示，由训练模块可知，训练后的检测模型有三个部分，划分缺陷类型相应的优先级，该划分包括人工划分。并将全部缺陷再分为关键缺陷、重要缺陷和一般缺陷。通过分类分支获取所测缺陷的缺陷类型及对应的级别，配合通过不确定分支提取的不确定信息进行进一步的关注度提高，不确定值越大，说明当前样本与合格样本之间的差异越大，说明缺陷程度也越大。将两者结合能够再一定程度防止由于缺陷程度大而缺陷等级低导致被网络遗漏的情况，使得零件检测能够更加有针对性。得到对应的缺陷等级。
[0095]
进一步地，以马达芯片模具的边缘毛刺情况为例，在生产过程中，先通过预处理等操作，再输入到神经网络中，获得缺陷情况为边缘毛刺，属于重要缺陷之一，再根据不确定度的信息来调整在这个范围内的程度，两者相互配合得到该芯片最准确的情况，并让工作人员对于整个产品线情况有更可靠的定位。
[0096]
实施例二
[0097]
本发明还提供了一种基于深度学习的消费电子零部件缺陷分级系统，本领域技术人员可以通过执行所述基于深度学习的消费电子零部件缺陷分级方法的步骤流程实现所述基于深度学习的消费电子零部件缺陷分级系统，即可以将所述基于深度学习的消费电子零部件缺陷分级方法理解为所述基于深度学习的消费电子零部件缺陷分级系统的优选实施方式。
[0098]
本发明通过将检测结果和不确定结合来决定对于该工业缺陷的关注程度，解决了工业在进行缺陷检测时候缺乏针对性的情况，能够提高对消费电子零部件的质量把控，并且在监测的过程种能够更加关心关键缺陷，尽可能保证这方面缺陷的漏检率接近0，对于一般缺陷能够适当放宽标准。
[0099]
根据本发明提供的一种基于深度学习的消费电子零部件缺陷分级系统，包括：图像获取模块、图像预处理模块、网络结构模块、训练模块和分类模块。
[0100]
图像获取模块拍摄实际消费电子零部件的原始图像并发送给预处理模块，图像预处理模块对获取的原始图像进行预处理后得到训练数据，网络结构模块用于构建进行检测消费电子零部件缺陷情况的检测模型，训练模块将所述训练数据输入所述检测模型并进行训练后得到训练后的检测模型，分类模块再根据训练后的检测模型获得缺陷等级。
[0101]
具体地，图像预处理模块首先将原始图像裁剪为多张预设大小的图片，然后将所述图片进行锐化及对比度调整突出边缘信息，最后将突出的边缘信息通过数据增强技术得
到对应的训练数据，其中数据增强技术包括翻转和水平变化。
[0102]
具体地，网络结构模块首先提取原始图像中的像素值，通过普通的卷积操作并根据固定的卷积偏移值得到卷积后的新数字图像，然后将所述新数字图像作为输入，通过卷积层获得可变卷积的偏移量，接着对所述可变卷积的偏移量对应的偏移坐标值进行分割，并对分割后的坐标进行采样像素获取，进而计算出对应位置坐标的像素值，再接着提取每个坐标的像素值对应的图像特征，最后分别从分类分支和不确定度分支预测分类信息和不确定度信息，最终得到检测模型。
[0103]
具体地，训练模块包括：分类分支监督训练和不确定分支监督训练
[0104]
其中，分类分支监督训练采用多分类交叉损失函数进行监督，函数如下：
[0105][0106]
其中，xi表示输入图像，yi表示相应yi的概率合集，p
ij
表示这个类别i属于类别j的概率，而p
ij
的计算则通过softmax函数获得，c表示总的类别数目。
[0107]
不确定分支监督训练根据预测分布和目标分布的kl散度得到，公式如下：
[0108][0109]
其中，l表示不确定分支的损失函数，n表示总的样本数量，e表示自然底数，表示预测xi结果的平均值，表示预测xi的修正值，表示预测xi正态分布的期望。
[0110]
具体地，分类模块划分缺陷类型相应的优先级，并将全部缺陷再分为关键缺陷、重要缺陷和一般缺陷。通过分类分支获取所测缺陷的缺陷类型及对应的级别，配合通过不确定分支提取的不确定信息，得到对应的缺陷等级。
[0111]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0112]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。