基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质

1.本发明涉及深度学习应用技术领域，具体涉及一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备和存储介质。


背景技术：

2.随着现代工业制造能力的不断进步，以注塑成型为主要生产方式的塑料注塑件被广泛的使用。注塑件的外观品质往往受到注塑材料、注塑成型机以及成型环境等多种因素的影响，从而产生各种各样的瑕疵，如缺料、缩水和气泡等。这些不良缺陷都可能会使注塑产品在使用过程中出现问题，从而给生产带来极大的浪费，既影响了生产效率，也增加了产品的成本。因此，必须对注塑件进行外观缺陷检测。
3.现阶段市场中的注塑件的瑕疵检测都是依靠人工进行操作，工作强度大，且检测稳定性难以保证。因此，迫切需要在注塑件生产过程中提高对注塑件的瑕疵检测能力，进而可以对制作工艺进行预警与改进，提升注塑件的产品品质。
4.近年来，人工智能领域已经被提到国家重点建设的范围。这预示着人工智能与制作工业的结合是我国朝着智能化方向发展的必然趋势，对推动行业朝智能化、自动化方面发展具有重要意义。人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。随着计算机算力的提高，网络训练的难度大大减低，网络预测精度也在不断提高。对于注塑件的多种瑕疵类型检测识别问题，其关键是如何提取瑕疵区域的特征，以满足瑕疵的位置检测与类型识别的需要。目前亟待针对这一问题，设计相应合理的深度学习网络框架，利用高性能的计算机处理能力对网络进行训练，实现不同类型瑕疵的检测与分类。


技术实现要素：

5.为了解决上述现有技术的不足，本发明提供了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备及存储介质，用深度学习网络框架设计网络模型，进而对不同类别的瑕疵特征进行提取，实现对不同类型瑕疵的检测与分类。
6.本发明的第一个目的在于提供一种基于正常样本辅助特征提取的注塑件瑕疵检测方法。
7.本发明的第二个目的在于提供一种基于正常样本辅助特征提取的注塑件瑕疵检测装置。
8.本发明的第三个目的在于提供一种计算机设备。
9.本发明的第四个目的在于提供一种存储介质。
10.本发明的第一个目的可以通过采取如下技术方案达到：
11.一种基于正常样本辅助特征提取的注塑件瑕疵检测方法，所述方法包括：
12.获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
13.构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取
子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
14.根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
15.将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
16.进一步的，所述瑕疵样本特征包括四个不同尺寸的特征图，分别为所述瑕疵样本特征提取子网络中第二个特征提取层到第五个特征提取层输出的特征图；
17.所述正常样本特征包括所述正常样本特征提取子网络中第四个特征提取层与第五个特征提取层输出的特征图f4′
、f5′
；
18.所述利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图，包括：
19.将所述瑕疵样本特征提取子网络中第四、五个特征提取层输出的特征图f4、f5，分别与所述特征图f4′
、f5′
按元素相减，得到差异特征图f4″
、f5″
；
20.将所述瑕疵特征提取子网络中第二、三特征提取层输出的特征图f2、f3与所述差异特征f4″
、f5″
输入所述特征金字塔子网络，所述特征金字塔子网络对f2、f3、f4″
、f5″
进行特征融合，输出多张不同尺度的特征图，作为融合特征图；其中，所述特征金字塔子网络包括多个上采样操作层。
21.进一步的，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层；
22.所述利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合，包括：
23.将所述融合特征图依次输入所述预处理层，所述预处理层根据所述融合特征图的尺寸相应地生成不同尺寸的先验框，用于粗略检测瑕疵目标的位置；其中，所述融合特征图包括多张特征图；
24.将所述先验框输入所述先验框二分类层，生成先验框的置信度；
25.将所述先验框输入所述先验框位置调整层，生成先验框的偏移量；
26.根据所述置信度，挑选出置信度较高的先验框；根据所述偏移量对置信度较高的先验框进行位置偏差调整，输出瑕疵目标候选框集合。
27.进一步的，所述瑕疵分类子网络包括瑕疵特征处理模块、瑕疵分类模块和候选框调整模块；
28.所述利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果，包括：
29.将所述瑕疵目标候选框集合中任一瑕疵目标候选框对应到所述特征金字塔子网络输出的融合特征图上，将对应的融合特征图和所述瑕疵目标候选框经过roi pooling操
作后，得到瑕疵特征图；将所述瑕疵特征图输入所述瑕疵特征处理模块；
30.将所述瑕疵特征处理模块的输出特征输入所述瑕疵分类模块，用于对所述瑕疵目标候选框进行分类，得到瑕疵的类别；
31.将所述瑕疵特征处理模块的输出特征输入所述候选框调整模块，生成瑕疵目标候选框的偏移量，用于对所述瑕疵目标候选框的位置进行调整，得到优化后的瑕疵位置。
32.进一步的，所述根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型，包括：
33.利用所述正常样本训练集与瑕疵样本训练集对所述正常样本特征提取子网络进行训练，得到训练好的正常样本特征提取子网络；其中，损失函数为交叉熵损失函数，所述正常样本特征提取子网络包括分类层；
34.将所述训练好的正常样本特征提取子网络导入至所述网络模型中，利用所述正常样本训练集与瑕疵样本训练集对所述网络模型进行训练，根据所述预测结果和所述瑕疵信息，通过优化所述区域生成子网络的损失函数和所述瑕疵分类子网络的损失函数，从而实现网络模型的收敛，得到训练好的网络模型。
35.进一步的，所述预测结果包括瑕疵的类别和位置；
36.所述区域生成子网络的损失函数为：
[0037][0038]
其中，pi为先验框i的置信度，为先验框i的标签，其值为1或0，是通过计算先验框i与所述瑕疵信息中的瑕疵位置的交并比得出；若为1，则ti为先验框i的偏移量，为先验框i与所述瑕疵信息中的瑕疵位置的偏移量；n
rpn_cls
为先验框中被标记为1和0的先验框的总数，n
rpn_reg
为先验框中被标记为1的先验框的总数，λ为权重参量；分类损失l
rpn_cls
使用交叉熵损失函数，回归损失l
rpn_reg
使用smooth l1 loss，即：
[0039][0040]
所述瑕疵分类子网络的损失函数为：
[0041][0042]
其中，pk为网络预测的瑕疵目标候选框k的类别，为该瑕疵目标候选框对应的瑕疵类别标签，tk为网络预测的瑕疵目标候选框k的偏移量，为该瑕疵目标候选框与所述瑕疵信息中的瑕疵位置的真实偏移量；n为瑕疵目标候选框总数；分类损失l
ide_cls
使用交叉熵损失函数，回归损失l
ide_reg
使用smooth l1 loss。
[0043]
进一步的，所述瑕疵样本特征提取子网络包括5个特征提取层，采用resnet101网络结构，每个特征提取层的结构不同并依次连接；
[0044]
所述利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征，包括：
[0045]
将所述瑕疵样本数据集中的有瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；
[0046]
将第二个特征提取层到第五个特征提取层输出的包含瑕疵特征与背景特征的不同尺寸的特征图作为瑕疵样本特征。
[0047]
进一步的，所述正常样本特征提取子网络包括5个特征提取层，采用resnet101网络结构，每个特征提取层的结构不同并依次连接；
[0048]
所述利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征，包括：
[0049]
将所述正常样本数据集中的无瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；
[0050]
将第四个特征提取层与第五个特征提取层输出的包含背景信息的不同尺寸的特征图作为正常样本特征。
[0051]
进一步的，所述将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类，包括：
[0052]
将待测的注塑件图像输入所述训练好的网络模型中的正常样本特征提取子网络，根据输出结果判断是否存在瑕疵；
[0053]
若存在，则将待测的注塑件图像输入所述训练好的网络模型中的瑕疵特征提取子网络，并在正常样本特征提取子网络输入预存的无瑕疵样本图像；
[0054]
根据所述训练好的网络模型输出的预测结果，完成瑕疵图像中瑕疵的检测与分类。
[0055]
进一步的，所述获取训练数据集，包括：
[0056]
在同一光照、同一背景下拍摄具有明显瑕疵特征的注塑件图像俯视图以及无瑕疵特征的注塑件图像俯视图；
[0057]
对每一张具有明显瑕疵特征的注塑件图像俯视图，人工标注瑕疵信息，将所述具有明显瑕疵特征的注塑件图像俯视图作为有瑕疵图像，所有有瑕疵图像构成瑕疵样本数据集；其中，所述瑕疵信息包括瑕疵位置与类别；
[0058]
将所述无瑕疵特征的注塑件图像俯视图作为无瑕疵图像，所有无瑕疵图像构成正常样本数据集；
[0059]
所述瑕疵样本数据集和所述正常样本数据集构成训练数据集。
[0060]
本发明的第二个目的可以通过采取如下技术方案达到：
[0061]
一种基于正常样本辅助特征提取的注塑件瑕疵检测装置，所述装置包括：
[0062]
数据集获取模块，用于获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
[0063]
模型构建模块，用于构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成
子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
[0064]
模型训练模块，用于根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
[0065]
检测模块，用于将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
[0066]
本发明的第三个目的可以通过采取如下技术方案达到：
[0067]
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的注塑件瑕疵检测方法。
[0068]
本发明的第四个目的可以通过采取如下技术方案达到：
[0069]
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的注塑件瑕疵检测方法。
[0070]
本发明相对于现有技术具有如下的有益效果：
[0071]
本发明提供的方法，通过采用两个独立的resnet特征提取网络分别提取有瑕疵图像中的瑕疵样本特征以及无瑕疵图像中的正常样本特征；采用特征金字塔网络将瑕疵样本特征与正常样本特征作差得到的差异特征与原瑕疵特征进行特征融合；采用区域生成子网络生成瑕疵目标候选框；采用瑕疵分类子网路对瑕疵目标候选框进行类型分类与位置调整等技术手段，实现了注塑件瑕疵区域特征的有效提取与识别，进而获得注塑件瑕疵定位与瑕疵分类，为注塑件的生产制备技术提供指导性意见。
附图说明
[0072]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0073]
图1为本发明实施例1的基于正常样本辅助特征提取的注塑件瑕疵检测方法的流程图。
[0074]
图2为本发明实施例1的网络模型的结构示意图。
[0075]
图3为本发明实施例1的网络模型对数据集中的注塑件图像进行处理的流程图。
[0076]
图4为本发明实施例1的瑕疵样本特征提取子网络的结构示意图。
[0077]
图5为本发明实施例1的正常样本特征提取子网络的结构示意图。
[0078]
图6为本发明实施例1的特征金字塔子网络的结构示意图。
[0079]
图7为本发明实施例1的区域生成子网络的结构示意图。
[0080]
图8为本发明实施例1的瑕疵分类子网络的结构示意图。
[0081]
图9为本发明实施例2的基于正常样本辅助特征提取的注塑件瑕疵检测装置的结构框图。
[0082]
图10为本发明实施例3的计算机设备的结构框图。
具体实施方式
[0083]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0084]
实施例1：
[0085]
本实施例基于pytorch框架和pycharm的开发环境实现。pytorch框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学习网络，同时具有很好的跨平台交互能力，能够提供深度学习架构中的众多封装函数和各类图像处理函数的接口；包括opencv相关的图像处理函数，同时能够使用gpu对模型进行训练和验证，提高了计算的效率。
[0086]
在windows平台或者linux平台下的pycharm开发环境(ide)，是目前深度学习网络设计与开发的首选之一。pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。
[0087]
如图1所示，本实施例提供了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法，包括以下步骤：
[0088]
s101、获取训练数据集，训练数据集包括正常样本数据集和瑕疵样本数据集。
[0089]
进一步的，步骤s101具体包括：
[0090]
(1)获取正常样本数据集。
[0091]
本实施例使用工业摄像头拍摄统一光照、统一背景条件下的1000张无瑕疵注塑件俯视图像，作为正常样本数据集。无瑕疵注塑件俯视图像简称为无瑕疵图像。
[0092]
(2)获取瑕疵样本数据集。
[0093]
本实施例使用工业摄像头拍摄与上述统一光照、统一背景条件下的2000张具有不同瑕疵类型的注塑件俯视图像，作为瑕疵样本数据集，人工标注瑕疵位置与类别。具有不同瑕疵类型的注塑件俯视图像简称为有瑕疵图像。
[0094]
s102、将训练数据集中的注塑件图像输入网络模型，得到预测结果。
[0095]
如图2所示，构建的网络模型包括5个子网络，分别为瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络。
[0096]
进一步的，如图3所示，步骤s102具体包括：
[0097]
(1)利用瑕疵样本特征提取子网络对瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征。
[0098]
如图4所示，瑕疵样本特征提取子网络模型包括5个模块，分别为特征提取层1，特征提取层2、特征提取层3、特征提取层4和特征提取层5，采用resnet101网络结构，其中残差结构包括3个卷积核，卷积核大小依次为1、3、1，步长均默认为1。
[0099]
特征提取层1包括1个卷积层和1个最大池化层，卷积核大小为7，步长为2，最后生成64通道的图像特征，最大池化层大小为3，步长为2；
[0100]
特征提取层2包括级联的3个残差结构，残差结构中卷积核生成的通道数依次为64、64、256，步长均为1，其中，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道
数为256的卷积核，保证捷径分支与主分支的通道数相同；
[0101]
特征提取层3包括级联的4个残差结构，残差结构中卷积核生成的通道数依次为128、128、512，其中，第一个残差模块的3
×
3卷积核的步长为2，其余卷积核的步长均为1，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道数为512的卷积核，保证捷径分支与主分支的通道数相同；
[0102]
特征提取层4包括级联的23个残差结构，残差结构中卷积核生成的通道数依次为256、256、1024，其中，第一个残差模块的3
×
3卷积核的步长为2，其余卷积核的步长均为1，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道数为1024的卷积核，保证捷径分支与主分支的通道数相同；
[0103]
特征提取层5包括级联的3个残差结构，残差结构中卷积核生成的通道数依次为512、512、2048，其中，第一个残差模块的3
×
3卷积核的步长为2，其余卷积核的步长均为1，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道数为2048的卷积核，保证捷径分支与主分支的通道数相同；
[0104]
特征提取层2到特征提取层5所生成的特征图大小分别为：
[0105][0106]
其中，h、w表示输入图像的高度和宽度。
[0107]
在训练过程中，将瑕疵样本数据集中的图像输入此网络，将从特征提取层2到特征提取层5生成4个特征图进行输出。
[0108]
(2)利用正常样本特征提取子网络对正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征。
[0109]
如图5所示，正常样本特征提取子网络包括6个模块，分别为特征提取层1、特征提取层2、特征提取层3、特征提取层4、特征提取层5和分类层，前五层采用resnet101网络结构，其基本结构与图3相似，可参考步骤(1)中瑕疵样本特征提取子网络的网络模型，分类层为长度为2的全连接层。
[0110]
特征提取层4、特征提取层5所生成的特征图大小分别为：
[0111][0112]
其中，h、w表示输入图像的高度和宽度。
[0113]
在训练过程中，将正常样本数据集中的图像输入此网络，将从特征提取层4和特征提取层5生成2个特征图进行输出。
[0114]
(3)利用特征金字塔子网络对瑕疵样本特征与正常样本特征进行特征融合，得到多张不同尺度的融合特征图。
[0115]
如图6所示，特征金字塔子网络包括4个大小为3、步长为1、输出通道数为256的卷积核，4个大小为1、步长为1、输出通道数为256的卷积核，3个上采样操作层、使得输入特征图的宽度和高度分别放大两倍以便进行特征融合，以及3个特征元素相加运算单元。
[0116]
将步骤(1)中特征提取层4和5生成的特征图f4、f5分别与步骤(2)中特征提取层4和5生成的特征图f4′
、f5′
进行按元素相减操作，得到2个深层纯瑕疵特征图f4″
、f5″
。将步骤(1)中的由特征提取层2和3生成的浅层瑕疵特征f2、f3，与上述深层纯瑕疵特征图f4″
、f5′
输
入至特征金字塔子网络进行特征融合，输出四个融合特征图p2、p3、p4、p5，具体的合成机制为：
[0117]
p2,p3,p4,p5＝f
p
(f2,f3,f4″
,f5″
)
[0118]
其中，表示特征图的按元素相减操作，f
p
表示特征金字塔子网络。
[0119]
(4)将融合特征图依次输入区域生成子网络，生成瑕疵目标候选框集合。
[0120]
如图7所示，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层。其中，预处理层包含一个预处理卷积核c
p
，预处理卷积核c
p
大小为3、步长为1、输出通道数为512，用于对输入的特征图进行预处理，同时，预处理层根据输入的特征图的规模相应地生成适合当前特征图的不同尺寸的先验框，用于粗略检测瑕疵目标的位置；先验框二分类层包含一个二分类卷积核cc，二分类卷积核cc大小为1、步长为1、输出通道数为a
×
2，用于对预处理层生成先验框标注置信度；先验框位置调整层包含一个回归卷积核cr，分类卷积核cr大小为1，步长为1，输出通道数为a
×
4，用于对先验框的位置进行调整；其中，a为不同尺寸的先验框种类数。具体合成机制为：
[0121]
l2，l3，l4，l5＝c
p
(p2，p3，p4，p5)
[0122]
c2，c3，c4，c5＝cc(l2，l3，l4，l5)
[0123]
r2，r3，r4，r5＝cr(l2，l3，l4，l5)
[0124]
其中l2，l3，l4，l5分别表示特征图p2，p3，p4，p5依次通过预处理卷积核c
p
后的输出特征，c2，c3，c4，c5为l2，l3，l4，l5依次通过二分类卷积核cc后的输出特征，r2，r3，r4，r5为l2，l3，l4，l5依次通过回归卷积核cr后的输出特征。
[0125]
网络根据c2，c3，c4，c5分别给出对应于特征图p2，p3，p4，p5的各个先验框包含瑕疵特征的置信度，挑选出置信度较高的先验框；根据r2，r3，r4，r5对上述挑选出的高置信度先验框进行位置偏差调整，输出可能的瑕疵目标候选框集合{roi1，roi2，...}。
[0126]
(5)利用瑕疵分类子网络对瑕疵目标候选框集合中的瑕疵目标候选框中的瑕疵特征进行识别，得到网络模型的预测结果，预测结果包括瑕疵的类别及位置。
[0127]
如图8所示，瑕疵分类子网络包括瑕疵特征处理模块、瑕疵分类模块与候选框调整模块。将区域生成子网络提出的候选框roii分别对应到金字塔特征提取子网络得到的特征图p2，p3，p4，p5上，提取出对应于候选框经过roi pooling操作后的瑕疵特征图瑕疵特征处理模块包含两个全连接层：全连接层1和2，用于预处理瑕疵特征瑕疵分类模块包含一个全连接层3，用于将候选框roii中的瑕疵进行分类；瑕疵候选框调整模块包含一个全连接层4，用于对候选框roii的位置进行进一步调整。具体合成机制为：
[0128][0129][0130]ocls
＝fc
cls
(o
pre
)
[0131]oreg
＝fc
reg
(o
pre
)
[0132]
其中，roii表示区域生成子网络提出的第i个候选框，pj表示roii对应的由金字塔特征提取子网络生成的第j个特征图，f
sep
()表示根据roii分离出pj中瑕疵特征图并进行roi pooling的操作，表示经roi pooling操作后得到的与roii相对应的瑕疵特征图i；
flat()为将高维张量拉伸为向量的操作，fc1、fc2表示瑕疵特征处理模块的两个全连接层；fc
cls
表示瑕疵分类模块的全连接层；fc
reg
表示候选框调整模块的全连接层；o
cls
、o
reg
分别表示瑕疵分类结果、候选框回归结果。
[0133]
全连接层1和2用于处理瑕疵特征，长度均为1024；全连接层3的长度为x，x为瑕疵的类别数+1；全连接层4的长度为4，用于进一步调整候选框的位置。
[0134]
s103、根据预测结果和瑕疵样本数据集中人工标注的瑕疵信息，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型。
[0135]
进一步的，步骤s103具体包括：
[0136]
(1)利用正常样本训练集与瑕疵样本训练集对正常样本特征提取子网络进行训练，得到训练好的正常样本特征提取子网络。
[0137]
使用正常样本训练集与瑕疵样本训练集对正常样本特征提取子网络进行二分类训练，提高正常样本特征提取子网络提取正常样本特征的能力。
[0138]
训练正常样本特征提取子网络，将正常样本特征提取子网络作为二分类网络，选择损失函数为交叉熵损失函数，通过输入训练数据集、优化损失函数以提高正常样本特征提取子网络对于正常无瑕疵样本的辨别能力；
[0139]
正常样本特征提取子网络的训练是在高性能的gpu上进行的，具体的训练参数设计如下：可以使用adam优化器，其参数设置为0.9/0.999；学习率的设置为0.0001；训练的epoch设置为400；训练的batch设置依据数据的训练样本而定。
[0140]
(2)将训练好的正常样本特征提取子网络导入网络模型，利用训练数据集对网络模型进行训练，得到训练好的网络模型。
[0141]
使用训练好的正常样本特征提取子网络，训练总体的网络模型，具体的训练参数设计如下：
[0142]
使用adam优化器，其参数设置为0.9/0.999；网络模型训练所需的epoch设置为100，学习率初始值设置为0.0001。为了使到模型在训练过程中尽可能达到最优值，避免达到次优值，利用余弦退火策略将学习率随着epoch增加而不断减小；batch设置依据训练数据集以及gpu内存大小而定，当训练数据集样本大并且gpu内存大时，batch可以设置比较大，反之亦然。
[0143]
设置区域生成子网络的损失函数，如下所示：
[0144][0145]
其中，pi为第i个先验框的置信度，为先验框i的标签，其值为1或0，是通过计算先验框i与所述瑕疵信息中的瑕疵位置的交并比得出；若为1，则ti为先验框i的偏移量，为先验框i与所述瑕疵信息中的瑕疵位置的偏移量；n
rpn_cls
为先验框中被标记为1和0的先验框的总数，n
rpn_reg
为先验框中被标记为1的先验框的总数，λ为权重参量；分类损失l
rpn_cls
使用交叉熵损失函数，回归损失l
rpn_reg
使用smooth l1 loss，即：
[0146][0147]
设置瑕疵分类子网络的损失函数，如下所示：
[0148][0149]
其中，pk为网络预测的瑕疵目标候选框k的类别，为该瑕疵目标候选框对应的瑕疵类别标签，tk为网络预测的瑕疵目标候选框k的偏移量，为该瑕疵目标候选框与所述瑕疵信息中的瑕疵位置的真实偏移量；n为瑕疵目标候选框总数；分类损失l
ide_cls
使用交叉熵损失函数，回归损失l
ide_reg
使用smooth l1 loss。
[0150]
通过优化上述损失函数，从而实现网络模型的收敛。
[0151]
s104、将待测的注塑件图像输入训练好的网络模型，完成瑕疵的检测与分类。
[0152]
将采集到的注塑件图像输入训练好的网络模型中的正常样本特征提取子网络，根据分类结果判断是否存在瑕疵，若存在，则将瑕疵图像输入训练好的网络模型中的瑕疵特征提取子网络，并在正常样本特征提取子网络输入一张预存的正常无瑕疵样本图像；根据网络模型的预测结果实现瑕疵图像中瑕疵的检测与分类。
[0153]
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
[0154]
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0155]
实施例2：
[0156]
如图9所示，本实施例提供了一种基于正常样本辅助特征提取的注塑件瑕疵检测装置，该装置包括数据集获取模块901、模型构建模块902、模型训练模块903和检测模块904，其中：
[0157]
数据集获取模块901，用于获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
[0158]
模型构建模块902，用于构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
[0159]
模型训练模块903，用于根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
[0160]
检测模块904，用于将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
[0161]
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，
可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0162]
实施例3：
[0163]
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图10所示，其通过系统总线1001连接的处理器1002、存储器、输入装置1003、显示器1004和网络接口1005，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1006和内存储器1007，该非易失性存储介质1006存储有操作系统、计算机程序和数据库，该内存储器1007为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1002执行存储器存储的计算机程序时，实现上述实施例1的注塑件瑕疵检测方法，如下：
[0164]
获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
[0165]
构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
[0166]
根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
[0167]
将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
[0168]
实施例4：
[0169]
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的注塑件瑕疵检测方法，如下：
[0170]
获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
[0171]
构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
[0172]
根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
[0173]
将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
[0174]
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限
于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0175]
综上所述，本发明公开了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备及存储介质，通过获取训练数据集，训练数据集包括正常样本数据集和瑕疵样本数据集；利用网络模型中的瑕疵样本特征提取子网络对瑕疵样本数据集中有瑕疵图像进行特征提取，得到瑕疵样本特征；利用网络模型中的正常样本特征提取子网络对正常样本数据集中无瑕疵图像进行特征提取，得到正常样本特征；利用网络模型中的特征金字塔子网络对瑕疵样本特征与正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用网络模型中的区域生成子网络对融合特征图进行检测，得到瑕疵候选框；利用网络模型中的瑕疵分类网络对瑕疵候选框中的瑕疵特征进行识别，得到瑕疵的类别及位置；根据瑕疵的类别及位置与瑕疵样本数据集中人工标注的瑕疵信息，优化网络模型的损失函数，得到训练好的网络模型；将待测的图像输入训练好的网络模型，完成瑕疵的检测与分类。本发明通过构建网络模型，能够提取注塑件图像中精确的瑕疵区域特征，获得准确的瑕疵类别与目标位置，能够为注塑机制备工艺提供指导性意见。
[0176]
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。