喷丝嘴缺陷检测方法、装置、电子设备及可读存储介质与流程

1.本技术涉及机器视觉缺陷检测技术领域，尤其涉及一种喷丝嘴缺陷检测方法、装置、电子设备及可读存储介质。


背景技术：

2.缺陷检测被广泛应用于工件表面质量检测、航空航天领域等多个领域，由于喷丝嘴孔的孔径小、孔数多，在生产制造以及喷丝的过程中容易存在堵塞、毛刺、不圆等缺陷，该缺陷影响喷丝的质量，而为了满足实际生产的需要，对喷丝嘴进行缺陷检测是一个必不可少的环节。
3.现有技术中，可以通过人工在高倍放大镜下观察喷丝孔，使用肉眼逐一观测检查，根据观察结果直接给出质检结果，也可以利用灰度化、边缘检测、圆检测等传统机器学习方法逐步检测出圆形、矩形等形状的喷丝孔，判断喷丝孔是否存在缺陷，具体的，可以对采集到的喷丝嘴图像进行灰度变换，对进行灰度变换后的图像进行感兴趣区域(regions of interest，roi)提取，进一步的，对提取到的roi区域进行断开连通域处理，并对断开后的连通域进行边缘增强，然后，在对增强后的各连通域进行边缘提取后，对各连通域进行拟合圆处理，最后，基于拟合圆的数量和状态判断喷丝孔是否存在缺陷。
4.但是，人工检测方法存在检测效率低、人工成本高、检测结果不客观等问题，而传统机器学习方法无法适应喷孔形状各异的特点，致使准确率较低，且算法耗时高，质检效率低，很难满足实际使用要求。


技术实现要素：

5.本技术提供一种喷丝嘴缺陷检测方法、装置、电子设备及可读存储介质，可以解决人工检测方法检测效率低、人工成本高、检测结果不客观等问题以及传统机器学习方法无法适应喷孔形状各异的特点，准确率较低，算法耗时高，质检效率低等问题，在提高质检结果的准确性、稳定性的基础上减少人工依赖，提高质检效率。
6.第一方面，本技术提供一种喷丝嘴缺陷检测方法，所述方法包括：
7.获取喷丝嘴的输入图像和预定义的喷孔数量；
8.将所述输入图像输入预先训练好的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，得到喷丝嘴区域子图；所述第一级目标检测模型为基于神经网络构建的深度学习模型；
9.基于滑动窗算法按照预设的步长对所述喷丝嘴区域子图进行分块，得到m张第一分块子图；m为大于2的正整数；
10.将所述m张第一分块子图输入预先训练好的第二级目标检测模型中，得到m个检测结果；所述第二级目标检测模型为基于卷积神经网络构建的深度学习模型；
11.将所述m个检测结果进行拼接和去重过滤，得到输出图像，并提取所述输出图像中的喷孔数量；
12.判断所述输出图像中的喷孔数量与所述预定义的喷孔数量是否一致，若一致，则所述喷丝嘴为合格品，否则，则确定喷丝嘴存在缺陷。
13.可选的，所述方法还包括：
14.获取第一训练数据集，所述第一训练数据集中的每一训练数据包括：喷丝嘴图像和喷丝嘴所在区域；
15.根据所述第一训练数据集，对第一级目标检测模型进行训练；
16.相应的，将所述输入图像输入预先训练好的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，得到喷丝嘴区域子图，包括：
17.将所述输入图像输入通过所述第一训练数据集训练得到的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，并根据所述喷丝嘴区域将所述输入图像裁剪为喷丝嘴区域子图；所述喷丝嘴区域包括喷丝嘴的位置和大小。
18.可选的，所述方法还包括：
19.获取第二训练数据集，所述第二训练数据集中的每一训练数据包括：对喷丝嘴区域进行分块后的m张第二分块子图、每个第二分块子图对应的喷丝嘴类型以及第二分块子图中的喷孔数量；其中，所述m张第二分块子图为经过降噪处理的子图，和/或，所述m张第二分块子图为多个旋转角度下的子图；
20.根据所述第二训练数据集，对第二级目标检测模型进行训练；
21.相应的，把所述m张第一分块子图输入预先训练好的第二级目标检测模型中，得到m个检测结果，包括：
22.将所述m张第一分块子图输入通过所述第二训练数据集训练得到的第二级目标检测模型中，检测出每张第一分块子图在任意角度下对应的标准子图，得到m个检测结果。
23.可选的，基于滑动窗算法按照预设的步长对所述喷丝嘴区域子图进行分块，得到m张第一分块子图，包括：
24.获取所述喷丝嘴区域子图中最大喷孔的尺寸；
25.基于滑动窗算法按照预设的步长对输出的喷丝嘴区域子图进行分块处理，得到多张分块子图；
26.判断相邻两张分块子图的重叠区域尺寸是否大于所述最大喷孔的尺寸；
27.若是，则所述多张分块子图为得到的m张第一分块子图；
28.若否，则减少预设的步长的长度，并基于减少后的预设的步长处理得到m张第一分块子图。
29.可选的，减少预设的步长的长度，并基于减少后的预设的步长处理得到m张第一分块子图，包括：
30.根据所述最大喷孔的尺寸计算重叠区域的最小尺寸，并基于所述最小尺寸减少步长；
31.利用滑动窗算法按照减少后的步长对所述喷丝嘴区域子图进行分块处理，得到m张第一分块子图。
32.可选的，将所述m个检测结果进行拼接和去重过滤，得到输出图像，并提取所述输出图像中的喷孔数量，包括：
33.将所述m个检测结果按照所述预设的步长进行拼接，合并为第一图像；
34.利用非极大值抑制nms对所述第一图像中的m个检测结果进行去重过滤，得到输出图像；
35.提取并统计所述输出图像中的喷孔数量。
36.可选的，所述检测结果包括合格喷丝孔的位置和大小，所述方法还包括：
37.若确定所述喷丝嘴存在缺陷，则基于所述输出图像中的喷孔数量计算存在缺陷的所述喷丝嘴中异常喷丝孔的数量，并基于所述检测结果确定所述异常喷丝孔的位置和大小；
38.根据所述异常喷丝孔的数量、位置和大小生成指示信息，并发送所述指示信息，用于提醒用户基于所述指示信息查找所述喷丝嘴中的异常喷丝孔。
39.第二方面，本技术还提供了一种喷丝嘴缺陷检测装置，所述装置包括：
40.获取模块，用于获取喷丝嘴的输入图像和预定义的喷孔数量；
41.第一检测模块，用于将所述输入图像输入预先训练好的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，得到喷丝嘴区域子图；所述第一级目标检测模型为基于神经网络构建的深度学习模型；
42.分块模块，用于基于滑动窗算法按照预设的步长对所述喷丝嘴区域子图进行分块，得到m张第一分块子图；m为大于2的正整数；
43.第二检测模块，用于将所述m张第一分块子图输入预先训练好的第二级目标检测模型中，得到m个检测结果；所述第二级目标检测模型为基于卷积神经网络构建的深度学习模型；
44.处理模块，用于将所述m个检测结果进行拼接和去重过滤，得到输出图像，并提取所述输出图像中的喷孔数量；
45.判断模块，用于判断所述输出图像中的喷孔数量与所述预定义的喷孔数量是否一致，若一致，则所述喷丝嘴为合格品，否则，则确定喷丝嘴存在缺陷。
46.第三方面，本技术还提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
47.所述存储器存储计算机执行指令；
48.所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面任一项所述的方法。
49.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
50.综上所述，本技术提供一种喷丝嘴缺陷检测方法、装置、电子设备及可读存储介质，该方法可以获取喷丝嘴的输入图像和预定义的喷孔数量；进一步的，将输入图像输入预先训练好的基于神经网络构建的深度学习模型中，检测出输入图像中的喷丝嘴区域，得到喷丝嘴区域子图；进一步的，可以基于滑动窗算法按照预设的步长对喷丝嘴区域子图进行分块，得到m张第一分块子图；m为大于2的正整数，并将m张第一分块子图输入预先训练好的基于卷积神经网络构建的深度学习模型中，得到m个检测结果；进一步的，将m个检测结果进行拼接和去重过滤，得到输出图像，然后提取输出图像中的喷孔数量，用于判断喷丝嘴是否为合格品，若输出图像中的喷孔数量与预定义的喷孔数量一致，则喷丝嘴为合格品，否则，
则确定喷丝嘴存在缺陷。这样，不仅可以适应喷丝嘴的喷丝孔形状各异的特点，应用范围广，而且可以提高检测效率和准确率，节省人工成本，满足实际使用要求。
附图说明
51.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
52.图1为本技术实施例提供的一种应用场景示意图；
53.图2为本技术实施例提供的一种喷丝嘴缺陷检测方法的流程示意图；
54.图3为本技术实施例提供的一种具体的喷丝嘴缺陷检测方法的流程图；
55.图4为本技术实施例提供的一种喷丝嘴缺陷检测装置的结构示意图；
56.图5为本技术实施例提供的一种电子设备的结构示意图。
57.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
58.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
59.为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一设备和第二设备仅仅是为了区分不同的设备，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
60.需要说明的是，本技术中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
61.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
62.下面结合附图对本技术实施例进行介绍。图1为本技术实施例提供的一种应用场景示意图，本技术提供的一种喷丝嘴缺陷检测方法可以应用于如图1所示的应用场景中。该应用场景包括：第一喷丝嘴101和第二喷丝嘴102，超高倍相机103，服务器104，终端设备105和用户106；其中，第一喷丝嘴101的喷丝孔类型为长形喷丝孔，第二喷丝嘴102的喷丝孔类
型为圆形喷丝孔，在工业应用中喷丝需要从这些喷丝孔中喷出，正常情况下合格的喷丝嘴中每个喷丝孔都是通透、均匀、完整的，由此喷出的喷丝也是均匀的、合格的，若有喷丝孔出现了堵塞、不完整等情况时，则认为该喷丝嘴质量不合格。
63.在该场景下，超高倍相机103可以拍摄第一喷丝嘴101或第二喷丝嘴102的超高分辨率的图像，并将拍摄到的超高分辨率的图像发送给服务器104进行处理，进一步的，服务器104可以接收超高分辨率的图像并进行一系列检测处理，进一步的，服务器104还可以将检测出的结果发送给具有显示屏幕的终端设备105，终端设备105接收该检测出的结果并在屏幕上展示给用户106进行查看。
64.需要说明的是，终端设备105可以是大屏(或称为智慧屏)、手机、平板电脑、智能手表、智能手环、智能眼镜或其他具备显示屏幕的终端设备等，本技术实施例对此不作具体限定。
65.现有技术中，可以通过人工在高倍放大镜下观察喷丝孔，使用肉眼逐一观测检查，根据观察结果直接给出质检结果，也可以利用灰度化、边缘检测、圆检测等传统机器学习方法逐步检测出圆形、矩形等形状的喷丝孔，判断喷丝孔是否存在缺陷，具体的，可以对采集到的喷丝嘴图像进行灰度变换，对进行灰度变换后的图像进行roi提取，进一步的，对提取到的roi区域进行断开连通域处理，并对断开后的连通域进行边缘增强，然后，在对增强后的各连通域进行边缘提取后，对各连通域进行拟合圆处理，最后，基于拟合圆的数量和状态判断喷丝孔是否存在缺陷。
66.但是，上述人工检测方法存在检测效率低、人工成本高、检测结果不客观等问题，而传统机器学习方法无法适应喷孔形状各异的特点，致使准确率较低，且算法耗时高，质检效率低，很难满足实际使用要求。
67.因此，本技术提供一种喷丝嘴缺陷检测方法，该方法可以将采集到的喷丝嘴图像输入预先训练好的基于神经网络构建的深度学习模型中，检测出喷丝嘴所在的区域并按照该区域对喷丝嘴图像进行裁剪，进一步，将裁剪后的图像基于滑动窗算法以重叠滑动窗的方式进行分块，并将分块后的图像输入预先训练好的基于卷积神经网络构建的深度学习模型中，得到多个检测结果，进一步的，将多个检测结果进行拼接和去重过滤，得到输出图像，并提取输出图像中的喷孔数量，用于判断喷丝嘴是否为合格品，若喷孔数量与预定义的喷孔数量一致，则喷丝嘴为合格品，否则，则确定喷丝嘴存在缺陷。这样，不仅可以适应喷丝嘴的喷丝孔形状各异的特点，应用范围广，而且可以提高检测效率和准确率，节省人工成本，满足实际使用要求。
68.示例性的，图2为本技术实施例提供的一种喷丝嘴缺陷检测方法的流程示意图，如图2所示，本技术实施例的方法包括：
69.s201、获取喷丝嘴的输入图像和预定义的喷孔数量。
70.本技术实施例中，喷丝嘴中的喷丝孔的孔径非常小，通常在0.1-0.3mm，而且喷丝嘴中的喷丝孔数量、喷孔排列共有十余种组合，因此每个喷丝嘴上有不同数量、不同形状的喷丝孔，喷丝嘴的输入图像是由能够拍摄超高分辨率的图像的仪器采集，例如，可以获取超高倍相机采集的喷丝嘴的输入图像。
71.预定义的喷孔数量指的是对于任意一种类型的合格的喷丝嘴所包含的喷丝孔数量，该数量是已知的，可以由操作人员输入，也可以从系统数据库中调用，本技术实施例对
预定义的喷孔数量的具体数值和来源不作具体限定，例如，可以获取操作人员输入的某种类型的喷丝嘴包含的8个喷孔数量。
72.示例性的，在图1的应用场景下，以第一喷丝嘴101为例，服务器104可以获取超高倍相机103采集的第一喷丝嘴101的输入图像和操作人员输入的第一喷丝嘴101应包含的8个喷孔数量。
73.s202、将所述输入图像输入预先训练好的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，得到喷丝嘴区域子图；所述第一级目标检测模型为基于神经网络构建的深度学习模型。
74.本技术实施例中，神经网络是一门重要的机器学习技术，其网络结构包括输入层，隐含层，输出层，且隐含层的层数是可以设置的。神经网络的训练过程主要是利用反向传播的原理来进行的网络梯度下降寻优以找到最好模型参数，可以用于图像识别、语音识别和文本识别，等。
75.深度学习模型可以指的是基于一个深度学习算法的体系结构，可以用于迭代训练数据。例如，yolov5模型，yolov4模型，ssd(single shot multibox detector)模型，faster-rcnn模型，等。
76.示例性的，在图1的应用场景下，以第一喷丝嘴101为例，服务器104可以将超高倍相机103拍摄到的第一喷丝嘴101的输入图像输入预先训练好的yolov5模型中，进一步的，检测出第一喷丝嘴101的输入图像中的喷丝嘴的位置和大小所在的区域，得到喷丝嘴区域子图。
77.可以理解的是，本技术的第一级目标检测模型可以识别多数量、多类型、多排列的喷丝嘴中的喷丝孔，适用范围广。
78.s203、基于滑动窗算法按照预设的步长对所述喷丝嘴区域子图进行分块，得到m张第一分块子图；m为大于2的正整数。
79.本技术实施例中，滑动窗算法可以指的是通过限制各个窗口内所能接收的最大信元数对数组或字符串进行控制的算法，而预设的步长可以指的是各个窗口的滑动的长度，例如，设定滑动窗口大小为3，预设的步长为1，当滑动窗口每次划过数组时，每间隔一个元素移动一次窗口，每次窗口中包含3个元素。
80.需要说明的是，任意相邻两张分块子图的重叠区域尺寸为任意一张分块子图的长度与设定的预设步长之差，而为了不丢失任何喷丝孔，重叠区域尺寸至少要大于喷丝孔中最大喷丝孔的尺寸。
81.可以理解的是，滑动说明窗口是移动的，也就是说移动是按照一定方向来的，而窗口大小并不是固定的，可以不断扩容直到满足一定的条件，也可以不断缩小，直到找到一个满足条件的最小窗口，也可以是固定大小，本技术实施例对此不作具体限定。
82.示例性的，在图1的应用场景下，以第一喷丝嘴101为例，可以基于滑动窗算法按照步长为1将服务器104检测出第一喷丝嘴101的喷丝嘴区域子图分割成大小相同的9张第一分块子图，其中，该9张第一分块子图中任意两张的重叠区域尺寸大于第一喷丝嘴101中喷丝孔中最大喷丝孔的尺寸。
83.s204、将所述m张第一分块子图输入预先训练好的第二级目标检测模型中，得到m个检测结果；所述第二级目标检测模型为基于卷积神经网络构建的深度学习模型。
84.本技术实施例中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如对图片的像素进行学习，有稳定的效果且对数据没有额外的特征工程要求。
85.可以理解的是，卷积神经网络不同于神经网络，在图片处理这方面卷积神经网络有更好的表现，具体的，卷积神经网络可以通过空间变换，将在预测之前定义轴和图像边界，从而帮助纠正缩放和旋转所存在的不平衡，以及注意机制所存在的噪点，即卷积神经网络可以对不同旋转角度下的图像提取特征进行训练。
86.示例性的，在图1的应用场景下，以第一喷丝嘴101为例，服务器104可以将分割的9张第一分块子图输入预先训练好的centernet模型中，得到9个检测结果，其中，该9张第一分块子图的角度不确定，因此在centernet模型的输出部分可以包含3x3卷积、1x1卷积，用于负责预测每个目标的角度信息。
87.需要说明的是，所述m张第一分块子图为经过降噪处理的子图，即去除了第一分块子图中防干扰的没有利用价值的数据，例如，1/2的喷丝孔图像，其他污点的图像等等。
88.s205、将所述m个检测结果进行拼接和去重过滤，得到输出图像，并提取所述输出图像中的喷孔数量。
89.本技术实施例中，拼接可以指的是对m个检测结果进行合并，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，去重过滤可以指的是去重图像中相同的特征，保留其中一个，即过滤掉可以产生干扰的特征。
90.示例性的，在图1的应用场景下，以第一喷丝嘴101为例，服务器104在将分割的9张第一分块子图输入预先训练好的centernet模型中得到9个检测结果后，进一步的，可以将该9个检测结果进行拼接，合并成一个无缝的、高清晰的图像，进一步的，对该图像进行去重过滤，得到输出图像，并提取输出图像中的喷孔数量进行统计。
91.需要说明的是，提取输出图像中的喷孔数量为合格的喷孔的数量。
92.s206、判断所述输出图像中的喷孔数量与所述预定义的喷孔数量是否一致，若一致，则所述喷丝嘴为合格品，否则，则确定喷丝嘴存在缺陷。
93.示例性的，在图1的应用场景下，以第一喷丝嘴101为例，在服务器104提取输出图像中合格的喷孔的数量后，进一步，可以判断提取出的合格的喷孔的数量与预定义的喷孔数量8是否一致，若提取出的合格的喷孔的数量为8，则喷丝嘴为合格品，否则，则确定喷丝嘴存在缺陷。
94.因此，本技术实施例提供的喷丝嘴缺陷检测方法，可以通过机器自动化的检测喷丝嘴是否存在异常，不仅可以适应喷丝嘴的喷丝孔形状各异的特点，应用范围广，而且可以提高检测效率和准确率，节省人工成本，满足实际使用要求。
95.可选的，所述方法还包括：
96.获取第一训练数据集，所述第一训练数据集中的每一训练数据包括：喷丝嘴图像和喷丝嘴所在区域；
97.根据所述第一训练数据集，对第一级目标检测模型进行训练；
98.相应的，将所述输入图像输入预先训练好的第一级目标检测模型中，检测出所述
输入图像中的喷丝嘴区域，得到喷丝嘴区域子图，包括：
99.将所述输入图像输入通过所述第一训练数据集训练得到的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，并根据所述喷丝嘴区域将所述输入图像裁剪为喷丝嘴区域子图；所述喷丝嘴区域包括喷丝嘴的位置和大小。
100.本技术实施例中，可以获取人工提供的第一训练数据集，该第一训练数据集包括多个训练数据，每一训练数据可以包括多种喷丝嘴图像及其对应的喷丝嘴所在区域；其中，喷丝嘴图像中喷丝孔的排列组合可以有多种。
101.需要说明的是，获取第一训练数据集对第一级目标检测模型进行训练只需要进行一次，以后可以直接使用训练好的第一级目标检测模型对输入图像进行检测。
102.示例性的，服务器可以提前对第一级目标检测模型进行训练，即获取第一训练数据集，可以包括多个训练数据，每一训练数据可以包括多种喷丝嘴图像及其对应的喷丝嘴所在区域；进一步的，根据第一训练数据集，对第一级目标检测模型进行训练。
103.例如，服务器可以获取不同排列组合的喷丝嘴图像以及喷丝嘴所在区域等多种类型的喷丝嘴图像的数据，然后根据这些数据对第一级目标检测模型进行训练。
104.相应的，服务器将第一级目标检测模型训练好之后，可以将超高倍相机拍摄的输入图像1输入到训练好的第一级目标检测模型中，这样，可以检测出输入图像1中的喷丝嘴所在区域，得到需要的喷丝嘴区域子图，进一步的，可以根据该喷丝嘴区域将输入图像1裁剪为喷丝嘴区域子图，其中，喷丝嘴区域包括喷丝嘴的位置和大小。
105.因此，通过利用预先训练好的第一级目标检测模型检测出输入图像中的喷丝嘴所在区域，得到喷丝嘴区域子图，可以提高检测的精度和准确性，且该第一级目标检测模型可以识别不同类型下的喷丝嘴所在区域，应用范围广。
106.可选的，所述方法还包括：
107.获取第二训练数据集，所述第二训练数据集中的每一训练数据包括：对喷丝嘴区域进行分块后的m张第二分块子图、每个第二分块子图对应的喷丝嘴类型以及第二分块子图中的喷孔数量；其中，所述m张第二分块子图为经过降噪处理的子图，和/或，所述m张第二分块子图为多个旋转角度下的子图；
108.根据所述第二训练数据集，对第二级目标检测模型进行训练；
109.相应的，把所述m张第一分块子图输入预先训练好的第二级目标检测模型中，得到m个检测结果，包括：
110.将所述m张第一分块子图输入通过所述第二训练数据集训练得到的第二级目标检测模型中，检测出每张第一分块子图在任意角度下对应的标准子图，得到m个检测结果。
111.本技术实施例中，可以获取人工提供的第二训练数据集，该第二训练数据集包括多个训练数据，每一训练数据可以包括对喷丝嘴区域进行分块后的m张分块子图、每个分块子图对应的喷丝嘴类型以及分块子图中的喷孔数量；其中，m张分块子图为经过降噪处理的子图，即对分块子图中不完整的喷丝孔图像进行删除，该m张分块子图的角度可以为0-360度下任意一角度的子图；或者，m张分块子图可以为只经过降噪处理的子图，或只为多个旋转角度下的子图，本技术实施例对此不作具体限定。
112.其中，降噪处理可以指的是对影响正常数据的干扰数据进行删除，即去除了第二分块子图中防干扰的没有利用价值的数据，例如，可以对1/2的喷丝孔图像，其他污点的图
像等没有利用价值的数据进行删除。
113.需要说明的是，获取第二训练数据集对第二级目标检测模型进行训练只需要进行一次，以后可以直接使用训练好的第二级目标检测模型对m张第二分块子图进行检测。
114.示例性的，服务器可以提前对第二级目标检测模型进行训练，即获取第二训练数据集，可以包括对喷丝嘴区域进行分块后的m张不同角度下的分块子图、每个分块子图对应的喷丝嘴类型以及分块子图中的喷孔数量；进一步的，根据第二训练数据集，对第二级目标检测模型进行训练，该第二级目标检测模型可以识别不同角度下的多个分块子图，而其输出结果均为标准角度下的子图，该标准角度可以指的是水平方向的180度。
115.例如，服务器可以获取分块后的m张经过降噪处理且分块后的m张多个旋转角度下的子图，每个分块子图对应的喷丝嘴类型以及分块子图中的喷孔数量等数据，然后根据这些数据对第二级目标检测模型进行训练。
116.相应的，服务器将第二级目标检测模型训练好之后，可以将基于滑动窗算法分块后的任意角度下的图像1-图像9输入到训练好的第二级目标检测模型中，这样，可以检测出图像1-图像9中的合格喷丝孔的位置和大小，得到需要的9个检测结果。
117.因此，通过利用预先训练好的第二级目标检测模型检测m张分块子图中的合格喷丝孔的位置和大小，得到检测结果，可以提高喷丝孔占输入图像的像素比，进一步，可以提高检测的速率以及准确性，且该第二级目标检测模型可以识别多种类型在不同喷丝嘴分块子图中合格喷丝孔的位置和大小，满足实际使用要求。
118.可选的，基于滑动窗算法按照预设的步长对所述喷丝嘴区域子图进行分块，得到m张第一分块子图，包括：
119.获取所述喷丝嘴区域子图中最大喷孔的尺寸；
120.基于滑动窗算法按照预设的步长对输出的喷丝嘴区域子图进行分块处理，得到多张分块子图；
121.判断相邻两张分块子图的重叠区域尺寸是否大于所述最大喷孔的尺寸；
122.若是，则所述多张分块子图为得到的m张第一分块子图；
123.若否，则减少预设的步长的长度，并基于减少后的预设的步长处理得到m张第一分块子图。
124.本技术实施例中，最大喷孔的尺寸可以指的是喷丝嘴中所有喷丝孔中所占用区域最大的喷孔的尺寸，可以理解为，若喷丝嘴中所有喷丝孔为圆形，其所有喷丝孔中半径最大的喷丝孔所在区域，若喷丝嘴中所有喷丝孔为长形，其所有喷丝孔中长度最大的喷丝孔所在区域，若喷丝嘴中所有喷丝孔为椭圆形，其所有喷丝孔中长轴最大的喷丝孔所在区域，因为喷丝嘴的喷丝孔类型有很多，在此不一一列举。
125.需要说明的是，获取该喷丝嘴区域子图中最大喷孔的尺寸可以是用户输入的，也可以是服务器根据喷丝嘴类型在数据库中调用的，本技术实施例对此不作具体限定。
126.示例性的，在图1的应用场景下，以第二喷丝嘴102为例，设定的预设的步长为0.2mm，服务器104可以获取第二喷丝嘴102所在区域子图中最大喷孔的尺寸为0.1mm(圆的直径)，需要得到的分块子图为0.4mm(即窗口的长度)，进一步的，服务器104基于滑动窗算法按照预设的步长0.2mm对输出的第二喷丝嘴102区域子图进行分块处理，得到9张分块子图；计算相邻两张分块子图重叠对应的重叠区域尺寸为(0.4mm-0.2mm)＝0.2mm，该重叠区
域的尺寸0.2mm大于最大喷孔的尺寸0.1mm；故该9张分块子图张分块子图为得到的9张第一分块子图。
127.可以理解的是，若设定的预设的步长为0.35mm，则计算得到的重叠区域尺寸为(0.4mm-0.35mm)＝0.05mm，该重叠区域的尺寸0.05mm小于最大喷孔的尺寸0.1mm，需要减少预设的步长的长度，进一步的，基于减少后的预设的步长处理得到9张第一分块子图。
128.因此，使用滑动窗对子图进行分块，可以提高喷孔占喷丝孔输入图像的像素比，提高计算精度，减少算法耗时时间。
129.可选的，减少预设的步长的长度，并基于减少后的预设的步长处理得到m张第一分块子图，包括：
130.根据所述最大喷孔的尺寸计算重叠区域的最小尺寸，并基于所述最小尺寸减少步长；
131.利用滑动窗算法按照减少后的步长对所述喷丝嘴区域子图进行分块处理，得到m张第一分块子图。
132.示例性的，在图1的应用场景下，以第二喷丝嘴102为例，设定的预设的步长为0.35mm，第二喷丝嘴102所在区域子图中最大喷孔的尺寸为0.1mm(圆的直径)，需要得到的分块子图为0.4mm(即窗口的长度)，服务器104计算得到的重叠区域尺寸为(0.4mm-0.35mm)＝0.05mm，该重叠区域的尺寸0.05mm小于最大喷孔的尺寸0.1mm，进一步的，可以根据最大喷孔的尺寸0.1mm计算重叠区域的最小尺寸，即重叠区域的最小尺寸为0.1mm，并基于最小尺寸0.1mm确定减少步长的长度至少为(0.1mm-0.05mm)＝0.05mm，即减少后的预设的步长的长度至多为0.3mm，例如，确定减少后的预设的步长为0.25mm，进一步的，利用滑动窗算法按照0.25mm的步长对第二喷丝嘴102区域子图进行分块处理，得到9张第一分块子图。
133.需要说明的是，所述重叠区域的尺寸也可以等于所述最大喷孔的尺寸，但是这样计算容易引起偏差，因此该情况只适用于理想状态下，实际应用中，所述重叠区域的尺寸取大于所述最大喷孔的尺寸的值，这样，可以为不丢失任何喷孔，提高计算准确率。
134.因此，通过设定预设的步长的长度，对喷丝嘴区域子图进行处理得到所需的m张第一分块子图，可以保持数据的完整性，进而提高计算准确率。
135.可选的，将所述m个检测结果进行拼接和去重过滤，得到输出图像，并提取所述输出图像中的喷孔数量，包括：
136.将所述m个检测结果按照所述预设的步长进行拼接，合并为第一图像；
137.利用非极大值抑制nms对所述第一图像中的m个检测结果进行去重过滤，得到输出图像；
138.提取并统计所述输出图像中的喷孔数量。
139.本技术实施例中，非极大值抑制(non-maximum suppression，nms)可以指的是抑制不是极大值的元素，可以理解为局部最大搜索，局部代表的是一个邻域。例如在每个窗口中喷丝孔检测中，滑动窗口经提取特征，经分类器分类识别后，每个窗口都会得到一个分数，但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况，这时就需要用到nms来选取那些邻域里分数最高(即窗口中喷丝孔出现的概率最大)，并且抑制那些分数低的窗口。
140.示例性的，以基于滑动窗算法将喷丝嘴区域子图分割成大小相同的9张第一分块
子图为例，设定的预设步长为0.2mm，服务器在将9张第一分块子图输入预先训练好的centernet模型中得到9个检测结果后，该9个检测结果包括9个不同区域的合格喷孔的位置和大小，可以将该9个检测结果按照0.2mm的预设的步长对该9个检测结果进行拼接，合并为一个无缝的、高清晰的图像；进一步的，利用nms对该图像中的9个检测结果进行去重过滤，即将该9个检测结果中相同的合格喷孔的特征删掉，得到最终的输出图像，进一步的，提取并统计该输出图像中的喷孔数量。
141.因此，将检测结果中的数据进行拼接和去重过滤后再统计合格喷孔的数量，可以减少相同特征喷孔的干扰，提高计算的准确性和稳定性。
142.可选的，所述检测结果包括合格喷丝孔的位置和大小，所述方法还包括：
143.若确定所述喷丝嘴存在缺陷，则基于所述输出图像中的喷孔数量计算存在缺陷的所述喷丝嘴中异常喷丝孔的数量，并基于所述检测结果确定所述异常喷丝孔的位置和大小；
144.根据所述异常喷丝孔的数量、位置和大小生成指示信息，并发送所述指示信息，用于提醒用户基于所述指示信息查找所述喷丝嘴中的异常喷丝孔。
145.本技术实施例中，指示信息用于指示喷丝嘴中的喷丝孔存在的异常的情况，而发送指示信息的方式，本技术实施例对此不作具体限定，可以为在服务器所携带的显示屏上显示一个消息提示框，该消息提示框显示“喷丝嘴中异常喷丝孔的数量为2个，位置在左上角，大小为3/4圆，发生堵塞”，或者直接在显示屏上显示喷丝嘴的图像，将喷丝嘴的图像中的异常喷丝孔以红框的标注形式进行标注，以提示用户基于指示信息及时查找喷丝嘴中的异常喷丝孔，进行修整，也可以为服务器向用户终端设备上发送一条消息提示，该消息提示为“喷丝嘴中异常喷丝孔的数量为2个，位置在左上角，大小为3/4圆，发生堵塞”，或者向用户终端设备的显示屏上发送图像信息，进一步的，在用户终端设备的显示屏上显示喷丝嘴的图像，将喷丝嘴的图像中的异常喷丝孔以红框的标注形式进行标注，以提示用户基于指示信息及时查找喷丝嘴中的异常喷丝孔，进行修整。
146.示例性的，在图1的应用场景下，以第一喷丝嘴101为例，该第一喷丝嘴101的预定义的喷孔数量为8个，若服务器104确定第一喷丝嘴101存在缺陷，则基于第一喷丝嘴101的输出图像中的喷孔数量6计算存在缺陷的第一喷丝嘴101中异常喷丝孔的数量为(8-6)＝2个，并基于第一喷丝嘴101中合格喷丝孔的位置和大小确定异常喷丝孔的位置和大小；进一步的，根据异常喷丝孔的数量2个、异常喷丝孔位置和大小生成指示信息，该指示信息为图像信息，用于在终端设备105的显示屏上显示喷丝嘴的图像，将喷丝嘴的图像中的异常喷丝孔以红框的标注形式进行标注，进一步的，服务器104向终端设备105发送该指示信息，用于提醒用户106基于该指示信息查找喷丝嘴中的异常喷丝孔。
147.因此，在确定喷丝嘴存在缺陷后，可以查找到异常喷丝孔的数量、位置和大小并进行提示，便于用户随时了解情况，并针对异常进行修整，提高喷丝嘴的使用时间。
148.结合上述实施例，图3为本技术实施例提供的一种具体的喷丝嘴缺陷检测方法的流程图。如图3所示，本技术实施例的执行方法步骤包括：
149.步骤a：采集喷丝嘴图像，并获取预定义的喷孔(即喷丝孔)数量，执行步骤b。
150.可以理解的是，通常情况下喷丝嘴的喷丝孔属于小目标，喷丝孔占整体喷丝嘴的尺寸比很小，因此采集喷丝嘴图像时需要使用超高倍相机采集超高分辨率的图像(即至少
三千万像素才能看清喷丝孔状态)。
151.步骤b：将喷丝嘴图像进行第一级喷丝嘴轮廓检测，检测出喷丝嘴的位置和大小，并从采集的原始喷丝嘴图像中裁剪出只包含喷丝嘴区域的子图，进一步的，按照重叠滑动窗的方式对子图进行分块处理，执行步骤c。
152.步骤c：将分块处理后的子图进行第二级旋转合格喷孔检测，得到分块检测结果并对该分块检测结果进行去重处理，然后统计合格喷孔的数量，执行步骤d。
153.步骤d：判断合格喷孔的数量是否等于预定义的喷孔数量，若是，则确定喷丝嘴是合格的，否则，确定喷丝嘴为不合格的。
154.在前述实施例中，对本技术实施例提供的喷丝嘴缺陷检测方法进行了介绍，而为了实现上述本技术实施例提供的方法中的各功能，作为执行主体的电子设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
155.例如，图4为本技术实施例提供的一种喷丝嘴缺陷检测装置的结构示意图，如图4所示，该装置包括：获取模块410，第一检测模块420，分块模块430，第二检测模块440，处理模块450和判断模块460；其中，获取模块410，用于获取喷丝嘴的输入图像和预定义的喷孔数量；
156.第一检测模块420，用于将所述输入图像输入预先训练好的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，得到喷丝嘴区域子图；所述第一级目标检测模型为基于神经网络构建的深度学习模型；
157.分块模块430，用于基于滑动窗算法按照预设的步长对所述喷丝嘴区域子图进行分块，得到m张第一分块子图；m为大于2的正整数；
158.第二检测模块440，用于将所述m张第一分块子图输入预先训练好的第二级目标检测模型中，得到m个检测结果；所述第二级目标检测模型为基于卷积神经网络构建的深度学习模型；
159.处理模块450，用于将所述m个检测结果进行拼接和去重过滤，得到输出图像，并提取所述输出图像中的喷孔数量；
160.判断模块460，用于判断所述输出图像中的喷孔数量与所述预定义的喷孔数量是否一致，若一致，则所述喷丝嘴为合格品，否则，则确定喷丝嘴存在缺陷。
161.可选的，所述装置还包括第一训练模块；
162.所述第一训练模块用于，获取第一训练数据集，所述第一训练数据集中的每一训练数据包括：喷丝嘴图像和喷丝嘴所在区域；根据所述第一训练数据集，对第一级目标检测模型进行训练；
163.相应的，第一检测模块420，具体用于：
164.将所述输入图像输入通过所述第一训练数据集训练得到的第一级目标检测模型中，检测出所述输入图像中的喷丝嘴区域，并根据所述喷丝嘴区域将所述输入图像裁剪为喷丝嘴区域子图；所述喷丝嘴区域包括喷丝嘴的位置和大小。
165.可选的，所述装置还包括第二训练模块；
166.所述第二训练模块用于，获取第二训练数据集，所述第二训练数据集中的每一训
练数据包括：对喷丝嘴区域进行分块后的m张第二分块子图、每个第二分块子图对应的喷丝嘴类型以及第二分块子图中的喷孔数量；其中，所述m张第二分块子图为经过降噪处理的子图，和/或，所述m张第二分块子图为多个旋转角度下的子图；根据所述第二训练数据集，对第二级目标检测模型进行训练；
167.相应的，第二检测模块440，具体用于：
168.将所述m张第一分块子图输入通过所述第二训练数据集训练得到的第二级目标检测模型中，检测出每张第一分块子图在任意角度下对应的标准子图，得到m个检测结果。
169.可选的，分块模块430包括获取单元，分块单元，判断单元、第一处理单元和第二处理单元；
170.所述获取单元，用于获取所述喷丝嘴区域子图中最大喷孔的尺寸；
171.所述分块单元，用于基于滑动窗算法按照预设的步长对输出的喷丝嘴区域子图进行分块处理，得到多张分块子图；
172.所述判断单元，用于判断相邻两张分块子图的重叠区域尺寸是否大于所述最大喷孔的尺寸；
173.所述第一处理单元，用于当所述重叠区域的尺寸大于所述最大喷孔的尺寸时，将所述多张分块子图为得到的m张第一分块子图；
174.所述第二处理单元，用于当所述重叠区域的尺寸小于所述最大喷孔的尺寸时，减少预设的步长的长度，并基于减少后的预设的步长处理得到m张第一分块子图。
175.可选的，第二处理单元，具体用于：
176.根据所述最大喷孔的尺寸计算重叠区域的最小尺寸，并基于所述最小尺寸减少步长；
177.利用滑动窗算法按照减少后的步长对所述喷丝嘴区域子图进行分块处理，得到m张第一分块子图。
178.可选的，处理模块450，具体用于：
179.将所述m个检测结果按照所述预设的步长进行拼接，合并为第一图像；
180.利用非极大值抑制nms对所述第一图像中的m个检测结果进行去重过滤，得到输出图像；
181.提取并统计所述输出图像中的喷孔数量。
182.可选的，所述检测结果包括合格喷丝孔的位置和大小，所述装置还包括提示模块，所述提示模块，用于：
183.若确定所述喷丝嘴存在缺陷，则基于所述输出图像中的喷孔数量计算存在缺陷的所述喷丝嘴中异常喷丝孔的数量，并基于所述检测结果确定所述异常喷丝孔的位置和大小；
184.根据所述异常喷丝孔的数量、位置和大小生成指示信息，并发送所述指示信息，用于提醒用户基于所述指示信息查找所述喷丝嘴中的异常喷丝孔。
185.本技术实施例提供的喷丝嘴缺陷检测装置的具体实现原理和效果可以参见上述实施例对应的相关描述和效果，此处不做过多赘述。
186.本技术实施例还提供一种电子设备的结构示意图，图5为本技术实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器502以及与所述处理器
通信连接的存储器501；该存储器501存储计算机程序；该处理器502执行该存储器501存储的计算机程序，使得该处理器502执行上述任一实施例所述的方法。
187.其中，存储器501和处理器502可以通过总线503连接。
188.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序执行指令，计算机执行指令被处理器执行时用于实现如本技术前述任一实施例中的所述的方法。
189.本技术实施例还提供一种运行指令的芯片，该芯片用于执行如本技术前述任一实施例中由电子设备所执行的前述任一实施例中所述的方法。
190.本技术实施例还提供一种计算机程序产品，该程序产品包括计算机程序，该计算机程序被处理器执行时可实现如本技术前述任一实施例中由电子设备所执行的前述任一实施例中所述的方法。
191.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
192.作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
193.另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
194.上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例所述方法的部分步骤。
195.应理解，上述处理器可以是中央处理单元(central processing unit，简称cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
196.存储器可能包含高速随机存取存储器(random access memory，简称ram)，也可能还包括非不稳定的存储器(non-volatile memory，简称nvm)，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
197.总线可以是工业标准体系结构(industry standard architecture，简称isa)总线、外部设备互连(peripheral component interconnect，简称pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总
线或一种类型的总线。
198.上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
199.一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits，简称asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
200.以上所述，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何在本技术实施例揭露的技术范围内的变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应以所述权利要求的保护范围为准。