一种检测丝锭的方法、装置及丝锭分拣系统与流程

本发明涉及丝锭检测技术领域，特别涉及一种检测丝锭的方法、装置及丝锭分拣系统。

背景技术：

在工业原丝的生产过程中，丝锭的生产质量直接影响生产方生产效率和生产效益。目前在丝锭的生产过程中，通常需要大量的人力和物力对丝锭表面的品质进行检查，以此来提高丝锭产品的生产质量。

丝锭表面的油污缺陷是丝锭表面众多缺陷中的一种，大多是机械油污和搬运过程中人为造成的脏污。丝锭表面造成的油污直接影响丝锭的外观和原丝退绕后的染色，进而直接影响原丝的生产质量。目前为了避免油污缺陷造成的损失，大多采用人工肉眼质检的方式检测油污缺陷。但是，人工挑选油污缺陷产品的方法不仅费时、费力，而且分辨率有限的人眼可能会产生油污缺陷的漏检和误检导致产品质量的下降和生产成本的增加。

因此，目前检测丝锭表面缺陷的方法存在漏检和误检的情况，并且存在检测成本高、检测效率低的问题。

技术实现要素：

本发明提供了一种检测丝锭的方法、装置及丝锭分拣系统，用以解决现有检测丝锭表面缺陷的方法存在的漏检和误检问题，以及检测成本高、检测效率低的问题。

根据本发明实施例的第一方面，提供一种检测丝锭的方法，该方法包括：

获取待检测的丝锭图像，输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，进行缺陷区域和/或干扰物区域的检测；

确定检测到缺陷区域和/或干扰物区域时，提取所述缺陷区域和/或干扰物区域的指定参考数据；

根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品；

确定为缺陷品时，将所述缺陷品分拣至对应的缺陷品区域，并输出显示所述缺陷品的缺陷信息，所述缺陷信息包括所述缺陷区域的位置信息。

可选地，还包括：

获取多个训练样本，各训练样本包括已标注无缺陷区域的丝锭图像、已标注不同缺陷区域和/或干扰物区域的丝锭图像；

将所述训练样本中的丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的网络模型，以输出已标注的缺陷区域和/或干扰物区域为目标进行模型训练，调整所述网络模型的模型参数，得到所述目标检测模型。

可选地，所述yolo网络的网络类型为yolov3-tiny，所述yolo网络包括至少一个卷积层、批量归一化bn层及激活层，所述卷积层采用可分离卷积与点卷积组合的卷积运算。

可选地，将丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，包括：

利用自适应阈值分割算法对所述丝锭图像进行预处理，确定所述丝锭图像中丝锭的外接矩形框；

将预处理后的丝锭图像输入到所述目标检测模型。

可选地，所述根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品，包括：

将缺陷区域的指定参考数据与所述标准参考数据进行对比，确定所述指定参考数据与所述标准参考数据的相似度，根据所述相似度确定所述丝锭图像中的丝锭是否为缺陷品；

将缺陷区域的指定参考数据与干扰物区域的指定参考数据进行对比，确定所述缺陷区域与干扰物区域的区域重叠比例，根据所述区域重叠比例确定所述丝锭图像中的丝锭是否为缺陷品。

可选地，所述确定所述丝锭图像中的丝锭是否为缺陷品，包括：

确定所述相似度超过第一预设阈值，且所述区域重叠比例未超过第二预设阈值时，确定所述丝锭为缺陷品，否则确定所述丝锭不是缺陷品。

可选地，所述缺陷信息包括缺陷品对应的缺陷等级，确定所述丝锭图像中的丝锭为缺陷品时，还包括：

根据所述丝锭图像中缺陷区域与预设比例的外围区域的指定参考数据间的差异度，确定所述丝锭对应的预设缺陷等级。

可选地，确定预设的对应缺陷样本区域的标准参考数据，包括：

获取包括不同缺陷的丝锭缺陷品的图像，分别将各图像中各缺陷样本区域的指定参考数据的分布平均值确定为各图像对应的指定参考数据；

将各图像对应的指定参考数据的分布平均值确定为预设标准数据。

可选地，所述指定参考数据为各颜色通道的灰度直方图或区域面积。

根据本发明实施例的第二方面，提供一种检测丝锭的装置，包括：

目标检测模块，用于获取待检测的丝锭图像，输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，进行缺陷区域和/或干扰物区域的检测；

数据提取模块，用于确定检测到缺陷区域和/或干扰物区域时，提取所述缺陷区域和/或干扰物区域的指定参考数据；

缺陷判断模块，根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品；

分拣模块，用于确定为缺陷品时，将所述缺陷品分拣至对应的缺陷品区域，并输出显示所述缺陷品的缺陷信息，所述缺陷信息包括所述缺陷区域的位置信息。

可选地，所述目标检测模块，还用于：

获取多个训练样本，各训练样本包括已标注无缺陷区域的丝锭图像、已标注不同缺陷区域和/或干扰物区域的丝锭图像；

将所述训练样本中的丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的网络模型，以输出已标注的缺陷区域和/或干扰物区域为目标进行模型训练，调整所述网络模型的模型参数，得到所述目标检测模型。

可选地，所述yolo网络的网络类型为yolov3-tiny，所述yolo网络包括至少一个卷积层、批量归一化bn层及激活层，所述卷积层采用可分离卷积与点卷积组合的卷积运算。

可选地，所述目标检测模块将丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，包括：

利用自适应阈值分割算法对所述丝锭图像进行预处理，确定所述丝锭图像中丝锭的外接矩形框；

将预处理后的丝锭图像输入到所述目标检测模型。

可选地，所述缺陷识别模块根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品，包括：

将缺陷区域的指定参考数据与所述标准参考数据进行对比，确定所述指定参考数据与所述标准参考数据的相似度，根据所述相似度确定所述丝锭图像中的丝锭是否为缺陷品；

将缺陷区域的指定参考数据与干扰物区域的指定参考数据进行对比，确定所述缺陷区域与干扰物区域的区域重叠比例，根据所述区域重叠比例确定所述丝锭图像中的丝锭是否为缺陷品。

可选地，所述缺陷判断模块确定所述丝锭图像中的丝锭是否为缺陷品，包括：

确定所述相似度超过第一预设阈值，且所述区域重叠比例未超过第二预设阈值时，确定所述丝锭为缺陷品，否则确定所述丝锭不是缺陷品。

可选地，所述缺陷信息包括缺陷品对应的缺陷等级，所述缺陷判断模块确定所述丝锭图像中的丝锭为缺陷品时，还包括：

根据所述丝锭图像中缺陷区域与预设比例的外围区域的指定参考数据间的差异度，确定所述丝锭对应的预设缺陷等级。

可选地，所述缺陷判断模块确定预设的对应缺陷样本区域的标准参考数据，包括：

获取包括不同缺陷的丝锭缺陷品的图像，分别将各图像中各缺陷样本区域的指定参考数据的分布平均值确定为各图像对应的指定参考数据；

将各图像对应的指定参考数据的分布平均值确定为预设标准数据。

可选地，所述指定参考数据为各颜色通道的灰度直方图或区域面积。

根据本发明实施例的第三方面，提供一种检测丝锭的装置，包括：存储器和处理器；其中：

所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

获取待检测的丝锭图像，输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，进行缺陷区域和/或干扰物区域的检测；

确定检测到缺陷区域和/或干扰物区域时，提取所述缺陷区域和/或干扰物区域的指定参考数据；

根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品；

确定为缺陷品时，将所述缺陷品分拣至对应的缺陷品区域，并输出显示所述缺陷品的缺陷信息，所述缺陷信息包括所述缺陷区域的位置信息。

可选地，所述处理器，还用于：

获取多个训练样本，各训练样本包括已标注无缺陷区域的丝锭图像、已标注不同缺陷区域和/或干扰物区域的丝锭图像；

将所述训练样本中的丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的网络模型，以输出已标注的缺陷区域和/或干扰物区域为目标进行模型训练，调整所述网络模型的模型参数，得到所述目标检测模型。

可选地，所述yolo网络的网络类型为yolov3-tiny，所述yolo网络包括至少一个卷积层、批量归一化bn层及激活层，所述卷积层采用可分离卷积与点卷积组合的卷积运算。

可选地，所述处理器将丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，包括：

利用自适应阈值分割算法对所述丝锭图像进行预处理，确定所述丝锭图像中丝锭的外接矩形框；

将预处理后的丝锭图像输入到所述目标检测模型。

可选地，所述处理器根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品，包括：

将缺陷区域的指定参考数据与所述标准参考数据进行对比，确定所述指定参考数据与所述标准参考数据的相似度，根据所述相似度确定所述丝锭图像中的丝锭是否为缺陷品；

将缺陷区域的指定参考数据与干扰物区域的指定参考数据进行对比，确定所述缺陷区域与干扰物区域的区域重叠比例，根据所述区域重叠比例确定所述丝锭图像中的丝锭是否为缺陷品。

可选地，所述处理器确定所述丝锭图像中的丝锭是否为缺陷品，包括：

确定所述相似度超过第一预设阈值，且所述区域重叠比例未超过第二预设阈值时，确定所述丝锭为缺陷品，否则确定所述丝锭不是缺陷品。

可选地，所述缺陷信息包括缺陷品对应的缺陷等级，所述处理器确定所述丝锭图像中的丝锭为缺陷品时，还包括：

根据所述丝锭图像中缺陷区域与预设比例的外围区域的指定参考数据间的差异度，确定所述丝锭对应的预设缺陷等级。

可选地，所述处理器确定预设的对应缺陷样本区域的标准参考数据，包括：

获取包括不同缺陷的丝锭缺陷品的图像，分别将各图像中各缺陷样本区域的指定参考数据的分布平均值确定为各图像对应的指定参考数据；

将各图像对应的指定参考数据的分布平均值确定为预设标准数据。

可选地，所述指定参考数据为各颜色通道的灰度直方图或区域面积。

根据本发明实施例的第四方面，提供一种丝锭分拣系统，包括：

如上述第三方面所述的检测丝锭的装置；

成像装置，包括用于为丝锭提供无影光照环境的无影灯箱，及用于拍摄所述丝锭的图像的工业彩色相机；

机械装置，包括传送丝锭的传送装置，及在所述检测丝锭的装置的控制下，将确定的缺陷品从所述传送装置上分拣至对应的缺陷品区域的分拣装置；

显示装置，用于在所述检测丝锭的装置的控制下，输出显示确定的缺陷品的缺陷信息。

根据本发明实施例的第五方面，提供一种芯片，所述芯片与用户设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现本申请实施例上述各个方面以及各个方面涉及的任一可能设计的方法。

根据本发明实施例的第六方面，提供一种计算机可读存储介质，该计算机存储介质存储有程序指令，当其在终端设备上运行时，使得终端设备执行本发明实施例上述各个方面以及各个方面涉及的任一可能设计的方法。

根据本发明实施例的第七方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能设计的方法。

利用本发明提供的检测丝锭的方法、装置及丝锭分拣系统，具有以下有益效果：

本发明提供的检测丝锭的方法、装置及丝锭分拣系统，通过利用采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，对待检测的丝锭图像进行缺陷区域和/或干扰物区域的检测，并对检测结果进行分析，在确定丝锭图像中的丝锭为缺陷品时，对其进行分拣。解决了现有检测丝锭表面缺陷的方法存在的漏检和误检问题，以及检测成本高、检测效率低的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中提供的一种检测丝锭的方法示意图；

图2为本发明实施例中提供的一种丝锭图像中的缺陷区域的示意图；

图3为本发明实施例中提供的一种检测丝锭的装置的示意图；

图4为本发明实施例中提供的一种检测丝锭的装置的结构示意图；

图5为本发明实施例中提供的一种丝锭分拣系统的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请实施例中“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

人工智能(artificialintelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本发明实施例提供播放语音消息的方法应用了人工智能技术，为了方便理解，下面对本发明实施例中涉及的名词进行解释：

1)深度学习：是机器学习领域中一个新的研究方向，指学习样本数据的内在规律和表示层次，通过设计建立适量的神经元计算节点和多层运算层次结构，通过网络的学习和调优，建立起从输入到输出的函数关系，从而尽可能的逼近现实的关联关系；

2)卷积神经网络(convolutionalneuralnetworks，cnn)：是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一；卷积神经网络具有表征学习能力，可以进行监督学习和非监督学习，具有隐含层内卷积核参数共享和层间连接稀疏的特点，因此能够以较小的计算量对格点化特征例如像素和音频等进行学习，具有稳定的学习效果；

3)yolo(youonlylookonce，只看一眼)网络：是一个可以一次性预测多个包含物体的矩形区域的位置和类别的卷积神经网络，能够在输入图像中查找特定的目标，更好的分离目标和背景区域，实现目标检测和识别。

实施例1

本发明实施例提供一种检测丝锭的方法，应用于生产流水线上丝锭的在线检测场景中，如图1所示，该方法包括：

步骤s101，获取待检测的丝锭图像，输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，进行缺陷区域和/或干扰物区域的检测；

本发明实施例中，获取待检测的丝锭图像时，可以在线同步获取生产流水线上丝锭的图像，从而对生产流水线上的丝锭进行在线检测，或者获取预先采集的丝锭图像进行非同步检测。

获取待检测的丝锭图像后，将该丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型进行缺陷区域和/或干扰物区域的检测，得到该目标检测模型输出的检测结果。该检测结果为丝锭图像中仅检测到缺陷区域或干扰物区域，或者为丝锭图像中未检测到缺陷区域和干扰物区域，或者为丝锭图像中检测到缺陷区域和干扰物区域。

本发明实施例中缺陷区域为油污缺陷区域例如机械油污或搬运过程中造成的油污，或者其它可能导致丝锭产品不合格的缺陷区域，干扰物区域为不属于缺陷区域，但是在现有的人工检测方法中可能被误认为是缺陷的区域，例如拉丝区域或阴影区域等。

本发明实施例中将待检测丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型时，首先利用自适应阈值分割算法对所述丝锭图像进行预处理，确定所述丝锭图像中丝锭的外接矩形框，然后将预处理后的丝锭图像输入到所述目标检测模型。

自适应阈值分割算法是利用图像局部阈值替换全局阈值进行图像计算的一种方法，能够根据图像不同区域的亮度分布，计算其局部阈值，根据区域局部阈值与图像区域全局阈值进行迭代分析，分离目标区域和背景区域。本发明实施例中利用自适应阈值分割算法确定获取的丝锭图像中丝锭的外接矩形框，能够对待检测区域进行粗略定位，然后再输入到目标检测模型，目标检测模型对该外接矩形框对应的图像区域进行检测，能够减少目标检测模型进行检测的计算量，加快目标检测的速度。

本发明实施例中，目标检测模型通过预先进行深度学习及模型训练得到。具体的，预先获取多个训练样本，各训练样本包括已标注无缺陷区域的丝锭图像、已标注不同缺陷区域的丝锭图像、已标注不同干扰物区域的丝锭图像以及已标注不同缺陷区域和干扰物区域的丝锭图像；将所述训练样本中的丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的网络模型，以输出丝锭图像中的缺陷区域和/或干扰物区域为目标进行模型训练，调整所述网络模型的模型参数，得到所述目标检测模型。

本发明实施例中上述进行模型训练时，将训练样本中的丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型时，首先利用自适应阈值分割算法对所述丝锭图像进行预处理，确定所述丝锭图像中丝锭的外接矩形框，然后将预处理后的丝锭图像输入到所述目标检测模型。

本发明实施例中，采用的yolo网络的网络类型为yolov3-tiny，所述yolo网络包括至少一个卷积层、批量归一化bn层及激活层，所述卷积层采用可分离卷积与点卷积组合的卷积运算。

目前yolo网络采用传统卷积方法即卷积神经网络cnn，在进行卷积运算时存在计算量大，导致前向时间过长、检测效率低的问题。因此，本发明实施例中利用深度可分离卷积和点卷积组合的卷积运算，对目前的yolo网络进行改进，将yolo网络中卷积层的卷积运算替换为深度可分离卷积与点卷积组合的卷积运算，能够明显减少yolo网络的计算成本。

具体的，假设yolo网络中某一卷积层输入的特征图大小为df，卷积运算中卷积核的大小为dk，输入维度为m，输出维度为n。目前yolo网络的传统卷积运算中，每个卷积核的计算量约为：

calck＝df×df×dk×dk×m

因此总计算量为：

calcconv＝calck×n＝df×df×dk×dk×m×n

本实施例中yolo网络采用深度可分离卷积和点卷积组合的方式代替传统卷积，深度可分离卷积的计算量约为：

calcd＝df×df×dk×dk×m

需要的点卷积的计算量为：

calcp＝1×1×dk×dk×m×n

深度可分离卷积和点卷积相组合所需要的总的计算量为：

calcd+p＝calcd+calcp＝df×df×dk×dk×m+1×1×dk×dk×m×n

本发明实施例中卷积运算与传统卷积运算的计算量差异为：

由上述公式可得，当输出维度为128(等同于卷积核数目为1)时，卷积核的大小为3时，diff的值约为0.1198，即表示本发明实施例采用的深度可分离卷积和点卷积组合的卷积代替传统卷积时，计算量下降至原来的0.1198倍，因此，本发明实施例采用的yolo网络的训练和前向速度能够得到极大的提升。

上述yolo网络的一般结构及yolov3-tiny网络的具体结构均与现有技术相同，此处不再详述。

步骤s102，确定检测到缺陷区域和/或干扰物区域时，提取所述缺陷区域和/或干扰物区域的指定参考数据；

上述步骤中利用目标检测模型对丝锭图像进行校测后，确定未检测到缺陷区域或干扰物区域时，不提取指定参考数据，并确定检测的丝锭图像中的丝锭为合格品。确定检测到缺陷区域和/或干扰物区域时，根据检测结果提取所述缺陷区域和/或干扰物区域的指定参考数据，具体包括如下三类检测结果及对应的数据提取方式：

1)仅检测到缺陷区域时，提取的指定参考数据为缺陷区域的各颜色通道的灰度直方图；

仅检测到缺陷区域时，根据检测到的各缺陷区域的位置信息，提取对应的指定参考数据。该指定参考数据为区域的各颜色通道的灰度直方图。具体的，假设检测到的n个缺陷区域的位置信息为o＝{o1，o2，…，on}，对检测到的各缺陷区域进行直方图分析，得到各缺陷区域的灰度直方图，并表示为histo＝{histor，histog，histob}，其中，histor、histog和histob分别表示256维的数组，每个维度表示当前维度像素值下像素分布的个数。

2)检测到缺陷区域和干扰物区域时，提取的指定参考数据为缺陷区域的各颜色通道的灰度直方图、缺陷区域的面积以及干扰物区域的面积；

检测到缺陷区域和干扰物区域时，根据检测到的各缺陷区域的位置信息，提取对应的指定参考数据。该指定参考数据为区域的各颜色通道的灰度直方图或区域的面积。具体的，对检测到的各缺陷区域进行直方图分析，得到各缺陷区域的灰度直方图，表示为histo＝{histor，histog，histob}，其中，histor、histog和histob分别表示256维的数组，每个维度表示当前维度像素值下像素分布的个数。

根据检测到的各缺陷区域和干扰物区域的位置信息，确定各缺陷区域和干扰物区域的面积。具体的，将缺陷区域的位置信息表示为lo＝(xo，yo，wo，ho)，将干扰物区域的位置信息表示为le＝(xe，ye，we，he)，其中，xo和yo代表目标检测模型检测到的缺陷区域所在位置对应的矩形框左上点的坐标，wo和ho表示该矩形框的宽度和高度；xe和ye代表目标检测模型检测到的干扰物区域所在位置对应的矩形框左上点的坐标，we和he表示该矩形框的宽度和高度。根据上述位置信息分别确定缺陷区域的面积为so＝wo*ho，干扰物区域的面积为se＝we*he。

3)仅检测到干扰物区域时，不提取指定参考数据，并确定检测的丝锭图像中的丝锭为合格品。

步骤s103，根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品；

本发明实施例中，预设的对应缺陷样本区域的标准参考数据是预先确定的。获取包括不同缺陷的丝锭缺陷品的图像，分别将各图像中各缺陷样本区域的指定参考数据的分布平均值确定为各图像对应的指定参考数据；将各图像对应的指定参考数据的分布平均值确定为预设标准数据。该指定参考数据为各颜色通道的灰度直方图。

具体的，对预先采集的包括不同缺陷的丝锭缺陷品的图像，分别计算各图像中各缺陷区域对应的各颜色通道的灰度直方图并取平均值，作为各图像对应的指定参考数据，即各图像缺陷的各颜色通道的灰度直方图，然后计算各图像缺陷的各颜色通道的灰度直方图的分布平均值，作为预设标准数据，并标记为hist＝{histr，histg，histb}，其中，histr、histg和histb分别表示256维的数组，每个维度表示当前维度像素值下像素分布的个数，hist即为预设标准参考数据。

根据上述步骤，目标检测模型的检测结果确定为上述1)、2)所述的检测结果时，根据对应提取的指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品。具体实施时，执行如下步骤：

步骤1，将缺陷区域的指定参考数据与所述标准参考数据进行对比，确定所述指定参考数据与所述标准参考数据的相似度，根据所述相似度确定所述丝锭图像中的丝锭是否为缺陷品，该指定参考数据为各颜色通道的灰度直方图。

将确定的缺陷区域的灰度直方图，与预设的标准参考数据进行对比，确定缺陷区域的灰度直方图与标准参考数据的相似度。具体根据上述确定的缺陷区域的位置信息和预设标准数据，按照如下公式计算所述相似度sim：

其中，similarity表示相似度计算准则，histo为确定的缺陷区域的灰度直方图，hist为预设标准参考数据，histor、histog和histob分别为所述缺陷区域的灰度直方图中红色通道、绿色通道、蓝色通道的像素分布，histr、histg和histb分别所述预设标准参考数据中红色通道、绿色通道、蓝色通道的像素分布，r(红色)、g(绿色)、b(蓝色)分别表示对应区域的红绿蓝三个颜色通道所对应的图像。

步骤2，将缺陷区域的指定参考数据与干扰物区域的指定参考数据进行对比，确定所述缺陷区域与干扰物区域的区域重叠比例，根据所述区域重叠比例确定所述丝锭图像中的丝锭是否为缺陷品。该指定参考数据为区域面积。

将确定的缺陷区域和干扰物区域的区域面积进行对比，确定缺陷区域与干扰物区域的区域重叠比例。具体的，首先根据上述步骤确定的缺陷区域和干扰物区域的位置信息，按照如下公式计算缺陷区域与干扰物区域的区域重叠面积sover：

sover＝|max(xo+wo,xe+we)-max(xo,xe)|*|(min(yo+ho,ye+he)-min(yo,ye))|

其中，xo和yo分别为所述缺陷区域所在位置对应的矩形框左上点的坐标，wo和ho分别为该矩形框的宽度和高度，xe和ye为所述干扰物区域所在位置对应的矩形框左上点的坐标，we和he分别为该矩形框的宽度和高度，max表示取最大值操作，min表示取最小值操作。

然后，根据缺陷区域与干扰物区域的位置信息和面积，以及上述区域重叠面积，按照如下公式计算缺陷区域与干扰物区域的区域重叠比例r：

其中，so为所述缺陷区域的面积，se为所述干扰物区域的面积，sover为所述缺陷区域与所述干扰物区域重叠的区域的面积，xo和yo分别为所述缺陷区域所在位置对应的矩形框左上点的坐标，wo和ho分别为该矩形框的宽度和高度，xe和ye为所述干扰物区域所在位置对应的矩形框左上点的坐标，we和he分别为该矩形框的宽度和高度，max表示取最大值操作，min表示取最小值操作。

根据上述步骤1和步骤2确定相似度sim或区域重叠比例r后，根据相似度sim和区域重叠比例r确定检测到的缺陷区域是否为真实缺陷，从而确定检测的丝锭图像中的丝锭是否为缺陷品。具体的，确定所述相似度超过第一预设阈值，且所述区域重叠比例未超过第二预设阈值时，确定所述丝锭为缺陷品，否则确定所述丝锭不是缺陷品。

其中，在上述步骤s102中，上述1)所述的检测结果即仅检测到缺陷区域，表示未检测到干扰物区域，即确定干扰物区域的面积为零，则可直接确定缺陷区域与干扰物区域的区域重叠面积为零，对应的区域重叠比例为零。因此，仅检测到缺陷区域时，无需提取缺陷区域和干扰物区域的面积，也无需执行上述步骤2确定区域重叠比例的方法，可直接确定缺陷区域和干扰物区域的区域重叠比例为零，并根据该区域重叠比例和上述步骤1确定的相似度进行判断，确定丝锭图像中的丝锭是否为缺陷品。

本发明实施例中，根据上述相似度和区域重叠比例能够筛选出丝锭图像中真实的缺陷，同时消除干扰物造成的影响，避免了误检的情况。

上述相似度越大，区域重叠比例越小，说明检测出的缺陷与真实缺陷的相似度越大，且该缺陷为干扰物的可能性越小，则该缺陷为真实缺陷的可能性越大。通过设置上述第一预设阈值和第二预设阈值的取值范围，可调整上述方法确定缺陷的准确度要求，设置的第一预设阈值越大、第二预设阈值越小，缺陷识别的准确度越高。

进一步的，本发明实施例中，在检测并识别出丝锭图像中的缺陷后，根据缺陷的严重程度对所识别的缺陷进行分级，从而根据分级信息调整生产丝锭的工艺和装置，从而提高产品质量和生产效率。

具体的，根据丝锭图像中缺陷区域与预设比例的外围区域的指定参考数据间的差异度，确定所述丝锭对应的预设缺陷等级。

参照图2，为本发明实施例提供的一种丝锭图像中的缺陷区域的示意图。

在上述确定丝锭图像中丝锭为缺陷品时，将检测到的缺陷区域的位置信息记为l＝(x，y，w，h)，其中，x和y为缺陷区域所在位置对应的矩形框左上点的坐标，w和h为该矩形框的宽度和高度。沿着该缺陷区域的外围，以预设的比例选取一个外围区域，根据内圈区域与外围区域的灰度直方图的差异度确定对应的缺陷等级。

具体的，如图2所示，在目标检测模型确定的缺陷区域201对应的矩形框202的外围，按照预设的比例选取外围区域(矩形框)203，根据矩形框202对应的矩形区域的灰度直方图hist内＝{hist内r，hist内g，hist内b}和外围区域203的灰度直方图hist外＝{hist外r，hist外g，hist外b}的差异度，确定缺陷区域201对应的缺陷等级，其中，hist内r、hist内g、hist内b或hist外r、hist外g、hist外b表示r、g、b三通道的灰度直方图。上述预设的比例的取值优选为0.2。

根据如下公式计算hist内与hist外的差异度d：

根据计算的差异度d的取值确定对应的预设的缺陷等级，其中，预先设定不同的缺陷等级及其对应的差异度取值范围。

本发明实施例中，确定的差异度d的值越大，说明缺陷越严重，因此，根据预先设定的差异度的不同阈值范围及对应的缺陷等级，即可根据上述计算的差异度确定检测到的缺陷对应的缺陷等级，从而完成对缺陷区域的分级。

步骤s104，确定为缺陷品时，将所述缺陷品分拣至对应的缺陷品区域，并输出显示所述缺陷品的缺陷信息，所述缺陷信息包括所述缺陷区域的位置信息。

本发明实施例中待检测丝锭为生产流水线上的丝锭时，通过上述步骤确定丝锭图像中的丝锭为缺陷品后，将该丝锭图像对应的待检测丝锭，从生产流水线上分拣至对应的缺陷品区域。进一步的，在同时确定对应的缺陷等级时，针对不同缺陷等级分别设置不同的缺陷品区域，从而将确定的缺陷品分拣到其缺陷等级对应的缺陷品区域，实现对不同等级的缺陷品的分类。

对缺陷品进行分拣时，同时输出显示该缺陷品的缺陷信息，缺陷信息至少包括确定的丝锭缺陷品中缺陷区域的位置信息，还可以包括缺陷区域的面积、缺陷区域的数量及对应的缺陷等级等信息，用于据此进行丝锭的生产调整。

本发明实施例提供的丝锭检测方法，通过利用采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，对待检测的丝锭图像进行缺陷区域和/或干扰物区域的检测，并对检测结果进行分析，在确定丝锭图像中的丝锭为缺陷品时，对其进行分拣。能够实现生产流水线上丝锭缺陷的在线检测和在线分拣，同时避免误检的情况，解决了现有检测丝锭表面缺陷的方法存在的漏检和误检问题，以及检测成本高、检测效率低的问题。

实施例2

以上对本发明中一种检测丝锭的方法进行说明，以下对执行上述方法的检测丝锭的装置进行说明。

请参阅图3，本发明实施例提供一种检测丝锭的装置，包括：

目标检测模块301，用于获取待检测的丝锭图像，输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，进行缺陷区域和/或干扰物区域的检测；

数据提取模块302，用于确定检测到缺陷区域和/或干扰物区域时，提取所述缺陷区域和/或干扰物区域的指定参考数据；

缺陷判断模块303，根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品；

分拣模块304，用于确定为缺陷品时，将所述缺陷品分拣至对应的缺陷品区域，并输出显示所述缺陷品的缺陷信息，所述缺陷信息包括所述缺陷区域的位置信息。

可选地，所述目标检测模块，还用于：

获取多个训练样本，各训练样本包括已标注无缺陷区域的丝锭图像、已标注不同缺陷区域和/或干扰物区域的丝锭图像；

将所述训练样本中的丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的网络模型，以输出已标注的缺陷区域和/或干扰物区域为目标进行模型训练，调整所述网络模型的模型参数，得到所述目标检测模型。

可选地，所述yolo网络的网络类型为yolov3-tiny，所述yolo网络包括至少一个卷积层、批量归一化bn层及激活层，所述卷积层采用可分离卷积与点卷积组合的卷积运算。

可选地，所述目标检测模块将丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，包括：

利用自适应阈值分割算法对所述丝锭图像进行预处理，确定所述丝锭图像中丝锭的外接矩形框；

将预处理后的丝锭图像输入到所述目标检测模型。

可选地，所述缺陷识别模块根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品，包括：

将缺陷区域的指定参考数据与所述标准参考数据进行对比，确定所述指定参考数据与所述标准参考数据的相似度，根据所述相似度确定所述丝锭图像中的丝锭是否为缺陷品；

将缺陷区域的指定参考数据与干扰物区域的指定参考数据进行对比，确定所述缺陷区域与干扰物区域的区域重叠比例，根据所述区域重叠比例确定所述丝锭图像中的丝锭是否为缺陷品。

可选地，所述缺陷判断模块确定所述丝锭图像中的丝锭是否为缺陷品，包括：

确定所述相似度超过第一预设阈值，且所述区域重叠比例未超过第二预设阈值时，确定所述丝锭为缺陷品，否则确定所述丝锭不是缺陷品。

可选地，所述缺陷信息包括缺陷品对应的缺陷等级，所述缺陷判断模块确定所述丝锭图像中的丝锭为缺陷品时，还包括：

根据所述丝锭图像中缺陷区域与预设比例的外围区域的指定参考数据间的差异度，确定所述丝锭对应的预设缺陷等级。

可选地，所述缺陷判断模块确定预设的对应缺陷样本区域的标准参考数据，包括：

获取包括不同缺陷的丝锭缺陷品的图像，分别将各图像中各缺陷样本区域的指定参考数据的分布平均值确定为各图像对应的指定参考数据；

将各图像对应的指定参考数据的分布平均值确定为预设标准数据。

可选地，所述指定参考数据为各颜色通道的灰度直方图或区域面积。

上面从模块化功能实体的角度对本申请实施例中检测丝锭的装置进行了描述，下面从硬件处理的角度对本申请实施例中检测丝锭的装置进行描述。

实施例3

请参阅图4，本申请实施例中检测丝锭的装置的另一个实施例包括：

处理器401、存储器402、收发器409以及总线系统411；

所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

获取待检测的丝锭图像，输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，进行缺陷区域和/或干扰物区域的检测；

确定检测到缺陷区域和/或干扰物区域时，提取所述缺陷区域和/或干扰物区域的指定参考数据；

根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品；

确定为缺陷品时，将所述缺陷品分拣至对应的缺陷品区域，并输出显示所述缺陷品的缺陷信息，所述缺陷信息包括所述缺陷区域的位置信息。

图4是本发明实施例提供的一种检测丝锭的装置的结构示意图，该装置400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(英文全称：centralprocessingunits，英文简称：cpu)401(例如，一个或一个以上处理器)和存储器402，一个或一个以上存储应用程序404或数据406的存储介质403(例如一个或一个以上海量存储设备)。其中，存储器402和存储介质403可以是短暂存储或持久存储。存储在存储介质403的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理器401可以设置为与存储介质403通信，在装置400上执行存储介质403中的一系列指令操作。

装置400还可以包括一个或一个以上电源410，一个或一个以上有线或无线网络接口407，一个或一个以上输入输出接口408，和/或，一个或一个以上操作系统405，例如windowsserver，macosx，unix，linux，freebsd等。

可选地，所述处理器，还用于：

获取多个训练样本，各训练样本包括已标注无缺陷区域的丝锭图像、已标注不同缺陷区域和/或干扰物区域的丝锭图像；

将所述训练样本中的丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的网络模型，以输出已标注的缺陷区域和/或干扰物区域为目标进行模型训练，调整所述网络模型的模型参数，得到所述目标检测模型。

可选地，所述yolo网络的网络类型为yolov3-tiny，所述yolo网络包括至少一个卷积层、批量归一化bn层及激活层，所述卷积层采用可分离卷积与点卷积组合的卷积运算。

可选地，所述处理器将丝锭图像输入到采用基于深度可分离卷积和点卷积改进的yolo网络的目标检测模型，包括：

利用自适应阈值分割算法对所述丝锭图像进行预处理，确定所述丝锭图像中丝锭的外接矩形框；

将预处理后的丝锭图像输入到所述目标检测模型。

可选地，所述处理器根据所述指定参考数据及预设的对应缺陷样本区域的标准参考数据，确定所述丝锭图像中的丝锭是否为缺陷品，包括：

将缺陷区域的指定参考数据与所述标准参考数据进行对比，确定所述指定参考数据与所述标准参考数据的相似度，根据所述相似度确定所述丝锭图像中的丝锭是否为缺陷品；

将缺陷区域的指定参考数据与干扰物区域的指定参考数据进行对比，确定所述缺陷区域与干扰物区域的区域重叠比例，根据所述区域重叠比例确定所述丝锭图像中的丝锭是否为缺陷品。

可选地，所述处理器确定所述丝锭图像中的丝锭是否为缺陷品，包括：

确定所述相似度超过第一预设阈值，且所述区域重叠比例未超过第二预设阈值时，确定所述丝锭为缺陷品，否则确定所述丝锭不是缺陷品。

可选地，所述缺陷信息包括缺陷品对应的缺陷等级，所述处理器确定所述丝锭图像中的丝锭为缺陷品时，还包括：

根据所述丝锭图像中缺陷区域与预设比例的外围区域的指定参考数据间的差异度，确定所述丝锭对应的预设缺陷等级。

可选地，所述处理器确定预设的对应缺陷样本区域的标准参考数据，包括：

获取包括不同缺陷的丝锭缺陷品的图像，分别将各图像中各缺陷样本区域的指定参考数据的分布平均值确定为各图像对应的指定参考数据；

将各图像对应的指定参考数据的分布平均值确定为预设标准数据。

可选地，所述指定参考数据为各颜色通道的灰度直方图或区域面积。

实施例4

参照图5，为本发明实施例提供的一种丝锭分拣系统的示意图。如图所示，该系统包括：

如上述实施例4中所述的检测丝锭的装置501；

成像装置，包括用于为丝锭提供无影光照环境的无影灯箱502，及用于拍摄所述丝锭的图像的工业彩色相机503；

机械装置，包括传送丝锭的传送装置504，及在所述检测丝锭的装置的控制下，将确定的缺陷品从所述传送装置上分拣至对应的缺陷品区域的分拣装置505；

显示装置506，用于在所述检测丝锭的装置的控制下，输出显示确定的缺陷品的缺陷信息。

本发明实施例提供的丝锭分拣系统能够实现生产流水线上丝锭中缺陷的在线全面检测和在线智能分拣，如图5所示，传送装置504作为生产流水线上传送丝锭的装置，当其传送的丝锭到达成像装置区域时，工业彩色相机503拍摄该丝锭的图像，并发送到检测丝锭的装置501。检测丝锭的装置501接收丝锭图像，并执行上述实施例1提供的检测丝锭的方法，对丝锭进行缺陷检测。当确定丝锭为缺陷品时，指示分拣装置505进行相应的控制，打开丝锭缺陷品的传送线路，使传送装置504按照该传送线路将确定的丝锭缺陷品传送到对应的缺陷品区域，同时，检测丝锭的装置501指示显示装置506输出显示该丝锭缺陷品相关的缺陷信息；当检测丝锭的装置501确定丝锭不是缺陷品时，指示分拣装置505进行相应的控制，打开正常丝锭的传送线路，使传送装置504按照初始传送正常丝锭的线路将丝锭传送到下一生产流程对应的位置。

上述丝锭分拣系统中还可以包括数据库507，用于存储预先采集的进行模型训练、确定相关参数等的样本图像数据，以及丝锭检测过程中相关的数据等。

本发明实施例还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的检测丝锭的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。