一种塑料泵缺陷检测方法、装置及系统与流程

本申请涉及图像检测技术领域，尤其涉及一种塑料泵缺陷检测方法、装置及系统。

背景技术：

塑料制品在日常生活中运用广泛，它具有高强度、耐腐蚀、绝缘鞋和化学稳定等优点。随着塑料工业的迅速发展，塑料制品已经成为人们生活中不可缺失的产品。

针对于生活中常用的洗发水等日化产品的塑料泵，该类塑料泵的加工方法主要有挤出成型、注射成型、吹塑成型和压制成型。在生成过程中，从原料加工到泵体成型，会受到成型模具、工艺、材料、温度等影响，不可避免会产生缺陷，常见的缺陷类型有气孔、划痕、缺胶、油污等。厂商为了保证产品的质量，需要将存在缺陷塑料泵分类挑选。

塑料泵体是一个结构复杂的圆柱形泵体，目前采用的检测方案大多是在缺陷检测系统中，通过静止摆放好塑料泵的位置，再通过采集照片，通过提取像素点的特征来做分类。但是由于塑料泵体是一个圆柱体，通常在实时检测的过程中难以保证泵的位姿与标准泵一样，同时这种方法还存在对小缺陷难以准确的识别的技术问题。

技术实现要素：

本申请提供了一种塑料泵缺陷检测方法、装置及系统，解决了在实时检测的过程中难以保证泵的位姿与标准泵一样，同时还存在对小缺陷难以准确的识别的技术问题。

有鉴于此，本申请第一方面提供了一种塑料泵缺陷检测方法，所述方法包括：

获取设置于四个预设位置的视频采集装置采集的塑料泵在传送带上的四个运动视频；

将四个所述运动视频分别分帧；

分别提取分帧后的四个所述运动视频中模糊度最低的关键帧图像；

对所述关键帧图像进行预处理，并缩放所述关键帧图像至预设尺寸；

通过训练好的yolov3模型对所述关键帧图像进行缺陷检测，得到对所述塑料泵的缺陷检测结果。

可选的，所述通过训练好的yolov3模型对所述关键帧图像进行缺陷检测之前还包括：

获取缺陷图像训练集，所述缺陷图像训练集中包括无缺陷图像和有缺陷图像；

标记所述缺陷图像训练集中的缺陷位置及大小；

基于darknet-53框架，搭建yolov3模型；

将所述缺陷图像训练集作为所述yolov3模型的输入，对所述yolov3模型进行训练，得到训练好的yolov3模型。

可选的，所述标记所述缺陷图像训练集中的缺陷位置及大小之后还包括：

将所述缺陷图像训练集中的无缺陷图像和有缺陷图像随机旋转0-10度。

可选的，所述对所述关键帧图像进行预处理，并缩放所述关键帧图像至预设尺寸具体为：

对所述关键帧图像进行直方图均衡、降噪、滤波以及形态学处理；

缩放所述关键帧图像至32的倍数大小。

本申请第二方面提供一种塑料泵缺陷检测装置，所述装置包括：

第一获取单元，用于获取设置于四个预设位置的视频采集装置采集的塑料泵在传送带上的四个运动视频；

分帧单元，用于将四个所述运动视频分别分帧；

提取单元，用于分别提取分帧后的四个所述运动视频中模糊度最低的关键帧图像；

第一预处理单元，用于对所述关键帧图像进行预处理，并缩放所述关键帧图像至预设尺寸；

检测单元，用于通过训练好的yolov3模型对所述关键帧图像进行缺陷检测，得到对所述塑料泵的缺陷检测结果。

可选的，还包括：

第二获取单元，用于获取缺陷图像训练集，所述缺陷图像训练集中包括无缺陷图像和有缺陷图像；

标记单元，用于标记所述缺陷图像训练集中的缺陷位置及大小；

构建单元，用于基于darknet-53框架，搭建yolov3模型；

训练单元，用于将所述缺陷图像训练集作为所述yolov3模型的输入，对所述yolov3模型进行训练，得到训练好的yolov3模型。

可选的，还包括：

第二预处理单元，用于将所述缺陷图像训练集中的无缺陷图像和有缺陷图像随机旋转0-10度。

可选的，所述第一预处理单元具体用于：

对所述关键帧图像进行直方图均衡、降噪、滤波以及形态学处理；

缩放所述关键帧图像至32的倍数大小。

本申请第三方面提供一种塑料泵缺陷检测系统，所述系统包括：

传送带、四个视频采集装置以及本申请第二方面所述的塑料泵缺陷检测装置；

一个所述视频采集装置设置于所述传送带的正上方；

三个所述视频采集装置呈120度设置于所述传送带上方；

所述视频采集装置与所述塑料泵缺陷检测装置连接。

可选的，还包括分拣装置；

所述分拣装置设置于所述传送带的末端；

所述分拣装置与所述塑料泵缺陷检测装置连接，所述分拣装置根据所述塑料泵缺陷检测装置的缺陷检测结果对所述传送带上塑料泵进行分拣处理。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请提供了一种塑料泵缺陷检测方法，通过在四个预设位置分别设置视频采集装置，对塑料泵进行全方位的视频采集，再提取采集的运动视频中图像清晰的关键帧图像，并通过训练好的yolov3模型对关键帧图像进行识别，利用yolov3模型对小目标缺陷的准确识别的优点，保证了塑料泵的缺陷检测成功率，解决了在实时检测的过程中难以保证泵的位姿与标准泵一样，同时还存在对小缺陷难以准确的识别的技术问题。

附图说明

图1为本申请实施例中一种塑料泵缺陷检测方法的一个实施例的方法流程图；

图2为本申请实施例中一种塑料泵缺陷检测方法的另一个实施例的方法流程图；

图3为本申请实施例中一种塑料泵缺陷检测装置的一个实施例的结构示意图；

图4为本申请实施例中一种塑料泵缺陷检测装置的另一个实施例的结构示意图；

图5为本申请实施例中一种塑料泵缺陷检测系统的一个实施例的运动结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请设计了一种塑料泵缺陷检测方法、装置及系统，解决了在实时检测的过程中难以保证泵的位姿与标准泵一样，同时还存在对小缺陷难以准确的识别的技术问题。

为了便于理解，请参阅图1，图1为本申请实施例中一种塑料泵缺陷检测方法的一个实施例的方法流程图，如图1所示，具体为：

101、获取设置于四个预设位置的视频采集装置采集的塑料泵在传送带上的四个运动视频；

102、将四个运动视频分别分帧；

103、分别提取分帧后的四个运动视频中模糊度最低的关键帧图像；

104、对关键帧图像进行预处理，并缩放关键帧图像至预设尺寸；

105、通过训练好的yolov3模型对关键帧图像进行缺陷检测，得到对塑料泵的缺陷检测结果。

本申请实施例中，提供了一种塑料泵缺陷检测方法，通过在四个预设位置分别设置视频采集装置，对塑料泵进行全方位的视频采集，再提取采集的运动视频中图像清晰的关键帧图像，并通过训练好的yolov3模型对关键帧图像进行识别，利用yolov3模型对小目标缺陷的准确识别的优点，保证了塑料泵的缺陷检测成功率，解决了在实时检测的过程中难以保证泵的位姿与标准泵一样，同时还存在对小缺陷难以准确的识别的技术问题。

请参阅图2，图2为本申请实施例中一种塑料泵缺陷检测方法的另一个实施例的方法流程图，如图2所示，具体为：

201、获取缺陷图像训练集，缺陷图像训练集中包括无缺陷图像和有缺陷图像；

需要说明的是，用于训练的缺陷图像训练集中包括无缺陷图像和有缺陷图像。

202、标记缺陷图像训练集中的缺陷位置及大小；

需要说明的是，对于缺陷图像训练集中的有缺陷图像，需要通过labelimage标记有缺陷图像的缺陷位置以及大小。

203、将缺陷图像训练集中的无缺陷图像和有缺陷图像随机旋转0-10度；

需要说明的是，为了放置后续训练时模型过拟合，将缺陷图像训练集中的无缺陷图像和有缺陷图像随机旋转0-10度，同时还增加样本量。

204、基于darknet-53框架，搭建yolov3模型；

需要说明的是，yolov3模型是基于darknet-53框架，其中包括52个卷积层和1个全连接层，该模型相对于同类型的网络结构的速度更快，网络层数更少。

205、将缺陷图像训练集作为yolov3模型的输入，对yolov3模型进行训练，得到训练好的yolov3模型；

需要说明的是，缺陷图像训练集作为yolov3模型的输入，通过yolov3模型中的特征提取网络对缺陷图像训练集中的图像进行特征提取，得到一定尺寸的特征图，缺陷图像训练集中的图像分为s*s个网格单元，如果图像的标注数据落入某个网格单元中，将由该网格单元检测该缺陷。每个网格单元将预测边框及其置信度，以及缺陷类别的概率，选择置信度最大的类作为框内目标的预测类别，其中，边框预测的公式具体为：

其中，bx，by分别是预测边框中心点的横纵坐标，bw，bh是预测到的边框的宽高，cx、cy为featuremap中网格单元的左上角的横纵坐标，tx、ty是预测坐标的偏移值，tw、th是尺寸缩放，pω，ph是边框预测前的宽高。

206、获取设置于四个预设位置的视频采集装置采集的塑料泵在传送带上的四个运动视频；

需要说明的是，一个视频采集装置设置于传送带的正上方，三个视频采集装置呈120度设置于传送带上方，采集全方位的传送带上的塑料泵的运动视频，视频采集装置包括工业相机和球积分光源，工业相机通过球积分光源采集运动视频。

207、将四个运动视频分别分帧；

需要说明的是，视频采集装置采集的运动视频实际上是由多个帧图像组成的动态图像，因此按照一定的时间间隔将四个运动视频分别进行分帧处理。

208、分别提取分帧后的四个运动视频中模糊度最低的关键帧图像；

需要说明的是，分帧后，提取每个运动视频中模糊度最低的关键帧图像，以便后续提取特征。

209、对关键帧图像进行直方图均衡、降噪、滤波以及形态学处理；

210、缩放关键帧图像至32的倍数大小；

211、通过训练好的yolov3模型对关键帧图像进行缺陷检测，得到对塑料泵的缺陷检测结果；

需要说明的是，利用训练好的yolov3模型，将关键帧图像输入至该模型中进行缺陷检测，若关键帧图像中存在缺陷时，训练好的yolov3模型将对关键帧图像中的缺陷进行标注，从而确定塑料泵的缺陷检测结果。

本申请实施例中，提供了一种塑料泵缺陷检测方法，通过在四个预设位置分别设置视频采集装置，对塑料泵进行全方位的视频采集，再提取采集的运动视频中图像清晰的关键帧图像，并通过训练好的yolov3模型对关键帧图像进行识别，利用yolov3模型对小目标缺陷的准确识别的优点，保证了塑料泵的缺陷检测成功率，解决了在实时检测的过程中难以保证泵的位姿与标准泵一样，同时还存在对小缺陷难以准确的识别的技术问题，进一步地，采用球积分光源进行运动视频的采集，能够保证图像照度均匀，检测稳定，消除多光源照射出现的反光情况。

请参阅图3，图3为本申请实施例中一种塑料泵缺陷检测装置的一个实施例的结构示意图，如图3所示，具体为：

第一获取单元301，用于获取设置于四个预设位置的视频采集装置采集的塑料泵在传送带上的四个运动视频；

分帧单元302，用于将四个运动视频分别分帧；

提取单元303，用于分别提取分帧后的四个运动视频中模糊度最低的关键帧图像；

第一预处理单元304，用于对关键帧图像进行预处理，并缩放关键帧图像至预设尺寸；

检测单元305，用于通过训练好的yolov3模型对关键帧图像进行缺陷检测，得到对塑料泵的缺陷检测结果。

请参阅图4，图4为本申请实施例中一种塑料泵缺陷检测装置的另一个实施例的结构示意图，如图4所示，具体为：

第二获取单元401，用于获取缺陷图像训练集，缺陷图像训练集中包括无缺陷图像和有缺陷图像；

标记单元402，用于标记缺陷图像训练集中的缺陷位置及大小；

第二预处理单元403，用于将缺陷图像训练集中的无缺陷图像和有缺陷图像随机旋转0-10度；

构建单元404，用于基于darknet-53框架，搭建yolov3模型；

训练单元405，用于将缺陷图像训练集作为yolov3模型的输入，对yolov3模型进行训练，得到训练好的yolov3模型；

第一获取单元406，用于获取设置于四个预设位置的视频采集装置采集的塑料泵在传送带上的四个运动视频；

分帧单元407，用于将四个运动视频分别分帧；

提取单元408，用于分别提取分帧后的四个运动视频中模糊度最低的关键帧图像；

第一预处理单元409，用于对关键帧图像进行直方图均衡、降噪、滤波以及形态学处理，缩放关键帧图像至32的倍数大小；

检测单元410，用于通过训练好的yolov3模型对关键帧图像进行缺陷检测，得到对塑料泵的缺陷检测结果。

请参阅图5，图5为本申请实施例中一种塑料泵缺陷检测系统的一个实施例的运动结构图，如图5所示，具体为：

传送带、四个视频采集装置以及本申请第二方面的塑料泵缺陷检测装置；

一个视频采集装置设置于传送带的正上方；

三个视频采集装置呈120度设置于传送带上方；

视频采集装置与塑料泵缺陷检测装置连接。

进一步地，还包括分拣装置；

分拣装置设置于传送带的末端；

分拣装置与塑料泵缺陷检测装置连接，分拣装置根据塑料泵缺陷检测装置的缺陷检测结果对传送带上塑料泵进行分拣处理。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：randomaccessmemory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。