一种注塑件的表面缺陷检测方法、装置、设备和存储介质与流程

本申请涉及计算机视觉技术领域，尤其涉及一种注塑件的表面缺陷检测方法、装置、设备和存储介质。

背景技术：

由注塑机生产的各种注塑产品统称为注塑件，在注塑件的生产过程中，经常由于原料选取、温度设定、工艺设计、人为失误等原因而产生表面缺陷，例如缺料(边缘缺失一小块)、凹痕、划痕、流痕(表面出现波纹)等。

当前，大部分企业通过人工目检的方式来查找注塑件表面的缺陷问题，但是人工目检往往会因为员工的认真程度、心情、疲劳程度等因素的影响而产生偏差，导致漏检和误检的情况出现。部分企业开始尝试通过使用工业相机拍照后测量图像中的特定的缺陷指标，例如划痕的长度、缺口的面积、表面的颜色等方式查找注塑件表面的缺陷问题；然而该方式中，当待测注塑件在生产线上的位置出现偏差，或者外界光线发生改变时，测量结果也会随之改变；同时，当一个新的缺陷查找需求产生时，工作人员需要针对新的缺陷重新设计检测方案，并反复测量实验，费时费力。

可见，如何快速有效的检测注塑件的表面缺陷，避免残次品流入市场，仍是一个需要解决的问题。

技术实现要素：

有鉴于此，本申请提供一种注塑件的表面缺陷检测方法、装置、设备和存储介质，旨在提升注塑件表面缺陷的检测效率和准确性。

为实现上述目的，本申请第一方面提供一种注塑件的缺陷检测方法，包括：

采集注塑件的产品图片；

对所述产品图片进行第一预处理，得到待检测图片；

采用预先训练的检测模型检测所述待检测图片，得到所述注塑件表面是否存在缺陷的检测结果。

可选的，所述对所述产品图片进行第一预处理，得到待检测图片，包括：

对所述产品图片进行灰度和二值化处理，得到待检测图片。

可选的，所述对产品图片进行灰度和二值化处理，得到待检测图片，包括：

分离所述产品图片中每个像素点的三原色；

对所述每个像素点的三原色进行加权计算，得到每个像素点的灰度值；

判断所述灰度值是否超过灰度值阈值；

若判断结果为是，则将对应的像素点设置为第一预设值；

若判断结果为否，则将对应的像素点设置为第二预设值。

可选的，所述方法还包括：

获取注塑件的带标签的第一样本图片，所述标签用于标识所述第一样本图片包括的注塑件是否存在缺陷；

对所述第一样本图片进行第二预处理，得到带标签的第二样本图片，所述第二样本图片的标签与对应的第一样本图片的标签相同；

对所述第二样本图片进行训练，得到所述检测模型。

可选的，对所述第一样本图片进行第二预处理，得到带标签的第二样本图片，包括：

生成所述第一样本图片的形变图片，所述形变图片的标签与对应的第一样本图片的标签相同；

对所述形变图片进行灰度和二值化处理，得到第二样本图片。

可选的，所述生成所述第一样本图片的形变图片，包括：

按照预设偏移单位，对每个第一样本图片进行位移，得到每个第一样本图片的位移图片；

按照预设旋转角角度，对每个所述位移图片进行旋转，得到每个第一样本图片的旋转图片；

按照预设缩放比例，对每个所述旋转图片进行缩放，得到每个第一样本图片的缩放图片。

可选的，对所述第二样本图片进行训练，得到所述检测模型，包括：

按照预设划分比例，将所述第二样本图片打乱后划分为训练图片和测试图片；

对所述训练图片进行训练，得到初始模型；

采用所述测试图片测试所述初始模型，得到所述初始模型的准确率；

当所述准确率小于预设准确率时，对初始模型进行进一步训练；

当所述准确率不小于预设准确率时，将对应的初始模型作为检测模型。

为实现上述目的，本申请第二方面提供一种注塑件的缺陷检测装置，包括：

采集模块，用于采集注塑件的产品图片；

第一预处理模块，用于对所述产品图片进行第一预处理，得到待检测图片；

检测模块，用于采用预先训练的检测模型检测所述待检测图片，得到所述注塑件表面是否存在缺陷的检测结果。

为实现上述目的，本申请第三方面提供一种电子设备，包括：存储器和处理器；

所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如本申请第一方面所述的方法。

为实现上述目的，本申请第四方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现如本申请第一方面所述的方法。

本申请的技术方案中，通过预先将计算机视觉与神经网络相结合，得到检测模型，并对采集的注塑件的产品图片进行第一预处理得到检测图片，以采用检测模型对待检测图片进行检测，实现了注塑件表面是否存在缺陷的快速准确检测；该方式有效的解决了当前人工目检会因检测人员的情绪变化等外界因素导致检测误差的问题，以及传统计算机视觉低兼容性和不能快速适应新需求的问题；同时，极大的降低了企业培训和管理成本，有效的避免了残次品流入市场给企业带来损失的问题。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1为本申请一些实施例提供的一种注塑件的缺陷检测方法的流程图；

附图2为本申请一些实施例提供的检测模型的训练过程示意图；

附图3为本申请一些实施例提供的一种注塑件的缺陷检测装置的结构示意图；

附图4为本申请一些实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

附图1为本申请一些实施例提供的一种注塑件的表面缺陷检测方法的流程图，如图1所示，注塑件的缺陷检测方法包括：

步骤101：采集注塑件的产品图片；

具体的，通过计算机视觉设备拍摄注塑件的产品图片，其中，计算机视觉设备包括光源、柔光板、镜头、工业相机、控制器等。本申请中，将注塑机生产的各种注塑产品统称为注塑件。在注塑件的生产过程中，经常由于原料选取、温度设定、工艺设计、人为失误等原因而产生表面缺陷，如边缘缺失、凹痕、划痕、流痕等。通过采集注塑件的产品图片，以在后续通过对该产品图片进行处理，得到产品图片包括的注塑件是否存在缺陷的检测结果。

步骤102：对采集的产品图片进行第一预处理，得到待检测图片；

在本申请的一些实施例中，步骤102包括：对采集的产品图片进行灰度和二值化处理，得到待检测图片。

进一步的，对采集的产品图片进行灰度和二值化处理，得到待检测图片，包括：

步骤A1：分离采集的产品图片中每个像素点的三原色；

具体的，分离采集的产品图片中每个像素点的红、绿、蓝三种颜色的值。

步骤A2：对每个像素点的三原色进行加权计算，得到每个像素点的灰度值；

具体的，根据预设的红、绿、蓝三种颜色的权值，对每个像素点的红、绿、蓝三种颜色的值进行加权计算，得到每个像素点的灰度值。其中，红、绿、蓝三种颜色的权值可以在实际应用中根据需要自行设定；例如，红色的权值为0.3，绿色的权值为0.6，蓝色的权值为0.11，每个像素点的灰度值可以表示为gray＝0.3*r+0.6*g+0.11*b，其中，r为分离的红色的值，g为分离的绿色的值，b为分离的蓝色的值。

步骤A3：判断每个像素点的灰度值是否超过灰度值阈值，若判断结果为是，则将对应的像素点设置为第一预设值；若判断结果为否，则将对应的像素点设置为第二预设值。

其中，灰度值阈值即为二值化的临界值，第一预设值表示对应的像素点为黑色，第二预设值表示对应的像素点为白色。第一预设值和第二预设值可以在实际应用中根据需要自行设定，例如，第一预设值为1，第二预设值为0。

步骤103：采用预先训练的检测模型检测待检测图片，得到注塑件表面是否存在缺陷的检测结果。

本申请中，预先将计算机视觉与神经网络相结合，获取注塑件的同一位置的有缺陷的图片和没有缺陷的图片，并对获取的图片进行训练，得到检测模型；将得到的待检测图片输入至该检测模型进行检测，得到注塑件是否存在缺陷的检测结果。其中，检测模型的训练过程在后文进行详述。

由此，通过预先将计算机视觉与神经网络相结合，得到检测模型，并对采集的注塑件的产品图片进行第一预处理得到检测图片，以采用检测模型对检测图片进行检测，实现了注塑件是否存在缺陷的快速准确检测；该方式有效的解决了当前人工目检会因检测人员的情绪变化等外界因素导致检测误差的问题，以及传统计算机视觉低兼容性和不能快速适应新需求的问题；同时，极大的降低了企业培训和管理成本，有效的避免了残次品流入市场给企业带来损失的问题。

基于前述任一实施例，在本申请的一些实施例中，方法还包括训练检测模型；具体的，如图2所示的训练过程示意图，包括以下操作：

步骤B1：获取注塑件的带标签的第一样本图片，其中，标签用于标识第一样本图片包括的注塑件是否存在缺陷；

具体而言，通过工业相机等计算机视觉设备拍摄注塑件的同一位置存在缺陷的图片和不存在缺陷的图片，并人工标注每个图片中的注塑件是否存在缺陷的标签，得到第一样本图片。需要指出的是，为对于缺料的注塑件，缺料区域的背景尽量纯净不要有杂色；对于划痕、流纹等缺陷，要注意合理打光，确保缺陷在拍摄到的画面中清晰可鉴；同时，拍摄时应注意尽量保持每张图片中注塑件的角度和位置一致或近似。

在本申请的一些实施例中，为减少后续检测模型训练的训练时间、提高预测准确率，还可以标注每个第一样本图片中的“感兴趣区域”，该“感兴趣区域”即表面缺陷经常出现的地方，在训练过程中“感兴趣区域”以外的区域则会被忽略。

步骤B2：对第一样本图片进行第二预处理，得到带标签的第二样本图片，其中第二样本图片的标签与对应的第一样本图片的标签相同；

在本申请的一些实施例中，步骤B2包括：

步骤B2-1：生成第一样本图片的形变图片，其中形变图片的标签与对应的第一样本图片的标签相同；

在本申请的一些实施例中，步骤B2-1包括：

步骤C1：按照预设偏移单位，对每个第一样本图片进行位移，得到每个第一样本图片的位移图片；

具体的，将每个第一样本图片导入至坐标系中后，按照预设的偏移坐标移动第一样本图片，得到每个第一样本图片的至少一个位移图片。

例如，预设的偏移坐标为(-25，-25)、(-25，-24)、(-25，-23)…(-25，+25)、(-24，-25)、(-24，-24)、(-24，-23)…(-24，+25)、(-23，-25)、(-23，-24)、(-23，-23)…(-23，+25)…(+25，-25)、(+25，-24)(+25，-23)…(+25，+25)等，即将第一样本图片在横轴上移动-25个像素，在纵轴上移动-25个像素，得到第一样本图片的第一个位移图片；将第一样本图片在横轴上移动-25个像素，在纵轴上移动-24个像素，得到第一样本图片的第二个位移图片，以此类推，直至将第一样本图片在横轴上移动+25个像素，在纵轴上移动+25个像素，得到第一样本图片的最后一个位移图片；其中，每个位移图片的标签与对应的第一样本图片的标签相同，并记为原始标签。

步骤C2：按照预设旋转角角度，对每个位移图片进行旋转，得到每个第一样本图片的旋转图片；

具体的，按照预设的旋转角度，将每个位移图片绕其中心点旋转，得到每个第一样本图片的旋转图片。

其中，预设的旋转角度可以在实际应用中根据需要自行设定，例如旋转角度为-5、-4、-3…+4、+5度，即将某个位移图片绕其中心点旋转-5度，得到对应的第一样本图片的第一个旋转图片，将该位移图片绕其中心点旋转-4度，得到对应的第一样本图片的第二个旋转图片，将该位移图片绕其中心点旋转-3度，得到对应的第一样本图片的第三个旋转图片，以此类推，直至将该位移图片绕其中心点旋转+5度，得到对应的第一样本图片的最后一个旋转图片；其中，每个旋转图片的标签与对应的第一样本图片的标签相同，并记为原始标签。

步骤C3：按照预设缩放比例，对每个旋转图片进行缩放，得到每个第一样本图片的缩放图片。

具体的，按照预设缩放比例，以每个旋转图片的中心点为基准点对每个旋转图片进行整体缩放，得到对应的每个第一样本图片的缩放图片。

其中，预设缩放比例可以在实际应用中，根据需要自行设定；例如预设缩放比例为0.90、0.91、0.92…1.11，其中小于1的比例为缩小比例，大于1的比例为放大比例，即将某个旋转图片缩小0.90倍，得到对应的第一样本图片的第一个缩小图片，将该旋转图片缩小0.91倍，得到对应的第一样本图片的第二个缩小图片，以此类推，直至将该旋转图片扩大1.11倍，得到对应的第一样本图片的最后一个放大图片；其中，每个缩放图片的标签与对应的第一样本图片的标签相同，并记为原始标签。

通过生成每个第一样本图片的位移图片、旋转图片和缩放图片，一方面有效的避免了在使用计算机视觉设备拍摄注塑件的同一位置存在缺陷的图片和不存在缺陷的图片的过程中，因设备的机械臂的摆动而造成拍摄的图片所包括的注塑件发生位移、以及光线强弱不同等因素，而造成训练的检测模型的准确率下降的问题；使得训练得到的检测模型对注塑件的小范围移动和光线的改变具有良好的兼容性。另一方面，根据少量的第一样本图片生成大量的可作为后续模型训练的训练样本，减少了训练样本的收集时间。

步骤B2-2：对生成的形变图片进行灰度和二值化处理，得到第二样本图片。

具体的，对每个第一样本图片的每个形变图片进行灰度和二值化处理，并将处理后的每个图片作为第二样本图片。其中，灰度和二值化处理的过程可参见前述步骤A1至步骤A3所描述的过程，在此不再赘述。

步骤B3：对第二样本图片进行训练，得到检测模型。

在本申请的一些实施例中，步骤B3包括：

步骤B3-1：按照预设划分比例，将第二样本图片打乱后划分为训练图片和测试图片；

其中，预设比例在实际应用中可以根据需要自行设定，例如预设的划分比例为8:2，即选取第二样本图片中的80％作为训练图片，20％作为测试图片。

步骤B3-2：对训练图片进行训练，得到初始模型；

具体的，将训练图片及其原始标签输入到神经网络，通过神经网络的卷积层、全连接层和池化层等对训练图片和训练图片的标签进行学习，得到初始模型。

步骤B3-3：采用测试图片测试初始模型，得到初始模型的准确率，当准确率不小于预设准确率时，将对应的初始模型作为检测模型；若小于预设准确率，则需要对初始模型进行进一步的训练。

具体的，在每次对训练图片进行训练得到初始模型时，将不带原始标签的测试图片输入到初始模型中进行预测，得到测试图片的预测标签，将测试图片的原始标签与预测标签比对，得到比对一致的预测标签的个数，计算比对一致的预测标签的个数与预测标签总个数的比值，得到初始模型的准确率；判断得到的准确率是否不小于预设准确率，并在判断结果为是时，将当前的初始模型作为训练得到的检测模型；若判断结果为否时，对初始模型进行进一步的训练。

由此，通过将计算机视觉与神经网络相结合，生成每个第一样本图片的形变图片，对形变图片进行灰度和二值化处理得到第二样本图片，并基于第二样本图片训练用于检测产品图片包括的注塑件是否存在缺陷的检测模型，使得训练得到的检测模型对待检测的注塑件的小范围移动和光线的改变具有良好的兼容性。进而，在需要检测注塑件的表面是否存在缺陷时，采集注塑件的产品图片并进行第一预处理得到检测图片后，采用该检测模型对检测图片进行检测，即可实现注塑件是否存在缺陷的快速准确检测；不仅能够有效的解决当前人工目检会因检测人员的情绪变化等外界因素导致检测误差的问题，以及传统计算机视觉低兼容性和不能快速适应新需求的问题；而且极大的降低了企业培训和管理成本，有效的避免了残次品流入市场给企业带来损失的问题。

以上是本申请实施例提供的一注塑件的缺陷检测方法，与上述方法相对应的，本发明还提供一种注塑件的缺陷检测装置，由于所述装置解决问题的实现方案与上述方法相似，因此与方法部分相应的内容，可以参考上述方法实施例的详细描述，后续不做赘述。可以理解的是，本申请提供的装置可以包括能够执行上述方法示例中各个步骤的单元或模块，这些单元或模块可以通过硬件、软件或软硬结合的方式来实现，本发明并不限定。下面结合附图3做具体描述。

附图3为本申请一些实施例提供的一种注塑件的表面缺陷检测装置，如图3所示，注塑件的缺陷检测装置包括：

采集模块201，用于采集注塑件的产品图片；

第一预处理模块202，用于对采集模块201采集的产品图片进行第一预处理，得到待检测图片；

检测模块203，用于采用预先训练的检测模型检测预处理模块202得到的待检测图片，得到注塑件表面是否存在缺陷的检测结果。

在本申请的一些实施例中，预处理模块202具体用于：

对产品图片进行灰度和二值化处理，得到待检测图片。

在本申请的一些实施例中，预处理模块202具体用于：

分离产品图片中每个像素点的三原色；

对每个像素点的三原色进行加权计算，得到每个像素点的灰度值；

判断灰度值是否超过灰度值阈值；

若判断结果为是，则将对应的像素点设置为第一预设值；

若判断结果为否，则将对应的像素点设置为第二预设值。

在本申请的一些实施例中，装置还包括：

获取模块204，用于获取注塑件的带标签的第一样本图片，其中标签用于标识第一样本图片包括的注塑件是否存在缺陷；

第二预处理模块205，用于对第一样本图片进行第二预处理，得到带标签的第二样本图片，其中第二样本图片的标签与对应的第一样本图片的标签相同；

训练模块206，用于对第二样本图片进行训练，得到检测模型。

在本申请的一些实施例中，第二预处理模块205包括：

生成子模块，用于生成第一样本图片的形变图片，其中形变图片的标签与对应的第一样本图片的标签相同；

预处理子模块，用于对形变图片进行灰度和二值化处理，得到带标签的第二样本图片。

在本申请的一些实施例中，生成子模块具体用于：

按照预设偏移单位，对每个第一样本图片进行位移，得到每个第一样本图片的位移图片；

按照预设旋转角角度，对每个位移图片进行旋转，得到每个第一样本图片的旋转图片；

按照预设缩放比例，对每个旋转图片进行缩放，得到每个第一样本图片的缩放图片。

在本申请的一些实施例中，训练模块206具体用于：

按照预设划分比例，将第二样本图片划分为训练图片和测试图片；

对训练图片进行训练，得到初始模型；

采用测试图片测试初始模型，得到初始模型的准确率；

当准确率不小于预设准确率时，将对应的初始模型作为检测模型。

本申请实施例提供的注塑件的缺陷检测装置，与前述实施例提供的注塑件的缺陷检测方法，出于相同的发明构思，具有相同的效果。

本申请实施方式还提供一种与前述实施方式所提供的注塑件的缺陷检测方法对应的电子设备，该电子设备可以是服务器，包括独立的服务器和分布式服务器集群等；该电子设备还可以是用于客户端的电子设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述注塑件的缺陷检测方法。

如图4为本申请一些实施例提供的一种电子设备的示意图，如图4所示，包括：存储器301，处理器302，总线303和通信接口304；

其中，存储器301，处理器302和通信接口304通过总线303连接；存储器301中存储有可在处理器302上运行的计算机程序，处理器302运行该计算机程序时执行时，实现前述任一实施例所提供的注塑件的缺陷检测方法。

进一步的，存储器301可以包含高速随机存取存储器(RAM：Random Access Memory)，也可以还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器302可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器302中的硬件的集成逻辑电路或者软件形式的指令完成。处理器302还可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

总线303可以是ISA(英文：Industry Standard Architecture；中文：工业标准体系结构)总线、PCI(英文：Peripheral Component Interconnect；中文：外设部件互连标准)总线或EISA(英文：Extended Industry Standard Architecture；中文：扩展工业标准结构)总线等。

本申请实施例提供的电子设备与本申请实施例提供的注塑件的缺陷检测方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种与前述实施方式所提供的注塑件的缺陷检测方法对应的计算机可读介质，其上存储有计算机程序(即程序产品)，该计算机程序在被处理器运行时，实现前述任一实施例所提供的注塑件的缺陷检测方法。

其中，计算机可读存储介质包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请实施例提供的计算机可读存储介质与本申请实施例提供的注塑件的缺陷检测方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。