工业产品的缺陷检测方法及其装置、电子设备及存储介质与流程

本发明涉及人工智能领域，具体而言，涉及一种工业产品的缺陷检测方法及其装置、电子设备及存储介质。

背景技术：

1、机器视觉作为人工智能技术的一个重要分支，能够通过摄像头、传感器等设备来获取并处理真实物体的图像，以从中提取所需的信息。工业领域对机器视觉技术的需求不断推动了这一领域的发展。当前，工业视觉已广泛应用于多个工业场景，包括流水线产品的视觉检测、基于视觉引导的机械臂操作以及智能工厂建设等。

2、算力作为工业视觉处理技术的基础，随着工业制造技术的不断改进，越来越多的智能应用将迁移到边缘计算设备上，以实现即时响应和降低延迟。这导致对计算能力提出了更高的要求。工业视觉领域的基于深度学习的算法任务主要包括对工业设备、工人以及制造环境中的特定物体进行识别、分类、检测和分割。当前，通用的视觉算法都基于深度神经网络实现，这些神经网络通常拥有复杂而庞大的结构，伴随着庞大的数据和参数量。

3、随着人工智能的不断发展，越来越多的机构开始利用机器视觉技术来提高生产效率和产品质量。通过机器视觉技术，可以实现自动化、高精度的产品检测，同时多感官融合技术也可以为机构的生产决策提供更全面的信息支持。此外，边缘检测技术也可以帮助机构实时监测和预警，确保生产过程的稳定性和安全性。然而，机器视觉在机构中的应用也受到一些限制。由于机构硬件设备资源、计算资源有限，视觉的算法模型往往庞大、复杂度较高，难以在相关硬件设备上进行部署。

4、相关技术中，虽然大部分视觉检测算法在准确率方面基本满足机构的需要，但是模型庞大无法在硬件设备有限的条件下进行部署。若是能够减小算法模型的同时保证算法检测精度，对机器视觉在工业中的应用能够提供进一步的保障。这将有助于在机构硬件设备资源和计算资源有限的条件下，使得机器视觉技术能够在更多的机构中得到广泛应用。

5、因此，机器视觉在工业领域中面临着以下几个问题：(1)硬件设备资源、计算资源有限；(2)机器视觉算法复杂度通常较高、计算量和参数量较大；(3)数据不充分且不均衡：机器视觉技术的发展需要大量的数据来进行训练和测试，但是在实际应用中，很难获得充分和均衡的数据集；(4)应用成本高：工业视觉的应用需要结合实际选择配套的专用硬件和软件，因此需要机构在成本和时间上花费很大，这也为机器视觉技术在中小机构的铺开造成了困难；(5)数据安全和隐私问题：机器视觉技术需要处理大量的图像和视频数据，这些数据可能涉及到机构的核心技术和机密。

6、综上可知，亟需一种在有限的硬件设备资源下的机器视觉检测方法，以提高机构的生产效率和产品质量，降低成本并推动工业自动化的发展。

7、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种工业产品的缺陷检测方法及其装置、电子设备及存储介质，以至少解决相关技术中无法在有限的设备资源下进行工业产品的缺陷检测的技术问题。

2、根据本发明实施例的一个方面，提供了一种工业产品的缺陷检测方法，包括：获取目标工业产品的待检测图片；将所述待检测图片输入至预设检测模型，输出标记图片，其中，所述预设检测模型是基于轻量化骨干网络构建的检测模型，所述标记图片上有多个标记框；解析所述标记图片，得到每个所述标记框标注的缺陷类型以及与所述缺陷类型对应的缺陷概率值；在所述缺陷概率值大于预设缺陷阈值的情况下，将所述缺陷概率值对应的所述缺陷类型添加至所述目标工业产品的产品缺陷集合中。

3、进一步地，在将所述待检测图片输入至所述预设检测模型，输出标记图片之前，还包括：构建轻量化模块，其中，所述轻量化模块包括：多个预设模块；基于所述轻量化模块，构建轻量化骨干网络；基于所述轻量化骨干网络，构建初始检测模型；采用历史数据集合对所述初始检测模型进行训练，得到预设检测模型。

4、进一步地，构建轻量化模块的步骤，包括：构建第一通道分支结构以及第二通道分支结构，其中，所述第一通道分支结构包括：两个预设卷积以及一个深度可分离卷积，所述第二通道分支结构包括：两个所述预设卷积以及两个所述深度可分离卷积；所述第一通道分支结构用于处理接收到的特征图，输出第一初始特征表示，所述第二通道分支结构用于处理接收到的特征图，输出第二初始特征表示；基于所述第一通道分支结构以及所述第二通道分支结构，构建所述预设模块，其中，所述预设模块至少包括：分离模块、通道合并模块；所述分离模块用于平均划分接收到的特征图的通道数，得到第一通道特征图以及第二通道特征图，并将所述第一通道特征图传输至所述第一通道分支结构以及将所述第二通道特征图传输至所述第二通道分支结构；所述通道合并模块用于合并所述第一初始特征表示以及所述第二初始特征表示的通道，得到合并特征表示；基于所述预设模块，构建所述轻量化模块，其中，所述轻量化模块用于输出预设特征表示，所述预设特征表示是最后一个预设模块输出的所述合并特征表示。

5、进一步地，基于所述轻量化模块，构建轻量化骨干网络的步骤，包括：构建卷积池化结构以及预设归一化结构，并基于所述预设归一化结构，构建预设操作结构；确定所述轻量化模块的预设数量；基于所述卷积池化结构、所述预设数量的所述轻量化模块以及所述预设操作结构，构建所述轻量化骨干网络，其中，所述轻量化骨干网络用于提取所述待检测图片的抽象特征表示。

6、进一步地，基于所述轻量化骨干网络，构建初始检测模型的步骤，包括：构建特征融合网络，其中，所述特征融合网络至少包括：上采样模块、通道合并模块，所述上采样模块用于放大接收到的缩小特征图，得到放大特征图；所述通道合并模块用于合并所述放大特征图以及抽象特征表示指示的特征图的通道，所述缩小特征图是对所述抽象特征表示指示的特征图经过预设归一化结构处理后的特征图，所述特征融合网络用于输出目标特征图；构建分类网络，其中，所述分类网络用于对所述目标特征图进行分类，输出不同尺寸的检测结果，所述检测结果包括：对输入图片标记的所述标记框以及对每个标记框标注的缺陷信息，所述缺陷信息包括：所述缺陷类型以及所述缺陷概率值；基于所述轻量化骨干网络、所述特征融合网络以及所述分类网络，构建所述初始检测模型。

7、进一步地，采用历史数据集合对所述初始检测模型进行训练，得到预设检测模型的步骤，包括：采集待检测产品的所述历史数据集合，其中，所述历史数据集合包括：多张产品图片以及所述产品图片对应的所述缺陷类型；将所述历史数据集合划分为训练集合、验证集合和测试集合；采用所述训练集合训练所述初始检测模型，得到训练后的所述初始检测模型；采用所述验证集合验证训练后的所述初始检测模型，得到验证结果；在所述验证结果指示验证通过的情况下，采用所述测试集合测试训练后的所述初始检测模型，得到测试结果，其中，所述测试结果包括：预设指标值；在所述预设指标值属于预设指标阈值范围的情况下，确定对所述初始检测模型训练完成，得到所述预设检测模型。

8、进一步地，将所述待检测图片输入至所述预设检测模型，输出标记图片的步骤，包括：基于所述目标工业产品的尺寸信息，采用所述预设检测模型从分类网络输出的不同尺寸的检测结果中确定目标尺寸对应的目标检测结果；基于所述目标检测结果，生成所述标记图片。

9、根据本发明实施例的另一方面，还提供了一种工业产品的缺陷检测装置，包括：获取单元，用于获取目标工业产品的待检测图片；输出单元，用于将所述待检测图片输入至预设检测模型，输出标记图片，其中，所述预设检测模型是基于轻量化骨干网络构建的检测模型，所述标记图片上有多个标记框；解析单元，用于解析所述标记图片，得到每个所述标记框标注的缺陷类型以及与所述缺陷类型对应的缺陷概率值；添加单元，用于在所述缺陷概率值大于预设缺陷阈值的情况下，将所述缺陷概率值对应的所述缺陷类型添加至所述目标工业产品的产品缺陷集合中。

10、进一步地，所述缺陷检测装置还包括：第一构建模块，用于在将所述待检测图片输入至所述预设检测模型，输出标记图片之前，构建轻量化模块，其中，所述轻量化模块包括：多个预设模块；第二构建模块，用于基于所述轻量化模块，构建轻量化骨干网络；第三构建模块，用于基于所述轻量化骨干网络，构建初始检测模型；第一训练模块，用于采用历史数据集合对所述初始检测模型进行训练，得到预设检测模型。

11、进一步地，所述第一构建模块包括：第一构建子模块，用于构建第一通道分支结构以及第二通道分支结构，其中，所述第一通道分支结构包括：两个预设卷积以及一个深度可分离卷积，所述第二通道分支结构包括：两个所述预设卷积以及两个所述深度可分离卷积；所述第一通道分支结构用于处理接收到的特征图，输出第一初始特征表示，所述第二通道分支结构用于处理接收到的特征图，输出第二初始特征表示；第二构建子模块，用于基于所述第一通道分支结构以及所述第二通道分支结构，构建所述预设模块，其中，所述预设模块至少包括：分离模块、通道合并模块；所述分离模块用于平均划分接收到的特征图的通道数，得到第一通道特征图以及第二通道特征图，并将所述第一通道特征图传输至所述第一通道分支结构以及将所述第二通道特征图传输至所述第二通道分支结构；所述通道合并模块用于合并所述第一初始特征表示以及所述第二初始特征表示的通道，得到合并特征表示；第三构建子模块，用于基于所述预设模块，构建所述轻量化模块，其中，所述轻量化模块用于输出预设特征表示，所述预设特征表示是最后一个预设模块输出的所述合并特征表示。

12、进一步地，所述第二构建模块包括：第四构建子模块，用于构建卷积池化结构以及预设归一化结构，并基于所述预设归一化结构，构建预设操作结构；第一确定子模块，用于确定所述轻量化模块的预设数量；第五构建子模块，用于基于所述卷积池化结构、所述预设数量的所述轻量化模块以及所述预设操作结构，构建所述轻量化骨干网络，其中，所述轻量化骨干网络用于提取所述待检测图片的抽象特征表示。

13、进一步地，所述第三构建模块包括：第六构建子模块，用于构建特征融合网络，其中，所述特征融合网络至少包括：上采样模块、通道合并模块，所述上采样模块用于放大接收到的缩小特征图，得到放大特征图；所述通道合并模块用于合并所述放大特征图以及抽象特征表示指示的特征图的通道，所述缩小特征图是对所述抽象特征表示指示的特征图经过预设归一化结构处理后的特征图，所述特征融合网络用于输出目标特征图；第七构建子模块，用于构建分类网络，其中，所述分类网络用于对所述目标特征图进行分类，输出不同尺寸的检测结果，所述检测结果包括：对输入图片标记的所述标记框以及对每个标记框标注的缺陷信息，所述缺陷信息包括：所述缺陷类型以及所述缺陷概率值；第八构建子模块，用于基于所述轻量化骨干网络、所述特征融合网络以及所述分类网络，构建所述初始检测模型。

14、进一步地，所述第一训练模块包括：第一采集子模块，用于采集待检测产品的所述历史数据集合，其中，所述历史数据集合包括：多张产品图片以及所述产品图片对应的所述缺陷类型；第一划分子模块，用于将所述历史数据集合划分为训练集合、验证集合和测试集合；第一训练子模块，用于采用所述训练集合训练所述初始检测模型，得到训练后的所述初始检测模型；第一验证子模块，用于采用所述验证集合验证训练后的所述初始检测模型，得到验证结果；第一测试子模块，用于在所述验证结果指示验证通过的情况下，采用所述测试集合测试训练后的所述初始检测模型，得到测试结果，其中，所述测试结果包括：预设指标值；第二确定子模块，用于在所述预设指标值属于预设指标阈值范围的情况下，确定对所述初始检测模型训练完成，得到所述预设检测模型。

15、进一步地，所述输出单元包括：第一确定模块，用于基于所述目标工业产品的尺寸信息，采用所述预设检测模型从分类网络输出的不同尺寸的检测结果中确定目标尺寸对应的目标检测结果；第一生成模块，用于基于所述目标检测结果，生成所述标记图片。

16、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项工业产品的缺陷检测方法。

17、根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项工业产品的缺陷检测方法。

18、在本发明中，获取目标工业产品的待检测图片，将待检测图片输入至预设检测模型，输出标记图片，解析标记图片，得到每个标记框标注的缺陷类型以及与缺陷类型对应的缺陷概率值，在缺陷概率值大于预设缺陷阈值的情况下，将缺陷概率值对应的缺陷类型添加至目标工业产品的产品缺陷集合中。

19、在本发明中，可以将工业产品的待检测图片输入至基于轻量化骨干网络构建的预设检测模型中，如果输出的标记图片上存在某标记框的缺陷概率值大于预设缺陷阈值，则将该标记框的缺陷类型添加至该工业产品的产品缺陷集合中，以及时提醒相关人员该工业产品可能存在产品缺陷集合中所示的缺陷类型，并且，通过轻量化骨干网络构建的预设检测模型能够部署在设备资源有限的终端设备中，能够实现对工业产品的实时缺陷检测，进而解决了相关技术中无法在有限的设备资源下进行工业产品的缺陷检测的技术问题。