基于视觉提示的质检数据处理方法、系统、装置及介质与流程

本发明涉及视觉检测，尤其涉及一种基于视觉提示的质检数据处理方法、系统、装置及介质。

背景技术：

1、在工业ai质检领域，数据的重要性不可忽视。质检系统的性能和准确性高度依赖于训练数据的质量和多样性。质检ai需要大量的标记数据来训练模型，以便能够准确地识别和分类产品缺陷、异物或其他质量问题。工业生产中可能涉及各种产品和生产线，因此需要大量的数据来让模型适应不同的质检场景。

2、现有的工业质检数据处理方式是利用打标软件进行人工打标，在大规模生产中，需要人工标注大量的数据，且数据打标通常涉及到复杂的视觉特征，例如微小的缺陷或者产品表面的细微变化，这些特征的识别需要专业知识和经验，尤其是需要高度精细的标注时，雇佣专业标注员需要耗费大量成本，使得人工成本非常高。不同标注员之间的主观判断差异可能导致数据的不一致性，这会影响模型的训练效果。

技术实现思路

1、有鉴于此，本发明实施例的目的是提供一种基于视觉提示的质检数据处理方法、系统、装置及介质，降低了质检数据处理的成本，提高了标注标准的一致性。

2、第一方面，本发明实施例提供了一种基于视觉提示的质检数据处理方法，包括：

3、获取若干个待质检图片，对若干个待质检图片进行预处理；

4、将其中一张待质检图片作为样例图片，获取样例图片的人工标记数据；将人工标记数据输入到训练好的视觉提示编码器中，得到视觉提示特征；将预处理后的待质检图片输入到训练好的质检图像编码器中，得到若干个特征串；其中，将样例图片的特征串作为样例特征串；人工标记数据包括样例图片中的标记区域，标记区域包括瑕疵标记区域、检测目标标记区域或检测图像背景标记区域；

5、将样例特征串和视觉提示特征输入到瑕疵推理器中，得到样例图片的打标结果，判断样例图片的打标结果是否符合第一预设标准；若符合，将特征串输入到瑕疵推理器中，得到若干个待质检图片的瑕疵数据；其中，瑕疵数据包括瑕疵坐标、瑕疵类型或瑕疵置信度中的任意一个或多个；

6、获取预设参数，根据预设参数对待质检图片数据进行处理，将处理后的待质检图片数据封装成质检数据集；待质检图片数据包括待质检图片或瑕疵数据。

7、可选地，质检图像编码器的训练方法包括：

8、获取网络通用目标检测数据训练集和第一待标记目标框坐标训练集；网络通用目标检测数据集包括若干个网络通用目标检测数据和网络通用目标检测数据对应的特征串；第一待标记目标框坐标训练集包括若干个第一待标记目标框坐标和第一待标记目标框坐标对应的第一特征串；

9、将网络通用目标检测数据训练集和第一待标记目标框坐标训练集依次输入质检图像编码器中进行训练，直至达到第一预设条件，得到训练好的质检图像编码器。

10、可选地，视觉提示编码器的训练方法包括：

11、获取若干个通过训练好的质检图像编码器得到的第一待标记目标框坐标的第二特征串，根据若干个第二特征串，从与第二特征串对应的原始图像中截取初始训练图像集；其中，第二特征串包括表示瑕疵的特征串、表示检测目标的特征串和表示检测图像背景的特征串；

12、对初始训练图像集中的若干个图像进行随机截图，得到若干个图像像素段，将若干个图像像素段调整到相同大小，得到训练数据集；

13、将训练数据集输入到视觉提示编码器训练网络中进行训练，直至达到第二预设条件；其中，视觉提示编码器训练网络包括特征提取网络和分类网络；

14、提取特征提取网络作为训练好的视觉提示编码器。

15、可选地，对若干个待质检图片进行预处理，具体包括：

16、检测待质检图片是否符合第二预设标准；第二预设标准包括预设图片格式、预设图片大小和文件完整性；

17、若不符合第二预设标准，将待质检图片去除；

18、若符合第二预设标准，保留待质检图片。

19、可选地，将样例特征串和视觉提示特征输入到瑕疵推理器中，得到样例图片的打标结果，判断样例图片的打标结果是否符合第一预设标准，具体包括：

20、将样例特征串和视觉提示特征输入到瑕疵推理器中，得到样例图片的瑕疵数据；

21、根据样例图片的瑕疵数据显示打标结果，并获取打标结果的判断信号；

22、当判断信号为正确，打标结果符合第一预设标准；

23、当判断信号为错误，打标结果不符合第一预设标准，重新获取人工标记数据，将新获得的人工标记数据更新为当前的人工标记数据，返回将人工标记数据输入到训练好的视觉提示编码器中这一步骤，直至判断信号为正确。

24、可选地，预设参数包括瑕疵置信度阈值和数据集格式，获取预设参数，根据预设参数对待质检图片数据进行处理，将处理后的待质检图片数据封装成质检数据集，具体包括：

25、获取预设参数；

26、根据瑕疵置信度阈值对待质检图片数据进行筛选，当待质检图片数据中的瑕疵置信度低于瑕疵置信度阈值，去除待质检图片数据；当待质检图片数据中的瑕疵置信度达到瑕疵置信度阈值，保留待质检图片数据；

27、将筛选后的待质检图片数据根据数据集格式封装成预设格式的质检数据集。

28、可选地，瑕疵类型包括若干种不同的类型，不同的瑕疵类型对应不同的分类网络；当瑕疵类型发生改变，质检图像编码器和视觉提示编码器的训练集还可以通过以下方法获得：

29、获取第一待标记目标框坐标的置信度标准，获取满足置信度标准的第一待标记目标框坐标训练集；

30、获取人工打标数据集，将满足置信度标准的第一待标记目标框坐标训练集、网络通用目标检测数据集和人工打标数据集作为对应不同瑕疵类型的质检图像编码器的训练集；

31、获取第二待标记目标框坐标和第二待标记目标框坐标对应的特征串作为不同瑕疵类型的视觉提示编码器的训练集。

32、第二方面，本发明实施例还提供了一种基于视觉提示的质检数据处理装置，包括：

33、至少一个处理器；

34、至少一个存储器，用于存储至少一个程序；

35、当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上所述的方法。

36、第三方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行如上所述的方法。

37、第四方面，本发明实施例还提供了一种基于视觉提示的质检数据处理系统，包括待质检图片采集设备以及与待质检图片采集设备连接的计算机设备；其中，

38、待质检图片采集设备，用于采集待质检图片；

39、计算机设备包括：

40、至少一个处理器；

41、至少一个存储器，用于存储至少一个程序；

42、当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上所述的方法，并显示待质检图片的打标结果。

43、实施本发明实施例包括以下有益效果：本实施例一种基于视觉提示的质检数据处理方法、系统、装置及介质；本发明实施例提供的方法将人工标记数据输入到训练好的视觉提示编码器中，得到视觉提示特征；将预处理后的待质检图片输入到训练好的质检图像编码器中，得到若干个特征串；将特征串和视觉提示特征输入到瑕疵推理器中，根据视觉提示特征对待质检图片进行检测，得到待质检图片的瑕疵数据；其中，瑕疵数据包括瑕疵坐标、瑕疵类型或瑕疵置信度中的任意一个或多个；仅需通过人工对一张样例图片进行样例打标，来获得人工标记数据，而无需通过人工对大量待质检图片进行打标来获得所需的数据；且在采用通过人工标记数据得到的视觉提示特征对所有的待质检图片进行瑕疵检测前，判断样例图片的打标结果是否符合预设标准，若符合，才继续使用视觉提示特征对所有的待质检图片进行瑕疵检测，提高了瑕疵数据的准确度和可信度。通过将由待质检图片转换来的特征串和视觉提示特征输入到瑕疵推理器中统一进行检测，极大程度上避免了由于标注员的主观判断的不同而造成的误差，提高了打标标准的一致性和瑕疵检测的准确度，节省了人工成本。