数据处理方法、装置和计算机可读存储介质与流程

本技术涉及互联网，具体涉及一种数据处理方法、装置和计算机可读存储介质。

背景技术：

1、随着互联网技术的快速发展，人工智能技术的应用越来越广泛，例如，可以应用于工业缺陷质检等异常识别场景，工业缺陷质检是指对生产制造过程中的工业产品进行质量检测。在现有的数据处理方法中，往往通过收集工业产品的缺陷图像作为训练集对深度学习模型中进行训练，在实际应用时，将工业产品的图像输入到训练好的模型中，并根据模型的输出结果判断该工业产品是否为存在缺陷等异常情况。

2、在对现有技术的研究和实践过程中发现，现有的数据处理方法中，由于工业产品的缺陷情况大多是多种多样的，而模型训练集包含的缺陷图像是有限的，因此，在模型实际应用时，对于训练集中没有的缺陷图像，模型输出的可靠性会较低，从而使得异常识别的准确性较低，导致异常识别效率较低。

技术实现思路

1、本技术实施例提供一种数据处理方法、装置和计算机可读存储介质，可以提高异常识别的准确性，进而提升异常识别的效率。

2、本技术实施例提供一种数据处理方法，包括：

3、获取对象图像样本以及所述对象图像样本对应的异常标签信息，并采用待训练的异常识别模型在所述对象图像样本中提取出样本图像特征；

4、对所述样本图像特征进行特征扰动处理，得到所述样本图像特征对应的至少一个干扰图像特征；

5、采用所述待训练的异常识别模型基于所述干扰图像特征进行异常识别处理，得到所述干扰图像特征所对应的对象图像样本的干扰后异常程度信息；

6、根据所述干扰后异常程度信息以及所述对象图像样本的异常标签信息，确定所述待训练的异常识别模型对所述干扰图像特征的第一识别困难参数；

7、基于所述样本图像特征以及对应的干扰图像特征，确定所述待训练的异常识别模型对所述干扰图像特征的第二识别困难参数；

8、基于所述第一识别困难参数与所述第二识别困难参数，在所述干扰图像特征中筛选出所述待训练的异常识别模型识别困难的目标图像特征；

9、根据所述目标图像特征对所述待训练的异常识别模型进行模型训练，得到训练好的异常识别模型。

10、相应的，本技术实施例提供一种数据处理装置，包括：

11、特征提取单元，用于获取对象图像样本以及所述对象图像样本对应的异常标签信息，并采用待训练的异常识别模型在所述对象图像样本中提取出样本图像特征；

12、特征扰动单元，用于对所述样本图像特征进行特征扰动处理，得到所述样本图像特征对应的至少一个干扰图像特征；

13、异常识别单元，用于采用所述待训练的异常识别模型基于所述干扰图像特征进行异常识别处理，得到所述干扰图像特征所对应的对象图像样本的干扰后异常程度信息；

14、第一确定单元，用于根据所述干扰后异常程度信息以及所述对象图像样本的异常标签信息，确定所述待训练的异常识别模型对所述干扰图像特征的第一识别困难参数；

15、第二确定单元，用于基于所述样本图像特征以及对应的干扰图像特征，确定所述待训练的异常识别模型对所述干扰图像特征的第二识别困难参数；

16、特征筛选单元，用于基于所述第一识别困难参数与所述第二识别困难参数，在所述干扰图像特征中筛选出所述待训练的异常识别模型识别困难的目标图像特征；

17、模型训练单元，用于根据所述目标图像特征对所述待训练的异常识别模型进行模型训练，得到训练好的异常识别模型。

18、在一实施例中，所述特征筛选单元，包括：

19、参数加权子单元，用于基于所述第二识别困难参数对所述第一识别困难参数进行加权处理，得到所述待训练的异常识别模型对所述干扰图像特征的目标识别困难参数；

20、特征筛选子单元，用于根据所述目标识别困难参数，在所述干扰图像特征中筛选出所述待训练的异常识别模型识别困难的目标图像特征。

21、在一实施例中，所述第二确定单元，包括：

22、相似度计算子单元，用于计算所述样本图像特征与所述样本图像特征对应的干扰图像特征之间的特征相似度；

23、第一参数确定子单元，用于基于所述特征相似度确定所述待训练的异常识别模型对所述干扰图像特征的第二识别困难参数。

24、在一实施例中，所述第一确定单元，包括：

25、损失计算子单元，用于根据所述对象图像样本对应的所述干扰后异常程度信息与所述异常标签信息，计算所述待训练的异常识别模型对所述干扰图像特征的异常识别损失信息；

26、确定子单元，用于将所述异常识别损失信息确定为所述待训练的异常识别模型对所述对象图像样本对应的所述干扰图像特征的第一识别困难参数。

27、在一实施例中，所述特征扰动单元，包括：

28、特征映射参数获取子单元，用于获取所述待训练的异常识别模型对应的特征映射参数；

29、特征映射子单元，用于基于所述特征映射参数将所述样本图像特征映射至所述隐空间的其他至少一个位置，得到至少一个干扰图像特征，其中，所述样本图像特征与通过所述特征映射参数映射得到的所述干扰图像特征，在所述隐空间中的特征距离满足预设的距离条件。

30、在一实施例中，所述待训练的异常识别模型包括特征提取层、特征扰动层以及异常识别层；

31、所述特征提取层用于对所述对象图像样本进行样本图像特征提取，所述特征扰动层用于对所述样本图像特征进行特征扰动处理，并向外部以及所述异常识别层输出所述样本图像特征对应的干扰图像特征，所述异常识别层用于对所述样本图像特征和所述干扰图像特征进行异常识别处理；

32、所述第二确定单元，包括：

33、特征获取子单元，用于获取特征扰动层输出的所述样本图像特征对应的干扰图像特征；

34、第二参数确定子单元，用于基于所述样本图像特征以及对应的干扰图像特征，确定所述待训练的异常识别模型对所述干扰图像特征的第二识别困难参数。

35、此外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本技术实施例所提供的任一种数据处理方法中的步骤。

36、此外，本技术实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本技术实施例提供的数据处理方法。

37、本技术实施例还提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行本技术实施例提供的数据处理方法中的步骤。

38、本技术实施例通过获取对象图像样本以及对象图像样本对应的异常标签信息，并采用待训练的异常识别模型在对象图像样本中提取出样本图像特征；对样本图像特征进行特征扰动处理，得到样本图像特征对应的至少一个干扰图像特征；采用待训练的异常识别模型基于干扰图像特征进行异常识别处理，得到干扰图像特征所对应的对象图像样本的干扰后异常程度信息；根据干扰后异常程度信息以及对象图像样本的异常标签信息，确定待训练的异常识别模型对干扰图像特征的第一识别困难参数；基于样本图像特征以及对应的干扰图像特征，确定待训练的异常识别模型对干扰图像特征的第二识别困难参数；基于第一识别困难参数与第二识别困难参数，在干扰图像特征中筛选出待训练的异常识别模型识别困难的目标图像特征；根据目标图像特征对待训练的异常识别模型进行模型训练，得到训练好的异常识别模型。以此，通过将对象图像样本的样本图像特征进行特征扰动得到至少一个干扰图像特征，然后，采用待训练的异常识别模型基于干扰图像特征进行异常识别处理，得到干扰图像特征所对应的干扰后异常程度信息，并根据干扰后异常程度信息以及对象图像样本的异常标签信息确定待训练的异常识别模型对干扰图像特征的第一识别困难参数，从而根据样本图像特征和对应的干扰图像特征确定待训练的异常识别模型对干扰图像特征的第二识别困难参数，然后根据衡量干扰图像特征的识别困难程度的第一识别困难参数与第二识别困难参数在干扰图像特征中筛选出对于待训练的异常识别模型识别出异常情况较为困难的目标图像特征，从而根据识别困难的目标图像特征对待训练的异常识别模型进行模型训练，可以使得异常识别模型学习到多种存在极端异常或者识别困难的异常情况的图像特征，从而使得训练好的异常识别模型可以准确的识别出存在多种异常情况的图像，提升训练好的异常识别模型的异常识别准确性以及泛化性，以此，基于训练好的异常识别模型进行异常识别，可以提高异常识别的准确性，进而提升异常识别效率。