一种多模态数据预训练及识别方法、装置、设备及介质与流程

本发明涉及图像识别领域，尤其涉及一种多模态数据预训练及识别方法、装置、设备及介质。

背景技术：

1、随着精密制造业的快速发展，每年因高精密仪器表面缺陷所造成的损失也高达千亿元级别，工业产品高精度缺陷检测需求日益强烈。特别是工业生产环境存在噪声、遮挡、振动、暗光等高度复杂的条件，使得缺陷检测必须具备智能化、高精度、长时间、高效率的要求。

2、虽然现阶段深度学习算法应用使得缺陷准确率得到一定提升，但是现有的高精度缺陷检测过程中缺陷样本小且不均衡，同时易受遮挡、氧化、振动等环境影响，存在产品缺陷检测准确率低和模型的鲁棒性弱的问题。

技术实现思路

1、为解决上述技术问题，本发明提供一种多模态数据预训练及识别方法、装置、设备及介质，提高产品缺陷检测准确率和模型的鲁棒性。

2、本发明实施例提供一种多模态数据预训练及识别方法，所述方法包括：

3、对采集获得的缺陷基础数据进行多源异构数据融合，构建缺陷场景规则数据库；

4、从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述缺陷场景规则数据库的场景因子；

5、构建携带缺陷场景信息的自编码网络结构模型，将所述场景因子融入所述自编码网络结构模型中，并输入由各类缺陷的样本数据进行编码得到的特征向量，进行数据与规则的匹配训练，生成模态识别模型；

6、根据所述模态识别模型对待检测样本进行缺陷识别。

7、进一步地，所述对采集获得的缺陷基础数据进行多源异构数据融合，构建缺陷场景规则数据库，具体包括：

8、对由历史经验数据、常见规则数据和缺陷标准数据构成的缺陷基础数据进行多源异构数据融合，形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库；

9、所述缺陷场景规则数据库包括：表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集。

10、作为上述方案的改进，所述表面缺陷数据集d1=[表面缺陷id，缺陷几何特征，空间分布数据，缺陷统计数据，缺陷频谱数据]；

11、所述缺陷规则数据集d2=[缺陷规则id，检测对象类型，缺陷分类统计数据，致损机理数据，缺陷成因规则，缺陷等级]；

12、所述检测系统数据集d3=[检测系统id，设备类型、生产线设计数据、技术选型]；

13、所述工艺场景数据集d4=[工艺场景数据id，检测对象类型、场景因素、生产工序]；

14、所述缺陷几何特征包括：点线面缺陷、边界、骨骼、形状、位置、大小、拉伸和平移；

15、所述空间分布数据包括：熵、对比度、一致性和相关性；

16、所述缺陷统计数据包括灰度共生矩阵、自相关系数、数学形态学、直方图统计特征、分形体值和缺陷频谱子集；

17、所述直方图统计特征包括范围、均值、几何均值、调和平均值、标准偏差、方差和中值。

18、所述分形体值包括拉伸、平移的分形维数和孔隙度；

19、所述缺陷频谱子集包括纹理频谱、污点频谱和锯齿频谱；

20、所述缺陷分类统计数据具体为缺陷自动划分的故障模式；

21、所述缺陷等级包括所述检测对象类型；

22、所述检测对象类型包括半导体、电路板、晶圆、织物、金属表面和木头；

23、所述场景因素包括作业规模和设备选型；

24、所述生产工序包括制坯、修磨、轧制、剪切、捆扎和成品。

25、优选地，所述从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述缺陷场景规则数据库的场景因子，具体包括：

26、从所述表面缺陷数据集中提取缺陷类型信息，从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息，从所述检测系统数据集和所述工艺场景数据集中提取场景信息；

27、对于缺陷z，根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵z×t×r；

28、对于缺陷-特征关联信息，采用第一提取因子aij从矩阵z×t中进行映射提取，得到前项缺陷场景因子，根据提取的所有前项缺陷场景因子形成前项场景因子；

29、对特征-场景关联信息，采用第二提取因子bij从矩阵t×r中进行映射提取，得到后项缺陷场景因子，根据提取的所有后项缺陷场景因子形成后项场景因子；

30、根据提取得到的前项场景因子和后项场景因子确定所述场景因子；

31、其中，，t，，n为缺陷类别数量，j为特征向量维度，zij为缺陷矩阵中的元素值，tij为特征信息矩阵中的元素值，rij为场景信息矩阵中的元素值，i=1,2,…n；，，时则=0，时则；；，，时则=0，时则；。

32、优选地，所述构建携带缺陷场景信息的自编码网络结构模型，将所述场景因子融入所述自编码网络结构模型中，并输入由各类缺陷的样本数据进行编码得到的特征向量，进行数据与规则的匹配训练，生成模态识别模型，具体包括：

33、将所述场景因子中的前项场景因子应用到所述自编码网络结构模型的编码器，进行有效特征提取；

34、将所述场景因子中的后项场景因子应用到所述自编码网络结构模型的解码器，进行规则生成；

35、输入由各类缺陷的样本数据编码的特征向量w，借鉴残差网络的思想，在基本操作块的结构中，在叠加时引入场景因子，使得场景因子在所述自编码网络结构模型的堆叠中隐含在层次结构里，解码输出得到场景规则输出[类型、特征、场景]；

36、对所述场景规则输出通过半监督的堆叠自编码器，在解码阶段添加分类器实现分类功能，经过数据与规则的匹配训练，优化所述自编码网络结构模型分类器，生成所述模态识别模型。

37、作为一种优选方案，所述自编码网络结构模型的目标函数具体为：

38、；

39、所述自编码网络结构模型的损失函数具体为：

40、；

41、其中，v（g，d）是定义的整个目标函数，n为原所属标签的数量，表示缺陷样本x经自编码网络后输出数据data(x)中为原所属标签的概率p，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率p；d（x）为条件概率计算函数，g（z）为所应用的分类类别数据中，在所属类别模型g（z）条件下，去较验输出信息y的概率；代表图像中是否存在类缺陷；a、b、w、h、c为缺陷检测时每一个网格的组成变量，a、b是网格左下角的点，w、h是网格的宽和高，c是网格置信度，表示通过位置信息计算均方差代表缺陷边界框的坐标损失；表示通过大小信息的计算绝对均方差代表缺陷边界框的尺寸损失；表示通过判断是否所属缺陷类型计算置信度损失。

42、优选地，所述场景规则输出还通过堆叠自编码器的隐层训练，不断生成和更新缺陷场景规则，并补充至所述缺陷场景规则数据库中。

43、本发明实施例还提供一种多模态数据预训练及识别装置，所述装置包括：

44、数据库构建模块，用于对采集获得的缺陷基础数据进行多源异构数据融合，构建缺陷场景规则数据库；

45、场景因子提取模块，用于从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述缺陷场景规则数据库的场景因子；

46、模型生成模块，用于构建携带缺陷场景信息的自编码网络结构模型，将所述场景因子融入所述自编码网络结构模型中，并输入由各类缺陷的样本数据进行编码得到的特征向量，进行数据与规则的匹配训练，生成模态识别模型；

47、缺陷识别模块，用于根据所述模态识别模型对待检测样本进行缺陷识别。

48、优选地，数据库构建模块具体用于：

49、对由历史经验数据、常见规则数据和缺陷标准数据构成的缺陷基础数据进行多源异构数据融合，形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库；

50、所述缺陷场景规则数据库包括：表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集。

51、进一步地，所述表面缺陷数据集d1=[表面缺陷id，缺陷几何特征，空间分布数据，缺陷统计数据，缺陷频谱数据]；

52、所述缺陷规则数据集d2=[缺陷规则id，检测对象类型，缺陷分类统计数据，致损机理数据，缺陷成因规则，缺陷等级]；

53、所述检测系统数据集d3=[检测系统id，设备类型、生产线设计数据、技术选型]；

54、所述工艺场景数据集d4=[工艺场景数据id，检测对象类型、场景因素、生产工序]；

55、所述缺陷几何特征包括：点线面缺陷、边界、骨骼、形状、位置、大小、拉伸和平移；

56、所述空间分布数据包括：熵、对比度、一致性和相关性；

57、所述缺陷统计数据包括灰度共生矩阵、自相关系数、数学形态学、直方图统计特征、分形体值和缺陷频谱子集；

58、所述直方图统计特征包括范围、均值、几何均值、调和平均值、标准偏差、；中值

59、所述分形体值包括拉伸、平移的分形维数和孔隙度；

60、所述缺陷频谱子集包括纹理频谱、污点频谱和锯齿频谱；

61、所述缺陷分类统计数据具体为缺陷自动划分的故障模式；

62、所述缺陷等级包括所述检测对象类型；

63、所述检测对象类型包括半导体、电路板、晶圆、织物、金属表面和木头；

64、所述场景因素包括作业规模和设备选型；

65、所述生产工序包括制坯、修磨、轧制、剪切、捆扎和成品。

66、优选地，所述场景因子提取模块具体用于：

67、从所述表面缺陷数据集中提取缺陷类型信息，从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息，从所述检测系统数据集和所述工艺场景数据集中提取场景信息；

68、对于缺陷z，根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵z×t×r；

69、对于缺陷-特征关联信息，采用第一提取因子aij从矩阵z×t中进行映射提取，得到前项缺陷场景因子，根据提取的所有前项缺陷场景因子形成前项场景因子；

70、对特征-场景关联信息，采用第二提取因子bij从矩阵t×r中进行映射提取，得到后项缺陷场景因子，根据提取的所有后项缺陷场景因子形成后项场景因子；

71、根据提取得到的前项场景因子和后项场景因子确定所述场景因子；

72、其中，，t，，n为缺陷类别数量，j为特征向量维度，zij为缺陷矩阵中的元素值，tij为特征信息矩阵中的元素值，rij为场景信息矩阵中的元素值，i=1,2,…n；，，时则=0，时则；；，，时则=0，时则；。

73、优选地，所述模型生成模块具体用于：

74、将所述场景因子中的前项场景因子应用到所述自编码网络结构模型的编码器，进行有效特征提取；

75、将所述场景因子中的后项场景因子应用到所述自编码网络结构模型的解码器，进行规则生成；

76、输入由各类缺陷的样本数据编码的特征向量w，借鉴残差网络的思想，在基本操作块的结构中，在叠加时引入场景因子，使得场景因子在所述自编码网络结构模型的堆叠中隐含在层次结构里，解码输出得到场景规则输出[类型、特征、场景]；

77、对所述场景规则输出通过半监督的堆叠自编码器，在解码阶段添加分类器实现分类功能，经过数据与规则的匹配训练，优化所述自编码网络结构模型分类器，生成所述模态识别模型。

78、优选地，所述自编码网络结构模型的目标函数具体为：

79、；

80、所述自编码网络结构模型的损失函数具体为：

81、；

82、其中，v（g，d）是定义的整个目标函数，n为原所属标签的数量，表示缺陷样本x经自编码网络后输出数据data(x)中为原所属标签的概率p，表示携带缺陷知识样本x经自编码网络后输出数据z(x)中为原所属标签的概率p；d（x）为条件概率计算函数，g（z）为所应用的分类类别数据中，在所属类别模型g（z）条件下，去较验输出信息y的概率；代表图像中是否存在类缺陷；a、b、w、h、c为缺陷检测时每一个网格的组成变量，a、b是网格左下角的点，w、h是网格的宽和高，c是网格置信度，表示通过位置信息计算均方差代表缺陷边界框的坐标损失；表示通过大小信息的计算绝对均方差代表缺陷边界框的尺寸损失；表示通过判断是否所属缺陷类型计算置信度损失。

83、进一步地，所述场景规则输出还通过堆叠自编码器的隐层训练，不断生成和更新缺陷场景规则，并补充至所述缺陷场景规则数据库中。

84、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例中任意一项所述的多模态数据预训练及识别方法。

85、本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的多模态数据预训练及识别方法。

86、本发明提供一种多模态数据预训练及识别方法、装置、设备及介质，通过对采集获得的缺陷基础数据进行多源异构数据融合，构建缺陷场景规则数据库；从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述缺陷场景规则数据库的场景因子；构建携带缺陷场景信息的自编码网络结构模型，将所述场景因子融入所述自编码网络结构模型中，并输入由各类缺陷的样本数据进行编码得到的特征向量，进行数据与规则的匹配训练，生成模态识别模型；根据所述模态识别模型对待检测样本进行缺陷识别。能够提高产品缺陷检测准确率和模型的鲁棒性。