一种图像数据处理方法、计算机设备以及可读存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种图像数据处理方法、计算机设备以及可读存储介质。


背景技术：

2.对于工业中的目标对象(即元器件)而言，现有的缺陷质检过程为采用人工肉眼结合显微镜审核的方式对元器件的目标图像进行质量检测。可以理解的是，人工质检工作繁复枯燥容易造成人员流失；人工质检有主观性，不一致性明显；人工质检速度慢，生产效率底。此外，元器件的表面结构十分复杂，人工质检方式难免会遗漏元器件中的某个位置的缺陷，进而降低了质量检测的准确性。


技术实现要素：

3.本技术实施例提供一种图像数据处理方法、计算机设备以及可读存储介质，可以提高质量检测的准确性。
4.本技术实施例一方面提供了一种图像数据处理方法，包括：
5.获取与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果；n个目标图像是由n个拍摄组件分别对同一个目标对象进行拍摄所得到的；n个目标图像的视觉角度互不相同；n为正整数；s为正整数；n个目标图像包括目标图像li，i为小于或等于n的正整数；
6.根据目标图像li的缺陷标注区域和目标图像li的图像属性信息，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果；
7.基于s个缺陷标注区域分别对应的第一缺陷输出结果和s个缺陷标注区域分别对应的第二缺陷输出结果，对目标对象进行多视角决策分析，得到目标对象的对象检测结果。
8.本技术实施例一方面提供了一种图像数据处理装置，包括：
9.第一输出模块，用于获取与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果；n个目标图像是由n个拍摄组件分别对同一个目标对象进行拍摄所得到的；n个目标图像的视觉角度互不相同；n为正整数；s为正整数；n个目标图像包括目标图像li，i为小于或等于n的正整数；
10.第二输出模块，用于根据目标图像li的缺陷标注区域和目标图像li的图像属性信息，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果；
11.决策分析模块，用于基于s个缺陷标注区域分别对应的第一缺陷输出结果和s个缺陷标注区域分别对应的第二缺陷输出结果，对目标对象进行多视角决策分析，得到目标对象的对象检测结果。
12.其中，第一输出模块包括：
13.图像获取单元，用于获取与目标对象相关联的n个目标图像，将n个目标图像分别输入至实例分割模型；
14.实例分割单元，用于通过实例分割模型对n个目标图像进行实例分割，得到与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果。
15.其中，实例分割模型包括特征提取子网络、区域预测子网络和缺陷识别子网络；s个缺陷标注区域包括目标图像li中的m个缺陷标注区域；m为小于或等于s的正整数；
16.实例分割单元包括：
17.特征提取子单元，用于将目标图像li输入至特征提取子网络，通过特征提取子网络对目标图像li进行特征提取，得到目标图像li对应的多分辨率特征；
18.区域预测子单元，用于将目标图像li对应的多分辨率特征输入至区域预测子网络，通过区域预测子网络对目标图像li对应的多分辨率特征进行区域预测，得到目标图像li中的m个待预测对象区域；
19.缺陷识别子单元，用于将m个待预测对象区域和目标图像li对应的多分辨率特征输入至缺陷识别子网络，通过缺陷识别子网络对m个待预测对象区域和目标图像li对应的多分辨率特征进行缺陷识别，得到m个缺陷标注区域分别对应的实例分割结果、m个缺陷标注区域分别对应的第一分类概率、以及m个缺陷标注区域分别对应的第一分类信息；
20.缺陷识别子单元，用于将m个缺陷标注区域分别对应的实例分割结果、m个缺陷标注区域分别对应的第一分类概率、以及m个缺陷标注区域分别对应的第一分类信息，作为m个缺陷标注区域分别对应的第一缺陷输出结果。
21.其中，缺陷识别子单元，具体用于通过缺陷识别子网络将m个待预测对象区域映射至目标图像li对应的多分辨率特征，得到m个待预测对象区域分别对应的候选区域特征；
22.缺陷识别子单元，具体用于对m个候选区域特征进行特征对齐，得到m个候选区域特征分别对应的对齐区域特征；
23.缺陷识别子单元，具体用于对m个对齐区域特征进行卷积操作，得到m个对齐区域特征分别对应的分类区域特征和m个对齐区域特征分别对应分割区域特征；
24.缺陷识别子单元，具体用于对m个分类区域特征进行全连接操作，确定m个对齐区域特征分别对应的区域特征和m个对齐区域特征分别对应的分类特征，基于m个区域特征，确定m个缺陷标注区域，基于m个分类特征，确定m个缺陷标注区域分别对应的第一分类概率和m个缺陷标注区域分别对应的第一分类信息；
25.缺陷识别子单元，具体用于对m个分割区域特征进行卷积操作，确定m个对齐区域特征分别对应的分割特征，基于m个分割特征，确定m个缺陷标注区域分别对应的实例分割结果。
26.其中，目标图像li的图像属性信息包括目标图像li的图像序号和目标图像li对应的图像输出特征；
27.第二输出模块包括：
28.第一确定单元，用于根据目标图像li的缺陷标注区域和目标图像li的图像序号，确定目标图像li的缺陷标注区域对应的缺陷输出特征；
29.第二确定单元，用于根据目标图像li的缺陷标注区域对应的缺陷输出特征和目标图像li对应的图像输出特征，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。
30.其中，第一确定单元包括：
31.第一确定子单元，用于确定目标图像li的缺陷标注区域的区域坐标，根据区域坐标和目标图像li的图像序号，生成目标图像li的缺陷标注区域对应的缺陷输入特征，将缺陷输入特征输入至细分类模型；细分类模型包括感知机子网络；
32.第二确定子单元，用于通过感知机子网络对缺陷输入特征进行全连接操作，确定目标图像li的缺陷标注区域对应的缺陷输出特征。
33.其中，细分类模型还包括特征识别子网络；
34.第二确定单元包括：
35.特征识别子单元，用于将目标图像li输入至特征识别子网络，通过特征识别子网络对目标图像li进行特征识别，得到目标图像li对应的图像输出特征；
36.特征融合子单元，用于对目标图像li的缺陷标注区域对应的缺陷输出特征和目标图像li对应的图像输出特征进行特征融合，得到目标图像li的缺陷标注区域对应的融合输出特征；
37.区域分类子单元，用于基于目标图像li的缺陷标注区域对应的融合输出特征和细分类模型的分类器，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。
38.其中，区域分类子单元，具体用于将目标图像li的缺陷标注区域对应的融合输出特征输入至细分类模型的分类器，通过分类器确定目标图像li的缺陷标注区域对应的融合输出特征与分类器中的样本输出特征之间的匹配度；匹配度用于描述目标图像li的缺陷标注区域属于样本输出特征对应的样本分类标签的概率；
39.区域分类子单元，具体用于将具有最大匹配度的样本输出特征所对应的样本分类标签，作为目标图像li的缺陷标注区域对应的第二分类信息，将最大匹配度作为目标图像li的缺陷标注区域对应的第二分类概率；
40.区域分类子单元，具体用于将目标图像li的缺陷标注区域对应的第二分类信息和目标图像li的缺陷标注区域对应的第二分类概率，作为目标图像li的缺陷标注区域对应的第二缺陷输出结果。
41.其中，决策分析模块包括：
42.决策树生成单元，用于获取用于对目标对象进行多视角决策分析的业务知识和与业务知识相关联的目标决策超参数，根据业务知识和目标决策超参数，生成决策树；
43.决策分析单元，用于在决策分析模型中，基于s个缺陷标注区域分别对应的第一缺陷输出结果、s个缺陷标注区域分别对应的第二缺陷输出结果和决策树，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果；
44.结果确定单元，用于根据n个目标图像分别的图像检测结果，确定目标对象的对象检测结果。
45.其中，决策树生成单元包括：
46.集合生成子单元，用于获取用于对目标对象进行多视角决策分析的业务知识和超参数搜索模型，通过超参数搜索模型生成与业务知识相关联的超参数集合；超参数集合包括一组或多组决策超参数；一组或多组决策超参数中的每组决策超参数包括一个或多个超参数；一组或多组决策超参数用于平衡决策分析模型对应的至少两个评价指标；
47.决策树生成子单元，用于从超参数集合中获取满足超参数获取条件的目标决策超参数，根据业务知识和目标决策超参数，生成决策树。
48.其中，目标决策超参数包括实例分割超参数、分割面积超参数和细分类超参数；
49.决策分析单元包括：
50.参数获取单元，用于从s个缺陷标注区域分别对应的第一缺陷输出结果中获取s个缺陷标注区域分别对应的实例分割结果，根据s个缺陷标注区域分别对应的实例分割结果，确定s个缺陷标注区域分别对应的缺陷区域面积；
51.参数获取单元，用于从s个缺陷标注区域分别对应的第一缺陷输出结果中获取s个缺陷标注区域分别对应的第一分类概率、以及s个缺陷标注区域分别对应的第一分类信息，从s个缺陷标注区域分别对应的第二缺陷输出结果中获取s个缺陷标注区域分别对应的第二分类概率、以及s个缺陷标注区域分别对应的第二分类信息；
52.决策分析子单元，用于在决策分析模型中，根据s个缺陷标注区域分别对应的第一分类信息、s个缺陷标注区域分别对应的第二分类信息、s个缺陷标注区域分别对应的第一分类概率、s个缺陷标注区域分别对应的第二分类概率、s个缺陷标注区域分别对应的缺陷区域面积、s个缺陷标注区域、以及决策树所指示的实例分割超参数、分割面积超参数和细分类超参数，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果。
53.其中，第一输出模块还包括：
54.标签获取单元，用于获取与缺陷样本图像相关联的缺陷样本标注区域、缺陷样本分类信息和样本边界区域；
55.模型输出单元，用于在初始实例分割模型中，确定与缺陷样本图像相关联的预测缺陷标注区域、以及预测缺陷标注区域对应的第一预测输出结果；
56.模型训练单元，用于根据缺陷样本标注区域、缺陷样本分类信息、样本边界区域、预测缺陷标注区域和第一预测输出结果，确定初始实例分割模型的实例分割损失值；
57.模型训练单元，用于根据实例分割损失值，对初始实例分割模型中的模型参数进行调整，当调整后的初始实例分割模型满足模型收敛条件时，将调整后的初始实例分割模型确定为实例分割模型。
58.其中，第一确定单元还包括：
59.标签获取子单元，用于获取与缺陷样本图像相关联的缺陷样本标注区域和缺陷样本分类信息，获取与正常样本图像相关联的正常样本标注区域和正常样本分类信息；
60.模型输出子单元，用于在初始细分类模型中，根据缺陷样本标注区域和缺陷样本图像的图像属性信息，确定缺陷样本标注区域对应的第二预测输出结果，根据缺陷样本标注区域对应的第二预测输出结果和缺陷样本分类信息，确定初始细分类模型的第一分类损失值；
61.模型输出子单元，用于根据正常样本标注区域和正常样本图像的图像属性信息，确定正常样本标注区域对应的第二预测输出结果，根据正常样本标注区域对应的第二预测输出结果和正常样本分类信息，确定初始细分类模型的第二分类损失值；
62.模型训练子单元，用于根据第一分类损失值和第二分类损失值，确定初始细分类模型的细分类损失值；
63.模型训练子单元，用于根据细分类损失值对初始细分类模型中的模型参数进行调整，当调整后的初始细分类模型满足模型收敛条件时，将调整后的初始细分类模型确定为细分类模型。
64.本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；
65.处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本技术实施例提供的方法。
66.本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本技术实施例提供的方法。
67.本技术实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例提供的方法。
68.在本技术实施例中，计算机设备可以获取与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果。其中，n个目标图像是由n个拍摄组件分别对同一个目标对象进行拍摄所得到，n个目标图像的视觉角度互不相同；这里的n和s均可以为正整数；n个目标图像包括目标图像li，这里的i可以为小于或等于n的正整数。进一步地，计算机设备可以根据目标图像li的缺陷标注区域和目标图像li的图像属性信息，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。进一步地，计算机设备可以基于s个缺陷标注区域分别对应的第一缺陷输出结果和s个缺陷标注区域分别对应的第二缺陷输出结果，对目标对象进行多视角决策分析，得到目标对象的对象检测结果。由此可见，本技术实施例可以对与目标对象相关联的n个目标图像进行粗略质量检测，在n个目标图像中高检出所有的缺陷标注区域(即s个缺陷标注区域)，进而对s个缺陷标注区域进行精细质量检测，以对s个缺陷标注区域进行进一步识别。可以理解的是，基于粗略质量检测所得到的第一缺陷输出结果和精细质量检测所得到的第二缺陷输出结果，可以推断决策目标对象的对象检测结果。因此，本技术实施例可以通过粗略质量检测和精细质量检测，在n个目标图像中识别出较为准确的缺陷标注区域和缺陷标注区域对应的缺陷输出结果，进而通过这些准确识别出的缺陷输出结果，实现对n个目标图像所针对的目标对象的质量检测，从而可以提高质量检测的准确性。
附图说明
69.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
70.图1是本技术实施例提供的一种网络架构的结构示意图；
71.图2是本技术实施例提供的一种进行数据交互的场景示意图；
72.图3是本技术实施例提供的一种图像数据处理方法的流程示意图；
73.图4是本技术实施例提供的一种点位设计的结构示意图；
74.图5a是本技术实施例提供的一种缺陷质检方案的架构示意图；
75.图5b是本技术实施例提供的一种缺陷质检方案的架构示意图；
76.图6是本技术实施例提供的一种缺陷质检方案的结构示意图；
77.图7是本技术实施例提供的一种图像数据处理方法的流程示意图；
78.图8是本技术实施例提供的一种实例分割模型的结构示意图；
79.图9是本技术实施例提供的一种图像数据处理方法的流程示意图；
80.图10是本技术实施例提供的一种细分类模型的结构示意图；
81.图11是本技术实施例提供的一种图像数据处理方法的流程示意图；
82.图12是本技术实施例提供的一种生成超参数集合的流程示意图；
83.图13是本技术实施例提供的一种进行缺陷质检的场景示意图；
84.图14是本技术实施例提供的一种进行多模型比较的场景示意图；
85.图15是本技术实施例提供的一种图像数据处理装置的结构示意图；
86.图16是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
87.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
88.应当理解，人工智能(artificial intelligence，简称ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
89.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
90.其中，本技术实施例所提供的方案主要涉及人工智能的计算机视觉(computer vision，简称cv)技术和机器学习(machine learning，简称ml)技术。
91.其中，计算机视觉(computer vision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
92.其中，机器学习(machine learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的
学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。其中，深度学习技术是一种利用深层神经网络系统，进行机器学习的技术。
93.具体的，请参见图1，图1是本技术实施例提供的一种网络架构的结构示意图。如图1所示，如图1所示，该网络架构可以包括服务器2000和终端设备集群。其中，终端设备集群具体可以包括一个或者多个终端设备，这里将不对终端设备集群中的终端设备的数量进行限定。如图1所示，多个终端设备具体可以包括终端设备3000a、终端设备3000b、终端设备3000c、
…
、终端设备3000n；终端设备3000a、终端设备3000b、终端设备3000c、
…
、终端设备3000n可以分别与服务器2000通过有线或无线通信方式进行直接或间接地网络连接，以便于每个终端设备可以通过该网络连接与服务器2000之间进行数据交互。此外，终端设备3000a、终端设备3000b、终端设备3000c、
…
、终端设备3000n之间可以通过有线或无线通信方式进行直接或间接地网络连接，以便于每个终端设备之间可以通过该网络连接进行数据交互。
94.其中，终端设备集群中的每个终端设备均可以包括：智能手机、平板电脑、笔记本电脑、台式计算机、智能家电、可穿戴设备、车载终端、智能语音交互设备、照相机等具有图像数据处理功能的智能终端。为便于理解，本技术实施例可以在图1所示的多个终端设备中选择一个或多个终端设备作为目标终端设备。例如，本技术实施例可以将图1所示的终端设备3000a和终端设备3000c作为目标终端设备。
95.其中，服务器2000可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
96.其中，目标终端设备上可以集成安装有用于采集与目标对象相关联的目标图像的拍摄组件，这里的拍摄组件可以为目标终端设备上用于拍摄照片的摄像头。其中，一个目标终端设备上可以集成安装有多个摄像头，本技术实施例以一个目标终端设备上的多个摄像头为一个拍摄组件为例进行说明。
97.可以理解的是，目标图像可以包括缺陷图像和非缺陷图像(即正常图像)，这里的缺陷图像可以为摄像头所拍摄的部件(即目标对象)存在ng(no good，不好)缺陷的图像，这里的非缺陷图像可以为摄像头所拍摄的部件存在ok(好)缺陷的图像、或者不存在缺陷(即ok缺陷和ng缺陷)的图像。其中，这里的目标图像所对应的缺陷的缺陷类型(即ng缺陷和ok缺陷)可以为多种，本技术实施例不对目标图像的缺陷所对应的缺陷类型进行限定，本技术实施例不对目标图像中的缺陷的缺陷数量进行限定。
98.其中，ok缺陷是对产品(即部件)使用无任何影响的缺陷、或者经过后续的加工可以消除的缺陷，例如，脏污和亮印等；ng缺陷是在功能上会影响产品的使用的缺陷，例如，裂纹、缺料、压伤等。
99.可以理解的是，本技术实施例可以将目标图像中的缺陷，作为目标图像所属的目标对象的缺陷，进而根据目标对象的缺陷，确定目标对象的产品类型。其中，这里的产品类
型可以为ok产品(即正常产品)和ng产品(即ng产品)，ok产品表示该产品为无缺陷的产品，ng产品表示该产品为有缺陷的产品。
100.其中，目标对象可以为工业制造元器件，在当前的工业制造元器件中，金属mim(metal powder injection molding technology，金属粉末注射成型技术)件工艺有非常广泛的应用场景，工业上对mim件成品质量有较高的质量要求。其中，金属粉末注射成型技术是将现代塑料注射成型技术引入粉末冶金领域而形成的一门新型粉末冶金近净形成型技术。该工艺在计算机及其辅助设施、家用器具、医疗机械零件、军工零件、电器零件、汽车船舶零件等众多行业有广泛的使用。
101.因此，当前工业质检平台可以通过拍摄组件针对目标对象的缺陷频发位置，设计成多角度拍摄(即多个目标终端设备上的拍摄组件可以针对同一元器件(例如，mim件)进行不同角度的拍摄)，具体到某一个拍摄组件时，都会有一个固定的roi(region of interest，感兴趣区域)区域拍照清晰，其余区域则相对模糊，留给其他的拍摄组件来拍照，这里的roi区域可以为当前拍摄组件可以拍摄到的清晰区域。其中，对于同一个mim件而言，可以通过n个目标终端设备上的n个拍摄组件对同一个目标对象进行拍摄，得到n个拍摄组件分别对应的目标图像，这里的一个拍摄组件可以对应于一个目标图像，这里的n可以为正整数，本技术实施例不对n的具体取值进行限定。
102.可以理解的是，本技术所提供的图像数据处理方法可以由目标终端设备执行，也可以由服务器2000执行，还可以由目标终端设备和服务器2000共同执行。其中，本技术实施例以目标终端设备的设备数量为至少两个为例进行说明，即本技术实施例以上述n为大于1的正整数为例进行说明，其中，目标终端设备中可以包括终端设备z。
103.其中，在本技术所提供的图像数据处理方法由服务器2000执行时，目标终端设备(例如，上述终端设备z)可以将基于拍摄组件获取到的目标图像发送至服务器2000。这样，服务器2000在接收到目标终端设备通过拍摄组件所提供的n个目标图像之后，可以确定n个目标图像中的缺陷标注区域分别对应的第一缺陷输出结果和第二缺陷输出结果，进而基于第一缺陷输出结果和第二缺陷输出结果，对n个目标图像所属的目标对象进行多视角决策分析，得到目标对象对应的对象检测结果。
104.可选的，在本技术所提供的图像数据处理方法由目标终端设备执行时，目标终端设备可以分别将基于拍摄组件获取到的目标图像发送至上述终端设备z(终端设备z无需发送目标图像，但仍需基于拍摄组件获取目标图像)。这样，终端设备z在接收到除其本身之外的其他终端设备所提供的(n-1)个目标图像之后，可以确定n个目标图像中的缺陷标注区域分别对应的第一缺陷输出结果和第二缺陷输出结果，进而基于第一缺陷输出结果和第二缺陷输出结果，对n个目标图像所属的目标对象进行多视角决策分析，得到目标对象对应的对象检测结果。其中，终端设备z可以直接接收其他终端设备所提供的(n-1)个目标图像，还可以间接接收其他终端设备通过服务器2000所转发的(n-1)个目标图像。
105.可选的，在本技术所提供的图像数据处理方法由目标终端设备和服务器2000共同执行时，目标终端设备(例如，终端设备z)可以分别基于拍摄组件获取目标图像，确定目标图像中的缺陷标注区域对应的第一缺陷输出结果和第二缺陷输出结果，进而将各自终端设备上所确定的第一缺陷输出结果和第二缺陷输出结果发送至服务器2000。这样，服务器在接收到目标终端设备所提供的n个目标图像中的缺陷标注区域分别对应的第一缺陷输出结
果和第二缺陷输出结果之后，可以基于接收到的第一缺陷输出结果和第二缺陷输出结果，对n个目标图像所属的目标对象进行多视角决策分析，得到目标对象对应的对象检测结果。其中，若目标图像中包括缺陷标注区域，则目标终端设备可以向服务器2000发送缺陷标注区域对应的第一缺陷输出结果和第二缺陷输出结果。可选的，若目标图像中不包括缺陷标注区域，则目标终端设备可以无需执行上述确定缺陷标注区域对应的第一缺陷输出结果和第二缺陷输出结果的步骤，进而无需执行发送第一缺陷输出结果和第二缺陷输出结果的步骤；可选的，在目标终端设备确定目标图像中不包括缺陷标注区域时，目标终端设备可以基于不包括缺陷标注区域向服务器2000发送无缺陷通知，以通过该无缺陷通知告知服务器2000本地终端设备上不包括缺陷标注区域。
106.为便于理解，进一步地，请参见图2，图2是本技术实施例提供的一种进行数据交互的场景示意图。如图2所示的服务器20a可以为上述图1所对应实施例中的服务器2000，如图2所示的终端设备20b和终端设备20c可以为上述图1所对应实施例的终端设备集群中的任意两个终端设备，为便于理解，本技术实施例以上述图1所示的终端设备3000a作为该终端设备20b、终端设备3000c作为该终端设备20c为例，以阐述图2所示的服务器20a、终端设备20b和终端设备20c进行数据交互的具体过程。
107.可以理解的是，n个终端设备可以分别通过拍摄组件从不同视觉角度针对同一个目标对象进行拍摄，得到n个终端设备分别对应的目标图像，这里的n可以为正整数，这里以n等于2为例进行说明。如图2所示，n个(即2个)终端设备可以包括终端设备20b和终端设备20c，终端设备20b和终端设备20c可以分别通过拍摄组件从不同视觉角度针对同一个目标对象进行拍摄，得到与同一个目标对象相关联的目标图像。其中，终端设备20b可以获取针对目标对象的目标图像t2，终端设备20c可以获取针对目标对象的目标图像t1，目标图像t1和目标图像t2即为与目标对象相关联的n个目标图像(即2个目标图像)。
108.进一步地，终端设备20b可以将拍摄得到的目标图像t2发送至服务器20a，终端设备20c可以将拍摄得到的目标图像t1发送至服务器20a，这样，服务器20a在接收到目标图像t1和目标图像t2之后，可以获取与目标图像t1和目标图像t2相关联的s个缺陷标注区域和s个缺陷标注区域分别对应的第一缺陷输出结果，这里的s可以为正整数。
109.如图2所示，服务器20a可以获取与目标图像t1相关联的第一输出信息21a，第一输出信息21a中可以包括零个(即0个)、一个或多个缺陷标注区域，这里以第一输出信息21a中包括2个缺陷标注区域为例进行说明，2个缺陷标注区域具体可以包括：缺陷标注区域s1和缺陷标注区域s2；服务器20a可以获取与目标图像t2相关联的第一输出信息21b，第一输出信息21b中可以包括零个(即0个)、一个或多个缺陷标注区域，这里以第一输出信息21b中包括1个缺陷标注区域为例进行说明，1个缺陷标注区域具体可以包括：缺陷标注区域s3。其中，缺陷标注区域s1、缺陷标注区域s2和缺陷标注区域s3可以统称为s个缺陷标注区域。
110.如图2所示，第一输出信息21a中还可以包括缺陷标注区域s1对应的第一缺陷输出结果g1、缺陷标注区域s2对应的第一缺陷输出结果g2；第一输出信息21b中还可以包括缺陷标注区域s3对应的第一缺陷输出结果g3。进一步地，服务器20a可以根据s个缺陷标注区域(即3个缺陷标注区域)和s个缺陷标注区域所属的目标图像的图像属性信息，确定s个缺陷标注区域分别对应的第二缺陷输出结果。
111.其中，服务器20a可以获取缺陷标注区域s1所属的目标图像t1的图像属性信息(例
如，图像属性信息x1)，根据缺陷标注区域s1和图像属性信息x1，确定缺陷标注区域s1对应的第二缺陷输出结果g4；服务器20a可以获取缺陷标注区域s2所属的目标图像t1的图像属性信息x1，根据缺陷标注区域s2和图像属性信息x1，确定缺陷标注区域s2对应的第二缺陷输出结果g5。同理，服务器20a可以获取缺陷标注区域s3所属的目标图像t3的图像属性信息(例如，图像属性信息x2)，根据缺陷标注区域s3和图像属性信息x2，确定缺陷标注区域s3对应的第二缺陷输出结果g6。
112.其中，图像属性信息x1可以包括目标图像t1的图像序号，这里的目标图像t1的图像序号是由终端设备20c中的拍摄组件的相机编号所确定的；图像属性信息x2可以包括目标图像t2的图像序号，这里的目标图像t2的图像序号是由终端设备20b中的拍摄组件的相机编号所确定的。
113.如图2所示，服务器20a可以基于s个缺陷标注区域、s个缺陷标注区域分别对应的第一缺陷输出结果和s个缺陷标注区域分别对应的第二缺陷输出结果，对目标对象进行多视角决策分析，得到目标对象的对象检测结果。换言之，服务器20a可以基于缺陷标注区域s1、缺陷标注区域s2、缺陷标注区域s3、第一缺陷输出结果g1、第一缺陷输出结果g2、第一缺陷输出结果g3、第二缺陷输出结果g4、第二缺陷输出结果g5和第二缺陷输出结果g6，确定目标对象的对象检测结果。
114.由此可见，本技术实施例可以通过粗略质量检测，在获取到与n个目标图像相关联的缺陷标注区域的同时，获取缺陷标注区域对应的第一缺陷输出结果，进而通过精细质量检测获取缺陷标注区域对应的第二缺陷输出结果。可以理解的是，基于第一缺陷输出结果和第二缺陷输出结果，可以实现对n个目标图像所针对的目标对象的质量检测，进而可以在图像级别和样品级别上提高质量检测的准确性。
115.进一步地，请参见图3，图3是本技术实施例提供的一种图像数据处理方法的流程示意图。该方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备共同执行，该服务器可以为上述图2所对应实施中的服务器20a，该终端设备可以为上述图2所对应实施中的终端设备20b或者终端设备20c。为便于理解，本技术实施例以该方法由服务器执行为例进行说明。其中，该图像数据处理方法可以包括以下步骤s101-步骤s103：
116.步骤s101，获取与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果；
117.具体的，服务器可以获取与目标对象相关联的n个目标图像，将n个目标图像分别输入至实例分割模型。其中，n个目标图像是由n个拍摄组件分别对同一个目标对象进行拍摄所得到的，n个目标图像的视觉角度互不相同，这里的n可以为正整数。进一步地，服务器可以通过实例分割模型对n个目标图像进行实例分割，得到与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果。其中，这里的s可以为正整数。
118.可以理解的是，服务器在通过实例分割模型对n个目标图像进行实例分割时，可以在目标图像中检测出缺陷标注区域，也可以在目标图像中未检测出缺陷标注区域。换言之，s个缺陷标注区域为n个目标图像中的缺陷标注区域，或者为n个目标图像中的部分目标图像(例如，(n-2)个目标图像)中的缺陷标注区域。应当理解，n个目标图像中的每个目标图像均可以包括零个、一个或多个缺陷标注区域，本技术实施例不对每个目标图像所包括的缺
陷标注区域的区域数量进行限定。
119.其中，服务器通过实例分割模型对n个目标图像进行实例分割的具体过程可以参见下述图7所对应实施例中对步骤s1012-步骤s1015的描述。
120.为便于理解，请参见图4，图4是本技术实施例提供的一种点位设计的结构示意图。如图4所示的元器件40a可以为需要进行缺陷质检的mim件，为了尽可能拍清该mim件表面的任何位置存在的缺陷，确保算法完成精准识别，结合mim件外观几何性质，需要针对该mim件设置合理的角度和光照进行拍照成像。
121.其中，每一个样品一般会有很多面，例如以某金属器件表面检测为例，为了覆盖到产品所有外观面(即兼顾每一个位置的缺陷以及成像效果)，一个样品拍摄的图像可以达到许多个(例如，60+)，这意味着只要误判其中一张图像(即将ok缺陷识别为ng缺陷，即过杀)，则其他图像都会引起过杀。此外，由于多个图像中存在重合的区域，随着点位图片数量的增加，图像重合的概率会不断增大，误判引起的过杀会呈现指数增长。
122.如图4所示为元器件40a的点位设计图，为便于理解，这里以元器件40a的点位位置的点位数量为4个为例进行说明，4个点位位置具体可以包括：区域42a对应的点位位置、区域42b对应的点位位置、区域42c对应的点位位置和区域42d对应的点位位置。进一步地，服务器可以生成元器件40a的4个点位位置分别对应的光学成像，即服务器可以生成与元器件40a相关联的n个目标图像40b。其中，区域42a对应的目标图像可以为光学成像41a，区域42b对应的目标图像可以为光学成像41b，区域42c对应的目标图像可以为光学成像41c，区域42d对应的目标图像可以为光学成像41d。
123.为便于理解，请参见图5a和图5b，图5a和图5b是本技术实施例提供的一种缺陷质检方案的架构示意图。如图5a所示的系统架构图主要可以包括3个模块，3个模块具体可以包括：通过深度学习实例分割算法实现的图片级别的实例分割，通过深度学习精细化分类算法实现的实例级别的精细分类，通过多角度联合推断算法实现的样本级别的多角度联合推断。其中，图片级别的实例分割和实例级别的精细分类可以统称为图片级预测，样本级别的多角度联合推断可以统称为样本级推断。
124.如图5a所示，服务器可以通过多个摄像头针对元器件(即目标对象)执行不同角度的拍摄(这里以一个终端设备对应一个摄像头为例进行说明)，得到多个摄像头分别对应的目标图像。多个摄像头可以为n个摄像头，n个摄像头具体可以包括：摄像头o1、摄像头o2、
…
、摄像头on。摄像头o1拍摄得到的目标图像可以为目标图像t1(未在图上示出)，摄像头o2拍摄得到的目标图像可以为目标图像t2(未在图上示出)，
…
，摄像头on拍摄得到的目标图像可以为目标图像tn(未在图上示出)。
125.如图5a所示，服务器可以将上述n个摄像头拍摄得到的n个目标图像输入至深度学习实例分割算法(即实例分割模型)，通过深度学习实例分割算法对n个目标图像进行实例分割，得到与n个目标图像相关联的s个缺陷检测区域，以及s个缺陷检测区域分别对应的第一缺陷输出结果。其中，第一缺陷输出结果可以包括s个缺陷检测区域中的每个缺陷检测区域分别对应的实例分割结果和每个缺陷检测区域分别对应的第一分类信息。可以理解的是，根据每个缺陷检测区域分别对应的实例分割结果，可以确定每个缺陷检测区域分别对应的缺陷区域面积。
126.如图5a所示，缺陷检测区域的缺陷类型(即深度学习实例分割算法对应的缺陷类
型)可以包括k个，这里k可以为正整数，k个缺陷类型具体可以包括：缺陷y1、缺陷y2、
…
、缺陷yk。其中，缺陷y1、缺陷y2、
…
、缺陷yk可以为ng缺陷的k个缺陷类型，正常可以表示目标图像中不包括缺陷检测区域。应当理解，这里以s个缺陷检测区域均包括上述k个缺陷类型为例进行说明，s个缺陷检测区域可以包括相同的第一分类信息(即k个缺陷类型)。
127.可以理解的是，通过图5a所示的深度学习实例分割算法所得到的s个缺陷检测区域分别对应的第一分类信息可以为上述缺陷y1、缺陷y2、
…
、缺陷yk，s个缺陷检测区域分别对应的缺陷区域面积可以为面积q1、面积q2、
…
、面积qk。其中，在将缺陷y1、缺陷y2、
…
、缺陷yk理解为具体的某个缺陷检测区域时，缺陷y1对应的缺陷区域面积可以为面积q1，缺陷y2对应的缺陷区域面积可以为面积q2，
…
，缺陷yk对应的缺陷区域面积可以为面积qk。
128.如图5b所示，目标图像50a可以为上述图5a所对应实施例中的n个目标图像中的任意一个目标图像(例如，目标图像t1)，该目标图像50a即为上述深度学习实例分割算法输入，通过该深度学习实例分割算法可以输出实例分割后的目标图像50a(即目标图像50b)。其中，深度学习实例分割算法可以检测得到目标图像50a中的缺陷标注区域(例如，缺陷标注区域200a)，且在目标图像50b中显示该缺陷标注区域200a(即目标图像50b为目标图像50a中显示缺陷标注区域200a的图像)。
129.其中，n个目标图像包括目标图像li，这里的i可以为小于或等于n的正整数。服务器可以针对目标图像li进一步执行下述步骤s102-步骤s103。可选的，若服务器在n个目标图像中均未检测出缺陷标注区域(即s等于0)，则服务器无需进一步执行下述步骤s102-步骤s103。
130.步骤s102，根据目标图像li的缺陷标注区域和目标图像li的图像属性信息，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果；
131.具体的，服务器可以根据目标图像li的缺陷标注区域和目标图像li的图像序号，确定目标图像li的缺陷标注区域对应的缺陷输出特征。其中，目标图像li的图像属性信息包括目标图像li的图像序号和目标图像li对应的图像输出特征。进一步地，服务器可以根据目标图像li的缺陷标注区域对应的缺陷输出特征和目标图像li对应的图像输出特征，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。其中，服务器可以通过细分类模型对目标图像li的缺陷标注区域进行细分类处理，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。
132.其中，服务器确定目标图像li的缺陷标注区域对应的缺陷输出特征的具体过程可以参见下述图9所对应实施例中对步骤s1021-步骤s1022的描述。
133.其中，服务器确定目标图像li的缺陷标注区域对应的第二缺陷输出结果的具体过程可以参见下述图9所对应实施例中对步骤s1023-步骤s1025的描述。
134.应当理解，通过上述步骤s101中的实例分割模型可以确保模型检出n个目标图像中的所有缺陷，但是会带来严重的过杀。因此，使用细分类模型可以进一步精细化识别实例分割模型所得到的s个缺陷标注区域，即将s个缺陷标注区域进一步细分为ok缺陷和ng缺陷，从而降低过杀率。其中，过杀率主要来源于两类：一类是一些灰尘、异物(例如，毛发)落在器件上，它们本身不是缺陷，但在成像层面和缺陷非常接近，例如，实例分割模型可能会将毛发误判为ng缺陷；另一类是ok缺陷在外观特征上和ng缺陷非常接近，容易混淆，以将ok缺陷误判为ng缺陷，例如，脏污和亮印本身属于ok缺陷，但是也有可能以很高的概率被实例
分割模型检出并错误判断为ng缺陷。
135.请再参见图5a，服务器可以将深度学习实例分割算法得到的s个缺陷检测区域输入至深度学习精细化分类算法(即细分类模型)，通过深度学习精细化分类算法确定s个缺陷检测区域分别对应的第二缺陷输出结果。其中，第二缺陷输出结果可以包括s个缺陷检测区域中的每个缺陷检测区域分别对应的第二分类信息。
136.如图5a所示，缺陷检测区域的缺陷类型(即深度学习精细化分类算法对应的缺陷类型)可以包括(k+e)个，这里的e可以为正整数，(k+e)个缺陷类型具体可以包括：缺陷y1、
…
、缺陷yk、缺陷r1、
…
、缺陷re。其中，缺陷y1、
…
、缺陷yk可以为ng缺陷的k个缺陷类型，缺陷r1、
…
、缺陷re可以为ok缺陷的e个缺陷类型，正常可以表示目标图像中不包括缺陷检测区域。应当理解，这里以s个缺陷检测区域均包括上述(k+e)个缺陷类型为例进行说明，s个缺陷检测区域可以包括相同的第二分类信息(即(k+e)个缺陷类型)。
137.可以理解的是，通过图5a所示的深度学习精细化分类算法所得到的s个缺陷检测区域分别对应的第二分类信息可以为上述缺陷y1、
…
、缺陷yk、缺陷r1、
…
、缺陷re。其中，这里可以将缺陷y1、
…
、缺陷yk、缺陷r1、
…
、缺陷re理解为具体的某个缺陷检测区域。
138.其中，n个目标图像还可以包括目标图像lj，这里的j可以为小于或等于n的正整数，这里的目标图像lj可以为除目标图像li之外的任意一个目标图像。服务器可以根据目标图像lj的缺陷标注区域和目标图像lj的图像属性信息，确定目标图像lj的缺陷标注区域对应的第二缺陷输出结果。其中，服务器确定目标图像lj的缺陷标注区域对应的第二缺陷输出结果的具体过程，可以参见上述确定目标图像li的缺陷标注区域对应的第二缺陷输出结果的描述，这里将不再进行赘述。
139.步骤s103，基于s个缺陷标注区域分别对应的第一缺陷输出结果和s个缺陷标注区域分别对应的第二缺陷输出结果，对目标对象进行多视角决策分析，得到目标对象的对象检测结果。
140.具体的，服务器可以获取用于对目标对象进行多视角决策分析的业务知识和与业务知识相关联的目标决策超参数，根据业务知识和目标决策超参数，生成决策树。进一步地，服务器可以在决策分析模型中，基于s个缺陷标注区域分别对应的第一缺陷输出结果、s个缺陷标注区域分别对应的第二缺陷输出结果和决策树，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果。进一步地，服务器可以根据n个目标图像分别的图像检测结果，确定目标对象的对象检测结果。
141.其中，可以理解的是，服务器可以在决策分析模型中，基于s个缺陷标注区域分别对应的第一缺陷输出结果、s个缺陷标注区域分别对应的第二缺陷输出结果和决策树，确定s个缺陷标注区域分别对应的缺陷检测结果。进一步地，服务器可以根据s个缺陷标注区域分别对应的缺陷检测结果，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果。
142.其中，服务器生成决策树的具体过程可以参见下述图11所对应实施例中对步骤s1031-步骤s1032的描述。
143.其中，服务器确定n个目标图像分别的图像检测结果的具体过程可以参见下述图11所对应实施例中对步骤s1033-步骤s1035的描述。
144.请再参见图5a，服务器可以将s个缺陷标注区域分别对应的第一缺陷输出结果和s
个缺陷标注区域分别对应的第二缺陷输出结果输入至多角度联合推断算法(即决策分析模型)，通过多角度联合推断算法确定s个缺陷标注区域分别对应的缺陷检测结果。其中，缺陷检测结果中的缺陷分类信息是由s个缺陷标注区域分别对应的第一分类信息和s个缺陷标注区域分别对应的第二分类信息所确定的，这里的缺陷分类信息可以为缺陷y1、
…
、缺陷yk、缺陷r1、
…
、缺陷re，正常可以表示目标图像中不包括缺陷检测区域。
145.请再参见图5b，图5b所示的缺陷标注区域200a即为缺陷标注区域50c，服务器可以通过缺陷标注区域50c对应的第一缺陷输出结果和缺陷标注区域50c对应的第二缺陷输出结果，确定缺陷标注区域50c的缺陷检测结果。其中，第一缺陷输出结果和第二缺陷输出结果中可以包括缺陷标注区域50c对应的缺陷分类(即第一分类信息和第二分类信息)，缺陷标注区域50c对应的缺陷检测结果包括缺陷标注区域50c对应的缺陷分类信息，缺陷分类信息可以用于指示缺陷标注区域50c的缺陷类型。其中，缺陷标注区域50c的缺陷类型可以为图5a所示的缺陷y1、
…
、缺陷yk、缺陷r1、
…
、缺陷re。
146.进一步地，服务器可以通过多角度联合推断算法根据s个缺陷标注区域(这里的s个缺陷标注区域可以包括缺陷标注区域50c)分别对应的缺陷检测结果，确定元器件对应的对象检测结果。其中，对象检测结果可以用于确定元器件是ok产品还是ng产品。
147.为便于理解，请参见图6，图6是本技术实施例提供的一种缺陷质检方案的结构示意图。服务器可以将与目标对象相关联的n个目标图像输入至图6所示的实例分割模型，通过实例分割模型输出n个目标图像中的缺陷标注区域和缺陷标注区域(即bbox)对应的第一缺陷输出结果。其中，这里的第一缺陷输出结果可以包括第一分类信息(即code)、第一分类概率(即score)和实例分割结果，其中，根据实例分割结果所指示的像素数量，可以得到缺陷区域面积(即area)。
148.如图6所示，服务器可以将缺陷标注区域输入至细分类模型，通过细分类模型输出缺陷标注区域对应的第二缺陷输出结果。其中，这里的第二缺陷输出结果可以包括第二分类信息(即code2)和第二分类概率(即score2)。可以理解的是，通过结合实例分割模型和细分类模型(即精细化分类模型)，可以完成缺陷实例级别的检测和识别，但对于企业而言，最后真正需要的是样品级别的识别。因此，通过后处理融合策略可以将实例级别的信息和业务知识整合，形成样品级的判断。
149.如图6所示，服务器可以将缺陷标注区域、第一分类信息、第二分类概率、缺陷区域面积、第二分类信息和第二分类概率输入至业务知识决策树，通过业务知识决策树实现多视角联合决策，以通过该多视角联合决策实现样品级推断模块。其中，业务知识决策树和多视角联合决策可以统称为后处理融合策略，通过该后处理融合策略可以对上述目标对象进行产品级别的缺陷确定，得到产品级别的对象检测结果，进而可以根据对象检测结果，确定目标对象属于正常产品或缺陷产品。
150.应当理解，本技术实施例可以通过实例分割模型高检(即高检出率、高召回率的检测)出所有可能的缺陷，严防漏检，然后通过细分类模型压制ng缺陷和ok缺陷，尽可能降低过杀率，最后将质检业务常识和多视角推断结合，来综合决策样本是ok产品还是ng产品。
151.应当理解，上述实例分割模型、细分类模型和决策分析模型可以统称为目标网络模型，实例分割模型是对初始实例分割模型进行迭代训练所得到的，细分类模型是对初始实例分割模型进行迭代训练所得到的，因此，上述初始实例分割模型、初始细分类模型和决
策分析模型可以统称为初始网络模型。
152.由此可见，本技术实施例可以对与目标对象相关联的n个目标图像进行粗略质量检测，在n个目标图像中高检出所有的缺陷标注区域(即s个缺陷标注区域)，进而对s个缺陷标注区域进行精细质量检测，以对s个缺陷标注区域进行进一步识别。可以理解的是，基于粗略质量检测所得到的第一缺陷输出结果和精细质量检测所得到的第二缺陷输出结果，可以推断决策目标对象的对象检测结果。因此，本技术实施例可以通过粗略质量检测和精细质量检测，在n个目标图像中识别出较为准确的缺陷标注区域和缺陷标注区域对应的缺陷输出结果，进而通过这些准确识别出的缺陷输出结果，实现对n个目标图像所针对的目标对象的质量检测，从而可以提高质量检测的准确性。
153.进一步地，请参见图7，图7是本技术实施例提供的一种图像数据处理方法的流程示意图。该图像数据处理方法可以包括以下步骤s1011-步骤s1015，且步骤s1011-步骤s1015为图3所对应实施例中步骤s101的一个具体实施例。
154.步骤s1011，获取与目标对象相关联的n个目标图像，将n个目标图像分别输入至实例分割模型；
155.其中，实例分割模型包括特征提取子网络、区域预测子网络和缺陷识别子网络。可以理解的是，实例分割模型可以用于确定与n个目标图像相关联的s个缺陷标注区域，这里的s个缺陷标注区域可以包括目标图像li中的m个缺陷标注区域；这里的m可以为小于或等于s的正整数，这里的s可以为正整数。
156.应当理解，实例分割模型所使用的实例分割框架可以为mask rcnn(maskregion convolutional neural networks)，本技术实施例不对实例分割模型所使用的实例分割框架进行限定。
157.应当理解，实例分割模型是对初始实例分割模型进行迭代训练后所得到，服务器对初始实例分割模型进行迭代训练，得到实例分割模型的具体过程可以描述为：服务器可以获取与缺陷样本图像(即包括ng缺陷的图像)相关联的缺陷样本标注区域、缺陷样本分类信息和样本边界区域。进一步地，服务器可以在初始实例分割模型中，确定与缺陷样本图像相关联的预测缺陷标注区域、以及预测缺陷标注区域对应的第一预测输出结果。进一步地，服务器可以根据缺陷样本标注区域、缺陷样本分类信息、样本边界区域、预测缺陷标注区域和第一预测输出结果，确定初始实例分割模型的实例分割损失值。进一步地，服务器可以根据实例分割损失值，对初始实例分割模型中的模型参数进行调整，当调整后的初始实例分割模型满足模型收敛条件时，将调整后的初始实例分割模型确定为实例分割模型。
158.其中，服务器确定预测缺陷标注区域对应的第一预测输出结果的具体过程，可以参见确定目标图像的第一缺陷输出结果的描述，这里将不再进行赘述。
159.其中，第一预测输出结果可以包括预测实例分割结果和第一预测分类信息。应当理解，服务器根据缺陷样本标注区域、缺陷样本分类信息、样本边界区域、预测缺陷标注区域和第一预测输出结果，确定初始实例分割模型的实例分割损失值的具体过程可以描述为：服务器可以根据缺陷样本标注区域和预测缺陷标注区域，确定初始实例分割模型的第一分割损失值。进一步地，服务器可以根据缺陷样本分类信息和第一预测分类信息，确定初始实例分割模型的第二分割损失值。进一步地，服务器可以根据样本边界区域和预测实例分割结果，确定初始实例分割模型的第三分割损失值。进一步地，服务器可以根据第一分割
损失值、第二分割损失值和第三分割损失值，确定初始实例分割模型的实例分割损失值。
160.应当理解，本技术实施例可以考虑数据的标注时间和成本问题，缺陷样本图像和正常样本图像(即包括ok缺陷的图像)均涉及到缺陷类型和缺陷面积，但是对所有的缺陷图像进行类型和面积的标注在时间上是不允许的，因此，本技术实施例可以在对初始实例分割模型进行训练时，使用缺陷样本图像的精细化标注(即缺陷样本标注区域、缺陷样本分类信息和样本边界区域)对初始分割模型进行训练。
161.其中，初始实例分割模型和实例分割模型可以统称为分割网络模型，初始实例分割模型和实例分割模型属于分割网络模型在不同时刻的名称。在训练阶段，分割网络模型可以称之为初始实例分割模型，在预测阶段，分割网络模型可以称之为实例分割模型。
162.步骤s1012，将目标图像li输入至特征提取子网络，通过特征提取子网络对目标图像li进行特征提取，得到目标图像li对应的多分辨率特征；
163.具体的，服务器可以将目标图像li输入至特征提取子网络，通过特征提取子网络对目标图像li进行特征提取，得到至少两个分辨率分别对应的辅助图像特征。其中，一个分辨率对应一个或多个辅助图像特征。进一步地，服务器可以对具有相同分辨率的辅助图像特征进行特征聚合，得到聚合辅助图像特征。进一步地，服务器可以对聚合辅助图像特征进行特征提取，得到目标图像li对应的候选图像特征。进一步地，服务器可以根据至少两个分辨率分别对应的辅助图像特征和候选图像特征，生成目标图像li对应的多分辨率特征。
164.其中，特征提取子网络中可以包括特征提取网络层，服务器可以通过特征提取网络层对目标图像li或者聚合辅助图像特征进行特征提取，这里的特征提取可以为上采样处理，还可以为下采样处理。应当理解，这里的特征提取网络层可以为cnn(convolutional neural network，卷积神经网络)，卷积神经网络可以对目标图像li或者聚合辅助图像特征进行卷积操作，本技术实施例不对特征提取网络层的类型进行限定。
165.其中，服务器对具有相同分辨率的辅助图像特征进行特征聚合的方式可以为特征拼接的方式，也可以为特征相加的方式，还可以为特征加权平均的方式，本技术实施例不对特征融合的具体方式进行限定。
166.其中，特征提取子网络中还可以包括特征融合网络层，服务器可以通过特征融合网络层将至少两个分辨率分别对应的辅助图像特征和候选图像特征融合为目标图像li对应的多分辨率特征。应当理解，这里的特征融合网络层可以为fpn网络(feature pyramid networks，特征金字塔网络)，本技术实施例不对特征融合网络层的类型进行限定。
167.应当理解，特征提取子网络可以为hrnet网络(highresolution net，高分辨率网络)，本技术实施例不对特征提取子网络的类型进行限定。其中，hrnet网络能够保持高分辨率特征，并且能够充分融合多分辨率特征，进而提升小缺陷检测性能。其中，特征提取子网络可以由一个或多个特征提取网络层进行任意组合所得到，本技术实施例不对特征提取子网络中的特征提取网络层的结构进行限定。
168.步骤s1013，将目标图像li对应的多分辨率特征输入至区域预测子网络，通过区域预测子网络对目标图像li对应的多分辨率特征进行区域预测，得到目标图像li中的m个待预测对象区域；
169.其中，区域预测子网络可以直接预测得到待预测对象区域，且确定待预测对象区域的位置。应当理解，区域预测子网络可以为rpn网络(region proposal network，候选区
域网络)，本技术实施例不对区域预测子网络的类型进行限定。
170.步骤s1014，将m个待预测对象区域和目标图像li对应的多分辨率特征输入至缺陷识别子网络，通过缺陷识别子网络对m个待预测对象区域和目标图像li对应的多分辨率特征进行缺陷识别，得到m个缺陷标注区域分别对应的实例分割结果、m个缺陷标注区域分别对应的第一分类概率、以及m个缺陷标注区域分别对应的第一分类信息；
171.具体的，服务器可以将m个待预测对象区域和目标图像li对应的多分辨率特征输入至缺陷识别子网络，通过缺陷识别子网络将m个待预测对象区域映射至目标图像li对应的多分辨率特征，得到m个待预测对象区域分别对应的候选区域特征。进一步地，服务器可以对m个候选区域特征进行特征对齐，得到m个候选区域特征分别对应的对齐区域特征。进一步地，服务器可以对m个对齐区域特征进行卷积操作，得到m个对齐区域特征分别对应的分类区域特征和m个对齐区域特征分别对应分割区域特征。进一步地，服务器可以对m个分类区域特征进行全连接操作，确定m个对齐区域特征分别对应的区域特征和m个对齐区域特征分别对应的分类特征，基于m个区域特征，确定m个缺陷标注区域(即检测框)，基于m个分类特征，确定m个缺陷标注区域分别对应的第一分类概率和m个缺陷标注区域分别对应的第一分类信息。进一步地，服务器可以对m个分割区域特征进行卷积操作，确定m个对齐区域特征分别对应的分割特征，基于m个分割特征，确定m个缺陷标注区域分别对应的实例分割结果(即像素级预测)。
172.其中，候选区域特征为在多分辨率特征上截取的与待预测对象区域相关联的特征，即服务器可以根据待预测对象区域的位置，在多分辨率特征中确定候选区域特征。
173.其中，缺陷识别子网络中可以包括特征对齐网络层，服务器可以通过特征对齐网络层将候选区域特征对齐到相同的特征维度。应当理解，这里的特征对齐网络层可以为roialign，这里的特征对齐网络层也可以为roi pooling，本技术实施例不对特征对齐网络层的类型进行限定。
174.其中，缺陷识别子网络中还可以包括全卷积网络(fully convolutional network，简称fcn)，服务器可以通过全卷积网络对对齐区域特征和分割区域特征进行卷积操作。其中，缺陷识别子网络中还可以包括分类全连接层和区域全连接层，通过分类全连接层对分类区域特征进行全连接操作，可以得到分类特征，通过区域全连接层对分类区域特征进行全连接操作，可以得到区域特征。
175.步骤s1015，将m个缺陷标注区域分别对应的实例分割结果、m个缺陷标注区域分别对应的第一分类概率、以及m个缺陷标注区域分别对应的第一分类信息，作为m个缺陷标注区域分别对应的第一缺陷输出结果。
176.其中，第一分类概率可以表示缺陷标注区域属于第一分类信息的概率。缺陷标注区域对应于所有分类信息均有一个分类概率，第一分类概率为这些分类概率中的最大分类概率，第一分类信息为第一分类概率对应的分类信息。
177.为便于理解，请参见图8，图8是本技术实施例提供的一种实例分割模型的结构示意图。可以理解的是，在图8所示的结构示意图对应于实例分割模型的结构示意图时，图8所示的图像80a可以为n个目标图像中的任意一个目标图像。
178.如图8所示，服务器可以将图像80a输入至特征提取子网络80b，通过特征提取子网络80b输出图像80a对应的多分辨率特征，进而将图像80a对应的多分辨率特征输入至区域
预测子网络，通过区域预测子网络输出图像80a中的m个待预测对象区域。其中，这里的m可以为正整数。
179.其中，可以理解的是，通过特征提取子网络80b对图像80a进行特征提取，可以得到特征81a，进而对特征81a进行特征提取，得到特征82a。进一步地，服务器可以对特征81a进行特征提取，得到第一辅助图像特征(未在图上示出)，对特征82a进行特征提取，得到第二辅助图像特征(未在图上示出)。其中，第一辅助图像特征和第二辅助图像特征具有相同的分辨率。进一步地，服务器可以对第一辅助图像特征和第二辅助图像特征进行特征融合，得到特征83a。
180.进一步地，服务器可以将特征81a作为特征81b，将特征82a作为特征82b，将特征83a作为特征83b。进一步地，服务器可以将特征81b作为特征81c，将特征82b作为特征82c，将特征83b作为特征83c。其中，特征81c和特征82c可以称之为为辅助图像特征，特征83c可以称之为聚合辅助图像特征。进一步地，服务器可以根据特征81c、特征82c和特征83c，生成图像80a对应的多分辨率特征。可选的，服务器还可以对特征83c进行进一步特征提取，得到候选图像特征(未在图上示出)，进而基于特征81c、特征82c和候选图像特征，生成图像80a对应的多分辨率特征。
181.如图8所示，服务器可以将图像80a对应的多分辨率特征和m个待预测对象区域输入至缺陷识别子网络80c，通过缺陷识别子网络80c确定m个缺陷标注区域分别对应的实例分割结果、m个缺陷标注区域分别对应的第一分类概率、所述m个缺陷标注区域分别对应的第一分类信息。其中，缺陷识别子网络80c中可以包括特征对齐网络层84a、全卷积网络84b和全卷积网络84c。
182.其中，可以理解的是，服务器可以将多分辨率特征和m个待预测对象区域输入至特征对齐网络层84a，通过特征对齐网络层84a输出图像80a对应的对齐区域特征，进而将对齐区域特征输入至全卷积网络84b，通过全卷积网络84b输出对齐区域特征对应的分类区域特征和分割区域特征。如图8所示，服务器可以将分割区域特征输入至全卷积网络84c，通过全卷积网络84c确定图像80a对应的实例分割结果；服务器可以基于分类区域特征，确定区域特征(未在图上示出)和分类特征84d，进而通过缺陷识别子网络80c确定区域特征对应的缺陷标注区域，通过缺陷识别子网络80c确定分类特征84d对应的第一分类信息和分类概率。其中，缺陷识别子网络80c确定的缺陷标注区域即为图8所示的区域80d，该区域80d即为实例分割模型所对应的一个实例。
183.应当理解，本技术实施例在数据增强上可以实现数据扰动，明暗对比度，旋转移位，多尺度等在线扩展数据的多样性，确保模型在生产环境的稳定性。换言之，本技术实施例可以在模型训练的过程中对样本图像(例如，缺陷样本图像、正常样本图像)进行数据增强，以将数据增强后的样本图像对模型进行训练，提升模型适应不同类型数据的能力，例如，对样本图像进行明暗调整，对样本图像进行旋转操作，对样本图像进行缩放操作。应当理解，在对样本图像进行旋转、缩放等增强操作时，样本图像中的标注框会相应的发生变化。
184.应当理解，本技术实施例还可以在标签体系上构建实物标签和图像标签结合的三级标签体系(包括显微镜下的缺陷类型，产线判断是缺陷或非缺陷，图像层面缺陷是否清晰可辨)，一定程度上确保训练数据标注的精准性。其中，由于光线、拍摄角度等原因，会造成
图像层面的成像不清晰。其中，缺陷类型为缺陷的细粒度指标，即缺陷的分类信息，例如，压伤；产线判断为缺陷的粗粒度指标，缺陷可以分别ok缺陷和ng缺陷；图像层面表示缺陷在显示层面的指标。可以理解的是，在光照、角度等影响下，缺陷容易出现不清晰的情况(例如，本来是一个缺陷，在某种关照条件下，缺陷未拍出来)；在缺陷清晰的条件下，因为各种因素的影响，会导致缺陷的成像不清晰；在缺陷清晰的条件下，成像清晰可辨别，进而可以确定缺陷的类型。
185.应当理解，图像层面的标签体系有多种用途。在设备的初始阶段时，通过设备对样本采集成像，进而对照实物评估，可以确定实物缺陷清晰度的指标，若确定实物清晰度的指标满足指标条件(例如，指标大于95％)，则确定设备成像不存在问题，否则需要继续对设备进行调试；在成像清晰的情况下，仍然存在不清晰的样本，则可以对清晰的样本进行标注，删除不清晰的样本，提升样本对于模型的训练能力；在模型训练完后，为评估模型是否达到预期，可以通过漏检率确定模型的指标，这里的漏检率会被图像的清晰度所影响。
186.可选的，在图8所示的结构示意图对应于初始实例分割模型的结构示意图时，图8所示的图像80a可以为缺陷样本图像，通过图8所示的结构示意图，可以确定与缺陷样本图像相关联的预测缺陷标注区域、预测实例分割结果和第一预测分类信息。其中，服务器通过图8所示的结构示意图确定与缺陷样本图像相关联的预测缺陷标注区域、预测实例分割结果和第一预测分类信息的具体过程，可以参见上述通过图8所示的结构示意图确定与目标图像(即图像80a)相关联的缺陷标注区域、实例分割结果和第一分类信息的描述，这里将不再进行赘述。
187.由此可见，本技术实施例中的实例分割模型可以对n个目标图像进行实例分割，得到与n个目标图像相关联的s个缺陷检测区域，以及s个缺陷检测区域分别对应的第一缺陷输出结果，进而实现对n个目标图像的准确性的粗略质量检测。可以理解的是，通过实例分割模型可以在n个目标图像中尽可能检出所有缺陷，对n个目标图像中缺陷做实例级别的标注，输出该缺陷的缺陷类型(即第一分类信息)、缺陷矩形框和外界多边形，进而预测出缺陷对应的像素面积，从而充分保证低漏检率。
188.进一步地，请参见图9，图9是本技术实施例提供的一种图像数据处理方法的流程示意图。该图像数据处理方法可以包括以下步骤s1021-步骤s1025，且步骤s1021-步骤s1025为图3所对应实施例中步骤s102的一个具体实施例。
189.步骤s1021，确定目标图像li的缺陷标注区域的区域坐标，根据区域坐标和目标图像li的图像序号，生成目标图像li的缺陷标注区域对应的缺陷输入特征，将缺陷输入特征输入至细分类模型；
190.其中，细分类模型包括感知机子网络和特征识别子网络。
191.可以理解的是，缺陷类型的判断与点位和缺陷发生的位置紧密相关，因此，在模型建立阶段，服务器可以将缺陷位置的坐标信息，也就是缺陷包围盒(即缺陷检测框)的坐标(包围盒左上位置的横坐标和纵坐标，包围盒右下位置的横坐标和纵坐标)以及点位序数编码串联后编码为向量，以将该编码得到的向量作为缺陷输入特征。
192.应当理解，细分类模型是对初始细分类模型进行迭代训练后所得到的，服务器对初始细分类模型进行迭代训练，得到细分类模型的具体过程可以描述为：服务器可以获取与缺陷样本图像相关联的缺陷样本标注区域和缺陷样本分类信息，获取与正常样本图像相
关联的正常样本标注区域和正常样本分类信息。进一步地，服务器可以在初始细分类模型中，根据缺陷样本标注区域和缺陷样本图像的图像属性信息，确定缺陷样本标注区域对应的第二预测输出结果，根据缺陷样本标注区域对应的第二预测输出结果和缺陷样本分类信息，确定初始细分类模型的第一分类损失值。进一步地，服务器可以根据正常样本标注区域和正常样本图像的图像属性信息，确定正常样本标注区域对应的第二预测输出结果，根据正常样本标注区域对应的第二预测输出结果和正常样本分类信息，确定初始细分类模型的第二分类损失值。进一步地，服务器可以根据第一分类损失值和第二分类损失值，确定初始细分类模型的细分类损失值。进一步地，服务器可以根据细分类损失值对初始细分类模型中的模型参数进行调整，当调整后的初始细分类模型满足模型收敛条件时，将调整后的初始细分类模型确定为细分类模型。
193.其中，服务器获取缺陷样本图像的图像属性信息和正常样本图像的图像属性信息的具体过程，可以参见上述图3所对应实施例中对获取目标图像的图像属性信息的描述，这里将不再进行赘述。
194.其中，服务器确定正常样本标注区域对应的第二预测输出结果的具体过程，以及确定正常样本标注区域对应的第二预测输出结果的具体过程，可以参见确定目标图像的第二缺陷输出结果的描述，这里将不再进行赘述。
195.其中，缺陷样本标注区域对应的第二预测输出结果可以包括缺陷样本标注区域的第二预测分类信息。应当理解，服务器根据缺陷样本标注区域对应的第二预测输出结果和缺陷样本分类信息，确定初始细分类模型的第一分类损失值的具体过程可以描述为：服务器可以根据缺陷样本标注区域的第二预测分类信息和缺陷样本分类信息，确定初始细分类模型的第一分类损失值。
196.其中，正常样本标注区域对应的第二预测输出结果可以包括正常样本标注区域的第二预测分类信息。应当理解，服务器根据正常样本标注区域对应的第二预测输出结果和正常样本分类信息，确定初始细分类模型的第二分类损失值的具体过程可以描述为：服务器可以根据正常样本标注区域的第二预测分类信息和正常样本分类信息，确定初始细分类模型的第二分类损失值。
197.应当理解，本技术实施例可以极大缓解标注检测框(即bbox)和边界多边形(即mask)较慢的问题。首先，该框架(即实例分割模型和细分类模型)只需要精细化标注ng缺陷(缺陷类型，检测框，缺陷的边界多边形)，粗略标注ok缺陷(缺陷类型，检测框)；其次，通过精细化标注的ng缺陷对实例分割模型进行训练，可以使得实例分割模型的检出率和缺陷预测面积的准确率达到产线要求，进而可以使用粗略化标记的ng缺陷和粗略化标记的ok缺陷对细分类模型进行训练。基于此，本技术实施例所提供的实例分割模型和细分类模型的训练数据标注方式，显著降低了数据标注的成本。
198.其中，检出率即为召回率，召回率表示的是样本中的ng产品有多少产品被预测正确；准确率表示的是样本中的ng产品和ok产品有多少产品的面积被预测正确。可以理解的是，服务器可以确定缺陷预测面积和检测框之间的交并比(intersection-over-union，简称iou)，在交并比大于面积阈值时，确定缺陷标注区域的缺陷预测面积被预测准确，这里不对面积阈值的具体取值进行限定。
199.其中，初始细分类模型和细分类模型可以统称为分类网络模型，初始细分类模型
和细分类模型属于分类网络模型在不同时刻的名称。在训练阶段，分类网络模型可以称之为初始细分类模型，在预测阶段，分类网络模型可以称之为细分类模型。
200.步骤s1022，通过感知机子网络对缺陷输入特征进行全连接操作，确定目标图像li的缺陷标注区域对应的缺陷输出特征；
201.其中，感知机子网络中可以包括一个或多个串联而成全连接层，多个全连接层可以实现非线性分类。应当理解，本技术实施例不对感知机子网络中的全连接层的数量进行限定。
202.步骤s1023，将目标图像li输入至特征识别子网络，通过特征识别子网络对目标图像li进行特征识别，得到目标图像li对应的图像输出特征；
203.应当理解，特征识别子网络可以为attention机制(即注意力机制)的resnet网络(deep residual network，深度残差网络)，本技术实施例不对特征识别子网络的类型进行限定。其中，在精细化分类模型(即细分类模型)的结构上采用resnet架构，并加入注意力机制，可以进一步从缺陷细节信息上进行细粒度判别。
204.其中，本技术实施例所使用的注意力机制可以为cbam模块(convolutional block attention module，卷积块注意力模块)，该cbam模块为基于卷积块的注意力机制，可以融合空间注意力和通道注意力，本技术实施例不对注意力机制的类型进行限定。
205.步骤s1024，对目标图像li的缺陷标注区域对应的缺陷输出特征和目标图像li对应的图像输出特征进行特征融合，得到目标图像li的缺陷标注区域对应的融合输出特征；
206.应当理解，服务器对目标图像li的缺陷标注区域对应的缺陷输出特征和目标图像li对应的图像输出特征进行特征融合的方式可以为特征拼接的方式，也可以为特征相加的方式，还可以为特征加权平均的方式，本技术实施例不对特征融合的具体方式进行限定。
207.步骤s1025，基于目标图像li的缺陷标注区域对应的融合输出特征和细分类模型的分类器，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。
208.具体的，服务器可以将目标图像li的缺陷标注区域对应的融合输出特征输入至细分类模型的分类器，通过分类器确定目标图像li的缺陷标注区域对应的融合输出特征与分类器中的样本输出特征之间的匹配度。其中，匹配度用于描述目标图像li的缺陷标注区域属于样本输出特征对应的样本分类标签的概率，这里的分类器可以为全连接层(全连接层是个非线性分类器)。进一步地，服务器可以将具有最大匹配度的样本输出特征所对应的样本分类标签，作为目标图像li的缺陷标注区域对应的第二分类信息，将最大匹配度作为目标图像li的缺陷标注区域对应的第二分类概率。进一步地，服务器可以将目标图像li的缺陷标注区域对应的第二分类信息和目标图像li的缺陷标注区域对应的第二分类概率，作为目标图像li的缺陷标注区域对应的第二缺陷输出结果。
209.其中，第二分类概率可以表示缺陷标注区域属于第二分类信息的概率。缺陷标注区域对应于所有分类信息均有一个分类概率，第二分类概率为这些分类概率中的最大分类概率，第二分类信息为第二分类概率对应的分类信息。
210.为便于理解，请参见图10，图10是本技术实施例提供的一种细分类模型的结构示意图。可以理解的是，在图10所示的结构示意图对应于细分类模型的结构示意图时，细分类模型100c中可以包括特征识别子网络和感知机子网络。其中，图10所示的图像100a可以为n个目标图像中的任意一个目标图像，如图10所示的缺陷标注区域100b可以为图像100a中的
任意一个缺陷标注区域。
211.如图10所示，服务器可以将图像100a输入至特征识别子网络，通过特征识别子网络输出图像100a对应的图像输出特征；服务器可以将缺陷标注区域100b和图像100a的图像序号输入至感知机子网络，通过感知机子网络输出缺陷标注区域100b对应的缺陷输出特征。进一步地，服务器可以对图像输出特征和缺陷输出特征进行特征融合，得到缺陷标注区域100b对应的融合输出特征100d，进而将融合输出特征100d输入至细分类模型100c中的分类器，通过分类器输出缺陷标注区域100b对应的第二缺陷输出结果。
212.其中，缺陷输出特征可以为一个多维度的向量，例如，这里的多维度可以为256维。其中，图像输出特征可以为一个多维度的向量，例如，这里的多维度可以为512维。
213.可选的，在图10所示的结构示意图对应于初始细分类模型的结构示意图时，图10所示的图像100a可以为缺陷样本图像或者正常样本图像，通过图10所示的结构示意图可以确定与缺陷样本图像相关联的第二预测分类信息和与正常样本图像相关联的第二预测分类信息。其中，服务器通过图10所示的结构示意图确定与缺陷样本图像相关联的第二预测分类信息和与正常样本图像相关联的第二预测分类信息的具体过程，可以参见上述通过图10所示的结构示意图确定与目标图像(即图像100a)相关联的第二分类信息的描述，这里将不再进行赘述。
214.由此可见，本技术实施例中的细分类模型可以确定目标图像对应的图像输出特征，以及目标图像的缺陷标注区域对应的缺陷输出特征，进而根据目标图像对应的图像输出特征和目标图像的缺陷标注区域对应的缺陷输出特征，确定目标图像的缺陷标注区域对应的第二缺陷输出结果，进而实现对s个缺陷标注区域的精细质量检测。可以理解的是，通过细分类模型可以对s个缺陷标注区域进行精细化划分，输出s个缺陷的缺陷类型(即第二分类信息)，进而识别s个缺陷标注区域中的伪缺陷，从而降低过杀率。
215.进一步地，请参见图11，图11是本技术实施例提供的一种图像数据处理方法的流程示意图。该图像数据处理方法可以包括以下步骤s1031-步骤s1036，且步骤s1031-步骤s1036为图3所对应实施例中步骤s103的一个具体实施例。
216.步骤s1031，获取用于对目标对象进行多视角决策分析的业务知识和超参数搜索模型，通过超参数搜索模型生成与业务知识相关联的超参数集合；
217.其中，超参数集合包括一组或多组决策超参数；一组或多组决策超参数中的每组决策超参数包括一个或多个超参数；一组或多组决策超参数用于平衡决策分析模型对应的至少两个评价指标，例如，至少两个评价指标可以为过杀率和漏检率。其中，过杀率和漏检率针对的是样品级别。
218.可以理解的是，混淆矩阵可以用于表示预测类别(即列)和实际类别(即行)的数量，经过质检系统后输出的混淆矩阵可以参见下述表1：
219.表1
[0220][0221]
其中，tp(true positive)可以表示将ok产品预测为ok产品的数量，fn(false negative)表示将ok产品预测为ng产品的数量，fp(false positive)表示将ng产品预测为ok产品的数量，tn(true negative)表示将ng产品预测为ng产品的数量。可以理解的是，通过tp、fn、fp和tn，可以确定产品的过杀率和漏检率，这里不对所有的评价指标进行一一列举。
[0222]
其中，过杀率为系统将ok品判断(即误判)为ng品的比率，过杀率可以参见下述公式(1)：
[0223][0224]
其中，漏检率为系统将ng品判断为ok品的比率，漏检率可以参见下述公式(2)：
[0225][0226]
可以理解的是，通过上述公式(1)和公式(2)可以确定过杀率和漏检率为一对相互冲突的指标。对于同一个模型而言，严格控制漏检率，必然引起过杀率升高；严格控制过杀率，必然引起漏检率升高。
[0227]
其中，在mim件的质检行业中，ok产品和ng产品的判断依赖于很多业务知识以及多点位的综合判断，主要的业务知识列举如下：(1)裂纹有最严格的考核要求，且漏检指标接近零，裂纹判断的缺陷和非缺陷与面积无关；(2)缺陷有大小、深浅之分，比如，某些小而浅的缺陷是可以算做ok的(例如，压伤等)。因此，部分缺陷的缺陷和非缺陷的判断需要考虑面积，小于给定面积可以当做ok缺陷，大于给定面积可以当做ng缺陷；(3)部分缺陷尽管外观很像ng缺陷，但它属于ok缺陷，例如，亮印和脏污等；(4)样品每一个点位的图片都有自己的roi(即感兴趣区域)，不同点位的图片都存在很大的重叠，每一个点位如果只对自己所在roi检测结果负责，则可以有效降低过杀率；(5)样品对应的多个点位中，只要有1个点位判断为ng缺陷，则这个样品属于ng样品；若所有点位判断为ok缺陷，则该样品属于ok样品。
[0228]
为便于理解，请参见图12，图12是本技术实施例提供的一种生成超参数集合的流程示意图。如图12为超参数搜索模型进行决策超参数搜索的流程示意图，该超参数搜索模型可以为帕累托(pareto)最优算法，则图12显示了帕累托最优算法的超参数优化过程，其中，帕累托最优算法的优化变量为基于业务知识的决策树超参数(即决策超参数)。
[0229]
如图12所示，服务器可以执行步骤s21和步骤s22，产生一个初始种群p，这里的初始种群p可以为当前时刻的最优解。进一步地，服务器可以执行步骤s23，通过进化算法(evolutionaryalgorithm，ea)对初始种群p执行进行操作(例如，交叉、变异和选择)，得到新种群r，其中，不断地进化操作可以得到更多最优解。进一步地，服务器可以执行步骤s24，通过步骤s24可以构造初始种群p和新种群r(即pur)的非支配集(即nset)。
[0230]
其中，在设计帕累托最优算法时设置有非支配集nset的大小阈值，若当前非支配集nset的大小大于或等于大小阈值，则需要在步骤s25中按照某种策略对非支配集nset进行调整(即调整非支配集nset的规模)。可以理解的是，步骤s25中的调整一方面可以使非支配集nset满足大小要求，另一方面可以使非支配集nset满足分布性要求。
[0231]
进一步地，服务器可以执行步骤s26，确定非支配集nset是否满足终止条件，若非支配集nset满足终止条件，则执行步骤s28，在步骤s28中输出非支配集结果(即pareto最优解、最优解集合)。可选的，若非支配集nset不满足终止条件，则执行步骤s27(此时，p小于或等于非支配集)，进而执行步骤s23，将非支配集作为新的初始种群p，对新的初始种群p执行进化操作，即将非支配集nset中的个体复制到p中并继续下一轮进化。其中，终止条件可以为迭代次数限定或者是迭代变换限定，迭代次数限定表示迭代指定次数，迭代变换限定标识在经过多次迭代后非支配集没有变化，本技术实施例不对这里的终止条件进行限定。
[0232]
其中，上述进化算法可以为启发式算法或者演化式算法。使用启发算法或演化算法来解决此问题是一个很好的思路。可以理解的是，启发式算法的优点是无需知道目标函数的具体形式，对目标函数的可微可导没有任何要求，支持多目标优化；随着研究的深入，演化算法的理论逐步趋向于成熟和完善。其中，以遗传算法为代表的许多演化算法，具有生成多个点并进行多方向搜索的特征，因此非常适合求解这种最优解的搜索空间非常复杂的多目标优化问题。
[0233]
步骤s1032，从超参数集合中获取满足超参数获取条件的目标决策超参数，根据业务知识和目标决策超参数，生成决策树；
[0234]
可以理解的是，以上的业务知识，可以简单归纳为决策树。综合利用这些决策树就可以实现样品级别的ok/ng的推断，但是这些决策树中包括很多超参数，例如对单个实例来说，实例分割模型检出阈值和面积，分类模型检出阈值等。对于同一个模型，不同超参数组合，可能对应于不同的漏检率和过杀率，选择符合业务指标的超参数，可以对模型的综合性能产生重要影响。因此，本技术实施例可以针对漏检率和过杀率(即超参数获取条件)，选择合适的目标决策超参数。
[0235]
其中，目标决策超参数包括实例分割超参数、分割面积超参数和细分类超参数，该实例分割超参数即为上述分割模型检出阈值，该分割面积超参数即为上述实例分割模型检出面积，该细分类超参数即为上述分类模型检出阈值。
[0236]
步骤s1033，从s个缺陷标注区域分别对应的第一缺陷输出结果中获取s个缺陷标注区域分别对应的实例分割结果，根据s个缺陷标注区域分别对应的实例分割结果，确定s个缺陷标注区域分别对应的缺陷区域面积；
[0237]
步骤s1034，从s个缺陷标注区域分别对应的第一缺陷输出结果中获取s个缺陷标注区域分别对应的第一分类概率、以及s个缺陷标注区域分别对应的第一分类信息，从s个缺陷标注区域分别对应的第二缺陷输出结果中获取s个缺陷标注区域分别对应的第二分类概率、以及s个缺陷标注区域分别对应的第二分类信息；
[0238]
步骤s1035，在决策分析模型中，根据s个缺陷标注区域分别对应的第一分类信息、s个缺陷标注区域分别对应的第二分类信息、s个缺陷标注区域分别对应的第一分类概率、s个缺陷标注区域分别对应的第二分类概率、s个缺陷标注区域分别对应的缺陷区域面积、s个缺陷标注区域、以及决策树所指示的实例分割超参数、分割面积超参数和细分类超参数，
对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果；
[0239]
具体的，服务器可以在决策分析模型中，根据s个缺陷标注区域分别对应的第一分类信息、s个缺陷标注区域分别对应的第二分类信息、s个缺陷标注区域分别对应的第一分类概率、s个缺陷标注区域分别对应的第二分类概率、s个缺陷标注区域分别对应的缺陷区域面积、s个缺陷标注区域、以及决策树所指示的实例分割超参数、分割面积超参数和细分类超参数，确定s个缺陷标注区域分别对应的缺陷检测结果。进一步地，服务器可以根据s个缺陷标注区域分别对应的缺陷检测结果，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果。
[0240]
其中，服务器可以在决策分析模型中，根据s个缺陷标注区域分别对应的第一分类信息、s个缺陷标注区域分别对应的第一分类概率和决策树所指示的实例分割超参数，确定s个缺陷标注区域分别的第一检测结果。进一步地，服务器可以根据s个缺陷标注区域分别对应的第二分类信息、s个缺陷标注区域分别对应的第二分类概率和决策树所指示的细分类超参数，确定s个缺陷标注区域分别的第二检测结果。进一步地，服务器可以根据s个缺陷标注区域分别对应的缺陷区域面积和决策树所指示的分割面积超参数，确定s个缺陷标注区域分别的第三检测结果。进一步地，服务器可以基于s个缺陷标注区域分别的第一检测结果、s个缺陷标注区域分别的第二检测结果和s个缺陷标注区域分别的第三检测结果，确定s个缺陷标注区域分别对应的缺陷检测结果。进一步地，服务器可以根据s个缺陷标注区域分别对应的缺陷检测结果，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果。
[0241]
其中，若第一分类概率大于实例分割超参数，则指示缺陷标注区域为第一分类信息所对应的缺陷类型；若第一分类概率小于或等于实例分割超参数，则指示缺陷标注区域不为第一分类信息所对应的缺陷类型。
[0242]
其中，若第二分类概率大于细分类超参数，则指示缺陷标注区域为第二分类信息所对应的缺陷类型；若第二分类概率小于或等于细分类超参数，则指示缺陷标注区域不为第二分类信息所对应的缺陷类型。
[0243]
其中，若缺陷区域面积大于分割面积超参数，则指示缺陷标注区域为可以为ng缺陷，若缺陷区域面积小于或等于分割面积超参数，则指示缺陷标注区域可以为ok缺陷。
[0244]
其中，n个目标图像中可以包括目标图像li，这里以目标图像li为例进行说明，服务器可以根据目标图像li中的m个缺陷标注区域的缺陷检测结果，确定目标图像li的图像检测结果。其中，缺陷检测结果可以表示缺陷标注区域为缺陷或非缺陷。其中，若目标图像li中不存在ng缺陷(即可能存在ok缺陷、或既不存在ok缺陷也不存在ng缺陷)的缺陷标注区域，则确定目标图像li为非缺陷图像；若目标图像li中存在ng缺陷的(也可能存在ok缺陷、或不存在ok缺陷)缺陷标注区域，则确定目标图像li为缺陷图像。
[0245]
可选的，服务器可以在决策分析模型中，根据s个缺陷标注区域分别对应的第一分类信息、s个缺陷标注区域分别对应的第一分类概率和决策树所指示的实例分割超参数，确定n个目标图像分别的第一检测结果。进一步地，服务器可以根据s个缺陷标注区域分别对应的第二分类信息、s个缺陷标注区域分别对应的第二分类概率和决策树所指示的细分类超参数，确定n个目标图像分别的第二检测结果。进一步地，服务器可以根据s个缺陷标注区域分别对应的缺陷区域面积和决策树所指示的分割面积超参数，确定n个目标图像分别的
第三检测结果。进一步地，服务器可以基于n个目标图像分别的第一检测结果、n个目标图像分别的第二检测结果和n个目标图像分别的第三检测结果，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果。
[0246]
为便于理解，请参见图13，图13是本技术实施例提供的一种进行缺陷质检的场景示意图。可以理解的是，min件的缺陷类型主要可以划分为两类，即ok缺陷所对应的缺陷类型和ng缺陷所对应的缺陷类型，如图13所示为两类缺陷类型中的5种典型缺陷类型的示意图。
[0247]
如图13所示，缺陷13a可以为裂纹所对应的缺陷示意图，该缺陷13a可以为ng缺陷；缺陷13b可以为亮印所对应的缺陷示意图，该缺陷13b可以为ok缺陷；缺陷13c可以为缺料所对应的缺陷示意图，该缺陷13c可以为ng缺陷；缺陷13d可以为压伤所对应的缺陷示意图，该缺陷13d可以为ng缺陷；缺陷13e可以为脏污所对应的缺陷示意图，该缺陷13e可以为ok缺陷。
[0248]
其中，应当理解，实例分割模型和细分类模型在对缺陷标注区域进行分类时，会将既有可能是ng缺陷也可能是ok缺陷的缺陷(例如，“压伤”)认为是ng缺陷，进而在对这些缺陷进行多视角决策分析时，将“压伤”划分为缺陷或非缺陷。
[0249]
步骤s1036，根据n个目标图像分别的图像检测结果，确定目标对象的对象检测结果。
[0250]
可以理解的是，服务器可以根据缺陷判定规则，对与n个目标图像相关联的s个缺陷标注区域的严重性进行判断，得到s个缺陷标注区域的缺陷严重等级，进而优先输出目标对象中最严重的缺陷。
[0251]
应当理解，服务器在基于第一检测结果、第二检测结果和第三检测结果，确定缺陷标注区域对应的缺陷检测结果时，第一检测结果和第二检测结果的判断流程，会影响缺陷标注区域对应的缺陷检测结果。为便于理解，请参见图14，图14是本技术实施例提供的一种进行多模型比较的场景示意图。如图14所示为不同判断流程在验证集上的帕累托优化曲线，即在验证集上利用图12所示的帕累托最优方法搜索模型的超参数，然后在测试集上评测模型的结果。其中，横坐标可以表示过杀率，纵坐标可以表示漏检率。
[0252]
可以理解的是，使用帕累托最优算法获得模型的过杀漏检率性能曲线后，可以结合业务需求选择合适的漏检过杀率，并据此选择对应的模型超参数(即目标决策超参数)。此外，不同模型的帕累托最优曲线也在一定程度上反应了模型质检的性能差异。
[0253]
如图14所示中包括四类模型的帕累托优化曲线：“实例分割+精细分类2”(即管线b)所对应的帕累托优化曲线、“实例分割”(即管线a)所对应的帕累托优化曲线、“实例分割+精细分类2”(即管线e)所对应的帕累托优化曲线、以及“精细分类2+实例分割”(即管线d)所对应的帕累托优化曲线。其中，“实例分割”和“精细分类2”可以参见下述表2。
[0254]
其中，在某mim件质检中，本技术实施例基于的离线测试数据可以包括1324个ng产品和460个ok产品。其中，每个ng产品和每个ok产品均对应于不同视觉角度的多张图像(例如，n张)。其中，通过控制过杀看漏检(即过杀率在30.435％时，漏检率的取值)、控制漏检看过杀的方式(即漏检率在2.568％时，过杀率的取值)，图14所示的帕累托优化曲线的分析结果可以参见下述表2：
[0255]
表2
[0256][0257]
其中，实例分割(即maskrcnn(1202det))表示只使用maskrcnn的实例分割模型分类(即第一分类信息)；实例分割+精细分类2(即maskrcnn(0113cls))表示关闭实例分割模型分类，启用精细分类模型2分类(即第二分类信息)；实例分割+精细分类1(即maskrcnn(1202det-0108cls))表示先经过实例分割模型分类，再将不确定的实例送入精细化分类模型1分类(即先使用第一分类信息、再使用第二分类信息)；精细分类2+实例分割(即maskrcnn(0113cls-1202det))表示先经过精细化分类模型2分类，再经过实例分割模型分类(即先使用第二分类信息、再使用第一分类信息)；实例分割+精细分类2(即maskrcnn(1202det-0113cls))表示先经过实例分割模型分类，再将不确定的实例送入精细化分类模型2分类(即先使用第一分类信息、再使用第二分类信息)。
[0258]
其中，精细分类模型2(0113cls)相比精细分类模型1(0108clsa)，增加了固定点位过杀的图像块加入模型训练，有效降低系统的过杀率。可以理解的是，固定点位过杀可以用于消除客观因素所引起的批量性缺陷，例如，固定点位过杀可以消除模具所造成的批量性缺陷，在模具中存在缺陷时，通过该模具所生成的目标对象均具有该模具中的缺陷。
[0259]
其中，通过表2可以看出精细分类模型对端到端指标的影响：
[0260]
(1)不用分类模型：对比管线a和管线c，无论固定过杀率(30.435％)还是固定漏检率(2.568％)的指标，管线a对应的漏检率(管线a的漏检率为4.607％，管线c的漏检率为2.266％)和过杀率(管线a的过杀率为40.652％，管线c的过杀率为29.348％)都更高，这表明精细分类模型对端到端的指标有显著的正面作用；
[0261]
(2)更新分类模型：根据过杀率分析结果，通过采集固定点位的过杀的图像块更新精细分类模型，对比管线c和管线d，端到端的指标会明显提升(漏检率从2.266％降低到1.964％，过杀率从29.348％降低到27.391％)，这表明采集固定点位的过杀的图像块对端到端的指标有显著的正面作用。
[0262]
其中，通过表2还可以看出规则策略对端到端指标的影响：
[0263]
(1)对比管线a、管线b和管线d、管线e，实例级别的缺陷类型如果完全依赖于检测(即实例分类)(管线a)或分类(即精细分类)(管线b)，相比于检测和分类融合的模式(管线d和管线e)显著要差，且只使用分类(管线a)比检测(管线b)结果更差；
[0264]
(2)对比管线d和管线e，无论逻辑上先使用实例分割模型分类还是先使用精细分类模型分类，两者帕累托性能曲线接近，细分指标也较为接近。例如，控制过杀率到30.435％，对应的漏检率分别是1.964％(管线d)和1.813％(管线e)；控制漏检率到2.568％，对应的过杀率分别是27.391％(管线d)和25.652％(管线e)，因此，管线e的效果更
优于管线d的效果。
[0265]
可以理解的是，上述实验充分证明了本技术实施例提出的先使用实例分割模型高检出ng缺陷，然后使用精细分类模型降低伪ok和真ng缺陷，再结合行业知识多视角联合推断进行质检的合理性和有效性。
[0266]
应当理解，工厂需要人力对过杀的产品做复判，因此过杀率直接和产线人力的释放率相关，而漏检率意味着工厂提供给供应商的产品质量。一般情况下，都是在严格控制漏检率的情况下，最大限度的降低过杀率，来确保产品满足交付质量的前提下最大释放产线质检人力。其中，在对过杀的产品进行复判时，需要对检测出的所有产品进行复判，这里的所有产品可以包括实际为正常的和实际为缺陷的，比如，所有产品的缺陷数量可以为30个，实际为缺陷的可以为28个，实际为正常的可以为2个，这2个即为过杀的产品。
[0267]
由此可见，本技术实施例中的决策分析模型可以结合行业业务知识和多视角联合推断决策产品(即目标对象)的对象检测结果，其中，通过缺陷的缺陷检测结果可以确定产品的对象检测结果，该对象检测结果可以确定目标对象属于ng产品还是ok产品。因此，本技术实施例可以在实现质量检测的准确性的同时，实现产品级别的缺陷和正常的质检，进而提高质量检测的效率。
[0268]
进一步地，请参见图15，图15是本技术实施例提供的一种图像数据处理装置的结构示意图。该图像数据处理装置1可以包括：第一输出模块11，第二输出模块12，决策分析模块13；
[0269]
第一输出模块11，用于获取与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果；n个目标图像是由n个拍摄组件分别对同一个目标对象进行拍摄所得到的；n个目标图像的视觉角度互不相同；n为正整数；s为正整数；n个目标图像包括目标图像li，i为小于或等于n的正整数；
[0270]
其中，第一输出模块11包括：图像获取单元111，实例分割单元112；可选的，第一输出模块11可以进一步包括：标签获取单元113，模型输出单元114，模型训练单元115；
[0271]
图像获取单元111，用于获取与目标对象相关联的n个目标图像，将n个目标图像分别输入至实例分割模型；
[0272]
实例分割单元112，用于通过实例分割模型对n个目标图像进行实例分割，得到与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果。
[0273]
其中，实例分割模型包括特征提取子网络、区域预测子网络和缺陷识别子网络；s个缺陷标注区域包括目标图像li中的m个缺陷标注区域；m为小于或等于s的正整数；
[0274]
实例分割单元112包括：特征提取子单元1121，区域预测子单元1122，缺陷识别子单元1123；
[0275]
特征提取子单元1121，用于将目标图像li输入至特征提取子网络，通过特征提取子网络对目标图像li进行特征提取，得到目标图像li对应的多分辨率特征；
[0276]
区域预测子单元1122，用于将目标图像li对应的多分辨率特征输入至区域预测子网络，通过区域预测子网络对目标图像li对应的多分辨率特征进行区域预测，得到目标图像li中的m个待预测对象区域；
[0277]
缺陷识别子单元1123，用于将m个待预测对象区域和目标图像li对应的多分辨率
特征输入至缺陷识别子网络，通过缺陷识别子网络对m个待预测对象区域和目标图像li对应的多分辨率特征进行缺陷识别，得到m个缺陷标注区域分别对应的实例分割结果、m个缺陷标注区域分别对应的第一分类概率、以及m个缺陷标注区域分别对应的第一分类信息；
[0278]
缺陷识别子单元1123，用于将m个缺陷标注区域分别对应的实例分割结果、m个缺陷标注区域分别对应的第一分类概率、以及m个缺陷标注区域分别对应的第一分类信息，作为m个缺陷标注区域分别对应的第一缺陷输出结果。
[0279]
其中，缺陷识别子单元1123，具体用于通过缺陷识别子网络将m个待预测对象区域映射至目标图像li对应的多分辨率特征，得到m个待预测对象区域分别对应的候选区域特征；
[0280]
缺陷识别子单元1123，具体用于对m个候选区域特征进行特征对齐，得到m个候选区域特征分别对应的对齐区域特征；
[0281]
缺陷识别子单元1123，具体用于对m个对齐区域特征进行卷积操作，得到m个对齐区域特征分别对应的分类区域特征和m个对齐区域特征分别对应分割区域特征；
[0282]
缺陷识别子单元1123，具体用于对m个分类区域特征进行全连接操作，确定m个对齐区域特征分别对应的区域特征和m个对齐区域特征分别对应的分类特征，基于m个区域特征，确定m个缺陷标注区域，基于m个分类特征，确定m个缺陷标注区域分别对应的第一分类概率和m个缺陷标注区域分别对应的第一分类信息；
[0283]
缺陷识别子单元1123，具体用于对m个分割区域特征进行卷积操作，确定m个对齐区域特征分别对应的分割特征，基于m个分割特征，确定m个缺陷标注区域分别对应的实例分割结果。
[0284]
其中，特征提取子单元1121，区域预测子单元1122和缺陷识别子单元1123的具体实现方式，可以参见上述图7所对应实施例中对步骤s1012-步骤s1015的描述，这里将不再进行赘述。
[0285]
可选的，标签获取单元113，用于获取与缺陷样本图像相关联的缺陷样本标注区域、缺陷样本分类信息和样本边界区域；
[0286]
模型输出单元114，用于在初始实例分割模型中，确定与缺陷样本图像相关联的预测缺陷标注区域、以及预测缺陷标注区域对应的第一预测输出结果；
[0287]
模型训练单元115，用于根据缺陷样本标注区域、缺陷样本分类信息、样本边界区域、预测缺陷标注区域和第一预测输出结果，确定初始实例分割模型的实例分割损失值；
[0288]
模型训练单元115，用于根据实例分割损失值，对初始实例分割模型中的模型参数进行调整，当调整后的初始实例分割模型满足模型收敛条件时，将调整后的初始实例分割模型确定为实例分割模型。
[0289]
其中，图像获取单元111，实例分割单元112，标签获取单元113，模型输出单元114和模型训练单元115的具体实现方式，可以参见上述图3所对应实施例中对步骤s101和图7所对应实施例中对步骤s1011-步骤s1015的描述，这里将不再进行赘述。
[0290]
第二输出模块12，用于根据目标图像li的缺陷标注区域和目标图像li的图像属性信息，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果；
[0291]
其中，目标图像li的图像属性信息包括目标图像li的图像序号和目标图像li对应的图像输出特征；
[0292]
第二输出模块12包括：第一确定单元121，第二确定单元122；
[0293]
第一确定单元121，用于根据目标图像li的缺陷标注区域和目标图像li的图像序号，确定目标图像li的缺陷标注区域对应的缺陷输出特征；
[0294]
其中，第一确定单元121包括：第一确定子单元1211，第二确定子单元1212；可选的，第一确定单元121可以进一步包括：标签获取子单元1213，模型输出子单元1214，模型训练子单元1215；
[0295]
第一确定子单元1211，用于确定目标图像li的缺陷标注区域的区域坐标，根据区域坐标和目标图像li的图像序号，生成目标图像li的缺陷标注区域对应的缺陷输入特征，将缺陷输入特征输入至细分类模型；细分类模型包括感知机子网络；
[0296]
第二确定子单元1212，用于通过感知机子网络对缺陷输入特征进行全连接操作，确定目标图像li的缺陷标注区域对应的缺陷输出特征。
[0297]
可选的，标签获取子单元1213，用于获取与缺陷样本图像相关联的缺陷样本标注区域和缺陷样本分类信息，获取与正常样本图像相关联的正常样本标注区域和正常样本分类信息；
[0298]
模型输出子单元1214，用于在初始细分类模型中，根据缺陷样本标注区域和缺陷样本图像的图像属性信息，确定缺陷样本标注区域对应的第二预测输出结果，根据缺陷样本标注区域对应的第二预测输出结果和缺陷样本分类信息，确定初始细分类模型的第一分类损失值；
[0299]
模型输出子单元1214，用于根据正常样本标注区域和正常样本图像的图像属性信息，确定正常样本标注区域对应的第二预测输出结果，根据正常样本标注区域对应的第二预测输出结果和正常样本分类信息，确定初始细分类模型的第二分类损失值；
[0300]
模型训练子单元1215，用于根据第一分类损失值和第二分类损失值，确定初始细分类模型的细分类损失值；
[0301]
模型训练子单元1215，用于根据细分类损失值对初始细分类模型中的模型参数进行调整，当调整后的初始细分类模型满足模型收敛条件时，将调整后的初始细分类模型确定为细分类模型。
[0302]
其中，第一确定子单元1211，第二确定子单元1212，标签获取子单元1213，模型输出子单元1214和模型训练子单元1215的具体实现方式，可以参见上述图9所对应实施例中对步骤s1021-步骤s1022的描述，这里将不再进行赘述。
[0303]
第二确定单元122，用于根据目标图像li的缺陷标注区域对应的缺陷输出特征和目标图像li对应的图像输出特征，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。
[0304]
其中，细分类模型还包括特征识别子网络；
[0305]
第二确定单元122包括：特征识别子单元1221，特征融合子单元1222，区域分类子单元1223；
[0306]
特征识别子单元1221，用于将目标图像li输入至特征识别子网络，通过特征识别子网络对目标图像li进行特征识别，得到目标图像li对应的图像输出特征；
[0307]
特征融合子单元1222，用于对目标图像li的缺陷标注区域对应的缺陷输出特征和目标图像li对应的图像输出特征进行特征融合，得到目标图像li的缺陷标注区域对应的融
合输出特征；
[0308]
区域分类子单元1223，用于基于目标图像li的缺陷标注区域对应的融合输出特征和细分类模型的分类器，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果。
[0309]
其中，区域分类子单元1223，具体用于将目标图像li的缺陷标注区域对应的融合输出特征输入至细分类模型的分类器，通过分类器确定目标图像li的缺陷标注区域对应的融合输出特征与分类器中的样本输出特征之间的匹配度；匹配度用于描述目标图像li的缺陷标注区域属于样本输出特征对应的样本分类标签的概率；
[0310]
区域分类子单元1223，具体用于将具有最大匹配度的样本输出特征所对应的样本分类标签，作为目标图像li的缺陷标注区域对应的第二分类信息，将最大匹配度作为目标图像li的缺陷标注区域对应的第二分类概率；
[0311]
区域分类子单元1223，具体用于将目标图像li的缺陷标注区域对应的第二分类信息和目标图像li的缺陷标注区域对应的第二分类概率，作为目标图像li的缺陷标注区域对应的第二缺陷输出结果。
[0312]
其中，特征识别子单元1221，特征融合子单元1222和区域分类子单元1223的具体实现方式，可以参见上述图9所对应实施例中对步骤s1023-步骤s1025的描述，这里将不再进行赘述。
[0313]
其中，第一确定单元121和第二确定单元122的具体实现方式，可以参见上述图3所对应实施例中对步骤s102和图9所对应实施例中对步骤s1021-步骤s1025的描述，这里将不再进行赘述。
[0314]
决策分析模块13，用于基于s个缺陷标注区域分别对应的第一缺陷输出结果和s个缺陷标注区域分别对应的第二缺陷输出结果，对目标对象进行多视角决策分析，得到目标对象的对象检测结果。
[0315]
其中，决策分析模块13包括：决策树生成单元131，决策分析单元132，结果确定单元133；
[0316]
决策树生成单元131，用于获取用于对目标对象进行多视角决策分析的业务知识和与业务知识相关联的目标决策超参数，根据业务知识和目标决策超参数，生成决策树；
[0317]
其中，决策树生成单元131包括：集合生成子单元1311，决策树生成子单元1312；
[0318]
集合生成子单元1311，用于获取用于对目标对象进行多视角决策分析的业务知识和超参数搜索模型，通过超参数搜索模型生成与业务知识相关联的超参数集合；超参数集合包括一组或多组决策超参数；一组或多组决策超参数中的每组决策超参数包括一个或多个超参数；一组或多组决策超参数用于平衡决策分析模型对应的至少两个评价指标；
[0319]
决策树生成子单元1312，用于从超参数集合中获取满足超参数获取条件的目标决策超参数，根据业务知识和目标决策超参数，生成决策树。
[0320]
其中，集合生成子单元1311和决策树生成子单元1312的具体实现方式，可以参见上述图11所对应实施例中对步骤s1031-步骤s1032的描述，这里将不再进行赘述。
[0321]
决策分析单元132，用于在决策分析模型中，基于s个缺陷标注区域分别对应的第一缺陷输出结果、s个缺陷标注区域分别对应的第二缺陷输出结果和决策树，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果；
[0322]
其中，目标决策超参数包括实例分割超参数、分割面积超参数和细分类超参数；
[0323]
决策分析单元132包括：参数获取单元1321，决策分析子单元1322；
[0324]
参数获取单元1321，用于从s个缺陷标注区域分别对应的第一缺陷输出结果中获取s个缺陷标注区域分别对应的实例分割结果，根据s个缺陷标注区域分别对应的实例分割结果，确定s个缺陷标注区域分别对应的缺陷区域面积；
[0325]
参数获取单元1321，用于从s个缺陷标注区域分别对应的第一缺陷输出结果中获取s个缺陷标注区域分别对应的第一分类概率、以及s个缺陷标注区域分别对应的第一分类信息，从s个缺陷标注区域分别对应的第二缺陷输出结果中获取s个缺陷标注区域分别对应的第二分类概率、以及s个缺陷标注区域分别对应的第二分类信息；
[0326]
决策分析子单元1322，用于在决策分析模型中，根据s个缺陷标注区域分别对应的第一分类信息、s个缺陷标注区域分别对应的第二分类信息、s个缺陷标注区域分别对应的第一分类概率、s个缺陷标注区域分别对应的第二分类概率、s个缺陷标注区域分别对应的缺陷区域面积、s个缺陷标注区域、以及决策树所指示的实例分割超参数、分割面积超参数和细分类超参数，对n个目标图像进行多视角决策分析，得到n个目标图像分别的图像检测结果。
[0327]
其中，参数获取单元1321和决策分析子单元1322的具体实现方式，可以参见上述图11所对应实施例中对步骤s1033-步骤s1035的描述，这里将不再进行赘述。
[0328]
结果确定单元133，用于根据n个目标图像分别的图像检测结果，确定目标对象的对象检测结果。
[0329]
其中，决策树生成单元131，决策分析单元132和结果确定单元133的具体实现方式，可以参见上述图3所对应实施例中对步骤s103和图11所对应实施例中对步骤s1031-步骤s1036的描述，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0330]
进一步地，请参见图16，图16是本技术实施例提供的一种计算机设备的结构示意图。如图16所示，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(display)、键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。可选的，网络接口1004可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器1005还可以是至少一个位于远离前述处理器1001的存储装置。如图16所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0331]
在如图16所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
[0332]
获取与n个目标图像相关联的s个缺陷标注区域、以及s个缺陷标注区域分别对应的第一缺陷输出结果；n个目标图像是由n个拍摄组件分别对同一个目标对象进行拍摄所得到的；n个目标图像的视觉角度互不相同；n为正整数；s为正整数；n个目标图像包括目标图像li，i为小于或等于n的正整数；
[0333]
根据目标图像li的缺陷标注区域和目标图像li的图像属性信息，确定目标图像li的缺陷标注区域对应的第二缺陷输出结果；
[0334]
基于s个缺陷标注区域分别对应的第一缺陷输出结果和s个缺陷标注区域分别对应的第二缺陷输出结果，对目标对象进行多视角决策分析，得到目标对象的对象检测结果。
[0335]
应当理解，本技术实施例中所描述的计算机设备1000可执行前文图3、图7、图9或图11所对应实施例中对图像数据处理方法的描述，也可执行前文图15所对应实施例中对图像数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0336]
此外，这里需要指出的是：本技术实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的图像数据处理装置1所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图3、图7、图9或图11所对应实施例中对图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。
[0337]
此外，需要说明的是：本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图3、图7、图9或图11所对应实施例中对图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本技术方法实施例的描述。
[0338]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0339]
以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。