数据处理方法及废钢检测模型构建方法与流程

1.本说明书实施例涉及计算机技术领域，特别涉及一种数据处理方法。


背景技术：

2.在工业视觉领域，由于能够收集到的数据量少，想要得到好的瑕疵检测效果，需要对训练数据做合适的数据增强。在工业视觉领域的应用场景里面，通常使用的计算机算力不会很高，检测模型的大小和需要的算力在很大程度上会影响产品的竞争力。所以搜索好的数据增强方式和效率高的检测模型的网络结构是一个普遍追求的目标。
3.现有的方法是采用分段搜索，首先固定网络结构去搜索数据增强方式；然后固定数据增强方式去搜索检测模型的backbone结构；然后固定数据增强方式和检测模型的backbone结构去搜索检测模型的neck结构；然后固定数据增强方式、检测模型的backbone结构、检测模型的neck结构去搜索检测模型的head结构；最后将四个部分的搜索结果合并到一起形成完整的数据增强方式和网络结构。
4.但是，由于是采用分段的搜索，所以较难得到很好的搜索结果，同时分段搜索有大量冗余的训练导致整体的搜索时间更长。


技术实现要素：

5.有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种废钢检测模型构建方法，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
6.根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：
7.确定对象训练样本、对象验证样本、以及初始神经网络模型；
8.根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；
9.根据所述预测结果以及标注结果构成的损失函数，调整所述初始神经网络模型的网络参数；
10.根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；
11.在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
12.根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：
13.第一确定模块，被配置为确定对象训练样本、对象验证样本、以及初始神经网络模型；
14.结果获得模块，被配置为根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；
15.第一调整模块，被配置为根据所述预测结果以及标注结果构成的损失函数，调整
所述初始神经网络模型的网络参数；
16.第二调整模块，被配置为根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；
17.第二确定模块，被配置为在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
18.根据本说明书实施例的第三方面，提供了一种废钢检测模型构建方法，包括：
19.确定废钢图像训练样本、废钢图像验证样本、以及初始废钢检测模型；
20.根据所述初始废钢检测模型中、可微分的初始数据增强方式和初始网络结构，获得所述废钢图像训练样本的预测结果；
21.根据所述预测结果以及标注结果构成的损失函数，调整所述初始废钢检测模型的网络参数；
22.根据所述废钢图像验证样本以及所述网络参数，同步调整所述初始废钢检测模型的初始数据增强方式以及初始网络结构；
23.在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构；
24.根据所述目标数据增强方式以及目标网络结构，构建废钢检测模型。
25.根据本说明书实施例的第四方面，提供了一种计算设备，包括：
26.存储器和处理器；
27.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法、或者废钢检测模型构建方法的步骤。
28.根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据处理方法、或者废钢检测模型构建方法的步骤。
29.根据本说明书实施例的第六方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法、或者废钢检测模型构建方法的步骤。
30.本说明书一个实施例实现了一种数据处理方法及装置，其中，该方法包括确定对象训练样本、对象验证样本、以及初始神经网络模型；根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；根据所述预测结果以及标注结果构成的损失函数，调整所述初始神经网络模型的网络参数；根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
31.具体的，该数据处理方法，通过同时搜索神经网络模型(如检测模型、分类模型、分割模型等)的数据增强方式和网络结构的方法，从而一次性得到在对应的数据集上的互补的数据增强方式和网络结构，能够得到更好的搜索结果，同时避免了多次重复训练网络参数，能够大幅度减少搜索时间。
附图说明
32.图1是本说明书一个实施例提供的一种数据处理方法应用于目标检测模型的具体处理示意图；
33.图2是本说明书一个实施例提供的一种数据处理方法的流程图；
34.图3是本说明书一个实施例提供的一种数据处理方法中数据增强方式的搜索示意图；
35.图4是本说明书一个实施例提供的一种数据处理方法的中网络backbone的搜索示意图；
36.图5是本说明书一个实施例提供的一种数据处理方法的中网络neck的整体搜索空间示意图；
37.图6是本说明书一个实施例提供的一个实施例提供的一种数据处理方法的中网络neck根据不同op进行具体处理的示意图；
38.图7是本说明书一个实施例提供的一种数据处理方法的中网络neck中使用topdown进行特征融合的处理示意图；
39.图8是本说明书一个实施例提供的一种数据处理方法的中网络head的整体搜索示意图；
40.图9是本说明书一个实施例提供的一种数据处理方法的中网络head根据不同op进行具体处理的示意图。
41.图10是本说明书一个实施例提供的一种数据处理装置的结构示意图；
42.图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
43.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
44.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
45.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
46.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
47.伯努利分布：bernoulli distribution，又名两点分布或0-1分布。
48.类别分布：categorical distribution，用于建模一组采样数据中最大值的分布。
49.backbone：翻译为主干网络的意思，其作用就是提取图片中的信息，供后面的网络
使用。
50.head：head是获取网络输出内容的网络，利用之前提取的特征，head利用这些特征，做出预测。
51.neck:是放在backbone和head之间的，是为了更好的利用backbone提取的特征。
52.identity:直连，等于不做任何操作，输入即等于输出。
53.fusesplit：先融合再分离，即先将两个层融合为一个层，然后再分离为两个层。
54.三维视频：三维视频是利用三维软件根据现实需求，在计算机中建立一个虚拟的世界，技术人员在这个虚拟的三维世界中按照要表现物体的真实尺寸，搭建场景以及建立模型，制作逼真的材质、灯光，配置摄像机运动效果，这些完成以后让计算机运算生产，后期合成编辑输出完成视频。
55.以完成目标检测任务的检测模型为例，现有的搜索方法通过分段搜索的方式，分别去搜索检测模型的数据增强方式、检测模型的backbone、检测模型的neck、检测模型的head；但是分段式搜索需要重复多次训练网络参数，消耗更多的时间；并且好的数据增强方式有助于寻找到很好的网络结构，好的网络结构同样有助于寻找到更优的数据增强方式。
56.因此，本说明书实施例提出了一种同时搜索目标检测模型的数据增强方式和网络结构的方法，对数据增强方式和网络结构建立一个统一的模型，从而一次性得到在对应的数据集上的互补的数据增强方式和网络结构。
57.在本说明书中，提供了一种数据处理方法，本说明书同时涉及一种数据处理装置，一种废钢检测模型构建方法，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
58.参见图1，图1示出了根据本说明书一个实施例提供的一种数据处理方法应用于目标检测模型的具体处理示意图。
59.如图1所示，同时搜索目标检测模型中数据增强方式和网络结构的架构包括：训练集图片102、验证集图片104、目标检测模型106的数据增强方式和网络结构:第一网络(backbone)、第二网络(neck)、第三网络(head)。
60.具体实施时，每一次搜索包含两个步骤，第一步先固定数据增强的概率、幅度以及网络结构的模型参数theta，从训练集图片102中取k个图片(例如k＝32)，根据每个训练集图片的预测结果和标注结果构成的第一损失函数loss
det
来优化网络参数w，即固定网络结构，优化网络参数；第二步固定网络参数w，从验证集图片104中取k个图片(例如k＝32)，根据每个验证集图片的预测结果和标注结果构成的第二损失函数loss
latency
来优化数据增强的概率、幅度以及网络结构的模型参数theta，即固定网络参数，优化数据增强的概率、幅度以及网络结构；不断的交替重复以上两个步骤，使得网络参数w和、数据增强的概率、幅度以及网络结构的模型参数theta都达到最优时结束。此时该数据增强的概率、幅度、网络结构的模型参数theta就是最终的搜索结果，即同步搜索出目标检测模型中的目标数据增强方式和目标网络结构，而包括该最优的数据增强的概率、幅度以及网络结构的模型参数theta的目标检测模型，即为最终的目标检测模型。
61.参见图2，图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，具体包括以下步骤。
62.步骤202：确定对象训练样本、对象验证样本、以及初始神经网络模型。
63.本说明书实施例中，待处理任务不同，通过该数据处理方法，同步确定(如搜索)的数据增强方式以及网络结构不同、采用的初始神经网络模型也不同；例如待处理任务为目标检测任务(例如该方法应用于工业视觉领域：废钢/布匹/钢铁/pcb(印刷电路板)/瓷砖等，该目标检测任务则可以理解为废钢检测、布匹检测、钢铁检测等任务)的情况下，该数据增强方式以及网络结构可以理解为目标检测模型的数据增强方式以及网络结构，初始神经网络模型为初始检测模型；若待处理任务为分类任务(商品分类等)的情况下，该数据增强方式以及网络结构可以理解为分类模型的数据增强方式以及网络结构，初始神经网络模型为初始分类模型；若待处理任务为文本识别任务的情况下，该数据增强方式以及网络结构可以理解为文本识别模型的数据增强方式以及网络结构，初始神经网络模型为初始文本识别模型。
64.而数据增强方式以及网络结构不同，对其进行同步搜索时，采用的对象训练样本以及对象验证样本也不同，例如数据增强方式以及网络结构理解为目标检测模型的数据增强方式以及网络结构的情况下，该对象训练样本以及对象验证样本，则可以理解为图片训练样本以及图片验证样本；而在数据增强方式以及网络结构理解为目标检测模型的数据增强方式以及网络结构的情况下，该对象训练样本以及对象验证样本，则可以理解为文本训练样本以及文本验证样本等。
65.为了便于理解，本说明书实施例中，均以初始神经网络模型为目标检测模型，对象训练样本以及对象验证样本为图片训练样本以及图片验证样本为例进行详细介绍。
66.其中，图片训练样本以及图片验证样本可以从任意来源获取，可以为任意类型、任意格式的历史图片。
67.实际应用中，图片训练样本以及图片验证样本，也可以是通过ar(增强现实)设备和/或vr(虚拟现实)设备获取的视频帧中提取的图片，通过从三维视频数据中获取的图片进行数据增强方式以及网络结构的同步搜索，以增加其样本的丰富程度，提高后续包含该数据增强方式以及网络结构的目标检测模型的识别广度和准确度。具体实现方式如下所述：
68.所述确定对象训练样本、对象验证样本、以及初始神经网络模型之前，还包括：
69.获取ar设备和/或vr设备中的三维视频数据；
70.提取所述三维视频数据中的视频帧，构建所述图片训练样本以及所述图片验证样本。
71.步骤204：根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果。
72.具体的，所述根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果，包括：
73.确定所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构、以及所述初始数据增强方式对应的初始数据增强原子集、所述初始网络结构对应的初始网络操作原子集；
74.根据所述对象训练样本、以及所述初始数据增强原子集，获得增强对象训练样本；
75.将所述增强对象训练样本输入所述初始网络结构，结合所述初始网络操作原子集，获得所述增强对象训练样本的预测结果。
76.其中，初始神经网络模型不同，该初始神经网络模型对应的初始数据增强方式以及初始网络结构也不同；且初始数据增强方式对应的初始数据增强原子集、初始网络结构对应的初始网络操作原子集也不同。
77.仍以初始神经网络模型为目标检测模型为例，在初始神经网络模型为目标检测模型的情况下，该目标检测模型中、可微分的初始数据增强方式和初始网络结构，则可以理解为相对于图片中目标检测的初始数据增强方式和初始网络结构，即该初始数据增强方式包括但不限于color(颜色)、rotate(旋转)、flip(翻转)等数据增强方式，该初始数据增强方式对应的初始数据增强原子集中包括但不限于color、rotate、flip等初始数据增强原子；该初始网络结构包括backbone、neck、head，其中，backbone对应的初始网络操作原子集中包括但不限于各种尺寸的卷积、池化等初始网络操作原子，neck对应的初始网络操作原子集中包括各种特征图的融合方式等初始网络操作原子，head对应的初始网络操作原子集中包括各种特征变换方式等初始网络操作原子。
78.而在确定初始神经网络模型中、可微分的初始数据增强方式和初始网络结构、以及初始数据增强方式对应的初始数据增强原子集、初始网络结构对应的初始网络操作原子集之后，即可根据对象训练样本、以及初始数据增强原子集，获得增强对象训练样本；再根据该增强对象训练样本、初始网络操作原子集以及初始网络结构，获得该增强对象训练样本的预测结果。
79.具体实施时，可以将数据增强方式的搜索建模为伯努利分布和类别分布，即把搜索数据增强方式的问题建模为求解伯努利分布和类别分布的结果；通过此种方式搜索到最优的数据增强方式，用于后续的实际应用，提高采用该数据增强方式的神经网络模型的泛化能力。具体实现方式如下所述：
80.所述根据所述对象训练样本、以及所述初始数据增强原子集，获得增强对象训练样本，包括：
81.确定所述初始数据增强原子集中的初始数据增强原子；
82.根据所述初始数据增强原子，建模可微分的伯努利分布以及分类分布；
83.根据所述伯努利分布以及所述分类分布，从所述初始数据增强原子中确定目标数据增强原子；
84.根据所述目标数据增强原子对所述对象训练样本进行数据增强，获得增强对象训练样本。
85.实际应用中，在神经网络模型的训练过程中，为了提升模型的泛化能力，通常需要对输入数据(如图片)进行各种扰动，即数据增强(例如color、rotate、flip等)，但每种数据增强方式的执行概率和增强的幅度、以及选择哪些数据增强方式的组合，需要通过搜索得到。
86.具体实施时，先确定初始数据增强原子集中的多个初始数据增强原子；再根据每个初始数据增强原子相对于对象训练样本的执行概率和增强幅度，建模为可微分的伯努利分布；同时，在初始数据增强原子集中，任意选取预设数量(如两个)的初始数据增强原子进行组合，获得每两个为一组的原子组合方式，并根据该原子组合方式建模为可微分的分类分布；最后即可根据该伯努利分布以及分类分布，后续即可根据伯努利分布以及分类分布，从初始数据增强原子中确定目标数据增强原子，而该目标数据增强原子即可理解为搜索获
得的数据增强方式。
87.参见图3，图3示出了本说明书一个实施例提供的一种数据处理方法中数据增强方式的搜索示意图。
88.图3中包括an个初始数据增强方式对应的、初始数据增强原子集中的多个初始数据增强原子op(如颜色color、旋转rotate、翻转flip、裁剪crop等)。
89.如图3中间部分的小竖框所示，把每个op执行的概率和增强的幅度建模为一个伯努利分布；如图3中间部分最外层的大框所示，所有op中任选k个op构成的组合，共种组合方式构成一个分类分布，这里k的一个典型取值为2。此时伯努利分布和分类分布是可微分的，每个op执行的概率和执行的幅度就变为了可训练的参数，种组合方式构成一个分类分布也是可微分的，每种组合方式的执行概率(或者置信度)同样变成了可微分的参数。即通过在网络的训练过程中去训练每个op执行的概率和增强的幅度、以及每种组合方式的概率，从而搜索到合适的数据增强的方式。
90.对于op组合方式的置信度：
91.即对种组合，每种组合对应对置信度为αi，i＝1...n
[0092][0093]
其中，s(x)表示对输入图片x进行一组数据增强的操作，ci表示该组数据增强的权重，ci从类别分布p(c|π)采样得到，π由得到。
[0094]
在训练过程中，通过训练图片得到的预测结果与标注之间的损失函数值的反向传播去优化αi；在训练完成后根据αi的大小选取前m个组合作为实际使用的op组合。
[0095]
对于每个op的执行概率和增强幅度，在搜索过程中由伯努利分布表示：
[0096]
s(x)＝b
·
o(x；m)+(1-b)
·
x,b～bernoulli(β)
[0097]
其中，β是op的执行概率，m是增强幅度。
[0098]
在训练过程中通过训练图片得到的预测结果与标注之间的损失函数值的反向传播去优化β和m；最终得到的m个组合的每个组合中的每个op的β和m，即为数据增强方式的搜索结果。
[0099]
实际应用中，建模可微分的伯努利分布以及分类分布之后，即可根据该分类分布以及伯努利分布，选取分类分布中置信度高的op组合，并根据伯努利分布确定这个op组合中每个op的执行概率以及增强幅度；再根据选取的op组合和op组合中每个op的执行概率以及增强幅度，对该对象训练样本进行数据增强，获得增强后的对象训练样本，即增强对象训练样本。而结合上述介绍可知，初始建模可微分的伯努利分布和分类分布，可以预先为初始数据增强原子赋予的初始值(即初始执行概率和初始增强幅度)确定。具体实现方式如下所述：
[0100]
所述根据所述初始数据增强原子，建模可微分的伯努利分布以及分类分布，包括：
[0101]
根据所述初始数据增强原子相对于所述对象训练样本的初始执行概率和初始增
强幅度，建模可微分的伯努利分布；
[0102]
在所述初始数据增强原子集中，任意选取预设数量的初始数据增强原子进行组合，获得预设数量的、相对于所述对象训练样本的原子组合方式，并根据所述原子组合方式的初始置信度建模可微分的分类分布。
[0103]
其中，预设数量可以根据实际应用进行设置，例如预设数量可以设置为2个或者3个等。
[0104]
具体的，根据初始数据增强原子，建模可微分的伯努利分布以及分类分布的具体实现方式可以参见上述实施例的详细介绍，在此不再赘述。
[0105]
而在确定增强对象训练样本之后，则可以将增强对象训练样本输入初始网络结构，结合初始网络操作原子集，获得增强对象训练样本的预测结果。
[0106]
仍以初始神经网络模型为目标检测模型为例，该初始网络结构可以包括backbone/neck/head组件；那么根据该初始网络结构，结合对应的初始网络操作原子集，对增强对象训练样本的预测结果的确定的具体实现方式如下所述：
[0107]
所述初始网络结构为目标检测模型的初始网络结构，所述初始网络结构包括第一初始网络组件、第二初始网络组件以及第三初始网络组件；
[0108]
相应地，所述将所述增强对象训练样本输入所述初始网络结构，结合所述初始网络操作原子集，获得所述增强对象训练样本的预测结果,包括：
[0109]
将所述增强对象训练样本输入所述第一初始网络组件，结合所述第一初始网络组件对应的第一初始网络操作原子集，获得所述第一初始网络组件的输出结果；
[0110]
将所述第一初始网络组件的输出结果输入所述第二初始网络组件，结合所述第二初始网络组件对应的第二初始网络操作原子集，获得所述第二初始网络组件的输出结果；
[0111]
将所述第二初始网络组件的输出结果输入所述第三初始网络组件，结合所述第三初始网络组件对应的第三初始网络操作原子集，获得所述第三初始网络组件的输出结果；
[0112]
根据所述第三初始网络组件的输出结果，确定所述增强对象训练样本的预测结果。
[0113]
具体的，在初始网络结构为目标检测模型的初始网络结构的情况下，初始网络结构包括backbone(第一初始网络组件)/neck(第二初始网络组件)/head(第三初始网络组件)。
[0114]
实际应用中，将增强对象训练样本输入backbone，结合backbone对应的第一初始网络操作原子集，可以获得backbone的输出结果；将该backbone的输出结果输入neck，结合neck对应的第二初始网络操作原子集，获得neck的输出结果；将neck的输出结果输入head，结合head对应的第三初始网络操作原子集，获得该增强对象训练样本通过上述初始网络组件对应的初始网络操作原子集操作后的预测结果；后续即可根据该预测结果以及标注结果(即对象训练样本的标签)获得损失函数，以对初始神经网络模型的网络参数进行调整，获得准确的初始神经网络模型。
[0115]
具体实施时，在第一初始网络组件为backbone的情况下，该backbone包括多个网络块，每个网络块又包括多个处理层，那么将增强对象训练样本输入backbone中，需要通过backbone中的每个网络块的每个处理层对应的初始网络操作原子中进行处理后，获得backbone的输出结果。具体实现方式如下所述：
[0116]
所述第一初始网络组件包括多个网络块，且每个网络块包括多个处理层；
[0117]
相应地，所述将所述增强对象训练样本输入所述第一初始网络组件，结合所述第一初始网络组件对应的第一初始网络操作原子集，获得所述第一初始网络组件的输出结果，包括：
[0118]
确定所述第一初始网络组件对应的、第一初始网络操作原子集中的第一初始网络操作原子；
[0119]
在确定所述网络块不存在前一网络块，且所述网络块的当前处理层不存在前一处理层的情况下，将所述增强对象训练样本输入所述网络块的当前处理层，并根据所述第一初始网络操作原子对所述增强对象训练样本进行操作，获得所述当前处理层的操作结果；
[0120]
根据所述第一初始网络操作原子的权重，对所述当前处理层的操作结果进行加权求和，获得所述当前处理层输出的样本特征图；
[0121]
根据所述第一初始网络操作原子以及、所述当前处理层输出的样本特征图，确定所述当前处理层的下一处理层输出的样本特征图；
[0122]
直至所有网络块的所有处理层均处理完成，获得所述第一初始网络组件输出的所述增强对象训练样本的样本特征图。
[0123]
其中，网络块不存在前一个网络块，该网络块的当前处理层不存在前一处理层，则可以理解为该网络块为backbone的第一个网络块，该网络块的当前处理层为第一个网络块的第一个处理层；而第一初始网络组件对应的第一初始网络操作原子集中的第一初始网络操作原子，包括但不限于conv3x3(3x3卷积)、conv5x5(5x5卷积)、pooling(池化)等。
[0124]
实际应用中，第一初始网络组件backbone用来对增强对象训练样本进行特征提取，该backbone由多个网络块(block)组成，而每个block又包含多个处理层，每个处理层具体要选择哪种第一初始网络操作原子op(conv3x3、conv5x5、pooling等)对该增强对象训练样本进行特征提取，需要通过搜索来得到最优的结果。
[0125]
具体的，先确定第一初始网络组件对应的、第一初始网络操作原子集中的第一初始网络操作原子；对于该backbone中的第一个网络块的第一个处理层，将该增强对象训练样本输入该第一个处理层，根据预设的每个第一初始网络操作原子对该增强对象训练样本进行操作(如conv3x3、conv5x5操作等)，获得第一个处理层的操作结果；根据每个第一初始网络操作原子的权重，对第一处理层的多个操作结果进行加权求和，获得该第一个处理层输出的该增强对象训练样本的样本特征图；再将该第一个处理层输出的样本特征图作为下一处理层的输入，继续通过预设的每个第一初始网络操作原子对第一个处理层输出的样本特征图进行操作(如conv3x3、conv5x5操作等)，获得下一个处理层的操作结果；根据每个第一初始网络操作原子的权重，对下一个处理层的多个操作结果进行加权求和，获得该下一个处理层输出的样本特征图；以此类推，该backbone中最后一个网络块的最后一个处理层输出的样本特征图，即为该backbone输出的该增强对象训练样本的样本特征图。
[0126]
即每个上一处理层的输出，即为下一处理层的输入，每个下一处理层的输出均需要根据上一处理层的输出以及每个第一初始网络操作原子确定；通过此种训练方式，在训练完成之后，每个处理层即可取权重最大的op作为最优的op选择。具体实现方式如下所述：
[0127]
所述根据所述第一初始网络操作原子以及、所述当前处理层输出的样本特征图，确定所述当前处理层的下一处理层输出的样本特征图，包括：
[0128]
根据所述第一初始网络操作原子，对所述当前处理层输出的样本特征图进行操作，获得所述当前处理层的下一处理层的操作结果；
[0129]
根据所述第一初始网络操作原子的权重，对所述当前处理层的下一处理层的操作结果进行加权求和，获得所述当前处理层的下一处理层输出的样本特征图。
[0130]
如公式1所示，在训练过程中，每个候选op(即第一初始网络操作原子)对输入x(增强对象训练样本)进行计算，利用可训练的参数αi对每个候选op的结果进行加权求和作为当前层的输出结果在训练完成之后取最大的那个αi对应的op作为最优的op选择。
[0131][0132]
其中，x表示前一个处理层输出的特征图，o(x)表示使用一个候选op对输入进行一次操作，αi表示每个op的权重，exp(x)表示指数函数，表示当前层输出的样本特征图。
[0133]
根据公式1，在训练过程中，当前处理层的输出是每一个候选op对输入x进行操作之后的加权求和；而在优化的过程中，会使用验证集图片优化参数αi，经过神经网络反向传播多轮优化后可以得到优化好的αi，最大的αi对应的op即为当前层的最优的op。
[0134]
参见图4，图4示出了本说明书一个实施例提供的一种数据处理方法的中网络backbone的搜索示意图。
[0135]
图4中的网络backbone中包括多个网络块block(如网络块1至网络块6，即block1至block6)，而每个block包含多个处理层。
[0136]
以网络块2为例，将网络块1经过特征提取的样本特征图输入网络块2中，通过网络块2中的每个处理层中的每个op(如图4中的卷积3x3、卷积5x5、直连、池化3x3，即conv3x3、conv5x5、identity、pool3x3)对其进行操作，获得操作结果；利用可训练的参数αi(如图中的a
1-an)对每个op的操作结果进行加权求和作为当前层的输出结果在训练完成之后取最大的那个αi对应的op作为最优的op选择。
[0137]
即图4中网络块2的当前处理层的input的输入为block1输出的样本特征图，output的当前处理层的输出
[0138]
而在获得第一初始网络组件的输出结果之后，则将该第一初始网络组件的输出结果输入第二初始网络组件，结合第二初始网络组件对应的第二初始网络操作原子集，获得第二初始网络组件相对于增强对象训练样本较为准确的输出结果。具体实现方式如下所述：
[0139]
所述将所述第一初始网络组件的输出结果输入所述第二初始网络组件，结合所述第二初始网络组件对应的第二初始网络操作原子集，获得所述第二初始网络组件的输出结果，包括：
[0140]
确定所述第二初始网络组件对应的、第二初始网络操作原子集中的第二初始网络操作原子；
[0141]
将所述第一初始网络组件的输出结果输入所述第二初始网络组件，根据所述第二初始网络操作原子对所述第一初始网络组件的输出结果进行操作，获得所述第二初始网络
组件的操作结果；
[0142]
根据所述第二初始网络操作原子的权重，对所述第二初始网络组件的操作结果进行加权求和，获得所述第二初始网络组件的输出结果。
[0143]
其中，结合上述实施例可知，第一初始网络组件的输出结果可以理解为网络backbone中最后一个网络块的最后一个处理层输出的样本特征图。
[0144]
那么，在第二初始网络组件为网络neck的情况下，将网络backbone的输出结果输入网络neck，根据该网络neck对应的第二初始网络原子对其进行操作，获得网络neck的操作结果；再根据每个第二初始网络操作原子的权重，对网络neck的操作结果进行加权求和，即可获得网络neck的输出结果。
[0145]
其中，在第二初始网络组件为网络neck的情况下，第二初始网络操作原子可以理解为任意融合方式，例如topdown(自上而下)、bottomup(自下而上)等特征融合方式。
[0146]
仍沿用上例，通过网络backbone会提取到增强对象训练样本的不同尺度的特征图，而在网络neck中可以选取网络backbone中任意block得到的特征图进行特征融合，而网络neck的功能是对选取的特征图进行特征融合，具体选择怎样的融合方式同样需要搜索取得到较优的结果。
[0147]
参见图5，图5示出了本说明书一个实施例提供的一种数据处理方法的中网络neck的整体搜索空间示意图。
[0148]
图5中的f1、f2至fn表示的为特征图，如图4中网络backbone的任意一个block输出的特征图。
[0149]
参见图6，图6示出了本说明书一个实施例提供的一种数据处理方法的中网络neck根据不同op进行具体处理的示意图。
[0150]
图6中的f
i-1
以及fi分别表示一个特征图，自上而下(topdown)、自下而上(bottomup)、直连(identity)、先融合再分离(fusesplit)分别表示一个op(即第二初始网络操作原子)，即每个op即为一个可训练参数β，即β
1-βn。
[0151]
结合图4，通过网络的backbone会提取到增强对象训练样本的不同尺度的特征图，取网络backbone中block3～block6得到的特征图记为f1，即f1由4个特征图构成，网络neck的功能是对这4个特征图进行特征融合，具体选择怎样的融合方式同样需要搜索取得到较优的结果；而实际应用中，要选取网络backbone中的哪些block的特征图进行融合可以根据实际应用进行设置，一般比较靠前的block输出的特征图提取到的特征的语义信息不够抽象，而特别靠后的block输出的特征图又特别的小，造成目标较小，因此需要根据实际需求选择特征图进行融合使用。
[0152]
具体的，图6中f
i-1
到fi的过程表示这4个特征图的一次融合，每次融合有如图6所示的topdown、bottomup等多个op，对于在一次融合中具体选择哪种融合方式，如公式2所示，利用可训练的参数8i(即8
1-βn)对每个op相对于特征图的操作结果进行加权求和作为本次融合后的输出结果fi，在训练完成之后取最大的那个βi对应的op作为最优的融合方式。
[0153]
[0154]
其中，f
i-1
表示前一个层输出的样本特征图，o(x)表示使用一个op对输入进行一次操作，βi表示每个op的权重，exp(x)表示指数函数，fi表示当前层输出的特征图。
[0155]
具体的，根据公式2，在训练过程中，当前层的输出是每一个候选op对输入进行操作之后的加权求和。优化过程中会使用验证集图片优化参数βi，经过神网络反向传播多轮优化后可以得到优化好的βi，最大的βi对应的op即为当前层的最优的融合方式。
[0156]
参见图7，图7示出了本说明书一个实施例提供的一种数据处理方法的中网络neck中使用topdown进行特征融合的处理示意图。
[0157]
图7中展示的为将f
i-1
中的四个特征图通过自上而下(topdown)的操作进行融合，获得fi具体处理过程。
[0158]
具体的，f
i-1
中的四个特征图包括：假设p1是分辨率最小的特征图，p4是分辨率最大的特征图，经过一个卷积层就会变为同样，也经过一个卷积层变为因为的分辨率小于的分辨率(例如的分辨率是的两倍的大小)，会把做一个上采样和相加，得到一个输出a1；而经过卷积层也会得到一个输出与上述相同，将第三层的输出也进行上采样，再和a1相加，得到一个输出a2；同理，经过卷积层也会得到一个输出与上述相同，将第四层的输出也进行上采样，再和a2相加获得最终的第四层的输出。
[0159]
而在获得第二初始网络组件的输出结果之后，即可将第二初始网络组件的输出结果输入第三初始网络组件，接个第三初始网络原子，获得该第三初始网络组件对该增强对象训练样本的准确的预测结果。具体实现方式如下所述：
[0160]
所述将所述第二初始网络组件的输出结果输入所述第三初始网络组件，结合所述第三初始网络组件对应的第三初始网络操作原子集，获得所述第三初始网络组件的输出结果，包括：
[0161]
确定所述第三初始网络组件对应的、第三初始网络操作原子集中的第三初始网络操作原子；
[0162]
将所述第二初始网络组件的输出结果输入所述第三初始网络组件，根据所述第三初始网络操作原子对所述第二初始网络组件的输出结果进行操作，获得所述第三初始网络组件的操作结果；
[0163]
根据所述第三初始网络操作原子的权重，对所述第三初始网络组件的操作结果进行加权求和，获得所述第三初始网络组件的输出结果。
[0164]
其中，结合上述实施例可知，第二初始网络组件的输出结果可以理解为网络neck输出的融合特征图。
[0165]
那么，在第三初始网络组件为网络head的情况下，将网络neck的输出结果输入网络neck，根据该网络head对应的第三初始网络原子对其进行操作，获得网络head的操作结果；再根据每个第三初始网络操作原子的权重，对网络head的操作结果进行加权求和，即可获得网络head的输出结果。
[0166]
其中，在第三初始网络组件为网络head的情况下，第三初始网络操作原子可以理解为任意特征变换操作。
[0167]
仍沿用上例，在网络neck部分经过n次特征融合之后得到融合后的特征fn，在网络head部分使用fn进行h1～hn的多次特征变换后进行目标检测的分类和回归。h1～hn的特征变换使用哪种op(第三初始网络操作)同样可以使用搜索来得到。
[0168]
参见图8，图8示出了本说明书一个实施例提供的一种数据处理方法的中网络head的整体搜索示意图。
[0169]
图8中的特征fn包括可以理解为经过网络neck进行特征融合后的特征图，h1中的至hn中的hn中的则可以理解为特征fn的1-n次特征变换。
[0170]
参见图9，图9示出了本说明书一个实施例提供的一种数据处理方法的中网络head根据不同op进行具体处理的示意图。
[0171]
图9中的以及分别表示一个进行特征变换后的特征图，卷积3x3(conv3x3)、卷积5x5(conv5x5)、直连(identity)、池化3x3(pool3x3)分别表示一个op(即第二初始网络操作原子)，即每个op即为一个可训练参数γ，即γ
1-γn。
[0172]
具体的，从到的特征变换过程中，利用可训练的参数γi对每个op相对于的操作结果进行加权求和作为本次融合后的输出结果
[0173]
如公式3所示，利用可训练的参数γi对每个op相对于特征图的结果进行加权求和作为本次融合后的输出结果hi，在训练完成之后取最大的那个γi对应的op作为最优的op选择。
[0174][0175]
其中，h
i-1
表示前一个层输出的特征图，o(x)表示使用一个op对输入进行一次操作，γi表示每个op的权重，exp(x)表示指数函数，hi表示当前层输出的特征图。
[0176]
而该第三初始网络组件的输出结果即可理解为该增强对象训练样本的预测结果。
[0177]
步骤206：根据所述预测结果以及标注结果构成的损失函数，调整所述初始神经网络模型的网络参数。
[0178]
步骤208：根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构。
[0179]
具体的，所述根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构，包括：
[0180]
将所述对象验证样本输入根据所述网络参数调整后的初始神经网络模型，获得所述对象验证样本的预测结果；
[0181]
根据所述对象预测样本的预测结果以及标注结果构成的损失函数，同步调整所述
初始神经网络模型的初始数据增强方式以及初始网络结构。
[0182]
具体实施时，将对象验证样本输入根据网络参数调整后的初始神经网络模型，获得对象验证样本的预测结果；再根据对象预测样本的预测结果以及标注结果构成的损失函数，同步反向传播调整初始网络模型的初始数据增强方式以及初始网络结构，即初始数据增强方式对应的初始数据增强原子的执行概率、增强幅度、初始网络结构中的网络参数(每一层的初始网络操作原子)。
[0183]
实际应用中，确定同步搜索初始神经网络模型的数据增强以及网络结构的每一次优化包含两个步骤，第一步先固定数据增强的概率、幅度、网络结构参数theta，从训练集中取k个图片(例如k＝32)，根据每个图片预测结果和标注结果构成的损失函数来优化网络参数w，即固定网络结构优化网络参数；第二步固定网络参数w，从验证集中取k个图片(例如k＝32)，根据每个图片预测结果和标注结果构成的损失函数来优化数据增强的概率、幅度、网络结构参数theta，即固定网络参数，优化数据增强的概率、幅度、网络结构；不断的交替重复以上两个步骤，使得网络参数w和数据增强的概率、幅度、网络结构参数theta都达到最优，即该数据增强的概率、幅度、网络结构参数theta就是要搜索结果。而具体的优化算法可以采用随机梯度下降等方法，在反向传播过程中根据损失函数计算得到的梯度来更新数据增强的概率、幅度、网络结构参数theta(即上述的α、β、γ)。
[0184]
步骤210：在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
[0185]
其中，预设结束条件可以根据实际应用进行设置，例如预设结束条件可以理解为迭代满足预设数量，如100次或者200次等。
[0186]
实际应用中，会采用对象训练样本以及对象验证样本通过上述实施例方式对初始神经网络模型的数据增强、网络结构以及网络参数进行迭代优化，直至调整后的该初始神经网络模型中的初始数据增强方式以及初始网络结构的迭代次数满足100次或者200次等迭代结束；然后根据每次包括调整后的初始数据增强方式以及初始网络结构的初始神经网络模型，针对对象验证样本的预测结果的准确性，确定该初始神经网络模型中优选的目标数据增强方式以及目标网络结构。具体实现方式如下所述：
[0187]
所述在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构，包括：
[0188]
在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，根据所述对象验证样本的预测结果，从历史调整的初始数据增强方式以及初始网络结构中，确定目标数据增强方式以及目标网络结构。
[0189]
其中，历史调整的初始数据增强方式以及初始网络结构，可以理解为历史迭代的每一次调整后的初始数据增强方式以及初始网络结构。
[0190]
本说明书实施例提供的该数据处理方法，通过同时搜索神经网络模型(如检测模型、分类模型、分割模型等)的数据增强方式和网络结构的方法，从而一次性得到在对应的数据集上的互补的数据增强方式和网络结构，能够得到更好的搜索结果，同时避免了多次重复训练网络参数，能够大幅度减少搜索时间。
[0191]
实际应用中，本说明书实施例提供的数据处理方法，可以应用于工业视觉领域；由于在工业视觉领域，能够收集到的数据量少，想要得到好的瑕疵检测效果，需要对训练数据
做合适的数据增强。而在工业视觉领域的应用场景里面，通常使用的计算机算力不会很高，检测模型的大小和需要的算力很大程度上会影响产品的竞争力。所以搜索好的数据增强方式和效率高的目标检测模型的网络结构是一个普遍追求的目标。同时，好的数据增强方式和好的网络结构是一个相互补充的关系，得到相辅相成的结果。本说明书实施例提供的同时搜索目标检测模型或其他深度学习模型的数据增强方式和网络结构的方法，对数据增强方式和网络结构建立一个统一的模型，从而一次性得到在对应的数据集上的互补的数据增强方式和网络结构，使得工业视觉平台在训练数据的增强和模型结构的搜索方面有更好的用户体验。
[0192]
与上述方法实施例相对应，本说明书还提供了数据处理装置实施例，图10示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图10所示，该装置包括：
[0193]
第一确定模块1002，被配置为确定对象训练样本、对象验证样本、以及初始神经网络模型；
[0194]
结果获得模块1004，被配置为根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；
[0195]
第一调整模块1006，被配置为根据所述预测结果以及标注结果构成的损失函数，调整所述初始神经网络模型的网络参数；
[0196]
第二调整模块1008，被配置为根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；
[0197]
第二确定模块1010，被配置为在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
[0198]
可选地，所述结果获得模块1004，进一步被配置为：
[0199]
确定所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构、以及所述初始数据增强方式对应的初始数据增强原子集、所述初始网络结构对应的初始网络操作原子集；
[0200]
根据所述对象训练样本、以及所述初始数据增强原子集，获得增强对象训练样本；
[0201]
将所述增强对象训练样本输入所述初始网络结构，结合所述初始网络操作原子集，获得所述增强对象训练样本的预测结果。
[0202]
可选地，所述结果获得模块1004，进一步被配置为：
[0203]
确定所述初始数据增强原子集中的初始数据增强原子；
[0204]
根据所述初始数据增强原子，建模可微分的伯努利分布以及分类分布；
[0205]
根据所述伯努利分布以及所述分类分布，从所述初始数据增强原子中确定目标数据增强原子；
[0206]
根据所述目标数据增强原子对所述对象训练样本进行数据增强，获得增强对象训练样本。
[0207]
可选地，所述结果获得模块1004，进一步被配置为：
[0208]
根据所述初始数据增强原子相对于所述对象训练样本的初始执行概率和初始增强幅度，建模可微分的伯努利分布；
[0209]
在所述初始数据增强原子集中，任意选取预设数量的初始数据增强原子进行组合，获得预设数量的、相对于所述对象训练样本的原子组合方式，并根据所述原子组合方式
的初始置信度建模可微分的分类分布。
[0210]
可选地，所述初始网络结构为目标检测模型的初始网络结构，所述初始网络结构包括第一初始网络组件、第二初始网络组件以及第三初始网络组件；
[0211]
相应地，所述结果获得模块1004，进一步被配置为：
[0212]
将所述增强对象训练样本输入所述第一初始网络组件，结合所述第一初始网络组件对应的第一初始网络操作原子集，获得所述第一初始网络组件的输出结果；
[0213]
将所述第一初始网络组件的输出结果输入所述第二初始网络组件，结合所述第二初始网络组件对应的第二初始网络操作原子集，获得所述第二初始网络组件的输出结果；
[0214]
将所述第二初始网络组件的输出结果输入所述第三初始网络组件，结合所述第三初始网络组件对应的第三初始网络操作原子集，获得所述第三初始网络组件的输出结果；
[0215]
根据所述第三初始网络组件的输出结果，确定所述增强对象训练样本的预测结果。
[0216]
可选地，所述第一初始网络组件包括多个网络块，且每个网络块包括多个处理层；
[0217]
相应地，所述结果获得模块1004，进一步被配置为：
[0218]
确定所述第一初始网络组件对应的、第一初始网络操作原子集中的第一初始网络操作原子；
[0219]
在确定所述网络块不存在前一网络块，且所述网络块的当前处理层不存在前一处理层的情况下，将所述增强对象训练样本输入所述网络块的当前处理层，并根据所述第一初始网络操作原子对所述增强对象训练样本进行操作，获得所述当前处理层的操作结果；
[0220]
根据所述第一初始网络操作原子的权重，对所述当前处理层的操作结果进行加权求和，获得所述当前处理层输出的样本特征图；
[0221]
根据所述第一初始网络操作原子以及、所述当前处理层输出的样本特征图，确定所述当前处理层的下一处理层输出的样本特征图；
[0222]
直至所有网络块的所有处理层均处理完成，获得所述第一初始网络组件输出的所述增强对象训练样本的样本特征图。
[0223]
可选地，所述结果获得模块1004，进一步被配置为：
[0224]
根据所述第一初始网络操作原子，对所述当前处理层输出的样本特征图进行操作，获得所述当前处理层的下一处理层的操作结果；
[0225]
根据所述第一初始网络操作原子的权重，对所述当前处理层的下一处理层的操作结果进行加权求和，获得所述当前处理层的下一处理层输出的样本特征图。
[0226]
可选地，所述结果获得模块1004，进一步被配置为：
[0227]
确定所述第二初始网络组件对应的、第二初始网络操作原子集中的第二初始网络操作原子；
[0228]
将所述第一初始网络组件的输出结果输入所述第二初始网络组件，根据所述第二初始网络操作原子对所述第一初始网络组件的输出结果进行操作，获得所述第二初始网络组件的操作结果；
[0229]
根据所述第二初始网络操作原子的权重，对所述第二初始网络组件的操作结果进行加权求和，获得所述第二初始网络组件的输出结果。
[0230]
可选地，所述结果获得模块1004，进一步被配置为：
[0231]
确定所述第三初始网络组件对应的、第三初始网络操作原子集中的第三初始网络操作原子；
[0232]
将所述第二初始网络组件的输出结果输入所述第三初始网络组件，根据所述第三初始网络操作原子对所述第二初始网络组件的输出结果进行操作，获得所述第三初始网络组件的操作结果；
[0233]
根据所述第三初始网络操作原子的权重，对所述第三初始网络组件的操作结果进行加权求和，获得所述第三初始网络组件的输出结果。
[0234]
可选地，所述第二调整模块1008，进一步被配置为：
[0235]
将所述对象验证样本输入根据所述网络参数调整后的初始神经网络模型，获得所述对象验证样本的预测结果；
[0236]
根据所述对象预测样本的预测结果以及标注结果构成的损失函数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构。
[0237]
可选地，所述第二确定模块1010，进一步被配置为：
[0238]
在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，根据所述对象验证样本的预测结果，从历史调整的初始数据增强方式以及初始网络结构中，确定目标数据增强方式以及目标网络结构。
[0239]
可选地，所述对象训练样本包括图片训练样本，所述对象验证样本包括图片验证样本；
[0240]
所述第一初始网络组件包括backbone，所述第二初始网络组件包括neck，所述第三初始网络组件包括head。
[0241]
可选地，所述装置，还包括：
[0242]
样本获取模块，被配置为：
[0243]
获取ar设备和/或vr设备中的三维视频数据；
[0244]
提取所述三维视频数据中的视频帧，构建所述图片训练样本以及所述图片验证样本。
[0245]
本说明书实施例提供的该数据处理装置，通过同时搜索神经网络模型(如检测模型、分类模型、分割模型等)的数据增强方式和网络结构的方法，从而一次性得到在对应的数据集上的互补的数据增强方式和网络结构，能够得到更好的搜索结果，同时避免了多次重复训练网络参数，能够大幅度减少搜索时间。
[0246]
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
[0247]
结合上述方法实施例，将上述实施例中提供的数据处理方法应用于废钢检测任务中，对废钢检测模型进行构建，后续可以根据该废钢检测模型对废钢进行准确识别，具体实现方式如下所述：
[0248]
一种废钢检测模型构建方法，包括：
[0249]
确定废钢图像训练样本、废钢图像验证样本、以及初始废钢检测模型；
[0250]
根据所述初始废钢检测模型中、可微分的初始数据增强方式和初始网络结构，获得所述废钢图像训练样本的预测结果；
[0251]
根据所述预测结果以及标注结果构成的损失函数，调整所述初始废钢检测模型的网络参数；
[0252]
根据所述废钢图像验证样本以及所述网络参数，同步调整所述初始废钢检测模型的初始数据增强方式以及初始网络结构；
[0253]
在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构；
[0254]
根据所述目标数据增强方式以及目标网络结构，构建废钢检测模型。
[0255]
具体实施时，通过上述实施例的数据处理方法，通过历史废钢图像构成的训练样本以及验证样本，同步搜索互补的目标数据增强方式以及目标网络结构，最后通过该目标数据增强方式以及目标网络结构构建废钢检测模型，使得该废钢检测模型在废钢检测具有更优的识别效果，提升用户体验。
[0256]
图11示出了根据本说明书一个实施例提供的一种计算设备1100的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接，数据库1150用于保存数据。
[0257]
计算设备1100还包括接入设备1140，接入设备1140使得计算设备1100能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
[0258]
在本说明书的一个实施例中，计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图11所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
[0259]
计算设备1100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
[0260]
其中，处理器1120用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法、或者废钢检测模型构建方法的步骤。
[0261]
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法、或者废钢检测模型构建方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法、或者废钢检测模型构建方法的技术方案的描述。
[0262]
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法、或者废钢检测模型构建方法的步骤。
[0263]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存
储介质的技术方案与上述的数据处理方法、或者废钢检测模型构建方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法、或者废钢检测模型构建方法的技术方案的描述。
[0264]
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法、或者废钢检测模型构建方法的步骤。
[0265]
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的数据处理方法、或者废钢检测模型构建方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述数据处理方法、或者废钢检测模型构建方法的技术方案的描述。
[0266]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0267]
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0268]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
[0269]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0270]
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。