神经网络结构搜索、模型构建方法、电子设备和存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种神经网络结构搜索、模型构建方法、电子设备和存储介质。


背景技术：

2.深度学习模型在很多任务上都取得了非常好的效果，但神经网络结构设计是非常依赖专家经验，人工设计网络结构的时间周期较长，且聘请相应专家成本较高。神经网络结构搜索算法可以让机器代替专家来进行神经网络结构设计，并大大提升模型性能。与人工设计神经网络结构相比，神经网络结构搜索算法为机器自动搜索，无需人工干预，搜索效率高于人工设计效率。
3.现有的神经网络结构搜索算法不稳定，在不同的任务、数据上由于存在搜索偏差(search bias)导致稳定性不足，不能保证在任何一个任务上均搜索到较好的结构。


技术实现要素：

4.本技术提供了一种神经网络结构搜索、模型构建方法、电子设备和存储介质，旨在提高automl技术生成的ai模型的适应性和降低使用门槛。
5.第一方面，本技术实施例提供了一种神经网络结构搜索方法，包括：
6.获取神经网络的搜索空间；
7.基于随机搜索策略，在所述搜索空间中搜索得到网络结构；
8.根据所述搜索空间对应的共享权重，确定所述网络结构的权重参数，得到权重模型；
9.根据搜索样本集，对所述权重模型进行微调，得到微调模型；
10.在多个所述微调模型中确定目标ai模型。
11.第二方面，本技术实施例提供了一种神经网络模型构建方法，包括：
12.获取终端设备确定的样本集，所述样本集包括搜索样本集；
13.根据前述的神经网络结构搜索方法确定目标ai模型；
14.根据所述终端设备的指令将所述目标ai模型部署到目标设备和/或将所述目标ai模型发布到模型交易平台。
15.第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器；
16.所述存储器用于存储计算机程序；
17.所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现：
18.上述的神经网络结构搜索方法；或者
19.上述的神经网络模型构建方法。
20.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现：
21.上述的神经网络结构搜索方法；或者
22.上述的神经网络模型构建方法。
23.本技术实施例提供了一种神经网络结构搜索、模型构建方法、电子设备和存储介质，通过获取神经网络的搜索空间，基于随机搜索策略在所述搜索空间中搜索得到网络结构，根据所述搜索空间对应的共享权重，确定所述网络结构的权重参数，得到权重模型；以及根据搜索样本集，对所述权重模型进行微调，得到微调模型，以在多个所述微调模型中确定目标ai模型。基于无偏的随机搜索方法在搜索空间中搜索网络结构，降低或消除不同的任务、数据上的搜索偏差，保证搜索得到的网络结构的稳定性；以及通过对所述权重模型进行微调，提高对网络结构评价的准确性，防止在对不佳的网络结构训练浪费算力，从而提高搜索的效率。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术实施例的公开内容。
附图说明
25.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1是本技术实施例提供的一种神经网络结构搜索方法的流程示意图；
27.图2是神经网络结构搜索方法应用场景的示意图；
28.图3是神经网络的搜索空间的示意图；
29.图4a-4c是一实施方式中神经网络结构搜索的过程示意图；
30.图5是本技术另一实施例提供的一种神经网络模型构建方法的流程示意图；
31.图6是本技术实施例提供的一种电子设备的示意性框图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
34.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
35.请参阅图1，图1是本技术实施例提供的一种神经网络结构搜索方法的流程示意图。所述神经网络结构搜索方法可以应用在电子设备，如终端设备或服务器中，用于生成ai模型等过程；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。
36.示例性的，如图2所示，神经网络结构搜索方法应用在服务器时的场景示意图。服务器执行神经网络结构搜索方法生成目标ai模型，还可以将生成的目标ai模型发送给终端
设备，以便终端设备进行模型测试或部署等操作。
37.现有的神经网络结构搜索算法不稳定，在不同的任务、数据上由于存在搜索偏差(searchbias)导致稳定性不足，不能保证在任何一个任务上均搜索到较好的结构。本技术实施例的神经网络结构搜索方法基于无偏的随机搜索方法在搜索空间中搜索网络结构，降低或消除不同的任务、数据上的搜索偏差，保证搜索得到的网络结构的稳定性；以及通过对所述权重模型进行微调，提高对网络结构评价的准确性，防止在对不佳的网络结构训练浪费算力，从而提高搜索的效率。
38.如图1所示，本技术实施例的神经网络结构搜索方法包括步骤s110至步骤s150。
39.s110、获取神经网络的搜索空间。
40.具体的，所述神经网络能够用于对图像、文本或语音进行处理。
41.示例性的，所述神经网络可以是用于对图像进行分类的神经网络，也可以是用于对图像进行分割的神经网络，或者可以是用于对图像进行检测的神经网络，或者可以是用于对图像进行识别的神经网络，或者可以是用于生成指定图像的神经网络，或者，可以是用于对文本进行翻译的神经网络，或者，可以是用于对文本进行复述的神经网络，或者可以是用于生成指定文本的神经网络，或者可以是用于对语音进行识别的神经网络，或者可以是用于对语音进行翻译的神经网络，或者可以是用于生成指定语音的神经网络等。
42.从另一个维度来说，所述神经网络可以包括但不限于卷积神经网络或循环神经网络等。
43.在一些实施方式中，请参阅图3，所述搜索空间包括搜索空间图(graph)，所述搜索空间图包括多个网络单元和所述多个网络单元之间的连接。
44.在另一些实施方式中，搜索空间也可以以向量的形式描述，向量中各元素可以用于表示网络单元和网络单元之间的连接。当然本技术实施例也不限于此。
45.s120、基于随机搜索策略，在所述搜索空间中搜索得到网络结构。
46.所述搜索空间中可以包括很多操作，基于不同的连接方式，这些操作中的全部或部分操作可以构成不同的神经网络，或者说，基于不同的连接方式，这些操作中的全部或部分操作构成的神经网络的网络结构可以不同。
47.如图3所示，所述搜索空间中包括卷积(conv)操作，dw(depthwise)卷积操作等网络单元。从上到下，conv33、dw33、dw33、conv33之间的连线用于指示这些网络单元间之间的连接，从而可以构成一个神经网络。
48.示例性的，所述在所述搜索空间中搜索得到网络结构，包括：在所述搜索空间图中搜索，确定包括若干网络单元和所述若干网络单元间连接的有向路径，根据所述有向路径确定所述网络结构。如图3所示，可以根据包括节点conv33、dw33、dw33、conv33和这些节点间的边的有向路径，确定一网络结构。
49.可以理解的，相较于基于梯度信息的搜索方法、基于强化学习的搜索方法、基于进化算法的搜索方法等，随机搜索方法本身是无偏的(unbias)，不存在搜索偏差，可以适用于多种不同的任务。从而基于随机搜索策略，在所述搜索空间中搜索网络结构，可以降低或消除不同的任务、数据上的搜索偏差(search bias)，保证搜索得到的网络结构的稳定性。
50.在一些实施方式中，所述基于随机搜索策略，在所述搜索空间中搜索得到网络结构，包括：基于随机初始化的搜索控制网络，在所述搜索空间中搜索得到网络结构。
51.示例性的，搜索控制网络又可称为控制器(controller)，例如可以使用lstm神经网络设置，当然也不限于此，如也可使用rnn神经网络设置。搜索控制网络用于在搜索空间中确定若干网络单元和所述若干网络单元之间的连接，得到网络结构。
52.在本实施方式中，搜索控制网络是未经训练的，可以保持随机采样，从而可以较好地实现基于随机搜索策略在所述搜索空间中搜索得到网络结构。
53.s130、根据所述搜索空间对应的共享权重，确定所述网络结构的权重参数，得到权重模型。
54.权重共享(weights sharing)策略，是将搜索空间中所有网络结构的权重共享，来达到加速搜索的效果。使用权重共享策略将搜索空间中不同的网络结构的权重共享复用，可以提高搜索效率。
55.s140、根据搜索样本集，对所述权重模型进行微调，得到微调模型。
56.示例性的，获取训练样本集(train set)和测试样本集(test set)，可以在训练样本集中切分出搜索样本集(search set)和验证样本集(validset)。当然，搜索样本集(search set)和验证样本集(valid set)也可以是独立获取的样本集。
57.示例性的，对所述权重模型进行微调至收敛，得到微调模型；或者对所述权重模型进行若干周期(epoch)微调，得到微调模型。
58.具体的，在配置完网络结构和共享权重后，通过搜索样本集对所述权重模型进行微调(finetune)，可以提高基于权重共享参数的网络的可靠性，防止使用权重共享参数的网络结构完成任务，如预测的性能不能有效反应出该网络真实训练之后的性能，从而提高搜索的效率。
59.s150、在多个所述微调模型中确定目标ai模型。
60.示例性的，重复执行上述步骤s120至步骤s140约定的次数，例如100次，得到相应数目的微调模型。
61.示例性的，根据各所述微调模型的评价参数，在多个所述微调模型中确定目标ai模型，可以提高搜索的性能。
62.相较于权重共享参数的权重模型，通过微调的微调模型的模型性能可以更接近于真实训练之后模型的性能，微调模型的评价参数和真实训练之后模型的评价参数的相关性更强。
63.可以理解的，使用随机搜索策略进行网络结构搜索时，每搜索出一个网络结构，都将该网络结构配置上共享权重，然后在搜索样本集上继续微调约定数量的步数，可以解决权重共享的相关性弱问题。示例性的，微调约定数量的步数可以是一个epoch，因为实验发现，一个epoch就可以提升足够大的相关性。
64.在一些实施方式中，步骤s150在多个所述微调模型中确定目标ai模型，包括步骤s151至步骤s155。
65.s151、根据验证样本集，确定多个所述微调模型各自的第一评价参数。
66.示例性的，将各微调后的微调模型在验证样本集(valid set)上测试，得到第一评价参数，第一评价参数例如可以称为valid reward(收益)，以分类任务为例，reward为准确度(accuracy)。
67.s152、根据所述第一评价参数，在多个所述微调模型中确定若干候选模型。
68.第一评价参数可以用于评价微调模型的效果，根据第一评价参数，确定效果较好的微调模型为候选模型。例如，选取valid reward最好的k个微调模型为候选模型，k为大于或等于1的自然数。
69.s153、基于训练样本集，对各所述候选模型进行训练，得到各所述候选模型对应的训练模型。
70.示例性的，在训练样本集(train set)训练候选模型至收敛，得到各所述候选模型对应的训练模型。
71.s154、基于测试样本集，确定各所述训练模型的第二评价参数。
72.示例性的，在测试样本集(test set)上测试各训练模型，得到第二评价参数，第二评价参数例如可以称为test reward。
73.通过步骤s140微调的微调模型的评价参数可以更接近于步骤s153训练的训练模型的评价参数，通过在微调的微调模型中确定候选模型，可以得到更符合要求的候选模型，在训练后仍可以得到较好性能的训练模型，提高搜索效率。
74.可以理解的，搜索方法是否有效的评价体系为k个valid reward和k个test reward之间的相关性，通常认为，k个valid reward和k个test reward越具有高度单调一致性，表明搜索方法较好，k为大于或等于1的自然数。
75.s155、根据所述第二评价参数，在所述若干候选模型对应的训练模型中确定目标ai模型。
76.示例性的，选取test reward最好的训练模型为目标ai模型。
77.在一些实施方式中，虽然增加了对所述权重模型进行微调的步骤，但是省去了训练控制器(controller)的耗时，总体时间并不会增加，但搜索结果的鲁棒性增加。
78.如果直接使用随机搜索会面临如下问题：1)搜索出的结果方差大，导致效率低下，2)搜索结果不可靠。因此，需要搜索更多的结构才能找到较好的网络结构。本技术实施例通过权重共享，和对所述权重模型进行微调，以及从微调后的模型中确定目标ai模型提高搜索效率和可靠性，可以解决上述技术问题。
79.示例性的，所述微调的周期低于所述训练的周期，和/或用于所述微调的搜索样本集小于用于所述训练的训练样本集。例如，微调训练默认一个epoch，因为实验发现，一个epoch就可以提升足够大的相关性，也可以提高搜索效率。
80.在一些实施方式中，步骤s110获取神经网络的搜索空间，包括：基于随机初始化的搜索控制网络，对样本神经网络进行随机采样；根据随机采样的结果，确定所述搜索空间和所述搜索空间对应的共享权重。基于随机采样得到的搜索空间进行神经网络结构搜索，可以进一步降低或消除不同的任务、数据上的搜索偏差，保证搜索得到的网络结构的稳定性。
81.示例性的，使用lstm神经网络设置一个控制器(controller)作为搜索控制网络，负责采样样本神经网络的网络结构，得到所述搜索空间。具体的，搜索控制网络是未经训练的，可以保持随机采样，例如只要不训练controller，controller始终就是保持随机采样。示例性的，可使用任意随机采样器。根据随机采样的结果，确定所述搜索空间的结构和配置所述搜索空间对应的共享权重。
82.示例性的，在训练样本集上，使用后向传播算法(bp算法)对搜索空间训练一个批量(batch)的数据。
83.示例性的，可以基于随机初始化的搜索控制网络，获取多个神经网络的搜索空间，例如重复约定次数的epoch比如310epoch，得到310个搜索空间。
84.在一些实施方式中，可以通过预置预训练的搜索空间(如pretrain graph)，进一步提升基于权重共享策略的网络结构搜索效率。其中预置的预训练的搜索空间，可以使用随机策略训练，可以保证无偏。
85.示例性的，所述方法还包括：获取预设任务的数据集；基于随机训练策略，根据所述数据集对所述搜索空间对应的全局网络结构进行预训练。为区别于对搜索空间中部分网络结构(可称为子网络)的训练，对搜索空间整体的训练可以称为对所述搜索空间对应的全局网络结构进行训练。通过预训练得到预训练的搜索空间，以便在步骤s110直接获取。
86.示例性的，使用提前准备好预设任务对应的大型数据集，如分类任务的imagenet，检测任务的coco，使用随机策略在准备好的开源数据上训练graph(随机策略可以让graph训练过程无偏)，得到预训练的搜索空间。在实际使用的时候，在步骤s110获取的搜索空间可以为所述预训练得到的搜索空间，可以节省训练graph的步骤，搜索效率大幅提升。
87.通过预置预训练的搜索空间，可以让搜索过程在同一类任务上只用一套预训练的搜索空间，不用每次都从头训练搜索空间。以分类任务为例，可以将在imagenet上预训练的graph作为实现大部分分类任务的预置pretrain graph，实际在分类场景上，只需要在预置的pretrain graph上搜索得到网络结构，并在场景数据上微调和测试valid reward即可。
88.示例性的，在分类任务上，网络结构搜索的步骤如下：
89.1.准备基于imagenet数据集训练好的graph。数据场景数据为train set和test set。将场景数据中train set分为search set和valid set，test set保持不变。
90.2.导出结构：1)使用controller产生网络结构(controller是初始状态，依然是随机采样)；2)graph接受网络结构并配置权重(weights)共享下对应网络结构的参数；3)将该带有对应共享权重的网络结构在search set上fine tune约定数量个步数，比如一个epoch，然后将fine tune后的结构和对应weights在valid set上测试，得到valid reward。4)重复1)、2)、3)，直至约定的次数，比如100次。5)取其中valid reward最好的top k个模型，在train set训练，并在test set上测试，test set上最高的模型结构就是期望所搜索的结构。
91.示例性的，搜索空间可以为训练好的全局网络结构，即pretrain graph如图4a所示，包括4个节点(node)，分别为节点0、1、2与3，但节点之间的操作(又可称为网络单元)未知，也即如图中问号“？”所表示。
92.其中，节点可以理解为特征层。例如，在图4a中，全局网络结构包括一个输入特征层，两个中间特征层，一个输出特征层。其中，节点0表示输入特征层，节点1和节点2表示中间特征层，节点3表示输出特征层。应理解，节点0包括输入特征层上的特征数据(特征向量或特征矩阵，如下类似)，节点1包括第一个中间特征层上的特征数据，节点2包括第二个中间特征层上的特征数据，节点3包括输出特征层上的特征数据。两个节点之间的操作指的是，其中一个节点上的特征数据处理为另一个节点上的特征数据所需的操作。本实施例中提及的操作可以为卷积操作、池化操作、或全连接操作等其他神经网络操作。可以认为两个节点之间的操作构成这两个节点之间的操作层。通常，两个节点之间的操作层具有多个可供搜索的操作，即具有多个候选操作，如图4b所示。神经网络结构搜索的目的就是在每个操
作层上确定一个操作。
93.通过神经网络结构搜索可以在搜索空间中确定节点0、1、2与3之间的操作，节点0、1、2与3之间的操作的不同组合对应不同的网络结构。因此，通过神经网络结构搜索可以获取到对应的网络结构。具体的，可以使用控制器(controller)在多个候选操作中确定操作，以产生网络结构。
94.示例性的，所述基于随机搜索策略在所述搜索空间中搜索得到网络结构，包括：以相同的概率确定节点之间的多个候选操作中的一个为所述网络结构中的操作。
95.示例性的，如图4b所示，搜索空间定义了两个节点之间的操作层上的多种操作。例如，搜索空间为每个操作层定义了3个操作，其中不同线条分别表示操作1、操作2和操作3。如操作1是卷积操作、操作2是池化操作、操作3是全连接操作。对于神经网络的一个操作层，神经网络结构搜索的目的就是从3个操作中选择一个操作作为该操作层的操作。
96.基于随机搜索策略，在所述搜索空间中搜索得到网络结构，以及根据训练好的全局网络结构中各操作的权重(weights)确定得到的网络结构的参数，实现权重共享，得到候选的权重模型，如图4c所示。
97.经过多次神经网络结构搜索和权重共享可以得到多个权重模型。之后根据搜索样本集，对各所述权重模型进行微调，得到对应的多个微调模型。根据验证样本集，确定多个所述微调模型各自的第一评价参数，确定第一评价参数较优的微调模型为候选模型。
98.之后将候选模型基于训练样本集进行训练，得到各所述候选模型对应的训练模型，以及确定第二评价参数较优的训练模型为目标ai模型，即期望所搜索的结构。
99.在一些实施方式中，通过带有指导机制的搜索方法提升结构导出环节的效率，例如可以可在较少的搜索次数时(如50次以内)大概率找到较好的网络结构。
100.示例性的，所述基于随机搜索策略，在所述搜索空间中搜索得到网络结构，包括：基于随机搜索策略，根据采样分布在所述搜索空间中搜索得到网络结构。
101.示例性的，所述方法还包括：根据所述微调模型对应的网络结构和所述微调模型的第一评价参数，更新所述采样分布，直至根据所述采样分布连续预设次数搜索得到网络结构的差异满足预设条件。示例性的，所述采样分布用于约束在节点之间的多个候选操作中确定一个操作(为所述网络结构中的操作)的概率。以提升结构导出环节的效率，例如可以可在较少的搜索次数时(如50次以内)大概率找到较好的网络结构。
102.示例性的，基于贝叶斯准则，根据所述微调模型对应的网络结构和所述微调模型的第一评价参数，更新所述采样分布。
103.示例性的，所述网络结构搜索的步骤如下：
104.1.准备基于imagenet数据集训练好的graph。数据场景数据为train set和test set。将场景数据中train set分为search set和valid set，test set保持不变。
105.2.基于贝叶斯优化导出结构：1)构建采样分布，基于采样分布，随机采样网络结构；2)graph接受网络结构并配置权重共享下对应网络结构的参数；3)将该带有对应共享权重的网络结构在search set上fine tune约定数量个步数。比如一个epoch，然后将fine tune后的结构和对应weights在valid set上测试，得到valid reward；4)使用1)采样的网络结构和valid reward，基于贝叶斯准则更新采样分布。5)重复1)、2)、3)、4)，直至达到收敛要求，比如前后三次采样的网络结构差异性很小。6)取其中valid reward最好的top k个
模型，在train set训练，并在test set上测试，test set上最高的模型结构就是期望所搜索的结构。
106.基于贝叶斯优化方法的结构导出，可以使得结构导出效率环节大幅提升。可以理解的，本方法包括且不限于贝叶斯优化等所有带有指导机制的迭代算法。
107.本技术实施例提供的神经网络结构搜索方法，通过获取神经网络的搜索空间，基于随机搜索策略在所述搜索空间中搜索得到网络结构，根据所述搜索空间对应的共享权重，确定所述网络结构的权重参数，得到权重模型；以及根据搜索样本集，对所述权重模型进行微调，得到微调模型，以在多个所述微调模型中确定目标ai模型。基于无偏的随机搜索方法在搜索空间中搜索网络结构，降低或消除不同的任务、数据上的搜索偏差，保证搜索得到的网络结构的稳定性；以及通过对所述权重模型进行微调，提高对网络结构评价的准确性，防止在对不佳的网络结构训练浪费算力，从而提高搜索的效率。
108.请结合上述实施例参阅图5，图5是本技术另一实施例提供的一种神经网络模型构建方法的流程示意图。所述神经网络模型构建方法可以应用在电子设备，如终端设备或服务器中，用于生成ai模型等过程；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。
109.示例性的，如图2所示，神经网络模型构建方法应用在服务器时的场景示意图。服务器可以与终端设备进行数据交互，执行神经网络结构搜索方法生成目标ai模型，还可以根据终端设备的指令将生成的目标ai模型部署到目标设备和/或将所述目标ai模型发布到模型交易平台。目标设备可以是所述终端设备，也可以是终端设备之外的其他电子设备。
110.如图5所示，本技术实施例的神经网络模型构建方法包括步骤s210至步骤s230。
111.s210、获取终端设备确定的样本集，所述样本集包括搜索样本集。
112.在一些实施方式中，服务器可以获取终端设备上传的样本集，或者从终端设备获取样本集的存储地址，并根据所述存储地址获取所述样本集。
113.示例性的，所述样本集包括多个经过数据标注处理的数据样本，例如包括多个标注有类别标签的图像。
114.示例性的，可以在样本集中确定训练样本集(train set)和测试样本集(test set)，还可以在训练样本集中切分出搜索样本集(search set)和验证样本集(valid set)。当然，搜索样本集(search set)和验证样本集(valid set)也可以是独立获取的样本集。其中，搜索样本集用于对所述权重模型进行微调至收敛，得到微调模型；或者对所述权重模型进行若干周期(epoch)微调，得到微调模型。
115.s220、根据前述的神经网络结构搜索方法确定目标ai模型。
116.具体的，所述根据神经网络结构搜索方法确定目标ai模型，包括：获取神经网络的搜索空间；基于随机搜索策略，在所述搜索空间中搜索得到网络结构；根据所述搜索空间对应的共享权重，确定所述网络结构的权重参数，得到权重模型；根据所述搜索样本集，对所述权重模型进行微调，得到微调模型；在多个所述微调模型中确定目标ai模型。
117.示例性的，所述在多个所述微调模型中确定目标ai模型，包括：根据验证样本集，确定多个所述微调模型各自的第一评价参数；根据所述第一评价参数，在多个所述微调模型中确定若干候选模型；基于训练样本集，对各所述候选模型进行训练，得到各所述候选模
型对应的训练模型；基于测试样本集，确定各所述训练模型的第二评价参数；根据所述第二评价参数，在所述若干候选模型对应的训练模型中确定目标ai模型。
118.示例性的，所述微调的周期低于所述训练的周期，和/或用于所述微调的搜索样本集小于用于所述训练的训练样本集。
119.示例性的，所述基于随机搜索策略，在所述搜索空间中搜索得到网络结构，包括：基于随机搜索策略，根据采样分布在所述搜索空间中搜索得到网络结构。
120.示例性的，所述方法还包括：根据所述微调模型对应的网络结构和所述微调模型的第一评价参数，更新所述采样分布，直至根据所述采样分布连续预设次数搜索得到网络结构的差异满足预设条件。
121.示例性的，所述搜索空间包括搜索空间图，所述搜索空间图包括多个网络单元和所述多个网络单元之间的连接。所述在所述搜索空间中搜索得到网络结构，包括：在所述搜索空间图中搜索，确定包括若干网络单元和所述若干网络单元间连接的有向路径，根据所述有向路径确定所述网络结构。
122.示例性的，所述基于随机搜索策略，在所述搜索空间中搜索得到网络结构，包括：基于随机初始化的搜索控制网络，在所述搜索空间中搜索得到网络结构。
123.示例性的，所述获取神经网络的搜索空间，包括：基于随机初始化的搜索控制网络，对样本神经网络进行随机采样；根据随机采样的结果，确定所述搜索空间和所述搜索空间对应的共享权重。
124.示例性的，所述方法还包括：获取预设任务的数据集；基于随机训练策略，根据所述数据集对所述搜索空间对应的全局网络结构进行预训练。
125.s230、根据所述终端设备的指令将所述目标ai模型部署到目标设备和/或将所述目标ai模型发布到模型交易平台。
126.示例性的，服务器可以通过与终端设备的交互，获取终端设备指定的目标设备，所述目标设备为用于部署所述目标ai模型的电子设备，如手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等，从而服务器可以将所述目标ai模型部署到所述目标设备，以使目标设备能够应用所述目标ai模型执行预设任务，如图像分类等。
127.示例性的，模型交易平台可以理解为用于提供ai模型的saas服务平台，可以在用户的终端设备的web界面上设置模型的对外发布按钮，并将按钮对应链接至交易平台，以实现根据所述终端设备的指令将所述目标ai模型发布到模型交易平台。
128.请结合上述实施例参阅图6，图6是本技术实施例提供的电子设备600的示意性框图。
129.示例性的，电子设备可以包括终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。
130.该电子设备600包括处理器601和存储器602。
131.示例性的，处理器601和存储器602通过总线603连接，该总线603比如为i2c(inter-integrated circuit)总线。
132.具体地，处理器601可以是微控制单元(micro-controller unit，mcu)、中央处理单元(central processing unit，cpu)或数字信号处理器(digital signal processor，
dsp)等。
133.具体地，存储器602可以是flash芯片、只读存储器(rom，read-only memory)磁盘、光盘、u盘或移动硬盘等。
134.其中，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现：
135.前述的神经网络结构搜索方法；或者
136.前述的神经网络模型构建方法。
137.示例性的，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现如下步骤：
138.获取神经网络的搜索空间；
139.基于随机搜索策略，在所述搜索空间中搜索得到网络结构；
140.根据所述搜索空间对应的共享权重，确定所述网络结构的权重参数，得到权重模型；
141.根据搜索样本集，对所述权重模型进行微调，得到微调模型；
142.在多个所述微调模型中确定目标ai模型。
143.示例性的，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现如下步骤：
144.获取终端设备确定的样本集，所述样本集包括搜索样本集；
145.根据前述的神经网络结构搜索方法确定目标ai模型；
146.根据所述终端设备的指令将所述目标ai模型部署到目标设备和/或将所述目标ai模型发布到模型交易平台。
147.本技术实施例提供的电子设备的具体原理和实现方式均与前述实施例的神经网络结构搜索方法类似，此处不再赘述。
148.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的神经网络结构搜索方法的步骤，或者实现上述实施例提供的神经网络模型构建方法的步骤。
149.其中，所述计算机可读存储介质可以是前述任一实施例所述的电子设备的内部存储单元，例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
150.应当理解，在此本技术中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。
151.还应当理解，在本技术和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
152.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。