用于卷积神经网络的神经架构搜索的制作方法

本说明书涉及确定用于卷积神经网络的架构。

背景技术：

1、神经网络是采用一层或多层非线性单元层以预测所接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即下一个隐藏层或输出层)的输入。网络的每一层根据相应的一组参数的当前值从所接收的输入中生成输出。

2、一些神经网络是递归神经网络。递归神经网络是接收输入序列并从该输入序列生成输出序列的神经网络。具体地，递归神经网络可以在当前时间步长处计算输出时使用来自先前时间步长的网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个lstm记忆块的长短期(lstm)神经网络。每个lstm记忆块可以包括一个或多个单元，该一个或多个单元各自包括输入门、遗忘门和输出门，这些门允许单元存储该单元的先前状态，例如，用于生成电流激活或被提供给lstm神经网络的其他组件。

技术实现思路

1、本说明书描述了在一个或多个位置中的一个或多个计算机上被实施为计算机程序的系统，该系统通过确定用于在整个网络架构中重复的卷积单元的架构来确定用于卷积神经网络的网络架构。

2、本说明书中描述的主题可以在具体实施例中实施，以便实现以下优点中一个或多个。通过预测一个或多个类型的卷积单元的架构，并且然后对卷积神经网络中出现的这种类型的每个卷积单元重新使用相同的架构，该系统有效地限制了可能架构的搜索空间，而没有负面地影响(并且在某些情况下，甚至提高了)所得到的架构的性能。因此，通过如本说明书中所描述的有效地限制可能架构的搜索空间，该系统可以确定匹配或超过由搜索较大的架构空间的其他技术发现的架构的性能的架构，同时使用比其他技术更少的计算资源。附加地，该系统可以有效地确定在较小数据集上的卷积单元的架构，并且然后在数据范围和计算规模上重新使用相同的单元架构。具体地，该系统可以有效地采用所得到的经学习的架构来用减少的计算预算执行图像处理任务，该计算预算匹配或优于面向移动和嵌入式平台的流线型(streamlined)架构。

3、本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据描述、附图和权利要求书，主题的其他特征、方面和优点将变得显而易见。

技术特征：

1.一种神经网络系统，包括：

2.根据权利要求1所述的神经网络系统，其中，所述第一卷积单元具有已经使用计算机实现的方法生成的最终架构，所述计算机实现的方法包括：

3.根据权利要求2所述的神经网络系统，其中，对于所述一个或多个操作块中的每一个，所述批中的每个输出序列限定：

4.根据权利要求3所述的神经网络系统，其中，对于所述第一卷积单元中的所述一个或多个操作块中的每个操作块，所述批中的每个输出序列还限定：

5.根据权利要求2所述的神经网络系统，还包括一个或多个第二卷积单元，所述一个或多个第二卷积单元中的每个第二卷积单元被配置为接收第二单元输入并从所述第二单元输入生成具有更小高度、更小宽度或两者的第二单元输出，并且其中，对于每个输出序列的子卷积神经网络的所述实例还包括具有由所述输出序列限定的架构的所述第二卷积单元的多个实例。

6.根据权利要求1所述的神经网络系统，其中，所述第一卷积单元被配置为：通过组合未被选择为对所述第一卷积单元中的任何块的输入的所述第一卷积单元中的块的输出隐藏状态，生成所述单元输出。

7.根据权利要求2所述的神经网络系统，其中，使用所述子卷积神经网络的所述经训练的实例的性能度量来调节所述控制器神经网络的所述控制器参数的所述当前值包括：

8.根据权利要求7所述的神经网络系统，其中，所述训练技术是策略梯度技术。

9.根据权利要求7所述的神经网络系统，其中，所述训练技术是强化技术。

10.根据权利要求7所述的神经网络系统，其中，所述训练技术是近端策略优化(ppo)技术。

11.根据权利要求3所述的神经网络系统，其中，每个输出序列包括在所述第一卷积单元在多个时间步长中的每个时间步长处的相应超参数的值。

12.根据权利要求11所述的神经网络系统，其中，所述控制器神经网络是递归神经网络，所述递归神经网络包括：

13.根据权利要求11所述的神经网络系统，其中，使用具有多个控制器参数的控制器神经网络并且根据所述控制器参数的当前值生成一批输出序列，包括，对于所述批中的每个输出序列和对于所述多个时间步长中的每个时间步长：

14.根据权利要求2所述的神经网络系统，其中，所述第一卷积单元的实例内的卷积操作的过滤器的数量基于所述子卷积神经网络内的所述实例的位置而不同。

15.根据权利要求2所述的神经网络系统，其中，所述第一卷积单元的所述单元输出具有与所述单元输入相同的高度和宽度。

16.根据权利要求2所述的神经网络系统，其中，训练所述子卷积神经网络中的每个实例包括训练每个实例，直到特定量的时间已经过去。

技术总结
本申请公开了用于卷积神经网络的神经架构搜索。包括被编码在计算机存储介质上的计算机程序、用于确定神经网络架构的方法、系统以及装置。该方法中的一个包括使用具有控制器参数的控制器神经网络并根据控制器参数的当前值生成一批输出序列。该方法包括，对于该批中的每个输出序列：生成子卷积神经网络(CNN)的实例，其中该子卷积神经网络的实例包括具有由输出序列限定的架构的第一卷积单元的多个实例；训练子CNN的实例以执行图像处理任务；以及评估子CNN的经训练的实例在任务上的性能，以确定子CNN的经训练的实例的性能度量；并且使用子CNN的经训练的实例的性能度量来调节控制器神经网络的控制器参数的当前值。

技术研发人员：V.瓦萨德万,B.佐夫,J.施伦斯,Q.V.勒
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/4/24