硬件加速器的神经架构缩放的制作方法

背景技术：

1、神经网络是包括非线性操作的一层或多层以预测接收到的输入的输出的机器学习模型。除了输入层和输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出可以被输入到另一个隐藏层或神经网络的输出层。神经网络的每一层可以根据所述层的一个或多个模型参数的值从接收到的输入生成相应输出。模型参数可以是通过训练算法确定的权重或偏差，以使神经网络生成精确输出。

技术实现思路

1、根据本公开的方面实施的系统可以通过根据每个候选的计算需求(例如flops)、操作强度和执行效率一起搜索候选神经网络架构来减少神经网络架构的延迟。计算需求、操作强度和执行效率被认为是神经网络在目标计算资源上延迟的根本原因，而不是计算需求单独影响包括推断延迟的延迟，如本文所述。本公开的各方面提供了诸如通过延迟感知复合缩放，以及通过基于延迟与计算、操作强度和执行效率之间的这个观察到的关系增大搜索候选神经网络所在的空间，执行神经架构搜索和缩放的技术。

2、此外，系统可以执行复合缩放以均匀地并根据多个目的缩放神经网络的多个参数，这可以使得与考虑单个目的的方法或分开搜索神经网络的缩放参数的方法相比，改进经缩放神经网络的性能。延迟感知复合缩放可用于快速构建根据与初始经缩放神经网络架构不同的值缩放并且可适用于不同用例的神经网络架构家族。

3、根据本公开的方面，一种计算机实施方法包括用于确定神经网络的架构的方法，包括：由一个或多个处理器接收与神经网络任务相对应的训练数据和指定目标计算资源的信息；由所述一个或多个处理器使用所述训练数据并根据多个第一目的在搜索空间上执行神经架构搜索，以识别基础神经网络的架构；由所述一个或多个处理器根据指定所述目标计算资源的所述信息和所述基础神经网络的多个缩放参数来识别用于缩放所述基础神经网络的多个缩放参数值。所述识别可以包括重复执行以下操作：选择多个候选缩放参数值，以及确定根据所述多个候选缩放参数值缩放的所述基础神经网络的性能测量，其中所述性能测量是根据包括延迟目的的多个第二目的确定的。所述方法可以包括由所述一个或多个处理器使用根据所述多个缩放参数值缩放的所述基础神经网络的所述架构，生成经缩放神经网络的架构。

4、前述和其他实施方式可以各自可选地包括单独或结合的以下特征中的一个或多个。

5、用于执行所述神经架构搜索的所述多个第一目的可以与用于识别所述多个缩放参数值的所述多个第二目的相同。

6、所述多个第一目的和所述多个第二目的可以包括与所述基础神经网络的输出精确度相对应的精确度目的。

7、所述性能测量可以至少部分地对应于：当所述基础神经网络根据所述多个候选缩放参数值被缩放并被部署在所述目标计算资源上时，所述基础神经网络接收输入与生成输出之间的延迟测量。

8、所述延迟目的可以对应于：当所述基础神经网络部署在所述目标计算资源上时，所述基础神经网络接收输入与生成输出之间的最小延迟。

9、所述搜索空间可以包括候选神经网络层，每个候选神经网络层被配置成执行一个或多个相应操作。所述搜索空间可以包含包括不同的相应激活函数的候选神经网络层。

10、所述基础神经网络的所述架构可以包括多个组件，每个组件具有相应多个神经网络层。所述搜索空间可以包括候选神经网络层的多个候选组件，包含包括第一激活函数的候选网络层的第一组件和包括与所述第一激活函数不同的第二激活函数的候选网络层的第二组件。

11、指定所述目标计算资源的所述信息可以指定一个或多个硬件加速器；并且其中，所述方法进一步包括在所述一个或多个硬件加速器上执行所述经缩放神经网络以执行所述神经网络任务。

12、所述目标计算资源可以包括第一目标计算资源，所述多个缩放参数值是多个第一缩放参数值，并且所述方法可以进一步包括：由所述一个或多个处理器接收指定不同于所述第一目标计算资源的第二目标计算资源的信息，以及根据指定所述第二目标计算资源的所述信息，识别用于缩放所述基础神经网络的多个第二缩放参数值，其中，所述多个第二缩放参数值不同于所述多个第一缩放参数值。

13、所述多个缩放参数值是多个第一缩放参数值，并且其中，所述方法进一步包括：从使用多个第二缩放参数值缩放的所述基础神经网络架构生成经缩放神经网络架构，其中，所述第二缩放参数值是根据所述多个第一缩放参数值和均匀地修改所述第一缩放参数值中的每一个的值的一个或多个复合系数生成的。

14、所述基础神经网络可以是卷积神经网络，并且其中，所述多个缩放参数可以包括所述基础神经网络的深度、所述基础神经网络的宽度和所述基础神经网络的输入分辨率中的一个或多个。

15、根据另一个方面，一种用于确定神经网络的架构的方法，包括：由一个或多个处理器接收指定目标计算资源的信息；由所述一个或多个处理器接收指定基础神经网络的架构的数据；由所述一个或多个处理器根据指定所述目标计算资源的所述信息和所述基础神经网络的多个缩放参数来识别用于缩放所述基础神经网络的多个缩放参数值。所述识别可以包括重复执行以下操作：选择多个候选缩放参数值，以及确定根据所述多个候选缩放参数值缩放的所述基础神经网络的性能测量，其中所述性能测量是根据包括延迟目的的多个目的确定的；以及由所述一个或多个处理器使用根据所述多个缩放参数值缩放的所述基础神经网络的所述架构，生成缩放神经网络的架构。

16、所述多个目的可以是多个第二目的；并且接收指定所述基础神经网络的所述架构的所述数据可以包括：由一个或多个处理器接收与神经网络任务相对应的训练数据，以及由所述一个或多个处理器使用所述训练数据并根据多个第一目的在搜索空间上执行神经架构搜索，以识别所述基础神经网络的所述架构。

17、其他实施方式包括记录在一个或多个计算机存储装置上的计算机系统、设备和计算机程序，每个计算机存储装置被配置成执行所述方法的动作。

技术特征：

1.一种用于确定神经网络的架构的计算机实施的方法，包括：

2.根据权利要求1所述的方法，

3.根据权利要求2所述的方法，

4.根据权利要求3所述的方法，

5.根据权利要求2所述的方法，其中，用于执行所述神经架构搜索的所述多个第一目的与用于识别所述多个缩放参数值的所述多个第二目的相同。

6.根据权利要求2所述的方法，其中，所述多个第一目的和所述多个第二目的包括与当使用所述训练数据来被训练时所述基础神经网络的输出精确度相对应的精确度目的。

7.根据权利要求1所述的方法，其中，所述性能测量至少部分地对应于：当所述基础神经网络根据所述多个候选缩放参数值被缩放并被部署在所述目标计算资源上时，所述基础神经网络接收输入与生成输出之间的延迟测量。

8.根据权利要求1所述的方法，其中，所述延迟目的对应于：当所述基础神经网络被部署在所述目标计算资源上时，所述基础神经网络接收输入与生成输出之间的最小延迟。

9.根据权利要求1所述的方法，

10.根据权利要求9所述的方法，

11.根据权利要求1所述的方法，其中，所述多个缩放参数值是多个第一缩放参数值，以及

12.根据权利要求1所述的方法，其中，所述基础神经网络是卷积神经网络，并且其中，所述多个缩放参数包括所述基础神经网络的深度、所述基础神经网络的宽度和所述基础神经网络的输入分辨率中的一个或多个。

13.一种系统，包括：

14.根据权利要求13所述的系统，

15.根据权利要求14所述的系统，

16.根据权利要求14所述的系统，其中，用于执行所述神经架构搜索的所述多个第一目的与用于识别所述多个缩放参数值的所述多个第二目的相同。

17.根据权利要求14所述的系统，其中，所述多个第一目的和所述多个第二目的包括与当使用所述训练数据来被训练时所述基础神经网络的输出精确度相对应的精确度目的。

18.根据权利要求13所述的系统，其中，所述性能测量至少部分地对应于：当所述基础神经网络根据所述多个候选缩放参数值被缩放并被部署在所述目标计算资源上时，所述基础神经网络接收输入与生成输出之间的延迟测量。

19.根据权利要求13所述的系统，其中，所述延迟目的对应于：当所述基础神经网络被部署在所述目标计算资源上时，所述基础神经网络接收输入与生成输出之间的最小延迟。

20.存储指令的一个或多个非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行用于确定神经网络的架构的操作，所述操作包括：

技术总结
用于在硬件加速器上对神经网络架构进行缩放的方法、系统和设备，包括计算机可读介质。一种方法包括接收训练数据和指定目标计算资源的信息，并使用所述训练数据在搜索空间上执行神经架构搜索以识别基础神经网络的架构。可以识别用于缩放所述基础神经网络的多个缩放参数值，这可以包括重复选择多个候选缩放参数值，以及根据包括延迟目的的多个第二目的，确定根据所述多个候选缩放参数值缩放的所述基础神经网络的性能测量。可以使用根据所述多个缩放参数值缩放的所述基础神经网络的所述架构来确定经缩放神经网络的架构。

技术研发人员：安德鲁·李,李晟,谭明星,庞若鸣,程立群,国·V·勒,诺曼·保罗·约皮
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/1/13