一种反向计算图的静态生成方法、装置、设备及介质与流程

本发明涉及深度学习领域，尤其涉及一种反向计算图的静态生成方法、装置、设备及介质。

背景技术：

1、随着深度学习技术的不断发展，神经网络模型的规模变得越来越大，基于梯度的模型优化算法得到了越来越广泛的应用。梯度下降法用于求解损失函数的最优值，通过计算参数与损失函数的梯度并在梯度下降的方向不断迭代求得极小值。

2、一般来说，深度学习模型或者科学计算模型可以被解析为前向计算图形式的中间表示，而为了实现基于梯度的模型优化，需要生成与前向计算图相对应的反向计算图，以实现对梯度的计算。

3、当前的系统可以提供常用的反向计算算子用于构建反向计算图，但是，对于不常使用的反向计算逻辑没有实现有效覆盖，这就需要开发人员手动编写反向计算的逻辑代码，这样不仅费时费力，效率低下，且容易产生逻辑错误；此外，系统还可以使用运算符重载的方式实现运行时的动态自动微分，但是，这一机制会引入一定的运行时开销，同时，上述动态自动微分过程由于缺乏计算图的静态分析也可能错过潜在的优化机会，导致运行时性能下降。

技术实现思路

1、本发明提供了一种反向计算图的静态生成方法、装置、设备及介质，以提供一种在编译阶段静态生成并优化反向计算图的新方式，从一定程度上提高了运行时系统对梯度求解的效率。

2、第一方面，本发明实施例提供了一种反向计算图的静态生成方法，包括：

3、获取前向计算图，并确定出与所述前向计算图中的各前向张量算子分别对应的反向算子；

4、根据各所述反向算子，生成与所述前向计算图对应的反向计算图；

5、对所述反向计算图进行计算存储优化和/或读写优化，得到反向优化计算图。

6、第二方面，本发明实施例提供了一种反向计算图的静态生成装置，包括：

7、反向算子确定模块，用于获取前向计算图，并确定出与所述前向计算图中的各前向张量算子分别对应的反向算子；

8、反向计算图生成模块，用于根据各所述反向算子，生成与所述前向计算图对应的反向计算图；

9、反向计算图优化模块，用于对所述反向计算图进行计算存储优化和/或读写优化，得到反向优化计算图。

10、第三方面，本发明实施例提供了一种反向计算图的静态生成设备，包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例中任一项所述的反向计算图的静态生成方法。

14、第四方面，本发明实施例提供了一种计算机可读存储介质，包括：

15、所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明实施例中任一项所述的反向计算图的静态生成方法。

16、本发明实施例可以在编译阶段通过前向计算图中的每个前向张量算子确定出与之对应的所有反向算子，进而可以根据反向算子确定用于进行梯度计算的反向计算图，可以在代码编译阶段静态实现反向计算图的生成；进一步的，通过对自动生成的反向计算图进行计算存储优化和/或读写优化，得到反向优化计算图的实现方式，可以在时间开销、空间开销以及读写开销上实现折中和优化，进而，当基于上述反向计算图构建得到机器代码后，可以充分利用异构计算系统中各种计算设备的算力，减少梯度计算时所需的时间成本与内存空间成本，提高了运行时系统对梯度的求解效率。

技术特征：

1.一种反向计算图的静态生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，确定出与所述前向计算图中的各前向算子分别对应的反向算子，包括：

3.根据权利要求1所述的方法，其特征在于，根据各所述反向算子，生成与所述前向计算图对应的反向计算图，包括：

4.根据权利要求1所述的方法，其特征在于，对所述反向计算图进行计算存储优化，包括：

5.根据权利要求4所述的方法，其特征在于，响应于用户配置的计算存储优化策略，对所述反向计算图进行计算存储优化，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，在对所述反向计算图进行计算存储优化和/或读写优化，得到反向优化计算图之后，还包括：

7.一种反向计算图的静态生成装置，其特征在于，包括：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的反向计算图的静态生成方法。

技术总结
本发明公开了一种反向计算图的静态生成方法、装置、设备及介质，该方法包括：获取前向计算图，并确定出与所述前向计算图中的各前向张量算子分别对应的反向算子；根据各所述反向算子，生成与所述前向计算图对应的反向计算图；对所述反向计算图进行计算存储优化和/或读写优化，得到反向优化计算图。本发明提供的技术方案，可以节省生成反向优化图的时间成本与内存空间成本，提高梯度求解的效率。

技术研发人员：石恒,张亚林,崔成屹,王晨浩,鲍国庆,贾明桥,姚建国
受保护的技术使用者：上海燧原科技有限公司
技术研发日：
技术公布日：2024/1/15