一种动态双模式张量管理设计方案的制作方法

技术特征：

1.一种双模式张量管理设计方案，其特征在于，是根据给定的训练模型数据流图g、给定的深度学习加速器算子库性能特性描述表t，输出一个“主机—加速器”之间数据传输量较少的执行方案p；其中，

2.如权利要求1所述的双模式张量管理设计方案，其特征在于，步骤(3)还包括，当前计算节点op是从g中取出的第n个计算节点时，对当前计算节点op的输出数据即对应张量的生成位置以如下方式进行标记：

3.如权利要求1所述的双模式张量管理设计方案，其特征在于，步骤(3)还包括，对当前计算节点op的输出数据的版本进行标记；该方案还包括运算调度执行器，用于在方案执行时对执行方案p进行动态优化，当对从g中取出计算节点op进行计算时，运算调度执行器是基于版本号以如下方式对主机端或设备端的存储数据进行同步：

4.如权利要求1所述的双模式张量管理设计方案，其特征在于，可以进一步对数据布局优化，先对计算图全部操作符结点的最优数据布局进行统计，并选择使用数目最多的布局做为该数据流图的数据存储布局，对全数据流图的输入张量布局进行转换，其中，全数据流图输入张量布局的转换步骤为：

技术总结
本发明提供一种双模式张量管理设计方案，其中，训练模型数据流图G用于表达深度模型的结构，表达方式为G(V，E)，其中，V为结点；E为边集；深度学习加速器算子库性能特性描述表T(V)，通过计算算子的归一化计算时间，判断执行设备并标注执行信息，所述执行信息包括：主机端执行或者设备端执行；以及，对每个边对应的数据传输的执行进行标记。本发明通过标注执行信息，可动态使用主机和设备内存，极大减少了频繁数据拷贝带来的系统开销；同时，针对性地设计了支持全数据流图范围内张量内存布局优化的分析引擎，充分发挥底层深度学习加速库的性能，可适用于神威深度学习加速器。

技术研发人员：王鲲鹏,张文祥,吴汶钊
受保护的技术使用者：太初（无锡）电子科技有限公司
技术研发日：
技术公布日：2024/1/13