一种训练图处理方法、装置、设备及存储介质与流程

本发明涉及图训练，尤其涉及一种训练图处理方法、装置、设备及存储介质。

背景技术：

1、当前很多深度学习平台(如pytorch\mindspore\paddlepaddle等)其存储格式通常为channel-first(比如nchw ncdhw)，因为与asic存在格式上的不匹配，为了保证功能或提高性能，必须在对接时加入一系列额外的格式转换算子，但是转换算子的数量过多会导致性能下降。

2、现有技术在对接时采用的处理方式一般是两种，一种是直接开发第三方框架要求格式的算子，在此基础上尽量提升该算子的计算性能，这种情况下自然也就不存在格式转换的问题。

3、但此方法对于asic芯片的性能提升有限，会影响asic芯片的性能发挥，另一种方式是在图的基础上优化。即拿到一张计算训练图，通过一些处理技术来尽可能的消除图中的转换算子，但是该种方式由于将问题的解决边界锁定在了当前计算图上，其权重部分相关的前反向转换算子在图上是无法消除的。

技术实现思路

1、本发明提供了一种训练图处理方法、装置、设备及存储介质，以解决芯片在与第三方框架对接时因为格式不匹配而出现的格式转换算子数量过多，模型训练效率低的问题。

2、根据本发明的一方面，提供了一种训练图处理方法，该方法包括：

3、获取训练图，根据预置的节点清单确定第一记录数据；

4、根据训练图建立优化器的权重联动关系，根据权重联动关系确定第二记录数据；

5、当检测到发送数据时，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果。

6、可选的，获取训练图，包括：获取用户输入的计算图；确定计算图对应的网络结构；当网络结构中包括优化器时，将计算图作为训练图。

7、可选的，根据预置的节点清单确定第一记录数据，包括：根据预置的节点清单确定目标节点，其中，目标节点为不需要插入转换算子的计算节点；确定目标节点对应的第一权重数据，其中，权重数据包括第一权重和第一权重梯度；按照指定格式对第一权重梯度和第一权重进行修改，以生成第一记录数据。

8、可选的，根据预置的节点清单确定目标节点，包括：获取训练图中各计算节点，并确定各计算节点对应的节点类型；确定节点清单包含中的目标节点类型；根据目标节点类型对各节点类型进行筛选，以获取与目标节点类型匹配的计算节点作为目标节点。

9、可选的，根据训练图建立优化器的权重联动关系，包括：识别训练图中的各优化器以及优化器联动关系；读取各优化器的输入参数以确定各优化器对应的第二权重数据；将第二权重数据与优化器联动关系相结合以生成权重联动关系。

10、可选的，根据权重联动关系确定第二记录数据，包括：基于第一权重梯度对权重联动关系进行修改，以生成第二记录数据。

11、可选的，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果，包括：确定发送数据中指定节点的权重张量；当权重张量位于第一记录数据或第二记录数据时，将指定节点反变换回原始形状，以生成训练图处理结果。

12、根据本发明的另一方面，提供了一种训练图处理方法，该装置包括：

13、第一记录数据确定模块，用于获取训练图，根据预置的节点清单确定第一记录数据；

14、第二记录数据确定模块，用于根据训练图建立优化器的权重联动关系，根据权重联动关系确定第二记录数据；

15、训练图处理结果生成模块，用于当检测到发送数据时，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果。

16、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

17、至少一个处理器；以及

18、与所述至少一个处理器通信连接的存储器；其中，

19、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种训练图处理方法。

20、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种训练图处理方法。

21、本发明实施例的技术方案，通过节点清单确定不需要插入转换算子的权重或权重梯度以生成第一记录数据，通过训练图建立优化器的权重联动关系，进而生成第二记录数据，当检测到发送数据时可以通过判断权重张量实现对第一记录数据和第二记录数据的修改，最终生成训练图处理结果，避免芯片在与第三方框架对接时因为格式不匹配而出现的格式转换算子数量过多，模型训练效率低的问题，提升了训练性能。

22、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种训练图处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取训练图，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据预置的节点清单确定第一记录数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据预置的节点清单确定目标节点，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述训练图建立优化器的权重联动关系，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述权重联动关系确定第二记录数据，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据所述发送数据、所述第一记录数据和所述第二记录数据生成训练图处理结果，包括：

8.一种训练图处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本发明公开了一种训练图处理方法、装置、设备及存储介质。包括：获取训练图，根据预置的节点清单确定第一记录数据；根据训练图建立优化器的权重联动关系，根据权重联动关系确定第二记录数据；当检测到发送数据时，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果。通过节点清单确定不需要插入转换算子的权重或权重梯度以生成第一记录数据，通过训练图建立优化器的权重联动关系，进而生成第二记录数据，当检测到发送数据时可以通过判断权重张量实现对第一记录数据和第二记录数据的修改，最终生成训练图处理结果，避免芯片在与第三方框架对接时因为格式不匹配而出现的格式转换算子数量过多，模型训练效率低的问题，提升了训练性能。

技术研发人员：万学磊,王正俊,田野
受保护的技术使用者：上海燧原科技有限公司
技术研发日：
技术公布日：2024/1/15