算子融合方法及装置、电子设备、计算机可读介质与流程

本公开涉及计算机，特别涉及一种算子融合方法及装置、电子设备、计算机可读介质。

背景技术：

1、计算图(computational graph)是一种用于描述函数的有向图，已经被广泛应用在各类深度学习框架(例如，tensorflow和onnx等)中。通常情况下，计算图需要经过编译，才能生成可以在硬件上运行的指令流。

2、在相关技术中，编译器在划分子图之后，还可以通过人工方式对子图中的某些算子进行融合，将融合后的子图作为一个执行单元执行相应的指令，以达到减少片上存储、加快执行速度的目的。

3、然而，由于算子种类较多，算子的组合方式复杂多样，且算子参数存在多种选择，通过人工方式进行组合编译效率较低，且无法保障获得较优的处理能力。

技术实现思路

1、本公开提供一种基于众核系统的算子融合方法及装置、电子设备、计算机可读介质。

2、第一方面，本公开提供了一种算子融合方法，该算子融合方法包括：根据预设的算子融合模式集合，从指定计算图的多个子图中确定出目标子图，所述算子融合模式集合中包括至少一种算子融合模式，所述目标子图包括待融合的多个第一算子；获取所述目标子图的执行信息，所述目标子图的执行信息表征与所述目标子图的执行过程相关联的信息；根据与所述目标子图对应的算子融合模式、所述目标子图的执行信息和预设的融合执行机制，确定所述目标子图的执行策略；其中，所述执行策略用于生成指示处理核心执行所述目标子图的指令；所述执行策略包括融合子块的信息、所述融合子块的执行顺序和所述融合子块对应的处理核心的信息，所述融合子块是根据对应的算子融合模式对多个所述第一算子进行融合形成的融合算子进行划分获得的子块。

3、第二方面，本公开提供了一种算子融合装置，该算子融合装置包括：子图确定模块，被配置为根据预设的算子融合模式集合，从指定计算图的多个子图中确定出目标子图，所述算子融合模式集合中包括至少一种算子融合模式，所述目标子图包括待融合的多个第一算子；获取模块，被配置为获取所述目标子图的执行信息，所述目标子图的执行信息表征与所述目标子图的执行过程相关联的信息；策略确定模块，被配置为根据与所述目标子图对应的算子融合模式、所述目标子图的执行信息和预设的融合执行机制，确定所述目标子图的执行策略；其中，所述执行策略用于生成指示处理核心执行所述目标子图的指令；所述执行策略包括融合子块的信息、所述融合子块的执行顺序和所述融合子块对应的处理核心的信息，所述融合子块是根据对应的算子融合模式对多个所述第一算子进行融合形成的融合算子进行划分获得的子块。

4、第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的算子融合方法。

5、第四方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的算子融合方法。

6、本公开所提供的实施例，通过预设的算子融合模式集合，能够快捷地识别出需要进行算子融合的目标子图，进而根据目标子图对应的算子融合模式、融合执行机制以及目标子图的执行信息，能准确地确定目标子图的执行策略，该方案在确定目标子图的执行策略过程中，实现了对目标子图中的第一算子的自动融合，处理核心在根据该执行策略生成的指令执行子图的计算任务时，减少对片上存储资源的占用，加快对计算任务的执行速度，从而有效提高处理能力。

7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种算子融合方法，其特征在于，包括：

2.根据权利要求1所述的算子融合方法，其特征在于，所述目标子图的执行信息包括算子特征信息、算子计算量信息，以及可用核心信息，所述可用核心信息指示用于执行所述指定计算图的众核系统中可用的核心；

3.根据权利要求1所述的算子融合方法，其特征在于，所述目标子图还包括：不进行融合的第二算子；

4.根据权利要求1-3中任意一项所述的算子融合方法，其特征在于，所述目标子图的执行策略由预设的策略生成模型根据与所述目标子图对应的算子融合模式、所述目标子图的执行信息和所述融合执行机制生成；

5.根据权利要求1所述的算子融合方法，其特征在于，所述根据预设的算子融合模式集合，从指定计算图的多个子图中确定出目标子图，包括：

6.根据权利要求1所述的算子融合方法，其特征在于，所述根据与所述目标子图对应的算子融合模式、所述目标子图的执行信息和预设的融合执行机制，确定所述目标子图的执行策略之后，还包括：

7.根据权利要求6所述的算子融合方法，其特征在于，所述将所述目标子图对应的指令发送至指定的处理核心之后，还包括：

8.根据权利要求7所述的算子融合方法，其特征在于，所述根据与所述目标子图对应的算子融合模式、所述目标子图的执行信息和预设的融合执行机制，确定所述目标子图的执行策略之后，还包括：

9.一种算子融合装置，其特征在于，包括：

10.一种电子设备，包括：

11.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现如权利要求1-8中任一项所述的算子融合方法。

技术总结
本公开提供了一种算子融合方法及装置、电子设备、计算机可读介质，该方法包括：根据预设的算子融合模式集合，从指定计算图的多个子图中确定出目标子图；获取目标子图的执行信息；根据与目标子图对应的算子融合模式、目标子图的执行信息和预设的融合执行机制，确定目标子图的执行策略。根据本公开的实施例能够快捷地识别出需要进行算子融合的目标子图，并准确地确定目标子图的执行策略，以便处理核心在根据该执行策略生成的指令执行子图的计算任务时，减少对片上存储资源的占用，加快对计算任务的执行速度，从而有效提高处理能力。

技术研发人员：徐茂轩,薛冰
受保护的技术使用者：北京灵汐科技有限公司
技术研发日：
技术公布日：2024/1/15