运算装置及其操作方法和机器可读存储介质与流程

本发明涉及一种电子装置，且特别涉及一种运算装置及其操作方法和机器可读存储介质。

背景技术：

1、诸如人工智能（artificial intelligence，ai）芯片等运算装置可以提供巨大算力。运算装置的巨大算力源于内部大量的硬件执行单元（execution unit，eu，或称执行核）。每一个执行单元通常包含多个计算核，例如整数（integer，int）计算核、浮点数（floating point，fp）计算核、张量核（tensor core）和/或矢量核（vector core）。通过编程将各种类型的计算核进行组织，运算装置可以支持通用计算、科学计算和神经网络计算。

2、在许多运算任务场景中，不同执行核使用同一个张量。现有作法是，将相同张量完整复制于（加载至）不同执行核内。因为每个执行核所缓存的张量是一样的，导致这些执行核内的存储空间的浪费。

3、须注意的是，“背景技术”段落的内容是用来帮助了解本发明。在“背景技术”段落所揭露的部分内容（或全部内容）可能不是所属技术领域的技术人员所知道的技术。在“背景技术”段落所揭露的内容，不代表该内容在本发明申请前已被所属技术领域的技术人员所知悉。

技术实现思路

1、本发明是针对一种运算装置及其操作方法和机器可读存储介质，以执行运算任务。

2、在根据本发明的实施例中，所述运算装置包括第一执行核以及第二执行核。第一执行核包括第一张量交换缓冲电路以及至少一个第一计算核，其中第一张量交换缓冲电路耦接至所述至少一个第一计算核。第二执行核包括第二张量交换缓冲电路以及至少一个第二计算核，其中第二张量交换缓冲电路耦接至所述至少一个第二计算核。第二张量交换缓冲电路通过专用传输线耦接至第一张量交换缓冲电路，其中所述专用传输线专用于第一张量交换缓冲电路与第二张量交换缓冲电路之间的数据传输。

3、在根据本发明的实施例中，所述操作方法包括：由第一张量交换缓冲电路在第一时间加载运算任务的第一对应张量的第一部分数据；由所述至少一个第一计算核在第一时间后的第二时间从第一张量交换缓冲电路取用第一部分数据，以执行运算任务的第一迭代；将第一部分数据在第二时间后的第三时间从第一张量交换缓冲电路通过专用传输线移动至第二张量交换缓冲电路，其中所述专用传输线专用于第一张量交换缓冲电路与第二张量交换缓冲电路之间的数据传输；以及由所述至少一个第二计算核在第三时间后的第四时间从第二张量交换缓冲电路取用第一部分数据以执行运算任务的第二迭代。

4、在根据本发明的实施例中，所述机器可读存储介质用于存储非暂时性机器可读指令。当所述非暂时性机器可读指令由计算机执行时，可以实现所述操作方法。

5、基于上述，在执行运算任务之前，运算任务的对应张量可以被预加载在张量交换缓冲电路。详而言之，所述对应张量可以被切分为多个部分数据，而不同部分数据可以被预加载在不同执行核的不同张量交换缓冲电路。因此，所述运算装置可以有效避免执行核内的存储空间的浪费。在运算任务的不同迭代之间，任何一个执行核的张量交换缓冲电路可以将自己暂存的部分数据通过专用传输线移动至另一个（下一个）执行核的张量交换缓冲电路，以便于这些执行核去执行运算任务的下一个迭代。因此，在不浪费执行核内的存储空间的情况下，不同执行核可以使用同一个对应张量去共同执行同一个运算任务。

技术特征：

1. 一种运算装置，其特征在于，所述运算装置包括：

2.根据权利要求1所述的运算装置，其特征在于，所述运算装置包括多个执行核，所述多个执行核包括所述第一执行核和所述第二执行核，所述多个执行核的每一个包括张量交换缓冲电路，以及所述多个执行核的所述张量交换缓冲电路相互串接为一个闭环。

3.根据权利要求1所述的运算装置，其特征在于，

4. 根据权利要求3所述的运算装置，其特征在于，

5.根据权利要求1所述的运算装置，其特征在于，所述至少一个第一计算核包括第一张量核或第一矢量核，以及所述至少一个第二计算核包括第二张量核或第二矢量核。

6. 根据权利要求1所述的运算装置，其特征在于，

7. 根据权利要求6所述的运算装置，其特征在于，

8.根据权利要求6所述的运算装置，其特征在于，

9.根据权利要求8所述的运算装置，其特征在于，

10.一种运算装置的操作方法，其特征在于，所述运算装置包括第一执行核以及第二执行核，所述第一执行核包括第一张量交换缓冲电路以及至少一个第一计算核，所述第一张量交换缓冲电路耦接至所述至少一个第一计算核，所述第二执行核包括第二张量交换缓冲电路以及至少一个第二计算核，所述第二张量交换缓冲电路耦接至所述至少一个第二计算核，所述操作方法包括：

11.根据权利要求10所述的操作方法，其特征在于，所述运算装置包括多个执行核，所述多个执行核包括所述第一执行核和所述第二执行核，所述多个执行核的每一个包括张量交换缓冲电路，以及所述多个执行核的所述张量交换缓冲电路相互串接为一个闭环。

12.根据权利要求10所述的操作方法，其特征在于，所述至少一个第一计算核包括第一张量核或第一矢量核，以及所述至少一个第二计算核包括第二张量核或第二矢量核。

13. 根据权利要求10所述的操作方法，其特征在于，所述操作方法还包括：

14. 根据权利要求13所述的操作方法，其特征在于，所述第一执行核还包括第一加载存储单元，所述第一加载存储单元耦接至所述第一张量交换缓冲电路，所述第二执行核还包括第二加载存储单元，所述第二加载存储单元耦接至所述第二张量交换缓冲电路，所述操作方法还包括：

15.根据权利要求14所述的操作方法，其特征在于，所述第一执行核还包括第一输入缓冲器，所述第一输入缓冲器耦接于所述第一加载存储单元和所述至少一个第一计算核之间，所述第二执行核还包括第二输入缓冲器，所述第二输入缓冲器耦接于所述第二加载存储单元和所述至少一个第二计算核之间，所述操作方法还包括：

16.根据权利要求14所述的操作方法，其特征在于，所述第一张量交换缓冲电路包括张量交换缓冲器以及张量交换控制器，所述张量交换控制器耦接至所述张量交换缓冲器，所述操作方法还包括：

17.一种机器可读存储介质，用于存储非暂时性机器可读指令，其特征在于，当所述非暂时性机器可读指令由计算机执行时可以实现权利要求10-16任一项所述的操作方法。

技术总结
本发明提供一种运算装置及其操作方法和机器可读存储介质。运算装置包括第一执行核以及第二执行核。第一执行核包括第一张量交换缓冲电路以及至少一个第一计算核。第二执行核包括第二张量交换缓冲电路以及至少一个第二计算核。在运算任务的不同迭代之间，第一张量交换缓冲电路可以将自己暂存的部分数据通过专用传输线移动至第二张量交换缓冲电路，其中所述专用传输线专用于第一张量交换缓冲电路与第二张量交换缓冲电路之间的数据传输。因此，在不浪费执行核内的存储空间的情况下，不同执行核可以使用同一个对应张量去共同执行同一个运算任务，所述运算装置可以有效避免执行核内的存储空间的浪费。

技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：北京壁仞科技开发有限公司
技术研发日：
技术公布日：2024/3/11