基于处理资源的张量修改的制作方法

文档序号:35624602发布日期:2023-10-05 20:56阅读:48来源:国知局
基于处理资源的张量修改的制作方法

至少一个实施例涉及用于修改在训练神经网络中所使用的张量的处理资源。例如,至少一个实施例涉及修改输入张量和权重张量以输出用于训练稀疏神经网络的稀疏张量的处理器或计算系统。


背景技术:

1、处理器,如图形处理单元(gpu),提供专门的处理资源,例如被优化来处理稀疏张量(例如,包含至少一个等于零的值的张量)、加快(例如,加速)处理时间并减少计算开销的硬件和软件。这种专门的处理资源有时需要张量有特定的维度来处理,但并不是所有的张量,比如用于训练神经网络的输入张量,都满足这样的要求。在一个案例中,gpu优化稀疏张量处理功能(例如,稀疏张量核心(sparse tensor core)(nvidia))可能需要稀疏张量具有2:4的结构化稀疏度,其中每4个张量的值,两个必须为0,因此,例如,有fp16(例如,半精密二进制浮点计算机数字格式)值的张量需要有是8的倍数的一个维度以及是16的倍数的另一个维度以利用加速处理。然而,神经网络可以使用具有各种维度的张量,并不是所有张量维度都符合gpu加速处理的要求。因此,需要修改张量的技术。


技术实现思路



技术特征:

1.一种处理器,包括:一个或更多个电路,用于使得至少部分地基于一个或更多个处理资源来修改一个或更多个张量的一个或更多个维度。

2.根据权利要求1所述的处理器,其中所述一个或更多个电路进一步用于使所述一个或更多个张量至少部分地基于修改后的一个或更多个张量与所述处理资源兼容。

3.根据权利要求1所述的处理器,其中:

4.根据权利要求1所述的处理器,其中:

5.根据权利要求1所述的处理器,其中:

6.根据权利要求1所述的处理器,其中:

7.根据权利要求1所述的处理器,其中:

8.一种系统,包括:

9.根据权利要求8所述的系统,其中:

10.根据权利要求8所述的系统,其中:

11.根据权利要求8所述的系统,其中:

12.根据权利要求8所述的系统,其中:

13.根据权利要求8所述的系统,其中:

14.根据权利要求8所述的系统,其中:

15.一种方法,包括:

16.根据权利要求15所述的方法,其中:

17.根据权利要求15所述的方法,其中:

18.根据权利要求15所述的方法,其中:

19.根据权利要求15所述的方法,进一步包括:

20.根据权利要求15所述的方法,进一步包括:

21.根据权利要求15所述的方法,进一步包括:

22.一种机器可读介质,其上存储有一组指令,所述一组指令如果由一个或更多个处理器执行,则使所述一个或更多个处理器至少使得:

23.根据权利要求22所述的机器可读介质,其中:

24.根据权利要求22所述的机器可读介质,进一步包括指令,所述指令如果由一个或更多个处理器执行,则进一步使所述一个或更多个处理器至少使得:

25.根据权利要求22所述的机器可读介质,其中:

26.根据权利要求22所述的机器可读介质,其中:

27.根据权利要求22所述的机器可读介质,其中:

28.根据权利要求22所述的机器可读介质,进一步包括指令,所述指令如果由一个或更多个处理器执行,则进一步使所述一个或更多个处理器至少使得:


技术总结
一种基于处理器要求修改张量的装置、系统和技术。在至少一个实施例中,修改输入张量和权重张量以满足处理资源需求。

技术研发人员:余翀,谢智浩,刘佳,N·D·艾玛特,朱晶阳,陈宥融
受保护的技术使用者:辉达公司
技术研发日:
技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1