可选择的高速缓存策略的制作方法

至少一个实施例涉及处理器高速缓存驱逐策略(processor cache evictionpolicies)。例如，至少一个实施例涉及使用支持应用程序可选择的高速缓存驱逐策略的处理器来使用神经网络执行推理。

背景技术：

1、应用程序的性能，诸如神经网络的训练和使用，可能会受到与处理器访问存储器相关联的瓶颈的影响。这样的应用程序和处理器的性能可以得到改善。

技术实现思路

技术特征：

1.一种处理器，包括：

2.如权利要求1所述的处理器，其中，所述一个或更多个电路用于使得至少部分地基于对所述一个或更多个神经网络的层的分析来选择所述一个或更多个高速缓存策略。

3.如权利要求1所述的处理器，其中，所述一个或更多个高速缓存策略中的第一高速缓存策略将被选择用于处理所述一种或更多个神经网络的第一层，并且所述一个或更多个高速缓存策略中的不同的一个高速缓存策略将被选择用于处理所述一个或更多个神经网络的第二层。

4.如权利要求1所述的处理器，其中，所述一个或更多个电路用于至少部分地基于对与所述一个或更多个神经网络的使用相关联的性能数据的分析来选择所述高速缓存策略中的一个或更多个高速缓存策略。

5.如权利要求1所述的处理器，其中，所述一个或更多个电路用于使得响应于来自应用程序、运行时或操作系统中的至少一个的指令来选择所述一个或更多个高速缓存策略。

6.如权利要求1所述的处理器，其中，所述一个或更多个高速缓存策略是至少部分地基于所述一个或更多个神经网络的各部分与所述一个或更多个高速缓存策略之间的映射来选择的。

7.如权利要求1所述的处理器，其中，所述一个或更多个电路用于至少部分地基于与所述一个或更多个神经网络的部分相关联的一个或更多个操作类型来选择所述一个或更多个高速缓存策略。

8.如权利要求1所述的处理器，其中，所述一个或更多个电路用于至少部分地基于所述一个或更多个神经网络的模拟使用来选择所述一个或更多个高速缓存策略。

9.一种系统，包括：

10.如权利要求9所述的系统，其中，所述处理器用于使得至少部分地基于对所述一个或更多个神经网络的层的分析来选择所述一个或更多个高速缓存策略。

11.如权利要求9所述的系统，其中，所述一个或更多个高速缓存策略中的第一高速缓存策略将被选择用于处理所述一个或更多个神经网络的第一层，并且所述一个或更多个高速缓存策略中的不同的一个缓存策略将被选择用于处理所述一个或更多个神经网络的第二层。

12.如权利要求9所述的系统，其中，所述一个或更多个处理器用于至少部分地基于对与所述一个或更多个神经网络的使用相关联的性能数据的分析来选择所述高速缓存策略中的一个或更多个高速缓存策略。

13.如权利要求9所述的系统，其中，所述一个或更多个处理器用于使得响应于来自应用程序、运行时或操作系统中的至少一个的指令来选择所述一个或更多个高速缓存策略。

14.如权利要求9所述的系统，其中，所述一个或更多个高速缓存策略包括算法或启发式方法中的至少一个，以在所述一个或更多个高速缓存中选择用于替换的数据。

15.如权利要求9所述的系统，其中，所述一个或更多个高速缓存策略是至少部分地基于所述一个或更多个神经网络的各部分与所述一个或更多个高速缓存策略之间的映射来选择的。

16.如权利要求9所述的系统，其中，所述一个或更多个处理器用于至少部分地基于与所述一个或更多个神经网络的部分相关联的一个或更多个操作类型来选择所述一个或更多个高速缓存策略。

17.一种机器可读介质，在其上存储有指令，所述指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少用于：

18.如权利要求17所述的机器可读介质，在其上存储有指令，所述指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少用于：

19.如权利要求17所示的机器可读介质，其中，所述一个或更多个处理器用于至少部分地基于对与所述一个或更多个神经网络的使用相关联的性能数据的分析来选择所述高速缓存策略中的一个或更多个高速缓存策略。

20.如权利要求17所述的机器可读介质，在其上存储有另外的指令，所述另外的指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少用于：

21.如权利要求17所述的机器可读介质，其中，所述一个或更多个高速缓存策略包括算法或启发式方法中的至少一个，以在所述一个或更多个高速缓存中选择用于替换的数据。

22.如权利要求17所述的机器可读介质，其中，所述一个或更多个高速缓存策略是至少部分地基于所述一个或更多个神经网络的各部分与所述一个或更多个高速缓存策略之间的映射来选择的。

23.如权利要求17所述的机器可读介质，在其上存储有另外的指令，所述另外的指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少用于：

24.一种方法，包括：

25.如权利要求24所述的方法，其中，至少部分地基于对所述一个或更多个神经网络的层的分析来选择所述一个或更多个高速缓存策略。

26.如权利要求24所述的方法，其中，不同的一个或更多个策略由所述处理器使用来评估所述一个或更多个神经网络的第二部分。

27.如权利要求24所述的方法，还包括：

28.如权利要求24所述的方法，其中，响应于来自应用程序、运行时或操作系统中的至少一个的指令来选择所述一个或更多个高速缓存策略。

29.如权利要求24所述的方法，其中，至少部分地基于所述一个或更多个神经网络的各部分与所述一个或更多个高速缓存策略之间的映射来选择所述一个或更多个高速缓存策略。

30.如权利要求24所述的方法，还包括：

31.如权利要求24所述的方法，其中，至少部分地基于所述一个或更多个神经网络的模拟使用来选择所述一个或更多个高速缓存策略。

技术总结
用于选择高速缓存策略的装置、系统和技术。在至少一个实施例中，系统使得至少部分地基于一个或更多个一个或更多个神经网络来选择一个或更多个高速缓存的一个或更多个高速缓存策略，以使用存储在一个或更多个高速缓存中的数据。

技术研发人员：K·德夫,S·S·纳瓦达
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/15