用于神经网络的高精度矩阵乘法的制作方法

至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新技术训练神经网络的处理器或计算系统。

背景技术：

1、诸如可能涉及矩阵乘法的各种数学运算依赖于高精度数据。在许多情况下，这些运算用于对时间敏感的运算。虽然可以使用加速的硬件来执行这些运算，但该硬件可能具有有限的精度，或者可能只能支持比输入数据可用的精度低的精度的值。在前的尝试允许将高精度的值分解为较低精度的值，然后在执行运算后尝试恢复较高的精度，但这些方法可能会失去至少某些值或值的范围的精度，因此不会产生可靠、高精度的结果。

技术实现思路

技术特征：

1.一种处理器，包括：

2.根据权利要求1所述的处理器，其中所述一个或更多个电路用于通过对具有所述更高的精度的一个或更多个输入值执行一个或更多个分解运算来确定所述一个或更多个经缩放精度的运算数。

3.根据权利要求2所述的处理器，其中所述一个或更多个电路进一步用于对各个输入值执行多个分解，其中相应的分解包括将先前值舍入为分解值，从所述先前值减去所述分解值以获取差值，然后将缩放因子应用于所述差值。

4.根据权利要求3所述的处理器，其中所述一个或更多个电路进一步用于使用来自所述多个分解中的每一者的所述分解值来执行所述一个或更多个矩阵数学运算。

5.根据权利要求3所述的处理器，其中所述一个或更多个电路进一步用于将逆缩放因子应用于所述一个或更多个矩阵数学运算的一个或更多个结果，以生成具有所述更高的精度的所述一个或更多个未缩放精度的结果。

6.根据权利要求1所述的处理器，其中所述缩放因子被应用到用于所述一个或更多个矩阵数学运算的数学方程的一项或更多项，并且其中所述缩放因子是用于所述一个或更多个矩阵数学运算的多个缩放因子中的一者。

7.一种系统，包括：

8.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步用于通过对具有所述更高的精度的一个或更多个输入值执行一个或更多个分解运算来确定所述一个或更多个经缩放精度的运算数。

9.根据权利要求8所述的系统，其中所述一个或更多个处理器进一步用于对各个输入值执行多个分解，其中相应的分解包括将先前值舍入为分解值，从所述先前值减去所述分解值以获取差值，然后将缩放因子应用于所述差值。

10.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于使用来自所述多个分解中的每一者的所述分解值来执行所述一个或更多个矩阵数学运算。

11.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于将逆缩放因子应用于所述一个或更多个矩阵数学运算的一个或更多个结果，以生成具有所述更高的精度的所述一个或更多个未缩放精度的结果。

12.根据权利要求7所述的系统，其中所述缩放因子被应用到用于所述一个或更多个矩阵数学运算的数学方程的一项或更多项，并且其中所述缩放因子是用于所述一个或更多个矩阵数学运算的多个缩放因子中的一者。

13.一种方法，包括：

14.根据权利要求13所述的方法，进一步包括：

15.根据权利要求14所述的方法，进一步包括：

16.根据权利要求15所述的方法，进一步包括：

17.根据权利要求15所述的方法，进一步包括：

18.根据权利要求13所述的方法，其中所述缩放因子被应用到用于所述一个或更多个矩阵数学运算的数学方程的一项或更多项，并且其中所述缩放因子是用于所述一个或更多个矩阵数学运算的多个缩放因子中的一者。

19.一种机器可读介质，具有存储于其上的一组指令，所述指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：

20.根据权利要求19所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：

21.根据权利要求20所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：

22.根据权利要求21所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：

23.根据权利要求21所述的机器可读介质，其中所述指令如果被执行，则进一步使所述一个或更多个处理器：

24.根据权利要求19所述的机器可读介质，其中所述缩放因子被应用到用于所述一个或更多个矩阵数学运算的数学方程的一项或更多项，并且其中所述缩放因子是用于所述一个或更多个矩阵数学运算的多个缩放因子中的一者。

25.一种系统，包括：

26.根据权利要求25所述的系统，其中所述一个或更多个处理器进一步用于通过对具有所述更高的精度的一个或更多个输入值执行一个或更多个分解运算来确定所述一个或更多个经缩放精度的运算数。

27.根据权利要求26所述的系统，其中所述一个或更多个处理器进一步用于对各个输入值执行多个分解，其中相应的分解包括将先前值舍入为分解值，从所述先前值中减去所述分解值以获取差值，然后将缩放因子应用于所述差值。

28.根据权利要求27所述的系统，其中所述一个或更多个处理器进一步用于使用来自所述多个分解中的每一者的所述分解值来执行所述一个或更多个矩阵数学运算。

29.根据权利要求27所述的系统，其中所述一个或更多个处理器进一步将逆缩放因子应用于所述一个或更多个矩阵数学运算的一个或更多个结果，以生成具有所述更高的精度的所述一个或更多个未缩放精度的结果。

30.根据权利要求25所述的系统，其中所述缩放因子被应用到用于所述一个或更多个矩阵数学运算的数学方程的一项或更多项，并且其中所述缩放因子是用于所述一个或更多个矩阵数学运算的多个缩放因子中的一者。

技术总结
本公开涉及用于神经网络的高精度矩阵乘法。提供了执行数学运算的装置、系统和技术。在至少一个实施例中，对一个或更多个经缩放精度的运算数执行一个或更多个矩阵数学运算，以生成一个或更多个未缩放精度的结果，所述一个或更多个未缩放精度的结果具有比一个或更多个经缩放精度的运算数更高的精度。

技术研发人员：V·D·波德洛日纽克
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/12