可中断和可重启矩阵乘法指令、处理器、方法和系统与流程

本文中所描述的实施例一般涉及处理器。具体而言，本文所述的实施例一般涉及处理器中的矩阵乘法。

背景信息

许多处理器具有单指令多数据(simd)架构。此类处理器可以具有包括各种不同类型的紧缩数据指令的指令集。紧缩数据指令可以用于对多个紧缩数据元素、或多对紧缩数据元素同时和/或并行地进行操作。多个数据元素可以作为紧缩数据紧缩在一个寄存器或存储器位置内，其中寄存器或存储器位置的位被逻辑地划分为数据元素的序列。处理器可具有并行执行硬件，其响应于紧缩数据指令以同时和/或并行地对多个紧缩数据元素操作。

此类指令的一个特定示例是紧缩数据乘法指令。另一个特定示例是紧缩数据乘法和累加指令。这些指令可以在包括矩阵乘法的各种不同类型的算法中使用。与通常仅对单个数据元素或单对数据元素进行操作的标量指令相比，此类紧缩数据或simd指令通常倾向于有助于通过它们提供的simd数据并行性而改善在其中使用它们的各种算法的性能。

附图说明

通过参考以下描述以及用于说明多个实施例的附图，可最佳地理解本发明。在附图中：

图1是计算机系统的实施例的框图。

图2是执行矩阵乘法指令的实施例的方法的实施例的流程框图。

图3是用于矩阵乘法指令的一组合适的操作数的第一示例实施例的框图。

图4是用于矩阵乘法指令的一组合适的操作数的第二示例实施例的框图。

图5是可以用于执行或实现矩阵乘法指令的矩阵乘法和累加执行单元的详细示例实施例的框图。

图6是分片的一个示例实施例的框图。

图7是图示根据实施例的快速路径和慢速路径处理的流程框图。

图8a-c是适用于执行本文公开的矩阵乘法指令的实施例的三个不同实施例处理器的框图。

图9a是图示有序流水线的实施例以及寄存器重命名的乱序发布/执行流水线的实施例的框图。

图9b是处理器核的实施例的框图，该处理器核包括耦合到执行引擎单元的前端单元，并且前端单元和执行引擎单元两者都耦合到存储器单元。

图10a是单个处理器核以及它与管芯上互连网络的连接及其第二级(l2)高速缓存的本地子集的实施例的框图。

图10b是图10a的处理器核的部分的展开图的实施例的框图。

图11是可具有多于一个的核、可具有集成存储器控制器并且可具有集成图形器件的处理器的实施例的框图。

图12是计算机架构的第一实施例的框图。

图13是计算机架构的第二实施例的框图。

图14是计算机架构的第三实施例的框图。

图15是计算机架构的第四实施例的框图。

图16是根据本发明的实施例的使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。

具体实施方式

本文公开了矩阵乘法指令的实施例、用于执行指令的处理器的实施例、当执行指令时由处理器执行的方法的实施例、包含用于执行指令的一个或多个处理器的系统的实施例、以及存储或以其他方式提供指令的机器可读介质的实施例。在一些实施例中，处理器可具有：解码单元或用于接收指令和/或对该指令解码的其他逻辑，和执行单元或用于执行该指令的其他逻辑。在以下描述中，阐述了众多特定细节(例如，特定指令操作、指令参数、数据格式、指定矩阵的方式、处理器配置、微架构细节、操作序列等)。然而，可在没有这些特定细节的情况下实施实施例。在其他实例中，未详细示出公知的电路、结构和技术，以避免使对本说明书的理解模糊。

图1是计算机系统100的实施例的框图。在各实施例中，计算机系统可以表示台式计算机、膝上型计算机、笔记本计算机、工作站、服务器或其他计算机系统。计算机系统包括处理器102和系统存储器120。处理器与系统存储器可以通过常规的耦合机制(例如，通过一个或多个总线、中枢、存储器控制器、芯片组组件等等)彼此耦合或以其他方式彼此通信。系统存储器可包括一个或多个不同的存储器设备和/或一种或多种不同类型的存储器。

在一些实施例中，处理器102可以是通用处理器(例如，台式计算机、膝上型计算机或其他计算机中所使用类型的通用微处理器或中央处理单元(cpu))。替代地，该处理器可以是专用处理器。合适的专用处理器的示例包括但不限于，网络处理器、通信处理器、密码处理器、图形处理器、协处理器以及数字信号处理器(dsp)。在一些实施例中，处理器可以被设置在至少一个集成电路或半导体管芯上。在一些实施例中，处理器可以包括至少一些硬件(例如，晶体管、电容器、二极管、电路、存储微代码的非易失性存储器、等等)。

在操作期间，处理器102可接收矩阵乘法指令106。例如，可通过总线或其他互连从系统存储器取出或以其他方式接收指令。指令可表示宏指令、机器代码指令、机器语言指令或处理器的指令集中的其他指令或控制信号。在一些实施例中，矩阵乘法指令可以是不另外执行矩阵累加的矩阵乘法指令。在其他实施例中，矩阵乘法指令可以是还利用累加矩阵执行矩阵累加的矩阵乘法指令。除非以其他方式指定，术语矩阵乘法指令在本文中宽泛地/一般地使用以指代这些变型中的任一个。

指令106可以指定(例如，显式地指定)或以其他方式指示(例如，隐式地指示)其中存储第一源矩阵(a)124的第一存储位置122，可以指定或以其他方式指示其中存储第二源矩阵(b)128的第二存储位置126，并且可以指定或以其他方式指示其中将存储响应于指令的结果矩阵(c)132的第三存储位置130。如所示，在一些实施例中，第一、第二和第三存储位置中的每一个可以可选地在系统存储器120中。

第一、第二和第三存储位置122、126、130在不同实施例中可以以不同方式指示。作为示例，在一些实施例中，指令106可以提供第一和第二源和结果矩阵指示符114。例如，在存储位置在系统存储器中的情况下，这些指示符可以表示存储器指针或其他存储器地址信息。不同类型的存储器地址信息适用于可以使用的不同类型的寻址模式。取决于特定寻址模式，在一些实施例中，来自指示符114的此类存储器地址信息可以与其他存储器地址信息(例如，在数据段寄存器、扩展段寄存器、或其他寄存器中、或在指令的编码中、或其他地方)组合以获得用于访问系统存储器的存储器地址。

如所示，在一些实施例中，这些指示符114可以可选地存储在处理器的寄存器的集合112(例如，通用寄存器或标量寄存器)中。寄存器中的每一个可表示可操作以存储数据的管芯上(或集成电路上的)存储位置。寄存器可表示架构上可见或对软件和/或编程者可见的架构寄存器，并且/或者是由处理器的指令集中的指令指示以标识操作数的寄存器。这些架构寄存器与给定微架构中的其他非架构寄存器(例如，临时寄存器、重排序缓冲器、引退寄存器等)形成对照。可在不同的微架构中、以不同方式实现这些寄存器，并且它们不限于任何特定类型的设计。合适类型的寄存器的示例包括但不限于，专用物理寄存器、使用寄存器重命名的动态分配的物理寄存器以及它们的组合。

在一些情况下，指令106可以可选地显式地指定存储指示符114中的一个或多个的寄存器112中的一个或多个。例如，指令可以可选地具有各自可操作以指定寄存器中的一个的一个或多个源和/或目的地操作数指定字段(例如，指令编码中的连续或非连续的位)。作为另一示例，存储指示符114中的一个或多个的寄存器112中的一个或多个可以可选地对于指令是隐式的(例如，对于指令的操作码是隐式的)。例如，当处理器识别出该指令时(例如，当其对操作码解码时)，其可以隐式地或固有地理解以查看这些隐式的寄存器，而无需指令具有用于显式地指定寄存器的任何非操作码位。替代地，这些指示符114中的一个或多个可以可选地存储在另一个存储位置中。

在一些实施例中，指令还可以可选地提供一个或多个矩阵维度指示符116，但是这不是必须的。矩阵维度指示符116可以指定或以其他方式指示与第一源矩阵(a)124、第二源矩阵(b)128、以及在一些情况下可选地结果矩阵(c)132相关联的维度(例如，行的数量、列的数量、维数(dimensionality)、或阶)。作为一个特定示例，可以存在三个不同矩阵维度指示符以指定或以其他方式指示与第一源矩阵(a)和第二源矩阵(b)相关联的三个不同维度。如下文将进一步说明的，将被相乘的第一和第二源矩阵以及结果矩阵(c)的完整维数可以通过仅三个不同维度被完整地指定(例如，因为在矩阵乘法中，源矩阵的一个维度是相同的，并且结果矩阵(c)的维度取决于源矩阵的维度)。有利地，矩阵维度指示符可以允许指令用于对灵活的和/或任意尺寸的矩阵进行操作，矩阵的维度可以通过矩阵维度指示符来提供。可以指定各种不同尺寸的矩阵。此外，矩阵的尺寸的范围可以从相对小到潜在地极度大，诸如例如，当在现有计算机中广泛使用的类型的现有技术的通用微处理器上相乘时，可以在从少于秒到多个小时、天、周、月或更多的范围的时间中进行相乘的矩阵。

替代地，代替支持完全灵活的和/或任意尺寸的矩阵，可以可选地支持一组或多组预定和/或固定尺寸的矩阵。在这种情况下，单个指示符116可以可选地用于选择多个此类组的预定和/或固定尺寸的矩阵中的任一个。作为示例，可以可选地支持两个、三个、四个、八个、十六个、或另一些数量的不同的预定和/或固定尺寸的矩阵。作为另一选项，可以可选地支持仅单个组的预定和/或固定尺寸的矩阵维度，并且其可以可选地对于指令(例如，对于其操作码)是固定或隐式的。在这种情况下，矩阵维度指示符116可以可选地被完全省略。对于此类实施例，软件算法可以将较大的矩阵分成一组较小的固定尺寸的矩阵以用于指令，并且软件算法可以负责将结果合并在一起。使用该组预定和/或固定尺寸的矩阵可以有助于简化实现和/或可以允许对执行逻辑的优化，但是这也可能倾向于降低指令的灵活性。

再次参照图1，处理器包括解码单元或解码器108。解码单元可接收矩阵乘法指令并对矩阵乘法指令解码。解码单元可输出反映、表示相对较高级的矩阵乘法指令和/或从相对较高级的矩阵乘法指令导出的一个或多个相对较低级的指令或控制信号(例如，一个或多个微指令、微操作、微代码进入点、经解码的指令或控制信号等)。在一些实施例中，解码单元可以包括用于接收矩阵乘法指令的一个或多个输入结构(例如端口、互连、接口)、与输入结构耦合用于识别并解码矩阵乘法指令的指令识别和解码逻辑、以及与指令识别和解码逻辑耦合用于输出较低级指令或控制信号的一个或多个输出结构(例如端口、互连、接口)。可使用各种不同的机制来实现解码单元，各种不同的机制包括但不限于，微代码只读存储器(rom)、查找表、硬件实现方式、可编程逻辑阵列(pla)和适用于实现解码单元的其他机制。在一些实施例中，解码单元可以被包括在管芯上(例如，在具有执行单元110的管芯上)。在一些实施例中，解码单元可包括至少一些硬件(例如，晶体管、集成电路、或管芯上固件等)。

在一些实施例中，作为直接将矩阵乘法指令提供给解码单元的替代方案，可以任选地使用指令仿真器、变换器、变形器、解释器或其他指令转换模块。各种类型的指令转换模块可以以软件、硬件、固件、或其组合实现。在一些实施例中，指令转换模块可位于处理器外部，诸如例如，在分开的管芯上和/或存储器中(例如，作为静态的、动态的或运行时仿真模块)。作为示例，指令转换模块可接收矩阵乘法指令，该矩阵乘法指令可以是第一指令集中的指令，并且指令转换模块可将矩阵乘法指令仿真、变换、变形、解释或以其他方式转换为可以是第二不同指令集中的一个或多个对应的中间指令或控制信号。可将第二指令集中的这一个或多个中间指令或控制信号提供给解码单元(例如，解码单元108)，该解码单元可将它们解码为可由处理器的原生硬件(例如，一个或多个执行单元)执行的一个或多个较低级的指令或控制信号。

再次参考图1，执行单元110与解码单元108和寄存器112耦合。在一些实施例中，执行单元可以在管芯或集成电路上(例如，在具有解码单元的管芯或集成电路上)。该执行单元可接收表示矩阵乘法指令106和/或从该矩阵乘法指令106导出的一个或多个经解码或以其他方式转换的指令或控制信号。在部署和使用期间，执行单元还可以可操作以与系统存储器120耦合。执行单元还可以接收第一源矩阵(a)124和第二源矩阵(b)128作为输入。在矩阵乘法指令还用于执行累加的实施例中，执行单元还可以接收存储在第三存储位置130中的累加矩阵，其中结果矩阵(c)132将存储在第三存储位置130中。在这种情况下，第三存储位置可以用作指令的源/目的地操作数，因为其可以初始地用作用于累加矩阵的源操作数，并且可以随后用作用于结果矩阵(c)132的目的地操作数。

执行单元110可以可操作以响应于矩阵乘法指令106和/或作为矩阵乘法指令106的结果(例如，响应于从指令解码的一个或多个指令或控制信号和/或响应于被解码的指令和/或响应于被提供给解码器的指令)而将结果矩阵(c)132存储在由指令指示的第三或目的地存储位置130中。在一些实施例中，在矩阵乘法指令不执行累加的情况下，结果矩阵(c)132可以表示第一源矩阵(a)124与第二源矩阵(b)128的矩阵乘法乘积。矩阵乘法涉及将两个输入矩阵相乘以产生另一个输出矩阵。在其他实施例中，在矩阵乘法指令不执行累加的情况下，可以将附加的累加矩阵加到矩阵乘法乘积，并且结果矩阵(c)132可以表示第一源矩阵(a)124与第二源矩阵(b)128的乘法乘积加上累加矩阵。通常，累加矩阵可以是恰好在执行矩阵乘法指令之前初始地存储在第三存储位置130(其中随后将存储结果矩阵(c))中的矩阵，并且当矩阵乘法指令完成时，结果矩阵(c)可以存储在累加矩阵之上(并且可能成为用于另一个矩阵乘法指令的累加矩阵)。

在一些实施例中，可以可选地为具有矩阵累加的矩阵乘法指令和不具有矩阵累加的矩阵乘法指令提供不同的操作码。在其他实施例中，相同的操作码可以可选地用于两种变型，并且指令可以具有用于指示指令将在具有还是不具有矩阵累加的情况下执行的一个或多个位或字段。例如，单个位可以具有用于指示指令将在不具有矩阵累加的情况下执行的第一值(例如，二进制零)，或用于指示指令将在具有矩阵累加的情况下执行的第二值(例如，二进制一)。相反的二进制约定也是合适的。至少在概念上，该位可以表示可以与累加矩阵相乘的系数以导致累加(例如，在位是二进制一的情况下)或不导致累加(例如，在位是二进制零的情况下)，但是在实践中实际上可以不执行此类乘法。

如上文讨论的，在一些实施例中，可以可选地允许第一源矩阵(a)124和第二源矩阵(b)128的尺寸是灵活的或任意的。此外，在一些实施例中，第一源矩阵(a)、第二源矩阵(b)和结果矩阵(c)可以全部潜在地/可选地是大的、或甚至极度大的。主要取决于矩阵的尺寸，当在现有计算机中广泛使用的类型的现有技术的通用微处理器上执行时，完成指令所需的时间可以从相对短的时间段(例如，大约秒到分钟)到长的或甚至极度长的时间段(例如，大约从多个小时到月或更多)的范围，但是本发明的范围不限于任何特定的时间量。

尤其当完成时间是相对长的时，在矩阵乘法指令完成之前，错误、异常、中断、陷入、或其他异常状况、或其他中断可能发生。如本文中使用的，“异常状况”宽泛地指代各种不同类型的错误、异常、陷入、中止等等，其可能使矩阵乘法指令的执行停止或中断。如本文中使用的，“中断”宽泛地指代这些类型的异常状况，以及可能地其他类型的事件或状况，其可能使矩阵乘法指令的执行停止或以其他方式中断。作为示例，在异常被检测到的情况下(例如，响应于特权违反、页错误、存储器保护错误等等)，可以停止矩阵乘法指令的执行，并且可以作出到处理程序例程(例如，操作系统的模块)的自动生成的控制流转移。

在一些实施例中，为了帮助考虑到此类异常状况或其他中断的可能性，矩阵乘法指令106可以可操作以是可中断和/或可重启的。在一些实施例中，如果在矩阵乘法指令完成并提交之前遇到中断，则矩阵乘法指令可以可操作以使执行单元110和/或处理器102存储完成进展指示符118。完成进展指示符可以宽泛地表示可以用于指示(例如，向执行单元和/或处理器)在或大约中断的时间处在执行矩阵乘法指令中已经取得多少进展和/或朝矩阵乘法指令的完成已经实现的工作的水平或量的各种不同类型的值中的任一个。在不同的实施例中，该量可以按不同的方式来表达。例如，完成进展指示符可以指示在将第一与第二源矩阵相乘中的将已经完成的进展的量作为已经执行的乘法的量和/或基于此类乘法已经被存储到存储器的结果数据的量。作为示例，完成进展指示符可以表示随着计算被执行而被增加或以其他方式更新的值、反映完成进展的等式的求值、进展或完成的水平的估计、或可以可操作以指示完成进展的另一个值或数据中的任何一个或多个。当矩阵乘法被执行时，完成进展指示符可以表示当矩阵乘法在完成之前停止(例如，由于异常或其他中断)时可以被存储的矩阵乘法指令的目的地操作数。随后，当矩阵乘法指令被恢复或重启时，完成进展指示符可以表示可以被读取和使用以重启或恢复计算的矩阵乘法指令的源操作数。在一些实施例中，可以在基于和/或取决于完成进展指示符的点处恢复计算。

在一个示例实施例中，在矩阵乘法指令的执行之前，完成进展指示符118可以被初始化为开始值。随着矩阵乘法计算被指令执行，完成进展指示符可以被改变或调节(例如，基本上持续地或在分离的时间点处)。如果矩阵乘法指令被完整地执行到完成，则完成进展指示符可以具有最终或停止值。在这种成功的完成后，可以允许矩阵乘法指令引退或以其他方式完成，并且可以允许指令指针前进到要执行的下一指令。然而，如果在完成进展指示符的开始值与停止值之间的任何中间点处，中断发生，则可以存储完成进展指示符的当前中间值(例如，在开始值与停止值之间的某个地方)。稍后，当恢复矩阵乘法指令时，完成进展指示符可以被检取并且使用以在计算停止的地方重启它们。在一些情况下，开始值可以是零，并且完成进展指示符可以随着计算被执行而被增加。在其他情况下，开始值可以是指示要进行的进展和/或要执行的工作的总量的值，并且完成进展指示符可以随着计算被执行而被减少。

如所示，在一些实施例中，完成进展指示符118可以可选地存储在寄存器112中的一个中。矩阵乘法106可以指定(例如，通过指令的一个或多个位或字段显式地指定)或以其他方式指示(例如，隐式地指示)这种寄存器。替代地，完成进展指示符可以可选地存储在系统存储器中、或在另一个存储位置中。

在一些实施例中，如果这种中断发生，则还可以存储中间或未完成的计算结果。通常，此类结果可以存储在系统存储器120中(例如，在结果矩阵(c)132中)。当指令被稍后恢复时，这些中间或未完成的计算结果可以被接收并使用以在计算停止的地方重启它们。

执行单元110和/或处理器102可包括可操作以执行矩阵乘法指令和/或存储响应于矩阵乘法指令和/或作为其结果(例如，响应于从该矩阵乘法指令解码的一个或多个指令或控制信号)的结果的具体的或特定的逻辑(例如，晶体管、集成电路或其他硬件和/或固件(例如，存储在非易失性存储器中的指令)和/或软件)。在一些实施例中，执行单元可以包括至少一些硬件，并且可以包括主要是潜在地与一些软件组合的硬件和/或固件。在一些实施例中，执行单元可以包括二维阵列的融合乘法器-加法器电路。可以使用各种不同的相对量的电路或其他硬件和/或微代码或固件(例如，取决于特定实现方式的特定成本和性能目标)。例如，相对更多的硬件可以用于帮助提供相对更高性能的方法，或者相对更多的固件可以用于帮助提供相对更低成本的方法。

有利地，矩阵乘法指令可以有助于在单个指令的执行的范围内提供相对高水平的算术处理。甚至与当前的宽simd指令相比，矩阵乘法指令通常可以提供显著更多的算术操作。这可以有助于在显著更大数量的算术操作上分摊取出和解码指令、以及检取和存储数据的相关联的能量消耗。这进而可以有助于减少每个算术处理单元的能耗。此外，在一些实施例中，矩阵乘法指令可以是可中断和/或可重启的。例如，当指令被停止(例如，由于异常或其他异常状况或其他中断)时，可以存储完成进展指示符118和中间或未完成的计算结果。这可以有助于确保面对可能的中断时的继续的向前进展，并且可以倾向于对于长的或极度长的完成时间的矩阵乘法指令是尤其有利的。

为了避免使描述模糊，已示出和描述了相对简单的处理器102。然而，处理器可任选地包括其他处理器组件。例如，各种不同的实施例可包括针对图9-11中的任一图所示和所述的组件的各种不同的组合和配置。处理器的所有组件可耦合在一起以允许它们按预期操作。作为示例，考虑图9b，指令高速缓存934可以高速缓存指令，指令取出单元938可以取出指令，解码单元940可以对指令解码，调度器单元956可以调度相关联的操作，执行单元962可以执行指令，引退单元954可以引退指令，等等。

图2是执行矩阵乘法指令的实施例的方法233的实施例的流程框图。在各种实施例中，可由处理器、指令处理装置、数字逻辑设备或集成电路来执行该方法。在一些实施例中，方法233可由图1的处理器102和/或利用图1的处理器102和/或使用图1的矩阵乘法指令106来执行。本文中针对处理器102和/或矩阵乘法指令106所描述的组件、特征以及特定可选细节也任选地应用于方法233。替代地，可由类似或不同的处理器或装置和/或在类似或不同的处理器或装置内和/或使用类似或不同的矩阵乘法指令来执行方法233。此外，处理器102可执行与方法233类似或不同的方法。

该方法包括，在框234处，接收矩阵乘法指令。在各方面中，可在处理器或处理器的部分(例如，指令取出单元、解码单元、总线接口单元等)处接收该指令。在各方面中，可从处理器外和/或管芯外的源(例如，从存储器、互连等)或从处理器上和/或管芯上的源(例如，从指令高速缓存、指令队列等)接收该指令。在一些实施例中，矩阵乘法指令可以指定或以其他方式指示第一源矩阵的第一存储器位置、第二源矩阵的第二存储器位置、和将存储结果矩阵的第三存储器位置。

在框235处，可以作出是否已经发生异常、页错误、其他异常状况、或其他中断的确定。作为示例，如果被操作的存储器操作数的部分是不可访问的，例如在页错误的情况下，则指令可能被中断。如果未发生此类中断(即，确定为“否”)，则方法可以前进至框236。

在框236处，可以将第一和第二源矩阵的部分相乘。在框237处，可将结果数据的部分存储到第三存储器位置。在无累加的情况下，这可以表示将第一和第二源矩阵的部分相乘的乘积。在累加的情况下，结果数据的该部分可以表示累加数据被加到该乘积的部分。

在框238处，可以作出是否更多数据将被处理的确定。如果存在将被处理的更多数据(即，确定为“是”)，则方法可以重新访问框235。可以检取更多数据，假设不存在页错误或其他中断，并且可以处理附加的数据。

替代地，如果在框238处确定为不存在要处理的更多数据(即，确定为“否”)，则方法可以前进至可选框239。在可选框239处，指示矩阵乘法指令的完全完成的完成进展指示符可以可选地存储(例如，在寄存器或其他架构可见的存储位置中)。

再次参考框235，如果在某个点处在框235处确定为中断已经发生(即，确定为“是”)，则方法可以前进至框240。在框240处，指示未完成的进展的完成进展指示符可以存储(例如，在寄存器或其他架构可见的存储位置中)。完成进展指示符可以与本文中其他地方描述的那些类似或相同。例如，完成进展指示符可以指示在中断之前已经完成的将第一和第二源矩阵相乘以及将对应的结果数据存储到第三存储器位置中的进展的量。

所图示的方法涉及架构操作(例如，那些从软件角度可见的操作)。在其他实施例中，该方法可以任选地包括一个或多个微架构操作。作为示例，可取出、解码指令，可访问源矩阵，执行单元可执行多个微架构操作以实现该指令，等等。在一些实施例中，该方法还可以可选地包括将矩阵操作数分解为相对较小的部分(例如，片或块)。在一些实施例中，该方法还可以可选地包括在一个或多个高速缓存内管理相对较小的部分(例如，片或块)。在一些实施例中，该方法还可以可选地包括预取源矩阵数据。在一些实施例中，该方法还可以可选地包括对于部分片和/或在中断之后执行涉及各个数据元素-与-数据元素的乘法的相对“较慢”的路径，反之对于完整的片和/或当对完整的片未检测到中断时执行相对“较快”的路径。

图3是用于矩阵乘法指令(例如，矩阵乘法指令106)的一组合适的操作数342的第一示例实施例的框图。操作数包括一组源和目的地矩阵指示符314。在所示出的实施例中，这些指示符包括用于第一源矩阵(a)的存储器地址信息344、用于第二源矩阵(b)的存储器地址信息345、和用于目的地矩阵(c)的存储器地址信息346，目的地矩阵(c)在一些实施例中可以是源/目的地矩阵(例如，初始地用作累加矩阵)。

操作数还包括矩阵维度指示符316。在所示出的实施例中，这些指示符包括第一源矩阵(a)的行的数量347、第一源矩阵(a)的列的数量348、和第二源矩阵(b)的列的数量349。在其他实施例中，维度的其他组合可以可选地用于指定矩阵的维度，如本文中其他地方描述的。有利地，包括这些矩阵维度指示符可以允许矩阵乘法指令用于处理各种不同尺寸和/或任意尺寸的矩阵。

操作数还包括完成进展指示符318。完成进展指示符可以用作用于被中断的进展中矩阵乘法指令的目的地操作数和/或用作用于被恢复或重启的矩阵乘法指令的源操作数。

图4是用于矩阵乘法指令(例如，矩阵乘法指令106)的一组合适的操作数442的第二示例实施例的框图。操作数包括一组源和目的地矩阵指示符414。在所示出的实施例中，这些指示符包括用于第一源矩阵(a)的存储器地址信息444、用于第二源矩阵(b)的存储器地址信息445、和用于目的地矩阵(c)的存储器地址信息446，目的地矩阵(c)在一些实施例中可以是源/目的地矩阵。

操作数还包括矩阵维度指示符416。在该示例实施例中，矩阵维度指示符416包括一组乘法矩阵维度指示符450和一组存储器布局维度指示符452。乘法矩阵维度指示符450包括第一源矩阵(a)的行的数量447、第一源矩阵(a)的列的数量448、和第二源矩阵(b)的列的数量449。在其他实施例中，维度的其他组合可以可选地用于指定矩阵的维度，如本文中其他地方描述的。

操作数还包括存储器布局维度指示符452。这些指示符可以用于指示包含要被相乘的矩阵(例如，根据乘法矩阵维度指示符450标出维度的矩阵)的潜在地/可选地更大的矩阵的维度，如它们被布置或存储在存储器中。作为一个示例，乘法矩阵维度指示符450可以仅对应于更大的矩阵的片、块或其他部分，该更大的矩阵对应于存储器布局维度指示符452。作为另一示例，对应于存储器布局维度指示符452的更大的矩阵可以包括填充(例如，零填充)，诸如例如，以帮助实现与高速缓存行边界的对齐，等等。这些的组合也是可能的。此外，在不同实施例中，存储器布局维度指示符可以按列主(columnmajor)格式或行主(rowmajor)格式。例如，当按列主格式时，存储器布局维度可以包括具有第一源矩阵(a)的可选地/潜在地更大的矩阵的列之间的距离(例如，以8位的字节或16位的字)453、具有第二源矩阵(b)的可选地/潜在地更大的矩阵的列之间的距离454、和具有目的地矩阵(c)的可选地/潜在地更大的矩阵的列之间的距离455。替代地，当按行主格式时，存储器布局维度可以包括具有第一源矩阵(a)的可选地/潜在地更大的矩阵的行之间的距离、具有第二源矩阵(b)的可选地/潜在地更大的矩阵的行之间的距离、和具有目的地矩阵(c)的可选地/潜在地更大的矩阵的行之间的距离。

操作数还包括完成进展指示符。完成进展指示符可以用作用于被中断的进展中矩阵乘法指令的目的地，和当矩阵乘法指令被重启时的用于矩阵乘法指令的源操作数。

在不同实施例中，可以以不同方式提供操作数342、442。作为一个示例，这些操作数中的每一个可以可选地存储在由矩阵乘法指令指定或以其他方式指示的不同寄存器(例如，32位或64位通用寄存器)中。替代地，可以可选地使用存储器位置或其他存储位置。作为另一个选项，可以可选地在矩阵乘法指令的编码内(例如，在立即数中)提供矩阵维度指示符316和/或乘法矩阵维度指示符450和/或存储器布局维度指示符452。作为一个具体的说明性示例，可以可选地使用32位的立即数，并且位[9:0]可以用于指定第一维度，位[20:10]可以用于指定第二维度，并且位[31:21]可以用于指定第三维度。

图5是可以用于执行或实现矩阵乘法指令(例如，矩阵乘法指令106)的矩阵乘法和累加执行单元510的详细示例实施例的框图。在操作期间，当部署在系统中时，执行单元可以可操作以与存储器520耦合。存储器可以具有存储在其中的第一源矩阵(a)524、第二源矩阵(b)528、以及源和目的地(src/dst)累加矩阵(c)532。源和目的地累加矩阵(c)可以初始地用作可以从其读取源累加矩阵的源操作数，并且然后随后可以用作可以存储结果累加矩阵的目的地操作数(例如，结果累加矩阵可以覆写初始地存储在同一存储位置中的源累加矩阵)。

矩阵中的每一个具有多个行(在所示的垂直方向中)和多个列(在所示的水平方向中)。行或列的数量也可以被本领域中的其他名称指代，诸如例如，矩阵的维度、尺寸、或阶。具体地，第一源矩阵(a)具有行的数量(rowsa)和列的数量(colsa)。类似地，第二源矩阵(b)具有行的数量(rowsb)和列的数量(colsb)。在矩阵乘法中，colsa和rowsb表示两个矩阵的共同的、相同的、或相等的维度。源和目的地累加矩阵(c)具有与第一源矩阵的行的数量(rowsa)相同的行的数量(rowsc)以及与第二源矩阵的列的数量(colsb)相同的列的数量(colsc)。即，源和目的地累加矩阵(c)的行和列的数量可以是可从第一和第二源矩阵的维度导出的。由于这些依赖关系，维度的各种不同组合可以用于指定这些矩阵的所有需要的维度，并且本文公开的矩阵乘法指令可以利用任何足够的组合。

执行单元510可以可操作以接收源和结果矩阵指示符514。这些指示符可以与先前描述的指示符114类似或相同。作为示例，指示符可以包括用于标识存储器中的存储源和目的地矩阵的存储器位置的存储器地址信息。

执行单元514还可以可操作以接收乘法矩阵维度指示符450。如所示出的实施例所示，乘法矩阵维度指示符可以包括用于足以指定三个矩阵的所有维度的三个不同维度的三个不同指示符。在所示出的示例中，这些维度包括第一源矩阵(a)的行的数量547、第一源矩阵(a)的列的数量548(其与第二源矩阵(b)的行的数量相同)以及第二源矩阵(b)的列的数量549。将理解，存在指示相同信息的其他可能方式，诸如例如，通过指示源和目的地累加矩阵(c)的维度，从其中可以导出源矩阵的某些维度。

执行单元还可以可操作以接收分别具有矩阵a、b和c的潜在地/可选地更大的矩阵的存储器布局维度指示符452。这些维度可以表达为列主格式或行主格式，如先前描述的。

如所示，在一些实施例中，执行单元可以可选地包括分片逻辑556。在一些实施例中，响应于矩阵乘法指令，分片逻辑556和/或执行单元510和/或具有执行单元的处理器可以可操作以执行分片。分片可以宽泛地表示将相对较大的矩阵划分、分割或以其他方式分解为称为片或块的多个非重叠的较小的矩阵。作为示例，在一些实施例中，响应于矩阵乘法指令，分片逻辑和/或执行单元和/或处理器可以可操作以将相对较大的源矩阵a、b和c(例如，根据乘法矩阵维度指示符450标出维度)分割为至少一种尺寸的相对较小的片。

如果大部分片具有2的幂的维度，则其可以倾向于提高效率。可以可选地使片为正方形的，但是这不是必须的。例如，可以沿着最大维度分割相对较大的源矩阵，其中使一个维度为2的幂。通常，相对较大的矩阵(和/或相对较大的片)的外周边缘，即最后被分片(或进一步子分片)的那些部分，可能倾向于具有其中维度不总是2的幂和/或维度可能是矩形而非正方形的片。响应于矩阵乘法指令而执行的该分片可以高于并超过在矩阵乘法指令的执行的范围之外的由软件算法执行的任何可选的/潜在的分片。

在一些实施例中，分片可以可选地被执行以将相对较大的源矩阵分割为至少两种不同尺寸的片，但是这不是必须的。例如，首先可以将相对较大的源矩阵a、b和c分解为相对较大的片，然后可以将相对较大的片分解为相对较小的片，并且该过程可以可选地被重复以用于一个或多个甚至更小的尺寸。在一些实施例中，可以存在两个、三个、四个、五个、或甚至更多个不同水平或尺寸的片。作为示例，可以部分地基于用于存储片的管芯上存储结构(例如，寄存器、高速缓存、暂存存储器、专用缓冲器、等等)的不同存储容量来选择片的不同尺寸，使得片适当地适配这些不同结构。作为示例，可以复制来自存储器层级结构中的较高层级的片数据，然后可以对片数据进行操作，并且然后可以将结果存储回存储器层级结构的较高层级，并且这可以对存储器层级结构中的每一个层级执行。

为了进一步说明某些概念，图6是分片的一个示例实施例的框图。执行单元610可以接收矩阵乘法指令606。执行单元包括分片逻辑656与融合乘法和加法逻辑658。矩阵624可以存储在存储器620中。响应于矩阵乘法指令，分片逻辑可以对矩阵执行分片以便将矩阵分割为四个片(在该说明性示例中)，其是经标记的片“1”、“2”、“3”和“4”。片“1”可以被访问并存储在第二级(l2)高速缓存670中。可以可选地选择片“1”的尺寸以使该尺寸的片适合于l2高速缓存的尺寸(例如，包括任何双重或三重缓冲，如下文将进一步讨论的)。

响应于矩阵乘法指令，分片逻辑可以对片“1”执行进一步分片以便将片“1”分割为四个附加的甚至更小的片(在该说明性示例中)，其是经标记的片“1.1”、“1.2”、“1.3”和“1.4”。片“1.1”可以存储在第一级(l1)高速缓存668中。可以可选地选择片“1.1”的尺寸以使该尺寸的片适合于l1高速缓存的尺寸(例如，包括任何双重或三重缓冲，如下文将进一步讨论的)。

响应于矩阵乘法指令，分片逻辑可以对片“1.1”执行更进一步的分片以将片“1.1”分割为四个附加的甚至更小的片(在该说明性示例中)，其是经标记的片“1.1.1”、“1.1.2”、“1.1.3”和“1.1.4”。这些更小的片可以由融合矩阵乘法和加法逻辑658处理，其可以具有融合的乘法器和加法器的阵列以处置该尺寸的片。如所示，可以将片“1.1.1”提供给融合矩阵乘法和加法逻辑。将理解，这只是一个说明性示例。在其他实施例中，可以可选地将矩阵和/或片分割为更少或更多片。此外，可以可选地使用更少或更多不同等级和尺寸的片。

在一些实施例中，片可以可选地双重缓冲或三重缓冲在高速缓存内。双重缓冲和三重缓冲可以分别指代具有片的两个或三个副本。例如，在一些实施例中，用于矩阵a和b的片可以可选地被双重缓冲，而用于矩阵c的片可以可选地被双重缓冲或三重缓冲。一个副本可以用于将被相乘(并且在一些情况下被累加)的源数据，而另一个副本可以用于收集算术结果。

在该示例中，高速缓存已经用于存储片。在其他实施例中，可以替代地可选地使用单独的或专用的存储位置。例如，一个或多个层级的暂存存储器可以可选地用于存储这些片。作为示例，当指令由可能不具有这些现有的高速缓存层级的专用矩阵乘法加速器执行时，可能是这样。

再次参考图5，将由执行单元算术地处理的片可以被提供给融合矩阵乘法和加法逻辑558。作为一个示例，融合矩阵乘法和加法逻辑可以包括二维阵列的融合乘法器和加法器。作为示例，这可以包括每个时钟每个cpu核从64个到128个双精度浮点融合乘法-加法器、或从128个到256个单精度融合乘法-加法器。融合矩阵乘法和加法逻辑可以执行矩阵乘法，并且在该实施例中还可以执行矩阵累加。替代地，可以可选地省略或关闭矩阵累加(例如，通过不执行加法、通过将累加矩阵与零系数相乘、等等)。

为了进一步说明某些概念，可以通过下列伪代码来表示融合矩阵乘法和加法逻辑558的逻辑560可以可选地实现以执行具有矩阵累加的矩阵乘法的算法的一个简单的说明性示例：

for(i＝0；i<rowsa,i++)

for(j＝0；j<colsb；j++)

for(k＝0；k<comm；k++)

c[i,j]＝a[i,k]*b[k,j]+c[i,j]

该算法包括三个嵌套循环。具体地，对第一源矩阵(a)的所有行(即，“rowsa”)采用具有循环计数器“i”的外部循环，对第二源矩阵(b)的所有列(即，“colsb”)采用具有循环计数器“j”的中间循环，并且对共同维度(“comm”)采用具有循环计数器“k”的第三最内循环。嵌套在所有这些循环内，乘法和加法被执行。

将理解，这只是合适算法的一个说明性示例。其他算法可以可选地添加附加循环(例如，用于片、用于多个层级的具有不同尺寸的片、等等)。此外，访问数据的顺序可以可选地与该算法所示的不同。这可以部分地由于实现分片的特定方式。通常，不改变在共同维度上的最内“k”循环的顺序可能是合适的，因为改变其顺序可能部分地由于对浮点舍入的排序依赖关系而倾向于稍微修改最终结果值。但是，对于此类舍入波动是可接受的实现方式，也可以可选地改变该最内循环的顺序，如果需要。

如果矩阵乘法指令成功地完成，则执行单元可以可操作以将所得的矩阵存储在源/目的地累加矩阵(c)532中。然而，如果在完成之前发生异常、页错误、或其他此类异常状况或其他中断，则可以存储完成进展指示符(cpi)518。执行单元和/或完成进展指示符计算逻辑562可以可操作以存储完成进展指示符。例如，其可以可选地存储在通用寄存器512中、或存储器中、或另一合适的存储位置中。完成进展指示符可以可选地与上文描述的那些类似或相同。

作为一个特定的说明性示例，对于上文所示的具有三个嵌套循环的算法，完成进展指示符逻辑562可以包括逻辑564，用于根据和/或符合下列等式1来计算完成进展指示符(cpi)：

cpi＝i*colsb*comm+j*comm+k等式1

在该等式中，“i”表示在中断时对矩阵a的行采用的当前循环计数器，“j”表示在中断时对矩阵b的列(colsb)采用的当前循环计数器，并且“k”表示在中断时对共同维度(comm)采用的当前循环计数器。可在不同实施例中使用不同尺寸的序列号。例如，序列号可以表达为32位、64位、或128位的值，仅举数例。通常，32位序列号倾向于对于适中到大尺寸的矩阵是合适的，而64位序列可以用于非常大的矩阵(例如，两周长的矩阵乘法)，并且128位序列号可以用于极度大的矩阵。

在重启后，可以在计算由于中断而停止的点处恢复它们。完成进展指示符可以用于该目的。例如，可以通过使用完成进展指示符将循环计数器值恢复为在中断时它们具有的值。作为示例，对于根据等式1计算的完成进展指示符，循环计数器值i、j和k可以具有符合下列等式2-4的值：

i＝cpi/comm/colsb等式2

j＝(cpi/comm)％colsb等式3

k＝cpi％comm％colsb等式4

在这些等式中，“％”表示产生整数的模或余数运算符。完成进展指示符的另一合适的示例实施例是不同循环计数器值的串接。此外，它们可以可选地分开地存储代替被串接，但是可以共同逻辑地表示完成进展指示符的又一示例。

在矩阵乘法指令的成功完成之后，完成进展指示符可以具有符合根据下列等式5计算的值的值：

cpi＝rowsa*comm*colsb等式2

这只是合适的完成进展指示符的一个说明性示例，以及使用该完成进展指示符来重启计算的一种说明性方式。在其他实施例中，可以可选地使用多于三个嵌套循环。此外，这些循环可以不相继地行进。在一些实施例中，可以允许执行单元510和/或其中包括执行单元510的处理器以与上文所示的伪代码所示的特定顺序不同的顺序来读取a、b和(对于累加)c矩阵的数据部分。此外，在一些实施例中，可以可选地以与伪代码所示的不同的顺序来写入c矩阵的数据部分。

对应地，可以允许执行单元和/或处理器生成并存储基于并且符合与上文所示的特定的说明性示例不同的等式或方法的完成进展指示符。可以为指令基本上在架构上定义最终结果矩阵(例如，可能允许由于依赖顺序的浮点舍入的小变化)。然而，可以不在架构上定义处理矩阵数据的中间顺序、和对应地计算完成进展指示符的方式、以及完成进展指示符的值。相反，可以允许这些方面是灵活的。这可以允许处理矩阵数据的特定顺序和方式(例如，访问数据的特定方式、如何实现分片、等等)从一个实现方式到另一个实现方式变化，并且/或者为不同设计目标定制。在一些实施例中，完成进展指示符的中间值对于软件可以可选地是无意义的。在一些实施例中，软件可以不知道如何解释或使用这些完成进展指示符以在中断之后恢复矩阵乘法。相反，执行单元和/或处理器可以负责使用完成进展指示符的此类中间值。

类似地，在指令的完成之前存储在处理器内(例如，寄存器、高速缓存、暂存存储器等等中)的片或中间数据可以可选地不在架构上被定义和/或可由软件理解。可选地，在上下文切换时和/或在矩阵乘法指令的中断之后，此类片或中间数据可以可选地不被保存和恢复。此外，在一些实施例中，此类数据可以可选地不被监听(例如，由其他高速缓存一致代理、其他高速缓存代理、其他硬件线程或核等等)。在一些实施例中，由矩阵乘法指令执行的对矩阵数据的加载和存储到矩阵数据可以仅参考在前指令和下列指令来排序。即使矩阵乘法指令可能能够以与例如以上伪代码所示的三个嵌套循环不同的顺序读取源操作数和写入目的地操作数，正常存储器排序规则应当一般地应用于矩阵乘法指令(例如，总的来说)、程序顺序中的在前指令、和程序顺序中的后续指令。

在一些实施例中，如本文公开的矩阵乘法指令可以可选地支持两个或更多个不同的分片算法、机制、或方法。例如，这些不同分片方法可以不同在不同尺寸的片的数量、不同的片尺寸、或与分片相关的其他方面、或其组合。作为一个示例，最初矩阵乘法指令的执行可以使用相对更简单的分片算法，并且稍后分片算法可以随时间演变或改变(例如，以包含更复杂的特征、片的更多层级、等等)。结果，与矩阵乘法指令的执行相关联的分片方面可以随时间或处理器世代而改变。在一些实施例中，除了存储完成进展指示符之外，当存在中断时，执行单元还可以可操作以存储被使用的分片算法的指示。例如，单个位可以用于在两种不同分片算法之间区分，或者两个或更多个位可以用于允许未来将使用的可能更多种分片算法。指令如果被中断则可以存储这种标识符。在一些情况下，其可以与完成进展指示符一起存储，诸如在不同的位字段中，或者与完成进展指示符分开地存储(例如，在另一个寄存器中)。此外，在一些实施例中，还可以可选地添加各自用于不同的实现方面的一个或多个附加位。作为示例，具有假设从四个到八个位的值可以用于指定不同在分片算法和/或其他方式的多个不同的可能实现方式。这可以允许使用不同实现方式，包括用于实现方式以随时间改变和用于执行单元以当在中断之后恢复时使用先前实现方式的指示。例如，如果两种实现方式是可能的，则执行单元可以存储哪种实现方式被使用的指示，使得在恢复被中断的指令后同一实现方式可以被再次使用。

在一些实施例中，融合矩阵乘法和加法逻辑558和/或执行单元510可以被设计、定制或优化为相对更快的和/或更高效的以用于某个尺寸或尺寸范围的矩阵数据(例如，某个片尺寸或范围)。作为示例，第一实现方式可以被设计、定制或优化以用于具有一种尺寸的片(例如，16行的矩阵a，16列的矩阵a，以及16列的矩阵b)，例如具有大约32个到64个融合乘加(fma)时钟。第二实现方式可以被设计、定制或优化以用于具有另一种尺寸的片(例如，32行的矩阵a，32列的矩阵a，以及32列的矩阵b)，例如具有大约256个到512个fma时钟。第三实现方式可以被设计、定制或优化以用于具有又一种尺寸的片(例如，64行的矩阵a，64列的矩阵a，以及64列的矩阵b)，以及第四实现方式用于具有再一不同尺寸的片(例如，128行的矩阵a，128列的矩阵a，以及128列的矩阵b)，例如具有大约16000个到32000个fma时钟。

在一些实施例中，指令可以对具有固定尺寸的片或数据隐式地执行算术操作，但是这不是必须的。在其他实施例中，指令可以对具有灵活尺寸的片或数据隐式地执行算术操作，但是这不是必须的。在另一些实施例中，可以可选地支持两种形式。使用固定尺寸(当这样做是合适的时)的一种可能优势为其可以有助于改善性能。例如，在固定尺寸的情况下，在指令取出和/或解码时可以知晓该固定尺寸，而非仅稍后(例如，在执行期间)。通过大约在解码时知晓该固定尺寸，可以将适当数量的微操作或其他操作引入流水线以帮助减少执行流水线中的气泡或空槽的数量。这可以有助于改善性能。相比之下，如果仅在稍后知晓尺寸，则这可能太迟以不能避免执行流水线中的此类气泡或空槽。在一些实施例中，固定尺寸形式可以可选地使用立即数以指定乘法矩阵维度指示符(例如，乘法矩阵维度指示符450)。在编译器能知晓或得知这种固定尺寸将被使用的情况下，该形式的指令可以被使用并且这些乘法矩阵维度指示符可以通过指令的立即数被传递。在其他实施例中，当尺寸不是固定的时，或者如果不知晓尺寸是否是固定的，则可以使用灵活尺寸形式，并且可以在寄存器(例如，通用寄存器)中指定乘法矩阵维度指示符。此类性能改善通常仅对相对小尺寸的矩阵倾向于是显著的，因为对于较大尺寸的矩阵，由于初始气泡的低效很快被消除并且仅表示所有计算的小部分。

在一些实施例中，矩阵乘法指令当被执行时还可以可操作以使执行单元和/或处理器预取矩阵数据。例如，可以将矩阵数据从存储器层级结构的较远的层级预取到更近的层级(例如，接近处理器的核)。此类数据预取操作可以与用于指令的算术操作重叠或同时执行。这对于帮助确保执行单元具有足够的数据来处理可能是有用的。在一些实施例中，此类预取操作可以可选地实现为在架构上不被保证完成并且处理器可以自由地忽视或忽略(例如，如果其认为其应当替代地做其他事情)的预取提示。在一些实施例中，程序顺序中较早的矩阵乘法指令可以可操作以引起矩阵数据预取来预取将由后续的矩阵乘法指令使用的数据。

某些处理器可能已经具有现有的数据预取单元。在一些实施例中，此类现有的数据预取单元可以可选地重新用于矩阵乘法指令。然而，现有的数据预取单元可以被适配为知晓其在取出矩阵数据并且可操作以按适合于此类矩阵数据的方式相应地执行预取。例如，这可以包括基于二维数据考虑代替仅一维数据考虑来预取、预取矩阵数据的完整片或其他分立部分、沿着片边界预取、等等。在其他实施例中，附加的或专用的数据预取单元或逻辑可以被可选地包括，并且可以主要专用于矩阵乘法指令的执行。此类专用数据预取单元或逻辑也可以知晓其在取出矩阵数据并且可操作以按适合于此类矩阵数据的方式相应地执行预取。

当被执行时，在一些情况下，矩阵乘法可以重复地访问来自存储器的数据。当访问来自存储器的矩阵的相继部分时，可能会跨越页边界。可能存在或不存在页错误。通常，如果不存在页错误，则所有源操作数的完整片通常可以是可用的。然而，如果存在页错误，则源操作数中的一个的仅部分片可以是可用的。当在片的部分已经被处理的中间点处和/或沿着大矩阵的外周恢复执行指令时，部分片也可以存在。

图7是以相对较快模式或相对较慢模式执行矩阵乘法的方法780的示例实施例的流程框图。术语较快和较慢是相对术语(即，相对于彼此)而非绝对术语。该方法包括在框781处试图访问来自存储器的源操作数的完整片。在框782处，可以作出是否仅部分片可用于源操作数中的至少一个的确定。

如果完整片可用于所有源操作数(例如，确定为“否”)，则在框783处可以以涉及每单位时间相对更多并发乘法的执行的相对较快模式执行乘法。作为示例，可以将数据元素的向量或阵列同时相乘。通常，较快模式是常见情形，除了页错误、中断、以及沿着大矩阵的外周的片之外。

替代地，如果仅部分片是可用的(例如，确定为“是”)，则在框784处可以以涉及每单位时间相对更少并发乘法的执行的相对较慢模式执行乘法。在一些情况下，这可以涉及执行单独的元素-与-元素乘法，或至少比对于较快模式同时执行更少的乘法。一旦部分片已经被完成，执行通常可以急切地恢复为较快模式。

在一些实施例中，假设完整片是可用的并且执行较快模式，执行单元可以启动矩阵乘法指令，并且如果检测到部分片则可以切换为较慢模式(例如，通过引起微异常)。在一些实施例中，假设完成进展指示符指示在先进展的量为无并且执行较快模式，执行单元可以启动矩阵乘法指令，并且当完成进展指示符用于指示在先进展的量不为无时可以切换为较慢模式(例如，通过引起微异常)。

图8a-c是适用于执行本文公开的矩阵乘法指令的实施例的三个不同实施例处理器的框图。图8a示出在该示例中具有四个同构核890a-1至890a-4的第一处理器802a。作为示例，这些核中的每一个可以具有大致相同的架构、架构特征、和执行资源。在一些实施例中，这四个核可以各自分别包括用于执行本文公开的矩阵乘法的实施例的逻辑891a-1至891a-4。

图8b示出在该示例中具有三个相互异构的核的第二处理器802b。具体地，有序simd核893、有序标量核894和乱序(ooo)核895。这些核可以一般在至少一些架构和微架构方面中是异构的。例如，仅ooo核可以具有ooo逻辑，或至少多于ooo逻辑。作为另一示例，simd核可以具有simd执行资源，但是标量核可能不具有，等等。在一些实施例中，核中的一个，例如，simd核893，可以包括用于执行本文公开的矩阵乘法的实施例的891b。ooo核可以替代地或附加地具有此类逻辑。

图8c示出在该示例中具有两个同构核890c-1至890c-2的第三处理器802c。作为示例，这些核中的每一个可以具有大致相同的架构、架构特征、和执行资源。第三处理器还具有矩阵乘法加速器896。在一些实施例中，矩阵乘法加速器可以包括用于执行本文公开的矩阵乘法的实施例的逻辑。

示例性核架构、处理器和计算机架构

处理器核能以不同方式、出于不同的目的、在不同的处理器中实现。例如，此类核的实现可以包括：1)旨在用于通用计算的通用有序核；2)旨在用于通用计算的高性能通用乱序核；3)旨在主要用于图形和/或科学(吞吐量)计算的专用核。不同处理器的实现可包括：1)cpu，其包括旨在用于通用计算的一个或多个通用有序核和/或旨在用于通用计算的一个或多个通用乱序核；以及2)协处理器，其包括旨在主要用于图形和/或科学(吞吐量)的一个或多个专用核。此类不同的处理器导致不同的计算机系统架构，这些计算机系统架构可包括：1)在与cpu分开的芯片上的协处理器；2)在与cpu相同的封装中但在分开的管芯上的协处理器；3)与cpu在相同管芯上的协处理器(在该情况下，此类协处理器有时被称为专用逻辑或被称为专用核，该专用逻辑诸如，集成图形和/或科学(吞吐量)逻辑)；以及4)芯片上系统，其可以将所描述的cpu(有时被称为(多个)应用核或(多个)应用处理器)、以上描述的协处理器和附加功能包括在同一管芯上。接着描述示例性核架构，随后描述示例性处理器和计算机架构。

示例性核架构

有序和乱序核框图

图9a是图示根据本发明的各实施例的示例性有序流水线和示例性的寄存器重命名的乱序发布/执行流水线的框图。图9b是示出根据本发明的各实施例的要包括在处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的乱序发布/执行架构核的框图。图9a-图9b中的实线框图示有序流水线和有序核，而虚线框的任选增加图示寄存器重命名的、乱序发布/执行流水线和核。考虑到有序方面是乱序方面的子集，将描述乱序方面。

在图9a中，处理器流水线900包括取出级902、长度解码级904、解码级906、分配级908、重命名级910、调度(也被称为分派或发布)级912、寄存器读取/存储器读取级914、执行级916、写回/存储器写入级918、异常处置级922和提交级924。

图9b示出处理器核990，该处理器核990包括前端单元930，该前端单元930耦合到执行引擎单元950，并且前端单元930和执行引擎单元950两者都耦合到存储器单元970。核990可以是精简指令集计算(risc)核、复杂指令集计算(cisc)核、超长指令字(vliw)核、或混合或替代的核类型。作为又一选项，核990可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理单元(gpgpu)核、图形核，等等。

前端单元930包括分支预测单元932，该分支预测单元932耦合到指令高速缓存单元934，该指令高速缓存单元934耦合到指令转换后备缓冲器(tlb)936，该指令转换后备缓冲器936耦合到指令取出单元938，该指令取出单元938耦合到解码单元940。解码单元940(或解码器)可对指令解码，并且生成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个微操作、微代码进入点、微指令、其他指令、或其他控制信号作为输出。解码单元940可使用各种不同的机制来实现。合适机制的示例包括但不限于，查找表、硬件实现、可编程逻辑阵列(pla)、微代码只读存储器(rom)等。在一个实施例中，核990包括存储用于某些宏指令的微代码的微代码rom或其他介质(例如，在解码单元940中，或以其他方式在前端单元930内)。解码单元940耦合到执行引擎单元950中的重命名/分配器单元952。

执行引擎单元950包括重命名/分配器单元952，该重命名/分配器单元952耦合到引退单元954和一个或多个调度器单元的集合956。(多个)调度器单元956表示任何数量的不同调度器，包括预留站、中央指令窗等。(多个)调度器单元956耦合到(多个)物理寄存器堆单元958。(多个)物理寄存器堆单元958中的每一个物理寄存器堆单元表示一个或多个物理寄存器堆，其中不同的物理寄存器堆存储一种或多种不同的数据类型，诸如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态(例如，作为要执行的下一条指令的地址的指令指针)等等。在一个实施例中，(多个)物理寄存器堆单元958包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供架构向量寄存器、向量掩码寄存器和通用寄存器。(多个)物理寄存器堆单元958由引退单元954重叠，以图示可实现寄存器重命名和乱序执行的各种方式(例如，使用(多个)重排序缓冲器和(多个)引退寄存器堆；使用(多个)未来文件、(多个)历史缓冲器、(多个)引退寄存器堆；使用寄存器映射和寄存器池，等等)。引退单元954和(多个)物理寄存器堆单元958耦合到(多个)执行集群960。(多个)执行集群960包括一个或多个执行单元的集合962以及一个或多个存储器访问单元的集合964。执行单元962可执行各种操作(例如，移位、加法、减法、乘法)并可对各种数据类型(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)执行。尽管一些实施例可以包括专用于特定功能或功能集合的多个执行单元，但是其他实施例可包括仅一个执行单元或全都执行所有功能的多个执行单元。(多个)调度器单元956、(多个)物理寄存器堆单元958和(多个)执行集群960示出为可能有多个，因为某些实施例为某些类型的数据/操作创建分开的流水线(例如，标量整数流水线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点流水线，和/或各自具有其自身的调度器单元、(多个)物理寄存器堆单元和/或执行集群的存储器访问流水线——并且在分开的存储器访问流水线的情况下，实现其中仅该流水线的执行集群具有(多个)存储器访问单元964的某些实施例)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可以是乱序发布/执行，并且其余流水线可以是有序的。

存储器访问单元的集合964耦合到存储器单元970，该存储器单元970包括数据tlb单元972，该数据tlb单元972耦合到数据高速缓存单元974，该数据高速缓存单元974耦合到第二级(l2)高速缓存单元976。在一个示例性实施例中，存储器访问单元964可包括加载单元、存储地址单元和存储数据单元，其中的每一个均耦合到存储器单元970中的数据tlb单元972。指令高速缓存单元934还耦合到存储器单元970中的第二级(l2)高速缓存单元976。l2高速缓存单元976耦合到一个或多个其他级别的高速缓存，并最终耦合到主存储器。

作为示例，示例性寄存器重命名的乱序发布/执行核架构可如下所述地实现流水线900：1)指令取出938执行取出级902和长度解码级904；2)解码单元940执行解码级906；3)重命名/分配器单元952执行分配级908和重命名级910；4)(多个)调度器单元956执行调度级912；5)(多个)物理寄存器堆单元958和存储器单元970执行寄存器读取/存储器读取级914；执行集群960执行执行级916；6)存储器单元970和(多个)物理寄存器堆单元958执行写回/存储器写入级918；7)各单元可牵涉到异常处置级922；以及8)引退单元954和(多个)物理寄存器堆单元958执行提交级924。

核990可支持一个或多个指令集(例如，x86指令集(具有已与较新版本一起添加的一些扩展)；加利福尼亚州桑尼维尔市的mips技术公司的mips指令集；加利福尼亚州桑尼维尔市的arm控股公司的arm指令集(具有诸如neon的任选的附加扩展))，其中包括本文中描述的(多条)指令。在一个实施例中，核990包括用于支持紧缩数据指令集扩展(例如，avx1、avx2)的逻辑，由此允许使用紧缩数据来执行由许多多媒体应用使用的操作。

应当理解，核可支持多线程化(执行两个或更多个并行的操作或线程的集合)，并且可以按各种方式来完成该多线程化，各种方式包括时分多线程化、同时多线程化(其中单个物理核为物理核正在同时多线程化的线程中的每一个线程提供逻辑核)、或其组合(例如，时分取出和解码以及此后的诸如超线程化技术中的同时多线程化)。

尽管在乱序执行的上下文中描述了寄存器重命名，但应当理解，可以在有序架构中使用寄存器重命名。尽管所图示的处理器的实施例还包括分开的指令和数据高速缓存单元934/974以及共享的l2高速缓存单元976，但是替代实施例可以具有用于指令和数据两者的单个内部高速缓存，诸如例如，第一级(l1)内部高速缓存或多个级别的内部高速缓存。在一些实施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部高速缓存的组合。或者，所有高速缓存都可以在核和/或处理器的外部。

具体的示例性有序核架构

图10a-图10b图示更具体的示例性有序核架构的框图，该核将是芯片中的若干逻辑块(包括相同类型和/或不同类型的其他核)中的一个逻辑块。取决于应用，逻辑块通过高带宽互连网络(例如，环形网络)与一些固定的功能逻辑、存储器i/o接口和其他必要的i/o逻辑进行通信。

图10a是根据本发明的实施例的单个处理器核以及它至管芯上互连网络1002的连接及其第二级(l2)高速缓存的本地子集1004的框图。在一个实施例中，指令解码器1000支持具有紧缩数据指令集扩展的x86指令集。l1高速缓存1006允许对进入标量和向量单元中的、对高速缓存存储器的低等待时间访问。尽管在一个实施例中(为了简化设计)，标量单元1008和向量单元1010使用分开的寄存器集合(分别为标量寄存器1012和向量寄存器1014)，并且在这些寄存器之间传输的数据被写入到存储器，并随后从第一级(l1)高速缓存1006读回，但是本发明的替代实施例可以使用不同的方法(例如，使用单个寄存器集合或包括允许数据在这两个寄存器堆之间传输而无需被写入和读回的通信路径)。

l2高速缓存的本地子集1004是全局l2高速缓存的一部分，该全局l2高速缓存被划分成多个分开的本地子集，每个处理器核一个本地子集。每个处理器核具有到其自身的l2高速缓存的本地子集1004的直接访问路径。由处理器核读取的数据被存储在其l2高速缓存子集1004中，并且可以与其他处理器核访问其自身的本地l2高速缓存子集并行地被快速访问。由处理器核写入的数据被存储在其自身的l2高速缓存子集1004中，并在必要的情况下从其他子集转储清除。环形网络确保共享数据的一致性。环形网络是双向的，以允许诸如处理器核、l2高速缓存和其他逻辑块之类的代理在芯片内彼此通信。每个环形数据路径为每个方向1012位宽。

图10b是根据本发明的实施例的图10a中的处理器核的一部分的展开图。图10b包括l1高速缓存1004的l1数据高速缓存1006a部分，以及关于向量单元1010和向量寄存器1014的更多细节。具体地，向量单元1010是16宽向量处理单元(vpu)(见16宽alu1028)，该单元执行整数、单精度浮点以及双精度浮点指令中的一个或多个。该vpu通过混合单元1020支持对寄存器输入的混合，通过数值转换单元1022a-b支持数值转换，并且通过复制单元1024支持对存储器输入的复制。写掩码寄存器1026允许预测所得的向量写入。

具有集成存储器控制器和图形器件的处理器

图11是根据本发明的实施例的可具有多于一个的核、可具有集成存储器控制器、以及可具有集成图形器件的处理器1100的框图。图11中的实线框图示具有单个核1102a、系统代理1110、一个或多个总线控制器单元的集合1116的处理器1100，而虚线框的任选增加图示具有多个核1102a-n、系统代理单元1110中的一个或多个集成存储器控制器单元的集合1114以及专用逻辑1108的替代处理器1100。

因此，处理器1100的不同实现可包括：1)cpu，其中专用逻辑1108是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核)，并且核1102a-n是一个或多个通用核(例如，通用有序核、通用乱序核、这两者的组合)；2)协处理器，其中核1102a-n是旨在主要用于图形和/或科学(吞吐量)的大量专用核；以及3)协处理器，其中核1102a-n是大量通用有序核。因此，处理器1100可以是通用处理器、协处理器或专用处理器，诸如例如，网络或通信处理器、压缩引擎、图形处理器、gpgpu(通用图形处理单元)、高吞吐量的集成众核(mic)协处理器(包括30个或更多核)、嵌入式处理器，等等。该处理器可以被实现在一个或多个芯片上。处理器1100可以是一个或多个基板的一部分，和/或可使用多种工艺技术(诸如例如，bicmos、cmos、或nmos)中的任何技术被实现在一个或多个基板上。

存储器层次结构包括核内的一个或多个高速缓存级别、一个或多个共享高速缓存单元的集合1106、以及耦合到集成存储器控制器单元的集合1114的外部存储器(未示出)。共享高速缓存单元的集合1106可包括一个或多个中间级别的高速缓存，诸如，第二级(l2)、第三级(l3)、第四级(l4)或其他级别的高速缓存、末级高速缓存(llc)和/或以上各项的组合。虽然在一个实施例中，基于环的互连单元1112将集成图形逻辑1108、共享高速缓存单元的集合1106以及系统代理单元1110/(多个)集成存储器控制器单元1114互连，但是替代实施例可使用任何数量的公知技术来互连此类单元。在一个实施例中，在一个或多个高速缓存单元1106与核1102a-n之间维持一致性。

在一些实施例中，一个或多个核1102a-n能够实现多线程化。系统代理1110包括协调和操作核1102a-n的那些部件。系统代理单元1110可包括例如功率控制单元(pcu)和显示单元。pcu可以是对核1102a-n以及集成图形逻辑1108的功率状态进行调节所需的逻辑和部件，或可包括这些逻辑和部件。显示单元用于驱动一个或多个外部连接的显示器。

核1102a-n在架构指令集方面可以是同构的或异构的；即，核1102a-n中的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子集或不同的指令集。

示例性计算机架构

图12-21是示例性计算机架构的框图。本领域中已知的对膝上型设备、台式机、手持pc、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(dsp)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备以及各种其他电子设备的其他系统设计和配置也是合适的。一般地，能够包含如本文中所公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般都是合适的。

现在参考图12，所示出的是根据本发明一个实施例的系统1200的框图。系统1200可以包括一个或多个处理器1210、1215，这些处理器耦合到控制器中枢1220。在一个实施例中，控制器中枢1220包括图形存储器控制器中枢(gmch)1290和输入/输出中枢(ioh)1250(其可以在分开的芯片上)；gmch1290包括存储器和图形控制器，存储器1240和协处理器1245耦合到该存储器和图形控制器；ioh1250将输入/输出(i/o)设备1260耦合到gmch1290。或者，存储器和图形控制器中的一个或这两者被集成在(如本文中所描述的)处理器内，存储器1240和协处理器1245直接耦合到处理器1210，并且控制器中枢1220与ioh1250处于单个芯片中。

附加的处理器1215的任选性在图12中通过虚线来表示。每一处理器1210、1215可包括本文中描述的处理核中的一个或多个，并且可以是处理器1100的某一版本。

存储器1240可以是例如动态随机存取存储器(dram)、相变存储器(pcm)或这两者的组合。对于至少一个实施例，控制器中枢1220经由诸如前端总线(fsb)之类的多分支总线、诸如快速路径互连(qpi)之类的点对点接口、或者类似的连接1295来与(多个)处理器1210、1215进行通信。

在一个实施例中，协处理器1245是专用处理器，诸如例如，高吞吐量mic处理器、网络或通信处理器、压缩引擎、图形处理器、gpgpu、嵌入式处理器，等等。在一个实施例中，控制器中枢1220可以包括集成图形加速器。

在物理资源1210、1215之间可以存在包括架构、微架构、热、功耗特性等一系列品质度量方面的各种差异。

在一个实施例中，处理器1210执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器1210将这些协处理器指令识别为具有应当由附连的协处理器1245执行的类型。因此，处理器1210在协处理器总线或者其他互连上将这些协处理器指令(或者表示协处理器指令的控制信号)发布到协处理器1245。(多个)协处理器1245接受并执行所接收的协处理器指令。

现在参见图13，所示出的是根据本发明的实施例的第一更具体的示例性系统1300的框图。如图13中所示，多处理器系统1300是点对点互连系统，并且包括经由点对点互连1350耦合的第一处理器1370和第二处理器1380。处理器1370和1380中的每一个都可以是处理器1100的某一版本。在本发明的一个实施例中，处理器1370和1380分别是处理器1210和1215，而协处理器1338是协处理器1245。在另一实施例中，处理器1370和1380分别是处理器1210和协处理器1245。

处理器1370和1380示出为分别包括集成存储器控制器(imc)单元1372和1382。处理器1370还包括作为其总线控制器单元的一部分的点对点(p-p)接口1376和1378；类似地，第二处理器1380包括p-p接口1386和1388。处理器1370、1380可以经由使用点对点(p-p)接口电路1378、1388的p-p接口1350来交换信息。如图13中所示，imc1372和1382将处理器耦合到相应的存储器，即存储器1332和存储器1334，这些存储器可以是本地附连到相应处理器的主存储器的部分。

处理器1370、1380可各自经由使用点对点接口电路1376、1394、1386、1398的各个p-p接口1352、1354来与芯片组1390交换信息。芯片组1390可以任选地经由高性能接口1339来与协处理器1338交换信息。在一个实施例中，协处理器1338是专用处理器，诸如例如，高吞吐量mic处理器、网络或通信处理器、压缩引擎、图形处理器、gpgpu、嵌入式处理器，等等。

共享高速缓存(未示出)可被包括在任一处理器中，或在这两个处理器的外部但经由p-p互连与这些处理器连接，使得如果处理器被置于低功率模式，则任一个或这两个处理器的本地高速缓存信息可被存储在共享高速缓存中。

芯片组1390可以经由接口1396耦合到第一总线1316。在一个实施例中，第一总线1316可以是外围部件互连(pci)总线或诸如pci快速总线或另一第三代i/o互连总线之类的总线，但是本发明的范围不限于此。

如图13中所示，各种i/o设备1314可连同总线桥1318一起耦合到第一总线1316，该总线桥1318将第一总线1316耦合到第二总线1320。在一个实施例中，诸如协处理器、高吞吐量mic处理器、gpgpu、加速器(诸如例如，图形加速器或数字信号处理(dsp)单元)、现场可编程门阵列或任何其他处理器的一个或多个附加处理器1315耦合到第一总线1316。在一个实施例中，第二总线1320可以是低引脚数(lpc)总线。在一个实施例中，各种设备可耦合到第二总线1320，这些设备包括例如键盘和/或鼠标1322、通信设备1327以及存储单元1328，该存储单元1328诸如可包括指令/代码和数据1330的盘驱动器或者其他大容量存储设备。此外，音频i/o1324可以被耦合到第二总线1320。注意，其他架构是可能的。例如，代替图13的点对点架构，系统可以实现多分支总线或其他此类架构。

现在参考图14，示出的是根据本发明的实施例的第二更具体的示例性系统1400的框图。图13和14中的类似元件使用类似的附图标记，并且从图14中省略了图13的某些方面以避免混淆图14的其他方面。

图14图示处理器1370、1380可分别包括集成存储器和i/o控制逻辑(“cl”)1372和1382。因此，cl1372、1382包括集成存储器控制器单元，并包括i/o控制逻辑。图14图示不仅存储器1332、1334耦合到cl1372、1382，而且i/o设备1414也耦合到控制逻辑1372、1382。传统i/o设备1415被耦合到芯片组1390。

现在参考图15，示出的是根据本发明的实施例的soc1500的框图。图11中的类似要素使用类似的附图标记。另外，虚线框是更先进的soc上的任选的特征。在图15中，(多个)互连单元1502被耦合到：应用处理器1510，其包括一个或多个核的集合142a-n以及(多个)共享高速缓存单元1106；系统代理单元1110；(多个)总线控制器单元1116；(多个)集成存储器控制器单元1114；一个或多个协处理器的集合1520，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(sram)单元1530；直接存储器访问(dma)单元1532；以及用于耦合到一个或多个外部显示器的显示单元1540。在一个实施例中，(多个)协处理器1520包括专用处理器，诸如例如，网络或通信处理器、压缩引擎、gpgpu、高吞吐量mic处理器、或嵌入式处理器，等等。

本文公开的机制的各实施例可以被实现在硬件、软件、固件或此类实现方式的组合中。本发明的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码(诸如，图13中图示的代码1330)应用于输入指令，以执行本文中描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器。

程序代码可以用高级的面向过程的编程语言或面向对象的编程语言来实现，以便与处理系统通信。如果需要，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定的编程语言的范围。在任何情况下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器中的各种逻辑，该指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“ip核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。

此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的制品的非暂态、有形布置，其包括存储介质，诸如硬盘；任何其他类型的盘，包括软盘、光盘、紧致盘只读存储器(cd-rom)、可重写紧致盘(cd-rw)以及磁光盘；半导体器件，诸如，只读存储器(rom)、诸如动态随机存取存储器(dram)和静态随机存取存储器(sram)的随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、闪存、电可擦除可编程只读存储器(eeprom)；相变存储器(pcm)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。

因此，本发明的实施例还包括非暂态的有形机器可读介质，该介质包含指令或包含设计数据，诸如硬件描述语言(hdl)，它定义本文中描述的结构、电路、装置、处理器和/或系统特征。这些实施例也被称为程序产品。

仿真(包括二进制变换、代码变形等)

在一些情况下，指令转换器可用于将指令从源指令集转换至目标指令集。例如，指令转换器可以将指令变换(例如，使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式转换成要由核处理的一条或多条其他指令。指令转换器可以用软件、硬件、固件、或其组合来实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

图16是根据本发明的实施例的对照使用软件指令转换器将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。在所图示的实施例中，指令转换器是软件指令转换器，但替代地，该指令转换器可以用软件、固件、硬件或其各种组合来实现。图16示出可使用x86编译器1604来编译高级语言1602形式的程序，以生成可由具有至少一个x86指令集核的处理器1616原生执行的x86二进制代码1606。具有至少一个x86指令集核的处理器1616表示通过兼容地执行或以其他方式执行以下各项来执行与具有至少一个x86指令集核英特尔处理器基本相同的功能的任何处理器：1)英特尔x86指令集核的指令集的本质部分，或2)目标为在具有至少一个x86指令集核的英特尔处理器上运行以便取得与具有至少一个x86指令集核的英特尔处理器基本相同的结果的应用或其他软件的目标代码版本。x86编译器1604表示可操作用于生成x86二进制代码1606(例如，目标代码)的编译器，该二进制代码可通过或不通过附加的链接处理在具有至少一个x86指令集核的处理器1616上执行。类似地，图16示出可以使用替代的指令集编译器1608来编译高级语言1602形式的程序，以生成可以由不具有至少一个x86指令集核的处理器1614(例如，具有执行加利福尼亚州桑尼维尔市的mips技术公司的mips指令集、和/或执行加利福尼亚州桑尼维尔市的arm控股公司的arm指令集的核的处理器)原生执行的替代的指令集二进制代码1610。指令转换器1612用于将x86二进制代码1606转换成可以由不具有x86指令集核的处理器1614原生执行的代码。该转换后的代码不大可能与替代的指令集二进制代码1610相同，因为能够这样做的指令转换器难以制造；然而，转换后的代码将完成一般操作，并且由来自替代指令集的指令构成。因此，指令转换器1612通过仿真、模拟或任何其他过程来表示允许不具有x86指令集处理器或核的处理器或其他电子设备执行x86二进制代码1606的软件、固件、硬件或其组合。

针对本文公开的处理器中的任一个所描述的组件、特征、以及细节可任选地应用于在实施例中可任选地由此类处理器和/或使用此类处理器执行的本文公开的方法中的任一个。可将实施例中的本文所述的处理器中的任一个可选地包括在本文公开的系统中的任一个中。实施例中的本文公开的指令中的任一个可以可选地由本文公开的处理器中的任一个和/或利用本文公开的处理器中的任一个来执行，可选地在一些实施例中具有本文所示的微架构中的任一个，并且可选地在一些实施例中包括在本文所示的系统中的任一个中。因此，针对本文公开的指令中的任一个描述的特征和细节因此在一些实施例中可以可选地应用于本文公开的可以用于执行那些指令的处理器和/或系统中的任一个。

本文公开的处理器组件可以说可操作、配置、能够、或能用于执行操作。例如，解码器可以用于对指令解码，执行单元可以用于存储结果，等等。为了清楚起见，应理解这些表达不暗示处理器组件处于操作或使用中，而是指代当处理器组件处于操作中时它们能够做或能用于做什么，但是在装置权利要求中这些处理器组件不处于操作中。

在说明书和权利要求中，可能使用了术语“耦合的”和/或“连接的”及其派生词。这些术语不旨在互为同义词。相反，在多个实施例中，“连接的”可以用于指示两个或更多元件彼此直接物理和/或电接触。“耦合的”可意味着两个或更多个元件彼此直接物理和/或电接触。然而，“耦合的”也可意味着两个或更多个元件并未彼此直接接触，但是仍然彼此协作或彼此作用。例如，执行单元可通过一个或多个中间组件与寄存器和/或解码单元耦合。在附图中，箭头用于示出连接和耦合。

本文中所公开的组件和前述附图中所描绘的方法可以利用逻辑、模块或单元来实现，这些逻辑、模块或单元包括硬件(例如，晶体管、门、电路等)、固件(例如，存储微代码或控制信号的非易失性存储器)、软件(例如，存储在非暂态计算机可读存储介质上)或其组合。在一些实施例中，这些逻辑、模块或单元可包括至少一些或主要是潜在地与一些可选的软件组合的硬件和/或固件的混合。

可能已使用了术语“和/或”。如本文中所使用的那样，术语“和/或”意思是一个或另一个或两者(例如，a和/或b意思是：a或b，或者a和b两者)。

在以上描述中，为了提供对实施例的透彻理解，已阐述了特定的细节。然而，可以在没有这些特定细节中的一些的情况下来实践其他实施例。本发明的范围不是由以上所提供的具体示例来确定的，而仅由所附权利要求确定。在其他实例中，已经以框图形式和/或没有细节的形式示出了公知的电路、结构、设备和操作，以避免使对说明书的理解变得模糊。在认为合适的地方，已在附图之间重复了附图标记或附图标记的结尾部分以指示可能任选地具有类似或相同特性的对应或类似的元件，除非另外指定或是显而易见的。

某些操作可由硬件组件执行，或者能以机器可执行或电路可执行指令来具体化，这些机器可执行指令或电路可执行指令可用于使得和/或者导致机器、电路、或硬件组件(例如，处理器、处理器的部分、电路等)利用执行这些操作的指令来编程。这些操作还可任选地由硬件和软件的组合执行。处理器、机器、电路或硬件可包括专用或特定电路或其他逻辑(例如，可能与固件和/或软件组合的硬件)，该专用或特定电路或其他逻辑用于执行和/或处理指令，并且响应于该指令而存储结果。

一些实施例包括制品(例如，计算机程序产品)，该制品包括机器可读介质。该介质可包括以机器可读形式提供(例如，存储)信息的机制。机器可读介质可提供或在其上存储有指令或指令序列，如果和/或当由机器执行该指令或指令序列时，该指令或指令序列可用于使该机器执行和/或导致该机器执行本文中所公开的一种或多种操作、方法或技术。

在一些实施例中，机器可读介质可包括有形的和/或非暂态的机器可读存储介质。例如，非暂态机器可读存储介质可包括，软盘、光存储介质、光盘、光学数据存储设备、cd-rom、磁盘、磁光盘、只读存储器(rom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、随机存取存储器(ram)、静态ram(sram)、动态ram(dram)、闪存、相变存储器、相变数据存储材料、非易失性存储器、非易失性数据存储设备、非暂态存储器、或非暂态数据存储设备等。非暂态机器可读存储介质不由暂态传播的信号组成。在一些实施例中，存储介质可包括有形介质，该有形介质包括诸如例如半导体材料、相变材料、磁性固体材料、固体数据存储材料等之类的固态物质或材料。替代地，可任选地使用非有形暂态计算机可读传输介质诸如例如，电、光、声或其他形式的传播信号——诸如载波、红外信号和数字信号。

合适机器的示例包括但不限于，通用处理器、专用处理器、数字逻辑电路、集成电路等。合适的机器的另一些示例包括，包含处理器、数字逻辑电路或集成电路的计算机系统或其他电子设备。此类计算机系统或电子设备的示例包括但不限于，台式计算机、膝上型计算机、笔记本计算机、平板计算机、上网本、智能电话、蜂窝电话、服务器、网络设备(例如，路由器和交换机)、移动互联网设备(mid)、媒体播放器、智能电视、上网机、机顶盒和视频游戏控制器。

例如，贯穿本说明书对“一个实施例”、“实施例”、“一个或多个实施例”、“一些实施例”的引用指示特定特征可被包括在本发明的实施中，但是不一定需要这样。类似地，在该描述中，为了使本公开流畅并辅助对各创造性方面的理解，有时将各种特征一起归组在单个实施例、附图或对它们的描述中。然而，不应当将公开的该方法解释为反映本发明需要比每项权利要求中所明确记载的更多特征的意图。相反，如所附权利要求所反映，创造性方面在于少于单个的公开实施例的所有特征。因此，将遵循具体实施方式的权利要求明确地结合到该具体实施方式中，并且每一项权利要求独立地作为本发明的单独的实施例而存在。

示例1是一种处理器，包括解码单元，用于对矩阵乘法指令解码。矩阵乘法指令用于指示第一源矩阵的第一存储器位置、用于指示第二源矩阵的第二存储器位置、并且用于指示将存储结果矩阵的第三存储器位置。该处理器还包括执行单元，与解码单元耦合。执行单元用于响应于矩阵乘法指令进行以下操作：在中断之前将第一和第二源矩阵的部分相乘，并且响应于中断而存储完成进展指示符。完成进展指示符用于指示在中断之前将已经完成的将第一和第二源矩阵相乘以及将对应的结果数据存储到第三存储器位置中的进展的量。

示例2包括示例1的处理器，其中可选地，执行单元用于响应于矩阵乘法指令而存储将不在架构上被定义的完成进展指示符。

示例3包括示例1的处理器，其中可选地，执行单元用于响应于矩阵乘法指令而存储将不可由软件理解的完成进展指示符。

示例4包括示例1的处理器，其中可选地，执行单元用于响应于在中断之后矩阵乘法指令被恢复而进行以下操作：接收完成进展指示符，并且使用完成进展指示符来恢复第一和第二源矩阵的乘法而无需重复将在中断之前已经被相乘的第一和第二源矩阵的部分相乘。

示例5包括示例1的处理器，其中可选地，解码单元用于对矩阵乘法指令解码，矩阵乘法指令用于指示矩阵维度指示符。

示例6包括示例1的处理器，其中可选地，解码单元用于对矩阵乘法指令解码，矩阵乘法指令用于指示：第一源矩阵的行的数量；第二源矩阵的列的数量；以及以下项中的至少一个：(a)第一源矩阵的列的数量；和(b)第二源矩阵的行的数量。

示例7包括示例6的处理器，其中可选地，第一源矩阵、第二源矩阵、和结果矩阵各自将按列主格式存储在存储器中，并且其中可选地，解码单元用于对矩阵乘法指令解码，矩阵乘法指令用于指示用于包括第一源矩阵的较大矩阵的列之间的距离、用于包括第二源矩阵的较大矩阵的列之间的距离、和用于包括结果矩阵的较大矩阵的列之间的距离。

示例8包括示例6的处理器，其中可选地，第一源矩阵、第二源矩阵、和结果矩阵各自将按行主格式存储在存储器中，并且其中可选地，解码单元用于对矩阵乘法指令解码，矩阵乘法指令用于指示用于包括第一源矩阵的较大矩阵的行之间的距离、用于包括第二源矩阵的较大矩阵的行之间的距离、和用于包括结果矩阵的较大矩阵的行之间的距离。

示例9包括示例1的处理器，其中可选地，执行单元用于响应于矩阵乘法指令而将第一源矩阵分解为多个片。

示例10包括示例9的处理器，其中可选地，执行单元用于响应于矩阵乘法指令而将第一源矩阵分解为具有第一尺寸的多个片，并且将具有第一尺寸的至少一个片分解为具有小于第一尺寸的第二尺寸的多个片。

示例11包括示例9的处理器，其中可选地，执行单元用于响应于矩阵乘法指令而将片中的每一个的至少两个副本存储在高速缓存中。

示例12包括示例11的处理器，其中可选地，执行单元用于响应于矩阵乘法指令而进行以下操作：将第一源矩阵、第二源矩阵、和累加矩阵中的每一个分解为多个片，累加矩阵将初始地存储在第三存储器位置中；将来自第一和第二源矩阵的片中的每一个的两个副本存储在高速缓存中；以及将来自累加矩阵的片中的每一个的三个副本存储在高速缓存中。

示例13包括示例1至12中的任一项的处理器，其中，执行单元用于响应于矩阵乘法指令而进行以下操作：(1)确定给定片是完整片还是部分片；(2)可选地当给定片是完整片时执行相对更多并发乘法；或(3)可选地当给定片是部分片时执行相对更少并发乘法。

示例14包括示例1至12中的任一项的处理器，其中，执行单元用于响应于在中断之后矩阵乘法指令被恢复而进行以下操作：(1)推测性地开始以完成进展指示符指示在先进展的量为无的假设来执行矩阵乘法指令；以及(2)可选地当完成进展指示符用于指示在先进展的量不为无时引起微异常或其他信号。

示例15包括示例1至12中的任一项的处理器，其中，解码单元用于对矩阵乘法指令解码，矩阵乘法指令用于具有用于指示第一和第二源矩阵中的每一个的尺寸的立即数，并且其中可选地，处理器用于基于第一和第二源矩阵中的每一个的所指示的尺寸将操作引入处理器的流水线的前端部分。

示例16包括示例1至12中的任一项的处理器，其中，执行单元用于响应于矩阵乘法指令而将初始地将存储在第三存储器位置中的累加矩阵的部分加到第一和第二源矩阵的部分的乘法。

示例17包括示例1至12中的任一项的处理器，进一步包括通用寄存器，并且其中执行单元用于响应于矩阵乘法指令而可选地将完成进展指示符存储在通用寄存器中。

示例18是一种方法，由处理器执行，包括在处理器处接收矩阵乘法指令。矩阵乘法指令指示第一源矩阵的第一存储器位置、指示第二源矩阵的第二存储器位置、并且指示将存储结果矩阵的第三存储器位置，响应于矩阵乘法指令在中断之前将第一和第二源矩阵的部分相乘，并且响应于矩阵乘法指令和中断而存储完成进展指示符，完成进展指示符指示在中断之前将已经完成的将第一和第二源矩阵相乘以及将对应的结果数据存储到第三存储器位置中的进展的量。

示例19包括示例18的方法，其中，存储包括存储将是不在架构上被定义和不可由软件理解中的至少一个的完成进展指示符。

示例20包括示例18的方法，进一步包括，响应于在中断之后矩阵乘法指令被恢复而进行以下操作：(1)接收完成进展指示符；以及(2)使用完成进展指示符来恢复第一和第二源矩阵的乘法而无需重复将在中断之前已经被相乘的第一和第二源矩阵的部分相乘。

示例21包括示例18的方法，其中，接收包括接收矩阵乘法指令，矩阵乘法指令用于指示：第一源矩阵的行的数量；可选地第二源矩阵的列的数量；以及可选地以下项中的至少一个：(a)第一源矩阵的列的数量；和(b)第二源矩阵的行的数量。

示例22包括示例18的方法，进一步包括，响应于矩阵乘法指令，将第一源矩阵分解为多个片。

示例23包括示例18的方法，进一步包括，响应于在中断之后矩阵乘法指令被恢复而进行以下操作：(1)可选地通过假设完成进展指示符指示在先进展的量为无来推测性地开始以执行矩阵乘法指令；以及(2)可选地当完成进展指示符指示在先进展的量不为无时引起微异常。

示例24是计算机系统，包括互连和与互连耦合的处理器。处理器用于接收矩阵乘法指令。矩阵乘法指令用于指示第一源矩阵的第一存储器位置、用于指示第二源矩阵的第二存储器位置、并且用于指示将存储结果矩阵的第三存储器位置。处理器用于响应于矩阵乘法指令进行以下操作：在中断之前将第一和第二源矩阵的部分相乘，并且响应于中断而将完成进展指示符存储在架构上可见的存储位置中。完成进展指示符用于指示在中断之前将已经完成的将第一和第二源矩阵相乘以及将对应的结果数据存储到第三存储器位置中的进展的量。系统还包括与互连耦合的动态随机存取存储器(dram)。存储不同于矩阵乘法指令的一个或多个实例的指令的dram不用于访问或使用完成进展指示符。

示例25包括示例24的计算机系统，其中，处理器用于响应于矩阵乘法指令而存储将不在架构上被定义的完成进展指示符。