用于从处理器到存储器子系统智能刷新数据的系统和方法

用于从处理器到存储器子系统智能刷新数据的系统和方法
【专利摘要】本发明描述了用于从处理器高速缓存智能刷新数据的系统和方法。例如，根据本发明一个实施例的系统包括：处理器，具有从其刷新数据的高速缓存，数据与具体系统地址范围关联；以及PCM存储器控制器，用于管理对存储在PCM存储器装置中对应于具体系统地址范围的数据的存取；处理器确定对于规定的系统地址范围是否启用存储器刷新提示，其中如果对于规定的系统地址范围启用存储器刷新提示，则处理器向PCM存储器装置的PCM存储器控制器发送存储器刷新提示，并且其中PCM存储器控制器使用存储器刷新提示确定是否将刷新的数据保存到PCM存储器装置。
【专利说明】用于从处理器到存储器子系统智能刷新数据的系统和方法

【技术领域】
[0001] 此发明一般涉及计算机系统的领域。更具体地说，本发明涉及用于实现多级存储 器层级的设备和方法。

【背景技术】
[0002] A.当前存储器和存储裝置配置 今天计算机创新的限制因素之一是存储器和存储装置技术。在常规计算机系统中， 系统存储器（也称为主存储器、主要存储器、可执行存储器）通常由动态随机存取存储器 (DRAM)实现。基于DRAM的存储器甚至当没有存储器读或者写发生时也消耗功率，这是因为 它必须不断给内部电容器再充电。基于DRAM的存储器是易失性的，这意味着，一旦移除电 源，存储在DRAM存储器中的数据就丢失。常规计算机系统还依赖于多级高速缓存以改进性 能。高速缓存是位于处理器与系统存储器之间的高速存储器，以比可能从系统存储器服务 于存储器存取请求更快地服务于存储器存取请求。此类高速缓存通常用静态随机存取存储 器（SRAM)实现。高速缓存管理协议可用于确保最频繁存取的数据和指令被存储在其中一 级高速缓存内，由此减少存储器存取事务数量并改进性能。
[0003] 相对于大容量存储装置（也称为辅助存储装置或盘存储装置），常规大容量存储 装置器件通常包含磁介质（例如硬盘驱动器）、光介质（例如压缩盘（CD)驱动器、数字多 功能盘（DVD)等）、全息介质和/或大容量存储装置闪速存储器（例如固态驱动器（SSD)、 可拆卸闪速驱动器等）。一般而言，这些存储装置器件被视为输入/输出（I/O)装置，这是 因为它们由处理器通过实现各种I/O协议的各种I/O适配器来存取。这些I/O适配器和 I/O协议消耗相当大量的功率，并且可对平台的管芯面积和形状因子具有重大影响。当未 连接到永久电源时具有有限电池寿命的便携式装置或移动装置（例如膝上型计算机、笔记 本、平板计算机、个人数字助理（PDA)、便携式媒体播放器、便携式游戏装置、数字摄像机、移 动电话、智能电话、功能电话等）可包含可拆卸大容量存储装置器件（例如嵌入式多媒体卡 (eMMC)、安全数字（SD)卡），它们通常经由低功率互连和I/O控制器耦合到处理器以便满足 活动和空闲功率预算。
[0004] 相对于固件存储器（诸如引导存储器（也称为BIOS闪存））、常规计算机系统通 常使用闪速存储器装置来存储经常被读但很少（或者从不）被写的持久系统信息。例如， 由处理器执行的、在引导过程期间初始化关键系统组件的初始指令（基本输入和输出系统 (BIOS)映像）通常存储在闪速存储器装置中。当前在市场上可买到的闪速存储器装置一般 具有有限速度（例如50 MHz)。由于用于读协议的开销，此速度进一步降低（例如2. 5 MHz)。 为了加速BIOS执行速度，常规处理器一般在引导过程的预先可扩展固件接口（PEI)阶段期 间高速缓存BIOS代码的一部分。处理器高速缓存的大小对在PEI阶段中使用的BIOS代码 (也称为"PEI BIOS代码"）的大小施加了约束。
[0005] B.相夺存储器（PCM)以及相关抟术 相变存储器（PCM)(有时也称为相变随机存取存储器（PRAM或PCRAM)、PCME、奥式统一 存储器或硫属化物RAM(C-RAM))是采用硫属化物玻璃的独特行为的非易失性计算机存储 器类型。由于由电流经过产生的热量，硫属化物玻璃可在两种状态：晶体与非晶体之间切 换。PCM的当前版本可获得两种截然不同的附加状态。
[0006] PCM提供比闪存更高的性能，这是因为PCM的存储元件可更快地开关，可进行写 (将各个位改变成1或0)而无需首先擦除单元的整个块，并且来自写的降级更慢（PCM装置 可存活近似1亿个写循环；PCM降级由于编程期间的热膨胀、金属（和其它材料）迁移以及 其它机制引起）。

【专利附图】

【附图说明】
[0007] 以下描述和附图用于例证本发明的实施例。在附图中： 图1例证了根据本发明实施例的高速缓存和系统存储器布置； 图2例证了在本发明实施例中采用的存储器和存储装置层级； 图3例证了可在其上实现本发明实施例的计算机系统； 图4A例证了根据本发明实施例包含PCM的第一系统架构； 图4B例证了根据本发明实施例包含PCM的第二系统架构； 图4C例证了根据本发明实施例包含PCM的第三系统架构； 图4D例证了根据本发明实施例包含PCM的第四系统架构； 图4E例证了根据本发明实施例包含PCM的第五系统架构； 图4F例证了根据本发明实施例包含PCM的第六系统架构； 图4G例证了根据本发明实施例包含PCM的第七系统架构； 图4H例证了根据本发明实施例包含PCM的第八系统架构； 图41例证了根据本发明实施例包含PCM的第九系统架构； 图4J例证了根据本发明实施例包含PCM的第十系统架构； 图4K例证了根据本发明实施例包含PCM的第十一系统架构； 图4L例证了根据本发明实施例包含PCM的第十二系统架构；及 图4M例证了根据本发明实施例包含PCM的第十三系统架构； 图5A例证了系统架构的一个实施例，其包含易失性近存储器和非易失性远存储器； 图5B例证了存储器侧高速缓存（MSC)的一个实施例； 图5C例证了存储器侧高速缓存（MSC)的另一实施例，其包含集成标签高速缓存和ECC 生成/检查逻辑； 图例证了示范标签高速缓存和ECC生成器/检查单元的一个实施例； 图5E例证了包含PCM控制器的PCM DI丽的一个实施例； 图6A例证了根据本发明一个实施例专用于某些规定系统物理地址（SPA)范围的MCE 控制器和高速缓存； 图6B例证了根据本发明一个实施例在系统存储器映射、近存储器地址映射与PCM地址 映射之间的示范性映射； 图6C例证了根据本发明一个实施例在系统物理地址（SPA)与PCM物理装置地址（PDA) 或近存储器地址（NMA)之间的示范性映射； 图6D例证了根据本发明一个实施例在系统物理地址（SPA)空间与存储器通道地址 (MCA)空间内的存储页面之间的交织； 图7例证了可实现本发明实施例的示范性多处理器架构。
[0008] 图8例证了根据本发明一些实施例的系统存储器映射。
[0009] 图9例证了含有刷新提示数据的存储器范围寄存器（MRR)的一个实施例。
[0010] 图10例证了 PCMS存储器控制器的一个实施例。
[0011] 图11例证了用于向PCMS装置智能刷新数据的方法的一个实施例。
[0012] 图12例证了根据本发明一个实施例的方法。

【具体实施方式】
[0013] 在以下描述中，阐述了许多具体细节，诸如逻辑实现、操作码、规定操作数的构件、 资源划分/共享/复制实现、系统组件的类型和相互关系以及逻辑划分/集成选择，以便提 供对本发明的更透彻理解。然而，本领域技术人员将认识到，没有此类特定细节也可实践本 发明。在其它实例中，控制结构、门级电路以及全软件指令序列未详细示出，以免模糊了本 发明。本领域普通技术人员用所包含的描述将能够实现适当功能性，而无需过多实验。
[0014] 在说明书中提到" 一个实施例"、"实施例"、"示例实施例"等指示所描述的实施例 可包含具体特征、结构或特性，但可能不一定每一个实施例都包含该具体特征、结构或特 性。此外，此类短语不一定是指同一实施例。进一步说，当具体特征、结构或特性结合一实 施例描述时，认为结合其它实施例实现此类特征、结构或特性在本领域技术人员的知识范 围内，而不管是否明确描述了。
[0015] 在以下说明书和权利要求书中，可以使用术语"耦合"和"连接"连同它们的派生 词。应该理解，这些术语不打算作为彼此的同义词。"耦合"用于指示可以直接彼此物理接 触或电气接触或者可以不直接彼此物理接触或电气接触的两个或更多元件彼此协同操作 或交互作用。"连接"用于指示在彼此耦合的两个或更多元件之间建立通信。
[0016] 带括号的文本以及具有虚线边框（例如大破折号、小破折号、点划线、点等）的块 有时在本文用于例证向本发明实施例添加附加特征的可选操作/组件。然而，此类记号不 应该被视为意味着这些是仅有的选项或仅有的可选操作/组件，和/或不应该被视为意味 着具有实线边框的块在本发明的某些实施例中不是可选的。
[0017] 介绍 存储器容量和性能要求随着处理器核以及新用途模型（诸如虚拟化）的数量增加而继 续增加。此外，存储器功率和成本已经分别变成电子系统的总体功率和成本的重要组成部 分。
[0018] 本发明的一些实施例通过在存储器技术之间智能细分性能要求和容量要求来解 决以上挑战。此方法的焦点在于通过如下方式来提供性能：利用相对小量的相对较高速的 存储器（诸如DRAM)，同时使用显著更便宜并且更密集的非易失性随机存取存储器（NVRAM) 来实现大多数系统存储器。下面描述的本发明实施例定义了对于使用NVRAM能够实现层级 存储器子系统组织的平台配置。在存储器层级中使用NVRAM也能够实现新用途，诸如扩大 的引导空间以及大容量存储装置实现，如下面所详细描述的。
[0019] 图1例证了根据本发明实施例的高速缓存和系统存储器布置。特别是，图1示 出了存储器层级，其包含一组内部处理器高速缓存120、充当远存储器高速缓存的"近存储 器" 121以及"远存储器" 122, "近存储器" 121可包含一个或多个内部高速缓存106和外部 高速缓存107-109。在本发明的一些实施例中可用于"远存储器"的一种具体类型存储器是 非易失性随机存取存储器（"NVRAM"）。因而，下面提供了 NVRAM的概览，随后是远存储器 和近存储器的概览。
[0020] A.非易失件随机存取存储器（"NVRAM"） 存在许多可能的技术选择用于NVRAM，包含PCM、相变存储器和开关（PCMS)(后者是前 者的更具体实现）、字节可寻址持久存储器（BPRAM)、通用存储器、Ge2Sb2Te5、可编程金属 化单元（PMC)、电阻性存储器（RRAM)、RESET (非晶体）单元、SET (晶体）单元、PCME、奥氏 存储器、铁电存储器（也称为聚合物存储器和聚（N-乙烯基咔唑））、铁磁存储器（也称为自 旋电子器件、SPRAM(自旋传递扭矩RAM)、STRAM (自旋遂穿RAM)、磁阻存储器、磁存储器、磁 随机存取存储器（MRAM))以及半导体-氧化物-氮化物-氧化物-半导体（S0N0S，也称为 介电存储器）。
[0021] 供在此申请中描述的存储器层级之用，NVRAM具有如下特性： (1) 即便移除电源它也保持其内容，这类似于在固态盘（SSD)中使用的闪速存储器，并 且不同于易失性的SRAM和DRAM ; (2) 当空闲时比易失性存储器（诸如SRAM和DRAM)更低的功耗； (3) 类似于SRAM和DRAM的随机存取（也称为可随机寻址）； (4) 以比在SSD中含有的闪存更低级的粒度（例如字节级）可重写以及可擦除（SSD中 含有的闪存每次仅能被重写并擦除"块"--对于N0R闪存而言大小最低限度是64K字节， 并且对于NAND闪存而言大小最低限度是16K字节）； (5) 可用作系统存储器并且分配了全部系统存储器地址空间或部分系统存储器地址空 间； (6) 能够使用事务协议（支持事务标识符（ID)来区分不同的事务的协议，使得那些事 务可无序地完成）通过总线耦合到处理器并允许在小到足以支持作为系统存储器的NVRAM 的操作（例如高速缓存线大小、诸如64字节或128字节）的粒度级存取。例如，总线可以 是存储器总线（例如DDR总线、诸如DDR3、DDR4等），通过所述总线运行事务协议，这与正 常使用的非事务协议形成对比。作为另一示例，总线可以是通过其正常运行事务协议（本 机事务协议）的总线，诸如PCI快速（PCIE)总线、桌面管理接口（DMI)总线或利用事务协 议和足够的小事务有效载荷大小（例如高速缓存线大小、诸如64字节或128字节）的任何 其它类型总线；以及 (7) 如下一项或多项： a) 比非易失性存储器/存储装置技术（诸如闪存）更快的写速度； b) 非常高的读速度（比闪存更快，并且接近或相当于DRAM读速度）； c) 直接可写（而不是在写数据之前需要擦除（用1盖写）（比如在SSD中使用的闪速 存储器））；和/或 d) 在故障之前较高（例如2或3)数量级的写持续时间（比在SSD中使用的引导ROM 和闪存大）。
[0022] 如上面所提到的，与闪速存储器形成对照（闪速存储器每次必须被重写并且擦除 整个"块"），在任何给定实现中存取NVRAM所用的粒度级可取决于具体存储器控制器和具 体存储器总线或耦合到NVRAM的其它类型总线。例如，在NVRAM被用作系统存储器的一些 实现中，尽管固有能力是以字节粒度来存取，仍可以以高速缓存线（例如64字节或128字 节的高速缓存线）的粒度来存取NVRAM，这是因为高速缓存线是存储器子系统存取存储器 的所用的级。从而，当NVRAM被部署在存储器子系统内时，可以以与在同一存储器子系统中 使用的DRAM(例如"近存储器"）相同的粒度级来存取NVRAM。即便如此，由存储器控制器 和存储器总线或其它类型总线对NVRAM的存取的粒度级也小于由闪存使用的块大小和I/O 子系统的控制器和总线的存取大小的粒度级。
[0023] NVRAM也可结合耗损均匀化算法来考虑如下事实：在远存储器级的存储装置单元 在若干次写存取之后开始耗尽，特别是在诸如在系统存储器实现中可出现大量写的情况 下。由于用这种方式高循环计数块最有可能耗尽，因此耗损均匀化通过交换高循环计数块 与低循环计数块的地址而在远存储单元上扩散写。要指出，大部分地址交换通常对应用程 序而言是透明的，这是因为它由硬件、低级软件（例如低级驱动程序或操作系统）或二者的 组合来处置。
[0024] B.远存储器 本发明一些实施例的远存储器122用NVRAM实现，但不一定局限于任何具体存储器技 术。远存储器122在其特性和/或其在存储器/存储装置层级中的应用方面与其它指令和 数据存储器/存储装置技术有区别。例如，远存储器122不同于 ： 1) 静态随机存取存储器（SRAM)，其可用于分别专用于处理器核101-104中每一个处理 器核的〇级和1级内部处理器高速缓存l〇la-b、102a-b、103a-b、103a_b和104a_b，以及由 处理器核共享的较低级高速缓存（LLC) 105 ; 2) 动态随机存取存储器（DRAM)，其配置为在处理器100内部的高速缓存106 (例 如在与处理器106相同的裸晶上）和/或配置为在处理器外部的一个或多个高速缓存 107-109(例如在与处理器100相同的封装或不同的封装中）；以及 3) 闪速存储器/磁盘/光盘，其应用为大容量存储装置（未示出）；及 4) 存储器（诸如闪速存储器或其它只读存储器（R0M))，其应用为固件存储器（其可以 指引导ROM、BIOS闪存和/或TPM闪存）（未示出）。
[0025] 远存储器122可被用作可直接由处理器100寻址并且能够充分跟上处理器100的 指令和数据存储装置，其与应用为大容量存储装置的闪存/磁盘/光盘形成对照。此外，如 上面所讨论和下面详细描述的，远存储器122可被放在存储器总线上，并且可与存储器控 制器直接通信，所述存储器控制器又与处理器100直接通信。
[0026] 远存储器122可与其它指令和数据存储技术（例如DRAM)组合以形成混合存储器 (也称为协同定位的PCM和DRAM ;第一级存储器和第二级存储器；FLAM(闪存和DRM))。要 指出，以上技术中的至少一些技术（包含PCM/PCMS)可用于大容量存储装置，来代替系统存 储器或作为系统存储器的附加，并且当用这种方式应用时不必是可由处理器随机存取的、 字节寻址的或直接寻址的。
[0027] 为了便于说明，本申请其余部分中的大部分将引用"NVRAM"，或者更特别是"PCM" 或"PCMS"来作为用于远存储器122的技术选择。因而，术语NVRAM、PCM、PCMS和远存储器 在以下讨论中可互换使用。然而，应该意识到，如上面所讨论的，对于远存储器也可利用不 同技术。还有，那个NVRAM不限于用作远存储器。
[0028] C.沂存储器 "近存储器" 121是配置在远存储器122前面的中级存储器，其相对于远存储器具有更 低读/写存取等待时间和/或更对称的读/写存取等待时间（即具有大致相当于写时间的 读时间）。在一些实施例中，近存储器121具有比远存储器122显著低的写等待时间但具有 类似（例如略低或相等）的读等待时间；例如，近存储器121可以是易失性存储器（诸如易 失性随机存取存储器（VRAM))，并且可包括DRAM或其它基于电容器的高速存储器。然而，要 指出，本发明的基本原理不限于这些特定存储器类型。附加地，近存储器121可具有相对低 的密度，和/或可能比远存储器122制造起来更昂贵。
[0029] 在一个实施例中，近存储器121配置在远存储器122与内部处理器高速缓存120 之间。在下面描述的一些实施例中，近存储器121配置为一个或多个存储器侧高速缓存 (MSC) 107-109以掩蔽远存储器的性能和/或使用限制，其包括例如读/写等待时间限制和 存储器降级限制。在这些实现中，MSC 107-109和远存储器122的组合以近似、相当于或超 过仅使用DRAM作为系统存储器的系统的性能级操作。如下面所详细讨论的，虽然在图1中 显示为"高速缓存"，但近存储器121可包含如下模式，其中它除了扮演高速缓存角色之外 还扮演其它角色，或者替代扮演高速缓存角色而扮演其它角色。
[0030] 近存储器121可位于处理器裸晶上（作为一个或多个高速缓存106)和/或位于 处理器裸晶外部（作为高速缓存107-109)(例如在位于CPU封装上的单独裸晶上、位于CPU 封装外部（具有到CPU封装的高带宽链路），例如在存储器双列直插式存储器模块（DIMM)、 转接卡/小背板或计算机主板上）。近存储器121可使用单个或多个高带宽链路（诸如DDR 或其它事务的高带宽链路（如下面所详细描述的））与处理器100通信耦合。
[0031] 示范性系统存储器分配方案 图1例证了在本发明实施例中如何相对于系统物理地址（SPA)空间116-119配置各级 高速缓存101-109。如所提到的，这个实施例包括具有一个或多个核101-104的处理器100， 其中每个核都具有它自己的专用上级高速缓存（L0) 101a-104a和中级高速缓存（MLC) (L1)高速缓存101b-104b。处理器100还包含共享的LLC 105。这些各级高速缓存的操作 众所周知，并且在此将不详细描述。
[0032] 图1中例证的高速缓存107-109可专用于具体系统存储器地址范围或不连续地址 范围集合。例如，高速缓存107专用于充当用于系统存储器地址范围# 1 116的MSC，并且 高速缓存108和109专用于充当用于系统存储器地址范围# 2 117和# 3 118的非交叠部 分的MSC。后一实现可用于如下系统：由处理器100使用的SPA空间被交织到由高速缓存 107-109(例如当配置为MSC时）使用的地址空间中。在一些实施例中，这个后一地址空间 被称为存储器通道地址（MCA)空间。在一个实施例中，内部高速缓存101a-106对整个SPA 空间执行高速缓存操作。
[0033] 本文所使用的系统存储器是对在处理器100上执行的软件而言可见和/或可直接 由其寻址的存储器；而高速缓存存储器101a-109可在如下意义上对软件而言透明地操作： 它们未形成系统地址空间的直接可寻址部分，但这些核也可支持指令执行以允许软件向一 些高速缓存或所有高速缓存提供某种控制（配置、策略、提示等）。系统存储器细分成区域 116-119可作为系统配置过程的一部分（例如由系统设计者）手动执行，和/或可由软件自 动执行。
[0034] 在一个实施例中，使用远存储器（例如PCM)并且在一些实施例中使用配置为系 统存储器的近存储器来实现系统存储器区域116-119。系统存储器地址范围# 4表示使用 较高速存储器（诸如DRAM)实现的地址范围，较高速存储器可以是配置在系统存储器模式 (与高速缓存模式相对）的近存储器。
[0035] 图2例证了根据本发明实施例用于近存储器144和NVRAM的存储器/存储装置层 级140和不同的可配置操作模式。存储器/存储装置层级140具有多级，其包含：（1)高速缓 存级150,其可包含处理器高速缓存150A(例如图1中的高速缓存101A-105)以及可选地包 含近存储器来作为用于远存储器的高速缓存150B(在本文所讨论的某些操作模式中），（2) 系统存储器级151，其当近存储器存在时可包含远存储器151B (例如NVRAM、诸如PCM)(或 者当近存储器不存在时可只是包含NVRAM作为系统存储器174)以及可选地包含作为系统 存储器151A操作的近存储器（在本文所描述的某些操作模式中），（3)大容量存储装置级 152,其可包含闪存/磁/光大容量存储装置152B和/或NVRAM大容量存储装置152A (例 如NVRAM 142的一部分）；以及（4)固件存储器级153,其可包含BIOS闪存170和/或BIOS NVRAM 172以及可选地包含可信平台模块（TPM) NVRAM 173。
[0036] 如所指示的，近存储器144可实现成在各种不同模式操作，其包含：第一模式，在 此模式它作为用于远存储器的高速缓存（作为用于FM的高速缓存150B的近存储器）操作； 第二模式，在此模式它作为系统存储器151A操作，并占据SPA空间的一部分（有时称为近 存储器"直接存取"模式）；以及一个或多个附加操作模式，诸如暂存器存储器192或作为 写缓冲器193。在本发明的一些实施例中，近存储器是可划分的，其中每个分区可同时在所 支持模式中的不同模式操作；并且不同实施例可支持通过硬件（例如熔丝、管脚）、固件和/ 或软件（例如通过MSC控制器124内的一组可编程范围寄存器，在其内例如可存储不同二 进制代码以标识每个模式和分区）配置分区（例如大小、模式）。
[0037] 图2中的系统地址空间A 190用于例证当近存储器被配置为用于远存储器的MSC 150B时的操作。在此配置中，系统地址空间A 190表示整体系统地址空间（并且系统地址 空间B 191不存在）。备选地，系统地址空间B 191用于示出当给全部或部分近存储器指配 一部分系统地址空间时的实现。在此实施例中，系统地址空间B 191表示系统地址空间中 指配给近存储器151 A的范围，并且系统地址空间A 190表示系统地址空间中指配给NVRAM 174的范围。
[0038] 此外，当充当用于远存储器的高速缓存150B时，近存储器144可在MSC控制器124 的控制下在各种子模式操作。在这些模式中的每个模式中，近存储器地址空间（NMA)在如 下意义上对软件而言是透明的：近存储器未形成系统地址空间的直接可寻址部分。这些模 式包括但不限于如下项： (1)写回高谏缓存樽式：在此樽式，充当FM高速缓存150B的全部或部分近存储器被用 作用于NVRAM远存储器（FM)151B的高速缓存。虽然在写回模式，但每一个写操作最初都指 向作为用于FM的高速缓存150B的近存储器（假定在高速缓存中存在所述写所指向的高速 缓存线）。仅当作为用于FM的高速缓存150B的近存储器内的高速缓存线要由另一高速缓 存线替换时才执行对应写操作以更新NVRAM FM 151B(与下面描述的每个写操作被立即传 播到NVRAM FM 151B的写直达模式形成对照）。
[0039] (2)近存储器旁路樽式:在此模式，所有读和写都旁路充当FM高速缓存150B的NM ，并且直接去到NVRAM FM 151B。例如当应用不是高速缓存友好的时，或者需要以高速缓存 线的粒度持久交付数据时，可使用此类模式。在一个实施例中，由处理器高速缓存150A和 充当FM高速缓存150B的匪执行的高速缓存彼此独立操作。因而，未在处理器高速缓存 150A中高速缓存（并且在一些情况下其可能未准许在处理器高速缓存150A中高速缓存） 的数据可在充当FM高速缓存150B的匪中高速缓存并且反之亦然。从而，在处理器高速 缓存中可被指定为"不可高速缓存"的某些数据可在充当FM高速缓存150B的匪内高速缓 存。
[0040] (3)沂存储器读-高谏缓存写旁路樽式:这是上面模式的变型，其中允许从NVRAM FM 151B读高速缓存持久数据（即，持久数据在作为用于远存储器的高速缓存的近存储器 150B中高速缓存以便进行只读操作）。当大部分持久数据是"只读"的并且应用用途是高 速缓存友好的时，这是有用的。
[0041] (4)沂存储器读-高谏缓存写官汰樽式:这是近存储器读-高速缓存写旁路模式 的变型，其中除了读高速缓存之外，还高速缓存写命中。对作为用于FM的高速缓存150B的 近存储器的每一次写引起对FM 151B的写。从而，由于高速缓存的写直达性质，仍保证了高 速缓存线持久性。
[0042] 当在近存储器直接存取模式中起作用时，作为系统存储器151A的近存储器的全 部或部分对软件而言直接可见，并且形成SPA空间的一部分。此类存储器可完全在软件控 制下。此类方案可创建用于软件的非均匀存储器地址（NUMA)存储区，其中它从近存储器 144得到相对于NVRAM系统存储器174更高的性能。作为示例而非限制，此类使用可用于需 要对某些数据结构进行非常快速存取的某些高性能计算（HPC)和图形应用。
[0043] 在备选实施例中，近存储器直接存取模式通过对近存储器中的某些高速缓存线 (即具有也同时存储在NVRAM 142中的数据的高速缓存线）"固定（pinning)"来实现。此 类固定可有效地在较大、多路且组关联的高速缓存中进行。
[0044] 图2还例证NVRAM 142的一部分可被用作固件存储器。例如，BIOS NVRAM 172部 分可用于存储BIOS映像（代替将BIOS信息存储在BIOS闪存170中，或者作为对将BIOS信 息存储在BIOS闪存170中的附加 ）。BIOS NVRAM部分172可以是SPA空间的一部分，并且 可由在处理器核101-104上执行的软件直接寻址，而BIOS闪存170可通过1/0子系统115 来寻址。作为另一示例，可信平台模块（TPM) NVRAM 173部分可用于保护敏感系统信息（例 如加密密钥）。
[0045] 从而，如所指示的，NVRAM 142可实现成在各种不同模式操作，其包含作为远存储 器151B (例如当近存储器144存在/操作时，而无论近存储器是否通过MSC控制件124充 当用于FM的高速缓存（在一个或多个高速缓存101A-105之后直接存取并且没有MSC控制 件124));仅NVRAM系统存储器174 (不作为远存储器，这是因为没有近存储器存在/操作， 并且没有MSC控制件124而存取）；NVRAM大容量存储装置152A;BI0S NVRAM 172;以及TPM NVRAM 173。虽然不同实施例可按不同方式规定NVRAM模式，但图3描述了解码表333的使 用。
[0046] 图3例证了可在其上实现本发明实施例的示范性计算机系统300。计算机系统300 包含处理器310和存储器/存储装置子系统380,该存储器/存储装置子系统380具有用于 系统存储器、大容量存储装置以及可选地固件存储器的NVRAM 142。在一个实施例中，NVRAM 142包括由计算机系统300用于存储数据、指令、状态和其它持久和非持久信息的整体系统 存储器和存储装置层级。如之前所讨论的，NVRAM 142可配置成实现典型存储器和系统存储 器中的存储装置层级、大容量存储装置和固件存储器、TPM存储器等的角色。在图3的实施 例中，NVRAM 142被划分成FM 151B、NVRAM大容量存储装置152A、BIOS NVRAM 173和TPM NVRAM 173。也考虑了具有不同角色的存储装置层级，并且NVRAM 142的应用不限于上面提 到的角色。
[0047] 作为示例，描述了作为用于FM的高速缓存150B的近存储器处于写回高速缓存时 的操作。在一个实施例中，虽然作为用于FM的高速缓存150B的近存储器处于上面提到的 写回高速缓存模式，但读操作将首先到达MSC控制器124,其将执行查找以确定在充当用于 FM的高速缓存150B的近存储器中是否存在所请求的数据（例如利用标签高速缓存342)。 如果存在，则它会通过I/O子系统115将数据返回到发出请求的CPU、核101-104或I/O装 置。如果数据不存在，则MSC控制器124会将请求与系统存储器地址一起发送到NVRAM控 制器332。NVRAM控制器332将使用解码表333来将系统存储器地址变换成NVRAM物理装 置地址（PDA)，并将读操作指向远存储器151B的这个区域。在一个实施例中，解码表333包 含间接寻址表（AIT)组件，NVRAM控制器332使用所述AIT组件在系统存储器地址与NVRAM PDA之间进行变换。在一个实施例中，AIT被更新为耗损均匀化算法的实现成分布存储器存 取操作并由此降低NVRAM FM 151B上耗损的部分。备选地，AIT可以是存储在NVRAM控制 器332内的单独表。
[0048] 在从NVRAM FM 151B接收到所请求的数据时，NVRAM控制器332会将所请求的数据 返回到MSC控制器124，MSC控制器124会将所述数据存储在充当FM高速缓存150B的MSC 近存储器中，并且还通过I/O子系统115将所述数据发送到发出请求的处理器核101-104 或者I/O装置。对于此数据的随后请求可从充当FM高速缓存150B的近存储器直接服务， 直到它由某一其它NVRAM FM数据替换。
[0049] 如所提到的，在一个实施例中，存储器写操作也首先去到MSC控制器124, MSC控制 器124将它写入充当FM高速缓存150B的MSC近存储器中。在写回高速缓存模式中，当接收 到写操作时，可不将数据直接发送到阶狀1?115川。例如，仅当充当？1高速缓存15(?的 MSC近存储器中存储数据的位置必须针对不同系统存储器地址再用于存储数据时，才可将 数据发送到NVRAM FM 151B。当这个发生时，MSC控制器124注意到数据当前不在NVRAM FM 151B中，并且从而将从充当FM高速缓存150B的近存储器中检索它，并将它发送到NVRAM控 制器332。NVRAM控制器332查找用于系统存储器地址的PDA，并且然后将数据写到NVRAM FM 151B。
[0050] 在图3中，显示NVRAM控制器332使用三条单独的线路连接到FM 151B、NVRAM大 容量存储装置152A和BIOS NVRAM 172。然而，这不一定意味着，存在三条单独的物理总线 或通信信道将NVRAM控制器332连接到NVRAM 142的这些部分。而是，在一些实施例中，公 共存储器总线或其它类型总线（诸如下面相对于图4A-N描述的总线）用于以通信方式将 NVRAM控制器332耦合到FM 151B、NVRAM大容量存储装置152A和BIOS NVRAM 172。例如， 在一个实施例中，图3中的三条线路表示如下总线（诸如存储器总线（例如DDR3、DDR4等 总线）），通过该总线NVRAM控制器332实现了与NVRAM 142通信的事务协议。NVRAM控制 器332也可通过支持本机事务协议的总线（诸如PCI快速总线、桌面管理接口（DMI)总线 或利用事务协议和足够的小事务有效载荷大小（例如高速缓存线大小、诸如64字节或128 字节）的任何其它类型总线）与NVRAM 142通信。
[0051] 在一个实施例中，计算机系统300包含执行用于处理器310的中央存储器存取控 制的集成存储器控制器（IMC) 331，其耦合到：1)存储器侧高速缓存（MSC)控制器124,以控 制对充当远存储器高速缓存150B的近存储器（NM)的存取；以及2) NVRAM控制器332,以控 制对NVRAM 142的存取。尽管在图3中例证为单独单元，但MSC控制器124和NVRAM控制 器332在逻辑上可形成MC 331的一部分。
[0052] 在例证的实施例中，MSC控制器124包含一组范围寄存器336,范围寄存器336规 定供充当远存储器高速缓存150B的NM使用的操作模式（例如上面描述的写回高速缓存模 式、近存储器旁路模式等）。在所例证的实施例中，DRAM 144被用作用于充当用于远存储器 的高速缓存150B的匪的存储器技术。响应于存储器存取请求，MSC控制器124可（根据 在范围寄存器336中规定的操作模式）确定是否可从充当用于FM的高速缓存150B的匪 服务于该请求，或者是否必须向NVRAM控制器332发送该请求，控制器332然后可从NVRAM 142的远存储器（FM)部分151B服务于该请求。
[0053] 在用PCMS实现NVRAM 142的实施例中，NVRAM控制器332是用与PCMS技术一致的 协议来执行存取的PCMS控制器。如之前所讨论的，固有地，能够以字节粒度存取PCMS存储 器。尽管如此，NVRAM控制器332可以以较低级粒度（诸如高速缓存线（例如64位或128 位的高速缓存线））或与存储器子系统一致的任何其它级粒度来存取基于PCMS的远存储器 151B。本发明的基本原理不限于用于存取基于PCMS的远存储器151B的任何具体级粒度。 然而，一般而言，当基于PCMS的远存储器151B用于形成系统地址空间的一部分时，该粒度 级将高于在传统上用于其它非易失性存储装置技术（诸如闪存）的粒度级，该技术仅能在 "块"级（对于N0R闪存的大小最低限度是64K字节，并且对于NAND闪存最低限度是16K字 节）执行重写和擦除操作。
[0054] 在所例证的实施例中，NVRAM控制器332能够读取配置数据以从解码表333中确立 之前描述的用于NVRAM 142的模式、大小等，或者备选地，可依赖于从MC 331和I/O子系 统315传递的解码结果。例如，在制造时间或者在现场，计算机系统300可对解码表333编 程以将NVRAM 142的不同区域标记为系统存储器、经由SATA接口暴露的大容量存储装置、 经由USB仅块传输（Β0Τ)接口暴露的大容量存储装置、支持TPM存储的加密存储装置，除此 之外还有其它。对NVRAM装置142的不同分区操纵存取所用的手段是利用解码逻辑的。例 如，在一个实施例中，在解码表333中定义每个分区的地址范围。在一个实施例中，当MC 331接收到存取请求时，该请求的目标地址被解码以揭示该请求是指向存储器、NVRAM大容 量存储装置还是I/O。如果它是存储器请求，则頂C 331和/或MSC控制器124根据目标 地址进一步确定该请求是指向作为用于FM的高速缓存150B的匪还是指向FM 151B。对 于FM 151B存取，该请求被转发到NVRAM控制器332。如果此请求被指向1/0(例如非存储 装置I/O装置和存储装置I/O装置），则IMC 331将该请求传递到I/O子系统115。I/O子 系统115进一步对该地址进行解码以确定该地址是针对NVRAM大容量存储装置152A、BI0S NVRAM 172还是其它非存储装置I/O装置和存储装置I/O装置。如果此地址针对NVRAM大 容量存储装置152A或BIOS NVRAM 172,则I/O子系统115将该请求转发到NVRAM控制器 332。如果此地址针对TMP NVRAM 173,则I/O子系统115将该请求传递到TPM 334以执行 安全存取。
[0055] 在一个实施例中，转发到NVRAM控制器332的每个请求兼有指示存取类型的属性 (也称为"事务类型"）。在一个实施例中，NVRAM控制器332可模拟所请求存取类型的存取 协议，使得平台的其余部分保持不了解由NVRAM 142在存储器和存储装置层级中扮演的多 个角色。在备选实施例中，NVRAM控制器332可执行对NVRAM 142的存储器存取，而不管它 是哪种事务类型。要理解，解码路径可不同于上面所描述的。例如，頂C 331可对存取请求 的目标地址进行解码，并确定它是否指向NVRAM 142。如果它指向NVRAM 142,则MC 331 根据解码表333生成属性。基于该属性，頂C 331然后将该请求转发到适当下游逻辑（例 如NVRAM控制器332和I/O子系统315)以执行所请求的数据存取。在又一实施例中，如果 对应属性未从上游逻辑（例如頂C 331和I/O子系统315)传递，则NVRAM控制器332可对 目标地址进行解码。也可实现其它解码路径。
[0056] 存在诸如本文描述的新存储器架构提供了丰富的新可能性。尽管下面以更大长度 进一步讨论了，但这些可能性中的一些紧接在下面很快强调了。
[0057] 根据一种可能实现，NVRAM 142充当系统存储器中用于传统DRAM技术的总替换或 补充。在一个实施例中，NVRAM 142表示引入第二级系统存储器（例如该系统存储器可被 视为具有包括近存储器作为高速缓存150B (DRAM装置340的一部分）的第一级系统存储 器和包括远存储器（FM) 151B (NVRAM 142的一部分）的第二级系统存储器）。
[0058] 根据一些实施例，NVRAM 142充当闪存/磁/光大容量存储装置152B的总替换或 补充。如本文之前所描述的，在一些实施例中，即使NVRAM 152A有字节级可寻址的能力，但 NVRAM控制器332仍可根据实现按多字节块（例如64K字节、128K字节等）存取NVRAM大 容量存储装置152A。由NVRAM控制器332从NVRAM大容量存储装置152A存取数据的特定 方式可对由处理器310执行的软件而言是透明的。例如，即使NVRAM大容量存储装置152A 可以不同于闪存/磁/光大容量存储装置152A的方式来存取，操作系统仍可将NVRAM大容 量存储装置152A看作标准大容量存储装置器件（例如串行ΑΤΑ硬驱动器或其它标准形式 的大容量存储装置器件）。
[0059] 在NVRAM大容量存储装置152Α充当闪存/磁/光大容量存储装置152Β的总替换 的实施例中，对于块可寻址存储装置存取没有必要使用存储装置驱动器。从存储装置存取 中移除存储装置驱动器开销可增大存取速度并节省功率。在期望NVRAM大容量存储装置 152A对于0S和/或应用而言看起来是块可存取且与闪存/磁/光大容量存储装置152B不 可区分的备选实施例中，模拟的存储装置驱动器可用于将块可存取接口（例如通用串行总 线（USB)仅大块传递（Β0Τ)，1. 0 ;串行先进技术附件（SATA)，3. 0等）暴露于用于存取NVRAM 大容量存储装置152A的软件。
[0060] 在一个实施例中，NVRAM 142充当用于固件存储器（诸如BIOS闪存362和TPM闪 存372)(图3中用点线例证以指示它们是可选的）的总替换或补充。例如，NVRAM 142可 包含BIOS NVRAM 172部分以补充或替换BIOS闪存362,并且可包含TPM NVRAM 173部分以 补充或替换TPM闪存372。固件存储器还可存储由TPM 334用于保护敏感系统信息（例如 加密密钥）的系统持久状态。在一个实施例中，对于固件存储器使用NVRAM 142移除了对 于如下的需要：第三方闪存部分存储对系统操作关键的代码和数据。
[0061] 然后继续对图3的系统的讨论，在一些实施例中，计算机系统100的架构可包含 多个处理器，不过图3中为了简化例证了单个处理器310。处理器310可以是任何类型数 据处理器，包含通用或专用中央处理单元（CPU)、专用集成电路（ASIC)或数字信号处理器 (DSP)。例如，处理器310可以是通用处理器，诸如Core? i3、i5、i7、2 Duo和QuacUXeon? 或Itanium?处理器，它们全都可从加利福尼亚圣克拉拉的英特尔公司得到。备选地，处理 器310可以来自另一公司，诸如加利福尼亚桑尼韦尔的ARM股份有限公司、加利福尼亚桑尼 韦尔的MIPS技术公司等。处理器310可以是专用处理器，诸如例如网络处理器或通信处理 器、压缩引擎、图形处理器、协处理器、嵌入式处理器等等。处理器310可实现在包含在一个 或多个封装内的一个或多个芯片上。处理器310可以是一个或多个衬底的一部分，和/或 可使用若干工艺技术（诸如例如BiCM0S、CM0S或NM0S)中的任一技术实现在一个或多个衬 底上。在图3中示出的示例中，处理器310具有芯片上系统（S0C)配置。
[0062] 在一个实施例中，处理器310包含集成图形单元311，其包含用于执行图形命令 (诸如3D或2D图形命令）的逻辑。虽然本发明的实施例不限于任何具体集成图形单元311， 但在一个实施例中，图形单元311能够执行工业标准图形命令，诸如由开放式GL和/或直 接X应用编程接口（API)(例如开放式GL 4. 1和直接XII)规定的命令。
[0063] 处理器310还可包含一个或多个核101-104,不过再次为了清楚目的在图3例证了 单个核。在许多实施例中，核101-104包含内部功能块，诸如一个或多个执行单元、退役单 元、一组通用寄存器和专用寄存器等。如果核是多线程或超线程的，则每个硬件线程也可被 视为"逻辑"核。核101-104在架构和/或指令集方面可以是同质的或异质的。例如，其中 一些核可以是有序的，而其它核是无序的。作为另一示例，所述核中的两个或更多核可以能 够执行相同指令集，而其它核可以能够仅执行那个指令集的子集或不同指令集。
[0064] 处理器310还可包含一个或多个高速缓存，诸如可实现为SRAM和/或DRAM的高 速缓存313。在未示出的许多实施例中，实现不同于高速缓存313的附加高速缓存，使得在 核101-104中的执行单元与存储器装置150B和151B之间存在多级高速缓存。例如，该组 共享高速缓存单元可包含上级高速缓存（诸如级1(L1)高速缓存）、中级高速缓存（诸如 级2(L2)、级3(L3)、级4(L4))或其它级高速缓存（LLC)和/或它们的不同组合。在不同实 施例中，高速缓存313可按不同方式分派，并且在不同实施例中可具有许多不同大小之一。 例如，高速缓存313可以是8兆字节（MB)高速缓存、16MB高速缓存等。附加地，在不同实 施例中，高速缓存可以是直接映射高速缓存、完全关联高速缓存、多路组关联高速缓存或具 有另一类型映射的高速缓存。在包含多个核的其它实施例中，高速缓存313可包含在所有 核之间共享的一个大的部分，或者可被分成多个单独的功能片段（例如每个核一个片段）。 高速缓存313也可包含在所有核之间共享的一个部分以及是每个核的单独功能片段的多 个其它部分。
[0065] 处理器310还可包含归属代理314,归属代理314包含协调和操作核101-104的那 些组件。归属代理单元314例如可包含功率控制单元（P⑶）和显示单元。P⑶可以是或者 可包含调节核101-104和集成图像单元311的功率状态所需的逻辑和组件。显示单元用于 驱动一个或多个外部连接的显示器。
[0066] 如所提到的，在一些实施例中，处理器310包含集成存储器控制器（MC) 331、近 存储器高速缓存（MSC)控制器以及NVRAM控制器332,所有这些全都可以在与处理器310相 同的芯片上或者在连接到处理器310的单独芯片和/或封装上。DRAM装置144可以在与 MC 331和MSC控制器124相同的芯片或不同的芯片上；从而，一个芯片可具有处理器310 和DRAM装置144 ;一个芯片可具有处理器310而另一个芯片可具有DRAM装置144 (并且这 些芯片可在相同或不同的封装中）；一个芯片可具有核101-104而另一个芯片可具有MC 331、MSC控制器124和DRAM 144(这些芯片可在相同或不同的封装中）；一个芯片可具有 核101-104而另一个芯片可具有MC 331和MSC控制器124以及另一个芯片可具有DRAM 144(这些芯片可在相同或不同的封装中）；等等。
[0067] 在一些实施例中，处理器310包含耦合到MC 331的I/O子系统115。I/O子系 统115使得在处理器310与如下串行或并行I/O装置之间能够进行通信：一个或多个网络 336 (诸如局域网、广域网或因特网）、存储装置I/O装置（诸如闪存/磁/光大容量存储装 置152B、BI0S闪存362、TPM闪存372)以及一个或多个非存储装置I/O装置337 (诸如显示 器、键盘、扬声器等等）。I/O子系统115可包含平台控制器中心（PCH)(未示出），该PCH 进一步包含多个I/O适配器338以及其它I/O电路以提供对存储装置和非存储装置I/O装 置和网络的存取。为了完成此方面，I/O子系统115可对于所利用的每个I/O具有至少一 个集成I/O适配器338。I/O子系统115可在与处理器310相同的芯片上，或在连接到处理 器310的单独芯片和/或封装上。
[0068] I/O适配器338将在处理器310内利用的主机通信协议变换成与具体I/O装置兼 容的协议。对于闪存/磁/光大容量存储装置152B，I/O适配器338可变换的其中一些协 议包含：外围组件互连（PCI)-快速（PCI-E)，3. 0 ;USB，3. 0 ;SATA，3. 0 ;小型计算机系统接 口（SCSI)，超-640 ;以及电气与电子工程师协会（IEEE) 1394 "防火墙"，除此之外还有其 它。对于BIOS闪存362, I/O适配器338可变换的其中一些协议包含串行外围接口（SPI)、 微线，除此之外还有其它。附加地，可能存在一个或多个无线协议I/O适配器。无线协议的 示例用在个域网中（除此之外还有其它），诸如IEEE 802. 15和蓝牙4. 0 ;用在无线局域网 中，诸如基于IEEE 802. 11的无线协议；以及用在蜂窝协议中。
[0069] 在一些实施例中，I/O子系统115耦合到TPM控制件334以控制对系统持久状态 的存取，诸如安全数据、加密密钥、平台配置信息等等。在一个实施例中，这些系统持久状态 被存储在TPM NVRAM 173中，并经由NVRAM控制器332来存取。
[0070] 在一个实施例中，TPM 334是具有密码功能性的安全微控制器。TPM 334具有若干 信任相关能力；例如，用于确保受TPM保护的数据仅对于同一 TPM可用的SEAL能力。TPM 334可使用其加密能力保护数据和密钥（例如秘密）。在一个实施例中，TPM 334具有独特 且秘密的RSA密钥，其允许它认证硬件装置和平台。例如，TPM 334可验证寻求对存储在计 算机系统300中的数据进行存取的系统是预期系统。TPM 334也能够报告平台（例如计算 机系统300)的完整性。这允许外部源（例如网络上的服务器）确定平台的可信度，但不阻 止用户存取该平台。
[0071] 在一些实施例中，I/O子系统315还包含管理引擎（ME) 335,其是允许系统管理员 监视、维护、更新、升级和修理计算机系统300的微处理器。在一个实施例中，系统管理员可 通过如下方式来远程配置计算机系统300 :通过ME 335经由网络336编辑解码表333的内 容。
[0072] 为了便于说明，本申请的剩余部分有时将NVRAM 142称为PCMS装置。PCMS装置包 含非易失性、具有低功耗并且在位级可修改的多层（垂直堆叠）的PCM单元阵列。因而，术 语NVRAM装置和PCMS装置在以下讨论中可互换使用。然而，应该认识到，如上面所讨论的， 对于NVRAM 142也可利用除PCMS之外的不同技术。
[0073] 应该理解，计算机系统可将NVRAM 142用于系统存储器、大容量存储装置、固件存 储器和/或其它存储器和存储装置目的（即便那个计算机系统的处理器并不具有处理器 310的所有上述组件，或具有比处理器310多的组件）。
[0074] 在图3中示出的具体实施例中，MSC控制器124和NVRAM控制器332位于与处理 器310相同的裸晶或封装（称为CPU封装）上。在其它实施例中，MSC控制器124和/或 NVRAM控制器332可位于裸晶外或CPU封装外，通过总线（诸如存储器总线（比如DDR总线 (例如DDR3、DDR4等））、PCI快速总线、桌面管理接口（DMI)总线或任何其它类型总线）耦 合到处理器310或CPU封装。
[0075] 示范性PCM总线和封装配置 图4A-M例证了各种不同部署，其中处理器、近存储器和远存储器以不同方式来配置和 封装。具体地说，在图4A-M中例证的一系列平台存储器配置使新非易失性系统存储器能够 使用，诸如PCM技术，或更具体地，PCMS技术。
[0076] 虽然在图4A-N中的多幅图上使用其中一些相同数字标记，但这不一定意味着由 那些数字标记标识的结构总是一样的。例如，虽然在多幅图中使用相同数字来标识集成存 储器控制器（MC)331和CPU 401，但这些组件在不同图中可以不同方式实现。这些差异中 的一些未被强调，原因在于它们对于理解本发明的基本原理而言不是相关的。
[0077] 虽然下面描述了多种不同系统平台配置方法，但这些方法落入两个广义类别：分 离架构和统一架构。简言之，在分离架构方案中，存储器侧高速缓存（MSC)控制器（例如位 于处理器裸晶中或CPU封装中的单独裸晶上）拦截所有系统存储器请求。存在两个单独接 口，这两个单独接口从离开CPU封装的那个控制器"流向下游"以耦合到近存储器和远存储 器。每个接口对于特定类型存储器都是特制的，并且每个存储器可在性能和容量方面独立 缩放。
[0078] 在统一架构方案中，单个存储器接口离开处理器裸晶或CPU封装，并且所有存储 器请求都被发送到这个接口。MSC控制器连同近存储器子系统和远存储器子系统被合并在 此单个接口上。此存储器接口必须被特制成满足处理器的存储器性能要，并且必须支持事 务无序协议，这至少因为PCMS装置可能未有序处理读请求。根据上面的通用类别，可采用 如下特定平台配置。
[0079] 下面描述的实施例包含各种类型的总线/通道。术语"总线"和"通道"在本文同 义地使用。每个DIMM插槽的存储器通道数量将取决于在计算机系统中使用的具体CPU封 装（其中一些CPU封装例如支持每个插槽3个存储器通道）。
[0080] 附加地，在下面描述的使用DRAM的实施例中，实际上，可使用任何类型DRAM存储 器通道，作为示例而非限制，其包括DDR通道（例如DDR3、DDR4、DDR5等）。从而，虽然DDR 因为其在工业上的广泛认可、作为结果的价格点等是有利的，但本发明的基本原理不限于 任何具体类型DRAM或易失性存储器。
[0081] 图4A例证了分离架构的一个实施例，其在CPU封装401中（在处理器裸晶上或者 在单独裸晶上）包含作为充当用于FM的高速缓存（即MSC)的近存储器操作的一个或多个 DRAM装置403-406以及一个或多个NVRAM装置（诸如驻留在DIMM 450-451上充当远存储 器的PCM存储器）。CPU封装401上的高带宽链路407将单个或多个DRAM装置403-406互 连到处理器310,处理器310托管集成存储器控制器（MC) 331和MSC控制器124。尽管在 图4A和下面描述的其它附图中例证为单独单元，但在一个实施例中MSC控制器124可被集 成在存储器控制器331内。
[0082] DIMM 450-451使用DDR插槽和电气连接，其用DDR地址、数据线路和控制线路以及 电压来定义DDR通道440(例如由联合电子器件工程委员会（JEDEC)所定义的DDR3或DDR4 标准）。DIMM 450-451上的PCM装置提供了此分离架构的远存储器容量，其中到CPU封装 401的DDR通道440能够携带DDR和事务协议。相比其中CPU封装内的处理器310或其它 逻辑（例如頂C 331或MSC控制器124)传送命令并接收立即响应的DDR协议，用于与PCM 装置通信的事务协议允许CPU 401发布一系列事务，每个由独特事务ID标识。这些命令由 在PCM DMM中作为接收方的PCM DMM上的PCM控制器服务，其将响应发送回CPU封装401， 潜在地是无序的。CPU封装401内的处理器310或其它逻辑通过与响应一起发送的其事务 ID识别每个事务响应。以上配置允许系统支持标准DDR的基于DRAM的DI丽（使用DDR电 气连接上的DDR协议）和基于PCM的DIMM配置（在相同DDR电气连接上使用事务协议）。
[0083] 图4B例证了使用通过DDR通道440耦合的基于DRAM的DDR DMM 452来形成充当 MSC的近存储器的分离架构。处理器310托管存储器控制器331和MSC控制器124。NVRAM 装置（诸如PCM存储器装置）驻留在基于PCM的DMM 453上，DMM 453使用CPU封装401 外的附加 DDR通道442上的电气连接和DDR插槽。基于PCM的DMM 453提供了此分离架 构的远存储器容量，其中到CPU封装401的DDR通道442基于DDR电气连接并且能够携带 DDR和事务协议。这允许系统用可变数量的DDR DRAM DIMM 452(例如DDR4 DIMM)和PCM DIMM 453配置以获得期望容量和/或性能点。
[0084] 图4C例证了在CPU封装401上（在处理器裸晶上或者在单独裸晶上）托管充当 存储器侧高速缓存（MSC)的近存储器403-406的分离架构。使用CPU封装上的高带宽链路 407将单个或多个DRAM装置403-406互连到处理器310,处理器310托管存储器控制器331 和MSC控制器124,如分离架构所定义的。NVRAM (诸如PCM存储器装置）驻留在PCI快速 卡或转接卡455上，它们使用PCI快速电气连接以及PCI快速协议或在PCI快速总线454 上的不同事务协议。PCI快速卡或转接卡455上的PCM装置提供此分离架构的远存储器容 量。
[0085] 图4D是使用基于DRAM的DDR DMM 452和DDR通道440来形成充当MSC的近存 储器的分离架构。处理器310托管存储器控制器331和MSC控制器124。NVRAM (诸如PCM 存储器装置455)驻留在PCI快速卡或转接卡上，它们使用PCI快速电气连接以及PCI快速 协议或在PCI快速链路454上的不同事务协议。PCI快速卡或转接卡455上的PCM装置提 供此分离架构的远存储器容量，其中CPU封装401外的存储器通道接口为DDR DRAM DIMM 452提供多个DDR通道440。
[0086] 图4E例证了在PCI快速卡或转接卡456上托管充当MSC的近存储器和远存储器 NVRAM (诸如PCM)的统一架构，PCI快速卡或转接卡456使用PCI快速电气连接以及PCI快 速协议或在PCI快速总线454上的不同事务协议。处理器310托管集成存储器控制器331， 但在此统一架构情况下，MSC控制器124与DRAM近存储器和NVRAM远存储器一起驻留在卡 或转接卡456上。
[0087] 图4F例证了在使用DDR通道457的DI丽458上托管充当MSC的近存储器和远 存储器NVRAM (诸如PCM)的统一架构。此统一架构中的近存储器在每个DIMM 458上包括 DRAM，其充当到那个相同DIMM 458上的PCM装置的存储器侧高速缓存，所述PCM装置形成 那个具体DIMM的远存储器。MSC控制器124与近存储器和远存储器一起驻留在每个DIMM 458上。在此实施例中，在CPU封装外提供DDR总线457的多个存储器通道。此实施例的 DDR总线457实现了 DDR电气连接上的事务协议。
[0088] 图4G例证了混合分离架构，由此，MSC控制器124驻留在处理器310上，并且近存 储器接口和远存储器接口共享相同DDR总线410。此配置使用基于DRAM的DDR DIMM 411a 作为充当MSC的近存储器，其中基于PCM的DMM 411b (即远存储器）使用DDR插槽和NVRAM (诸如PCM存储器装置）驻留在DDR总线410的相同存储器通道上。此实施例的存储器通 道同时携带DDR协议和事务协议以分别寻址近存储器DIMM 411a和远存储器DIMM 411b。
[0089] 图4H例证了充当存储器侧高速缓存的近存储器461a以基于DRAM的DDR DMM形 式驻留在小背板或转接卡461上的统一架构。存储器侧高速缓存（MSC)控制器124位于转 接卡的DDR和PCM控制器460中，其可具有在小背板/转接卡461上连接到DDR DIMM通道 470并通过高性能互连462 (诸如差分存储器链路）互连到CPU的两个或更多存储器通道。 所关联的远存储器461b坐落在同一小背板/转接卡461上，并且由使用DDR通道470并组 装有NVRAM (诸如PCM装置）的DI丽形成。
[0090] 图41例证了可被用作对在其DDR存储器子系统上通过DDR总线471连接到CPU 封装401的DDR存储器子系统和DIMM 464的存储器容量扩展的统一架构。对于在此配置 中基于NVM的附加容量，充当MSC的近存储器以基于DRAM的DDR DMM 463a的形式驻留在 小背板或转接卡463上。MSC控制器124位于转接卡的DDR和PCM控制器460中，其可具 有在小背板/转接卡上连接到DDR DIMM通道470并通过高性能互连462 (诸如差分存储器 链路）互连到CPU的两个或更多存储器通道。所关联的远存储器463b坐落在同一小背板 /转接卡463上，并且由使用DDR通道470并组装有NVRAM (诸如PCM装置）的DI丽463b 形成。
[0091] 图4J是充当存储器侧高速缓存（MSC)的近存储器以DRAM的形式驻留在每一个 DI丽465上的统一架构。DI丽465在将CPU封装401与位于DI丽上的MSC控制器124耦 合的高性能互连/通道462 (诸如差分存储器链路）上。所关联的远存储器坐落在相同DIMM 465上并由NVRAM (诸如PCM装置）形成。
[0092] 图4K例证了充当MSC的近存储器以DRAM的形式驻留在每一个DMM 466上的统 一架构。这些DMM在将CPU封装401与位于DMM上的MSC控制器124连接的高性能互连 470上。所关联的远存储器坐落在相同DIMM 466上并由NVRAM (诸如PCM装置）形成。
[0093] 图4L例证了在DDR总线471上使用基于DRAM的DDR DMM 464以形成充当MSC的 必要的近存储器的分离架构。处理器310托管集成存储器控制器331和存储器侧高速缓存 控制器124。NVRAM (诸如PCM存储器）形成驻留在使用高性能互连468的卡或转接卡467 上的远存储器，高性能互连468使用事务协议与CPU封装401通信。托管远存储器的卡或转 接卡467托管能控制多个基于PCM的存储器或连接在那个转接卡上的多个基于PCM的DIMM 的单个缓冲器/控制器。
[0094] 图4M例证了可使用卡或转接卡469上的DRAM来形成充当MSC的必要的近存储器 的统一架构。NVRAM(诸如PCM存储器装置）形成也驻留在卡或转接卡469上的远存储器， 卡或转接卡469使用到CPU封装401的高性能互连468。托管远存储器的卡或转接卡469 托管能控制多个基于PCM的存储器或在那个转接卡469上的多个基于PCM的DIMM的单个 缓冲器/控制器，并且还集成存储器侧高速缓存控制器124。
[0095] 在上面描述的其中一些实施例中，诸如在图4G中例证的实施例中，DRAM DMM 411a和基于PCM的DMM 411b驻留在相同存储器通道上。因而，使用同一组地址/控制和 数据线路将CPU连接到DRAM存储器和PCM存储器。为了减少通过CPU网格互连的数据业 务量，在一个实施例中，具有基于PCM的DIMM的公共存储器信道上的DDR DIMM配置成充当 存储在基于PCM的DIMM中的数据的唯一 MSC。在此类配置中，存储在基于PCM的DMM中的 远存储器数据仅在相同存储器通道内的DDR DIMM近存储器中高速缓存，由此将存储器事务 局限于那个具体存储器通道。
[0096] 附加地，为了实现上面的实施例，系统地址空间可在逻辑上在不同存储器通道之 间细分。例如，如果存在4个存储器通道，则可向每个存储器通道分配1/4的系统地址空间。 如果给每个存储器通道提供一个基于PCMS的DIMM和一个DDR DIMM，则DDR DIMM可配置成 充当那个1/4部分系统地址空间的MSC。
[0097] 系统存储器和大容量存储装置器件的选择可取决于在其上采用本发明实施例的 电子平台类型。例如，在个人计算机、平板计算机、笔记本计算机、智能电话、移动电话、功能 电话、个人数字助理（PDA)、便携式媒体播放器、便携式游戏装置、游戏控制台、数字摄像机、 交换机、中心、路由器、机顶盒、数字视频记录器或具有相对小的大容量存储装置要求的其 它装置中，大容量存储装置可单单使用NVRAM大容量存储装置152A独自实现，或结合闪存 /磁/光大容量存储装置152B使用NVRAM大容量存储装置152A来实现。在具有相对大的 大容量存储装置要求的其它电子平台（例如大规模服务器）中，大容量存储装置可使用磁 存储装置（例如硬驱动器）或磁存储装置、光存储装置、全息存储装置、大容量存储装置闪 速存储器和NVRAM大容量存储装置152A的任何组合实现。在此类情况下，负责存储装置的 系统硬件和/或软件可实现各种智能持久存储装置分配技术，以高效或者否则有用的方式 将持久程序代码和数据的块在FM 151B /NVRAM存储装置152A与闪存/磁/光大容量存储 装置152B之间分配。
[0098] 例如，在一个实施例中，大功率服务器配置有近存储器（例如DRAM)、PCMS装置和 磁大容量存储装置器件（用于大量持久存储装置）。在一个实施例中，笔记本计算机配置有 近存储器和PCMS装置，其扮演远存储器和大容量存储装置器件两者的角色（即，其在逻辑 上被划分成扮演如图3中所示的这些角色）。家庭或办公室台式计算机的一个实施例类似 笔记本计算机而配置，但也可包含一个或多个磁存储装置器件以提供大量持久存储装置能 力。
[0099] 平板计算机或蜂窝电话装置的一个实施例配置有PCMS存储器，但潜在地没有近 存储器并且没有附加大容量存储装置（以便节省成本/功率）。然而，平板计算机/电话可 配置有可拆卸大容量存储装置器件，诸如闪存或PCMS存储棒。
[0100] 各种其它类型装置可如上所述配置。例如，便携式媒体播放器和/或个人数字助 理（PDA)可按类似于上面描述的平板计算机/电话的方式配置，游戏控制台可按类似于台 式计算机或膝上型计算机的方式配置。可类似配置的其它装置包含数字摄像机、路由器、机 顶盒、数字视频记录器、电视和汽车。
[0101] MSC架构的实施例 在本发明的一个实施例中，系统存储器中的大多数DRAM用PCM替换。如之前讨论的， PCM以相对DRAM显著低的成本提供了在系统容量上的显著改进，并且是非易失性的。然而， 某些PCM特性（诸如非对称读对写性能、写循环持续时间极限以及其非易失性性质）使直 接替换DRAM而不招致重大软件改变对其具有挑战性。在下面描述的本发明的实施例提供 了集成PCM的软件透明方式，同时还通过软件增强能够实现较新的用途。这些实施例促进 了存储器子系统架构中的成功转变，并提供了使用单个PCM池合并存储器和存储装置的方 式，从而减少对于平台中单独非易失性存储装置层的需要。
[0102] 在图5A中例证的具体实施例包含各具有用于生成存储器请求的内部存储器管理 单元（MMU) 502的一个或多个处理器核501以及用于根据规定的高速缓存管理策略来存储 程序代码行和数据的一个或多个内部CPU高速缓存503。如之前所提到的，高速缓存管理 策略可包括排它型高速缓存管理策略（其中存在于层级中一个具体高速缓存级中的任何 线不存在于任何其它高速缓存级中）或包含型高速缓存管理策略（其中重复的高速缓存线 被存储在高速缓存层级的不同级）。本领域技术人员很好理解，对于管理内部高速缓存503 可采用特定的高速缓存管理策略，并且因而，在此将不详细描述了。本发明的基本原理不限 于任何具体高速缓存管理策略。
[0103] 图5A中还例证了归属代理505,归属代理505通过生成用于存储器请求的存储器 通道地址（MCA)来提供对MSC 510的存取。归属代理505负责管理规定存储器地址空间， 并解决指向那个存储器空间的存储器存取冲突。从而，如果任何核需要存取给定地址空间， 则它将向那个归属代理505发送请求，该归属代理然后将向具体MMU 502发送该请求。在 一个实施例中，每个MMU 502分配一个归属代理505 ;然而，在一些实施例中，单个归属代理 505可服务于多于一个的存储器管理单元502。
[0104] 如图5A中所例证的，MSC 510配置在基于PCM的远存储器519的前面。MSC 510 管理对近存储器518的存取，并在适当时（例如在从近存储器518不能服务于这些请求时） 向远存储器控制器521转发存储器存取请求（例如读和写）。MSC 510包含高速缓存控制 单元512,高速缓存控制单元512响应于存储标识近存储器518内含有的高速缓存线的标签 的标签高速缓存511而操作。在操作中，当高速缓存控制单元512确定可从近存储器518 服务于存储器存取请求（例如响应于高速缓存命中）时，它生成近存储器地址（NMA)以标 识存储在近存储器518内的数据。近存储器控制器单元515解释NMA，并作为响应生成电气 信号，以存取近存储器518。如之前所提到的，在一些实施例中，近存储器是动态随机存取存 储器（DRAM)。在此类情况下，电气信号可包含行地址选通脉冲（RAS)信号和列地址选通脉 冲（CAS)信号。然而，应该指出，本发明的基本原理不限于将DRAM用于近存储器。
[0105] 确保软件透明存储器应用的另一组件是优化的PCM远存储器控制器521，其管理 PCM远存储器530特性，同时仍提供所需的性能。在一个实施例中，PCM控制器521包含间 接寻址表520,其将由高速缓存控制单元515生成的MCA变换成用于直接寻址PCM远存储 器530的TOA。这些变换可以通常是5KB的"块"粒度发生。在一个实施例中，当远存储器 控制器521遍及PCM装置地址空间不断移动PCM块以确保没有由于对任何特定块的高频写 而引起的耗尽热点时需要该变换。如之前所描述的，此类技术在本文有时被称为"耗损均匀 化"。
[0106] 从而，MSC 510由高速缓存控制单元512管理，高速缓存控制单元512允许MSC 510吸收、联合并过滤对PCM远存储器530的事务（例如读和写）。高速缓存控制单元512 管理在近存储器518与PCM远存储器530之间的所有数据移动和一致性要求。附加地，在 一个实施例中，MSC高速缓存控制器512与CPU接口，并提供在基于DRAM的传统存储器子 系统中使用的标准同步加载/存储接口。
[0107] 现在将在图5A中示出的架构上下文内描述示范读和写操作。在一个实施例中，读 操作将首先到达MSC控制器512, MSC控制器512将执行查找以确定是否存在所请求的数 据（例如利用标签高速缓存511)。如果存在，则它会将数据返回到发出请求的CPU、核501 或I/O装置（未示出）。如果数据不存在，则MSC控制器512会将该请求与系统存储器地址 (在本文中也称为存储器通道地址或MCA) -起发送到PCM远存储器控制器521。PCM控制 器521将使用间接寻址表520将该地址变换成PDA并将读操作指向PCM的这个区域。在从 PCM远存储器530接收到所请求的数据时，PCM控制器521会将所请求的数据返回到MSC控 制器512, MSC控制器512会将数据存储在MSC近存储器518中，并且还将数据发送到发出 请求的CPU核501或者I/O装置。对于此数据的随后请求可从近存储器518直接服务，直 到它由一些其它PCM数据替换。
[0108] 在一个实施例中，存储器写操作也首先去到MSC控制器512, MSC控制器512将它 写入MSC近存储器518中。在此实施例中，当接收到写操作时，可不将数据直接发送到PCM 远存储器530。例如，仅当MSC近存储器518中存储数据的位置必须再用于存储不同系统存 储器地址的数据时，才可将数据发送到PCM远存储器530。当这个发生时，MSC控制器512 注意到数据当前不在PCM远存储器530中，并且从而将从近存储器518中检索它，并将它发 送到PCM控制器521。PCM控制器521查找用于该系统存储器地址的PDA，并且然后将数据 写到PCM远存储器530。
[0109] 在一个实施例中，MSC近存储器518的大小将由工作载荷存储器要求以及近存储 器和远存储器性能所支配。对于基于DRAM的MSC，大小可设置成1/10的工作载荷存储器占 用空间大小或PCM远存储器530大小。此类MSC与在当前处理器/系统架构中发现的常规 高速缓存相比非常大。作为示例，而非限制，对于128GB的PCM远存储器大小，MSC近存储 器的大小可达16GB。
[0110] 图5B例证了与MSC 510的一个实施例关联的附加细节。此实施例包含负责命令 和寻址的一组逻辑单元，其包含用于缓冲命令/地址的命令缓冲跟踪单元542和响应于来 自MSC范围寄存器（RR)单元545的控制信号而选择MSC操作模式的高速缓存存取模式检 查单元544。下面描述几个示范操作模式。简言之，这些可包含如下模式：其中近存储器用 在传统高速缓存角色中的模式以及其中近存储器518形成部分系统存储器的模式。标签检 查/命令调度器550使用来自标签高速缓存511的标签来确定具体高速缓存线是否被存储 在近存储器518中，并且近存储器控制器515生成通道地址信号（例如CAS和RAS信号）。
[0111] 此实施例还包含负责数据路由选择和处理的一组逻辑单元，其包含用于存储取自 近存储器或存储到近存储器的数据的一组数据缓冲器546。在一个实施例中，还包含预取数 据高速缓存547,其用于存储从近存储器和/或远存储器预取的数据。然而，预取数据高速 缓存547是可选的，并且对于遵从本发明基本原理不是必要的。
[0112] 纠错码（ECC)生成器/检查器单元552生成和检查ECC以确保向近存储器写或从 近存储器读的数据是无错误的。如下面所讨论的，在本发明的一个实施例中，ECC生成器/ 检查器单元552被修改成存储高速缓存标签。本领域普通技术人员很好理解特定ECC，并且 因此在此未详细描述。信道控制器553将近存储器518的数据总线耦合到MSC 510,并生成 对于存取近存储器518必要的电气信令（例如用于DRAM近存储器的RAS和CAS信令）。
[0113] 图5B中还例证了用于将MSC 510耦合到远存储器的远存储器控制接口 548。具体 地说，远存储器控制接口 548生成寻址远存储器所需的MCA，并且在数据缓冲器546与远存 储器之间传递数据。
[0114] 如所提到的，在一个实施例中采用的近存储器518与在当前处理器/系统架构中 发现的常规高速缓存相比是非常大的。因而，保存系统存储器地址到近存储器地址的变换 的标签高速缓存511可能也非常大。存储和查找MSC标签的成本可能是构建大高速缓存的 显著阻碍。因而，在本发明的一个实施例中，这个问题使用创新方案解决了，该创新方案将 高速缓存标签存储在位于MSC中的存储装置内进行ECC保护，由此基本上移除了对于标签 的存储装置成本。
[0115] 在图5C中一般性地例证了这个实施例，其示出了用于存储/管理高速缓存标签、 存储ECC数据并执行ECC操作的集成标签高速缓存和ECC单元554。如所例证的，当执行标 签检查操作（例如以确定具体数据块是否被存储在近存储器高速缓存518内）时，在请求 时将所存储的标签提供给标签检查/命令调度器550。
[0116] 图?例证了数据524以及对应的ECC 523和标签522的示范组的组织。如所例 证的，标签522与ECC 523被协同定位在标签高速缓存/ECC单元554的存储器（例如在一 个实施例中是DDR DRAM)中。在此示例中，总计64字节的多个数据块已经被读到标签高速 缓存/ECC单元554中。ECC检查/生成器单元554a使用数据525来生成ECC，并将生成的 ECC和与数据关联的现有ECC 523相比较。在此示例中，对于64字节的数据525生成4字 节的ECC。然而，本发明的基本原理不限于任何具体类型或大小的ECC。附加地，应该指出， 术语"数据"在本文中广义上用来指可执行程序代码和数据，它们二者都可存储在图中 示出的数据存储装置525中。
[0117] 在一个实施例中，3字节（24位）标签522与在图?中例证的位指配一起使 用。特别是，位〇〇至16是提供高速缓存线的高地址位的地址位。对于具有56位（例如 SPA[55:00])的系统地址，位00至16映射到系统地址的位55-29(从而允许512 MB的最 小高速缓存大小）。返回到3字节标签，预留位17-19 ;位20-21是目录位，它们提供有关高 速缓存线的远程CPU高速缓存的信息（例如提供关于在其上高速缓存该线的其它CPU的指 示）；位21-22指示高速缓存线的当前状态（例如00=干净；01=脏；10和11=未用）；并且 位23指示高速缓存线是否有效（例如1=有效；0=无效）。
[0118] 利用上面所描述的直接映射高速缓存架构（其允许直接从系统存储器提取近存 储器地址），降低或消除了在可读取MSC 510之前查找标签存储设备的等待时间成本，由此 显著改进了性能。而且，检查高速缓存标签以判定MSC 510是否具有所需数据的时间也被 消除了，这是因为它与从MSC读取的数据的ECC检查并行进行。
[0119] 在某些条件下，将标签与数据一起存储可产生写的问题。写首先读数据，以便确保 它对于某一其它地址不盖写数据。在每次写之前的此类读变得成本很高。本发明的一个实 施例采用保存最近存取的近存储器地址（NMA)的标签的脏线标签高速缓存。由于许多写针 对最近存取的地址，因此合理小的标签高速缓存可得到高效的命中率，以在写之前过滤大 部分读。
[0120] 图5E中例证了与PCM DMM 519的一个实施例关联的附加细节，其包含PCM远存储 器控制器521和一组PCM远存储器模块530a-i。在一个实施例中，PCM远存储器530a-i的单 个池在系统存储器用途与存储装置用途之间动态共享。在此实施例中，整个PCM池530a-i 可被细分成4KB大小的"块"。PCM描述符表（PDT) 565标识每个PCM块作为存储器或者存 储装置的使用。例如，每行PDT可表示具体块，其中具体列标识每个块的使用（例如1=存 储器；〇=存储装置）。在此实施例中，初始系统配置可在存储装置使用与存储器使用之间划 分PCM 530a-i内的PCM块（例如通过对TOT 565编程）。在一个实施例中，使用相同表来 排除坏的块，并提供用于耗损均匀化操作的备用块。此外，PDT 565还可包含每个PCMS块 到由软件使用的"逻辑"块地址的映射。在系统存储器的情况下，逻辑块地址与MCA或SPA 相同。不管何时由于耗损均匀化而移动PCMS块，更新间接寻址表（AIT) 563都需要这种关 联。当这发生时，由软件使用的逻辑块地址必须被映射到不同PCMS装置地址（PDA)。在一 个实施例中，此映射被存储在AIT中，并且在每次耗损均匀化移动时更新。
[0121] 如所例证的，PCM控制器521包含系统物理地址（SPA)到PCM映射器556,其响应于 耗损管理单元555和间接寻址单元563而操作，以将SPA映射到PCM块。在一个实施例中， 耗损管理逻辑555实现耗损均匀化算法以考虑如下事实：在太多次写和/或擦除存取之后 PCM 530a-530i的存储装置单元开始耗尽。例如通过迫使具有低循环计数的数据块偶尔移 动，并由此允许高循环数据块被放在曾存储低循环数据块的存储单元中，耗损均匀化跨PCM 装置的存储单元扩散写和擦除。通常，大多数块不循环，但高循环计数块最可能失败，并且 耗损均匀化将高循环计数块的地址与低循环计数块的地址互换。耗损管理逻辑555可使用 一个或多个计数器和寄存器来跟踪循环计数（例如每当检测到循环时，计数器可递增1并 且结果可被存储在该组寄存器中）。
[0122] 在一个实施例中，间接寻址逻辑563包含间接寻址表（AIT)，其含有写操作应该被 指向的PCM块的指示。AIT可用于自动在存储器用途与存储装置用途之间移动块。从软件 角度看，对所有块的存取使用传统存储器加载/存储语义（即耗损均匀化和间接寻址操作 对软件而言透明地发生）。在一个实施例中，AIT用于将由软件生成的SPA变换成PDA。当 需要均匀地耗损PCMS装置时需要这种变换，数据将需要在PDA空间中到处移动以避免任何 热点。当此类移动发生时，SPA与PDA之间的关系将改变，并且AIT将被更新以反映这种新 变换。
[0123] 在SPA到PCM的映射之后，调度器单元557调度对PCM装置530a_l的基础PCM操 作（例如读和/或写），并且PCM协议引擎558生成执行读/写操作所需的电气信令。ECC 单元562执行检错和纠错操作，并且数据缓冲器561暂时缓冲从PCM装置530a-l读的数据 或向PCM装置530a-l写的数据。持久写缓冲器559用于保存甚至在意想不到电源故障（例 如它使用非易失性存储装置实现）的情况下也保证被写回PCMS的数据。包含刷新支持逻 辑560以周期性的和/或根据规定的数据刷新算法（例如在持久写缓冲器达到规定阈限之 后）向PCMS刷新持久写缓冲器。
[0124] 在一个实施例中，MSC 510自动将存储装置存取直接路由到PCM远存储器控制器 521，并将存储器存取路由到MSC高速缓存控制单元512。到达PCM远存储器控制器521的 存储装置存取被当作正规读和写，并且本文描述的间接寻址和耗损均匀化机制照常应用。 在本发明的一个实施例中采用附加优化，其在数据需要在存储装置与存储器之间移动时能 够实现。由于使用公共PCM池530a-l，因此可通过简单地改变变换表（例如AIT)中的指针 来取消或推迟数据移动。例如，当数据从存储装置传递到存储器时，标识具体物理PCM存储 装置位置中数据的指针可被更新成指示相同物理PCM存储装置位置现在是系统存储器中 的存储器位置。在一个实施例中，这通过硬件以软件透明的方式进行，以提供性能效益和功 率效益。
[0125] 除了软件透明的操作模式之外，MSC控制器512的一个实施例还提供了由MSC范 围寄存器（RR) 545所指示的备选操作模式。这些操作模式可包含但不限于如下项： 1)对于存储装置类应用对PCM存储器的直接存取。此类用途将还要求MSC控制器512 确保提交给PCM 519的写实际上被交付给持久状态。
[0126] 2)近存储器518的混合使用，向软件暴露出它的部分以便直接使用，同时保持剩 余部分作为MSC。当近存储器518的一部分被暴露给软件以便直接使用时，那部分在系统地 址空间内可直接寻址。这允许某些应用在高性能小区域（近存储器518)与相对低性能大 块区域（远存储器530)之间明确地划分它们的存储器分配。相比之下，作为MSC内高速缓 存分配的部分未形成系统地址空间的一部分（而相反充当用于远存储器530的高速缓存， 如本文描述的）。
[0127] 如之前所讨论的，MSC架构定义成使得多个不同系统划分方法是有可能的。这些 方法落在两个广义桶（bucket)中： (1)分离架构:在此方案中，MSC控制器512位于CPU中，并且拦截所有系统存储器请 求。存在两个单独的接口，它们从MSC离开CPU以连接到近存储器（例如DRAM)和远存储 器（例如PCM)。每个接口对于特定类型存储器都是特制的，并且每个存储器可在性能和容 量方面独立缩放。
[0128] (2)统一架构：在此方案中，单个存储器接口离开CPU，并且所有存储器请求都被 发送到这个接口。MSC控制器512连同近存储器（例如DRAM)和远存储器（例如PCM)子系 统在CPU外部被合并在此单个接口上。在一个实施例中，此存储器接口被特制成满足CPU 的存储器性能要求，并支持事务的无序协议。近存储器要求和远存储器要求在这些接口的 每个接口上以"统一"方式来满足。
[0129] 在上面桶的范围内，多个不同分份选项是可行的，下面描述了其中一些。
[0130] (1)分离示例： 近存储器：DDR5 DIMM 近存储器接口 ：一个或多个DDR5通道 远存储器：PCI快速（PCIe)卡上的PCM控制器/装置 远存储器接口 ：第三代xl6 PCIe ⑵统一示例： CPU存储器接口 ：一个或多个KTMI (或QPMI)通道 在转接卡卡上具有MSC/PCM控制器的近存储器/远存储器 MSC/PCM控制器外的近存储器接口：DDR5接口 MSC/PCM控制器外的远存储器接口：PCM装置接口 具有不同近存储器操作模式的实施例 如上面所讨论的，二级存储器层级可用于引入快速非易失性存储器（诸如PCM)作为系 统存储器，同时使用非常大的基于DRAM的近存储器。近存储器可被用作硬件管理的高速缓 存。然而，一些应用不是硬件高速缓存友好的，并且因而，将受益于使用此类存储器的备选 方式。因为在任何给定时间可能都有多个不同应用在服务器上运行，因此本发明的一个实 施例允许同时启用多用途模式。附加地，一个实施例提供了控制为这些用途模式中的每个 模式分配近存储器的能力。
[0131] 在一个实施例中，MSC控制器152提供用于使用近存储器的如下模式。如之前所 提到的，在一个实施例中，当前操作模式可由存储在MSC范围寄存器（RR) 545中的操作代码 规定。
[0132] (1)写回高谏缓存樽式:在此模式中，所有或部分近存储器518被用作用于PCM存 储器530的高速缓存。虽然在写回模式，但每一个写操作最初都指向近存储器518 (假定在 高速缓存中存在该写所指向的高速缓存线）。仅当近存储器518内的高速缓存线要由另一 高速缓存线替换时才执行对应写操作以更新PCM远存储器530 (与下面描述的每个写操作 被立即传播到远存储器530的写直达模式形成对照）。
[0133] 在一个实施例中，读操作将首先到达MSC高速缓存控制器512,该控制器512将 执行查找以确定在PCM远存储器518中是否存在所请求的数据（例如利用标签高速缓存 511)。如果存在，则它会将数据返回到发出请求的CPU、核501或I/O装置（图5A中未示 出）。如果数据不存在，则MSC高速缓存控制器512会将该请求与系统存储器地址一起发送 到PCM远存储器控制器521。PCM远存储器控制器521会将系统存储器地址变换成PCM物 理装置地址（PDA)，并将读操作指向远存储器530的这个区域。如之前所提到的，此变换可 利用间接寻址表（AIT) 563, PCM控制器521使用AIT 563在系统存储器地址与PCM PDA之 间进行变换。在一个实施例中，AIT被更新为耗损均匀化算法的一部分，耗损均匀化算法被 实现以分布存储器存取操作并由此降低PCM FM 530上的耗损。
[0134] 在从PCM FM 530接收到所请求的数据时，PCM FM控制器521将所请求的数据返 回到MSC控制器512, MSC控制器512将数据存储在MSC近存储器518中，并且还将数据发 送到发出请求的处理器核501或者I/O装置（图5A中未示出）。对于此数据的随后请求可 从近存储器518直接服务，直到它由某一其它PCM FM数据替换。
[0135] 在一个实施例中，存储器写操作也首先去到MSC控制器512, MSC控制器512将它 写入充当FM高速缓存518的MSC近存储器中。在此实施例中，当接收到写操作时，可不将 数据直接发送到PCM FM 530。例如，仅当充当FM高速缓存518的MSC近存储器中存储数据 的位置必须再用于存储不同系统存储器地址的数据时，才可将数据发送到PCM FM 530。当 这个发生时，MSC控制器512注意到数据当前不在PCM FM 530中，并且从而将从充当FM高 速缓存518的近存储器中检索它，并将它发送到PCM FM控制器521。PCM控制器521查找 用于系统存储器地址的PDA，并且然后将数据写到PCM FM 530。
[0136] (2)沂存储器旁路樽式:在此模式，所有读和写都旁路充当FM高速缓存518的NM， 并且直接去到PCM远存储器530。当应用不是高速缓存友好的，或者需要以高速缓存线的粒 度持久交付数据时，例如可使用此类模式。在一个实施例中，由处理器高速缓存503和充当 FM高速缓存518的NM执行的高速缓存彼此独立操作。因而，未在处理器高速缓存503中高 速缓存（并且在一些情况下其可不被准许在处理器高速缓存503中高速缓存）的数据可在 充当FM高速缓存518的匪中高速缓存，并且反之亦然。从而，在处理器高速缓存503中可 被指定为"不可高速缓存"的某些数据可在充当FM高速缓存518的匪内高速缓存。
[0137] (3)沂存储器读-高谏缓存写旁路樽式:这是上面模式的变型，其中允许从PCM 519读高速缓存持久数据（即，持久数据在MSC 510中高速缓存以便进行只读操作）。当大 部分持久数据是"只读"的并且应用用途是高速缓存友好的时，这是有用的。
[0138] (4)沂存储器读-高谏缓存写官汰樽式:这是前一模式的变型，其中除了读高速缓 存之外，还高速缓存写命中。每次对MSC近存储器518的写都引起对PCM远存储器530的 写。从而，由于高速缓存的写直达性质，仍保证了高速缓存线持久性。
[0139] (5)近存储器盲接存取樽式:在此模式，所有或部分近存储器对软件而言直接可 见，并形成系统存储器地址空间的一部分。此类存储器可完全在软件控制下。从PCM存储 器519到近存储器的这个区域的任何数据移动都需要明确软件拷贝。此类方案可创建用于 软件的非均匀存储器地址（NUMA)存储区，其中它从近存储器518得到相对于PCM远存储器 530高得多的性能。此类用途可用于需要对某些数据结构非常快速存取的某些高性能计算 (HPC)和图形应用。此近存储器直接存取模式相当于对近存储器中的某些高速缓存线"固 定"。此类固定可在较大、多路组关联高速缓存中有效地进行。
[0140] 表A下面概括了上面描述的每一种操作模式。
[0141] 表 A

【权利要求】
1. 一种在计算机系统内利用存储器刷新提示的方法，包括： 从处理器高速缓存刷新数据； 确定对于分配给相变存储器（"PCM"）存储器装置的规定的系统地址范围是否启用存 储器刷新提示； 如果对于所述规定的系统地址范围启用所述存储器刷新提示，则生成所述PCM存储器 装置的PCM存储器控制器的存储器刷新提示；以及 使用所述存储器刷新提示确定是否将刷新的数据保存到所述PCM存储器装置。
2. 如权利要求1所述的方法，进一步包括： 根据所述存储器刷新提示将所述刷新的数据保存到所述PCM存储器装置。
3. 如权利要求1所述的方法，其中所述PCM存储器装置包括相变存储器和开关 ("PCMS"）存储器装置。
4. 如权利要求1所述的方法，其中如果对于所述规定的地址范围不启用刷新提示，则 将所述刷新的数据保存到所述PCM存储器装置。
5. 如权利要求1所述的方法，其中确定对于规定的系统地址范围是否启用存储器刷 新提示的操作包括：读存储在存储器范围寄存器中的启用/禁用位，所述启用/禁用位如果 启用存储器刷新提示则具有第一值而如果禁用存储器刷新提示则具有第二值。
6. 如权利要求1所述的方法，进一步包括： 使用间接寻址表（AIT)标识对应于所述规定的系统地址范围的特定PCM存储块。
7. 如权利要求1所述的方法，进一步包括： 规定用于所述系统地址范围的存储器通道。
8. 一种系统，包括： 处理器，具有从其刷新数据的高速缓存，所述数据与具体系统地址范围关联；以及 PCM存储器控制器，用于管理对存储在PCM存储器装置中对应于所述具体系统地址范 围的数据的存取； 所述处理器确定对于所述规定的系统地址范围是否启用存储器刷新提示，其中如果对 于所述规定的系统地址范围启用存储器刷新提示，则所述处理器向所述PCM存储器装置的 PCM存储器控制器发送存储器刷新提示，并且其中所述PCM存储器控制器使用所述存储器 刷新提示确定是否将所述刷新的数据保存到所述PCM存储器装置。
9. 如权利要求7所述的系统，其中所述PCM存储器装置是PCMS存储器装置。
10. 如权利要求7所述的系统，进一步包括： 所述PCMS存储器控制器内的读和写缓冲器，用于缓冲根据所述存储器刷新提示存储 的数据。
11. 如权利要求8所述的系统，其中如果对于所述规定的地址范围不启用刷新提示， 则所述PCMS存储器控制器将所述刷新的数据保存到所述PCM存储器装置。
12. 如权利要求8所述的系统，包括： 存储器范围寄存器，包含启用/禁用位以指示对于规定的系统地址范围是否启用存储 器刷新提示，所述启用/禁用位如果启用存储器刷新提示则具有第一值而如果禁用存储器 刷新提示则具有第二值。
13. 如权利要求12所述的系统，进一步包括： 间接寻址表（AIT)，以标识对应于所述规定的系统地址范围的特定PCM存储块。
14. 如权利要求13所述的系统，进一步包括： 与所述系统地址范围关联的DIMM存储器通道。
15. -种系统，包括： 处理器，具有从其刷新数据的高速缓存，所述数据与具体系统地址范围关联；以及 PCM存储器控制器，用于管理对存储在PCM存储器装置中对应于所述具体系统地址范 围的数据的存取； 所述处理器向所述PCM存储器装置的PCM存储器控制器发送存储器刷新提示，并且其 中所述PCM存储器控制器使用所述存储器刷新提示确定是否基于由MFLUSH指令规定的地 址范围或页面将刷新的数据保存到所述PCM存储器装置。
16. 如权利要求15所述的系统，其中所述PCM存储器装置是PCMS存储器装置。
17. 如权利要求15所述的系统，进一步包括： 所述PCMS存储器控制器内的读和写缓冲器，用于缓冲根据所述存储器刷新提示存储 的数据。
18. 如权利要求15所述的系统，进一步包括： 与所述系统地址范围关联的DIMM存储器通道。
19. 如权利要求15所述的系统，其中FENCE指令使所述规定的存储器地址范围或页面 从高速缓存刷新，并向所述PCMS存储器控制器发送存储器刷新提示。
20. -种在计算机系统内利用存储器刷新提示的方法，包括： 向持久存储器发出一个或多个写； 与所述一个或多个写一起发出存储器防护指令； 确定写是否命中由存储器控制器范围寄存器覆盖的地址； 如果是，则向PCM控制器发出写，并等待确认； 在接收到所述确认时完成所述存储器防护指令。
21. 如权利要求20所述的方法，进一步包括： 如果所述地址未由范围寄存器覆盖，则继续正常执行模式。
22. 如权利要求20所述的方法，其中所述PCM控制器是PCMS控制器。
23. -种系统，包括： 处理器构件，具有从其刷新数据的高速缓存，所述数据与具体系统地址范围关联；以及 PCM存储器控制器构件，用于管理对存储在PCM存储器装置构件中对应于所述具体系 统地址范围的数据的存取； 所述处理器构件确定对于所述规定的系统地址范围是否启用存储器刷新提示，其中如 果对于所述规定的系统地址范围启用存储器刷新提示，则所述处理器构件向所述PCM存储 器装置构件的PCM存储器控制器发送存储器刷新提示，并且其中所述PCM存储器控制器构 件使用所述存储器刷新提示确定是否将所述刷新的数据保存到所述PCM存储器装置。
24. 如权利要求23所述的系统，其中所述PCM存储器装置构件是PCMS存储器装置。
25. 如权利要求23所述的系统，进一步包括： 所述PCMS存储器控制器构件内的读和写缓冲器构件，用于缓冲要根据所述存储器刷 新提示存储的数据。
26. 如权利要求25所述的系统，其中如果对于所述规定的地址范围不启用刷新提示， 则所述PCMS存储器控制器构件将所述刷新的数据保存到所述PCM存储器装置构件。
27. 如权利要求26所述的系统，包括： 存储器范围寄存器构件，包含启用/禁用位以指示对于规定的系统地址范围是否启用 存储器刷新提示，所述启用/禁用位如果启用存储器刷新提示则具有第一值而如果禁用存 储器刷新提示则具有第二值。
28. 如权利要求27所述的系统，进一步包括： 间接寻址表（AIT)构件，以标识对应于所述规定的系统地址范围的特定PCM存储块。
29. 如权利要求28所述的系统，进一步包括： 与所述系统地址范围关联的DIMM存储器通道构件。
【文档编号】G11C13/02GK104115129SQ201180076401
【公开日】2014年10月22日 申请日期:2011年12月21日 优先权日:2011年12月21日
【发明者】M.K.纳基穆图, M.库马 申请人:英特尔公司