用于相变存储器漂移管理的设备和方法

用于相变存储器漂移管理的设备和方法
【专利摘要】本发明描述了用于选择用于读和写操作的分界电压的系统和方法。本发明实施例提供了使用多个VDM覆盖PCMS小区的上电漂移不同于断电漂移的情况的方案。控制器通过跟踪刷新和写来自动管理这个。此外，本发明的实施例提供了通过哈希表或类似方案跟踪最近写地址而降低写之后的惩罚框的性能影响的高效方案。作为示例，根据一个实施例的方法包括：检测指向PCMS存储器的第一块的读操作；确定在读操作之前的规定时间量内先前是否已经发生了对第一块的写操作；如果在写操作之前的规定时间量内先前已经发生了对第一块的写操作，则使用用于读操作的第一分界电压(VDM)；并且如果在写操作或刷新操作之前的规定时间量内先前尚未发生对第一块的写操作，则使用用于读操作的第二VDM。
【专利说明】用于相变存储器漂移管理的设备和方法
【技术领域】
[0001]此发明一般涉及计算机系统的领域。更具体地说，本发明涉及用于相变存储器漂移管理的设备和方法。
【背景技术】
[0002]A.当前存储器和存储装置配置
当今计算机创新的限制因素之一是存储器和存储装置技术。在常规计算机系统中，系统存储器(也称为主存储器、主要存储器、可执行存储器)通常由动态随机存取存储器(DRAM)实现。基于DRAM的存储器甚至在没有存储器读或者写发生时也消耗功率，这是因为它必须不断给内部电容器再充电。基于DRAM的存储器是易失性的，这意味着，一旦移除电源，存储在DRAM存储器中的数据就丢失。常规计算机系统还依赖于多级高速缓存以改进性能。高速缓存是位于处理器与系统存储器之间的高速存储器，以比可能从系统存储器服务于存储器存取请求更快地服务于它们。此类高速缓存通常用静态随机存取存储器(SRAM)实现。高速缓存管理协议可用于确保最频繁存取的数据和指令被存储在其中一级高速缓存内，由此减少存储器存取事务数量并改进性能。
[0003]相对于大容量存储装置(也称为辅助存储装置或盘存储装置)，常规大容量存储装置器件通常包含磁介质(例如硬盘驱动器)、光介质(例如压缩盘(CD)驱动器、数字多功能盘(DVD)等)、全息介质和/或大容量存储装置闪速存储器(例如固态驱动器(SSD)、可拆卸闪速驱动器等)。一般而言，这些存储装置器件被视为输入/输出(I/O)装置，这是因为它们由处理器通过实现各种I/O协议的各种I/O适配器来存取。这些I/O适配器和I/O协议消耗相当大量的功率，并且可对平台的管芯面积和形状因子具有重大影响。当未连接到永久电源时具有有限电池寿命的便携式装置或移动装置(例如膝上型计算机、笔记本、平板计算机、个人数字助理(PDA)、便携式媒体播放器、便携式游戏装置、数字摄像机、移动电话、智能电话、功能手机等)可包含可拆卸大容量存储装置器件(例如嵌入式多媒体卡(eMMC)、安全数字(SD)卡)，它们通常经由低功率互连和I/O控制器耦合到处理器以便满足活动和空闲功率预算。
[0004]相对于固件存储器(诸如引导存储器(也称为BIOS闪存))、常规计算机系统通常使用闪速存储器装置来存储经常被读但很少(或者从不)被写的持久系统信息。例如，由处理器执行的、在引导过程期间初始化关键系统组件的初始指令(基本输入和输出系统(BIOS)映像)通常存储在闪速存储器装置中。当前在市场上可买到的闪速存储器装置一般具有有限速度(例如50 MHz)。由于用于读协议的开销，此速度进一步降低(例如2.5 MHz)。为了加速BIOS执行速度，常规处理器一般在引导过程的预先可扩展固件接口(PEI)阶段期间高速缓存BIOS代码的一部分。处理器高速缓存的大小对在PEI阶段中使用的BIOS代码(也称为“PEI BIOS代码”)的大小施加了约束。
[0005]B.相变存储器(PCM)以及相关技术
相变存储器(PCM)(有时也称为相变随机存取存储器(PRAM或PCRAM)、PCME、奥式统一存储器或硫属化物RAM(C-RAM))是采用硫属化物玻璃的独特行为的非易失性计算机存储器类型。由于由电流经过产生的热量，硫属化物玻璃可在两种状态:晶体与非晶体之间切换。PCM的当前版本可获得两种截然不同的附加状态。
[0006]PCM提供比闪存更高的性能，这是因为PCM的存储元件可更快地开关，可进行写(将各个位改变成I或O)而无需首先擦除单元的整个块，并且来自写的降级更慢(PCM装置可存活近似I亿个写循环；PCM降级是由于编程期间的热膨胀、金属(和其它材料)迁移以及其它机制)。
【专利附图】

【附图说明】
[0007]以下说明书和附图用于说明本发明的实施例。在附图中:
图1图示了根据本发明实施例的高速缓存和系统存储器布置；
图2图示了在本发明实施例中采用的存储器和存储装置层级；
图3图示了可在其上实现本发明实施例的计算机系统；
图4A图示了根据本发明实施例包含PCM的第一系统架构；
图4B图示了根据本发明实施例包含PCM的第二系统架构；
图4C图示了根据本发明实施例包含PCM的第三系统架构；
图4D图示了根据本发明实施例包含PCM的第四系统架构；
图4E图示了根据本发明实施例包含PCM的第五系统架构；
图4F图示了根据本发明实施例包含PCM的第六系统架构；
图4G图示了根据本发明实施例包含PCM的第七系统架构；
图4H图示了根据本发明实施例包含PCM的第八系统架构；
图41图示了根据本发明实施例包含PCM的第九系统架构；
图4J图示了根据本发明实施例包含PCM的第十系统架构；
图4K图示了根据本发明实施例包含PCM的第十一系统架构；
图4L图示了根据本发明实施例包含PCM的第十二系统架构 '及 图4M图示了根据本发明实施例包含PCM的第十三系统架构；
图5A图示了系统架构的一个实施例，其包含易失性近存储器和非易失性远存储器；
图5B图示了存储器侧高速缓存(MSC)的一个实施例；
图5C图示了存储器侧高速缓存(MSC)的另一实施例，其包含集成标签高速缓存和ECC生成/检查逻辑；
图图示了示范标签高速缓存和ECC生成器/检查单元的一个实施例；
图5E图示了包含PCM控制器的PCM DMM的一个实施例；
图6A图示了根据本发明一个实施例专用于某些规定系统物理地址(SPA)范围的MCE控制器和高速缓存；
图6B图示了根据本发明一个实施例在系统存储器映射、近存储器地址映射与PCM地址映射之间的示范性映射；
图6C图示了根据本发明一个实施例在系统物理地址(SPA)与PCM物理装置地址(PDA)或近存储器地址(NMA)之间的示范性映射；
图6D图示了根据本发明一个实施例在系统物理地址(SPA)空间与存储器通道地址(MCA)空间内的存储页面之间的交织；
图7a图示了在本发明一个实施例中采用的分界电压(VDM)定时；
图7B-C分别图示了在本发明一个实施例中采用的用于读操作和写操作的系统架构； 图7D-E分别图示了在本发明一个实施例中采用的用于读操作和写操作的方法。
【具体实施方式】
[0008]在以下描述中，阐述了许多具体细节，诸如逻辑实现、操作码、规定操作数的构件、资源划分/共享/复制实现、系统组件的类型和相互关系以及逻辑划分/集成选择，以便提供对本发明的更透彻理解。然而，本领域技术人员将认识到，没有此类特定细节也可实践本发明。在其它实例中，控制结构、门级电路以及全软件指令序列未详细示出，以免模糊了本发明。本领域普通技术人员用所包含的描述将能够实现适当功能性，而无需过多实验。
[0009]在说明书中提到“ 一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可包含具体特征、结构或特性，但可能不一定每一个实施例都包含该具体特征、结构或特性。此外，此类短语不一定是指同一实施例。进一步说，当具体特征、结构或特性结合一实施例描述时，认为结合其它实施例实现此类特征、结构或特性在本领域技术人员的知识范围内，而不管是否明确描述。
[0010]在以下说明书和权利要求书中，可以使用术语“耦合”和“连接”连同它们的派生词。应该理解，这些术语不打算作为彼此的同义词。“耦合”用于指示可以直接彼此物理接触或电接触或者可以不直接彼此物理接触或电接触的两个或更多元件彼此协同操作或交互作用。“连接”用于指示在彼此耦合的两个或更多元件之间建立通信。
[0011]带括号的文本以及具有虚线边框(例如大划线、小划线、点划线、点等)的块有时在本文用于图示向本发明实施例添加附加特征的可选操作/组件。然而，此类记号不应该被视为意味着这些是仅有的选项或仅有的可选操作/组件，和/或不应该被视为意味着具有实线边框的块在本发明的某些实施例中不是可选的。
[0012]介绍
存储器容量和性能要求随着处理器核以及新使用模型(诸如虚拟化)的数量增加而继续增加。此外,存储器功率和成本已经分别变成电子系统的总体功率和成本的重要组成部分。
[0013]本发明的一些实施例通过在存储器技术之间智能细分性能要求和容量要求来解决以上挑战。此方法的关注点在于通过如下方式来提供性能:利用相对小量的相对更高速的存储器(诸如DRAM)，同时使用显著更便宜并且更密集的非易失性随机存取存储器(NVRAM)来实现大多数系统存储器。下面描述的本发明实施例定义了对于使用NVRAM能够实现层级存储器子系统组织的平台配置。在存储器层级中使用NVRAM也能够实现新的使用，诸如扩大的引导空间以及大容量存储装置实现，如下面所详细描述的。
[0014]图1图示了根据本发明实施例的高速缓存和系统存储器布置。特别地，图1示出了存储器层级，其包含一组内部处理器高速缓存120、充当远存储器高速缓存的“近存储器” 121以及“远存储器” 122，“近存储器” 121可包含一个或多个内部高速缓存106和外部高速缓存107-109。在本发明的一些实施例中可用于“远存储器”的一种具体类型存储器是非易失性随机存取存储器(“NVRAM”)。因而，下面提供了 NVRAM的概览，随后是远存储器和近存储器的概览。
[0015]A.非易失性随机存取存储器(“NVRAM”)
存在许多可能的技术选择用于NVRAM，包含PCM、相变存储器和开关(PCMS)(后者是前者的更具体实现)、字节可寻址持久存储器(BPRAM)、通用存储器、Ge2Sb2Te5、可编程金属化单元(PMC)、电阻性存储器(RRAM)、RESET (非晶体)单元、SET (晶体)单元、PCME、奥氏存储器、铁电存储器(也称为聚合物存储器和聚(N-乙烯基咔唑))、铁磁存储器(也称为自旋电子器件、SPRAM (自旋传递扭矩RAM)、STRAM (自旋遂穿RAM)、磁阻存储器、磁存储器、磁随机存取存储器(MRAM))以及半导体-氧化物-氮化物-氧化物-半导体(S0N0S，也称为介电存储器)。
[0016]供在此申请中描述的存储器层级之用，NVRAM具有如下特性:
(1)即便移除电源它也保持其内容，这类似于在固态盘(SSD)中使用的闪速存储器，并且不同于易失性的SRAM和DRAM ；
(2)当空闲时比易失性存储器(诸如SRAM和DRAM)更低的功耗；
(3)类似于SRAM和DRAM的随机存取(也称为可随机寻址)；
(4)以比在SSD中含有的闪存更低级的粒度(例如字节级)可重写以及可擦除(SSD中含有的闪存每次仅能被重写并擦除“块”——对于NOR闪存而言大小最低限度是64K字节，并且对于NAND闪存而言大小最低限度是16K字节)；
(5)可用作系统存储器并且分配了全部系统存储器地址空间或部分系统存储器地址空
间；
(6)能够使用事务协议通过总线耦合到处理器(支持事务标识符(ID)来区分不同的事务的协议，使得那些事务可无序地完成)并允许在小到足以支持作为系统存储器的NVRAM的操作(例如高速缓存行大小、诸如64字节或128字节)的粒度级存取。例如，总线可以是存储器总线(例如DDR总线、诸如DDR3、DDR4等)，通过所述总线运行事务协议，这与正常使用的非事务协议形成对比。作为另一示例，总线可以是通过其正常运行事务协议(本机事务协议)的总线，诸如PCI EXPRESS (PCIE)总线、桌面管理接口(DMI)总线或利用事务协议和足够小的事务有效载荷大小(例如高速缓存行大小、诸如64字节或128字节)的任何其它类型总线；以及
(7)以下一项或多项:
a)比非易失性存储器/存储装置技术(诸如闪存)更快的写速度；
b)非常高的读速度(比闪存更快，并且接近或相当于DRAM读速度)；
c)直接可写(而不是在写数据之前需要擦除(用I盖写)(比如在SSD中使用的闪速存储器))；和/或
d)在故障之前较高(例如2或3)数量级的写持续时间(比在SSD中使用的引导ROM和闪存大)。
[0017]如上面所提到的，与闪速存储器形成对照(闪速存储器每次必须被重写并且擦除整个“块”)，在任何给定实现中存取NVRAM所用的粒度级可取决于具体存储器控制器和具体存储器总线或耦合NVRAM的其它类型总线。例如，在NVRAM被用作系统存储器的一些实现中，尽管固有能力是以字节粒度来存取，仍可以以高速缓存行(例如64字节或128字节的高速缓存行)的粒度来存取NVRAM，这是因为高速缓存行是存储器子系统存取存储器的所用的级。从而，当NVRAM被部署在存储器子系统内时，可以以与在同一存储器子系统中使用的DRAM(例如“近存储器”)相同的粒度级来存取NVRAM。即便如此，由存储器控制器和存储器总线或其它类型总线对NVRAM的存取的粒度级也小于由闪存使用的块大小和I/O子系统的控制器和总线的存取大小的粒度级。
[0018]NVRAM也可结合耗损均衡算法来考虑如下事实:在远存储器级的存储装置单元在若干次写存取之后开始损耗，特别是在诸如在系统存储器实现中可出现大量写的情况下。由于用这种方式高循环计数块最有可能损耗，因此耗损均衡通过交换高循环计数块与低循环计数块的地址而在远存储单元上扩散写。要指出，大部分地址交换通常对应用程序而言是透明的，这是因为它由硬件、低级软件(例如低级驱动程序或操作系统)或二者的组合来处置。
[0019]B.远存储器
本发明一些实施例的远存储器122用NVRAM实现，但不一定局限于任何具体存储器技术。远存储器122在其特性和/或其在存储器/存储装置层级中的应用方面与其它指令和数据存储器/存储装置技术有区别。例如，远存储器122不同于:
1)静态随机存取存储器(SRAM)，其可用于分别专用于处理器核101-104中每一个处理器核的级O和级I内部处理器高速缓存101a-b、102a-b、103a-b、103a_b和104a_b，以及由处理器核共享的较低级高速缓存(LLC) 105 ；
2)动态随机存取存储器(DRAM)，其配置为在处理器100内部的高速缓存106(例如在与处理器106相同的管芯上)和/或配置为在处理器外部的一个或多个高速缓存107-109(例如在与处理器100相同的封装或不同的封装中);以及
3)闪速存储器/磁盘/光盘，其应用为大容量存储装置(未示出)'及
4)存储器(诸如闪速存储器或其它只读存储器(R0M))，其应用为固件存储器(其可以指引导ROM、BIOS闪存和/或TPM闪存)(未示出)。
[0020]远存储器122可被用作可直接由处理器100寻址并且能够充分跟上处理器100的指令和数据存储装置，其与应用为大容量存储装置的闪存/磁盘/光盘形成对照。此外，如上面所讨论和下面详细描述的，远存储器122可被放在存储器总线上，并且可与存储器控制器直接通信，所述存储器控制器又与处理器100直接通信。
[0021]远存储器122可与其它指令和数据存储技术(例如DRAM)组合以形成混合存储器(也称为共同定位的PCM和DRAM ;第一级存储器和第二级存储器；FLAM(闪存和DRM))。要指出，以上技术中的至少一些技术(包含PCM/PCMS)可用于大容量存储装置，来代替系统存储器或作为系统存储器的附加，并且当以这种方式应用时不必是可由处理器随机可存取的、字节可寻址的或直接可寻址的。
[0022]为了便于说明，本申请其余部分中的大部分将引用“NVRAM”，或者更特别地“PCM”或“PCMS”来作为用于远存储器122的技术选择。因而，术语NVRAM、PCM、PCMS和远存储器在以下讨论中可互换使用。然而，应该意识到，如上面所讨论的，对于远存储器也可利用不同技术。还有，那个NVRAM不限于用作远存储器。
[0023]C.近存储器
“近存储器” 121是配置在远存储器122前面的中间级存储器，其相对于远存储器具有更低读/写存取等待时间和/或更对称的读/写存取等待时间(即具有大致相当于写时间的读时间)。在一些实施例中，近存储器121具有比远存储器122显著低的写等待时间但具有类似(例如略低或相等)的读等待时间；例如，近存储器121可以是易失性存储器(诸如易失性随机存取存储器(VRAM))，并且可包括DRAM或其它基于电容器的高速存储器。然而，要指出，本发明的基本原理不限于这些特定存储器类型。附加地，近存储器121可具有相对低的密度，和/或可能比远存储器122制造起来更昂贵。
[0024]在一个实施例中，近存储器121配置在远存储器122与内部处理器高速缓存120之间。在下面描述的一些实施例中，近存储器121配置为一个或多个存储器侧高速缓存(MSC) 107-109以掩蔽远存储器的性能和/或使用限制，其包括例如读/写等待时间限制和存储器降级限制。在这些实现中，MSC 107-109和远存储器122的组合以近似、相当于或超过仅使用DRAM作为系统存储器的系统的性能级操作。如下面所详细讨论的，虽然在图1中显示为“高速缓存”，但近存储器121可包含如下模式，其中它除了扮演高速缓存角色之外还扮演其它角色，或者替代扮演高速缓存角色而扮演其它角色。
[0025]近存储器121可位于处理器管芯上(作为一个或多个高速缓存106)和/或位于处理器管芯外部(作为高速缓存107-109)(例如在位于CPU封装上、位于具有到CPU封装的高带宽链路的CPU封装外部的单独管芯上，例如在存储器双列直插式存储器模块(DIMM)、转接卡(riser)/夹层卡(mezzanine)或计算机主板上)。近存储器121可使用单个或多个高带宽链路(诸如DDR或其它事务的高带宽链路)与处理器100通信耦合(如下面所详细描述的)。
[0026]示范性系统存储器分配方案
图1图示了在本发明实施例中如何相对于系统物理地址(SPA)空间116-119配置各级高速缓存101-109。如所提到的，这个实施例包括具有一个或多个核101-104的处理器100，其中每个核都具有它自己的专用上级高速缓存(LO) 101a-104a和中间级高速缓存(MLC)(LI)高速缓存101b-104b。处理器100还包含共享的LLC 105。这些各级高速缓存的操作很好理解，并且在此将不详细描述。
[0027]图1中图示的高速缓存107-109可专用于具体系统存储器地址范围或不连续地址范围集合。例如，高速缓存107专用于充当用于系统存储器地址范围# I 116的MSC，并且高速缓存108和109专用于充当用于系统存储器地址范围# 2 117和# 3 118的非重叠部分的MSC。后面的实现可用于如下系统:其中由处理器100使用的SPA空间被交织到由高速缓存107-109(例如当配置为MSC时)使用的地址空间中。在一些实施例中，这个后面的地址空间被称为存储器通道地址(MCA)空间。在一个实施例中，内部高速缓存101a-106a对整个SPA空间执行高速缓存操作。
[0028]本文所使用的系统存储器是对在处理器100上执行的软件而言可见和/或可直接由其寻址的存储器；而高速缓存存储器101a-109可在如下意义上对软件而言透明地操作:它们未形成系统地址空间的直接可寻址部分，但这些核也可支持指令执行以允许软件向一些高速缓存或所有高速缓存提供某种控制(配置、策略、提示等)。系统存储器细分成区域116-119可作为系统配置过程的一部分(例如由系统设计者)手动执行，和/或可由软件自动执行。
[0029]在一个实施例中，使用远存储器(例如PCM)并且在一些实施例中使用配置为系统存储器的近存储器来实现系统存储器区域116-119。系统存储器地址范围# 4表示使用更高速存储器(诸如DRAM)实现的地址范围，更高速存储器可以是配置在系统存储器模式(与高速缓存模式相对)的近存储器。
[0030]图2图示了根据本发明实施例用于近存储器144和NVRAM的存储器/存储装置层级140和不同的可配置操作模式。存储器/存储装置层级140具有多级，其包含:(1)高速缓存级150，其可包含处理器高速缓存150A(例如图1中的高速缓存101A-105)以及可选地包含近存储器来作为用于远存储器的高速缓存150B(在本文所讨论的某些操作模式中)，(2)系统存储器级151，其在近存储器存在时可包含远存储器151B (例如NVRAM、诸如PCM)(或者当近存储器不存在时可只是包含NVRAM作为系统存储器174)以及可选地包含作为系统存储器151A操作的近存储器(在本文所描述的某些操作模式中)，(3)大容量存储装置级152，其可包含闪存/磁/光大容量存储装置152B和/或NVRAM大容量存储装置152A (例如NVRAM 142的一部分)；以及(4)固件存储器级153，其可包含BIOS闪存170和/或BIOSNVRAM 172以及可选地包含可信平台模块(TPM) NVRAM 173。
[0031]如所指示的，近存储器144可实现成在各种不同模式操作，其包含:第一模式，在此模式它作为用于远存储器的高速缓存(近存储器作为用于FM的高速缓存150B)操作；第二模式，在此模式它作为系统存储器151A操作，并占据SPA空间的一部分(有时称为近存储器“直接存取”模式)；以及一个或多个附加操作模式，诸如暂存器存储器192或作为写缓冲器193。在本发明的一些实施例中，近存储器是可划分的，其中每个分区可同时在所支持模式中的不同模式操作；并且不同实施例可支持通过硬件(例如熔丝、管脚)、固件和/或软件(例如通过MSC控制器124内的一组可编程范围寄存器，在其内例如可存储不同二进制代码以标识每个模式和分区)配置分区(例如大小、模式)。
[0032]图2中的系统地址空间A 190用于图示当近存储器被配置为用于远存储器的MSC150B时的操作。在此配置中，系统地址空间A 190表示整体系统地址空间(并且系统地址空间B 191不存在)。备选地，系统地址空间B 191用于示出当给全部或部分近存储器指配一部分系统地址空间时的实现。在此实施例中，系统地址空间B 191表示系统地址空间中指配给近存储器151 A的范围，并且系统地址空间A 190表示系统地址空间中指配给NVRAM174的范围。
[0033]此外，当充当用于远存储器的高速缓存150B时，近存储器144可在MSC控制器124的控制下在各种子模式操作。在这些模式中的每个模式中，近存储器地址空间(NMA)在如下意义上对软件而言是透明的:近存储器未形成系统地址空间的直接可寻址部分。这些模式包括但不限于以下:
(I)写回高速缓存模式:在此模式，充当FM高速缓存150B的全部或部分近存储器被用作用于NVRAM远存储器(FM) 15IB的高速缓存。虽然在写回模式，但每一个写操作最初都指向作为用于FM的高速缓存的近存储器150B (假定在高速缓存中存在所述写所指向的高速缓存行)。仅当作为用于FM的高速缓存150B的近存储器内的高速缓存行要由另一高速缓存行替换时才执行对应写操作以更新NVRAM FM 151B(与下面描述的每个写操作被立即传播到NVRAM FM 151B的写直达模式形成对照)。
[0034](2)近存储器旁路模式:在此模式，所有读和写都旁路充当FM高速缓存的NM150B，并且直接去到NVRAM FM 151B。例如当应用不是高速缓存友好的时，或者需要以高速缓存行的粒度持久交付数据时，可使用此类模式。在一个实施例中，由处理器高速缓存150A和充当FM高速缓存的匪150B执行的高速缓存彼此独立操作。因而，未在处理器高速缓存150A中高速缓存(并且在一些情况下其可能未准许在处理器高速缓存150A中高速缓存)的数据可在充当FM高速缓存的匪150B中高速缓存并且反之亦然。从而，在处理器高速缓存中可被指定为“不可高速缓存”的某些数据可在充当FM高速缓存的匪150B内高速缓存。
[0035](3)近存储器读-高速缓存写旁路模式:这是上面模式的变化，其中允许从NVRAMFM 151B读高速缓存持久数据(即，持久数据在作为用于远存储器的高速缓存的近存储器150B中高速缓存以便进行只读操作)。当大部分持久数据是“只读”的并且应用使用是高速缓存友好的时，这是有用的。
[0036](4)近存储器读-高速缓存写肓达模式:这是近存储器读-高速缓存写旁路模式的变化，其中除了读高速缓存之外，还高速缓存写命中。对作为用于FM的高速缓存的近存储器150B的每一次写引起对FM 151B的写。从而，由于高速缓存的写直达性质，仍保证了高速缓存行持久性。
[0037]当在近存储器直接存取模式中起作用时，作为系统存储器151A的近存储器的全部或部分对软件而言直接可见，并且形成SPA空间的一部分。此类存储器可完全在软件控制下。此类方案可创建用于软件的非均匀存储器地址(NUMA)存储区，其中它从近存储器144得到相对于NVRAM系统存储器174更高的性能。作为示例而非限制，此类使用可用于需要对某些数据结构进行非常快速存取的某些高性能计算(HPC)和图形应用。
[0038]在备选实施例中，近存储器直接存取模式通过对近存储器中的某些高速缓存行(即具有也同时存储在NVRAM 142中的数据的高速缓存行)“设置管脚”来实现。此类设置管脚可有效地在较大、多路且组关联的高速缓存中进行。
[0039]图2还图示NVRAM 142的一部分可被用作固件存储器。例如，BIOS NVRAM 172部分可用于存储BIOS映像(代替将BIOS信息存储在BIOS闪存170中，或者作为对将BIOS信息存储在BIOS闪存170中的附加)。BIOS NVRAM部分172可以是SPA空间的一部分，并且可由在处理器核101-104上执行的软件直接寻址，而BIOS闪存170可通过1/0子系统115来寻址。作为另一示例，可信平台模块(TPM) NVRAM 173部分可用于保护敏感系统信息(例如加密密钥)。
[0040]从而，如所指示的，NVRAM 142可实现成在各种不同模式操作，其包含作为远存储器151B (例如当近存储器144存在/操作时，而无论近存储器是否经由MSC控制器124充当用于FM的高速缓存(在一个或多个高速缓存101A-105之后直接存取并且没有MSC控制器124));只是NVRAM系统存储器174 (不作为远存储器，这是因为没有近存储器存在/操作，并且在没有MSC控制器124的情况下存取)；NVRAM大容量存储装置152A ；B10S NVRAM172;以及TPM NVRAM 173。虽然不同实施例可按不同方式规定NVRAM模式，但图3描述了解码表333的使用。
[0041]图3图示了可在其上实现本发明实施例的示范性计算机系统300。计算机系统300包含处理器310和存储器/存储装置子系统380，该存储器/存储装置子系统380具有用于系统存储器、大容量存储装置以及可选地固件存储器的NVRAM 142。在一个实施例中，NVRAM142包括由计算机系统300用于存储数据、指令、状态和其它持久和非持久信息的整体系统存储器和存储装置层级。如之前所讨论的，NVRAM 142可配置成实现典型存储器和存储装置层级中系统存储器、大容量存储装置和固件存储器、TPM存储器等的角色。在图3的实施例中，NVRAM 142被划分成FM 151B、NVRAM大容量存储装置152A、BIOS NVRAM 173和TPMNVRAM 173。也考虑了具有不同角色的存储装置层级，并且NVRAM 142的应用不限于上面提到的角色。
[0042]作为示例，描述了作为用于FM的高速缓存的近存储器150B处于写回高速缓存时的操作。在一个实施例中，虽然作为用于FM的高速缓存150B的近存储器处于上面提到的写回高速缓存模式，但读操作将首先到达MSC控制器124，其将执行查找以确定在充当用于FM的高速缓存150B的近存储器中是否存在所请求的数据(例如利用标签高速缓存342)。如果存在，则它会通过I/O子系统115将数据返回到发出请求的CPU、核101-104或I/O装置。如果数据不存在，则MSC控制器124会将请求与系统存储器地址一起发送到NVRAM控制器332。NVRAM控制器332将使用解码表333来将系统存储器地址转译成NVRAM物理装置地址(PDA)，并将读操作指向远存储器151B的这个区域。在一个实施例中，解码表333包含间接寻址表(AIT)组件，NVRAM控制器332使用所述AIT组件在系统存储器地址与NVRAMPDA之间进行转译。在一个实施例中，AIT被更新为耗损均衡算法的实现成分布存储器存取操作并由此降低NVRAM FM 151B上耗损的部分。备选地，AIT可以是存储在NVRAM控制器332内的单独表。
[0043]在从NVRAM FM 151B接收到所请求的数据时，NVRAM控制器332会将所请求的数据返回到MSC控制器124，MSC控制器124会将所述数据存储在充当FM高速缓存的MSC近存储器150B中，并且还通过I/O子系统115将所述数据发送到发出请求的处理器核101-104或者I/O装置。对于此数据的后续请求可从充当FM高速缓存的近存储器150B直接服务，直到它由某个其它NVRAM FM数据替换。
[0044]如所提到的，在一个实施例中，存储器写操作也首先去到MSC控制器124，MSC控制器124将它写入充当FM高速缓存的MSC近存储器150B中。在写回高速缓存模式中，当接收到写操作时，可不将数据直接发送到NVRAM FM 151B。例如，仅当充当FM高速缓存的MSC近存储器150B中存储数据的位置必须针对不同系统存储器地址再用于存储数据时，才可将数据发送到NVRAM FM 151B。当这个发生时，MSC控制器124注意到数据当前不在NVRAM FM151B中，并且从而将从充当FM高速缓存的近存储器150B中检索它，并将它发送到NVRAM控制器332。NVRAM控制器332查找用于系统存储器地址的PDA，并且然后将数据写到NVRAMFM 151B。
[0045]在图3中，显示NVRAM控制器332使用三条单独的线路连接到FM 151B、NVRAM大容量存储装置152A和BIOS NVRAM 172。然而，这不一定意味着，存在三条单独的物理总线或通信信道将NVRAM控制器332连接到NVRAM 142的这些部分。而是，在一些实施例中，公共存储器总线或其它类型总线(诸如下面相对于图4A-N描述的总线)用于以通信方式将NVRAM控制器332耦合到FM 151B、NVRAM大容量存储装置152A和BIOS NVRAM 172。例如，在一个实施例中，图3中的三条线路表示总线(诸如存储器总线(例如DDR3、DDR4等总线))，通过该总线NVRAM控制器332实现与NVRAM 142通信的事务协议。NVRAM控制器332也可通过支持本机事务协议的总线(诸如PCI EXPRESS总线、桌面管理接口(DMI)总线或利用事务协议和足够小的事务有效载荷大小(例如高速缓存行大小、诸如64字节或128字节)的任何其它类型总线)与NVRAM 142通信。
[0046]在一个实施例中，计算机系统300包含执行用于处理器310的中央存储器存取控制的集成存储器控制器(IMC) 331，其耦合到:1)存储器侧高速缓存(MSC)控制器124，以控制对充当远存储器高速缓存的近存储器(_ 150B的存取；以及2) NVRAM控制器332，以控制对NVRAM 142的存取。尽管在图3中图示为单独单元，但MSC控制器124和NVRAM控制器332在逻辑上可形成MC 331的一部分。
[0047]在图示的实施例中，MSC控制器124包含一组范围寄存器336，范围寄存器336规定供充当远存储器高速缓存的NM 150B之用的操作模式(例如上面描述的写回高速缓存模式、近存储器旁路模式等)。在所图示的实施例中，DRAM 144被用作用于充当用于远存储器的高速缓存的匪150B的存储器技术。响应于存储器存取请求，MSC控制器124可(根据在范围寄存器336中规定的操作模式)确定是否可从充当用于FM的高速缓存的NM 150B服务于该请求，或者是否必须向NVRAM控制器332发送该请求，控制器332然后可从NVRAM142的远存储器(FM)部分151B服务于该请求。
[0048]在用PCMS实现NVRAM 142的实施例中，NVRAM控制器332是用与PCMS技术一致的协议来执行存取的PCMS控制器。如之前所讨论的，固有地，能够以字节粒度存取PCMS存储器。尽管如此，NVRAM控制器332可以以较低级粒度(诸如高速缓存行(例如64位或128位的高速缓存行))或与存储器子系统一致的任何其它级粒度来存取基于PCMS的远存储器151B。本发明的基本原理不限于用于存取基于PCMS的远存储器151B的任何具体级粒度。然而，一般而言，当基于PCMS的远存储器151B用于形成系统地址空间的一部分时，该粒度级将高于在传统上用于其它非易失性存储装置技术(诸如闪存)的粒度级，其仅能在“块”级(对于NOR闪存的大小最低限度是64K字节，并且对于NAND闪存最低限度是16K字节)执行重写和擦除操作。
[0049]在所图示的实施例中，NVRAM控制器332能够读取配置数据以从解码表333中确立之前描述的用于NVRAM 142的模式、大小等，或者备选地，可依赖于从MC 331和I/O子系统315传递的解码结果。例如，在制造时间或者在现场，计算机系统300可对解码表333编程以将NVRAM 142的不同区域标记为系统存储器、经由SATA接口暴露的大容量存储装置、经由USB单批量传输(BOT)接口暴露的大容量存储装置、支持TPM存储的加密存储装置，除此之外还有其它。对NVRAM装置142的不同分区操纵存取所用的手段是利用解码逻辑的。例如，在一个实施例中，在解码表333中定义每个分区的地址范围。在一个实施例中，当MC331接收到存取请求时，该请求的目标地址被解码以揭示该请求是指向存储器、NVRAM大容量存储装置还是I/O。如果它是存储器请求，则MC 331和/或MSC控制器124根据目标地址进一步确定该请求是指向作为用于FM的高速缓存的匪150B还是指向FM 151B。对于FM 151B存取，该请求被转发到NVRAM控制器332。如果此请求被指向I/O(例如非存储装置I/O装置和存储装置I/O装置)，则IMC 331将该请求传递到I/O子系统115。I/O子系统115进一步对该地址进行解码以确定该地址是针对NVRAM大容量存储装置152A、B10SNVRAM 172还是其它非存储装置I/O装置和存储装置I/O装置。如果此地址针对NVRAM大容量存储装置152A或BIOS NVRAM 172，则I/O子系统115将该请求转发到NVRAM控制器332。如果此地址针对TMP NVRAM 173，则I/O子系统115将该请求传递到TPM 334以执行安全存取。
[0050]在一个实施例中，转发到NVRAM控制器332的每个请求兼有指示存取类型的属性(也称为“事务类型”)。在一个实施例中，NVRAM控制器332可模拟所请求存取类型的存取协议，使得平台的其余部分保持不了解由NVRAM 142在存储器和存储装置层级中扮演的多个角色。在备选实施例中，NVRAM控制器332可执行对NVRAM 142的存储器存取，而不管它是哪种事务类型。要理解，解码路径可不同于上面所描述的。例如，MC 331可对存取请求的目标地址进行解码，并确定它是否指向NVRAM 142。如果它指向NVRAM 142，则MC 331根据解码表333生成属性。基于该属性，MC 331然后将该请求转发到适当下游逻辑(例如NVRAM控制器332和I/O子系统135)以执行所请求的数据存取。在又一实施例中，如果对应属性未从上游逻辑(例如頂C 331和I/O子系统315)传递，则NVRAM控制器332可对目标地址进行解码。也可实现其它解码路径。
[0051 ] 存在诸如本文描述的新存储器架构提供了丰富的新可能性。尽管下面以更大长度进一步讨论了，但这些可能性中的一些紧接在下面很快强调了。
[0052]根据一种可能实现，NVRAM 142充当系统存储器中用于传统DRAM技术的总替换或补充。在一个实施例中，NVRAM 142表示引入第二级系统存储器(例如该系统存储器可被视为具有包括近存储器作为高速缓存150B (DRAM装置340的一部分)的第一级系统存储器和包括远存储器(FM) 151B (NVRAM 142的一部分)的第二级系统存储器)。
[0053]根据一些实施例，NVRAM 142充当闪存/磁/光大容量存储装置152B的总替换或补充。如本文之前所描述的，在一些实施例中，即使NVRAM 152A有字节级可寻址的能力，但NVRAM控制器332仍可根据实现按多字节块(例如64K字节、128K字节等)存取NVRAM大容量存储装置152A。由NVRAM控制器332从NVRAM大容量存储装置152A存取数据的特定方式可对由处理器310执行的软件而言是透明的。例如，即使NVRAM大容量存储装置152A可以不同于闪存/磁/光大容量存储装置152A的方式来存取，操作系统仍可将NVRAM大容量存储装置152A看作标准大容量存储装置器件(例如串行ATA硬驱动器或其它标准形式的大容量存储装置器件)。
[0054]在NVRAM大容量存储装置152A充当闪存/磁/光大容量存储装置152B的总替换的实施例中，对于块可寻址存储装置存取没有必要使用存储装置驱动器。从存储装置存取中移除存储装置驱动器开销可增大存取速度并节省功率。在期望NVRAM大容量存储装置152A对于OS和/或应用而言看起来是块可存取并且与闪存/磁/光大容量存储装置152B不可区分的备选实施例中，模拟的存储装置驱动器可用于将块可存取接口(例如通用串行总线(USB)单批量传递(BOT)，1.0;串行先进技术附件(SATA)，3.0等)暴露于用于存取NVRAM大容量存储装置152A的软件。
[0055]在一个实施例中，NVRAM 142充当用于固件存储器(诸如BIOS闪存362和TPM闪存372)(图3中用点线图示以指示它们是可选的)的总替换或补充。例如，NVRAM 142可包含BIOS NVRAM 172部分以补充或替换BIOS闪存362，并且可包含TPM NVRAM 173部分以补充或替换TPM闪存372。固件存储器还可存储由TPM 334用于保护敏感系统信息(例如加密密钥)的系统持久状态。在一个实施例中，对于固件存储器使用NVRAM 142移除了对于如下的需要:第三方闪存部分存储对系统操作关键的代码和数据。
[0056]然后继续对图3的系统的讨论，在一些实施例中，计算机系统100的架构可包含多个处理器，不过图3中为了简化图示了单个处理器310。处理器310可以是任何类型数据处理器，包含通用或专用中央处理单元(CPU)、专用集成电路(ASIC)或数字信号处理器(DSP)。例如，处理器310可以是通用处理器，诸如Core? i3、i5、i7、2 Duo和QuacUXeon ?或Itanium?处理器，它们全都可从加利福尼亚圣克拉拉的英特尔公司得到。备选地，处理器310可以来自另一公司，诸如加利福尼亚桑尼韦尔的ARM股份有限公司、加利福尼亚桑尼韦尔的MIPS技术公司等。处理器310可以是专用处理器，诸如例如网络处理器或通信处理器、压缩引擎、图形处理器、协处理器、嵌入式处理器等等。处理器310可实现在包含在一个或多个封装内的一个或多个芯片上。处理器310可以是一个或多个衬底的一部分，和/或可使用若干工艺技术(诸如例如BiCMOS、CMOS或NMOS)中的任一技术实现在一个或多个衬底上。在图3中示出的示例中，处理器310具有芯片上系统(SOC)配置。
[0057]在一个实施例中，处理器310包含集成图形单元311，其包含用于执行图形命令(诸如3D或2D图形命令)的逻辑。虽然本发明的实施例不限于任何具体集成图形单元311，但在一个实施例中，图形单元311能够执行工业标准图形命令，诸如由Open GL和/或Direct X应用编程接口(API)(例如Open GL 4.1和Direct XII)规定的命令。
[0058]处理器310还可包含一个或多个核101-104，不过再次为了清楚目的在图3图示了单个核。在许多实施例中，核101-104包含内部功能块，诸如一个或多个执行单元、引退单元、一组通用寄存器和专用寄存器等。如果核是多线程或超线程的，则每个硬件线程也可被视为“逻辑”核。核101-104在架构和/或指令集方面可以是同质的或异质的。例如，其中一些核可以是有序的，而其它核是无序的。作为另一示例，所述核中的两个或更多核可以能够执行相同指令集，而其它核可以能够仅执行那个指令集的子集或不同指令集。
[0059]处理器310还可包含一个或多个高速缓存，诸如可实现为SRAM和/或DRAM的高速缓存313。在未示出的许多实施例中，实现不同于高速缓存313的附加高速缓存，使得在核101-104中的执行单元与存储器装置150B和151B之间存在多级高速缓存。例如，该组共享高速缓存单元可包含上级高速缓存(诸如级I (LI)高速缓存)、中间级高速缓存(诸如级2(L2)、级3(L3)、级4(L4))或其它级高速缓存(LLC)和/或它们的不同组合。在不同实施例中，高速缓存313可按不同方式分派，并且在不同实施例中可具有许多不同大小之一。例如，高速缓存313可以是8兆字节(MB)高速缓存、16MB高速缓存等。附加地，在不同实施例中，高速缓存可以是直接映射高速缓存、完全关联高速缓存、多路组关联高速缓存或具有另一类型映射的高速缓存。在包含多个核的其它实施例中，高速缓存313可包含在所有核之间共享的一个大的部分，或者可被分成多个单独的功能片段(例如每个核一个片段)。高速缓存313也可包含在所有核之间共享的一个部分以及作为每个核的单独功能片段的多个其它部分。
[0060]处理器310还可包含归属代理314，归属代理314包含协调和操作核101-104的那些组件。归属代理单元314例如可包含功率控制单元(P⑶)和显示单元。P⑶可以是或者可包含调节核101-104功率状态所需的逻辑和组件以及集成图形单元311。显示单元用于驱动一个或多个外部连接的显示器。
[0061]如所提到的，在一些实施例中，处理器310包含集成存储器控制器(MC) 331、近存储器高速缓存(MSC)控制器以及NVRAM控制器332，所有这些全都可以在与处理器310相同的芯片上或者在连接到处理器310的单独芯片和/或封装上。DRAM装置144可以在与IMC 331和MSC控制器124相同的芯片或不同的芯片上；从而，一个芯片可具有处理器310和DRAM装置144 ;一个芯片可具有处理器310而另一个芯片可具有DRAM装置144 (并且这些芯片可在相同或不同的封装中);一个芯片可具有核101-104而另一个芯片可具有MC331、MSC控制器124和DRAM 144(这些芯片可在相同或不同的封装中)；一个芯片可具有核101-104而另一个芯片可具有MC 331和MSC控制器124以及另一个芯片可具有DRAM144(这些芯片可在相同或不同的封装中)；等等。
[0062]在一些实施例中，处理器310包含耦合到MC 331的I/O子系统115。I/O子系统115使得在处理器310与如下串行或并行I/O装置之间能够进行通信:一个或多个网络336 (诸如局域网、广域网或因特网)、存储装置I/O装置(诸如闪存/磁/光大容量存储装置152B、B10S闪存362、TPM闪存372)以及一个或多个非存储装置I/O装置337 (诸如显示器、键盘、扬声器等等)。I/O子系统115可包含平台控制器中心(PCH)(未示出)，该PCH进一步包含多个I/O适配器338以及其它I/O电路以提供对存储装置和非存储装置I/O装置和网络的存取。为了完成此方面，I/O子系统115可对于所利用的每个I/O具有至少一个集成I/O适配器338。I/O子系统115可在与处理器310相同的芯片上，或者在连接到处理器310的单独芯片和/或封装上。
[0063]I/O适配器338将在处理器310内利用的主机通信协议转译成与具体I/O装置兼容的协议。对于闪存/磁/光大容量存储装置152B，I/O适配器338可转译的其中一些协议包含:外围组件互连(PCI)-EXPRESS (PC1-E)，3.0 ；USB, 3.0 ；SATA, 3.0 ;小型计算机系统接口(SCSI)，Ultra-640 ;以及电气与电子工程师协会(IEEE) 1394 “防火墙”，除此之外还有其它。对于BIOS闪存362，I/O适配器338可转译的其中一些协议包含串行外围接口(SPI)、微线，除此之外还有其它。附加地，可能存在一个或多个无线协议I/O适配器。无线协议的示例用在个域网中(除此之外还有其它)，诸如IEEE 802.15和蓝牙4.0 ;用在无线局域网中，诸如基于IEEE 802.11的无线协议；以及蜂窝协议。
[0064]在一些实施例中，I/O子系统115耦合到TPM控制334以控制对系统持久状态的存取，诸如安全数据、加密密钥、平台配置信息等等。在一个实施例中，这些系统持久状态被存储在TPM NVRAM 173中，并经由NVRAM控制器332来存取。
[0065]在一个实施例中，TPM 334是具有密码功能性的安全微控制器。TPM 334具有若干信任相关能力；例如，用于确保受TPM保护的数据仅对于同一 TPM可用的SEAL能力。TPM334可使用其加密能力保护数据和密钥(例如秘密)。在一个实施例中，TPM 334具有独特且秘密的RSA密钥，其允许它认证硬件装置和平台。例如，TPM 334可验证寻求对存储在计算机系统300中的数据进行存取的系统是预期系统。TPM 334也能够报告平台(例如计算机系统300)的完整性。这允许外部源(例如网络上的服务器)确定平台的可信度，但不阻止用户存取该平台。
[0066]在一些实施例中，I/O子系统315还包含管理引擎(ME) 335，其是允许系统管理员监视、维护、更新、升级和修理计算机系统300的微处理器。在一个实施例中，系统管理员可通过如下方式来远程配置计算机系统300:通过ME 335经由网络336编辑解码表333的内容。
[0067]为了便于说明，应用的剩余部分有时将NVRAM 142称为PCMS装置。PCMS装置包含非易失性、具有低功耗并且在位级可修改的多层(垂直堆叠)的PCM单元阵列。因而，术语NVRAM装置和PCMS装置在以下讨论中可互换使用。然而，应该认识到，如上面所讨论的，对于NVRAM 142也可利用除PCMS之外的不同技术。
[0068]应该理解，计算机系统可将NVRAM 142用于系统存储器、大容量存储装置、固件存储器和/或其它存储器和存储装置目的(即便那个计算机系统的处理器并不具有处理器310的所有上述组件，或具有比处理器310多的组件)。
[0069]在图3中示出的具体实施例中，MSC控制器124和NVRAM控制器332位于与处理器310相同的管芯或封装(称为CPU封装)上。在其它实施例中，MSC控制器124和/或NVRAM控制器332可位于管芯外或CPU封装外，通过总线(诸如存储器总线(比如DDR总线(例如DDR3、DDR4等))、PCI EXPRESS总线、桌面管理接口(DMI)总线或任何其它类型总线)耦合到处理器310或CPU封装。
[0070]示范性PCM总线和封装配置
图4A-M图示了各种不同部署，其中处理器、近存储器和远存储器以不同方式来配置和封装。具体地说，在图4A-M中图示的一系列平台存储器配置使新的非易失性系统存储器能够使用，诸如PCM技术，或更具体地，PCMS技术。
[0071]虽然在图4A-N中的多幅图上使用其中一些相同数字标记,但这不一定意味着由那些数字标记标识的结构总是一样的。例如，虽然在多幅图中使用相同数字来标识集成存储器控制器(MC)331和CPU 401，但这些组件在不同图中可以不同方式实现。这些差异中的一些未被强调，原因在于它们对于理解本发明的基本原理而言不是相关的。
[0072]虽然下面描述了多种不同系统平台配置方法，但这些方法落入两个广义类别:分离架构和统一架构。简言之，在分离架构方案中，存储器侧高速缓存(MSC)控制器(例如位于处理器管芯中或CPU封装中的单独管芯上)拦截所有系统存储器请求。存在两个单独接口，这两个单独接口从那个控制器“流向下游”离开CPU封装以耦合到近存储器和远存储器。每个接口对于特定类型存储器都是特制的，并且每个存储器可在性能和容量方面独立缩放。
[0073]在统一架构方案中，单个存储器接口离开处理器管芯或CPU封装，并且所有存储器请求都被发送到这个接口。MSC控制器连同近存储器子系统和远存储器子系统被合并在此单个接口上。此存储器接口必须被特制成满足处理器的存储器性能要，并且必须支持事务无序协议，这至少因为PCMS装置可能未有序处理读请求。根据上面的通用类别，可采用如下特定平台配置。
[0074]下面描述的实施例包含各种类型的总线/通道。术语“总线”和“通道”在本文同义地使用。每个DIMM插座的存储器通道数量将取决于在计算机系统中使用的具体CPU封装(其中一些CPU封装例如支持每个插座3个存储器通道)。
[0075]另外，在下面描述的使用DRAM的实施例中，实际上，可使用任何类型DRAM存储器通道，作为示例而非限制，其包括DDR通道(例如DDR3、DDR4、DDR5等)。从而，虽然DDR因为其在工业上的广泛认可、作为结果的价格点等是有利的，但本发明的基本原理不限于任何具体类型DRAM或易失性存储器。
[0076]图4A图示了分离架构的一个实施例，其在CPU封装401中(在处理器管芯上或者在单独管芯上)包含作为充当用于FM的高速缓存(即MSC)的近存储器操作的一个或多个DRAM装置403-406以及一个或多个NVRAM装置(诸如驻留在DIMM 450-451上充当远存储器的PCM存储器)。CPU封装401上的高带宽链路407将单个或多个DRAM装置403-406互连到处理器310，处理器310寄宿集成存储器控制器(MC) 331和MSC控制器124。尽管在图4A和下面描述的其它附图中图示为单独单元，但在一个实施例中MSC控制器124可被集成在存储器控制器331内。
[0077]DMM 450-451使用DDR插槽和电连接，其用DDR地址、数据线路和控制线路以及电压来定义DDR通道440 (例如由联合电子器件工程委员会(JEDEC)所定义的DDR3或DDR4标准)。DIMM 450-451上的PCM装置提供了此分离架构的远存储器容量，其中到CPU封装401的DDR通道440能够携带DDR和事务协议。相比其中CPU封装内的处理器310或其它逻辑(例如頂C 331或MSC控制器124)传送命令并接收立即响应的DDR协议，用于与PCM装置通信的事务协议允许CPU 401发布一系列事务，每个由独特事务ID标识。这些命令由在PCM DIMM中作为接收方的PCM DMM上的PCM控制器服务，其将响应发送回CPU封装401，潜在地是无序的。CPU封装401内的处理器310或其它逻辑通过与响应一起发送的其事务ID识别每个事务响应。以上配置允许系统支持标准的基于DDR DRAM的DI丽(使用DDR电连接上的DDR协议)和基于PCM的DI丽配置(在相同DDR电连接上使用事务协议)。
[0078]图4B图示了使用通过DDR通道440耦合的基于DDR DRAM的DMM 452来形成充当MSC的近存储器的分离架构。处理器310寄宿存储器控制器331和MSC控制器124。NVRAM装置(诸如PCM存储器装置)驻留在基于PCM的DMM 453上，DMM 453使用CPU封装401外的附加DDR通道442上的电连接和DDR插槽。基于PCM的DMM 453提供了此分离架构的远存储器容量，其中到CPU封装401的DDR通道442基于DDR电连接并且能够携带DDR和事务协议。这允许系统用可变数量的DDR DRAM DIMM 452(例如DDR4 DIMM)和PCM DIMM453配置以获得期望容量和/或性能点。
[0079]图4C图示了在CPU封装401上(在处理器管芯上或者在单独管芯上)寄宿充当存储器侧高速缓存(MSC)的近存储器403-406的分离架构。使用CPU封装上的高带宽链路407将单个或多个DRAM装置403-406互连到处理器310，处理器310寄宿存储器控制器331和MSC控制器124，如分离架构所定义的。NVRAM(诸如PCM存储器装置)驻留在PCIEXPRESS卡或转接卡455上，它们使用PCI EXPRESS电连接以及PCI EXPRESS协议或在PCIEXPRESS总线454上使用不同事务协议。PCI EXPRESS卡或转接卡455上的PCM装置提供此分离架构的远存储器容量。
[0080]图4D是使用基于DDR DRAM的DI丽452和DDR通道440来形成充当MSC的近存储器的分离架构。处理器310寄宿存储器控制器331和MSC控制器124。NVRAM (诸如PCM存储器装置455)驻留在PCI EXPRESS卡或转接卡上，它们使用PCI EXPRESS电连接以及PCIEXPRESS协议或在PCI EXPRESS链路454上使用不同事务协议。PCI EXPRESS卡或转接卡455上的PCM装置提供此分离架构的远存储器容量，其中CPU封装401外的存储器通道接口为DDR DRAM DIMM 452提供多个DDR通道440。
[0081]图4E图示了在PCI EXPRESS卡或转接卡456上寄宿充当MSC的近存储器和远存储器NVRAM(诸如PCM)的统一架构，PCI EXPRESS卡或转接卡456使用PCI EXPRESS电连接以及PCI EXPRESS协议或在PCI EXPRESS总线454上使用不同事务协议。处理器310寄宿集成存储器控制器331，但在此统一架构情况下，MSC控制器124与DRAM近存储器和NVRAM远存储器一起驻留在卡或转接卡456上。
[0082]图4F图示了在使用DDR通道457的DMM 458上寄宿充当MSC的近存储器和远存储器NVRAM(诸如PCM)的统一架构。此统一架构中的近存储器在每个DIMM 458上包括DRAM，其充当到那个相同DMM 458上的PCM装置的存储器侧高速缓存，所述PCM装置形成那个具体DIMM的远存储器。MSC控制器124与近存储器和远存储器一起驻留在每个DIMM458上。在此实施例中，在CPU封装外提供DDR总线457的多个存储器通道。此实施例的DDR总线457实现了 DDR电连接上的事务协议。
[0083]图4G图示了混合分离架构，在此，MSC控制器124驻留在处理器310上，并且近存储器接口和远存储器接口共享相同DDR总线410。此配置使用基于DRAM的DDR DMM 411a作为充当MSC的近存储器，其中基于PCM的DMM 411b (即远存储器)使用DDR插槽和NVRAM(诸如PCM存储器装置)驻留在DDR总线410的相同存储器通道上。此实施例的存储器通道同时携带DDR协议和事务协议以分别寻址近存储器DIMM 411a和远存储器DIMM 411b。
[0084]图4H图示了充当存储器侧高速缓存的近存储器461a以基于DRAM的DDR DMM形式驻留在夹层卡或转接卡461上的统一架构。存储器侧高速缓存(MSC)控制器124位于转接卡的DDR和PCM控制器460中，其可具有在夹层卡/转接卡461上连接到DDR DIMM通道470并通过高性能互连462 (诸如不同存储器链路)互连到CPU的两个或更多存储器通道。所关联的远存储器461b位于同一夹层卡/转接卡461上，并且由使用DDR通道470并组装有NVRAM (诸如PCM装置)的DI丽形成。
[0085]图41图示了可被用作对在其DDR存储器子系统上通过DDR总线471连接到CPU封装401的DDR存储器子系统和DIMM 464的存储器容量扩展的统一架构。对于在此配置中基于NVM的附加容量，充当MSC的近存储器以基于DRAM的DDR DMM 463a的形式驻留在夹层卡或转接卡463上。MSC控制器124位于转接卡的DDR和PCM控制器460中，其可具有在夹层卡/转接卡上连接到DDR DIMM通道470并通过高性能互连462 (诸如不同存储器链路)互连到CPU的两个或更多存储器通道。所关联的远存储器463b位于同一夹层卡/转接卡463上，并且由使用DDR通道470并组装有NVRAM (诸如PCM装置)的DMM 463b形成。
[0086]图4J是充当存储器侧高速缓存(MSC)的近存储器以DRAM的形式驻留在每一个DI丽465上的统一架构。DI丽465在将CPU封装401与位于DI丽上的MSC控制器124耦合的高性能互连/通道462 (诸如差分存储器链路)上。所关联的远存储器位于相同DIMM465上并由NVRAM (诸如PCM装置)形成。
[0087]图4K图示了充当MSC的近存储器以DRAM的形式驻留在每一个DMM 466上的统一架构。这些DMM在将CPU封装401与位于DMM上的MSC控制器124连接的高性能互连/通道470上。所关联的远存储器位于相同DMM 466上并由NVRAM(诸如PCM装置)形成。
[0088]图4L图示了在DDR总线471上使用基于DDR DRAM的DMM 464以形成充当MSC的必要的近存储器的分离架构。处理器310寄宿集成存储器控制器331和存储器侧高速缓存控制器124。NVRAM (诸如PCM存储器)形成驻留在使用高性能互连468的卡或转接卡467上的远存储器，高性能互连468使用事务协议与CPU封装401通信。寄宿远存储器的卡或转接卡467寄宿能控制多个基于PCM的存储器或连接在那个转接卡上的多个基于PCM的DIMM的单个缓冲器/控制器。
[0089]图4M图示了可使用卡或转接卡469上的DRAM来形成充当MSC的必要的近存储器的统一架构。NVRAM(诸如PCM存储器装置)形成也驻留在卡或转接卡469上的远存储器，卡或转接卡469使用到CPU封装401的高性能互连468。寄宿远存储器的卡或转接卡469寄宿能控制多个基于PCM的存储器或在那个转接卡469上的多个基于PCM的DI丽的单个缓冲器/控制器，并且还集成存储器侧高速缓存控制器124。
[0090]在上面描述的其中一些实施例中，诸如在图4G中图示的实施例中，DRAM DMM411a和基于PCM的DMM 411b驻留在相同存储器通道上。因而，使用同一组地址/控制和数据线路将CPU连接到DRAM存储器和PCM存储器。为了减少通过CPU网格互连的数据业务量，在一个实施例中，具有基于PCM的DI丽的公共存储器信道上的DDR DI丽配置成充当存储在基于PCM的DIMM中的数据的唯一 MSC。在此类配置中，存储在基于PCM的DIMM中的远存储器数据仅在相同存储器通道内的DDR DIMM近存储器中高速缓存，由此将存储器事务局限于那个具体存储器通道。
[0091]附加地，为了实现上面的实施例，系统地址空间可在逻辑上在不同存储器通道之间细分。例如，如果存在4个存储器通道，则可向每个存储器通道分配1/4的系统地址空间。如果给每个存储器通道提供一个基于PCMS的DIMM和一个DDR DIMM，则DDR DIMM可配置成充当那个1/4部分系统地址空间的MSC。
[0092]系统存储器和大容量存储装置器件的选择可取决于在其上采用本发明实施例的电子平台类型。例如，在个人计算机、平板计算机、笔记本计算机、智能电话、移动电话、功能手机、个人数字助理(PDA)、便携式媒体播放器、便携式游戏装置、游戏控制台、数字摄像机、交换机、中心、路由器、机顶盒、数字视频记录器或具有相对小的大容量存储装置要求的其它装置中，大容量存储装置可仅使用NVRAM大容量存储装置152A来实现，或结合闪存/磁/光大容量存储装置152B使用NVRAM大容量存储装置152A来实现。在具有相对大的大容量存储装置要求的其它电子平台(例如大规模服务器)中，大容量存储装置可使用磁存储装置(例如硬驱动器)或磁存储装置、光存储装置、全息存储装置、大容量存储装置闪速存储器和NVRAM大容量存储装置152A的任何组合实现。在此类情况下，负责存储装置的系统硬件和/或软件可实现各种智能持久存储装置分配技术，以高效或者否则有用的方式将持久程序代码和数据的块在FM 15IB /NVRAM存储装置152A与闪存/磁/光大容量存储装置152B之间分配。
[0093]例如，在一个实施例中，大功率服务器配置有近存储器(例如DRAM)、PCMS装置和磁大容量存储装置器件(用于大量持久存储装置)。在一个实施例中，笔记本计算机配置有近存储器和PCMS装置，其扮演远存储器和大容量存储装置器件两者的角色(即，其在逻辑上被划分成扮演如图3中所示的这些角色)。家庭或办公室台式计算机的一个实施例类似地配置成笔记本计算机，但也可包含一个或多个磁存储装置器件以提供大量持久存储装置能力。
[0094]平板计算机或蜂窝电话装置的一个实施例配置有PCMS存储器，但潜在地没有近存储器并且没有附加大容量存储装置(以便节省成本/功率)。然而，平板计算机/电话可配置有可拆卸大容量存储装置器件，诸如闪存或PCMS存储条。
[0095]各种其它类型装置可如上所述配置。例如，便携式媒体播放器和/或个人数字助理(PDA)可按类似于上面描述的平板计算机/电话的方式配置，游戏控制台可按类似于台式计算机或膝上型计算机的方式配置。可类似配置的其它装置包含数字摄像机、路由器、机顶盒、数字视频记录器、电视和汽车。
[0096]MSC架构的实施例
在本发明的一个实施例中，系统存储器中的大多数DRAM用PCM替换。如之前讨论的，PCM以相对DRAM显著低的成本提供了在系统容量上的显著改进，并且是非易失性的。然而，某些PCM特性(诸如非对称读对写性能、写循环持续时间极限以及其非易失性性质)使它对直接替换DRAM而没有招致重大软件改变具有挑战性。在下面描述的本发明的实施例提供了集成PCM的软件透明方式，同时还通过软件增强能够实现较新的使用。这些实施例促进了存储器子系统架构中的成功转变，并提供了使用单个PCM池合并存储器和存储装置的方式，从而减少对于平台中单独非易失性存储装置层的需要。
[0097]在图5A中图示的具体实施例包含各具有用于生成存储器请求的内部存储器管理单元(MMU) 502的一个或多个处理器核501以及用于根据规定的高速缓存管理策略来存储程序代码行和数据的一个或多个内部CPU高速缓存503。如之前所提到的，高速缓存管理策略可包括排它型高速缓存管理策略(其中存在于层级中一个具体高速缓存级中的任何行不存在于任何其它高速缓存级中)或包含型高速缓存管理策略(其中重复的高速缓存行被存储在高速缓存层级的不同级)。本领域技术人员很好理解，对于管理内部高速缓存503可采用特定的高速缓存管理策略，并且因而在此将不详细描述。本发明的基本原理不限于任何具体高速缓存管理策略。
[0098]图5A中还图示了归属代理505，归属代理505通过生成用于存储器请求的存储器通道地址(MCA)来提供对MSC 510的存取。归属代理505负责管理规定存储器地址空间，并解决指向那个存储器空间的存储器存取冲突。从而，如果任何核需要存取给定地址空间，则它将向那个归属代理505发送请求，该归属代理然后将向具体MMU 502发送该请求。在一个实施例中，每个MMU 502分配一个归属代理505 ;然而,在一些实施例中，单个归属代理505可服务于多于一个的存储器管理单元502。
[0099]如图5A中所图示的，MSC 510配置在基于PCM的远存储器519的前面。MSC 510管理对近存储器518的存取，并在适当时(例如在从近存储器518不能服务于这些请求时)向远存储器控制器521转发存储器存取请求(例如读和写)。MSC 510包含高速缓存控制单元512，高速缓存控制单元512响应于存储标识近存储器518内含有的高速缓存行的标签的标签高速缓存511而操作。在操作中，当高速缓存控制单元512确定可从近存储器518服务于存储器存取请求(例如响应于高速缓存命中)时，它生成近存储器地址(NMA)以标识存储在近存储器518内的数据。近存储器控制器单元515解释NMA，并作为响应生成电信号，以存取近存储器518。如之前所提到的，在一些实施例中，近存储器是动态随机存取存储器(DRAM)。在此类情况下，电信号可包含行地址选通脉冲(RAS)信号和列地址选通脉冲(CAS)信号。然而，应该指出，本发明的基本原理不限于将DRAM用于近存储器。
[0100]确保软件透明存储器应用的另一组件是优化的PCM远存储器控制器521，其管理PCM远存储器530特性，同时仍提供所需的性能。在一个实施例中，PCM控制器521包含间接寻址表520，其将由高速缓存控制单元515生成的MCA转译成用于直接寻址PCM远存储器530的PDA。这些转译可以通常是4KB的“块”粒度发生。在一个实施例中，当远存储器控制器521遍及PCM装置地址空间不断移动PCM块以确保没有由于对任何特定块的高频写而引起的损耗热点时需要该转译。如之前所描述的，此类技术在本文有时被称为“耗损均衡”。
[0101]从而，MSC 510由高速缓存控制单元512管理，高速缓存控制单元512允许MSC510吸收、联合并过滤对PCM远存储器530的事务(例如读和写)。高速缓存控制单元512管理在近存储器518与PCM远存储器530之间的所有数据移动和一致性要求。附加地，在一个实施例中，MSC高速缓存控制器512与CPU接口，并提供在基于DRAM的传统存储器子系统中使用的标准同步加载/存储接口。
[0102]现在将在图5A中示出的架构上下文内描述示范读和写操作。在一个实施例中，读操作将首先到达MSC控制器512，MSC控制器512将执行查找以确定是否存在所请求的数据(例如利用标签高速缓存511)。如果存在，则它会将数据返回到发出请求的CPU、核501或I/O装置(未示出)。如果数据不存在，则MSC控制器512会将该请求与系统存储器地址(在本文中也称为存储器通道地址或MCA) —起发送到PCM远存储器控制器521。PCM控制器521将使用间接寻址表520将该地址转译成PDA并将读操作指向PCM的这个区域。在从PCM远存储器530接收到所请求的数据时，PCM控制器521会将所请求的数据返回到MSC控制器512，MSC控制器512会将数据存储在MSC近存储器518中，并且还将数据发送到发出请求的CPU核501或者I/O装置。对于此数据的后续请求可从近存储器518直接服务，直到它由某个其它PCM数据替换。
[0103]在一个实施例中，存储器写操作也首先去到MSC控制器512，MSC控制器512将它写入MSC近存储器518中。在此实施例中，当接收到写操作时，可不将数据直接发送到PCM远存储器530。例如，仅当MSC近存储器518中存储数据的位置必须再用于存储不同系统存储器地址的数据时，才可将数据发送到PCM远存储器530。当这个发生时，MSC控制器512注意到数据当前不在PCM远存储器530中，并且从而将从近存储器518中检索它，并将它发送到PCM控制器521。PCM控制器521查找用于该系统存储器地址的PDA，并且然后将数据写到PCM远存储器530。
[0104]在一个实施例中，MSC近存储器518的大小将由工作载荷存储器要求以及近存储器和远存储器性能所支配。对于基于DRAM的MSC,大小可设置成1/10的工作载荷存储器占用空间大小或PCM远存储器530大小。此类MSC与在当前处理器/系统架构中发现的常规高速缓存相比非常大。作为示例，而非限制，对于128GB的PCM远存储器大小，MSC近存储器的大小可达16GB。
[0105]图5B图示了与MSC 510的一个实施例关联的附加细节。此实施例包含负责命令和寻址的一组逻辑单元，其包含用于缓冲命令/地址的命令缓冲跟踪单元542和响应于来自MSC范围寄存器(RR)单元545的控制信号而选择MSC操作模式的高速缓存存取模式检查单元544。下面描述几个示范操作模式。简言之，这些可包含如下模式:其中近存储器用在传统高速缓存角色中的模式以及其中近存储器518形成部分系统存储器的模式。标签检查/命令调度器550使用来自标签高速缓存511的标签来确定具体高速缓存行是否被存储在近存储器518中，并且近存储器控制器515生成通道地址信号(例如CAS和RAS信号)。
[0106]此实施例还包含负责数据路由和处理的一组逻辑单元，其包含用于存储取自近存储器或存储到近存储器的数据的一组数据缓冲器546。在一个实施例中，还包含预取数据高速缓存547，其用于存储从近存储器和/或远存储器预取的数据。然而，预取数据高速缓存547是可选的，并且对于遵从本发明基本原理不是必要的。
[0107]纠错码(ECC)生成器/检查器单元552生成和检查ECC以确保向近存储器写或从近存储器读的数据是无错误的。如下面所讨论的，在本发明的一个实施例中，ECC生成器/检查器单元552被修改成存储高速缓存标签。本领域普通技术人员很好理解特定ECC，并且因此在此未详细描述。信道控制器553将近存储器518的数据总线耦合到MSC 510，并生成对于存取近存储器518必要的电信令(例如用于DRAM近存储器的RAS和CAS信令)。
[0108]图5B中还图示了用于将MSC 510耦合到远存储器的远存储器控制接口 548。具体地说，远存储器控制接口 548生成寻址远存储器所需的MCA，并且在数据缓冲器546与远存储器之间传递数据。
[0109]如所提到的，在一个实施例中采用的近存储器518与在当前处理器/系统架构中发现的常规高速缓存相比是非常大的。因而，保存系统存储器地址到近存储器地址的转译的标签高速缓存511可能也非常大。存储和查找MSC标签的成本可能是构建大高速缓存的显著阻碍。因而，在本发明的一个实施例中，这个问题使用创新方案解决了，该创新方案将高速缓存标签存储在位于MSC中的存储装置内进行ECC保护，由此基本上移除了对于标签的存储装置成本。
[0110]在图5C中一般性地图示了这个实施例，其示出了用于存储/管理高速缓存标签、存储ECC数据并执行ECC操作的集成标签高速缓存和ECC单元554。如所图示的，当执行标签检查操作(例如以确定具体数据块是否被存储在近存储器高速缓存518内)时，应请求将所存储的标签提供给标签检查/命令调度器550。
[0111]图图示了数据524以及对应的ECC 523和标签522的示范组的组织。如所图示的，标签522与ECC 523被共同定位在标签高速缓存/ECC单元554的存储器(例如在一个实施例中是DDR DRAM)中。在此示例中，总计64字节的多个数据块已经被读到标签高速缓存/ECC单元554中。ECC检查/生成器单元554a使用数据525来生成ECC，并将生成的ECC和与数据关联的现有ECC 523相比较。在此示例中，对于64字节的数据525生成4字节的ECC。然而，本发明的基本原理不限于任何具体类型或大小的ECC。附加地，应该指出，术语“数据”在本文中广义上用来指可执行程序代码和数据，它们二者都可存储在图中示出的数据存储装置525中。
[0112]在一个实施例中，3字节(24位)标签522与在图中图示的位指配一起使用。特别地，位00至16是提供高速缓存行的高地址位的地址位。对于具有56位(例如SPA[55:00])的系统地址，位00至16映射到系统地址的位55-29(从而允许512 MB的最小高速缓存大小)。返回到3字节标签，预留位17-19 ;位20-21是目录位，它们提供有关高速缓存行的远程CPU高速缓存的信息(例如提供关于在其上高速缓存该行的其它CPU的指示)；位21-22指示高速缓存行的当前状态(例如00=干净；01=脏；10和11=未用)；并且位23指示高速缓存行是否有效(例如1=有效；0=无效)。
[0113]利用上面所描述的直接映射高速缓存架构(其允许直接从系统存储器提取近存储器地址)，降低或消除了在可读取MSC 510之前查找标签存储设备的等待时间成本，由此显著改进了性能。而且，检查高速缓存标签以判定MSC 510是否具有所需数据的时间也被消除了，这是因为它与从MSC读取的数据的ECC检查并行进行。
[0114]在某些条件下，将标签与数据一起存储可产生写的问题。写首先读数据，以便确保它对于某个其它地址不盖写数据。在每次写之前的此类读变得成本很高。本发明的一个实施例采用保存最近存取的近存储器地址(NMA)的标签的脏行标签高速缓存。由于许多写针对最近存取的地址，因此合理小的标签高速缓存可得到高效的命中率，以在写之前过滤大部分读。
[0115]图5E中图示了与PCM DIMM 519的一个实施例关联的附加细节，其包含PCM远存储器控制器521和一组PCM远存储器模块530a-1。在一个实施例中，PCM远存储器530a_i的单个池在系统存储器使用与存储装置使用之间动态共享。在此实施例中，整个PCM池530a-1可被细分成4KB大小的“块”。PCM描述符表(PDT) 565标识每个PCM块作为存储器或者存储装置的使用。例如，每行PDT可表示具体块，其中具体列标识每个块的使用(例如1=存储器；0=存储装置)。在此实施例中，初始系统配置可在存储装置使用与存储器使用之间划分PCM 530a-1内的PCM块(例如通过对I3DT 565编程)。在一个实施例中，使用相同表来排除坏的块，并提供用于耗损均衡操作的备用块。此外，PDT 565还可包含每个PCMS块到由软件使用的“逻辑”块地址的映射。在系统存储器的情况下，逻辑块地址与MCA或SPA相同。不管何时由于耗损均衡而移动PCMS块，更新间接寻址表(AIT) 563都需要这种关联。当这发生时，由软件使用的逻辑块地址必须被映射到不同PCMS装置地址(PDA)。在一个实施例中，此映射被存储在AIT中，并且在每次耗损均衡移动时更新。
[0116]如所图示的，PCM控制器521包含系统物理地址(SPA)到PCM映射器556，其响应于耗损管理单元555和间接寻址单元563而操作，以将SPA映射到PCM块。在一个实施例中，耗损管理逻辑555实现耗损均衡算法以考虑如下事实:在太多次写和/或擦除存取之后PCM 530a-530i的存储装置单元开始损耗。耗损均衡在PCM装置的存储单元上扩散写和擦除，例如通过迫使具有低循环计数的数据块偶尔移动，并由此允许高循环数据块被放在存储低循环数据块的存储单元中。通常，大多数块不循环，但高循环计数块最可能失败，并且耗损均衡将高循环计数块的地址与低循环计数块的地址互换。耗损管理逻辑555可使用一个或多个计数器和寄存器来跟踪循环计数(例如每当检测到循环时，计数器可递增I并且结果可被存储在该组寄存器中)。
[0117]在一个实施例中，间接寻址逻辑563包含间接寻址表(AIT)，其含有写操作应该被指向的PCM块的指示。AIT可用于自动在存储器使用与存储装置使用之间移动块。从软件角度看，对所有块的存取使用传统存储器加载/存储语义(即耗损均衡和间接寻址操作对软件而言透明地发生)。在一个实施例中，AIT用于将由软件生成的SPA转译成PDA。当需要均匀地耗损PCMS装置时需要这种转译，数据将需要在PDA空间中到处移动以避免任何热点。当此类移动发生时，SAP与PDA之间的关系将改变，并且AIT将被更新以反映这种新转译。
[0118]在SAP到PCM的映射之后，调度器单元557调度对PCM装置530a_I的基础PCM操作(例如读和/或写)，并且PCM协议引擎558生成执行读/写操作所需的电信令。ECC单元562执行检错和纠错操作，并且数据缓冲器562暂时缓冲从PCM装置530a_I读的数据或向PCM装置530a-1写的数据。持久写缓冲器559用于保存甚至在意想不到电源故障(例如它使用非易失性存储装置实现)的情况下也保证被写回PCMS的数据。包含刷新支持逻辑560以周期性的和/或根据规定的数据刷新算法(例如在持久写缓冲器达到规定阈限之后)对PCMS刷新持久写缓冲器。
[0119]在一个实施例中，MSC 510自动将存储装置存取直接路由到PCM远存储器控制器521，并将存储器存取路由到MSC高速缓存控制单元512。到达PCM远存储器控制器521的存储装置存取被当做正规读和写，并且本文描述的间接寻址和耗损均衡机制照常应用。在本发明的一个实施例中采用附加优化，其在数据需要在存储装置与存储器之间移动时能够实现。由于使用公共PCM池530a-1，因此可通过简单地改变转译表(例如AIT)中的指针来取消或推迟数据移动。例如，当数据从存储装置传递到存储器时，标识具体物理PCM存储装置位置中数据的指针可被更新成指示相同物理PCM存储装置位置现在是系统存储器中的存储器位置。在一个实施例中，这通过硬件以软件透明的方式进行，以提供性能效益和功率效益。
[0120]除了软件透明的操作模式之外，MSC控制器512的一个实施例还提供了由MSC范围寄存器(RR) 545所指示的备选操作模式。这些操作模式可包含但不限于以下:
I)对于存储装置类应用对PCM存储器的直接存取。此类使用将还要求MSC控制器512确保提交给PCM 519的写实际上被交付给持久状态。
[0121]2)近存储器518的混合使用，向软件暴露出它的部分以便直接使用，同时保持剩余部分作为MSC。当近存储器518的一部分被暴露给软件以便直接使用时，那部分在系统地址空间内可直接寻址。这允许某些应用在高性能小区域(近存储器518)与相对低性能块区域(远存储器530)之间明确地划分它们的存储器分配。相比之下，作为MSC内高速缓存分配的部分未形成系统地址空间的一部分(而相反充当用于远存储器530的高速缓存，如本文描述的)。
[0122]如之前所讨论的，MSC架构定义成使得多个不同系统划分方法是有可能的。这些方法落在两个广义桶(bucket)中:
(1)分离架构:在此方案中，MSC控制器512位于CPU中，并且拦截所有系统存储器请求。存在两个单独的接口，它们从MSC离开CPU以连接到近存储器(例如DRAM)和远存储器(例如PCM)。每个接口对于特定类型存储器都是特制的，并且每个存储器可在性能和容量方面独立缩放。
[0123](2)统一架构:在此方案中，单个存储器接口离开CPU，并且所有存储器请求都被发送到这个接口。MSC控制器512连同近存储器(例如DRAM)和远存储器(例如PCM)子系统在CPU外部被合并在此单个接口上。在一个实施例中，此存储器接口被特制成满足CPU的存储器性能要求，并支持事务的无序协议。近存储器要求和远存储器要求在这些接口的每个接口上以“统一”方式来满足。
[0124]在上面桶的范围内，多个不同划分选项是可行的，下面描述了其中一些。
[0125](I)分离示例:
近存储器:DRR5 DIMM
近存储器接口:一个或多个DDR5通道 远存储器:PCI EXPRESS (PCIe)卡上的PCM控制器/装置 远存储器接口:xl6 PCIe, Gen 3
(2)统一示例:
CPU存储器接口:一个或多个KTMI (或QPMI)通道 在转接卡上具有MSC/PCM控制器的近存储器/远存储器 MSC/PCM控制器外的近存储器接口:DDR5接口 MSC/PCM控制器外的远存储器接口:PCM装置接口 具有不同近存储器操作模式的实施例
如上面所讨论的，二级存储器层级可用于引入快速非易失性存储器(诸如PCM)作为系统存储器，同时使用非常大的基于DRAM的近存储器。近存储器可被用作硬件管理的高速缓存。然而，一些应用不是硬件高速缓存友好的，并且因而将受益于使用此类存储器的备选方式。因为在任何给定时间可能都有多个不同应用在服务器上运行，因此本发明的一个实施例允许同时启用多使用模式。附加地，一个实施例提供了控制为这些使用模式中的每个模式分配近存储器的能力。
[0126]在一个实施例中，MSC控制器152提供用于使用近存储器的如下模式。如之前所提到的，在一个实施例中，当前操作模式可由存储在MSC范围寄存器(RR) 545中的操作代码规定。
[0127](I)写回高速缓存模式:在此模式中，所有或部分近存储器518被用作PCM存储器530的高速缓存。虽然在写回模式，但每一个写操作最初都指向近存储器518 (假定在高速缓存中存在该写所指向的高速缓存行)。仅当近存储器518内的高速缓存行要由另一高速缓存行替换时才执行对应写操作以更新PCM远存储器530 (与下面描述的每个写操作被立即传播到远存储器530的写直达模式形成对照)。
[0128]在一个实施例中，读操作将首先到达MSC高速缓存控制器512，该控制器512将执行查找以确定在PCM远存储器518中是否存在所请求的数据(例如利用标签高速缓存511)。如果存在，则它会将数据返回到发出请求的CPU、核501或I/O装置(图5A中未示出)。如果数据不存在，则MSC高速缓存控制器512会将该请求与系统存储器地址一起发送到PCM远存储器控制器521。PCM远存储器控制器521会将系统存储器地址转译成PCM物理装置地址(PDA)，并将读操作指向远存储器530的这个区域。如之前所提到的，此转译可利用间接寻址表(AIT) 563，PCM控制器521使用AIT 563在系统存储器地址与PCM PDA之间进行转译。在一个实施例中，AIT被更新为耗损均衡算法的一部分，耗损均衡算法被实现以分布存储器存取操作并由此降低PCM FM 530上的耗损。
[0129]在从PCM FM 530接收到所请求的数据时，PCM FM控制器521将所请求的数据返回到MSC控制器512，MSC控制器512将数据存储在MSC近存储器518中，并且还将数据发送到发出请求的处理器核501或者I/O装置(图5A中未示出)。对于此数据的后续请求可从近存储器518直接服务，直到它由某一其它PCM FM数据替换。
[0130]在一个实施例中，存储器写操作也首先去到MSC控制器512，MSC控制器512将它写入充当FM高速缓存518的MSC近存储器中。在此实施例中，当接收到写操作时，可不将数据直接发送到PCM FM 530。例如，仅当充当FM高速缓存518的MSC近存储器中存储数据的位置必须再用于存储不同系统存储器地址的数据时，才可将数据发送到PCM FM 530。当这个发生时，MSC控制器512注意到数据当前不在PCM FM 530中，并且从而将从充当FM高速缓存518的近存储器中检索它，并将它发送到PCM FM控制器521。PCM控制器521查找用于系统存储器地址的PDA，并且然后将数据写到PCM FM 530。
[0131](2)近存储器旁路模式:在此模式，所有读和写都旁路充当FM高速缓存518的NM，并且直接去到PCM远存储器530。当应用不是高速缓存友好的，或者需要以高速缓存行的粒度持久交付数据时，例如可使用此类模式。在一个实施例中，由处理器高速缓存503和充当FM高速缓存518的NM执行的高速缓存彼此独立操作。因而，未在处理器高速缓存503中高速缓存(并且在一些情况下其可不被准许在处理器高速缓存503中高速缓存)的数据可在充当FM高速缓存518的匪中高速缓存，并且反之亦然。从而，在处理器高速缓存503中可被指定为“不可高速缓存”的某些数据可在充当FM高速缓存518的NM内高速缓存。[0132](3)近存储器读-高速缓存写旁路模式:这是上面模式的变化，其中允许从PCM519读高速缓存持久数据(即，持久数据在MSC 510中高速缓存以便进行只读操作)。当大部分持久数据是“只读”的并且应用使用是高速缓存友好的时，这是有用的。
[0133](4)近存储器读-高速缓存写肓达模式:这是前一模式的变化，其中除了读高速缓存之外，还高速缓存写命中。每次对MSC近存储器518的写都引起对PCM远存储器530的写。从而，由于高速缓存的写直达性质，仍保证了高速缓存行持久性。
[0134](5)近存储器肓接存取模式:在此模式，所有或部分近存储器对软件而言直接可见，并形成系统存储器地址空间的一部分。此类存储器可完全在软件控制下。从PCM存储器519到近存储器的这个区域的任何数据移动都需要明确软件拷贝。此类方案可创建用于软件的非均匀存储器地址(NUMA)存储区，其中它从近存储器518得到相对于PCM远存储器530更高的性能。此类使用可用于需要对某些数据结构非常快速存取的某些高性能计算(HPC)和图形应用。此近存储器直接存取模式相当于对近存储器中的某些高速缓存行“设置管脚”。此类设置管脚可在较大、多路组关联高速缓存中有效地进行。
[0135]下面表A概括了上面描述的每一种操作模式。
[0136]表A
【权利要求】
1.一种计算机实现的方法，包括: 检测指向PCMS存储器的第一块的读操作； 确定在所述读操作之前的规定时间量内先前是否已经发生了对所述第一块的写操作； 如果在所述写操作之前的所述规定时间量内先前已经发生了对所述第一块的所述写操作，则使用第一分界电压(VDM)用于所述读操作；以及 如果在所述写操作或刷新操作之前的所述规定时间量内先前尚未发生对所述第一块的所述写操作，则使用第二 VDM用于所述读操作。
2.如权利要求1所述的方法，还包括: 检测加电条件； 在所述加电条件之后顺序地刷新所述PCMS存储器内的每个块；以及 如果所述第一块尚未被刷新，则使用第三VDM用于所述读操作。
3.如权利要求2所述的方法，还包括: 当每个块被刷新时更新含有每个块的条目的表以提供每个块已经被刷新的指示。
4.如权利要求1所述的方法，其中确定包括: 使用与所述读操作关联的地址生成对第一表的索引值；以及 如果在所述表中发现匹配，则确定在所述读之前的规定时间量内先前已经发生了对所述第一块的写操作。
5.如权利要求1所述的方法，其中所述表中的每个条目已经与指示所述条目是否有效的有效位关联，所述有效位在所述写操作之后的所述规定时间量之后被重新设置。
6.如权利要求5所述的方法，其中所述表中的每个条目还已经与指示自从所述写操作以来已过去的时间量的有效定时器关联。
7.一种计算机实现的方法，包括: 检测指向PCMS存储器的第一块的写操作； 生成第一表中的条目以指示所述写操作； 确定加电条件之后所述第一块是否已经被刷新； 如果加电条件之后所述第一块尚未被刷新，则作为响应生成刷新所述第一块的要求刷新信号；以及 执行所述写操作。
8.如权利要求7所述的方法，在已经过去规定时间量之后，使所述第一表中的所述条目无效。
9.如权利要求8所述的方法，还包括: 检测指向PCMS存储器的第二块的读操作； 读所述第一表以确定在所述读操作之前的规定时间量内先前是否已经发生了对PCMS存储器的所述第二块的第二写操作； 如果在所述第二写操作之前的所述规定时间量内先前已经发生了对所述第二块的所述写操作，则使用第一分界电压(VDM)用于所述读操作；以及 如果在所述写操作之前的所述规定时间量内先前尚未发生对所述第一块的所述第二写操作，则使用第二 VDM用于所述读操作；检测加电条件； 在所述加电条件之后顺序地刷新所述PCMS存储器内的每个块；以及 如果所述第一块尚未被刷新，则使用第三VDM用于所述读操作。
10.如权利要求9所述的方法，还包括: 当每个块被刷新时更新所述第一表以提供每个块已经被刷新的指示。
11.如权利要求9所述的方法，其中读所述第一表以确定包括: 使用与所述读操作关联的地址生成对第一表的索引值；以及 如果在所述表中发现匹配，则确定在所述读之前的规定时间量内先前已经发生了对所述第一块的写操作。
12.如权利要求9所述的方法，其中所述第一表中的每个条目已经与指示所述条目是否有效的有效位关联，所述有效位在所述写操作之后的所述规定时间量之后被重新设置。
13.如权利要求12所述的方法，其中所述第一表中的每个条目还已经与指示自从所述写操作以来已过去的时间 量的有效定时器关联。
【文档编号】G06F12/00GK103999161SQ201180075637
【公开日】2014年8月20日 申请日期:2011年12月20日 优先权日:2011年12月20日
【发明者】R.K.拉马努詹, M.A.施米斯塞尤 申请人:英特尔公司