光存储器扩展架构的制作方法
【专利摘要】提供一种光存储器扩展架构。第一晶片上的第一电逻辑电路按照分包点对点互连协议、以全数据速率来传递数据。第一密封电路耦合成从第一电逻辑电路来接收数据。第一密封电路使数据被转换成光格式，以便以至少两倍于全数据速率的速率来传送。第二密封电路耦合成从第一密封电路接收按照光格式的数据。第二密封电路使数据被转换成符合分包点对点互连协议的电格式。第二晶片上的第二电逻辑电路耦合成通过第一密封电路和第二密封电路从第一电逻辑电路接收数据。
【专利说明】光存储器扩展架构
【技术领域】
[0001] 本发明的实施例涉及与主机中的存储器系统的光通信。更具体来说，本发明的实 施例涉及用于按照电子装置所使用的协议来提供电子装置（例如处理核、存储器装置、存 储控制器）之间的光通信的技术。
【背景技术】
[0002] 随着处理能力增加以及单个晶片（die)上能够包含的处理核的数量增加，存储器 带宽的对应增加是必要的，以便保持平衡系统性能。当前架构和技术一般无法提供充分可 缩放性以提供存储器带宽的对应增加。
【专利附图】
【附图说明】
[0003] 通过附图、作为举例而不是限制来说明本发明的实施例，附图中，相似的参考标号 表示相似的元件。
[0004] 图1是光接口的一个实施例的框图。
[0005] 图2是密封（gasket)接口信号初始化过程的一个实施例的定时图。
[0006] 图3是光训练模式状态期间的Q2S密封操作的一个实施例的流程图。
[0007] 图4是光训练模式状态期间的S2Q密封操作的一个实施例的流程图。
[0008] 图5是光存储器扩展（0ΜΕ)系统的一个实施例的框图。
[0009] 图6是Q2S模块的一个实施例的顶层图。
[0010] 图7是Q2S模拟前端（Q2SAFE)的一个实施例的框图。
[0011] 图8是Q2S接收模拟前端（RxAFE)的一个实施例的框图。
[0012] 图9a是正常速度操作的RxAFE架构的一个实施例的电路图。
[0013] 图9b是高速操作的RxAFE架构的一个实施例的电路图。
[0014] 图10是二抽头DFE/取样器电路的一个实施例的框图。
[0015] 图11是示例半速率取样图。
[0016] 图12是完整Q2S数据通路和时钟通路架构的一个实施例的电路图。
[0017] 图13是S2Q模块的一个实施例的顶层图。
[0018] 图14是S2Q控制逻辑（SCL)的一个实施例的框图。
[0019] 图15是S2Q模拟前端的一个实施例的框图。
[0020] 图16是S2Q接收模拟前端（RxAFE)的一个实施例的框图。
[0021] 图17a是正常速度操作的RxAFE架构的一个实施例的电路图。
[0022] 图17b是高速操作的RxAFE架构的一个实施例的电路图。
[0023] 图18是不例四倍速率取样图。
[0024] 图19是S2Q发射电路架构的一个实施例的框图。
[0025] 图20是完整S2Q数据通路和时钟通路架构的一个实施例的电路图。
[0026] 图21示出利用高性能互连架构的多处理器配置的实施例。
[0027] 图22示出高性能互连架构的分层栈的实施例。
【具体实施方式】
[0028] 在以下描述中提出许多具体细节。但是，即使没有这些具体细节也可实施本发明 的实施例。在其它情况下，没有详细示出众所周知的电路、结构和技术，以免混淆对本描述 的了解。
[0029] 本文所述的架构和技术提供实现光存储器扩展的光状态机和训练定序器。随着技 术发展，现代嵌入式服务器和图形处理器已经由单个芯片上数十至数百个核组成，并且核 数量将通过11 nm或8 nm技术节点而持续增加到甚至一千。也要求存储器带宽和容量的 对应增加，以获得平衡系统性能。这些架构和技术针对具有光互连（称作光存储器扩展） 的存储器带宽。
[0030] 在一个实施例中，所述架构和技术能够用于将采用光互连的Intel的快速通道互 连（QPI)协议结合到主流服务器、客户端、芯片上系统（SoC)、高性能计算机（HPC)和数据中 心平台。Intel快速通道互连是由Intel开发的点对点处理器互连，其取代某些平台中的前 端总线（FSB)。
[0031] QPI协议是高速分包点对点互连协议，其允许高速窄链路将分布式共享存储器类 型平台架构中的处理核和其它节点凝聚在一起。QPI协议以低等待时间来提供高带宽。QPI 协议包括对低等待时间和高可缩放性以及分组和通道结构所优化的窥探协议以实现事务 的快速完成。
[0032] 在一个实施例中，QPI协议层使用回写协议来管理接口的高速缓存一致性。在一 个实施例中，它还具有用于管理非一致消息传递的一组规则。协议层通常连接到高速缓存 代理中的高速缓存一致性状态机，以及连接到存储控制器中的归属代理逻辑。协议层还负 责系统级功能，例如中断、存储器映射I/O和锁定。协议层的一个主要特征在于，它处理跨 多个链路的消息，其中涉及多个装置中的多个代理。
[0033] 在一个实施例中，本文所述的架构和技术用来通过光学手段来扩展QPI。在一个实 施例中，下面描述的状态机和定序器进行操作以适应QPI协议，而无需知道基础光链路。 [0034] 随着技术发展，现代嵌入式服务器和图形处理器已经由单个芯片上数十至数百个 核组成，并且核数量将采用11 nm或8 nm制造过程而持续增加到甚至一千或以上。本文所 述的这个架构进行操作以使用光互连来提供这个存储器带宽，称作QPI协议的光存储器扩 展。
[0035] 为了在时钟和数据通道以全数据速率来建立链路的光域，需要光训练阶段。在一 个实施例中，这之后接着QPI握手阶段，其中远程和本地密封组件对于光链路的每一半建 立数据通道0和数据通道5上的通信协议。消息以全数据速率跨光链路来传递。在一个实 施例中，消息帧与参考时钟同步，并且每个参考时钟周期只有一个消息帧。
[0036] 在一个实施例中，消息包括前同步码（preamble)、命令、数据和后同步码 (postamble)。在一个实施例中，前同步码是16位流，其中具有FFFE的数据模式，其标记消 息帧的开始。也可使用其它模式。在一个实施例中，命令字段是8位流字段，以传送供接收 接口采取的动作。每个位表示用于极简单解码的命令。位7能够用于扩展命令（若需要的 话）。在一个实施例中，数据字段是8位流字段，其包含与命令相关的数据。在一个实施例 中，后同步码是4位流，其重复1100的模式以填充数据流的其余部分，直至参考时钟周期结 束。该模式以流中作为〇的最后两个位终止，因此能够识别前同步码。
[0037] 图1是光接口的一个实施例的框图。接口的主要组件如下：1)电（例如QPI)到 光（例如硅光子器件SiP)密封传输（Tx)芯片，（Q2S) 110;2)光到电密封接收（Rx)芯片， (S2Q) 120 ;3)调制器驱动器；4)发射（TX)光（SiP)模块140 ;5)接收（RX)SiP模块150 ; 以及6)互阻抗放大器（TIA)。
[0038] 在一个实施例中，密封组件（110、120)包含2:1串行器/解串器（SERDES)，其将电 (例如20 QPI)数据通道复用到与进行电-光转换的SiP模块进行接口的（例如10个）通 道。在其它实施例中，能够支持其它比率和其它通道数量。在一个实施例中，光链路分为两 半，下半部携带低数据通道0:9,以及上半部携带上数据通道10:19。在其它实施例中，能够 支持其它配置。
[0039] 代理190是与远程组件（例如存储器）进行通信的电组件，图1中未示出。代理 190能够是例如处理核或者其它系统组件。在一个实施例中，代理190向Q2S密封芯片110 提供传输（TX)时钟信号以及TX数据（例如0-19)。在一些实施例中，代理190还能够向 Q2S密封芯片110提供系统时钟信号、系统复位信号和I2C信号。在一个实施例中，代理190 从S2Q密封芯片120接收TX时钟前向信号和接收（RX)数据（例如0-19)。在一些实施例 中，代理190还能够向S2Q密封芯片120提供系统时钟信号、系统复位信号和I2C信号。
[0040] 在一个实施例中，Q2S密封芯片110和S2Q密封芯片120耦合成使得S2Q密封芯片 120向Q2S密封芯片110发送控制信号。来自Q2S密封芯片110的输出信号包括送往一个 或多个发射光模块140的TX时钟信号（例如TX 0_Clk)、数据信号（例如TX 0_Data 0:9) 和控制信号。送往S2Q密封芯片120的输入信号包括来自一个或多个接收光模块150的RX 时钟信号（例如RX 〇_Clk)、数据信号（例如RX 0_Data 0:9)和控制信号。
[0041] 为了建立光连通性，下面利用训练序列所述的状态机与图1的光接口配合使用。 在一个实施例中，首先建立光-到-电链路的由内到外初始化序列、光域连通性。这个透明 光链路则用于电（例如QPI)握手，以及建立电代理之间的链路。光域具有表1所列示的对 初始化序列的4个主要阶段：
【权利要求】
1. 一种系统，包括： 第一晶片上的第一电逻辑电路，按照分包点对点互连协议、按照全数据速率来传递数 据； 第一密封电路，耦合成从所述第一电逻辑电路接收所述数据，所述第一密封电路使所 述数据被转换成光格式，以便以至少两倍于所述全数据速率的速率来传送； 第二密封电路，耦合成从所述第一密封电路接收按照光格式的数据，所述第二密封电 路使所述数据被转换成符合所述分包点对点互连协议的电格式；以及 第二晶片上的第二电逻辑电路，耦合成从所述第一电逻辑电路接收所述数据。
2. 如权利要求1所述的设备，其中，所述分包点对点互连协议包括窥探协议。
3. 如权利要求1所述的设备，其中，所述分包点对点互连协议使用回写协议来管理高 速缓存一致性。
4. 如权利要求1所述的设备，其中，所述分包点对点互连协议符合快速通道互连（QPI) 协议。
5. 如权利要求1所述的设备，其中，所述分包点对点协议利用嵌入式时钟信号。
6. 如权利要求1所述的设备，其中，所述第一密封电路和所述第二密封电路使它们之 间的光链路在所述第一电逻辑电路与所述第二电逻辑电路之间的链路的初始化期间以对 应于所述全数据速率的数据速率进行操作。
7. 如权利要求1所述的设备，其中，所述第一电逻辑电路包括处理核，以及所述第二电 逻辑电路包括存储器。
8. 如权利要求1所述的设备，还包括： 第三密封电路，耦合成从所述第二电逻辑电路接收所述数据，所述第三密封电路使所 述数据被转换成光格式，以便以至少两倍于所述全数据速率的速率来传送； 第四密封电路，耦合成从所述第三密封电路接收按照光格式的数据，所述第四密封电 路使所述数据被转换成符合所述分包点对点互连协议的电格式，并且耦合成向所述第一电 逻辑电路提供电数据。
9. 如权利要求8所述的设备，其中，所述第一密封电路和所述第三密封电路各将Μ个数 据通道复用到与电至光转换模块进行接口的Ν个通道上，以便在所述Ν个通道上进行电至 光转换。
10. 如权利要求8所述的设备，其中，所述第二密封电路和所述第四密封电路各从光到 电转换模块接收Ν个通道的数据，以便在Ν个通道的数据上进行光到电转换，所述第二密封 电路和所述第四密封电路各将Ν个通道的数据解复用到Μ个数据通道。
11. 如权利要求9所述的设备，其中，Μ为20,以及Ν为10。
12. 如权利要求8所述的设备，还包括传递边带信号的附加光通道。
13. 如权利要求12所述的设备，其中，所述边带信号经过编码。
14. 如权利要求1所述的设备，还包括光信号状态机。
15. 如权利要求14所述的设备，其中，所述光状态机控制功率状态和功率状态转变。
16. 如权利要求14所述的设备，其中，所述光状态机控制光训练序列。
17. 如权利要求1所述的设备，其中，所述第一密封电路和所述第二密封电路包括具有 用于传输时钟的至少一个密封锁相环（PLL)的重新定时电路。
18. 如权利要求1所述的设备，还包括帮助符合快速通道互连（QPI)的慢启动操作的机 构。
19. 如权利要求1所述的设备，还包括与数字前端（DFE)电路相结合的一个或多个动态 增益控制电路，以对所接收信号进行自适应，其中避免用于信号对齐的周期再训练。
20. -种集成电路，包括： 第一密封电路，耦合成从第一电逻辑电路接收数据，第一晶片上的所述第一电逻辑电 路按照分包点对点互连协议、按照全数据速率来传递数据，所述第一密封电路使所述数据 被转换成光格式，以便以至少两倍于所述全数据速率的速率来传送。
21. 如权利要求20所述的集成电路，所述第一密封电路耦合成使光数据被传送给第二 密封电路，所述第二密封电路耦合成从所述第一密封电路接收按照所述光格式的数据，所 述第二密封电路使所述数据被转换成符合所述分包点对点互连协议的电格式。
22. 如权利要求20所述的集成电路，其中，所述分包点对点互连协议包括窥探协议。
23. 如权利要求20所述的集成电路，其中，所述分包点对点互连协议使用回写协议来 管理高速缓存一致性。
24. 如权利要求20所述的集成电路，其中，所述分包点对点互连协议符合快速通道互 连（QPI)协议。
25. 如权利要求20所述的集成电路，其中，所述分包点对点协议利用嵌入式时钟信号。
26. 如权利要求20所述的集成电路，其中，所述第一密封电路和所述第二密封电路使 它们之间的光链路在所述第一电逻辑电路与所述第二电逻辑电路之间的链路的初始化期 间以对应于所述全数据速率的数据速率进行操作。
27. 如权利要求20所述的集成电路，其中，所述第一电逻辑电路包括处理核，以及所述 第二电逻辑电路包括存储器。
28. 如权利要求20所述的集成电路，其中，所述第一密封电路将Μ个数据通道复用到与 电到光转换模块进行接口的Ν个通道上，以便在所述Ν个通道上进行电到光转换。
29. 如权利要求28所述的集成电路，其中，所述第二密封电路从光到电转换模块接收Ν 个通道的数据，以便对Ν个通道的数据进行光到电转换，所述第二密封电路将Ν个通道的数 据解复用到Μ个数据通道。
30. 如权利要求29所述的集成电路，其中，Μ为20,以及Ν为10。
31. -种集成电路，包括： 第一密封电路，耦合成从第二密封电路接收按照光格式的数据，所述第一密封电路使 所述数据被转换成符合所述分包点对点互连协议的电格式；以及 第一晶片上的第一电逻辑电路，耦合成从远程第一电逻辑电路接收所述数据。
32. 如权利要求31所述的集成电路，还包括第二晶片上的所述远程电逻辑电路，按照 所述分包点对点互连协议、按照全数据速率来传递数据；以及 所述第二密封电路耦合成从所述第一电逻辑电路接收所述数据，所述第一密封电路使 所述数据被转换成光格式，以便以至少两倍于所述全数据速率的速率来传送。
33. 如权利要求31所述的集成电路，其中，所述分包点对点互连协议包括窥探协议。
34. 如权利要求31所述的集成电路，其中，所述分包点对点互连协议使用回写协议来 管理高速缓存一致性。
35. 如权利要求31所述的集成电路，其中，所述分包点对点互连协议符合快速通道互 连（QPI)协议。
36. 如权利要求31所述的集成电路，其中，所述第一密封电路和所述第二密封电路使 它们之间的光链路在所述第一电逻辑电路与所述第二电逻辑电路之间的链路的初始化期 间以对应于所述全数据速率的数据速率进行操作。
37. 如权利要求31所述的集成电路，其中，所述第一电逻辑电路包括存储器。
38. 如权利要求31所述的集成电路，其中，所述第二电逻辑电路包括处理核。
【文档编号】G11C7/00GK104064207SQ201410094902
【公开日】2014年9月24日 申请日期:2014年3月14日 优先权日:2013年3月15日
【发明者】J.J.徐, D.富, V.耶尔 申请人:英特尔公司