通过单片封装内光学i/o使能的远程存储器架构
背景技术：
1.机器学习、视觉计算和图形分析应用激增所支撑的新工作负载推动了计算系统向硬件专业化发展。近年来，已经设计了许多片上加速器系统，从图形处理单元（gpu）的演进到甚至更明确的专用片上系统（soc）。这些专用芯片使能目标应用的高吞吐量计算，并要求高带宽、低时延的存储器访问。在同一封装中集成高带宽存储器（hbm）已经服务于该需求，但存储器堆叠的容量有限。目前，最先进的soc具有多达四个hbm接口，其耗尽了芯片滨线和封装基板面以托管附加的hbm堆叠和接口，其中封装内的总存储器限制在仅100千兆字节（gb）以下。随着算法和应用程序迅速向更大得多的数据占用空间扩展，这些节点的性能扩展受到访问更大存储器池的需求的严重影响。目前，该连接将通过外围部件快速互连（pcie）总线或切换到主机中央处理单元（cpu）的本地动态随机存取存储器（dram）。需要一种新技术来使得soc能够以封装内互连的带宽密度、时延和能量成本来访问封装外存储器池。本发明就是在该背景下产生的。
技术实现要素：
2.在示例实施例中，公开了一种远程存储器系统。远程存储器系统包括多芯片封装的衬底。远程存储器系统还包括连接到衬底的集成电路芯片。集成电路芯片包括高带宽存储器接口。远程存储器系统还包括连接到衬底的电光芯片。电光芯片具有电连接到集成电路芯片的高带宽存储器接口的电气接口。电光芯片包括被配置为与光链路光学连接的光子接口。电光芯片包括至少一个光学宏。所述至少一个光学宏中的每一个被配置为将通过电气接口从高带宽接口接收的传出电数据信号转换成传出光数据信号。所述至少一个光学宏中的每一个被配置为通过光子接口将传出光数据信号传输到光链路。所述至少一个光学宏中的每一个被配置为将通过光子接口从光链路接收的传入光数据信号转换成传入电数据信号。所述至少一个光学宏中的每一个被配置为通过电气接口将传入电数据信号传输到高带宽存储器接口。
3.在示例实施例中，公开了一种用于操作远程存储器系统的方法。该方法包括生成传送用于存储器访问操作的指令的第一组电数据信号。该方法还包括基于第一组电数据信号生成光数据信号。光数据信号传送用于存储器访问操作的指令。该方法还包括通过光链路将光数据信号传输到远程存储器设备。该方法还包括在远程存储器设备处从光数据信号生成第二组电数据信号，第二组电数据信号传送用于存储器访问操作的指令。该方法还包括使用第二组电数据信号在远程存储器设备处执行存储器访问操作。
4.在示例实施例中，公开了一种用于配置远程存储器系统的方法。该方法包括使集成电路芯片电连接到第一多芯片封装上的第一电光芯片。该方法还包括将第一电光芯片光学连接到光链路的第一端。该方法还包括将第二电光芯片光学连接到光链路的第二端。第二电光芯片电连接到与第一多芯片封装物理分离的第二多芯片封装上的存储器设备。
5.在示例实施例中，公开了一种计算机存储器系统。该计算机存储器系统包括电光芯片，该电光芯片包括电气接口和光子接口。光子接口被配置为与光链路光学对接。电光芯
片还包括至少一个光学宏。所述至少一个光学宏中的每一个被配置为将通过电气接口接收的传出电数据信号转换成传出光数据信号。所述至少一个光学宏中的每一个被配置为通过光子接口将传出光数据信号传输到光链路。所述至少一个光学宏中的每一个被配置为将通过光子接口从光链路接收的传入光数据信号转换成传入电数据信号。所述至少一个光学宏中的每一个被配置为通过电气接口传输传入电数据信号。计算机存储器系统还包括电连接到电光芯片的电气接口的电扇出芯片。计算机存储器系统还包括电连接到电扇出芯片的至少一个双列直插式存储器模块（dimm）插槽。所述至少一个dimm插槽中的每一个被配置为接收对应的动态随机存取存储器（dram）dimm。电扇出芯片被配置为引导电光芯片和对应于至少一个双列直插式存储器模块插槽的每个dram dimm之间的双向电数据通信。
6.在示例实施例中，公开了一种用于操作计算机存储器系统的方法。该方法包括通过光链路接收第一组光数据信号。第一组光数据信号传送用于存储器访问操作的指令。该方法还包括基于第一组光数据信号生成第一组电数据信号。第一组电数据信号传送用于存储器访问操作的指令。该方法还包括将第一组电数据信号传输到连接到存储器设备的电扇出芯片。该方法还包括操作电扇出芯片以根据第一组电数据信号在存储器设备上执行存储器访问操作。存储器访问操作的执行生成传送存储器访问操作结果的第二组电数据信号。该方法还包括从第二组电数据信号生成第二组光数据信号。第二组光数据信号传送存储器访问操作的结果。该方法还包括通过光链路传输第二组光数据信号。
7.本发明的其他方面和优点将从结合随附附图考虑的以下详细描述中变得更清楚，所述随附附图通过示例的方式说明了本发明。
附图说明
8.图1示出了根据一些实施例的使能mipo i/o的hbm扩展器系统的示例。
9.图2a示出了根据一些实施例的使能mipo i/o的hbm扩展器系统。
10.图2b示出了根据一些实施例的使能mipo i/o的hbm扩展器系统。
11.图2c示出了根据一些实施例的使能mipo i/o的hbm扩展器系统。
12.图2d示出了根据一些实施例的使能mipo i/o的hbm扩展器系统。
13.图3示出了根据一些实施例的用于各种电气和电光半导体芯片技术（包括本文讨论的teraphy小芯片）的互连度量与可及性权衡。
14.图4a示出了根据一些实施例的实现teraphy小芯片的系统的示例块级架构。
15.图4b示出了根据一些实施例的teraphy mipo i/o小芯片的并行接口侧和用于将teraphy mipo i/o小芯片电连接至衬底中的电连接/布线的并行电气接口凸块节距图案的示例视图。
16.图4c示出了根据一些实施例的图1a的衬底的垂直横截面图解。
17.图5示出了根据一些实施例的本文提及的teraphy小芯片的示例组织图解。
18.图6示出了根据一些实施例的teraphy小芯片的示例布局。
19.图7示出了根据一些实施例的teraphy小芯片的光子结构的示例布局。
20.图8示出了根据一些实施例的teraphy小芯片的给定一个光学宏的示例布局。
21.图9示出了根据一些实施例的用于连接至teraphy小芯片的示例fau。
22.图10示出了根据一些实施例的实现为多芯片封装的hbm卡的俯视图，该多芯片封
装包括teraphy小芯片和电气扇出小芯片的组合。
23.图11a示出了根据一些实施例的通过光链路光学连接至远程存储器系统的计算机系统的图解。
24.图11b示出了根据一些实施例的计算系统的teraphy mipo i/o小芯片和远程存储器系统的teraphy mipo i/o小芯片之间的光学连接的更详细视图。
25.图12示出了根据一些实施例的用于操作远程存储器系统的方法的流程图。
26.图13示出了根据一些实施例的用于配置远程存储器系统的方法的流程图。
27.图14示出了根据一些实施例在mcp上使用teraphy小芯片和cxl 中枢/fo（扇出）芯片实现的cxl连接的dram模块的图解。
28.图15示出了根据一些实施例的支持十个dimm通道的cxl连接的dram模块。
29.图16示出了根据一些实施例的支持十个dimm通道的另一个cxl连接的dram模块。
30.图17示出了根据一些实施例的被配置为与如分别关于图14、图15和图16所述的示例cxl连接的dram模块中的任一个对接的计算设备的示例。
31.图18示出了根据一些实施例的被配置为与如分别关于图14、图15和图16所述的示例cxl连接的dram模块中的任一个对接的计算设备的另一示例。
32.图19示出了根据一些实施例的示例光数据通信系统，其中图17的计算模块和图18的计算模块以通过光学的数据通信的方式与图16的远程dram模块连接。
33.图20示出了根据一些实施例的示例光数据通信系统，其中图17的计算模块的多个实例以通过光学的数据通信的方式与图16的远程dram模块的多个实例连接。
34.图21示出了根据一些实施例的用于操作计算机存储器系统的方法的流程图。
具体实施方式
35.在以下描述中，阐述了许多具体细节，以便提供对本发明的理解。然而，对于本领域的技术人员来说应当清楚的是，可以在没有这些具体细节中的一些或全部的情况下实践本发明。在其他情况下，没有详细描述公知的过程操作，以免不必要地模糊本发明。
36.本文公开了用于计算系统的实施例，所述计算系统包括一个或多个半导体芯片/管芯，所述一个或多个半导体芯片/管芯以光数据通信方式在满足或超过（一个或多个）半导体芯片/管芯和存储器设备之间封装内电气互连的现有要求的带宽密度、时延和能量成本下连接至外部封装外存储器池。在各种实施例中，单片封装内光学输入和输出（mipo i/o）小芯片被实现为在一个或多个半导体芯片/管芯和外部封装外存储器池之间建立光数据通信。mipo i/o小芯片提供了从电域到光域的数据通信的转化/转换，并且反之亦然。这样，mipo i/o小芯片提供了如在一个或多个半导体芯片/管芯处的电域内生成的存储器访问信号至用于在光域内传输的对应光学信号的转化/转换。使用多个mipo i/o小芯片通过光链路传输和接收光学信号还提供了光域内的存储器访问信号到外部封装外存储器池的传输。此外，mpip i/o小芯片在外部封装外存储器池处将光域内的存储器访问信号转化/转换回到电域，以使得能够在外部封装外存储器池处执行电域中的存储器访问信号所传送的存储器访问操作。mipo i/o小芯片还在从外部封装外存储器池回到一个或多个半导体芯片/管芯的方向上提供数据通信，其中mipo i/o小芯片在外部封装外存储器池处提供数据通信信号从电域到光域的转化/转换，并且其中mipo i/o小芯片在一个或多个半导体芯片/管芯处
提供数据通信信号从光域到电域的转化/转换。在一些实施例中，使用hbm堆叠来实现外部封装外存储器池。在一些实施例中，使用dram模块实现外部封装外存储器池。mipo i/o小芯片的使用使得一个或多个半导体芯片/管芯能够在与（一个或多个）半导体芯片/管芯和hbm堆叠和/或dram模块一起实现在相同封装中将是可用/可能的相比相同或更好的带宽密度、时延和能量成本下访问更多的hbm容量和/或dram模块容量。
37.在各种实施例中，本文所指的mipo i/o小芯片包括电气设备、光学设备、电光设备和/或热光设备以及对应的电气和光学电路。本文提到的mipo i/o小芯片对应于配备光子器件的芯片/管芯，一个或多个光纤连接到该光子器件的芯片/管芯，以提供进入和/或离开半导体芯片/管芯的光传输。光纤到半导体芯片/管芯的耦合被称为光纤到芯片的耦合。在一些实施例中，本文指代的mipo i/o小芯片包括集成光纤对准结构，除其他事物之外尤其诸如是v形槽和/或通道等，其被配置为促进将光纤附接到mipo i/o小芯片。在其中封装mipo i/o小芯片的一些半导体管芯封装实施例中，封装内光学互连依赖于2.5d或2.1d中介层封装技术。此外，在其中封装mipo i/o小芯片的一些半导体管芯封装实施例中，利用了3d封装方法（例如，管芯堆叠）或者引线接合方法。
38.如本文使用的术语“光”指代在可由光数据通信系统使用的电磁波谱的一部分内的电磁辐射。如本文使用的术语“波长”指代电磁辐射的波长。在一些实施例中，该部分电磁波谱包括具有在从大约1100纳米到大约1565纳米范围（覆盖电磁波谱的从o波段到c波段，包括端值）内的波长的光。然而，应当理解，如本文提及的电磁波谱部分可以包括具有小于1100纳米或大于1565纳米的波长的光，只要该光可被光数据通信系统用于通过光的调制/解调对数字数据进行编码、传输和解码。在一些实施例中，光数据通信系统中使用的光具有电磁波谱的近红外部分中的波长。
39.图1示出了根据一些实施例的示例mipo i/o使能的hbm扩展器系统100。在示例hbm扩展器系统100中，soc多芯片封装（mcp）101托管mipo i/o小芯片103a、103b、103c和103d。应当理解，四个mipo i/o小芯片103a-103d是以示例的方式提供的。在各种实施例中，soc mcp 101托管少于四个mipo i/o小芯片或者多于四个mipo i/o小芯片。在一些实施例中，mipo i/o小芯片103a、103b、103c、103d中的每一个都是由ayar labs公司提供的teraphy mipo i/o小芯片。mipo i/o小芯片103a、103b、103c、103d分别附接到soc mcp 101上的soc 105的hbm接口107a、107b、107c、107d。在一些实施例中，soc mcp 101包括多个soc 105，其中每个soc 105具有连接到对应的mipo i/o小芯片的一个或多个hbm接口。soc 105的hbm接口107a、107b、107c、107d通过对应的mipo i/o小芯片103a-103d向专用hbm卡109传输和接收封装外的数据。
40.soc mcp 101和hbm卡109通过光域彼此连接，用于双向数据通信。在一些实施例中，光纤用于在光域中连接soc mcp 101和hbm卡109，用于双向数据通信。例如，在一些实施例中，光纤阵列115a、115b、115c用于将soc mcp 101的mipo i/o小芯片103a光学连接到hbm卡109的光学扇出小芯片111。在一些实施例中，光波电路（除其他事物之外尤其诸如是在中介层衬底内实现的平面光波电路（plc）或光波导）用于在光域中连接soc mcp 101和hbm卡109，以进行双向数据通信。应当理解，mipo i/o小芯片103a-103d和光学扇出小芯片111中的每一个暴露相应的光学接口，并且mipo i/o小芯片103a-103d和光学扇出小芯片111中给定一个的暴露的光学接口彼此光学连接，以使能实现给定的mipo i/o小芯片103a-103d和
光学扇出小芯片111之间的双向数据通信。
41.以该方式，mipo i/o小芯片103a-103d为soc mcp 101提供光学接口。mipo i/o小芯片103a-103d将通过对应的hbm接口107a-107d在电域中接收的数字数据转换成光数据流（转换成传送数字数据的调制光流），并且通过由光纤阵列115a、115b、115c提供的光学连接将光数据流传输到对应的hbm卡109的光学扇出小芯片111。此外，在反向数据通信方向上，mipo i/o小芯片103a-103d通过光纤阵列115a、115b、115c从对应的hbm卡109的光学扇出小芯片111接收光域中的数字数据（作为调制光流）。mipo i/o小芯片103a-103d通过对从对应的hbm卡109的光学扇出小芯片111接收的调制光流进行解调，将从hbm卡109接收的光域中的数字数据转换到电域。mipo i/o小芯片103a-103d通过对应的hbm接口107a-107d将传送如从hbm卡109以光形式接收的数字数据的电信号引导至soc 105。
42.在一些实施例中，hbm卡109是mcp，其包括光学扇出小芯片111和多个hbm堆叠113。在一些实施例中，光学扇出小芯片111是ayar labs公司的teraphy扇出小芯片。光学扇出小芯片111为hbm卡109提供光学接口。光学扇出小芯片111将从soc mcp 101以光学形式（例如，作为调制光流）接收的数字数据转换成对应的电信号。光学扇出小芯片111然后视情况将传送所接收的以光学形式接收的数字数据的电信号引导至一个或多个hbm堆叠113。以该方式，光学扇出小芯片111用于提供hbm卡109的光学接口，并且通过电域将hbm卡109的光学接口扇出到多个hbm堆叠113中的每一个。此外，在反向数据通信方向上，光学扇出小芯片111将从hbm堆叠113获得（读取）的数字数据转换成光数据流（转换成传送获得/读取的数字数据的调制光流），并将光数据流传输到soc mcp 101上的对应mipo i/o小芯片103a-103d。
43.为了图示具有图1的使能mipo i/o的hbm扩展器系统100的优势，考虑相反的示例，其中使能mipo i/o的hbm扩展器系统100没有被实现，并且soc mcp 101的hbm接口107a、107b、107c、107d中的每一个与soc mcp 101板载的相应24 gb hbm堆叠电对接。在该相反的示例中，soc mcp 101具有96 gb的封装内存储器占用。相反，作为示例，图1的示例使能mipo i/o的hbm扩展器系统100的实现提供了soc mcp 101的四个hbm接口107a、107b、107c、107d中的每一个与四个hbm卡109中的对应一个对接，其中每个hbm卡109具有八个hbm堆叠113，每个hbm堆叠113 为24 gb，从而以每秒1.6兆兆字节（tb/s）的总存储器带宽为soc mcp 101提供768 gb的存储器占用空间（4个hbm卡*每个hbm卡8个hbm堆叠*每个hbm堆叠24 gb）。 因此，在一些实施例中，使能mipo i/o的hbm扩展器系统100以1.6 tb/s的吞吐量将soc mcp 101的存储器占用空间从96 gb扩展到768 gb的高带宽存储器。应当理解，上面提及的soc mcp 101示例是许多可能的soc mcp 101存储器占用配置中的一个。在其他实施例中，soc mcp 101上的hbm接口（例如，107a-107d）的数量可以多于或少于四个，和/或每个hbm卡109的hbm堆叠113的数量可以多于或少于八个，和/或每个hbm堆叠113的存储容量可以多于或少于24 gb，以便为soc mcp 101提供小于或大于768 gb的存储器占用空间。此外，在各种实施例中，soc mcp 101的数据吞吐率可以小于或大于1.6 tb/s。然而，应当理解，图1的使能mipo i/o的hbm扩展器系统100的实现将soc mcp 101的存储器占用空间从soc mcp 101板载的物理约束中释放，并且利用soc mcp 101和hbm卡109之间的光学接口提供的高数据通信带宽和速度来满足或超过利用soc mcp 101板载的直接hbm堆叠113实现可实现的数据吞吐率。
44.在各种实施例中，可以实现hbm堆叠113与soc mcp 101的不同比率。图2a、2b、2c和
2d示出了hbm堆叠113与soc mcp 101的不同比率的一些示例实现。图2a示出了根据一些实施例的使能mipo i/o的hbm扩展器系统200a。使能mipo i/o的hbm扩展器系统200a包括通过光纤阵列115a、115b、115c光学连接到hbm卡205的soc mcp 201a。soc mcp 201a包括电连接到gpu 203的hbm接口107a的mipo i/o小芯片103a。mipo i/o小芯片103a与关于图1描述的相同。mipo i/o小芯片103a具有光学接口，该光学接口光学连接到hbm卡205的光学扇出小芯片207的光学接口，以便扩展soc mcp 201a的存储器。除了光学扇出小芯片207被配置为与hbm卡205板载的两个hbm堆叠113电对接之外，光学扇出小芯片207类似于关于图1描述的光学扇出小芯片111。soc mcp 201a还使gpu 203的hbm接口107b、107c和107d中的每一个连接到soc mcp 201a板载的相应hbm堆叠113。应当理解，在其他实施例中，gpu 203可以用安装在soc mcp 201a上的基本上任何类型的计算机芯片来替换。在图2a的示例中，hbm卡205包括光学扇出小芯片207连接到的两个hbm堆叠113。
45.在一些实施例中，hbm卡205符合jedec（联合电子设备工程委员会）的hbm2e标准。在这些实施例中，hbm卡205包括两个hbm堆叠113，其中每个hbm堆叠是具有4或6个管芯的半堆叠，以便配合现有的hbm2e标准。应当理解，在各种实施例中，hbm卡205被配置为基本上符合一个或多个hbm行业标准中的任一个。此外，在一些实施例中，gpu 203（或替代的计算机芯片）上的存储器控制器被修改为处理由hbm卡205提供的远程hbm堆叠扇出的额外存储器地址位，从而实现soc mcp 201a的存储器容量扩展。
46.图2b示出了根据一些实施例的使能mipo i/o的hbm扩展器系统200b。使能mipo i/o的hbm扩展器系统200b包括光学连接到两个hbm卡205a和205b的soc mcp 201b，以扩展soc mcp 201b的存储器。soc mcp 201b通过光纤阵列115a、115b、115c光学连接到hbm卡205a。soc mcp 201b通过光纤阵列115d、115e、115f光学连接到hbm卡205b。soc mcp 201b包括分别连接到gpu 203的两个hbm接口107a和107b的两个mipo i/o小芯片103a和103b。mipo i/o小芯片103a和103b与关于图1描述的相同。mipo i/o小芯片103a具有光学接口，该光学接口通过光纤阵列115a、115b、115c光学连接到包括两个hbm堆叠113的hbm卡205a的光学扇出小芯片207a的光学接口，以便扩展soc mcp 201b的存储器。mipo i/o小芯片103b具有光学接口，该光学接口通过光纤阵列115d、115e、115f光学连接到包括两个hbm堆叠113的hbm卡205b的光学扇出小芯片207b的光学接口，以便扩展soc mcp 201b的存储器。除了光学扇出小芯片207a和207b中的每一个被配置为分别与hbm卡205a和205b板载的两个hbm堆叠113电对接之外，光学扇出小芯片207a和207b中的每一个都类似于关于图1描述的光学扇出小芯片111。soc mcp 201b还使得gpu 203的hbm接口107c和107d中的每一个能够连接到soc mcp 201b板载的相应hbm堆叠113。应当理解，在其他实施例中，gpu 203可以用安装在soc mcp 201b上的基本上任何类型的计算机芯片来替换。
47.在一些实施例中，hbm卡205a和205b中的每一个符合hbm2e标准。在这些实施例中，hbm卡205a和205b中的每一个包括两个hbm堆叠113，其中每个hbm堆叠是具有4或6个管芯的半堆叠，以便配合现有的hbm2e标准。应当理解，在各种实施例中，hbm卡205a和205b中的每一个被配置为基本上符合一个或多个hbm行业标准中的任一个。此外，在一些实施例中，gpu 203（或替代的计算机芯片）上的存储器控制器被修改为处理由两个hbm卡205a和205b提供的远程hbm堆叠扇出的额外存储器地址位，从而为soc mcp 201b运用存储器容量扩展。
48.图2c示出了根据一些实施例的使能mipo i/o的hbm扩展器系统200c。使能mipo i/
o的hbm扩展器系统200c包括光学连接到三个hbm卡205a、205b、205c的soc mcp 201c，以扩展soc mcp 201c的存储器。soc mcp 201c包括通过光纤阵列115a、115b、115c光学连接到hbm卡205a的mipo i/o小芯片103a。soc mcp 201c还包括通过光纤阵列115d、115e、115f光学连接到hbm卡205b的mipo i/o小芯片103b。mipo i/o小芯片103a和103b以及hbm卡205和205b与关于图2b描述的相同。在soc mcp 201c中，mipo i/o小芯片103a连接到gpu 203的hbm接口107a。此外，mipo i/o小芯片103b连接到gpu 203的hbm接口107b。mipo i/o小芯片103a的光学接口光学连接到hbm卡205a的光学扇出小芯片207a的光学接口。此外，mipo i/o小芯片103b的光学接口光学连接到hbm卡205b的光学扇出小芯片207b的光学接口。hbm卡205a包括光学扇出小芯片207a连接到的两个hbm堆叠113。hbm卡205b包括光学扇出小芯片207b连接到的两个hbm堆叠113。
49.soc mcp 201c还包括电连接至gpu 203的hbm接口107c的mipo i/o小芯片103c。mipo i/o小芯片103c的光学接口通过光纤阵列115g、115h、115i光学连接到包括两个hbm堆叠113的hbm卡205c的光学扇出小芯片207c的光学接口，以便扩展soc mcp 201c的存储器。mipo i/o小芯片103a、103b和103c与关于图1描述的相同。除了光学扇出小芯片207a、207b和207c中的每一个被配置为分别与hbm卡205a、205b和205c板载的两个hbm堆叠113电对接之外，光学扇出小芯片207a、207b和207c中的每一个都类似于关于图1描述的光学扇出小芯片111。soc mcp 201c还具有连接到soc mcp 201c板载的hbm堆叠113的gpu 203的hbm接口107d。应当理解，在其他实施例中，gpu 203可以用安装在soc mcp 201c上的基本上任何类型的计算机芯片来替换。
50.在一些实施例中，hbm卡205a、205b和205c中的每一个符合hbm2e标准。在这些实施例中，hbm卡205a、205b和205c中的每一个包括两个hbm堆叠113，其中每个hbm堆叠113是具有4或6个管芯的半堆叠，以便配合现有的hbm2e标准。应当理解，在各种实施例中，hbm卡205a、205b和205c中的每一个被配置为基本上符合一个或多个hbm行业标准中的任一个。此外，在一些实施例中，gpu 203（或替代的计算机芯片）上的存储器控制器被修改为处理由三个hbm卡205a、205b和205c提供的远程hbm堆叠扇出的额外的存储器地址位，从而实现soc mcp 201c的存储器容量扩展。
51.图2d示出了根据一些实施例的使能mipo i/o的hbm扩展器系统200d。使能mipo i/o的hbm扩展器系统200d包括光学连接到四个hbm卡205a、205b、205c和205d的soc mcp 201d，以扩展soc mcp 201d的存储器。soc mcp 201d包括通过光纤阵列115a、115b、115c光学连接到hbm卡205a的mipo i/o小芯片103a。soc mcp 201d还包括通过光纤阵列115d、115e、115f光学连接到hbm卡205b的mipo i/o小芯片103b。soc mcp 201d还包括通过光纤阵列115g、115h、115i光学连接到hbm卡205c的mipo i/o小芯片103c。mipo i/o小芯片103a、103b和103c以及hbm卡205a、205b和205c与关于图2c描述的相同。在soc mcp 201d中，mipo i/o小芯片103a连接到gpu 203的hbm接口107a。此外，mipo i/o小芯片103b连接到gpu 203的hbm接口107b。此外，mipo i/o小芯片103c连接到gpu 203的hbm接口107c。mipo i/o小芯片103a的光学接口光学连接到hbm卡205a的光学扇出小芯片207a的光学接口。此外，mipo i/o小芯片103b的光学接口光学连接到hbm卡205b的光学扇出小芯片207b的光学接口。此外，mipo i/o小芯片103c的光学接口光学连接到hbm卡205c的光学扇出小芯片207c的光学接口。hbm卡205a包括光学扇出小芯片207a连接到的两个hbm堆叠113。hbm卡205b包括光学
扇出小芯片207b连接到的两个hbm堆叠113。hbm卡205c包括光学扇出小芯片207c连接到的两个hbm堆叠113。
52.soc mcp 201d还包括电连接至gpu 203的hbm接口107d的mipo i/o小芯片103d。mipo i/o小芯片103d的光学接口通过光纤阵列115j、115k、115l光学连接到包括两个hbm堆叠113的hbm卡205d的光学扇出小芯片207d的光学接口，以便扩展soc mcp 201d的存储器。mipo i/o小芯片103a、103b、103c和103d与关于图1描述的相同。除了光学扇出小芯片207a、207b、207c和207d中的每一个被配置为分别与hbm卡205a、205b、205c和205d板载的两个hbm堆叠113电对接之外，光学扇出小芯片207a、207b、207c和207d中的每一个都类似于关于图1描述的光学扇出小芯片111。应当理解，在其他实施例中，gpu 203可以用安装在soc mcp 201d上的基本上任何类型的计算机芯片来替换。
53.在一些实施例中，hbm卡205a、205b、205c和205d中的每一个符合hbm2e标准。在这些实施例中，每个hbm卡205a、205b、205c和205d包括两个hbm堆叠113，其中每个hbm堆叠113是具有4或6个管芯的半堆叠，以便配合现有的hbm2e标准。应当理解，在各种实施例中，hbm卡205a、205b、205c和205d中的每一个被配置为基本上符合一个或多个hbm行业标准中的任一个。此外，在一些实施例中，gpu 203（或替代的计算机芯片）上的存储器控制器被修改为处理由四个hbm卡205a、205b、205c和205d提供的远程hbm堆叠扇出的额外存储器地址位，从而为soc mcp 201d运用存储器容量扩展。
54.图3示出了根据一些实施例的用于各种电气和电光半导体芯片技术的互连度量与可及性权衡，所述电气和电光半导体芯片技术包括本文讨论的teraphy小芯片，诸如teraphy mipo i/o小芯片103a-103d和teraphy光学扇出小芯片111、207a、207b、207c和207d。更具体地，图3示出了本文讨论的实现波分复用（wdm）技术的teraphy小芯片在能量效率和带宽密度的乘积与各种互连技术的最大互连跨度（或数据通信距离）的关系图内驻留的位置。能效和带宽密度的乘积以千兆比特每秒每毫米除以皮焦每比特[（gbps/mm）/（pj/bit）]为单位绘制。最大互连跨度以米（m）为单位绘制。图3示出了teraphy小芯片wdm技术能够以封装内互连的带宽密度和能量成本提供几千米（km）距离上的通信。图3还示出了各种技术度量以及teraphy小芯片wdm技术与现有电气和光学技术的比较。这样，图3示出了teraphy小芯片wdm技术能力特别相关的示例。图3还示出，teraphy小芯片wdm技术使能实现多于两千米的封装外数据通信可及性，其具有与封装内电气互连相似的功率、带宽和时延特性。teraphy小芯片集成了数千万个晶体管和数百个光学器件，其在单个cmos小芯片外提供数tbps的i/o带宽。晶体管与光学器件（诸如微环谐振器）的单片集成使得能够将teraphy小芯片无缝地插入到cmos多芯片封装生态系统中，诸如关于图1和2a-2d的soc mcp 101、201a-201d和hbm卡109、205、205a-205d所讨论的那样，同时使能实现朝向主机soc的灵活的电气接口。
[0055]
图4a示出了根据一些实施例的实现teraphy小芯片的系统300的示例块级架构。在各种示例实施例中，系统300表示soc mcp 101、201a-201d和hbm卡109、205、205a-205d中的任一个或其部分，如关于图1和2a-2d所描述的那样。系统300还提供了本文提及的被实现为包括teraphy小芯片的任何类型的mcp的一般表示。系统300包括附接到衬底303的teraphy小芯片301。teraphy小芯片301包括光学连接到光链路302的光学接口，通过光链路302与另一个电光设备（诸如与另一个teraphy小芯片301）进行双向光数据通信。例如，参考图1，
mipo i/o小芯片103a和光学扇出小芯片111被实现为相应的teraphy小芯片301，所述相应的teraphy小芯片301通过由光纤阵列115a、115b、115c限定的光链路302被光学连接以彼此进行双向光数据通信。
[0056]
系统300还包括附接到衬底303的一个或多个半导体芯片305。在各种实施例中，一个或多个半导体芯片305包括中央处理单元（cpu）、图形处理单元（gpu）、视觉处理单元（vpu）、专用集成电路（asic）、现场可编程门阵列（fpga）、存储器芯片、hbm堆叠、soc、微处理器、微控制器、数字信号处理器（dsp）、加速器芯片和/或基本上任何其他类型的半导体芯片中的一个或多个。在各种实施例中，衬底303是有机封装和/或中介层。在一些实施例中，衬底303包括teraphy小芯片301和一个或多个半导体芯片305之间的电连接/布线307。在一些实施例中，电连接/布线307形成在衬底303内形成的再分布层（rdl）结构内。在各种实施例中，基本上根据半导体封装工业内可用的任何rdl结构拓扑和技术来实现rdl结构。衬底303内的一些电连接/布线307被配置和用于向teraphy小芯片301和一个或多个半导体芯片305中的每一个提供电力和参考地电位。此外，衬底303内的一些电连接/布线307被配置和用于传输电信号，该电信号在teraphy小芯片301和一个或多个半导体芯片305之间提供双向数字数据通信。在各种实施例中，通过teraphy小芯片301和一个或多个半导体芯片305之间的电连接/布线307的数字数据通信根据数字数据互连标准来实现，所述数字数据互连标准诸如是外围部件互连快速（pcie）标准、计算快速链接（cxl）标准、gen-z标准、开放相干加速器处理器接口（opencapi）和/或开放存储器接口（omi）以及基本上任何其他数字数据互连标准。
[0057]
系统300还包括光学连接的光电源309，以向teraphy小芯片301提供一种或多种受控波长的连续波激光。在一些实施例中，光电源309是由ayar labs公司提供的supernova多波长、多端口光电源。光电源309供应连续波（cw）光，该连续波（cw）光以光学方式为teraphy小芯片301供电。在一些实施例中，光电源309被配置为光子集成电路（pic），其生成多个波长的cw光，将多个波长的cw光复用到公共光纤或光波导上，并将复用的光功率拆分并放大到光电源309的多个输出端口，以传输到teraphy小芯片301的多个对应的cw光学输入端口。
[0058]
在各种实施例中，光电源309通过一个或多个光波导311光学连接至teraphy小芯片301。在各种实施例中，一个或多个光波导311包括形成在衬底303内的一个或多个光纤和/或一个或多个光波导结构。在一些实施例中，光电源309附接到衬底303。在一些实施例中，光电源309通过形成在衬底303内的电连接/布线接收电功率和电控制信号。在一些实施例中，光电源309被实现为与衬底303物理分离的设备。在这些实施例中的一些实施例中，光电源309通过一个或多个光纤光学连接到teraphy小芯片301。在这些实施例中的一些实施例中，光电源309通过光学连接到衬底303的一个或多个光纤以及通过形成在衬底303内的一个或多个光波导光学连接到teraphy小芯片301。
[0059]
图4b示出了根据一些实施例的teraphy mipo i/o小芯片301的并行接口侧313和用于将teraphy mipo i/o小芯片301电连接至衬底303中的电连接/布线307的并行电气接口凸块节距图案315的示例视图。在各种实施例中，teraphy mipo i/o小芯片301利用低功率、短距离封装内电互连技术电连接到芯片305。图4b还示出了teraphy mipo i/o小芯片301的并行接口侧上的凸块的一部分的扫描电子显微镜（sem）图像317。在一些实施例中，teraphy mipo i/o小芯片301的并行接口侧上的凸块根据大约55微米的凸块节距（凸块中
心到凸块中心的距离）布置。然而，应当理解，在各种实施例中，teraphy mipo i/o小芯片301的并行接口侧上的凸块根据小于或大于大约55微米的节距布置。
[0060]
在一些实施例中，衬底303包括电迹线的布线，所述电迹线被配置为承载teraphy mipo i/o小芯片301和芯片305的电力、电接地、电数据输入信号和电数据输出信号。在一些实施例中，芯片305通过形成在衬底303内的电连接/布线307电连接到teraphy mipo i/o小芯片301。在一些实施例中，电连接/布线307在衬底303内实现为一个或多个rdl结构。图4c示出了根据一些实施例的图1a的衬底303的垂直横截面图解。在一些实施例中，（一个或多个）rdl结构的电连接/布线307形成在衬底303的多层中。在一些实施例中，电连接/布线307包括导电通孔结构，该导电通孔结构被形成为在衬底303的不同层中形成的电迹线之间提供电连接，如图4c中不同层的电连接/布线307之间的垂直线所表示的那样。应当理解，在各种实施例中，电连接/布线307基本上按照需要以任何方式配置，以提供芯片105和teraphy mipo i/o小芯片301之间所需的电连接性，并向芯片105和teraphy mipo i/o小芯片301中的每一个提供电力，以及向芯片105和teraphy mipo i/o小芯片301中的每一个提供参考地电位连接。
[0061]
图5示出了根据一些实施例的本文提及的teraphy小芯片的示例组织图解。teraphy小芯片在图5中由附图标记1200标示。然而，应当理解，本文提供的teraphy小芯片1200的描述适用于如本文提及的每个teraphy小芯片，诸如teraphy小芯片103a、103b、103c、103d、111、207a、207b、207c、207d、401、503、503-1、503-2、503a、503b和503c。该组织图解具有与光子接口1203分离（拆分）的电气接口1201。光子接口1203被配置为与对应的光纤阵列单元（fau）1601光学耦合（见图9）。在图5的示例中，电气接口1201在teraphy小芯片1200的左侧，并且光子接口1203（对于fau 1601）在teraphy小芯片1200的右侧。多个（1到n个）光学宏1205-1到1205-n位于光子接口1203和电气接口1201之间。电气接口1201通过胶合逻辑1207连接到光学宏1205-1至1205-n。teraphy小芯片1200的电气接口1201适用于teraphy小芯片1200所连接到的集成电路芯片的逻辑。在图5的示例中，从电子到光学的数据流是从左到右的。相反，在图5的示例中，从光学到电子的数据流是从右到左的。
[0062]
电气接口1201是电路模块，其被配置为处理去往和来自teraphy小芯片1200连接到的集成电路芯片的所有电气i/o，诸如以太网开关芯片/管芯或其他类型的集成电路芯片。光学宏1205-1至1205-n负责光域和电域之间的数据信号转换。具体地，光学宏1205-1至1205-n中的每一个被配置为将通过电气接口1201接收的电数据信号转换成用于通过光子接口1203传输的光数据信号。此外，光学宏1205-1至1205-n中的每一个被配置为将通过光子接口1203接收的光数据信号转换成用于通过电气接口1201传输的电数据信号。光子接口1203负责将光学信号耦合到光学宏1205-1至1205-n以及从光学宏1205-1至1205-n耦合光学信号。胶合逻辑1207使得电气接口1201能够灵活地（动态或静态）映射到光学宏1205-1至1205-n以及相关联的光波长。这样，胶合逻辑1207（也称为交叉电路）在光学宏1205-1至1205-n和电气接口1201之间提供电信号的动态路由。胶合逻辑1207还在phy级提供重新定时、重新缓冲和微片重组功能。此外，在一些实施例中，胶合逻辑1207实现各种纠错和数据级链路协议，以从teraphy小芯片1200连接到的集成电路芯片卸载一些处理。
[0063]
图6示出了根据一些实施例的teraphy小芯片1200的示例布局。teraphy小芯片1200的光学和电部件的布局被设计成优化面积效率、能量效率、性能和诸如避免光波导交
叉的实际考虑。在一些实施例中，电气接口1201沿着一个芯片边缘（图6中的左侧边缘）布局，并且用于与fau 1601光学耦合的光子接口1203沿着相对的芯片边缘（图6中的右侧边缘）布局。在一些实施例中，光子接口1203包括用于fau 1601中的每个光纤的光栅耦合器。在各种实施例中，光子接口1203包括垂直光栅耦合器、边缘光学耦合器或基本上任何其他类型的光学耦合器件或其组合，以使能实现fau 1601与光学宏1205-1至1205-n的光学耦合。在一些实施例中，光子接口1203被配置为与fau 1601内的24个光纤对接。在一些实施例中，光子接口1203被配置为与fau 1601内的16个光纤对接。胶合逻辑1207在电气接口1201和光学宏1205-1至1205-n之间路由数据。胶合逻辑1207包括将电气接口1201连接与光学宏1205-1至1205-n对接所需要的交叉开关和其他电路。在一些实施例中，光学宏1205-1至1205-n的光发射器（tx）和光接收器（rx）成对组合，其中每个tx/rx对形成光收发器。胶合逻辑1207使能实现电线路/通道到光线路/通道的动态映射。光学宏1205-1至1205-n（用于数据发射（tx）和数据接收（rx））被布局在胶合逻辑1207和与fau 1601耦合的光子接口1203之间。光学宏1205-1至1205-n包括负责将电信号转换成光学信号以及将光学信号转换成电信号的光学电路和电气电路。
[0064]
在一些实施例中，电气接口1201配置为实现高级接口总线（aib）协议，以使能实现teraphy小芯片1200与一个或多个其他集成电路芯片之间的电气接口。然而，应当理解，在其他实施例中，电气接口1201可以被配置为实现除aib之外的基本上任何电数据通信接口。例如，在一些实施例中，电气接口1201包括高带宽存储器（hbm）和kandou总线，用于数据的串行化/去串行化。
[0065]
在一些实施例中，teraphy小芯片1200具有长度d1和宽度d2，其中d1大约8.9毫米（mm），并且d2大约5.5 mm。应理解，如本文使用的术语“大约”意指给定值的+/
‑ꢀ
10%。在一些实施例中，长度d1小于大约8.9 mm。在一些实施例中，长度d1大于大约8.9 mm。在一些实施例中，宽度d2小于大约5.5 mm。在一些实施例中，宽度d2大于大约5.5 mm。在一些实施例中，电气接口1201具有大约1.3 mm的宽度d3。在一些实施例中，宽度d3小于大约1.3 mm。在一些实施例中，宽度d3大于大约1.3 mm。在一些实施例中，光纤阵列的光子接口1203具有大约5.2 mm的长度d4和大约2.3 mm的宽度d5。在一些实施例中，长度d4小于大约5.2 mm。在一些实施例中，长度d4大于大约5.2 mm。在一些实施例中，光学宏1205-1至1205-n具有大约1.8 mm的宽度d6。在一些实施例中，宽度d6小于大约1.8 mm。在一些实施例中，宽度d6大于大约1.8 mm。在一些实施例中，每个发射器tx和接收器rx光学宏1205-1至1205-n对具有大约0.75 mm的长度d7。在一些实施例中，长度d7小于大约0.75 mm。在一些实施例中，长度d7大于大约0.75 mm。在一些实施例中，发射器tx和接收器rx光学宏1205-1到1205-n定位在与光子接口1203内的光纤节距对齐。在一些实施例中，每个光学宏1205-1至1205-n（发射器（tx）和接收器（rx）光学宏对）的长度d7与标准光纤带中的光纤节距相匹配。例如，如果光纤节距为250微米，并且光纤带中的三个光纤对应于一个光学宏1205-1至1205-n（一个光纤将连续波光从激光器带到发射器（tx）光学宏，一个光纤将数据作为调制光从发射器（tx）光学宏传输，并且一个光纤将携带编码数据的调制光带到接收器（rx）光学宏），则光学宏长度d7为750微米。
[0066]
在一些实施例中，光学宏1205-1至1205-n的数量n为8。在一些实施例中，光学宏1205-1至1205-n的数量n小于8。在一些实施例中，光学宏1205-1至1205-n的数量n大于8。此
外，光学宏1205-1至1205-m中的每一个表示光学端口。在一些实施例中，双锁相环（pll）电路由光学宏1205-1至1205-n内的每个发射器tx/接收器rx对共享。在一些实施例中，双pll包括覆盖从24千兆赫（ghz）至32 ghz的频率范围的pllu，以及覆盖从15 ghz至24 ghz的频率范围的plld。
[0067]
teraphy小芯片1200还包括管理电路1301和通用输入/输出（gpio）部件1303，用于与去往和来自teraphy小芯片1200的电数据信号通信。在各种实施例中，gpio部件1303包括串行外围接口（spi）部件和/或另一种类型的部件，以使能实现片外数据通信。此外，在一些实施例中，teraphy小芯片1200包括许多其他电路，诸如存储器（例如，sram）、cpu、模拟电路和/或可在cmos中实现的任何其他电路。
[0068]
图7示出了根据一些实施例的teraphy小芯片1200的光子结构的示例布局。图7示出了teraphy小芯片1200的光学布局的一些光波导1403和相关联的光栅结构1401，但是为了避免模糊光学布局，没有示出光学布局的一些部分，诸如光学微环谐振器和相关联的电子器件。teraphy小芯片1200的平面布置具有在teraphy小芯片1200的右侧传入光纤。光从光纤耦合到teraphy小芯片1200上的光纤光栅耦合器1401中。耦合到光栅耦合器1401中的光被光波导1403引导到光学宏1205-1至1205-n的输入。每个光学宏1205-1至1205-n具有三个光纤连接，包括用于将连续波激光学输入到光发射器（tx输入）的一个光纤连接、用于来自光发射器的光学输出（tx输出）的一个光纤连接以及用于将调制光学输入到光接收器（rx输入）的一个光纤连接。
[0069]
在一些实施例中，图7中所示的光学布局使用单偏振光栅耦合器1401作为从光纤到teraphy小芯片1200的光学耦合结构。在一些实施例中，当teraphy小芯片1200使用双偏振输入时，光学布局包括偏振分光光栅耦合器1401，其后是光学组合器结构。在一些实施例中，当teraphy小芯片1200使用双偏振输入并且光栅耦合器1401支持两种te/tm偏振状态时，光学布局包括偏振分光器-旋转器，其后是光学组合器结构，使得到光学宏1205-1至1205-n的光波导接口（tx输入、tx输出、rx输入）具有单偏振。在各种实施例中，图7的光学布局是镜像的、旋转的，或者既是镜像的又是旋转的。此外，在一些实施例中，teraphy小芯片1200的光纤耦合器阵列1203组织包括基于模式转换器、v形槽和/或其他光纤耦合机制的光学边缘耦合器。
[0070]
图8示出了根据一些实施例的光学宏1205-1至1205-n中的给定一个（称为光学宏1205-x）的示例布局。光学宏1205-x包括m个发射（tx）切片1501-1至1501-m和m个接收（rx）切片1503-1至1503-m。光学宏1205-x的光学切片指代光发射器切片1501-1至1501-m中的单个切片，或者光学接收器切片1503-1至1503-m中的单个切片，或者光发射器切片1501-1至1501-m中的单个切片和光接收器切片1503-1至1503-m中的对应单个切片的组合，其中光发射器切片1501-1至1501-m中的单个切片和光接收器切片1503-1至1503-m中的单个切片使用单波长的光进行操作。图8的示例布局示出了光波导1505的布线以及光学微环谐振器1507-1至1507-m在光学宏1205-x的发射（tx）部分内的放置。微环谐振器1507-1至1507-m用作调制器。图8的示例布局还示出了光波导1509的布线以及光学微环谐振器1511-1至1511-m在光学宏1205-x的接收（rx）部分内的放置。微环谐振器1511-1至1511-m用作光电检测器。在一些实施例中，微环谐振器1507-1至1507-m和1511-1至1511-m中的一个或多个被控制用作光学复用器和/或光学解复用器。
[0071]
每个对应的发射（tx）切片1501-1至1501-m和接收（rx）切片1503-1至1503-m对形成光学宏1205-x的切片。例如，tx切片1 1501-1和rx切片1 1503-1一起形成光学宏1205-x的切片1。发射（tx）切片1501-1至1501-m包括用于通过操作微环谐振器1507-1至1507-m将比特流形式的电数据直接转化成调制光流的电路，以将给定波长下的通过光波导1505传入连续波激光调制成给定波长下的调制光流。接收（rx）切片1503-1至1503-m包括用于通过操作微环谐振器1511-1至1511-m来检测通过光波导1509传入调制光流内的给定波长的光的电路。接收（rx）切片1503-1至1503-m内的电路将由微环谐振器1511-1至1511-m检测到的在对应波长下的光转化成电域中的比特流。
[0072]
光波导1505将连续波激光从光学输入1513路由至发射（tx）切片1501-1至1501-m内的每个微环谐振器1507-1至1507-m。光波导1505还将调制光从发射（tx）切片1501-1至1501-m内的微环谐振器1507-1至1507-m路由至光学输出1515。在一些实施例中，发射（tx）切片1501-1至1501-m内的每个微环谐振器1507-1至1507-m是可调谐的，以在特定波长的光下操作。此外，在一些实施例中，给定微环谐振器1507-x被调谐以操作的光的指定波长不同于除1507-x之外的其他微环谐振器1507-1至1507-m被调谐以操作的指定波长。在一些实施例中，对应的加热设备定位在微环谐振器1507-1至1507-m中的每一个附近，以提供微环谐振器的谐振波长的热调谐。在一些实施例中，微环谐振器1507-1至1507-m中的每一个都连接到对应的电调谐电路，该电调谐电路操作用于电调谐微环谐振器的谐振波长。
[0073]
光波导1509将来自光学输入1517的传入调制光路由至接收（rx）切片1503-1至1503-m内的微环谐振器1511-1至1511-m。在一些实施例中，接收（rx）切片1503-1至1503-m内的每个微环谐振器1511-1至1511-m均可调谐，以在指定的光波长下操作。此外，在一些实施例中，给定微环谐振器1511-x被调谐以操作的光的指定波长不同于除1511-x之外的其他微环谐振器1511-1至1511-m被调谐以操作的指定波长。在一些实施例中，对应的加热设备定位在微环谐振器1511-1至1511-m中的每一个附近，以提供微环谐振器的谐振波长的热调谐。在一些实施例中，微环谐振器1511-1至1511-m中的每一个都连接到对应的电调谐电路，该电调谐电路操作用于电调谐微环谐振器的谐振波长。
[0074]
在一些实施例中，通过在光学宏1205-x内的不同位置包括不同数量的pll，光学宏1205-x的架构和平面布置是可变的。例如，在一些实施例中，集中式pll定位在时钟脊内，并扇出至光学宏1205-x两侧处的切片。在各种实施例中，pll复制为跨光学宏1205-x上的多个pll实例，其中每个pll实例专用于给定的发射（tx）/接收（rx）切片，或与发射（tx）/接收（rx）切片的子集共享。在各种实施例中，光学宏1205-x的其他平面布置配置包括具有通过光子行的多列光学宏，以增加边缘带宽密度，和/或并排交错发射（tx）和接收（rx）光学宏，以增加边缘带宽密度。
[0075]
光学宏1205-x包括光子和电子部件二者。光学宏1205-x中的光波导1505和1509被布局成以便避免光波导交叉并且以便最小化光波导长度，这最小化了光损耗，并且对应地改进了系统的能量效率。光学宏1205-x以最小化电子部件和光学部件之间的距离这样的方式布置，以便最小化电迹线长度，这改进了光学宏1205-x的能量效率，使能实现更快的信号传输，并减小了芯片大小。
[0076]
teraphy小芯片1200包括一组（n个）光学宏1205-1至1205-n。每个光学宏1205-x包括一组（m个）光发射器切片1501-1至1501-m和光学接收器切片1503-1至1503-m，它们在逻
辑上分组在一起，以在相应的光波导1505、1509上发射或接收多个（w个）不同光波长上的比特。在各种实施例中，考虑到任何数量的光发射器切片1501-1至1501-m和/或光接收器切片1503-1至1503-m可调谐到数量（w）个光波长中的给定一个，光发射器切片1501-1至1501-m和光接收器切片1503-1至1503-m的数量（m）以及不同光波长的数量（w）可以根据需要定义。然而，如果多个光学微环谐振器1507-1至1507-m或者多个光学微环谐振器1511-1至1511-m正在发射或接收被调谐到相同光波长的数据比特，则管理通道/波长争用。光学宏1205-x的布局和组织表示用于控制以下度量的可调整自由度：
·
光波导管1505、1509长度（与光损耗直接相关）
·
光学宏1205-x区域（与制造成本相关）
·
每比特消耗的能量（能效）
·
电信令完整性（与性能相关）
·
电气封装逃逸（对于给定的一组芯片尺寸和给定的电气凸块间距/节距，物理可用的电数据输入和输出的数量）
·
光学封装逃逸（对于给定的一组芯片尺寸和给定的光纤间距/节距，物理可用的光数据输入和输出的数量）。
[0077]
图9示出了根据一些实施例的用于连接到teraphy小芯片1200的示例fau 1601。在一些实施例中，fau 1601将多个光纤连接到teraphy小芯片1200。在一些实施例中，fau 1601表示本文描述的光纤阵列115a、115c、115d、115f、115i、115g、115l、115j、509、709、711、807、809、907中的任何一个或多个。在一些实施例中，fau 1601包括光纤尾纤1603，该光纤尾纤1603包括连接到teraphy小芯片1200的光纤耦合器阵列1203的多个光纤。在一些实施例中，光纤尾纤1603内的一些光纤是保偏单模光纤（pmf），诸如用于将连续波激光从外部激光设备承载到teraphy小芯片1200。此外，在一些实施例中，光纤尾纤1603内的一些光纤是非保偏单模光纤（smf），用于向和/或从teraphy小芯片1200承载调制光学信号。在一些实施例中，fau 1601包括机械传递（mt）套管1605，诸如mtp
®
连接器。在一些实施例中，fau 1601被配置为将多达24个光纤连接到teraphy小芯片1200。例如，在一些实施例中，mt套管1605被配置成2
×
12 mtp
®
连接器套管。
[0078]
在一些实施例中，teraphy小芯片1200具有粗波分复用4通道（cwdm4）配置，其中每个光学宏1205-1至1205-m包括四个串行器/解串器（serdes）切片（fr-4）或八个serdes切片（fr-8）。在一些实施例中，光学宏1205-1至1205-m被划分成波长发射（tx）/接收（rx）切片，其中每个tx/rx切片包括完全集成的模拟tx/rx前端、串行化/解串行化、时钟数据恢复和微环谐振器热调谐数字控制。在一些实施例中，集成在每个tx/rx切片/光学宏1205-x光学端口中的光子部件基于微环谐振器（诸如调制器、滤波器等）。在一些实施例中，teraphy小芯片1200通过具有嵌入式模式转换器的边缘耦合v形槽结构光学耦合到fau 1601。
[0079]
teraphy mipo i/o小芯片具有小的占用空间，因为芯片上的知识产权（ip）构建块密集。这些ip构建块包括光学微环谐振器，其用于在非常小的芯片面积（例如每个微环10微米直径）中将多个波长的光多路复用和解复用到单个波导上，以及调制光和充当光电检测器。芯片上的ip构建块也密集，因为控制光学设备的电路与它们控制的光学设备紧密集成在同一芯片上，这使得优化空间效率成为可能。小的teraphy mipo i/o小芯片占用空间使能实现更高的总存储器和存储器带宽与soc的比率。
[0080]
在一些实施例中，如图1至2d中所示，每个光学扇出小芯片111、207、207a、207b、207c、207d包括ayar labs公司的teraphy小芯片和集成在单个芯片内的电气扇出小芯片二者。在这些实施例中，teraphy小芯片提供从光域到电域的转化，并且反之亦然。并且，电气扇出小芯片提供hbm堆叠113和teraphy小芯片之间的电连接。
[0081]
在一些实施例中，如图1至2d中所示，光学扇出小芯片111、207、207a、207b、207c、207d中的每一个由teraphy小芯片和电气扇出小芯片的组合替代，其中teraphy小芯片和电气扇出小芯片被实现为包括hbm堆叠113的多芯片封装中的单独芯片。例如，图10示出了根据一些实施例的实现为多芯片封装的hbm卡400的俯视图，该多芯片封装包括teraphy小芯片401和电气扇出小芯片403的组合。teraphy小芯片401和电气扇出小芯片403连同多个hbm堆叠113一起被实现为多芯片封装中的单独芯片。在各种实施例中，hbm卡400可以用来代替如图1至2d中所示的任何teraphy-hbm mcp 109、205、205a、205b、205c、205d。在一些实施例中，teraphy小芯片401和电气扇出小芯片403通过teraphy-hbm mcp 400的再分布层（rdl）电连接。在一些实施例中，teraphy小芯片401和电气扇出小芯片403通过teraphy-hbm mcp 400内形成的电通孔结构电连接。在一些实施例中，teraphy小芯片401和电气扇出小芯片403通过球栅阵列（bga）或其他类似技术电连接。
[0082]
图11a示出了根据一些实施例通过光链路302光学连接至远程存储器系统300b的计算机系统300a的图解。在各种实施例中，计算系统300a对应于本文提到的任何mcp。然而，应当理解，在各种实施例中，计算机系统300a基本上表示任何封装的半导体芯片组，其包括电连接到至少一个teraphy mipo i/o小芯片301a的至少一个计算机芯片305a，如电连接/布线307a所指示的。在一些实施例中，至少一个计算机芯片305a和至少一个teraphy mipo i/o小芯片301a封装在公共衬底303a上。至少一个teraphy mipo i/o小芯片301a被连接以通过一个或多个光波导311a从光电源309a接收光功率。在各种实施例中，至少一个teraphy mipo i/o小芯片301a对应于本文提到的任何teraphy小芯片。光电源309a与关于图4a描述的光电源309相同。在各种实施例中，远程存储器系统300b对应于本文提到的任何hbm卡。然而，应当理解，在各种实施例中，远程存储器系统300b基本上表示电连接到至少一个teraphy mipo i/o小芯片301b的任何一个或多个存储器设备305b，如电连接/布线307b所指示的那样。在一些实施例中，一个或多个存储器设备305b和至少一个teraphy mipo i/o小芯片301b封装在公共衬底303b上。至少一个teraphy mipo i/o小芯片301b被连接以通过一个或多个光波导311b从光电源309b接收光功率。在各种实施例中，至少一个teraphy mipo i/o小芯片301b对应于本文提到的任何teraphy小芯片。光电源309b与关于图4a描述的光电源309相同。此外，在一些实施例中，光电源309a和309b是相同的光电源。计算系统300a的teraphy mipo i/o小芯片301a通过光链路302光学连接到远程存储器系统300b的teraphy mipo i/o小芯片301b。在一些实施例中，光链路302是光纤阵列。
[0083]
图11b示出了根据一些实施例计算系统300a的teraphy mipo i/o小芯片301a和远程存储器系统300b的teraphy mipo i/o小芯片301b之间的光学连接的更详细视图。在一些实施例中，teraphy mipo i/o小芯片301a和301b中的每一个以与本文描述的teraphy小芯片1200相同的方式配置。teraphy mipo i/o小芯片301a包括至少一个光学宏1205a。teraphy mipo i/o小芯片301b包括至少一个光学宏1205b。每个光学宏以与本文描述的光学宏1205-x相同的方式配置。
[0084]
光学宏1205a的光学输入1513通过一个或多个光波导311a（例如光纤）光学连接至光学电源309a。光学宏1205a的光学输出1515光学连接到光学宏1205b的光学输入1517。这样，由光学宏1205a的发射器切片1501-1至1501-m生成的调制光学信号被传输到光学宏1205b的接收器切片1503-1至1503-m。在一些实施例中，由发射器切片1501-1至1501-m生成的调制光学信号以电信号的形式传送如光学宏1205b从芯片305a接收的存储器访问操作的指令。传送用于存储器访问操作的指令的调制光学信号被光学耦合到光学宏1205b的光学微环谐振器1511-1至1511-m中，并且被光学宏1205b的接收器切片1503-1至1503-m解调制为电信号，该电信号通过电连接/布线307b传输到存储器设备305b。
[0085]
光学宏1205b的光学输入1513通过一个或多个光波导311b（例如光纤）光学连接至光学电源309b。光学宏1205b的光学输出1515光学连接到光学宏1205a的光学输入1517。这样，由光学宏1205b的发射器切片1501-1至1501-m生成的调制光学信号被传输到光学宏1205a的接收器切片1503-1至1503-m。在一些实施例中，由光学宏1205b的发射器切片1501-1至1501-m生成的调制光学信号将如存储器设备305b提供的数字数据通过电连接/布线307b传送到光学宏1205b，其中数字数据是由存储器设备305b根据如光学宏1205b从芯片305a以光学信号的形式接收的指令执行存储器访问操作而产生的。传送如存储器设备305b提供的数字数据的调制光学信号被光学耦合到光学宏1205a的光学微环谐振器1511-1至1511-m中，并且被光学宏1205a的接收器切片1503-1至1503-m解调制为电信号，该电信号通过电连接/布线307a被传输到芯片305a。
[0086]
本文公开了用于远程存储器系统的各种实施例，包括多芯片封装的衬底、连接至衬底的集成电路芯片和连接至衬底的电光芯片。在各种实施例中，衬底是中介层和有机衬底中的一个或多个。在各种实施例中，衬底包括导电布线和光波导二者。在各种实施例中，衬底包括再分布层结构，其中集成电路芯片和电光芯片倒装芯片中的每一个连接到再分布层结构。集成电路芯片包括高带宽存储器接口。电光芯片具有电连接到集成电路芯片的高带宽存储器接口的电气接口。电光芯片包括被配置为与光链路光学连接的光子接口。电光芯片还包括至少一个光学宏。电光芯片的至少一个光学宏中的每一个被配置为将通过电气接口从高带宽接口接收的传出电数据信号转换成传出光数据信号。电光芯片的至少一个光学宏中的每一个被配置为通过电光芯片的光子接口将传出光数据信号传输到光链路。电光芯片的至少一个光学宏中的每一个还被配置为将通过电光芯片的光子接口从光链路接收的传入光数据信号转换成传入电数据信号。电光芯片的至少一个光学宏中的每一个被配置为通过电光芯片的电气接口将传入电数据信号传输到高带宽存储器接口。
[0087]
远程存储器设备包括电光扇出芯片，其具有光学连接至光链路的光子接口。远程存储器设备包括电连接到电光扇出芯片的电气接口的高带宽存储器堆叠。在一些实施例中，光链路包括光纤阵列，该光纤阵列将多芯片封装的电光芯片的光子接口光学连接到远程存储器设备的电光扇出芯片的光子接口。在一些实施例中，远程存储器设备包括电连接到电光扇出芯片的电气接口的多个高带宽存储器堆叠。在一些实施例中，远程存储器设备包括包含电布线的衬底，其中电光扇出芯片电连接到衬底中的一些电布线，并且其中多个高带宽存储器堆叠中的每一个电连接到衬底中的一些电布线。在一些实施例中，远程存储器器件的衬底中的电布线形成再分布层结构的一部分，其中电光扇出芯片倒装芯片连接到再分布层结构，并且其中多个高带宽存储器叠层中的每一个倒装芯片连接到再分布层结
构。在一些实施例中，多芯片封装的电光芯片和远程存储器设备的电光扇出芯片中的每一个被配置为通过光链路实现光学信号的波分复用。
[0088]
在一些实施例中，电光芯片的至少一个光学宏中的每一个包括多个发射器切片和多个接收器切片。多个发射器切片中的每个发射器切片包括对应的光学微环谐振器，该光学微环谐振器被配置为调制连续波光以将传出电数据信号转换成传出光数据信号。多个接收器切片中的每个接收器切片包括对应的光学微环谐振器，该光学微环谐振器被配置为光学耦合传入光数据信号。在一些实施例中，发射器切片的光学微环谐振器被配置为在指定的光波长下操作，以调制具有指定光波长的连续波光，从而将传出电数据信号转换成具有指定光波长的传出光数据信号。此外，接收器切片的光学微环谐振器被配置为在指定的光波长下操作，以光学耦合具有指定光波长的传入光数据信号。
[0089]
在一些实施例中，至少一个附加电光芯片连接至多芯片封装的衬底。至少一个附加电光芯片中的每一个具有电连接到多芯片封装的集成电路芯片的对应电气接口。此外，至少一个附加电光芯片中的每一个具有光学连接到对应光链路的第一端的对应光子接口。在一些实施例中，每个光链路具有光学连接到单独的远程存储器设备的单独的电光扇出芯片的第二端。在一些实施例中，每个远程存储器设备包括电连接到远程存储器设备的电光扇出芯片的至少一个高带宽存储器堆叠。
[0090]
图12示出了根据一些实施例的用于操作远程存储器系统的方法的流程图。该方法包括操作1251，用于生成传送用于存储器访问操作的指令的第一组电数据信号。在一些实施例中，存储器访问操作是高带宽存储器访问操作。该方法还包括基于第一组电数据信号生成光数据信号的操作1253。光数据信号传送用于存储器访问操作的指令。该方法还包括操作1255，用于通过光链路将光数据信号传输到远程存储器设备。远程存储器设备与在其上生成第一组电数据信号的计算设备是物理分离的。该方法还包括操作1257，用于在远程存储器设备处从光数据信号生成第二组电数据信号。第二组电数据信号传送用于存储器访问操作的指令。该方法还包括操作1259，用于使用第二组电数据信号在远程存储器设备处执行存储器访问操作。
[0091]
在一些实施例中，该方法包括通过高带宽存储器接口将第一组电数据信号传输至第一电光芯片的电气接口。该方法还包括操作第一电光芯片以基于第一组电数据信号产生光数据信号。该方法还包括操作第一电光芯片通过光链路传输光数据信号。在一些实施例中，操作第一电光芯片以生成光数据信号包括操作第一电光芯片上的多个光学微环谐振器中的至少一个光学微环谐振器，以调制具有指定光波长的连续波光，从而将第一组电数据信号转换成具有指定光波长的光数据信号。
[0092]
在一些实施例中，该方法包括通过远程存储器设备上的第二电光芯片的光子接口从光链路接收光数据信号。该方法还包括操作第二电光芯片以从接收的光数据信号中生成第二组电数据信号。在一些实施例中，该方法包括操作第二电光芯片以通过第二电光芯片的电气接口将第二组电数据信号传输到远程存储器设备上的高带宽存储器堆叠。该方法还包括操作高带宽存储器堆叠以使用第二组电数据信号来执行高带宽存储器堆叠内的存储器访问操作。在一些实施例中，操作第二电光芯片以生成第二组电数据信号包括操作第二电光芯片上的多个光学微环谐振器中的至少一个光学微环谐振器，以光学耦合通过第二电光芯片的光子接口接收的光数据信号。光学耦合的光数据信号被传送到电连接到第二电光
芯片上的解调电路的光电检测器设备。解调电路操作以基于如传送到光电检测器设备的光数据信号生成第二组电数据信号。
[0093]
图13示出了根据一些实施例的用于配置远程存储器系统的方法的流程图。该方法包括操作1351，用于使集成电路芯片电连接到第一多芯片封装上的第一电光芯片。该方法还包括操作1353，用于将第一电光芯片光学连接到光链路的第一端。在一些实施例中，光链路形成为光纤阵列。该方法还包括操作1355，用于将第二电光芯片光学连接到光链路的第二端。第二电光芯片电连接到与第一多芯片封装物理分离的第二多芯片封装上的存储器设备。在一些实施例中，存储器设备是高带宽存储器堆叠。
[0094]
在一些实施例中，该方法还包括将集成电路芯片倒装芯片连接到第一多芯片封装的衬底内的再分布层结构。此外，在一些实施例中，该方法包括将第一电光芯片倒装芯片连接到第一多芯片封装的衬底内的再分布层结构。在一些实施例中，该方法包括将第二电光芯片倒装芯片连接到第二多芯片封装的衬底内的再分布层结构。此外，在一些实施例中，该方法包括将存储器设备倒装芯片连接到第二多芯片封装的衬底内的再分布层结构。
[0095]
在一些实施例中，第一电光芯片包括至少一个光学宏。第一电光芯片的至少一个光学宏中的每一个被配置为将从集成电路芯片接收的传出电数据信号转换成传出光数据信号，并通过光链路传输传出光数据信号。第一电光芯片的至少一个光学宏中的每一个被配置为将通过光链路接收的传入光数据信号转换成传入电数据信号，并将传入电数据信号传输到集成电路芯片。在一些实施例中，第二电光芯片包括至少一个光学宏。第二电光芯片的至少一个光学宏中的每一个被配置为将通过光链路接收的传入光数据信号转换成传入电数据信号，并将传入电数据信号传输到存储器设备。第二电光芯片的至少一个光学宏中的每一个被配置为将从存储器设备接收的传出电数据信号转换成传出光数据信号，并通过光链路传输传出光数据信号。
[0096]
图14示出了根据一些实施例使用mcp 505上的teraphy小芯片503和cxl 中枢/fo（扇出）芯片501实现的连接计算快速链接（cxl）的dram模块500的图解。teraphy小芯片503是如本文所述的电光芯片。cxl 中枢/fo（扇出）芯片501是电扇出芯片。cxl协议是用于处理器和设备/存储器之间的高速数据通信的开放标准互连协议。cxl协议构建在pcie物理和电气接口之上，并且提供关于输入/输出（i/o）、内存和高速缓存一致性的协议。teraphy小芯片503通过光纤阵列509光学连接到光纤网络，数据通过该光纤网络光学传输到teraphy小芯片503和从teraphy小芯片503传输。光电源502通过一个或多个光波导504（诸如（一个或多个）光纤）光学连接到teraphy小芯片503。光电源502被配置为生成连续波光（一个或多个受控/指定波长的激光），并将连续波光供应到teraphy小芯片503内的至少一个光学宏1205-x的多个发射器切片1501-1至1501-m。teraphy小芯片503如箭头521所指示的那样电连接到cxl 中枢/fo 501，以使能teraphy小芯片503和cxl 中枢/fo 501之间的双向数据通信。
[0097]
在一些实施例中，mcp 505使用有机衬底和/或2.5d封装技术实现。在一些实施例中，teraphy小芯片503和cxl 中枢/fo 501被放置成彼此相邻或者至少部分在彼此之上。在一些实施例中，teraphy小芯片503和cxl 中枢/fo 501被实现为单独的芯片，诸如图14中所示。然而，在一些实施例中，teraphy小芯片503和cxl 中枢/fo 501一起集成在部署在mcp 505内的单个芯片中。mcp 505部署在诸如印刷电路板（pcb）的模块板506上。在一些实施例
中，光学电源502与模块板506物理分离。在一些实施例中，光学电源502部署在模块板506上。模块板506包括多个双列直插式存储器模块（dimm）插槽（在图14的示例中为5个）， dram dimm 507-1至507-5分别安装在所述插槽中。在各种实施例中，dram模块500可以包括任何数量（n）的dram dimm 507-1至507-n。在一些实施例中，诸如图14中所示，dram模块500包括五个dram dimm 507-1至507-5。在另一个实施例中，dram模块500包括十个dram dimm 507-1至507-5。
[0098]
cxl 中枢/fo芯片501电连接至每个dimm插槽，以使能实现与dram dimm 507-1至507-5中的每个的双向数据通信，分别如箭头511-1至511-5所指示的。这样，将被写入存储器中的数据从teraphy小芯片503通过cxl 中枢/fo 501电通信至dram dimm 507-1至507中的任何一个或多个。并且，将从存储器读取的数据通过cxl 中枢/fo 501从dram dimm 507-1至507中的任何一个或多个电传送到teraphy小芯片503。teraphy小芯片503作用于提供（cxl 中枢/fo 501、mcp 505、模块板506和dram dimm 507-1至507-5的）电域和光网络的光域之间的数据接口，数据通过该光域传送到cxl连接的dram模块500和/或从cxl连接的dram模块500传送。
[0099]
cxl 中枢/fo芯片501被配置为仲裁从cxl通道对dram通道的访问。具有x8 cxl通道的每个光链路可以通过光纤阵列509连接在不同的源和teraphy小芯片503之间。在一些实施例中，teraphy小芯片503是每秒2.048太比特（tbps）的芯片。例如，在一些实施例中，teraphy小芯片503被配置为以32 gbps（千兆比特每秒）支持八个x8 cxl通道，这对应于teraphy小芯片503支持2.048 tbps，即（8）（8个cxl通道）（32 gbps）=2.048 tbps。在一些实施例中，dram模块500包括五个ddr5 dimm通道，其中teraphy小芯片503被对接以支持五个ddr5 dimm通道。在一些实施例中，每个ddr5 dimm通道是每通道64比特，并且在每秒6.4千兆传输（gt/s）下操作。因此，在这样的实施例中，每个ddr5 dimm通道在409.6 gbps的数据速率下操作，即（6.4 gt/s）（64比特/通道/传输）= 409.6 gbps/通道。因此，在这样的实施例中，五个ddr5 dimm通道共同在2.048 tbps的组合数据速率下操作，即（5个通道）（409.6 gbps/通道）=2.048 tbps。
[0100]
图15示出了根据一些实施例的支持十个dimm通道的cxl连接的dram模块600。dram模块600是图14的dram模块500的变型。dram模块600包括诸如pcb的模块板606，其上部署有mcp 505，其中mcp 505包括teraphy小芯片503和cxl 中枢/fo芯片501。模块板606包括十个dimm插槽，其中对应的dram dimm 601-1至601-10安装在所述插槽中。cxl 中枢/fo芯片501电连接到每个dimm插槽，以使能实现与dram dimm 601-1至601-10中的每一个的电数据通信，分别如箭头603-1至603-10所指示。
[0101]
在一些实施例中，对应于十个dram dimm 601-1至601-10的每个dimm通道是在3.2 gt/s下操作的64比特ddr4 dimm通道。因此，在这样的实施例中，每个ddr4 dimm通道在204.8 gbps的数据速率下操作，即（3.2 gt/s）（64比特/通道/传输）= 204.8 gbps/通道。因此，在这样的实施例中，十个ddr4 dimm通道共同在2.048 tbps的组合数据速率下操作，即（10个通道）（204.8 gbps/通道）=2.048 tbps。作为示例，如上面讨论的，其中dram模块600被配置为支持十个ddr4 dimm通道，cxl连接的dram模块600可以用于为amd的第二代epyc处理器家族的“rome”多芯片模块上的i/o中枢（控制器管芯）提供通过光学的cxl i/o支持，该处理器家族具有八个ddr4存储器通道。应当理解，图14和图15的cxl连接的dram模块500和
600分别是作为示例提供的。在其他实施例中，包括teraphy小芯片503和cxl 中枢/fo芯片501的mcp 505可在支持任何数量的dimm通道的dram模块配置中实现，以便为处理器和/或计算设备提供通过光学的远程池化的dram存储器。
[0102]
图16示出了根据一些实施例支持十个dimm通道的另一个cxl连接的dram模块700。dram模块700是图15的dram模块600的变型。dram模块700包括诸如pcb的模块板706，其上部署有mcp 703。mcp 703包括与cxl 中枢/fo 701进行双向电数据通信的第一teraphy小芯片503-1，如箭头705所指示的。第一teraphy小芯片503-1通过光纤阵列709连接到光网络。mcp 703还包括与cxl 中枢/fo 701进行双向电数据通信的第二teraphy小芯片503-2，如箭头707所指示的。第一teraphy小芯片503-1和第二teraphy小芯片503-2中的每一个通过一个或多个光波导504（诸如（一个或多个）光纤）光学连接到光电源502。第二teraphy小芯片503-2通过光纤阵列711连接到光网络。模块板706包括十个dimm插槽，dram dimm 713-1至713-10分别安装在所述插槽中。cxl 中枢/fo芯片701电连接到每个dimm插槽，以使能实现与dram dimm 713-1至713-10中的每一个的电数据通信，分别如箭头715-1至715-10所指示的。cxl 中枢/fo芯片701被配置为使得teraphy小芯片503-1和503-2中的每一个能够访问十个dram dimm 713-1至713-10中的每一个。
[0103]
在一些实施例中，使用有机衬底和/或2.5d封装技术实现mcp 703。在一些实施例中，第一teraphy小芯片503-1和cxl 中枢/fo 701被放置成彼此相邻或者至少部分地在彼此之上。在一些实施例中，第二teraphy小芯片503-2和cxl 中枢/fo 701被放置成彼此相邻或者至少部分地在彼此之上。在一些实施例中，第一和第二teraphy小芯片503-1和503-2被实现为单独的芯片，诸如图16中所示。在一些实施例中，第一和第二teraphy小芯片503-1和503-2一起集成在部署在mcp 703内的单个芯片中。在一些实施例中，第一和第二teraphy小芯片503-1和503-2以及cxl 中枢/fo芯片701被实现为单独的芯片，诸如图16中所示。在一些实施例中，第一和第二teraphy小芯片503-1和503-2以及cxl 中枢/fo芯片701一起集成在部署在mcp 703内的单个芯片中。
[0104]
在一些实施例中，图16的dram模块700配置能够提供两倍于图14的dram模块500配置的数据速率。在一些实施例中，teraphy小芯片503-1和503-2中的每一个被配置为在32 gbps下支持八个x8 cxl通道，这对应于teraphy小芯片503-1和503-2中的每一个支持2.048 tbps，即（8）（8个cxl通道）（32 gbps）=2.048 tbps。因此，在一些实施例中，teraphy小芯片503-1和503-2中的每一个是2.048 tbps芯片，这使得dram模块700能够支持高达4.096 tbps的总数据速率。在一些实施例中，dram dimm 713-1至713-10中的每一个提供在6.4 gt/s下操作的64比特ddr5 dimm通道。因此，在这样的实施例中，每个ddr5 dimm通道在409.6 gbps的数据速率下操作，即（6.4 gt/s）（64比特/通道/传输）= 409.6 gbps/通道。因此，在这样的实施例中，十个ddr5 dimm通道共同在高达4.096 tbps的组合数据速率下操作，即（10个通道）（409.6 gbps/通道）=4.096 tbps。
[0105]
图17示出了根据一些实施例被配置为与示例cxl连接的dram模块中的任一个对接的计算设备的示例，如分别关于图14、图15和图16所述。计算设备800包括mcp 801，其中部署了多个（n个）处理器803-1至803-n。第一teraphy小芯片503a和第二teraphy小芯片503b也部署在mcp 801内。第一teraphy小芯片503a和第二teraphy小芯片503b中的每一个通过一个或多个光波导504a（诸如（一个或多个）光纤）光学连接到光电源502a。光电源502a被配
901包括多于一个teraphy小芯片。在一些实施例中，hbm堆叠903-1至903-n和teraphy小芯片503c中的一个或多个定位在mcp 901内的处理单元905附近。在一些实施例中，hbm堆叠903-1至903-n和teraphy小芯片503c中的一个或多个被定位成至少部分地与mcp 901内的处理单元905重叠。
[0108]
处理单元905与hbm堆叠903-1至903-n中的每一个以及与teraphy小芯片503c以双向数据通信方式连接。teraphy小芯片503c通过光纤阵列907光学连接到光纤网络，数据通过该光纤网络光学传输到teraphy小芯片503c和从teraphy小芯片503c光学传输。teraphy小芯片503c作用于在计算设备900的电域和光网络的光域之间提供数据接口，数据通过该数据接口传送到计算设备900和/或从计算设备900传送。应当理解，计算设备900是作为示例提供的。在其他实施例中，计算设备900可以以其他方式配置，只要计算设备900包括用于电域和光域之间对接的至少一个teraphy小芯片。
[0109]
图19示出了根据一些实施例的示例光数据通信系统1000，其中图17的计算模块800和图18的计算模块900以通过光学的数据通信的方式与图16的远程dram模块700连接。计算模块800的光纤阵列807连接到光网络1001内的光纤链路1003的第一端。光纤链路1003的第二端连接到dram模块700的光纤阵列709。计算模块900的光纤阵列907连接到光网络1001内的光纤链路1005的第一端。光纤链路1005的第二端连接到dram模块700的光纤阵列711。在各种实施例中，光链路1003和1005中的每一个可以包括光纤、光纤阵列、光波导、光波电线以及任何数量和类型的有源和/或无源光设备，除其他事物之外尤其诸如是分光器、光组合器、光放大器。i/o中枢805、处理单元905和cxl 中枢/fo 701中的每一个被配置为实现cxl协议。因此，图19的配置示出了在dram模块700内的远程池化dram系统和多个不同类型的计算设备800和900之间使用cxl协议的光数据通信系统的示例。应当理解，图19的光数据通信系统1000是以示例的方式提供的，并且表示基本上任何数量和类型的光数据通信系统配置中的一种，其中teraphy小芯片技术被利用来使用诸如cxl协议的高级数据通信协议在远程存储器系统（例如，池化dram系统）和一个或多个处理设备之间提供通过光学的数据通信。
[0110]
图20示出了根据一些实施例的示例光数据通信系统1100，其中图17的计算模块800的多个实例800-1至800-4以通过光学的数据通信的方式与图16的远程dram模块700的多个实例700-1和700-2连接。第一计算模块实例800-1的光纤阵列807的第一部分连接到光网络1101内的光纤链路1103的第一端。在一些实施例中，第一计算模块实例800-1的光纤阵列807的第一部分是光纤阵列807内光纤的三分之一。在一些实施例中，光网络1101被实现为光纤混洗或光纤织机。光纤链路1103的第二端连接到第一dram模块实例700-1的光纤阵列709的第一部分。在一些实施例中，第一dram模块实例700-1的光纤阵列709的第一部分是光纤阵列709内光纤的三分之一。第一计算模块实例800-1的光纤阵列807的第二部分连接到光网络1101内的光纤链路1105的第一端。在一些实施例中，第一计算模块实例800-1的光纤阵列807的第二部分是光纤阵列807内光纤的三分之一。光纤链路1105的第二端连接到第二dram模块实例700-2的光纤阵列709的第一部分。在一些实施例中，第二dram模块实例700-2的光纤阵列709的第一部分是光纤阵列709内光纤的三分之一。
[0111]
第二计算模块实例800-2的光纤阵列807的第一部分连接至光网络1101内的光纤链路1107的第一端。在一些实施例中，第二计算模块实例800-2的光纤阵列807的第一部分
是光纤阵列807内光纤的三分之一。光纤链路1107的第二端连接到第一dram模块实例700-1的光纤阵列709的第二部分。在一些实施例中，第一dram模块实例700-1的光纤阵列709的第二部分是光纤阵列709内光纤的三分之一。第二计算模块实例800-2的光纤阵列807的第二部分连接到光网络1101内的光纤链路1109的第一端。在一些实施例中，第二计算模块实例800-2的光纤阵列807的第二部分是光纤阵列807内光纤的三分之一。光纤链路1109的第二端连接到第二dram模块实例700-2的光纤阵列709的第二部分。在一些实施例中，第二dram模块实例700-2的光纤阵列709的第二部分是光纤阵列709内光纤的三分之一。
[0112]
第三计算模块实例800-3的光纤阵列807的第一部分连接至光网络1101内的光纤链路1111的第一端。在一些实施例中，第三计算模块实例800-3的光纤阵列807的第一部分是光纤阵列807内光纤的三分之一。光纤链路1111的第二端连接到第一dram模块实例700-1的光纤阵列711的第一部分。在一些实施例中，第一dram模块实例700-1的光纤阵列711的第一部分是光纤阵列711内光纤的三分之一。第三计算模块实例800-3的光纤阵列807的第二部分连接到光网络1101内的光纤链路1113的第一端。在一些实施例中，第三计算模块实例800-3的光纤阵列807的第二部分是光纤阵列807内光纤的三分之一。光纤链路1113的第二端连接到第二dram模块实例700-2的光纤阵列711的第一部分。在一些实施例中，第二dram模块实例700-2的光纤阵列711的第一部分是光纤阵列711内光纤的三分之一。
[0113]
第四计算模块实例800-4的光纤阵列807的第一部分连接至光网络1101内的光纤链路1115的第一端。在一些实施例中，第四计算模块实例800-4的光纤阵列807的第一部分是光纤阵列807内光纤的三分之一。光纤链路1115的第二端连接到第一dram模块实例700-1的光纤阵列711的第二部分。在一些实施例中，第一dram模块实例700-1的光纤阵列711的第二部分是光纤阵列711内光纤的三分之一。第四计算模块实例800-4的光纤阵列807的第二部分连接到光网络1101内的光纤链路1117的第一端。在一些实施例中，第四计算模块实例800-4的光纤阵列807的第二部分是光纤阵列807内光纤的三分之一。光纤链路1117的第二端连接到第二dram模块实例700-2的光纤阵列711的第二部分。在一些实施例中，第二dram模块实例700-2的光纤阵列711的第二部分是光纤阵列711内光纤的三分之一。
[0114]
计算设备800-1至800-4的四个实例与dram模块700-1和700-2的两个实例之间的光学连接性使得计算设备800-1至800-4的四个实例中的任一个实例中的任一个处理器803-1至803-n能够与dram模块700-1和700-2的两个实例中的任一个实例中的任一个dram dimm 713-1至713-10执行通过光学的输入/输出操作。并且，在一些实施例中，使用cxl协议来执行上面提及的通过光学的输入/输出操作。这样，四个计算设备实例800-1至800-4上的teraphy小芯片503a和两个dram模块实例700-1和700-2中的每一个上的teraphy小芯片503-1和503-2向计算设备800-1至800-4的四个实例的处理器803-1至803-n中的每一个提供对在多个dram模块700-1和700-2内共同实现的大型池化dram系统的通过光学的i/o访问。在一些实施例中，其中每个dram模块700-1和700-2提供高达4.096 tbps的数据速率，如关于图16所描述的，光数据通信系统1100使用cxl协议为计算设备800-1至800-4的四个实例中的每个处理器803-1至803-n提供高达4.096 tbps的通过光学的i/o访问数据速率。此外，光数据通信系统1100使能与dram模块实例700-1和700-2二者中的十个dram dimm 713-1至713-10的组合相对应的总存储器容量能够由计算设备800-1至800-4的四个实例中的每个处理器803-1至803-n使用cxl协议通过光学而可访问。
[0115]
在各种实施例中，光学链路1103、1105、1107、1109、1111、1113、1115和1117中的每一个可以包括光纤、光纤阵列、光波导、光波回路和任何数量和类型的有源和/或无源光学设备，除了其他事物之外尤其诸如是分光器、光组合器、光放大器。在一些实施例中，计算设备800-1至800-4的四个实例的每个i/o中枢805和dram模块700-1和700-2的两个实例的每个cxl 中枢/fo 701被配置为实现cxl协议。因此，示例光数据通信系统1100在跨多个dram模块实例700-1、700-2和多个计算设备实例800-1至800-4之上分布的远程池化dram系统之间使用cxl协议。此外，光数据通信系统1100是可扩展的。在一些实施例中，光数据通信系统1100被扩展为包括比仅仅两个dram模块实例700-1和700-2更多的dram模块和/或比仅仅四个计算设备实例800-1至800-4更多的计算设备。此外，在一些实施例中，光数据通信系统1100包括多种类型的dram模块。例如，在一些实施例中，光数据通信系统1100包括示例dram模块500、600和700的组合，如分别关于图14、图15和图16所述。类似地，在一些实施例中，光数据通信系统1100包括多种类型的计算设备。例如，在一些实施例中，光数据通信系统1100包括示例计算设备800和900的组合，如分别关于图17和图18描述的那样。因此，应当理解，图20的光数据通信系统1100是以示例的方式提供的，并且表示基本上任何数量和类型的光数据通信系统配置中的一种，其中teraphy小芯片技术被利用来使用诸如cxl协议的高级数据通信协议在远程存储器系统（例如，池化dram系统）和多个处理设备之间提供双向通过光学的i/o数据通信。
[0116]
本文公开了用于包括电光芯片（例如，teraphy小芯片503、503-1、503-2等）、电扇出芯片（例如，cxl 中枢/fo（扇出）芯片501、701等）以及电连接到电扇出芯片的至少一个dimm插槽的计算机存储器系统的各种实施例。至少一个dimm插槽中的每一个被配置为接收对应的dram dimm。电光芯片包括电气接口和光子接口。光子接口被配置为与光学链路光学连接。在一些实施例中，光学链路是光纤阵列。电扇出芯片电连接到电光芯片的电气接口。电扇出芯片被配置为引导电光芯片和对应于至少一个dimm插槽的每个dram dimm之间的双向电数据通信。电光芯片包括至少一个光学宏。至少一个光学宏中的每一个被配置为将通过电光芯片的电气接口接收的传出电数据信号转换成传出光数据信号。至少一个光学宏中的每一个被配置为通过电光芯片的光子接口将传出光数据信号传输到光学链路。至少一个光学宏中的每一个被配置为将通过电光芯片的光子接口从光学链路接收的传入光数据信号转换成传入电数据信号。至少一个光学宏中的每一个被配置为通过电光芯片的电气接口传输传入电数据信号。
[0117]
在一些实施例中，电光芯片和电扇出芯片倒装芯片连接至包括导电布线的衬底，使得电光芯片和电扇出芯片通过衬底内的一些导电布线彼此电连接。在一些实施例中，衬底和至少一个dimm插槽附接到同一模块板上。在一些实施例中，衬底内的导电布线包括在衬底内形成的再分布层结构内。在一些实施例中，计算机存储器系统包括多个dimm插槽，其中电扇出芯片电连接到多个dimm插槽中的每一个。在一些实施例中，电扇出芯片被配置为实现cxl互连协议，用于计算机处理器和安装在计算机存储器系统的至少一个dimm插槽中的每个dram dimm之间的数据通信。
[0118]
在一些实施例中，电光芯片的至少一个光学宏中的每一个包括多个发射器切片和多个接收器切片。多个发射器切片中的每个发射器切片包括第一对应光学微环谐振器，该第一对应光学微环谐振器被配置为调制连续波光，以将通过电光芯片的电气接口从电扇出
芯片接收的传出电数据信号转换成传出光数据信号。多个接收器切片中的每个接收器切片包括第二对应光学微环谐振器，该第二对应光学微环谐振器被配置为光学耦合通过电光芯片的光子接口从光学链路接收的传入光数据信号。在一些实施例中，第一对应的光学微环谐振器被配置为在指定的光波长下操作，以调制具有指定光波长的连续波光，从而将传出电数据信号转换成具有指定光波长的传出光数据信号，并且第二对应的光学微环谐振器被配置为在指定光波长下操作，以光学耦合具有指定光波长的传入光数据信号。光电源（例如，光电源502）光学连接到电光芯片。光电源被配置为生成连续波光，并将连续波光供应到电光芯片内的至少一个光学宏的多个发射器切片。
[0119]
在一些实施例中，计算机存储器系统包括多个电光芯片，其中多个电光芯片中的每个电光芯片包括相应的电气接口和相应的光子接口。多个电光芯片的每个相应的光子接口被配置为与相应的光学链路光学连接。多个电光芯片中的每个电光芯片包括至少一个相应的光学宏。所述至少一个相应光学宏中的每一个被配置为将通过相应电光芯片的电气接口从电扇出芯片接收的传出电数据信号转换成传出光数据信号。所述至少一个相应的光学宏中的每一个还被配置为通过相应电光芯片的光子接口将传出光数据信号传输到相应的光学链路。所述至少一个相应光学宏中的每一个还被配置为将通过相应电光芯片的光子接口从相应光学链路接收的传入光数据信号转换成传入电数据信号。所述至少一个相应光学宏中的每一个还被配置为通过相应电光芯片的电气接口将传入电数据信号传输到电扇出芯片。在一些实施例中，多个电光芯片和电扇出芯片附接到同一模块板上。在一些实施例中，光电源光学连接到多个电光芯片中的每一个，其中光电源被配置为生成连续波光并将连续波光提供给多个电光芯片中的每一个内的每个光学宏。
[0120]
在一些实施例中，光学链路的第一端光学连接至计算机存储器系统的电光芯片，并且光学链路的第二端光学连接至第二电光芯片（例如，teraphy小芯片503a、503b、503c等）。第二电光芯片包括通过i/o中枢805、gpu/tpu 905等电连接到集成电路芯片（例如，cpu 803-1-803-n）的对应电气接口。第二电光芯片还包括光学连接到光学链路的第二端的对应的光子接口。第二电光芯片包括至少一个光学宏。第二电光芯片的至少一个光学宏中的每一个被配置为将通过第二电光芯片的对应电气接口从集成电路芯片接收的传出电数据信号转换成传出光数据信号。第二电光芯片的至少一个光学宏中的每一个还被配置为通过第二电光芯片的对应光子接口将传出光数据信号传输到光学链路。第二电光芯片的至少一个光学宏中的每一个还被配置为将通过第二电光芯片的对应光子接口从光学链路接收的传入光数据信号转换成传入电数据信号。第二电光芯片的至少一个光学宏中的每一个还被配置为通过第二电光芯片的对应电气接口将传入电数据信号传输到集成电路芯片。
[0121]
图21示出了根据一些实施例的用于操作计算机存储器系统的方法的流程图。该方法包括用于通过光学链路接收第一组光数据信号的操作2101，其中第一组光数据信号传送用于存储器访问操作的指令。该方法还包括操作2103，用于基于第一组光数据信号生成第一组电数据信号。第一组电数据信号传送用于存储器访问操作的指令。该方法还包括操作2105，用于将第一组电数据信号传输到连接到存储器设备的电扇出芯片。在一些实施例中，存储器设备是dram dimm。该方法还包括操作2107，用于操作电扇出芯片以根据第一组电数据信号在存储器设备上执行存储器访问操作，其中存储器访问操作的执行生成传送存储器访问操作的结果的第二组电数据信号。在一些实施例中，电扇出芯片按照cxl互连协议操
作，用于计算机处理器和存储器设备的dram dimm之间的数据通信。该方法还包括用于从第二组电数据信号生成第二组光数据信号的操作2109，其中第二组光数据信号传送存储器访问操作的结果。该方法还包括用于通过光学链路传输第二组光数据信号的操作2111。
[0122]
在一些实施例中，操作2101、2103、2105、2109和2111由电光芯片（例如，teraphy小芯片503、503-1、503-2等）执行。在一些实施例中，在操作2103中生成第一组电数据信号包括操作电光芯片上的多个光学微环谐振器中的至少一个光学微环谐振器，以在操作2101中光学耦合通过光学链路接收的第一组光数据信号，并将第一组光学耦合的光数据信号传送到电连接到电光芯片上的解调电路的光电检测器设备。该方法还包括操作解调电路，以基于如传送到光电检测器设备的第一组光数据信号生成第一组电数据信号。在一些实施例中，在操作2109中生成第二组光数据信号包括操作电光芯片上的多个光学微环谐振器中的至少一个光学微环谐振器，以调制具有指定光学波长的连续波光，从而将第二组电数据信号转换成具有指定光学波长的第二组光数据信号。
[0123]
出于说明和描述的目的，提供了实施例的前述描述。它并不旨在穷举或限制本发明。特定实施例的个体元件或特征通常不限于该特定实施例，但是在适用的情况下，即使没有具体示出或描述，它们也是可互换的，并且可以用于所选的实施例中。这也可以以多种方式变化。这样的变化不应被视为背离本发明，并且所有这样的修改都旨在包括在本发明的范围内。
[0124]
尽管出于理解清楚的目的，已对前述发明进行了详细描述，但是应当清楚的是，可以在本发明描述的范围内实践某些改变和修改。因此，本实施例被认为是说明性的而非限制性的，并且本发明不限于本文给出的细节，而是可以在所述实施例的范围和等同物内进行修改。