用于计算机系统设备的光子互连的制作方法

文档序号:2817137阅读:178来源:国知局
专利名称:用于计算机系统设备的光子互连的制作方法
技术领域
本发明的实施例涉及可以用于计算机系统设备中的计算机系统部件之间的芯片 上以及芯片外通信的光子互连。
背景技术
在二十世纪六十年代中期,半导体制造商观察到,在集成电路上制作的电路(诸 如晶体管)的密度大约每18个月翻一番。这种趋势已延续并且现在被称作“摩尔定律”。 晶体管密度被看作是计算机处理能力的粗糙度量,所述计算机处理能力又对应于数据处理 速度。尽管最初摩尔定律是作为观察结果而得出的,但是随着时间的推移摩尔定律已被半 导体工业广泛地接受作为提高计算机处理能力背后的基本驱动力。结果,半导体制造商已 研发了用于将芯片部件的大小减小到微尺度乃至纳米尺度尺寸的技术。计算机系统(其一 些示例是存储器模块系统、单核处理器设备或多核处理器设备)的计算机系统架构在试图 跟上摩尔定律的同时正面临限制。多核系统示例说明所面临的一些问题。近年来,半导体工业已研发了包括两个或 更多被称为“核”的子处理器的处理器。例如,双核处理器包含两个核,而四核处理器包含 四个核。典型地,这些核被集成,共享到系统的其余部分的相同互连,并且可以独立地操作。 尽管半导体制造商可以提高单个核的晶体管密度,但是半导体制造商由于功耗效率低而未 朝这个方向前进。替代方案是提高单个管芯上封装的核的数量。管芯是其上制作集成电路 (“芯片”)的单层半导体材料。然而,芯片上和芯片外通信已成为针对需要这些多核芯片 的、苛刻的数据密集型应用保持性能增长的关键问题。计算带宽随核数量的增长而线性地 缩放,但是可以使用顶级金属线横跨多核芯片传送数据的速率正以慢得多的速度在提高。 另外,数据可以通过沿着芯片边缘定位的管脚而传送到芯片外的速率也比计算带宽更慢地 增长,并且芯片上和芯片外通信的能量成本明显限制可获得的带宽。结果,计算机架构现在 处于十字路口并且物理学家和工程师正在寻找对使用金属线进行芯片上和芯片外通信的 替代方案。

发明内容
本发明的各个实施例涉及可以用于计算机系统部件之间的芯片上以及芯片外通 信的光子互连。在本发明的一个实施例中,光子互连包括多个芯片上波导。另外,光子互连 可以包括多个芯片外波导和至少一个光电子转换器。该至少一个光电子转换器可以光子地 耦合到所述多个芯片上波导的一部分并且可以光子地耦合到所述多个芯片外波导的一部 分,并且与至少一个计算机系统部件电子通信。


图1示出依据本发明实施例的层叠计算设备的横截面图。图2示出依据本发明实施例的计算设备的部件的示意表示。
图3示出依据本发明实施例的图1所示的计算设备的四个管芯层的分解等距视 图。图4A示出依据本发明实施例的处理器管芯集群(cluster)。图4B示出依据本发明实施例的存储器管芯的块片(tile)。图5示出依据本发明实施例的图4A-4B所示的块片和集群的部件之间的相互作用 的示意表示。图6示出依据本发明实施例的图1所示的计算设备的四个管芯层的放大分解等距 视图。图7A示出依据本发明实施例的光学管芯的示意表示。图7B示出依据本发明实施例的图7A所示的光学管芯的区的放大图。图7C示出依据本发明实施例的图7B所示的沿着线7C-7C的芯片上脊波导的一部 分的横截面图。图7D示出依据本发明实施例的两个近似平行的光子晶体波导的一部分的顶视 图。图8示出依据本发明实施例的电磁辐射源的示意表示。图9A-9B示出依据本发明实施例的两个光电子转换器的示意表示。图10示出依据本发明实施例的光电子转换器的转换器块的部件的示意表示。图11示出依据本发明实施例的光电子转换器的数据/控制块的示意表示。图12示出依据本发明实施例的三个数据/控制块的示意表示。图13示出依据本发明实施例的放大的成束波导调制器/检测器的示意表示。图14示出依据本发明实施例的芯片外通信集线器(hub)。图15示出依据本发明实施例的广播。图16A示出依据本发明实施例的用于在未编码信道中编码数据的波导微环系统。图16B示出依据本发明实施例的用于从波导中提取编码信道的波导微环系统。图17示出依据本发明实施例的微环的示意表示。图18A示出依据本发明实施例的示例性四集群、层叠计算设备的示意表示。图18B示出依据本发明实施例的图18A所示的仲裁系统的示意表示。图19示出依据本发明实施例的仲裁系统。
具体实施例方式本发明的各个实施例涉及光子互连。这些光子互连提供计算机系统部件(例如, 核、集群、存储器控制器)之间的芯片上光子互连。另外,光子互连的一些实施例也提供到 外部设备上的计算机系统部件的芯片外光子互连。本发明的实施例也包括具有纳米光子部 件的光子互连,所述纳米光子部件包括具有典型地小于波长或小于微米的尺寸的部件。这些光子互连提供比沿着芯片边缘定位的常规管脚更快的、可以把数据传送到芯 片外的速率,提供更大的计算带宽,提供比常规金属线更低的芯片上和芯片外通信的能量 成本,并且可以被扩大或缩小以适应附加部件,例如具有任何数量的核的处理器。光子互连 的架构可以用非阻挡、低等待时间、可重配置的纳米光子微环来实施,从而提供即使在峰值 计算带宽下也非常低的功耗、适中的等待时间以及高带宽。另外,计算机系统设备的架构可以被配置成使得所有存储器紧密接近存储器控制器或甚至处理器。依据本发明实施例配置 的采用光学管芯的基于多核的计算设备可以以大约20太字节/秒操作。在以下描述中,术语“光子”和“光子地”指的是用经典和/或量子化ER操作的 设备,所述ER的波长不限于电磁频谱的仅可见光部分。在下面描述的各个光子交换机 (switch)和交换结构实施例中,若干结构上类似的包括相同材料的部件已被提供相同的附 图标记,并且为了简明起见不重复这些部件的结构和功能的解释。多核层叠计算设备图1示出依据本发明实施例的示例性计算机系统设备(“计算设备”)100的横 截面图,该计算机系统设备是采用光子互连的多核层叠计算设备。该计算设备100包括层 叠在封装116中的四个层叠存储器管芯110-113、处理器管芯102、存储器控制器/目录 (directory)/L2管芯(“存储器-控制器管芯”)104、模拟电子管芯106、和光学管芯108。 该层叠存储器管芯110-113可以是易失性存储器(如动态随机存取存储器(“DRAM”)),非易 失性存储器,或易失性和非易失性存储器的任意组合。特别地,该层叠存储器管芯110-113 可以是8千兆字节(“GB”)DRAM。该计算设备100也包括定位在处理器管芯102的顶表 面上的散热器118、以及由四个贯通孔(through via) 120-123表示的大量通孔(例如几百 个),所述通孔从存储器_控制器管芯104穿过模拟电子管芯106和光学管芯108延伸到四 个存储器管芯110-113。管芯102、104、106、108和110-113的厚度可以在大约25微米到大约50微米之间 变化。散热器118耗散由处理器管芯102的计算操作而产生的热量,并且贯通孔120-123 可以是金属化的或硅填充的通孔,它们将存储器管芯中的存储器控制器电互连到四个存储 器管芯110-113中的每一个。位于存储器-控制器管芯104内的存储器控制器管理去往和 来自存储器管芯110-113的数据流以及去往和来自外部设备(未示出)的数据流。光学管 芯108比其它管芯更大以便包括外部光子互连-诸如外部光子互连124和126,所述外部光 子互连可以用来将数据编码的电磁辐射传输到计算设备100以及从计算设备100传输数据 编码的电磁辐射。光学管芯可以是大约24mmX24mm,但是这些尺寸可以根据实施方式而改 变。金刚石层130也可被包括在光学管芯108的底表面与存储器管芯110的顶表面之间。 金刚石层130的厚度可以为大约1-10 μ m,并且可以被用来扩散和耗散由处理器管芯102和 存储器_控制器管芯104产生的热量。图1所示的三维管芯层叠允许光学管芯108与电子管芯102和104的紧密耦合, 以低等待时间提供存储器管芯110-113的可访问性,以及通过将集群逻辑和存储器散布在 层叠的邻近管芯102、104和110-113上,集群内的电布线相对于常规设备被缩短。特别地, 将存储器管芯层叠成紧密接近存储器控制器并使用穿过存储器层的通孔提供了比用于将 常规存储器连接到存储器控制器的显著更长、电阻更高的互连长度更短、电阻更低的互连。 结果,在计算设备100的管芯之间传输电信号所需的功率或负荷明显低于常规存储器到存 储器控制器所需要的功率。图2示出依据本发明实施例互连的计算设备100的管芯102、104和108的部件的 示意表示。处理器管芯102是多核处理器,其中这些核可以被布置成如由集群202-204表示 的集群,每个集群有四个核。每个核具有下面参考图4描述的专用第一级(“Li”)指令高速 缓存(未示出)和专用Ll数据高速缓存(未示出)。集群202-204每个具有由L2高速缓存206-208表示的专用共享的第二级(“L2”)高速缓存、以及由存储器控制器210-212表 示的相关存储器控制器。存储器控制器210-212分别控制去往和来自集群202-204的数据 流。L2高速缓存和存储器控制器位于邻近处理器管芯102的存储器-控制器管芯104中。 如图2所示,光学管芯108的光子互连214提供使得与集群202-204相关联的L2高速缓存 206-208能够彼此光子通信以及与存储器控制器210-212光子通信的光子互连。此外,图2 揭示了存储器控制器210-211可以与外部存储器模块(诸如芯片外双列直插式存储器模块 (“DIMM”)216-218)光子地通信。集群202-204分别可以与DIMM 216-218电子地或光子 地通信。处理器管芯102的每个集群具有设置在存储器控制器管芯104上的对应存储器控 制器,每个存储器控制器对接到层叠存储器管芯110-113或驱动到芯片外存储器的光子连 接以提供随处理器管芯102性能缩放的带宽。这些集群也通过光学管芯108而彼此光子地 耦合,从而提供高带宽、适中的等待时间以及非常低的功耗。因此,层叠计算设备100归其 支配的程序员可以以高的水平表达并行性,并且不会被局部性(locality)问题所困扰,这 极大地减小了并行程序开发的难度。此外,计算设备100架构可提供每浮点运算一个字节 (one byte per flop)的带宽至Ij DRAM。当为每个存储器管芯110-113选择8GB DRAM时,叠层上存储器提供32G字节的 DRAM,其通过穿过DRAM的多个通孔(例如通孔120-123)直接连接到存储器控制器。该DRAM 由四个存储器堆叠层提供,所述存储器堆叠层被变薄到大约25到50微米以最小化这些通 孔的负荷或使用这些通孔所需要的功率量。该DRAM叠层的每个层包括映射到上面的处理 器管芯102中的集群上的64个几乎等同的区。每个DRAM区可被进一步细分为多个存储体 (bank),所述存储体减小了行访问时间,并允许多个并发访问。例如,使用20nm DRAM技术, 每个区可提供IG比特的纠错码保护的存储空间,从而使得存储器-控制器管芯104中的每 个存储器控制器电子地连接到存储器的0. 5G字节。多个信道提供到存储器中的增加的带 宽。通过提供增加的带宽,DRAM中的存储体冲突被减少。每个存储器信道由72个数据比特 和大约30个地址和控制比特组成。使用25微米间距的贯通孔,假设每存储器控制器4个 信道,则贯通孔的面积开销可以小于存储器层的3%。细间距的贯通孔允许DRAM被构造成 从单个行访问提供整个高速缓存线。当期望512GB DRAM时,其可以被布置成64个分离的光学连接存储器模块 (“0CM”)。这些OCM利用与上面描述的8GB DRAM相同的基础技术。光学管芯108执行两 个功能。第一,光学管芯108提供到光纤连接(诸如外部光子互连124和126)的接口。第 二,光学管芯108为DRAM的叠层提供低功率的全局互连。这些OCM和处理器通过光纤连接, 所述光纤提供多达48个信道,这些信道可以被用于命令或其它专用数据交换。多核层叠计算设备的总体操作为简化起见,下面参考计算设备100来描述本发明的光子互连实施例,其中处理 器管芯102包括64个四核集群。本领域的技术人员会显而易见,本发明的光子互连实施例 不限于这样的设备并且这些实施例可以被修改并实施成为具有任何数量的集群的多核计 算设备提供光子互连,所述集群具有各种布置的任何数量的核。图3示出依据本发明实施例的光子管芯102、存储器-控制器管芯104、模拟电子 管芯106和光学管芯108的分解等距视图。如图3所示,处理器管芯102和存储器-控制器管芯104被划分为64个块片。处理器管芯102中的每个块片表示称作“集群”的四个核, 并且在存储器-控制器管芯104中的每个块片表示与处理器管芯102中近似位于直接上方 的对应集群进行电子通信的L2高速缓存、集线器、存储器控制器和其它设备。例如,存储 器_控制器管芯104的块片302表示位于相关集群304下面并与该相关集群304电子通信 的L2高速缓存、集线器、存储器控制器和其它设备。这些集群和块片可以是大约3mmX 3mm, 但是可以根据实施方式被制得更大或更小。本发明的实施例并不限于具有四个核的集群。 在其他实施例中,集群可包括两个、三个和四个或更多核。下面参考图4A-4B来描述集群和 块片的示例。光学管芯108包括16个近似均勻间隔开的光电子转换器(诸如光电子转换 器306)、270个分离的且近似平行(非交叉)的具有蛇形配置的波导(由带308表示),和 16个由8个近似平行的波导组成的束,其中蛇形配置的波导穿过16个均勻间隔开的光电子 转换器的每一个而蜿蜒延伸,每个束从对应的光电子转换器发出,诸如束310从光电子转 换器306发出。270个蛇形波导被称作“芯片上波导”,其在光电子转换器之间提供光子通 信;而包括16个波导束的这些波导被称作“芯片外波导”,其提供与位于计算设备100外部 的设备的光子通信。这16个光电子转换器中的每个由四个光电子转换器块(未示出)组 成。每个光电子转换器块(“转换器块”)与存储器-控制器管芯104中的四个相关块片之 一进行电子通信。下面参考图6和7更详细地描述转换器块。模拟电子管芯106包括16 个片(patch),每个片位于存储器-控制器管芯104中的四个块片和光学管芯108中的光电 子转换器之间。每个片包括若干金属化的或硅填充的贯通孔,所述贯通孔提供存储器-控 制器管芯104中的四个块片与对应光电子转换器之间的模拟电子通信。数据以电子模拟信 号(“电信号”)的形式通过这些片进行传输,因为产生模拟信号典型地比产生数字电信号 耗费少得多的功率。 下面的描述是对可以如何使用光学管芯108来在处理器管芯102上的集群之间传 输数据并且在集群与外部设备之间传输数据的概述。由处理器管芯102的集群(诸如集群 304)产生的数据或从存储器-控制器管芯104的块片(诸如块片302)提取的数据作为数 据编码的电信号通过片312中的通孔而被传输到光电子转换器306的对应转换器块(未示 出)。该转换器块将电信号编码到在一个或多个芯片上波导308中传播的一个或多个波长 的电磁辐射(称作“信道”)中。将数据编码到未调制信道中可通过调制信道的强度来实 现,这在下面参考图14进行更详细的描述。承载数据的信道被称作“编码信道”。编码信道 的目的地可以是⑴相邻的集群314,其也与相同的光电子转换器306进行电子通信,⑵ 位于处理器管芯102中其它位置的集群,诸如集群315,或(3)外部设备(未示出)。当该 编码信道的目的地为相邻的集群314时,该集群314的位于光电子转换器306内的对应转 换器块接收该编码信道并将其转换回编码电信号,所述编码电信号通过片312被传输回到 集群314。当该数据编码信道的目的地是集群315时,这些编码信道沿着适当的芯片上波 导被传输到位于光电子转换器316内的对应于集群315的转换器块。该编码信道被转换回 编码电信号,所述编码电信号通过片318被传输到集群315。当这些编码信道的目的地是 外部设备时,光电子转换器306的转换器块将编码信道置于束310的芯片外波导上,在那里 这些编码信道离开光学管芯108。当外部设备产生目的地为四个集群314之一的编码信道 时,这些编码信道可以沿着束310中的芯片外波导被传输到光电子转换器306,在那里这些 编码信道被转换为编码电信号,所述编码电信号通过片312被传输到四个集群314以用于处理。下面参考图7提供对光学管芯108的操作和部件的更详细描述。集群和存储器控制器图4A示出依据本发明实施例的处理器管芯102的集群402。集群402包括四个 核。每个核与Ll指令高速缓存和Ll数据高速缓存进行电通信。Ll指令高速缓存和Ll数 据高速缓存是高速随机存取存储器,其暂时存储频繁或最近访问的指令和数据。图4B示 出依据本发明实施例的存储器_控制器管芯104的块片404。该块片404包括L2高速缓 存和部件区406,该部件区406包括集线器、存储器控制器、目录、网络接口、自身交叉开关 (crossbar)连接和对等交叉开关连接。这些交叉开关连接可被配置成与光电子转换器的对 应部分对接。L2高速缓存被集群402的四个核共享。L1-L2接口 408被定位在集群402和 块片404的近似中央,并提供集群402与块片404之间的电子通信。小型高功率效率的核和高速缓存实现每单位能量近似最佳的可能性能。因此,被 选择用于本发明的核可以使用5GHz时钟,并且这些核可以是双指令执行(dual-issue)、顺 序执行(in-order)以及多线程的并且可被配置成提供单指令多数据(“SIMD”)指令以允 许4乘法累加和4字宽加载/存储操作。SIMD可以是为加速浮点性能而设计的低级功能的 集合。SIMD过程使得一个指令能够对多片数据执行相同的功能,从而减小了为处理数据所 需的循环数量。利用如上面参考图3所描述的依据5GHz时钟操作的仅仅64个四集群,计 算设备100的计算带宽可为10万亿次浮点运算/秒(Tflops/s)。每个集群可以在被称作 “时期(印och),,的24个时钟周期期间发送至少一个高速缓存线,诸如64到128字节。图5示出依据本发明实施例的图4A-4B所示的块片和集群的部件之间的相互作用 的示意表示。集线器502把编码电信号分布到L2高速缓存504、目录506、存储器控制器 508和网络接口 510。集线器502也负责传输去往和来自光学管芯108的光电子转换器的 编码电信号,如上面参考图3所描述的。网络接口 510提供到外部网络的连接,并且存储器 控制器508管理去往和来自L2高速缓存504、图1所示的存储器110-113以及外部存储器 (诸如图2所示的DMM 216-218)的数据流。图6示出依据本发明实施例布置的处理器管芯102的四个集群602、存储器-控制 器管芯104的四个对应块片604、模拟电子管芯106的片606和光学管芯108的光电子转 换器608的放大分解等距视图。如图6所示,光电子转换器608包括四个单独的光电子转 换器块610-613。每个转换器块经由片606与四个块片604之一进行电子通信。特别地, 块片615与转换器块610电子通信,块片616与转换器块611电子通信,块片617与转换 器块612电子通信,以及块片618与转换器块613电子通信。转换器块610-613将从块片 615-618输出的编码电信号分别地转换为编码信道,所述编码信道可以在芯片上波导308 的一部分上传输以供其它集群处理,或在波导束620上被传输到外部设备以用于处理。转 换器块610-613也将在束620和芯片上波导308中传输的编码信道转换为编码电信号,所 述编码电信号可被四个集群602分开处理。光学管芯图7A示出依据本发明实施例的光学管芯108的示意表示。如图7A所示且如上面 参考图3所描述的,光学管芯108包括270个分离的、近似平行、非交叉的芯片上波导308、 16个近似均勻间隔开的光电子转换器和16个由8个芯片外波导组成的束。芯片上波导308 可以被设置成蛇形配置从而使得所有270个芯片上波导308可以光子耦合到16个光电子转换器的每一个。图7A揭示了每个光电子转换器包括四个转换器块。换言之,光学管芯108 包括64个转换器块,每个转换器块与存储器_控制器管芯104的64个块片之一通信。图 7A还揭示了定位在蛇形芯片上波导308的相对端部的两个基本等同的信道源702和704。 源702和704的每个被配置成以相反的方向输出64个不同信道的相同组到每个芯片上波 导上。方向箭头706表示从源702输出的信道被传输的方向,而方向箭头708表示从源704 输出的信道被传输的方向。蛇形芯片上波导308具有大约1900微米的宽度。本发明的实施例不限于具有图7A所示的蛇形形状的芯片上波导。芯片上波导的 配置可采取任意合适的形状,所述形状可取决于光电子转换器的数量、光电子转换器的布 局以及在光学管芯上可用的空间量。图7B示出依据本发明实施例的光学管芯108的图7A所示的区710的放大图。如 图7B所示,为了简化说明起见,仅显示270个蛇形芯片上波导308中的8个。图7B揭示了 这些波导不交叉并且近似平行,诸如波导714和716。芯片上波导308可以是脊波导或光子晶体波导,其横截面尺寸的范围从大约0. 25 微米到大约0. 5微米。图7C示出依据本发明实施例的图7B所示的沿着线7C-7C的芯片上 脊波导308的一部分718的横截面图。为了简化说明起见,芯片上脊波导的部分718表示 设置在光学管芯108的表面上的270个芯片上脊波导中的20个。如图7C所示,脊波导被 设置成束,每个束具有4个波导,诸如束720。图7D示出依据本发明实施例的两个近似平行的光子晶体波导的一部分的顶视 图。在图7D中,圆圈-诸如圆圈722-表示光学管芯108的介电或半导体衬底层中的开口的 规则点阵。没有开口的区是光子晶体波导724和726。这些开口可以用空气或具有比衬底 层的折射率更低的折射率的合适介电材料进行填充。开口的规则点阵创建围绕波导724和 726的二维布拉格光栅。这个二维布拉格光栅将适当波长的ER约束到波导724和726。光子 晶体波导是众所周知的,并且教科书Fundamentalsof Optical Waveguides,由Katsunari Okamoto 编写,Elsevier Inc. 2005 ;Optical Waveguide Theory,由 Snyder 禾口 Love 编写, Chapman and HalljLondoruigss^fPPhotonic Crystals, |il Jean Michel Lourtioz ^m^, Springer-Verlag, Berlin 2005仅仅是这个领域中的许多参考文献中的三个。图8示出依据本发明实施例的源702的示意表示。源702包括激光器802以及两 个星形耦合器804和806。激光器802可以是发射64个不同波长的未调制电磁辐射的跑
道型(racetrack)锁模激光器。每个波长或“信道”由\、\ 2、、.....λ 64表示,并且每
个信道具有相对恒定的强度。星形耦合器804和806每个包括以把64个信道放置到270 个芯片上波导308中的258个的每个上的树形结构配置的分束器,如图8所示。在本发明 的某些实施例中,激光器802可以是生成Μ+1个激光波长的混合III-V族半导体/Si锁模 激光器。(例如参见 Α. W. Fang 等人的"Integrated AlGalnAs—silicon evanescent race track laser andphotodetectors,,,Optics Express 15,2315(2007)。)光学管芯108在24个时钟周期的时期中同步操作。可用的未编码信道被成组为 可以在单个时期中发送高速缓存线、或广播消息或控制消息的逻辑信道。一个逻辑信道在 一个时期中可以传送一个高速缓存线或控制消息。把信道成组为逻辑信道是以容许集群每 4个(24个时钟周期/6个信道)时钟周期接收和发送多达一个高速缓存线的方式完成的, 从而产生10太字节/秒[64集群X (128字节/4时钟)X 5GHz]的总带宽。光电子转换器
图9A-9B示出依据本发明实施例的两个类型的光电子转换器的示意表示。在图9A 中,第一光电子转换器900包括光子耦合到四个芯片外通信集线器905-908的四个转换器 块901-904。通信集线器905-908每个光子耦合到束911-914,其中每个束包括8个芯片外 波导。在图9B中,第二光电子转换器920包括相同的四个转换器块901-904,这四个转换器 块901-904光子耦合到成组为单个设备922的芯片外通信集线器。束911-914经由串行化 /反串行化设备924而光子耦合到设备922。图10示出依据本发明实施例的转换器块1000的部件的示意表示。转换器块1000 包括广播系统1002、数据/控制块1004、仲裁系统1006和芯片外通信集线器1008。下面 参考图18和19更详细地描述仲裁系统1600的操作和架构。广播系统1002允许相关集群 大约同时发送数据到所有其它集群。数据/控制块1004专用于存储器-控制器管芯104 的特定块片并且将编码信道转换成被传输到该特定块片的编码电信号并且将从该块片输 出的编码电信号转换成被传输到计算设备中的另一个集群的编码信道。下面参考图11-13 更详细地描述数据/控制块1004的架构实施例。仲裁系统1006给予集群在给定的时期中 使用波导束或集群的权利。如图10所示,270个芯片上波导308中的两个专用于广播系统 1002,芯片上波导308中的十二个专用于仲裁系统1006,以及芯片上波导308中的256个专 用于数据/控制块1004。这256个芯片上波导被布置成64个束。该64个束中的每束包括 专用于存储器管芯102中的特定块片的4个芯片上波导。图10也包括表示转换器块1000的部件的尺寸的参数Wl、w2, w3> W4和w5。在某些 实施例中,W1的范围可以近似为2100-2400微米,W2的范围可以近似为1700-2100微米,W3 的范围可以近似为32-44微米,W4的范围可以近似为80-120微米,而W5的范围可以近似为 500-600微米。优选地,W1可以近似为2290微米,W2可以近似为1900微米,W3可以近似为 38微米,W4可以近似为100微米,而W5可以近似为530微米,但这些尺寸和范围可以根据实 施方式而改变。图11示出依据本发明实施例的数据/控制块1100的示意表示。数据/控制块 1100表示光学管芯102中的64个数据/控制块的第N个。水平线1101-1109表示与64个 数据/控制块的每个相关联的64个由4个芯片上波导组成的束中的仅9个束(未示出其 余55个束)。这些束从上到下也被标记成1到64,每个标记对应于特定的数据/控制块。 每个数据/控制块使用特定束来接收从其它63个数据/控制块输出的编码信道。其余63 个束被数据/控制块用来发送编码信道到其它63个数据/控制块。例如,如图11所示,数 据/控制块1100具有光子耦合到束1到N-I和束N+1到64的63个成束波导调制器,诸如 成束波导调制器1110。数据/控制块1100也具有光子耦合到第N束1105的两个成束波导 检测器1112和1114。数据/控制块1100在第一到N-I束和N+1到第64束的每个芯片上 波导中接收来自源702和704的64个未编码(即未调制)信道。如图11所示,数据/控制块1100被配置成使用由源702提供的未编码信道来生 成目的地为数据/控制块N+1到第64的编码信道并且使用由源704提供的未编码信道来 生成目的地为数据/控制块1到N-I的编码信道。例如,如图11所示,数据/控制块1100 在束1101-1104上接收发自源704的未编码信道,如由方向箭头1116-1120所指示的,并且 使用光子耦合到束1101-1104的成束波导调制器来在这些未编码信道1116-1120中编码 目的地为数据/控制块1到N-I的数据。另一方面,数据/控制块1100也在束1106-1109上接收发自源702的未编码信道,如由方向箭头1121-1125所指示的,并且使用光子耦合到 束1106-1109的成束波导调制器来在未编码信道1112-1125中编码目的地为数据/控制块 N+1到64的数据。数据/控制块1100使用成束波导检测器1112和1114来接收由其它63 个数据/控制块发送的编码信道1120和1121。图12示出依据本发明实施例的三个数据/控制块的示意表示。如图12所示,第 二数据/控制块1202被配置成在第二束1102上接收编码信道,而第63数据/控制块1204 被配置成在第63束1108上接收编码信道。数据/控制块1100和1204以及其它未示出的 数据与控制块使用束1102来发送编码信道到第二数据/控制块1202。这些编码信道未受 干扰地通过位于其间的数据/控制块。数据/控制块1100和1202以及其它未示出的数据 与控制块使用束1108来发送编码信道到第63数据/控制块1204。这些编码信道未受干扰 地通过位于其间的数据/控制块。下面参考图13和14更详细地描述成束波导调制器和检 测器的操作和架构。注意,在本发明的其它实施例中,数据/控制块1100也可以被配置成使用由源702 提供的未编码信道来生成目的地为数据/控制块1到N-I的编码信道并且使用由源704提 供的未编码信道来生成目的地为数据/控制块N+1到64的编码信道。成束波导调制器和成束波导检测器是近乎等同配置的设备。图13示出依据本发 明实施例的放大的成束调制器/检测器1300的示意表示。如上面参考图11-12描述的,成 束波导调制器/检测器1300在由四个芯片上波导1301-1304组成的束上接收信道。成束 波导调制器/检测器1300包括四个波导微环系统,诸如波导微环系统1306。这四个波导 微环系统包括近似平行的波导1301-1304,但是波导1301-1304之间的间距的范围可以近 似为10-14微米,其大于在成束波导调制器/检测器1300外部的成束波导1301-1304之间 的间距。每个波导微环系统包括64个微环,诸如微环1308。这64个微环邻近每个波导并 且分布在沿着每个波导长度的相对侧上。每个微环被配置成与沿着光子耦合的波导传输的 64个信道之一谐振。下面参考图17描述微环的配置。图13也包括表示波导微环系统1300的部件的尺寸的参数、、t2、t3和t4。在某些 实施例中,、的范围可以近似为45-65微米,t2的范围可以近似为200-300微米,t3的范围 可以近似为0. 5-5微米,而t4的范围可以近似为1-10微米。优选地,、可以近似为57. 5 微米,t2可以近似为255微米,t3可以近似为2微米,而t4可以近似为5微米,但是本发明 不限于这些尺寸或尺寸范围。这些尺寸和尺寸范围可以根据实施方式而改变。图14示出依据本发明实施例的芯片外通信集线器1400。芯片外通信集线器1400 包括芯片外波导调制器1401和芯片外波导检测器1402,其总尺寸为大约200-300微米X 大约100-200微米,但是这些尺寸可以根据实施方式而改变。芯片外波导调制器1401包括 四个波导微环系统1403-1406。波导微环系统1403-1406的每个包括64个微环和芯片外波 导的一部分。波导微环系统1403-1406的波导分别经由四个分束器1408-1411而光子耦合 到芯片上波导1407。波导1407承载64个未编码信道,所述未编码信道被分束器1408-1411 放置到波导微环系统1403-1406中,所述波导微环系统1403-1406然后被用来把数据编码 到由四个对应块片生成的64个未编码信道中,如下面参考图15A所描述的。芯片外波导检 测器1402包括四个波导微环系统1412-1415,所述波导微环系统1412-1415也包括用于从 外部设备-诸如芯片外存储器-接收编码信道的四个芯片外波导。波导微环系统1412-1415被用来把编码信道转换成被传输到四个电子耦合块片的对应编码电信号。图15示出依据本发明实施例的广播系统1500。广播1500包括广播调制器1502 和广播检测器1504,其面积尺寸近似为400-600微米X 20-40微米,但是这些尺寸可以根据 实施方式而改变。广播调制器1502包括分别光子耦合到两个芯片上波导1510和1512的 两个波导微环系统1506和1508。广播检测器1504包括分别经由分束器1518和1520而光 子耦合到波导1510和1512的两个波导微环系统1514和1516。广播系统1500被用来近似 同时地发送数据到所有其它集群和接收来自所有其它集群的数据。注意,尽管上面参考图9-15针对64集群计算设备描述了本发明的光电子转换器 实施例,但是本发明的实施例不受此限制。本领域的技术人员会立即意识到,这些实施例可 以被扩大或缩小以适应具有任何数量的集群的计算设备。波导微环系统的操作图16A示出依据本发明实施例的可以用来在64个未编码信道中编码数据的波导
微环系统。在图16A中,64个未编码(即未调制)信道λ^ λ2、λ3.....λ64由波导1602
承载。64个微环的每个被配置成与信道之一谐振从而使得可以经由到相关邻近微环的渐 逝耦合来提取每个信道。例如,微环1604被配置成与信道入工谐振。当信道入工沿着波导 1602传输时,信道λ i的大部分被渐逝耦合到微环1604中。可以通过对微环施加“导通” 和“断开”电压的模式而以信道的强度编码信息。电压使微环的折射率偏移,这进而调制沿 着波导1602传输的信道的强度。电压的模式可对应于从存储器-控制器管芯104中的对 应块片输出的数据串。例如,由存储器-控制器管芯104的块片产生的适当“导通”电压可 对应于二进制数“1”,而“断开”电压可对应于二进制数“0”。当“导通”电压被施加到微环 时,微环的谐振被偏移并且沿着邻近波导传输的对应信道不会渐逝耦合到该微环中。换言 之,当施加“导通”电压时,信道的强度在信道通过微环时保持相对不变。然而,一旦电压被 “关断”,信道就被渐逝耦合到微环中并且通过微环的信道的强度下降。结果,以“导通”和 “断开”电压的模式编码的相同数据可以以信道的强度被编码,其中相对高的强度对应于二 进制数“ 1,,而相对低的强度对应于二进制数“ 0 ”。图16B示出依据本发明实施例的可以用来从波导中提取64个编码信道的波导微 环系统。在图16B中,64个编码信道不,忑石,...,&被输入到检测器块的波导1606。这 64个微环的每个被配置成与64个信道之一谐振从而使得每个信道可以经由到邻近微环中 的渐逝耦合而被提取。例如,当沿着波导1606传输编码信道$时,与信道$相关联的高和 低强度被渐逝耦合到微环1608中。与信道&相关联的相对高和低强度的模式创建横跨微 环1608的高和低电压的对应模式。这种电压模式然后作为编码相同信息的电信号被传输 到存储器_控制器管芯104中的相关块片。微环图17示出依据本发明实施例的微环1700的示意表示。微环1700被定位成紧密 接近波导1702。在某些实施例中,微环1700包括本征半导体,在微环1700内部的半导体衬 底中形成有P型半导体区1704,以及在围绕微环1700外部的以及在波导1702的相对侧的 半导体衬底中形成有η型半导体区1706。这些区1704、1706和微环1700形成可以用作光 电二极管或调制器的p-i-n结,如上面参考图16所描述的。波导1702可以是如上面参考 图13-15所描述的芯片上或芯片外波导。波导1702的传输可对信道波长敏感并且可在该信道处于与微环1700谐振时极大地减小,因为信道渐逝耦合到微环1700中。微环1700的 谐振可以通过对区1704和1706施加适当的电压或电流而被电子调制。微环1700可以被 配置成使得当没有电压或电流被施加到微环时,特定信道与微环1700谐振并且渐逝耦合 到微环1700中。当适当的电压或电流被施加到微环1700时,微环1700的谐振被偏移并且 相同信道不受干扰地传播经过波导1702。另一方面,微环1700也可以被配置成使得当电压 或电流被施加到微环1700时,特定信道与微环1700谐振并且渐逝耦合到微环1700中。当 电压或电流被“关断”时,微环1700的谐振被偏移并且相同信道不受干扰地传播经过波导 1702。对于微环调制器的示例,参见Q. Xu等人的“12. 5Gbit/s carrier-injection-based silicon microring siliconmodulators,,,Optics Express 15,430(2007)。仲裁这些集群可以作为资源以及对其它资源的请求器而操作。然而,情况可能是两个 或更多集群在相同时期期间请求对相同资源(诸如特定集群)的访问。本发明的每个集群 被电子耦合到对应的仲裁系统以便避免这些种类的冲突。为了简明和简化起见,执行仲裁 的以下描述是使用依据本发明实施例的仅包括四个集群的示例性计算设备的示意表示来 描述的。随后,下面参考图19来描述仲裁系统实施例的描述。图18A示出依据本发明实施例的示例性四集群、层叠计算设备1800的示意表 示。计算设备1800包括与四个对应的数据/控制块1805-1808电子通信的四个集群 1801-1804。计算设备1800也包括第一源1810和第二源1812。这些源1810和1812可以
被配置成发射64个未编码信道\ λ、\ 2、\......λ 64到四个波导束1814-1817的每个波
导上,如上面参考图8所描述的。每个数据/控制块在特定束上接收数据和控制信道并且 使用其余信道来发送数据和控制信道到其它集群。例如,数据/控制块1806包括如上面对 于图11-12所描述的那样被配置和操作的三个成束波导调制器1821-1823和成束波导解调 器1820。集群1801-1804每个与仲裁系统1830电子通信。图18Β示出依据本发明实施例的仲裁系统1830的示意表示。仲裁系统1830包 括光子耦合到源1834的功率波导1832、与功率波导1832光子通信的环形波导1836以及 四个微环1837-1840。仲裁系统1830也包括位于环形波导1836内的4组4个内部微环 1841-1844。源1834发射四个未调制信道λ,^ λ,2、λ,3和λ,4到功率波导1832上。 微环组1841-1844的每个与四个集群1801-1804之一电子通信。特别地,微环组1841的微 环与集群11801电子通信,微环组1842的微环与集群21802电子通信,微环组1843的微环 与集群31803电子通信,而微环组1844的微环与集群41804电子通信。内部微环被配置为 如上面参考图17所描述的p-i-n结光电二极管。注意,对于64集群计算设备100,不需要 分离的源1834,如下面参考图19所描述的。如图18B所示,四个微环1837-1840和内部微环1841-1844每个用信道名称λ \、 λ ’ 2、λ ’ 3和λ ’ 4进行标记。这些名称标识每个微环与其谐振的并且可以从邻近波导渐 逝耦合的信道。例如,微环1837-1844每个被单独地配置成分别与信道λ,工、λ,2、λ,3和 λ,4的仅仅之一谐振。特别地,微环1837-1840分别把信道λ,ρ λ,2、λ,3和λ,4从功 率波导1832中的顺时针方向1846渐逝耦合到环形波导1836中的逆时针方向1848上。以相同的方式,内部微环1841-1844也渐逝耦合来自环形波导1836的特定信道, 但是内部微环必须被对应集群激活或“导通”。例如,微环1841所有都可以被配置为信道λ,” λ,2、λ,3和 λ,4 的模截止谐振频率的 l/2(l/2a mode off of the resonance frequency)。结果,信道λ,^ λ,2、λ ’ 3和λ ’ 4沿着环形波导1836不受干扰地通过微 环1841。然而,对应集群11801可以发送适当的电流以激活特定微环从而使该微环偏移成 与相关信道谐振。微环然后可以渐逝耦合来自环形波导1836的信道以在微环内谐振。例 如,集群11801可以“导通”微环1850从而使得信道λ ’ 3被从环形波导1836渐逝耦合以 在微环1850内谐振。除非组1841内的其它微环被“导通”,否则信道λ \、λ ’2和λ ’4不 受干扰地通过。现在参考图18Α和18Β来描述使用仲裁系统1830来确定四个集群1801-1804之 一是否可用于接收数据。恰好在每个时期之前,每个集群被分配从源1834发射的四个信道 之一,并且集群1801-1804知晓集群到信道的分配。这些分配可以是随机的或者是基于确 保集群的公平利用的方法,并且可以在新时期开始之前的时期(在示例性实施方式中为时 期的1/3)期间进行。这些集群到信道的分配被集群用来确定哪些集群可用于接收数据以 进一步处理。在一个实施例中,每时期的信道分配初始可以被预定并且存储于在每个集群 处可访问的查找表中,并且计算机逻辑用来依据方案更新每时期的集群到信道的分配。这 种方案的示例是循环方案。在一个实施例中,仲裁器分散在若干管芯上。存储器控制器管芯104上的交叉开 关(x-bar)连接确定从仲裁器请求什么。该请求通过模拟管芯106被传递到环状调制器 (ring modulator)和波导所处于的光学管芯108。该请求尝试在光学管芯108上转移信道 并且该信道要么被转移并被检测要么没有。所得到的电信号使其向下回到交叉连接,所述 交叉连接把电信号解释为要或不要通过在下一时期上向调制器发送数据来使用逻辑信道。例如考虑在时期开始之前表I所示的集群到信道的分配表I 如表I所显示的,集群1 1801被分配信道λ,i,集群21802被分配信道λ,2, 等等。假设集群1 1801和集群41804两者都想要使用集群31803来处理数据。返回到图 18Β,集群11801 “导通”微环1850并且集群41804也导通微环1852。信道λ,3从功率波 导1832经由微环1839渐逝耦合到环形波导1836上,其中信道λ ’ 3然后正好在微环1839 之后沿着环形波导1836以逆时针方向1848传播。在信道λ ’ 3可以到达微环1852之前, 微环1850从环形波导1836中提取信道λ ’3。在微环1850中谐振的信道λ ’3生成被发送 到集群11801的电信号。返回到图18Α,当这个电信号超过阈值时,该电信号在集群11801 中被检测到。检测到这个信号后,集群1 1801在后续的时期期间传输数据到调制器1856, 该调制器1856在从源1810输出的未调制信道中编码数据。这些编码(即调制)信道然后 沿束1816被流传送到检测器1858并且由集群3 1803处理,如上面参考图12所描述的。在这个特定的时期中,集群1 1801获得对集群3 1803的访问而集群4 1804不得不等待后续 的时期。现在假设集群1 1801和集群4 1804两者都想要再次使用集群31803来处理数 据。但在这种情况下,假设在时期开始之前集群到信道的分配是如表II所示表II 如表II所显示的,集群31803现在已被分配信道λ,4。返回到图18Β,集群1 1801 “导通”微环1860并且集群4 1804也“导通”微环1862。信道λ,4从功率波导1832 经由微环1840渐逝耦合到环形波导1836上,其中信道λ ’ 4然后正好在微环1840之后沿 着环形波导1836以逆时针方向1848传播。然而,在这个时期之前,微环1862从环形波导 1836中提取信道λ ’ 4,之后信道λ ’ 4可以到达微环1860。信道λ ’ 4在微环1862中谐振 并且生成被发送到集群41804的电信号。现在返回到图18Α,当这个电信号超过阈值时,集 群41804检测到这个信号。检测到这个信号后,集群41804在后续的时期期间传输数据到 集群31803以进行处理,如上面所描述的。在这个特定的时期中,集群41804获得对集群 31803的访问而集群1 1801不得不等待后续的时期。图19示出依据本发明实施例的对应于相关集群N的仲裁系统1900。仲裁系统包 括八个仲裁器1901-1908。每个仲裁器包括波导微环系统以及光子耦合到四个中央波导 1911-1914之一的微环。例如,仲裁器1901包括波导微环系统1916以及光子耦合到中央波 导1911的微环1918。仲裁器1901可以被集群N用来确定所请求的集群M是否可用于接收 数据,并且连接到相同波导1920的其它仲裁器(未示出)为其相关集群做同样的事情。为简化起见,假定仲裁系统1900表示计算机设备100的64个仲裁系统之一,诸 如图10所示的仲裁系统1006。假定所有64个集群使用连接到波导1920的仲裁器来确定 哪个集群可用于接收数据。诸如源702或源704的源以方向1922把64个信道λ ρ λ 2、
λ3.....λ 64放置到波导1911中。每个仲裁器包括微环-诸如微环1918,其从功率波导
1911中提取信道λ^ λ2、λ3.....λ 64之一并且将对应的信道放置到波导1920上以沿方
向1924传播。例如,微环1918可以被配置成从功率波导1911中提取信道λΝ。波导微环 系统1916的64个微环每个被配置成当施加适当的电流时提取由波导1920承载的64个未
调制信道λ:、入2、入3.....X64之一。现在假设集群N想要发送数据到集群M以在下一时
期期间进行处理。在先前时期的该最后1/3期间,集群N确定在集群到信道的分配中已给 集群M分配了信道λ63。集群N通过“导通”微环1922做出响应。因为微环1918被配置 成仅提取信道λΝ,所以信道λ63由连接到波导I920的不同仲裁器(未示出)从功率波导 1911中提取并且信道λ63以方向1924沿着波导1920被传输回来。假若信道λ 63不被也 想使用集群M来处理数据的集群的仲裁器拦截,则经由到微环1922中的渐逝耦合提取信道入63,该微环1922生成在阈值之上的电信号。集群N通过如上面参考图12所描述的那样传 输数据到集群M来做出响应。如果在信道λ 63到达微环1922之前信道λ 63被另一个集群 K提取,则该集群K可以传输数据到集群M进行处理,并且集群N等待下一集群到信道的分 配和下一时期。注意,尽管已描述了八个仲裁器1901-1908之一的操作,但是若干其它仲裁器可 以用来确定其它集群是否可用并且可以用来确定外部设备是否可用。这些确定可以在时期 期间的不同时间做出。如上面所讨论的,除了多核计算设备的说明性示例之外,光子互连可以被实施在 其它的计算机系统设备(例如也可以具有三维层叠且多个存储器控制器的存储器系统设 备)中。为了解释的目的,前面的描述使用具体术语以提供对本发明的完整理解。然而,本 领域的技术人员显而易见的是,这些具体细节不是实践本发明所必需的。本发明的具体实 施例的前面描述是为了说明和描述的目的而给出的。它们不打算穷尽本发明或将本发明限 制为所公开的精确形式。显然,鉴于上面的教导,许多修改和变型是可能的。这些实施例是 为了最佳解释本发明的原理及其实际应用而示出和描述的,从而使得本领域的其他技术人 员能够最佳利用本发明以及具有适合于所考虑的特定使用的各种修改的各种实施例。本发 明的范围旨在由所附权利要求及其等效物限定。
权利要求
一种光子互连(108),包括设置在衬底的表面上的多个芯片上波导(308);设置在所述衬底的表面上的多个芯片外波导(310、620);以及设置在所述衬底的表面上的至少一个光电子转换器(306),所述至少一个光电子转换器光子耦合到所述多个芯片上波导(308)的一部分和所述多个芯片外波导(310、620)的一部分并且与至少一个计算机系统部件(615 618)电子通信。
2.权利要求1的光子互连,还包括第一源(702),其设置在衬底的表面上并且耦合到每个芯片上波导的第一端;以及 第二源(704),其设置在衬底的表面上并且耦合到每个芯片上波导的第二端。
3.权利要求2的光子互连,其中第一源(702)和第二源(704)还包括 激光器(802),被配置成发射多个信道;以及至少一个星形耦合器(804、806),其光子耦合到激光器并且被配置成接收所述多个信 道并输出所述多个信道到每个芯片上波导中。
4.权利要求1的光子互连,其中所述多个芯片上波导和所述多个芯片外波导还包括近 似平行的脊波导(720)或近似平行的光子晶体波导(724、726)。
5.权利要求1的光子互连,还包括至少一个光纤(124、126)互连,所述至少一个光纤 (124、126)互连光子耦合到所述多个芯片外波导的一部分并且被配置成发送和接收至少一 个信道。
6.权利要求1的光子互连,其中所述至少一个光电子转换器(306)还包括与所述至少 一个计算机系统部件电子通信的至少一个光电子转换器块(901-904)。
7.权利要求6的光子互连,其中所述至少一个光电子转换器块还包括芯片外通信集线器(1008、1400),其光子耦合到芯片上波导并且被配置成依据由所述 至少一个计算机系统部件生成的数据编码电信号来调制多个信道并经由至少一个芯片外 波导接收编码信道并且把编码信道转换成数据编码电信号以供所述至少一个计算机系统 部件处理;数据/控制块(1004、1100、1805-1808),其光子耦合到所述多个芯片上波导的第一部 分,被配置成接收并调制沿着所述多个芯片上波导的第一束传输的多个未调制信道以及接 收沿着所述多个芯片上波导的第二束传输的多个编码信道并生成对应的数据编码电信号 以供所述至少一个计算机系统部件处理;仲裁系统(1006、1830、1900),其光子耦合到所述多个芯片上波导的第二部分并且被配 置成管理计算机系统部件之间的数据分布;以及广播系统(1002、1500),其光子耦合到所述多个芯片上波导的第三部分并且被配置成 近似同时地发送数据到所有其它计算机系统部件并接收来自所有其它计算机系统部件的 数据。
8.权利要求1的光子互连,其中所述至少一个光电子转换器还包括 至少一个波导(1301、1602、1606、1702);以及多个微环(1308、1604、1608、1700),其光子耦合到所述至少一个波导,每个微环被配置 成与通过所述至少一个波导传输的多个信道的每个信道谐振。
9.权利要求8的光子互连,其中光子耦合到波导的所述多个微环还包括邻近波导定位的所述多个微环的第一部分和邻近波导定位的所述多个微环的第二部分。
10.权利要求8的光子互连,其中每个微环还包括位于微环内的η型半导体区和位于微 环外的P型半导体区,或者位于微环内的P型半导体区和位于微环外的η型半导体区。
全文摘要
本发明的各个实施例涉及可以用于计算机系统部件之间的芯片上以及芯片外通信的光子互连。在本发明的一个实施例中,光子互连(108)包括多个芯片上波导(308)。另外,光子互连可包括多个芯片外波导(310、620)和至少一个光电子转换器(306)。所述至少一个光电子转换器(306)可以光子耦合到所述多个芯片上波导(308)的一部分,可以光子耦合到所述多个芯片外波导(310、620)的一部分并且与至少一个计算机系统部件(615-618)电子通信。
文档编号G02B6/12GK101910897SQ200880122377
公开日2010年12月8日 申请日期2008年10月23日 优先权日2007年10月23日
发明者M·菲奥伦蒂诺, N·L·宾克特, N·P·茹皮, Q·徐, R·G·博索莱尔, R·S·施雷伯 申请人:惠普开发有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1