用于全连接网格拓扑结构的高速pci架构路由的制作方法
【专利说明】用于全连接网格拓扑结构的高速PCI架构路由
【背景技术】
[0001] 为了使两个独立的系统能够进行通信，这些系统中的每一个均需要包括足以使得 这两个系统能够交互的硬件和/或软件。
【发明内容】
[0002] 总的来讲，在一个方面，本发明涉及一种PCIe架构，该PCIe架构包括输入/输出 (10)层和集线器层，所述10层包括第一 10层交换机和第二10层交换机，所述集线器层包 括多个集线器层交换机，其中，所述多个集线器层交换机包括第一集线器层交换机和第二 集线器层交换机，其中，第一 10层交换机使用第一链路连接到第一集线器层交换机，其中， 第一 10层交换机使用交叉链路连接到第二集线器层交换机。所述PCIe架构还包括多个目 标装置，其中，所述多个目标装置中的每一个连接到所述多个集线器层交换机中的一个，其 中，第一集线器层交换机使用第二链路连接到所述多个目标装置中的第一目标装置，并且 其中，第一集线器层交换机使用第三链路连接到所述多个目标装置中的第二目标装置。第 一 10层交换机被配置为：从客户端接收事务层数据包（TLP);进行第一确认，确认TLP中 的地址与第一 10层交换机中的任何多播地址范围没有关联；进行第二确认，确认TLP中的 地址与第一 10层交换机中的任何下游端口没有关联；基于第一确认和第二确认，经由第一 10层交换机上的第一上游端口，使用第一链路将TLP路由到第一集线器层交换机。第一集 线器层交换机被配置为：在第一下游端口从第一 10层交换机接收TLP;进行第三确认，确认 TLP与第一多播组相关联；基于第三确认：产生第一重写的TLP，并且经由第一集线器层交 换机上的第二下游端口，使用第二链路将第一重写的TLP路由到第一目标装置，其中，第二 下游端口是第一多播组的用户。
[0003] 总的来讲，在一个方面，本发明涉及一种PCIe架构，该PCIe架构包括：输入/输出 (10)层和集线器层，所述10层包括第一 10层交换机和第二10层交换机，所述集线器层包 括多个集线器层交换机，其中，所述多个集线器层交换机包括第一集线器层交换机和第二 集线器层交换机，其中，第一 10层交换机使用第一链路连接到第一集线器层交换机，其中， 第一 10层交换机使用交叉链路连接到第二集线器层交换机，其中，所述PCIe架构可操作地 连接到多个目标装置，其中，所述多个目标装置中的每一个连接到所述多个集线器层交换 机中的一个，其中，第一集线器层交换机使用第二链路连接到所述多个目标装置中的第一 目标装置，并且其中，第一集线器层交换机使用第三链路连接到所述多个目标装置中的第 二目标装置。第一 10层交换机被配置为：从客户端接收事务层数据包（TLP);进行第一确 认，确认TLP中的地址与第一 10层交换机中的任何多播地址范围没有关联；进行第二确认， 确认TLP中的地址与第一 10层交换机中的任何下游端口没有关联；基于第一确认和第二确 认，经由第一 10层交换机上的第一上游端口，使用第一链路将TLP路由到第一集线器层交 换机。第一集线器层交换机被配置为：在第一下游端口从第一 10层交换机接收TLP;进行 第三确认，确认TLP与第一多播组相关联；基于第三确认：产生第一重写的TLP，并且经由第 一集线器层交换机上的第二下游端口，使用第二链路将第一重写的TLP路由到第一目标装 置，其中，第二下游端口是第一多播组的用户。
[0004] 本发明的其它方面将通过以下内容清楚描述。
【附图说明】
[0005] 图1示出根据本发明的一个或多个实施例的包括PCIe架构的系统。
[0006] 图2示出根据本发明的一个或多个实施例的输入/输出（10)层交换机。
[0007] 图3示出根据本发明的一个或多个实施例的集线器层交换机。
[0008] 图4示出根据本发明的一个或多个实施例的用于配置PCIe架构的方法。
[0009] 图5示出根据本发明的一个或多个实施例的10层交换机对事务层数据包（TLP) 进行处理的方法。
[0010] 图6示出根据本发明的一个或多个实施例的通过集线器层交换机对TLP进行处理 的方法。
[0011] 图7示出根据本发明的一个或多个实施例的用于对连接到PCIe架构的永久性存 储模块发出的TLP进行处理的方法。
【具体实施方式】
[0012] 现在将参照附图来详细描述本发明的特定实施例。在以下对本发明的详细描述 中，为了提供本发明的更透彻的理解，阐述了许多特定细节。然而，本领域的普通技术人员 将明白，可以在没有这些特定细节的情况下实施本发明。在其他情况下，不对公知的特征进 行详细描述以避免不必要地复杂化描述。
[0013] 在以下对图1-7的描述中，关于一个图描述的任何组件在本发明的各个实施例中 可以等同于关于任何其他图描述的一个或多个类似命名的组件。为了简便起见，将不针对 每一个图重复这些组件的描述。因此，每一个图的组件的每一个实施例通过引用并入，并且 假定可选地存在于具有一个或多个类似命名的组件的每一个其他图中。另外，根据本发明 的各个实施例，一个图的组件的任何描述应被解释为除了关于任何其他图中的相应的类似 命名的组件所描述的实施例之外、与这些实施例相结合、或者代替这些实施例可以实现的 可选实施例。
[0014] 总的来讲，本发明的实施例涉及一种PCIe架构，该PCIe架构包括至少两层交换 机，这些层交换机连接以在所述至少两层之间形成全连接网格拓扑结构。此外，本发明的实 施例涉及一种PCIe架构，该PCIe架构使得连接到该PCIe架构中的一个分片的客户端能够 对该PCIe架构的不同分片中的存储器、网络端点装置和/或永久性储存器执行操作（例 如，读写操作）。
[0015] 在典型的通信架构（诸如以太网或Infiniband)中，请求是通过下述方式跨过通 信架构中的交换机被路由的：将唯一端点地址与每个端点装置相关联，并且将该端点地址 指定为请求的一部分。在PCIe架构中，读写操作在架构交换机之间的路由是基于被访问的 存储器地址、而不是基于端点地址。因此，用于全连接网格的基于地址的路由的典型布置不 允许所有客户端访问所有端点装置。本发明的一个或多个实施例提供可以克服该限制的机 制。具体地讲，基于地址的路由可以实现层之间的所有客户端访问所有端点的全连接网格 (下面描述）。
[0016] 在本发明的一个或多个实施例中，PCIe架构中的组件传达和/或实现高速外设组 件互连（PCIe)标准。本发明的实施例不限于PCIe标准的任何过去的、当前的或未来的版 本。此外，本发明的实施例可以用实现与用于实现本发明的各个实施例的PCIe标准的特征 类似的特征的其他标准来实现。
[0017] 图1示出了根据本发明的一个或多个实施例的包括PCIe架构的系统。PCIe架构 (100)由两个或更多个分片（104A、104B)构成，其中，每个分片均直接连接到处理器（112A、 112B)和一个或多个客户端（102A-102D)。下面描述前述每一个组件。
[0018] 在本发明的一个实施例中，每个客户端（102A-102D)均是包括处理器（或其它类 型的处理组件）、存储器和使得它能够连接到PCIe架构（100)的一个（或多个）物理接口 的物理装置。此外，每个客户端均包括实现实现本发明的一个或多个实施例所需的PCIe标 准（或者其部分）的功能。客户端还包括发送和/或接收事务层数据包（TLP)的功能。TLP 对应于根据PCIe标准定义的数据包类型。在本发明的一个实施例中，TLP使得客户端能够 从PCIe架构读取数据以及将数据写入到PCIe架构。换句话说，TLP使得客户端能够将数 据传送到PCIe架构中的位置以及从PCIe架构中的位置传送数据。在本发明的一个实施例 中，客户端中的一个或多个作为PCIe端点（即，发起事务的装置和/或作为事务的目标的 装置）进行操作。每个客户端可以经由客户端与PCIe架构之间的链路（S卩，物理连接）连 接到PCIe架构。
[0019] 继续讨论图1，每个分片（104A、104B)均包括输入/输出（10)层交换机（ITS) (108A、108B)、集线器层交换机（HTS) (106A、106B)以及一个或多个永久性存储模块（PSM)。 下面描述这些组件中的每一个。
[0020] 关于ITS，每个ITS是连接到一个或多个客户端（102A-102D)的物理PCIe交换机。 每个ITS还连接到该ITS所在的同一个分片中的HTS。另外，每个ITS可以连接到与该ITS 所在分片不同的分片中的一个或多个HTS。在本发明的一个实施例中，每个ITS连接到PCI 架构中的每一个HTS，得到PCIe架构中的层之间的全连接网格。在不背离本发明的情况下， 本发明的实施例可以实现为在层之间不具有全连接网。
[0021] 在本发明的一个实施例中，每个ITS被配置为：⑴从它连接的客户端接收TLP，并 且使用地址路由将这些TLP路由到ITS上的适当的出站端口（上游端口，或者下游端口之 一），以及（ii)从ITS连接的一个或多个HTS接收TLP，并且使用地址路由将这些TLP路由 到ITS上的适当的出站端口（通常是下游端口）。例如，在图1中，ITSB(108B)可以从客 户端C(102A)、客户端D(102D)、HTSA(106A)和HTSB(106B)接收TLP。下面关于图2提供 关于ITS的另外的细节。
[0022] 关于HTS，每个HTS均是连接到一个或多个ITS(108A-108B)和一个或多个永久性 存储模块（PSM(llOA-llOD))的物理PCIe交换机。每个HTS连接到该HTS所在的同一个分 片中的ITS。另外，每个HTS可以连接到与该HTS所在分片不同的分片中的零个或多个ITS。 在本发明的一个实施例中，每个HTS连接到PCIe架构中的每一个其他ITS，得到PCIe架构 中的层之间的全连接网格。每个HTS还经由其根端口（未示出）连接到处理器。在不背离 本发明的情况下，本发明的实施例可以实现为在层之间不具有全连接网格。
[0023] 在本发明的一个实施例中，每个HTS被配置为：（i)从它连接的永久性存储模块 (PSM)接收TLP，并且使用地址路由将这些TLP路由到HTS上的适当的出站端口（通常是下 游端口），以及（ii)从该HTS连接的一个或多个ITS接收TLP