一种PCIeHBAIOC内部总线网络互联方法与流程

一种pcie hba ioc内部总线网络互联方法
技术领域
1.本发明属于芯片设计领域，特别涉及一种pcie hba ioc内部总线网络互联方法。


背景技术：

2.在服务器存储系统架构中，hba(host bus adapter，总线适配器)通常作为主机和外围存储设备之间连接的桥梁，不仅可以扩展服务器外围存储设备连接的数量，而且能够支持不同接口协议之间的转换，极大地丰富了服务器系统的功能，同时满足了多样化系统应用场景。而pcie hba ioc(i/o controller，输入输出控制器，简称控制器)广泛地存在应用于计算机网络存储系统中。通过pcie hba ioc既能够简化主机服务器系统的外围接口设计，又可以提供处理器的相关功能，如处理数据传输、数据管理相关的各种功能。典型的pcie hba ioc如图1所示，主要实现存储系统的两个方面的功能。一是作为输入输出(i/o)通路，上连pcie端口的一端负责与存储网络或者直连的服务器通信，下连pcie端口的一端负责与基于pcie接口的硬件存储设备或存储扩展设备通信。在图1中，存储控制器c1通过上连pcie接口i0连接到主机服务器c0，通过下连pcie接口i1连接到存储阵列c2；二是作为处理器功能，负责处理数据传输、数据管理相关的各种功能，例如raid、块管理等。因此，pcie hba ioc的性能直接影响到存储系统的表现，从而影响整个计算机网络系统的各种应用场景和服务的用户体验。
3.目前，pcie hba ioc内部数据传输主通路的互连主要是通过标准总线网络而相互连接的，例如目前业界使用最广泛的互连接口总线协议是arm公司的amba(advanced microcontroller bus architecture)总线协议。一种典型的pcie hba ioc的内部结构如图2所示，主机服务器c0和外围设备pcie nvme ssd c2/c3之间通过pcie hba ioc c1进行业务数据传输的通路，即上连pcie子系统c1.1和下连pcie子系统c1.3/c1.4之间的数据通路是数据主通路，片上总线网络noc c1.2提供了上连pcie子系统c1.1和下连pcie子系统c1.3/c1.4之间通信链路的网络连接，上连pcie子系统c1.1和下连pcie子系统c1.3/c1.4和片上网络noc c1.2之间的接口为标准总线接口amba。amba bridge总线桥c1.1.2/c1.3.2/c1.4.2提供了pcie ctrl即pcie控制器c1.1.1/c1.3.1/c1.4.1tlp(transaction layer packet，pcie传输层包)接口和noc c1.2 amba接口之间的转换和处理。
4.可见，如果使用amba等标准总线连接上连pcie和下连pcie之间的数据通路，则将会额外地引入上连pcie ctrl和amba接口之间的bridge转接桥以及多个下连pcie ctrl和amba接口之间的bridge，而bridge转接桥的引入又会对pcie hba ioc造成一系列的负面影响。首先，由于这些bridge转接桥占用的资源比较大，并且随着下连pcie子系统的数量增加而增加，这会增加die尺寸，从而增加芯片的成本。其次，在pcie hba ioc的数据传输过程中，bridge必然会增加额外的电源功耗，从而增加pcie hba存储业务的运营成本和潜在的额外散热设施成本，还会引入较大的读写延时，从而影响服务器系统所提供业务的用户体验。此外，在不引入边带信号(sideband signal)的情况下，标准总线无法有效传输pcie tlp特有的控制
和状态信息，而引入边带信号又会增加标准总线的桥及总线网络的复杂性。


技术实现要素：

5.本发明的目的在于提供一种pcie hba ioc内部总线网络互联方法和装置，旨在解决在pcie hba ioc中使用amba等标准总线连接上连pcie和下连pcie之间的数据通路进行数据传输所面临的一系列问题。
6.根据本发明的第一方面，提供了一种pcie hba ioc内部总线网络互联方法，包括：
7.当第一pcie子系统接收到tlp接口数据时，通过所述第一pcie子系统将所述tlp接口数据直接传输到片上总线网络的第一网络接口单元；
8.在所述第一网络接口单元将所述tlp接口数据转换为预定义格式的网络数据传输帧，并将所述网络数据传输帧转发到所述片上总线网络的路由交换逻辑；
9.基于所述网络数据传输帧所包含的路由信息，由所述路由交换逻辑将所述网络数据传输帧发送到所述片上总线网络的第二网络接口单元；
10.在所述第二网络接口单元解析所述网络数据传输帧，得到所述tlp接口数据，并将所述tlp接口数据直接转发到所述pcie hba ioc的第二pcie子系统。
11.优选地，所述第一pcie子系统是与主机服务器相连接的上连pcie子系统，所述第二pcie子系统是与pcie存储设备相连接的下连pcie子系统，并且所述tlp接口数据是所述主机服务器对所述pcie存储设备的读请求数据或写请求数据或者是所述主机服务器对所述pcie存储设备的读响应数据或写响应数据。
12.优选地，所述第一pcie子系统是与pcie存储设备相连接的下连pcie子系统，所述第二pcie子系统是与主机服务器相连接的上连pcie子系统，并且所述tlp接口数据是所述pcie存储设备对所述主机服务器的读响应数据或写响应数据或者是所述pcie存储设备对所述主机服务器的读请求数据或写请求数据。
13.优选地，所述预定义格式的网络数据传输帧包括路由信息、读写操作码及读写操作状态，所述路由信息包含数据传输源信息和数据传输目的地信息，所述读写操作码用于标识当前网络数据传输帧是读操作还是写操作，所述读写操作状态用于标识当前网络数据传输帧是读或写请求状态还是读或写响应状态。
14.优选地，所述基于所述网络数据传输帧所包含的路由信息，由所述路由交换逻辑将所述网络数据传输帧发送到所述片上总线网络的第二网络接口单元，进一步包括：
15.所述路由交换逻辑根据所述路由信息中的所述数据传输目的地信息，确定所述第二pcie子系统，并将所述网络数据传输帧发送到对应于所述第二pcie子系统的第二网络接口单元。
16.根据本发明的第二方面，提供了一种pcie hba ioc内部总线网络互联装置，包括：
17.接收单元，用于当第一pcie子系统接收到tlp接口数据时，通过所述第一pcie子系统将所述tlp接口数据直接传输到片上总线网络的第一网络接口单元；
18.组帧单元，用于在所述第一网络接口单元将所述tlp接口数据转换为预定义格式的网络数据传输帧，并将所述网络数据传输帧转发到所述片上总线网络的路由交换逻辑；
19.路由单元，用于基于所述网络数据传输帧所包含的路由信息，由所述路由交换逻辑将所述网络数据传输帧发送到所述片上总线网络的第二网络接口单元；
20.解帧单元，用于在所述第二网络接口单元解析所述网络数据传输帧，得到所述tlp接口数据，并将所述tlp接口数据直接转发到所述pcie hba ioc的第二pcie子系统。
21.优选地，所述第一pcie子系统是与主机服务器相连接的上连pcie子系统，所述第二pcie子系统是与pcie存储设备相连接的下连pcie子系统，并且所述tlp接口数据是所述主机服务器对所述pcie存储设备的读请求数据或写请求数据或者是所述主机服务器对所述pcie存储设备的读响应数据或写响应数据。
22.优选地，所述第一pcie子系统是与pcie存储设备相连接的下连pcie子系统，所述第二pcie子系统是与主机服务器相连接的上连pcie子系统，并且所述tlp接口数据是所述pcie存储设备对所述主机服务器的读响应数据或写响应数据或者是所述pcie存储设备对所述主机服务器的读请求数据或写请求数据。
23.优选地，所述预定义格式的网络数据传输帧包括路由信息、读写操作码以及读写操作状态，所述路由信息包含数据传输源信息和数据传输目的地信息，所述读写操作码用于标识当前网络数据传输帧是读操作还是写操作。
24.优选地，所述路由单元进一步被配置为：
25.根据所述路由信息中的所述数据传输目的地信息，由所述路由交换逻辑确定所述第二pcie子系统，并将所述网络数据传输帧发送到对应于所述第二pcie子系统的第二网络接口单元。
26.相比于现有技术，本发明的方案通过tlp可以直接和自定义总线网络对接，不再需要标准总线接口的转接桥，减少芯片的设计面积，降低pcie hba ioc的制造成本，并且降低了芯片的运行功耗和读写延时，提升了数据读写的响应速度。通过pcie tlp直接对接自定义总线网络，使得能够传输pcie tlp中的特有的控制和状态信息，而不需要引入边带信号来实现，从而减少了芯片实现的复杂度。
27.本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构和流程来实现和获取。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的是，下面描述中的附图是本发明的某些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
29.图1是根据现有技术的pcie hba ioc的连接结构示意图。
30.图2是根据本发明的pcie hba ioc内部使用标准总线接口互联的内部结构示意图。
31.图3是根据本发明的pcie hba ioc内部使用自定义总线接口互联的内部结构示意图。
32.图4是根据本发明的用于ioc内部互联的网络数据传输帧格式的示意图。
33.图5是根据本发明的pcie hba ioc内部总线网络互联方法的概要流程图。
34.图6是根据本发明的pcie hba ioc内部总线网络互联方法的详细流程图。
具体实施方式
35.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
36.通过对传统技术的总结，本发明提出了一种使用自定义总线网络与pcie tlp直接进行传输而不采用tlp与标准总线之间的转接桥的方法。上连或下连pcie的tlp将与自定义总线网络直接相连接并交互。pcie tlp数据作为一个field(域段)，直接完整封装在预先定义的总线网络数据传输帧(ndtf：network data transfer frame)中，从而在片上总线网络中进行传输，在相应的主从网络接口单元(master/slave-niu)中完成从tlp到ndtf的封装以及从ndtf到tlp的解封装转换。使用本发明提出的自定义总线网络与pcie tlp直接进行传输的方法，一方面通过移除tlp与标准总线之间的转接桥而减少芯片的面积及功耗，降低数据传输的延迟，从而提高系统的性能，另一方面通过将tlp直接完整封装在ndtf中以在总线网络中传输，减少在项目的实施过程中或将来后续的项目中由于pcie tlp演进而导致的迭代改动。
37.图3是根据本发明的pcie hba ioc内部使用自定义总线接口互联的内部结构示意图。如图3所示，主机服务器c0使用pcie接口和pcie hba ioc c1相通信。主机和pcie hba ioc之间的pcie总线接口为i0。pcie hba ioc c1用于提供主机和基于pcie接口的存储设备或扩展设备之间的通信。存储设备可以包括任意类型的磁盘，例如pcie nvme ssd_0c2和pcie nvme ssd_m c3，m表示存储设备的数量，一般在7到31之间。pcie hba ioc c1包括上连pcie子系统c1.1、片上总线网络c1.2、下连pcie_0子系统c1.3、下连pcie_m子系统c1.4以及系统的其它部分c1.5。
38.上连pcie子系统c1.1包括pcie ctrl(pcie控制器)c1.1.1。与上连pcie子系统类似，下连pcie_0子系统c1.3、下连pcie_m子系统c1.4分别包括pcie ctrl c1.3.1和pcie ctrl c1.4.1。m表示下连pcie子系统的数量，一般在7到31之间。pcie ctrl c1.3.1和pcie ctrl c1.4.1分别通过接口i13、i18连接到pcie nvme ssd_0c2和pcie nvme ssd_m c3。
39.片上总线网络noc c1.2用于将pcie hba ioc内的各个子系统互联，并提供数据传输通路。noc主要包括两部分逻辑：网络接口单元niu和路由交换逻辑switch c1.2.1。网络接口单元niu包括主网络接口单元m-niu c1.2.2、c1.2.4、c1.2.6、c1.2.8和从属网络接口单元s-niu c1.2.3、c1.2.5、c1.2.7、c1.2.9。网络接口单元用于将与各子系统的总线接口协议转换为用于内部路由的上述网络数据传输帧ndtf，具体如图4所示。其中，对于本实施例中的上下连pcie子系统c1.1、c1.3、c1.4，网络接口单元m-niu和s-niu可以实现pcie之间的直接互转，包括组帧和解帧。对于系统的其它部分c1.5，网络接口单元m-niu c1.2.8和s-niu c1.2.9可以实现对应接口总线(一般是标准总线)和ndtf之间的互转，在转换过程中，具体的接口总线上的读写操作会被组帧成对应的pcie tlp的形式。ndtf和tlp之间的转换逻辑是直接、简单的，一般在一个时钟周期内就可以完成。
40.其中，片上总线网络(noc)的路由交换逻辑switch c1.2.1用于实现网络接口单元m-niu、s-niu之间的数据传输路由交换。图3中各个m-niu与switch c1.2.1的内部总线连接接口为i3、i5、i9、i14，而各个s-niu与switch c1.2.1的内部总线连接接口为i4、i6、i10、
i15。路由交互都是基于如图4所示的网络数据传输帧ndtf格式来进行的。
41.具体地，主网络接口单元m-niu(master network interface unit)c1.2.2、c1.2.4、c1.2.6、c1.2.8提供片内子系统master接口和片上总线网络noc的连接接口。在本实施例中，网络接口单元m-niu c1.2.2、c1.2.4、c1.2.6分别通过tlp接口i1、i7、i11实现对应pcie master接口之间直接互转，包括组帧和解帧；而m-niu c1.2.8通过接口i16实现系统其它部分c1.5的master接口总线(一般是标准总线)和ndtf之间的互转，在转换过程中，具体的接口总线上的读写操作会被组帧成对应的pcie tlp的形式。
42.从属网络接口单元s-niu(slave network interface unit)c1.2.3、c1.2.5、c1.2.7、c1.2.9提供了片内子系统slave接口和总线网络的连接接口。在本示例中，从属网络接口单元s-niu c1.2.3、c1.2.5、c1.2.7分别通过tlp接口i2、i8、i12实现对应pcie slave接口之间的直接互转(包括组帧和解帧)；而s-niu c1.2.9通过接口i17实现其他部分c1.5的slave接口总线(一般是标准总线)和ndtf之间的互转。类似地，在转换过程中，具体的接口总线上的读写操作也会被组帧成对应的pcie tlp的形式。
43.在m-niu/s-niu的传输接口选择上，从应用的角度，主机服务器和存储设备存在两种类型的通路：
44.对于控制/配置通路，主机服务器对存储设备进行控制和配置，此时控制数据的请求和响应是从主机服务器经过上连pcie子系统的master端口传输到主网络接口单元m-niu，进而转发到switch，之后switch将数据传输到从属网络接口单元s-niu，再转发到下连pcie子系统，最终到达存储设备。
45.对于数据通路，当发送数据的一侧选择主网络接口单元m-niu时，接收数据的另一侧需要选择从属网络接口单元s-niu。作为响应，当返回数据时，同样采用上述已建立的从属网络接口单元s-niu和主网络接口单元m-niu的通路。例如，由于数据传输的操作可以是存储设备主动触发的，此时存储设备可以充当master的角色主动请求从主机读取数据，这种情况下，存储设备的读请求是通过下连pcie子系统的master端口传输到相应的主网络接口单元m-niu，进而转发到switch，之后switch将数据传输到从属网络接口单元s-niu，再转发到上连pcie子系统的slave端口。对于读响应的返回通路，经过的是同样的组件，区别仅在于数据方向相反。
46.在本发明的上述具体示例中，由于pcie hba ioc的片上总线网络noc的内部数据传输和交换是基于网络数据传输帧ndtf的，因此在下文中，对图4所示的ndtf的各域段详细说明如下：
47.1.域段f0为路由信息域段route_info。route_info中包含有source(数据传输源)和destination(数据传输目的地)的master/slave id路由信息。
48.2.域段f1为读或写的操作码rw_code。当rw_code被设置为read code时，表示当前网络数据传输帧是读操作；当rw_code被设置为write code时，表示当前网络数据传输帧是写操作。
49.3.域段f2是读或写的操作状态域段rw_status。根据具体的读写操作阶段，rw_status可以设置为：读请求数据read_req、读响应数据read_rsp、写数据请求write_req和写响应write_rsp。
50.4.域段f3是tlp长度域段tlp_length，用于标识tlp的长度。
51.5.域段f4是相关信息域段misc_info，用于标识其它的信息，例如可以是安全、调试、状态等自定义信息。
52.6.域段f5是tlp域段即pcie协议中定义的tlp，各个子系统之间的读写请求、数据及地址等信息会被封装在tlp中，具体的pcie tlp的格式可参考pcie标准规范。
53.在图3的连接结构的基础上，参见图5的流程图，本发明提供的所述pcie hba ioc内部总线网络互联方法包括：
54.步骤101：当pcie hba ioc的第一pcie子系统接收到tlp接口数据时，所述第一pcie子系统将所述tlp接口数据直接传输到所述片上总线网络noc的第一网络接口单元。
55.第一pcie子系统和第二pcie子系统作为片内总线的互联通信双方，可以分别是与pcie hba ioc相连接的任意两个不同的pcie子系统。例如当第一pcie子系统是上连pcie子系统时，第二pcie子系统可以是下连pcie子系统，反之亦然。每个pcie子系统具有各自的pcie控制器，因此pcie子系统所发出的访问数据均为tlp格式，例如来自主机的tlp访问请求或者响应数据，或来自存储设备的tlp访问请求或者响应数据。
56.步骤102：在所述第一网络接口单元将所述tlp接口数据转换为预定义格式的网络数据传输帧，并将所述网络数据传输帧转发到所述片上总线网络noc的路由交换逻辑。
57.通过移除tlp接口与标准总线接口的转接桥，网络接口单元m-niu或s-niu可以直接连接到每个pcie子系统各自的pcie控制器。并且第一网络接口单元可以直接接收第一pcie子系统转发的tlp接口数据。根据上文所描述的直接互转操作，相应的网络接口单元完成组帧操作，将tlp格式的接口数据转换为ndtf帧格式。
58.步骤103：基于所述网络数据传输帧所包含的路由信息，由所述路由交换逻辑将所述网络数据传输帧发送到所述片上总线网络noc的第二网络接口单元。
59.片上总线网络noc的内部数据传输和交换都是基于网络数据传输帧ndtf的，并且参见图4所示，ndtf帧信息至少包含路由信息域段route_info，其包含有数据传输源和目的路由信息。因此所述路由交换逻辑可以得到当前ndtf帧的目的pcie子系统，并将ndtf帧发送到与目的pcie子系统相对应的第二网络接口单元。
60.步骤104：在所述第二网络接口单元解析所述网络数据传输帧，得到所述tlp接口数据，并将所述tlp接口数据直接转发到所述pcie hba ioc的第二pcie子系统。
61.与第一网络接口单元类似，第二网络接口单元也可以直接与第二pcie子系统的pcie控制器相连接，并向第二pcie子系统直接发送tlp接口数据。然而在发送之前，还需要相应的网络接口单元完成解帧操作，即对应于组帧操作，从ndtf到tlp格式的转换操作。
62.由此，第二pcie子系统就可以接收到来自第一pcie子系统的原始tlp数据，实现互联操作。
63.本发明提出的使用自定义总线网络与pcie tlp直接进行传输的方法示意流程示例如图6所示。步骤s0-s14描述了pcie nvme ssd c2从主机内存读数据的完成流程，具体说明如下：
64.1.步骤s0：开始。
65.2.步骤s1：nvme ssd c2发出从主机c0读数据的请求tlp。
66.3.步骤s2：与nvme ssd c2连接的下连pcie子系统c1.3将读请求数据tlp转发到所连接的主网络接口单元m_niu c1.2.4。
67.4.步骤s3：m_niu c1.2.4将读请求数据tlp转换成片内读请求网络数据传输帧rr-ndtf(read request network data transfer frame)并转发到switch c1.2.1。
68.5.步骤s4：switch c1.2.1将读请求网络数据传输帧rr-ndtf转发到与上连pcie系统c.1.1相连接的从属网络接口单元s_niu c1.2.3。
69.6.步骤s5：s_niu c1.2.3解析处理读请求网络数据传输帧rr-ndtf，抽取出读请求数据tlp并转发到上连pcie系统c.1.1。
70.7.步骤s6：上连pcie系统c.1.1将读请求数据tlp转发到主机c0。
71.8.步骤s7：主机c0接收到读请求数据tlp，从主机内存读取数据，将数据打包成读响应数据tlp并转发回上连pcie系统c.1.1。
72.9.步骤s8：上连pcie子系统c1.1将读响应数据tlp转发到s_niu c1.2.3。
73.10.步骤s9：s_niu c1.2.3将读响应数据tlp转换成片内读响应数据网络数据传输帧rd-ndtf(read response data network data transfer frame)并转发到switch c1.2.1。
74.11.步骤s10：switch c1.2.1将读响应数据网络数据传输帧rd-ndtf转发到m_niu c1.2.4。
75.12.步骤s11：m_niu c1.2.4解析处理读响应数据网络数据传输帧rd-ndtf，抽取出读响应数据tlp并发到下连pcie系统c.1.3。
76.13.步骤s12：下连pcie系统c.1.3将读响应数据tlp转发回nvme ssd c2。
77.14.步骤s13：nvme sdd c2接收读响应数据tlp并解析获取读数据并存储到指定位置的存储介质。
78.15.步骤s14：结束。
79.尽管图6的示例给出的是读数据操作过程，但本领域技术人员可以理解，写数据操作过程和读操作过程从总线传输的角度是类似的，只需要将ndtf相关域段设置成写操作的对应格式即可，在此不再赘述。
80.本发明提出的pcie hba ioc内部总线网络互联方法，使用自定义总线网络与pcie tlp直接进行传输。与现有技术相比较，本发明的技术方案具备以下方面的优点：
81.1)减少芯片的die尺寸，降低芯片制造成本
82.标准总线接口的转接桥一般会占到pcie系统总面积的10％～25％，因此使用本发明的技术方案，在下连pcie子系统较多的情况下，所节省的转接桥的面积是相当可观的。tlp可以直接和自定义总线网络对接，不再需要标准总线接口的转接桥，可以显著地减少芯片的die尺寸，从而显著降低pcie hba ioc的制造成本。
83.2)减少功耗，降低运营成本
84.使用本发明的技术方案，由于tlp可以直接和自定义总线网络对接，不再需要标准总线接口的转接桥，故而可以节省原本消耗在标准总线接口的转接桥的功耗，从而减少pcie hba存储业务的运营成本，以及减少潜在的额外散热设施成本。
85.3)减少主机和存储设备之间的数据传输延时，提升性能和用户体验
86.以amba标准总线为例，bridge会引入约20ns左右的延时。如果pcie hba ioc一次读或写数据的操作需要跨2～4次bridge，则会引入大约40～80ns左右的延时。使用本发明的技术方案，至少节省了大约40～80ns的读写延时，这对于数
据读写的响应速度有较大提升，从而提升服务器系统所提供业务的用户体验。
87.4)便于高效传输pcie tlp的特有信息，减少由于pcie协议演进而引入的迭代改动
88.使用本发明的技术方案，pcie tlp可以直接和自定义总线网络对接，使得能够传输pcie tlp中的特有的控制和状态信息，而不需要引入边带信号(sideband signal)来实现，从而减少了芯片实现的复杂度，并且随着pcie总线的不断的迭代演进，pcie和片内总线网络之间的交互逻辑可以较好地实现重用，从而减少项目潜在的迭代改动。
89.相应地，本发明在第二方面提供了一种pcie hba ioc内部总线网络互联装置，包括：
90.接收单元，用于当第一pcie子系统接收到tlp接口数据时，通过所述第一pcie子系统将所述tlp接口数据直接传输到片上总线网络的第一网络接口单元；
91.组帧单元，用于在所述第一网络接口单元将所述tlp接口数据转换为预定义格式的网络数据传输帧，并将所述网络数据传输帧转发到所述片上总线网络的路由交换逻辑；
92.路由单元，用于基于所述网络数据传输帧所包含的路由信息，由所述路由交换逻辑将所述网络数据传输帧发送到所述片上总线网络的第二网络接口单元；
93.解帧单元，用于在所述第二网络接口单元解析所述网络数据传输帧，得到所述tlp接口数据，并将所述tlp接口数据直接转发到所述pcie hba ioc的第二pcie子系统。
94.可以理解，上述实施例中描述的数据帧格式、元件拓扑结构和功能模块的数量仅为举例。本领域技术人员还可以根据使用需要，对以上多个实施例的结构特征进行容易想到的组合和调整，或调整上述方法流程的个别步骤的参数或顺序，例如对ndtf的具体帧格式作出适应性调整，而不应将本发明的构思限制于上述示例的具体结构和步骤。
95.尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。