存储-计算-传输一体化的网络功能基础平台结构及方法

存储
‑
计算
‑
传输一体化的网络功能基础平台结构及方法
技术领域
1.本发明涉及计算机网络技术领域，尤其涉及一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构及数据包处理方法。


背景技术：

2.随着网络规模逐步扩大和用户数量不断增加，各类网络应用呈现百花齐放的发展态势。互联网的多元化应用和大规模部署在给整个社会的生产生活带来便捷的同时，也给网络的扩张与发展带来了一系列新挑战，例如，高复杂度的网络功能、高质量的网络服务、快速而有效的网络部署、网络故障检测等。
3.近年来，为解决传统交换机单一转发导致的表达能力不足问题，相关研究人员提出了可编程数据平面技术，如openflow、pof、p4、flowblaze等。通过将控制平面与数据平面分离解耦，运用集中式控制器以标准化的接口对网络设备进行配置和管理，增强了网络管控的灵活性与支持新协议的能力，那么这将为网络设备的管理和编程提供更多的可能性，赋予了数据平面可编程性。
4.在现有的可编程数据平面中，用户关注的是描述包转发功能(例如专利文献cn108234339a公开了一种可编程数据平面的报文转发方法)，供应商关注的是模型和目标。然而，随着网络功能日趋复杂，控制器负担越来越重，数据平面单一的转发数据包无法对硬件设备进行充分利用。


技术实现要素：

5.针对现有的可编程数据平面无法对硬件设备进行充分利用的问题，本发明提供一种具有存储
‑
计算
‑
传输一体化能力的网络功能基础平面结构及方法，可以提高数据平面的表达能力和对数据包的处理能力。
6.一方面，本发明提供一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构，包括：解析器、可定义转发计算存储流水线、逆解析器和调度器；其中，所述可定义转发计算存储流水线包括多个数据包处理模型单元；
7.所述解析器，用于解析并提取数据包头的各个字段，根据提取到的字段信息分析数据包需要进行的处理模式，并为所述数据包打上对应的处理模式标签；其中，所述处理模式包括：计算模式、存储模式和转发模式；
8.所述可定义转发计算存储流水线，用于接收由解析器输出的数据包，根据所述数据包的处理模式标签将其分配至对应的数据包处理模型单元进行数据处理；
9.所述调度器，用于按照数据包头的各个字段的处理时间顺序先后调度所述可定义转发计算存储流水线输出的数据内容；
10.所述逆解析器，用于在调度器的协助下，异步地将所述调度器调度的数据内容重新封装为数据包。
11.进一步地，每个所述数据包处理模型单元均包括转发流水线、计算流水线和存储
单元；
12.所述转发流水线包括依次相连接的所述解析器、多模态计算存储归一化接口、上下文加载模块和所述逆解析器；
13.所述计算流水线包括可定制计算单元；所述可定制计算单元从存储单元中提取存储信息以用于实现不同的计算功能；
14.所述存储单元与所述可定制计算单元相连接，用于存储所述可定制计算单元的计算结果。
15.另一方面，本发明提供一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构的数据包处理方法，包括：
16.接收数据包，通过解析器解析并提取数据包头的各个字段，根据提取到的字段信息分析数据包需要进行的处理模式，并为所述数据包打上对应的处理模式标签；其中，所述处理模式包括：计算模式、存储模式和转发模式；
17.通过可定义转发计算存储流水线对解析器输出的数据包按照所述数据包携带的处理模式标签将其分配至对应的数据包处理模型单元进行数据处理；
18.通过调度器按照数据包头的各个字段的处理时间顺序先后调度所述可定义转发计算存储流水线输出的数据内容；
19.通过逆解析器异步地将调度器调度的数据内容重新封装为数据包并转发。
20.进一步地，所述数据包处理模型单元进行数据处理的过程包括：
21.通过多模态计算存储归一化接口接收解析器输出的数据包，将数据包的上下文信息序列化至内存缓冲区，同时将携带计算模式标签、存储模式标签的数据包分别分配至可定制计算单元的处理队列、存储单元的处理队列；
22.当可定制计算单元和/或存储单元完成计算和或存储操作后，内存缓冲区将从可定制计算单元和/或存储单元的结果队列中输出数据包；
23.通过上下文加载模块接收内存缓冲区输出的数据包，并反序列化提取修改后的数据包数据、数据包大小和上下文标识符；
24.通过调度器根据提取的上下文标识符、数据包大小将数据包数据传输至逆解析器进行重新封装。
25.本发明的有益效果：
26.本发明提供的一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构及数据包处理方法，其基本思想是：在网络的数据平面，设计一种具有存储
‑
计算
‑
传输一体化功能的网络基础平台结构，基于存储
‑
计算
‑
传输一体化融合思想，对数据包处理模型单元以及处理模型单元所包含的各个子模块均实施一体化改造，主要体现以下两个方面：在宏观层面，设计了多种功能的数据包处理模型单元，共同对输入数据包进行计算、存储、传输处理；在微观层面，对于数据包处理模型单元中各个模块进行一体化设计，构建了以状态标签为核心的数据包处理模式识别，并向相应的处理单元移交数据包，通过对网络功能基础平台架构同时进行模型(宏观)和模块(微观)一体化设计，有效地提高网络平台的综合功能，提升网络平台处理能力。
附图说明
27.图1为本发明实施例提供的一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构的结构框图；
28.图2为本发明实施例提供的数据包处理模型单元的结构原理示意图；
29.图3为本发明实施例提供的一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构的数据包处理方法的流程示意图。
具体实施方式
30.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.如图1所示，本发明实施例提供一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构，包括：解析器、可定义转发计算存储流水线、逆解析器和调度器；其中，所述可定义转发计算存储流水线包括多个数据包处理模型单元；其中：
32.所述解析器用于解析并提取数据包头的各个字段，根据提取到的字段信息分析数据包需要进行的处理模式，并为所述数据包打上对应的处理模式标签；其中，所述处理模式包括：计算模式、存储模式和转发模式。所述可定义转发计算存储流水线用于接收由解析器输出的数据包，根据所述数据包的处理模式标签将其分配至对应的数据包处理模型单元进行数据处理。所述调度器用于按照数据包头的各个字段的处理时间顺序先后调度所述可定义转发计算存储流水线输出的数据内容。所述逆解析器用于在调度器的协助下，异步地将所述调度器调度的数据内容重新封装为数据包。
33.作为一种可实施方式，如图2所示，每个所述数据包处理模型单元均包括转发流水线、计算流水线和存储单元；其中：
34.所述转发流水线包括依次相连接的所述解析器、多模态计算存储归一化接口、上下文加载模块和所述逆解析器；所述计算流水线包括可定制计算单元；所述可定制计算单元从存储单元中提取存储信息以用于实现不同的计算功能；所述存储单元与所述可定制计算单元相连接，用于存储所述可定制计算单元的计算结果。
35.具体地，多模态计算存储归一化接口接收数据包并进行预处理，包括入口的上下文记录；上下文加载用于提取存储信息，便于计算和传输，包括数据包状态恢复等；
36.本发明实施例提供的存储
‑
计算
‑
传输一体化的网络功能基础平台结构，通过宏观上的一体化顶层设计和微观上引入多个处理模块组成数据包处理模型单元形成一体化处理实体。具体而言，在宏观层面，数据包处理模型单元范式一体化；在微观层面，数据包处理模型单元中各个模块(解析器、多模态计算存储归一化接口、上下文加载模块、可定制计算单元、存储单元和逆解析器)一体化。
37.其中，数据包处理模型单元一体化是指：本发明首先将数据包的处理模式定义为存储、计算、传输三种模式，数据包首先进入解析器，并由解析器分析其行为(即处理模式)后打上模式标签。数据包携带模式标签进入数据包处理模型单元，依据模式标签，通过调度器对数据包进行调度，将数据包分别进行存储、计算、传输，三者同时并行处理，而后由调度
器进行按序重组，数据包在逆解析器中重新打包提交给上层设备。
38.数据包处理模型单元内部模块拟态化：数据包处理模型单元主要包含解析器、多模态计算存储归一化接口、上下文加载模块、可定制计算单元、存储单元和逆解析器；基于存储
‑
计算
‑
传输一体化抽象模型，分别对上述6个模块进行拟态化处理，具体过程类比数据包处理模型单元一体化过程。
39.本发明实施例通过将存储
‑
计算
‑
传输一体化技术引入数据平面的网络功能基础平台结构中，形成存储
‑
计算
‑
传输一体化的网络功能基础平台架构可以极大提升对于复杂网络功能的支持，有效地提高网络平台的综合功能，提升网络平台处理能力。
40.对应上述的存储
‑
计算
‑
传输一体化的网络功能基础平台结构，如图3所示，本发明实施例还提供一种存储
‑
计算
‑
传输一体化的网络功能基础平台结构的数据包处理方法，包括以下步骤：
41.s101：接收数据包，通过解析器解析并提取数据包头的各个字段，根据提取到的字段信息分析数据包需要进行的处理模式，并为所述数据包打上对应的处理模式标签；其中，所述处理模式包括：计算模式、存储模式和转发模式；
42.s102：通过可定义转发计算存储流水线对解析器输出的数据包按照所述数据包携带的处理模式标签将其分配至对应的数据包处理模型单元进行数据处理；
43.作为一种可实施方式，结合图2所示，所述数据包处理模型单元进行数据处理的过程包括：
44.通过多模态计算存储归一化接口接收解析器输出的数据包，将数据包的上下文信息序列化至内存缓冲区，同时将携带计算模式标签、存储模式标签的数据包分别分配至可定制计算单元的处理队列、存储单元的处理队列；
45.当可定制计算单元和/或存储单元完成计算和或存储操作后，内存缓冲区将从可定制计算单元和/或存储单元的结果队列中输出数据包；
46.通过上下文加载模块接收内存缓冲区输出的数据包，并反序列化提取修改后的数据包数据、数据包大小和上下文标识符；
47.通过调度器根据提取的上下文标识符、数据包大小将数据包数据传输至逆解析器进行重新封装。
48.s103：通过调度器按照数据包头的各个字段的处理时间顺序先后调度所述可定义转发计算存储流水线输出的数据内容；
49.s104：通过逆解析器异步地将调度器调度的数据内容重新封装为数据包并转发。
50.具体地，现有技术中，在实际数据包处理过程中，由于缺乏一体化思想，在可编程数据平面，用户自定义的程序存在数据包反复进入流水线带来的额外性能开销的问题。事实上，对数据平面来说，完成数据包转发是其首要任务，计算存储任务不应该影响转发流水线对其他数据包的处理，因此本发明实施例将计算、存储模块通过多模态计算存储归一化接口异步调用。
51.并且，在处理有计算、存储需求的数据包时，其他数据包不应该影响这些异步处理的数据包的上下文(如本地变量、元数据等)。事实上，所有并发处理的数据包都需要一个单独的上下文。因此在向计算、存储模块发送数据包之前，本发明实施例通过多模态计算存储归一化接口将数据包上下文信息序列化到内存缓冲区以进行异步操作。具有计算存储任务
需求的数据包进入相应的处理队列。当完成异步计算存储时，内存缓冲区将从计算、存储单元的结果队列中输出数据包(可采用dpdk中burst方式以提高传输速率)。然后，反序列化提取修改后的数据包数据、数据包大小和上下文标识符等信息，并调用解析器控件以重新进入转发流水线。
52.从上述内容可知，本发明实施例提供的存储
‑
计算
‑
传输一体化的网络功能基础平台结构的数据包处理方法，通过步骤s101至步骤104串行执行，以及步骤s102中数据包处理模型理单元中的存储、计算、转发三者之间的并行处理过程，共同对输入数据包进行处理，极大的提高数据包处理速度，可以有效地提高网络平台对复杂网络功能实现的支撑力度，保证网络平台性能和表达性。
53.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。