一种高效网络设备统计数据管理与获取方法与流程

本申请涉及网络设备软件，特别涉及一种高效网络设备统计数据管理与获取方法。

背景技术：

1、在网络转发平台、系统或设备中，白盒化需求以及网络监控指标要求越来越高，在处理大量流量的过程中需要收集各种统计信息，以监控网络状况、排查问题、规划策略等，由此会在系统或设备中设计并内嵌多维度的监控与统计的锚点，加之巨量规格的网络承载需求，最终产生海量的统计数据和统计指标，数据内存管理无法高效统一，数据获取方法耗时长、性能低下，使得统计数据的获取和上报变的困难。主要体现在：

2、(1)多模块多维度的统计信息，通常离散在各自模块实现，数据发生端及数据获取端均需要进行数据汇聚和整合，新增统计数据类型或扩展统计数据字段时，两端需要重新定义消息或者对齐数据结构，不易于数据结构和数据类型的灵活扩展；

3、(2)数据发生端和数据获取端通常在不同进程或服务上，现有方案的数据通信一般基于socket或者其他ipc，比如message queue机制来交换数据或消息。数据获取过程需要定义大量的消息类型，并需要根据数据规格进行数据段拆分且数据获取过程需要拷贝数据。此种设计方法不仅需要额外实现大量的统计逻辑，且低通信效率会导致数据的异步化，进而导致数据失真或失效。

技术实现思路

1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种高效网络设备统计数据管理与获取方法、系统、电子设备以及可读存储介质，本申请提出一种高效网络设备统计数据管理与获取方法，采用创建和映射共享内存段的方式，按数据类型、数据模块、统计变量等目录递进方式来统一组织和存储网络设备的统计数据，并基于消息通道进行数据获取方法的优化，实现高效、低延迟的网络设备流量统计管理。

2、本申请公开的第一个方面，提供一种高效网络设备统计数据管理与获取方法，所述方法包括：

3、系统初始化并申请设计共享内存，所述系统设计共享内存段，所述共享内存段的结构包括共享内存头和统计项条目结构；

4、所述共享内存段进行初始化，所述系统对统计项条目结构进行管理，所述系统定义统计项条目内存结构，统计项条目向量中集合了所有统计类型的条目，根据条目名称和类型，实现统计实例的内存访问；

5、所述项条目内存结构类型包括软链接类型条目和向量类型条目，所述软链接类型条目通过注册方式动态增加或删除和向量类型条目通过注册方式动态增加或删除；

6、客户端获取统计数据。

7、本申请公开的第二个方面，提供一种高效网络设备统计数据管理与获取系统，所述系统包括：

8、设计共享内存模块，用于系统初始化并申请设计共享内存，所述系统设计共享内存段，所述共享内存段的结构包括共享内存头和统计项条目结构；

9、共享内存段管理模块，用于所述共享内存段进行初始化，所述系统对统计项条目结构进行管理，所述系统定义统计项条目内存结构，统计项条目向量中集合了所有统计类型的条目，根据条目名称和类型，实现统计实例的内存访问；

10、项条目内存管理模块，用于所述项条目内存结构类型包括软链接类型条目和向量类型条目，所述软链接类型条目通过注册方式动态增加或删除和向量类型条目通过注册方式动态增加或删除；

11、获取统计数据模块，用于客户端获取统计数据。

12、本申请公开的第三个方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现一种高效网络设备统计数据管理与获取方法中的步骤。

13、本申请公开的第四个方面，一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行所述的一种高效网络设备统计数据管理与获取方法中的步骤。

14、与现有技术相比，本申请提出的一种高效网络设备统计数据管理与获取方法，本申请的优点在于：

15、本申请采用共享内存的方式管理统计数据，使得客户端获取统计数据时，可直接访问共享内存，避免大量的数据拷贝，提升了访问效率和性能；

16、本申请提到的方法中，将离散的统计项，按数据类型、数据模块、统计变量等目录递进方式在共享内存中再次进行编排组织，设计软链接类型的统计项条目，自动聚合统计数据，使得客户端获取数据时不需关心底层复杂的节点实现，减少了客户端对于统计数据的再次整合；

17、本申请基于共享内存方式管理统计数据，当新增统计数据类型或扩展统计数据字段时，客户端不需要重新定义消息或者对齐数据结构，易于数据结构和数据类型的灵活扩展；

18、基于共享内存方式实现统计，数据获取过程不再需要定义大量的消息类型，不需要根据数据规格进行数据段拆分和数据拷贝。使得客户端获取统计数据的逻辑简单，提升通信效率；

19、本申请基于共享内存组织统计数据时，设计了共享内存版本号和互斥访问标志位，统计数据服务端操作内存过程会使用自旋锁保护，解决了数据同步和并发访问的问题，有效避免内存访问问题以及数据失真失效问题。

技术特征：

1.一种高效网络设备统计数据管理与获取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种高效网络设备统计数据管理与获取方法，其特征在于，所述共享内存段进行初始化的步骤，包括：

3.根据权利要求2所述一种高效网络设备统计数据管理与获取方法，其特征在于，所述在进程地址空间中映射由文件描述符fd指定的文件，获取可访问的虚拟内存区域的步骤，包括：

4.根据权利要求1所述一种高效网络设备统计数据管理与获取方法，其特征在于，所述系统定义统计项条目内存结构，统计项条目向量中集合了所有统计类型的条目，根据条目名称和类型，实现统计实例的内存访问的步骤，包括：

5.根据权利要求1所述一种高效网络设备统计数据管理与获取方法，其特征在于，所述软链接类型条目通过注册方式动态增加或删除的步骤，包括：

6.根据权利要求1所述一种高效网络设备统计数据管理与获取方法，其特征在于，所述向量类型条目通过注册方式动态增加或删除的步骤，包括：

7.根据权利要求1所述一种高效网络设备统计数据管理与获取方法，其特征在于，所述客户端获取统计数据的步骤，包括：

8.一种高效网络设备统计数据管理与获取系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现如权利要求1-7任一所述的一种高效网络设备统计数据管理与获取方法中的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-7任一项所述的一种高效网络设备统计数据管理与获取方法。

技术总结
本申请公开一种高效网络设备统计数据管理与获取方法，包括：系统初始化并申请设计共享内存，所述系统设计共享内存段，所述共享内存段的结构包括共享内存头和统计项条目结构；所述共享内存段进行初始化，所述系统对统计项条目结构进行管理，所述系统定义统计项条目内存结构，统计项条目向量中集合了所有统计类型的条目，根据条目名称和类型，实现统计实例的内存访问；所述项条目内存结构类型包括软链接类型条目和向量类型条目，所述软链接类型条目通过注册方式动态增加或删除和向量类型条目通过注册方式动态增加或删除；客户端获取统计数据。本申请可实现高效、低延迟的网络设备流量统计管理。

技术研发人员：王敬瑞,程相卿,陈鹏,廖上榜,邓权航,谢龙,任帅
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/3/24