一种基于图的异构网络ICT资源分析方法与流程

本发明属于信息资源分析，具体涉及一种基于图的异构网络ict资源分析方法。

背景技术：

1、随着信息与通信技术(ict，information and communications technology)的快速发展，网络环境日益复杂，项目上的网络资源同时存在于私有云、公有云及混合云的情况，异构网络已成为现代通信系统的重要组成部分，然而，异构网络中的ict资源(如计算资源、存储资源、网络资源等)种类繁多、结构复杂，给资源的管理和分析带来了巨大挑战。如何有效地自动采集这些资源的信息成为了一个亟待解决的问题。传统的资源分析方法往往难以应对异构网络中的复杂性和动态性，需要人工干预，导致资源利用率低下、管理成本高昂。

2、且现有技术还存在以下缺陷：

3、1、采集效率低下：传统的ict资源数据采集采用手工采集或半自动化，通过手工绑定资源之间的关系，需要大量的人力和时间投入，特别是在处理大规模复杂的异构网络环境时，手工采集容易出现疏漏和错误，效率更低。

4、2、不支持跨网络环境采集：传统的采集工具对于复杂的异构网络环境的支持有限，只能采集相同网络环境的资源数据，很难满足复杂环境的网络资源采集业务需求。

5、3、缺乏自动更新机制：ict网络环境是动态变化的，ict资源及关系随着网络拓扑的调整和业务需求的变化而频繁更新。传统的采集方法往往难以及时跟踪和更新资源网络拓扑图，导致资源网络拓扑图与实际情况不一致。

6、针对上述现有业务的需求和技术中存在中的问题，现有技术的采集方法已难以满足大规模、动态变化的ict资源管理需求。因此，需要开发一种能够自动、高效地在异构网络环境中采集分析ict资源信息的方法。

技术实现思路

1、本发明针对现有技术存在的问题，提供了一种基于图的异构网络ict资源分析方法。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种基于图的异构网络ict资源分析方法，包括以下步骤：步骤1、基于ict资源的不同类型，对ict资源进行分组，构建基于图的资源模型；步骤2、安装软件；步骤3、根据不同资源类型，部署采集插件至异构网络中的主机上；步骤4、通过运行采集插件，采集ict资源的数据信息并存储到时序数据库中；步骤5、对采集到的数据信息进行数据转换与清洗；步骤6、将清洗后的数据信息存储到关系数据库中，并建立数据管理系统进行管理和维护；步骤7、基于资源模型和采集数据的基础上，利用图计算技术对ict资源进行分析和优化；步骤8、通过网络扫描工具实时检测异构网络上的ict资源，自动发现资源并纳入管理。

4、基于上述技术方案，更进一步地，步骤1中，采用图数据库存储资源模型，将异构网络中的ict资源抽象为图的资源模型中的节点和边，其中，节点代表各种ict资源；边则代表各种ict资源之间的连接关系和依赖关系。

5、基于上述技术方案，更进一步地，步骤2中，安装的软件包括agent及proxy。

6、基于上述技术方案，更进一步地，步骤3中，采集插件包括但不限于：nodeexporter，用于收集主机硬件信息和操作系统信息；nginx exporter，用于收集nginx的指标数据；redis exporter，用于收集redis的各种性能指标，snmp exporter，用于通过snmp协议采集snmp客户端数据。

7、基于上述技术方案，更进一步地，步骤5中，采用etl技术进行数据转换和清洗，采用datax工具，datax包含但不限于进行如下处理：数据映射：支持自定义数据映射规则，可以根据需求将数据从一种形式转换为另一种形式；字段计算：可以定义复杂的计算逻辑，对数据进行加工和转换；数据聚合：提供数据聚合功能，可以将多个数据源的数据按照特定规则进行合并和汇总；异常值检测与处理：提供多种异常值检测方法，如基于统计学的阈值检测、基于聚类的异常点识别等；数据去重：提供数据去重功能，可以基于特定字段(如主键)来识别并删除重复记录，避免数据冗余对分析结果造成干扰；格式标准化：可以将不同格式的数据统一转换为标准格式，确保数据的一致性和可比性。

8、基于上述技术方案，更进一步地，步骤6中，数据管理系统至少包括数据的备份、恢复及更新的操作。

9、基于上述技术方案，更进一步地，步骤7中，不同的节点和连接关系构成了复杂的图结构，并将这些节点和连接关系以图数据库的形式进行存储和管理。

10、基于上述技术方案，更进一步地，步骤7中，异构网络ict资源分析过程为：采用图遍历算法对节点和边进行遍历和提取，其中，图遍历算法包括广度优先搜索和深度优先搜索。

11、基于上述技术方案，更进一步地，步骤8中，通过nmap网络扫描工具扫描网络上的ict资源，当检测到新的ict资源时，对资源的关键特征和特征库进行匹配，识别出潜在的资源并纳入资产管理；对于未识别到关键特征的ict资源，默认归类到未知资源中，进行人工检查及核对处理。

12、基于上述技术方案，更进一步地，在整个ict资源分析过程中还进行安全与隐私保护操作，安全与隐私保护操作至少包括数据加密传输、访问控制和匿名化处理。

13、相对于现有技术，本发明具有以下有益效果：

14、本发明通过构建基于图的资源模型，适用于多种类型和关系的ict资源，增强了在复杂异构网络环境中的适用性和灵活性；并且采用数据转换和清洗技术，确保了采集数据的准确性和可靠性；还通过图计算技术对ict资源进行分析，识别出网络中的关键资源、瓶颈资源、冗余资源等，制定相应的资源优化策略；还通过网络扫描工具自动发现资源，识别出潜在的资源并纳入资产管理；且还采用oauth2确保ict资源信息的安全和用户隐私的保护。本发明整体涉及自动化采集显著减少人工介入，提高资源信息收集的效率和准确性；且具有良好的灵活性和可扩展性，可以根据实际需求进行定制和优化。

技术特征：

1.一种基于图的异构网络ict资源分析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤1中，采用图数据库存储ict资源模型，将异构网络中的ict资源抽象为图的资源模型中的节点和边，其中，节点代表各种ict资源；边则代表各种ict资源之间的连接关系和依赖关系。

3.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤2中，安装的软件包括agent及proxy。

4.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤3中，采集插件包括但不限于：node exporter，用于收集主机硬件信息和操作系统信息；nginx exporter，用于收集nginx的指标数据；redis exporter，用于收集redis的各种性能指标，snmp exporter，用于通过snmp协议采集snmp客户端数据。

5.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤5中，采用etl技术进行数据转换和清洗处理，采用datax工具，datax至少进行如下处理：

6.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤6中，数据管理系统至少包括数据的备份、恢复及更新的操作。

7.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤7中，不同的节点和连接关系构成了图结构，并将这些节点和连接关系以图数据库的形式进行存储和管理。

8.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤7中，异构网络ict资源分析过程为：采用图遍历算法对节点和边进行遍历和提取，其中，图遍历算法包括广度优先搜索和深度优先搜索。

9.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：步骤8中，通过nmap网络扫描工具扫描网络上的ict资源，当检测到新的ict资源时，对资源的关键特征和特征库进行匹配，识别出潜在的资源并纳入资产管理；对于未识别到关键特征的ict资源，默认归类到未知资源中，进行人工检查及核对处理。

10.根据权利要求1所述的一种基于图的异构网络ict资源分析方法，其特征在于：在整个ict资源分析过程中还进行安全与隐私保护操作，安全与隐私保护操作至少包括数据加密传输、访问控制和匿名化处理。

技术总结
本发明一种基于图的异构网络ICT资源分析方法，属于信息资源分析技术领域，方法包括基于ICT资源的不同类型，对ICT资源进行分组，构建基于图的资源模型；安装软件；根据不同资源类型，部署采集插件至异构网络中的主机上；通过运行采集插件，自动采集ICT资源信息并存储到时序数据库中；对采集到的数据信息进行数据转换与清洗；将清洗后的数据信息存储到关系数据库中，并建立数据管理系统进行管理和维护；基于资源模型和采集数据的基础上，利用图计算技术对ICT资源进行分析和优化；通过网络扫描工具实时检测异构网络上的ICT资源，自动发现资源并纳入管理。本发明采用数据转换和清洗技术，确保了采集数据的准确性和可靠性。

技术研发人员：王鹏亮,刘建城,陈曦,李如旺,钟国海
受保护的技术使用者：广州丰石科技有限公司
技术研发日：
技术公布日：2025/4/14