算力网络数据转化方法、装置、服务器及电子设备与流程

1.本发明涉及云计算技术领域，尤其涉及一种算力网络数据转化方法、装置、服务器及电子设备。


背景技术：

2.算力网络融合了算力、网络、人工智能、大数据、区块链等多要素，算力网络具有向客户提供基础算网支撑的能力，因此算力网络对数据传递的有效性、及时性、可信任性具有非常高的要求。
3.目前，算对象管理域和网对象管理域之间没有实现统一协同、融合支撑，在不同管理域之间没有实现互相兼容适配，从而不同管理域的数据在进行共享处理的过程中，会产生时间延迟，导致数据的及时性和有效性较差，且在不同管理域之间进行数据传递时，缺乏双向可信机制，无法实现数据安全传递。


技术实现要素：

4.本发明提供一种算力网络数据转化方法、装置、服务器及电子设备，用以实现不同管理域之间的数据安全传递，且提高数据传递的及时性和有效性。
5.本发明提供一种算力网络数据转化方法，包括：
6.对接第一对象管理域，采集所述第一对象管理域的目标数据；
7.对所述目标数据进行解析匹配，得到第一对象最小数据集；
8.对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息；
9.对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集；
10.将所述第二对象最大数据集传递至第二对象管理域。
11.根据本发明提供的算力网络数据转化方法，所述对所述目标数据进行解析匹配，得到第一对象最小数据集，包括：
12.对所述目标数据进行资源匹配、性能匹配、告警匹配以及日志数据匹配，得到所述第一对象最小数据集。
13.根据本发明提供的算力网络数据转化方法，所述对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息，包括：
14.基于预设的映射表，对所述第一对象最小数据集进行标准化数据映射，得到所述第二对象关联信息；
15.其中，所述映射表为设置有编辑功能的映射表。
16.根据本发明提供的算力网络数据转化方法，所述对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集，包括：
17.对所述第二对象关联信息进行资源匹配、性能匹配、告警匹配以及日志数据匹配，得到所述第二对象最大数据集。
18.根据本发明提供的算力网络数据转化方法，所述第一对象管理域为算对象管理
域，所述第二对象管理域为网对象管理域；或者，
19.所述第一对象管理域为网对象管理域，所述第二对象管理域为算对象管理域。
20.根据本发明提供的算力网络数据转化方法，所述对接第一对象管理域，包括：
21.基于预设的软件开发工具包插件，对接第一对象管理域。
22.本发明还提供一种算力网络数据转化装置，包括：
23.采集模块，用于对接第一对象管理域，采集所述第一对象管理域的目标数据；
24.第一匹配模块，用于对所述目标数据进行解析匹配，得到第一对象最小数据集；
25.映射模块，用于对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息；
26.第二匹配模块，用于对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集；
27.传递模块，用于将所述第二对象最大数据集传递至第二对象管理域。
28.本发明还提供一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述算力网络数据转化方法。
29.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述算力网络数据转化方法。
30.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述算力网络数据转化方法。
31.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述算力网络数据转化方法。
32.本发明提供的算力网络数据转化方法、装置、服务器及电子设备，通过对采集到的第一对象管理域的目标数据进行标准化数据映射，得到第二对象关联信息后，进行解析匹配，得到第二对象最大数据集，并将第二对象最大数据集传递至第二对象管理域，实现第一对象管理域和第二对象管理域之间不同格式数据的兼容适配，保障算力网络业务稳定运行。相对于现有技术中通过数据共享平台架构模式实现数据共享的方式，本发明采用一种双向标准适配的模式，在当前网络管理和算管理竖井管理现状下，最大化减少研发成本投入，实现一种可复用的倒换方法，快速敏捷的实现实时数据标准化管理，进而实现不同管理域之间的数据安全传递，且提高数据传递的及时性和有效性。
附图说明
33.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1是本发明提供的算力网络数据转化方法的流程示意图之一；
35.图2是本发明提供的算力网络数据转化方法的流程示意图之二；
36.图3是本发明提供的算力网络数据转化方法的流程示意图之三；
37.图4是本发明提供的算力网络数据转化方法的流程示意图之四；
38.图5是本发明提供的算力网络数据转化装置的结构示意图；
39.图6是本发明提供的电子设备的结构示意图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.下面结合图1-图6描述本发明的算力网络数据转化方法、装置、服务器及电子设备。
42.如图1所示，本发明提供一种算力网络数据转化方法，包括：
43.步骤110、对接第一对象管理域，采集所述第一对象管理域的目标数据。
44.可以理解的是，本发明提供的算力网络数据转化方法可以由服务器执行。
45.第一对象管理域的目标数据可以是，适配基础设施即服务层(iaas，infrastructure as a service)、平台即服务层(paas，platform as a service)、软件即服务层(saas，software as a service)相关平台软件对象资源、性能、告警、配置数据。第一对象管理域可以是算对象管理域，算对象管理域根据用户的使用场景不同，对接不容的开源软件或定制化软件，如pim、openstack、k8s、k3s、singularity。接口方式采用openapi接口、socket、agent、telnet、snmp、ipmi等技术协议。
46.步骤120、对所述目标数据进行解析匹配，得到第一对象最小数据集。
47.可以理解的是，第一对象管理域可以是算对象管理域，从算对象管理域采集到的数据进行模板化解析匹配，解析匹配包括资源、性能、告警、日志数据处理。
48.需要说明的是，第一对象的数据集对应有一个允许的字段范围，其中，最小字段的数据集也即是第一对象最小数据集。
49.步骤130、对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息。
50.可以理解的是，系统根据字典表信息的关键字段和映射信息对第一对象最小数据集内容进行标准化转化，或者采用数学公式进行标准化数据映射。
51.标准化数据映射，将算向网转换规则、网向算转换规则进行集中管理，统一更新、统一更新，通过逐步知识积累，形成可编程知识库，后续支持开放共享。
52.步骤140、对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集。
53.可以理解的是，第二对象关联信息可以是网对象，网对象解析匹配是对网对象管理域采集到的数据进行模板化解析匹配，得到第二对象最大数据集。
54.需要说明的是，第二对象的数据集对应有一个允许的字段范围，其中，最大字段的数据集也即是第二对象最大数据集。
55.步骤150、将所述第二对象最大数据集传递至第二对象管理域。
56.可以理解的是，采用接口开放的方式，将第二对象最大数据集传递至第二对象管理域。
57.例如，对接网对象管理域，采集适配运维管理、质量管理、故障管理、资源管理、业务编排管理系统相关数据。网管理领域与算管理领域有较大区别，主要采用功能域进行划分，因此本模块适配能力主要是对接不同域产生的业务数据，如业务编排模块产生的工单流程数据、故障管理模块产生的告警数据。
58.在一些实施例中，所述对所述目标数据进行解析匹配，得到第一对象最小数据集，包括：
59.对所述目标数据进行资源匹配、性能匹配、告警匹配以及日志数据匹配，得到所述第一对象最小数据集。
60.可以理解的是，资源匹配可以是算资源匹配，性能匹配可以是算性能匹配，告警匹配可以是算告警匹配，日志数据匹配可以是算日志数据匹配。
61.目标数据的算资源匹配，功能包括算资源建模、算资源数据实例化，算资源数据质量管理，对象包括manager、region、az、ha、backend、host、hostfilesystem、hostport、hostbondport、vm、bm、vitrualnet、project；算性能匹配，包括算性能批量处理、算性能质量更新、算性能配置更新；算告警匹配，包括算消息解析，算内容提取，算实时消息通知；算日志数据匹配，包括算日志文件下载、算日志内容提取、算日志上下文检索。对于解析匹配完成的数据，系统通过实时消息队列或数据库或文件传输协议(ftp，file transfer protocol)文件目录的方式，将数据同步给其他模块使用。
62.在一些实施例中，所述对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息，包括：
63.基于预设的映射表，对所述第一对象最小数据集进行标准化数据映射，得到所述第二对象关联信息；
64.其中，所述映射表为设置有编辑功能的映射表。
65.可以理解的是，标准化数据映射的功能，构建以关键字段为索引的映射表信息，维护人员可以主动维护此映射表信息和与映射表有映射关系的字典表，支持对映射信息的增加、删除、修改、批量录入等。当算对象解析匹配功能实现后，将结果数据通过实时消息队列方式进行映射，根据字典表信息的关键字段和映射信息对算对象内容进行标准化转化。
66.在一些实施例中，所述对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集，包括：
67.对所述第二对象关联信息进行资源匹配、性能匹配、告警匹配以及日志数据匹配，得到所述第二对象最大数据集。
68.可以理解的是，本实施例中的资源匹配可以是网资源匹配，性能匹配可以是网性能匹配，告警匹配可以是网告警匹配，日志数据匹配可以是网日志数据匹配。
69.解析匹配包括资源、性能、告警、日志数据处理。网资源匹配，功能包括网资源建模、网资源数据实例化，网资源数据质量管理，对象包括资源标识、网元名称、周明周期状态、所属机房、所属机架、设备厂家、设备类别、设备型号、设备级别、软件版本等；网性能匹配，包括网性能批量处理、网性能质量更新、网性能配置更新；网告警匹配，包括网消息解析，网内容提取，网实时消息通知，映射内容包括专业、设备类型、告警对象类型、厂家告警标识、告警标题等字段信息；网日志数据匹配，包括网日志文件下载、网日志内容提取、网日志上下文检索。对于解析匹配完成的数据，系统通过实时消息队列或数据库或文件传输协
议文件目录的方式，将数据同步给其他模块使用。
70.在一些实施例中，所述第一对象管理域为算对象管理域，所述第二对象管理域为网对象管理域；或者，
71.所述第一对象管理域为网对象管理域，所述第二对象管理域为算对象管理域。
72.可以理解的是，第一对象为算对象，第二对象为网对象；或者，第一对象为网对象，第二对象为算对象。
73.网对象管理域是算力网络业务场景下，与网络通信资源相关的对象管理域，例如与网络通信协议、网络通信设备相关的对象管理域。算对象管理域是算力网络业务场景下，与硬件设备、物理机、虚拟机相关的对象管理域。
74.在一些实施例中，所述对接第一对象管理域，包括：
75.基于预设的软件开发工具包插件(sdk，software development kit)，对接第一对象管理域。
76.可以理解的是，可以通过软件开发工具包插件的方式进行功能扩展补充，并携带适配版本号，以匹配不同算对象管理域。
77.在另一些实施例中，算力网络数据转化方法如图2所示，包括东向适配开放、网对象解析匹配、标准化数据映射、算对象解析匹配、西向适配开放。
78.其中，东向适配开放，用于对接网对象管理域系统，以软件开发工具包插件形式，采集开放相关的编排数据、故障数据、资源数据、性能数据、日志数据等。
79.网对象解析匹配，主要对下行输入数据解析成网对象最小级，以及上行输入数据解析成网对象最大级。
80.标准化数据映射，用于进行关键字典信息管理、标准化映射表数据内容管理。
81.算对象解析匹配，主要对下行输入数据解析成算对象最大级，以及上行输入数据解析成算对象最小级。
82.西向适配开放，用于对接算对象管理域系统，以软件开发工具包插件形式，采集开放相关的算资源数据、物理运行数据等内容。
83.东向适配开放，在面向网对象管理域系统时，既具备采集适配能力，也具备开放共享能力。
84.西向适配开放，在面向算对象管理域系统时，既具备采集适配能力，也具备开放共享能力。
85.其中，东向适配开放、西向适配开放模块均采用软件开发工具包插件方式，根据数据提供者的具体情况，以版本号逐步扩展，形成标准化、可复用模块，降低了软件项目重发开发成本，提升客户运维管理效率，以每次开发采集适配插件3天算，在算对象管理域、网对象管理域存在30多种不同插件时，以业界80％复用度计算，累计介绍开发工作量72天工作量。
86.标准化数据映射，具备关键字典表信息以及映射数据的维护管理能力，用户可以基于算、网的维护经验分别同步更新映射规则知识，以提升数据转换效率和数据质量。
87.采集适配能力，是一种可扩展软件开发工具包插件方式，以对接网对象厂家不同系统版本为基础，实现横向可管理插件。
88.在另一些实施例中，算力网络数据转化方法如图3所示，包括：
89.步骤310、东向适配开放，从网对象管理域对接采集到的资源、故障、性能、运维、业务等数据；
90.步骤320、网对象解析匹配，对采集到的数据进行模板化解析，形成网对象最小数据集；
91.步骤330、标准化数据映射，根据算对象要求，采用字典表或数学公式，映射成算对象关联信息；
92.步骤340、算对象解析匹配，对算对象关联信息进行模板化解析，生成算对象最大数据集；
93.步骤350、西向匹配开放，采用开放接口的方式，将算对象最大数据集内容传递至算对象管理域。
94.在另一些实施例中，算力网络数据转化方法如图4所示，包括：
95.步骤410、西向适配开放，从算对象管理域对接采集到的iaas、paas、saas数据信息；
96.步骤420、算对象解析匹配，对采集到的数据进行模板化解析，形成算对象最小数据集；
97.步骤430、标准化数据映射，根据云对象要求，采用字典表或数学公式，映射成云对象关联信息；
98.步骤440、网对象解析匹配，对网对象关联信息进行模板化解析，生成网对象最大数据集；
99.步骤450、东向匹配开放，采用开放接口的方式，将网对象最大数据集内容传递至网对象管理域。
100.综上所述，本发明提供的算力网络数据转化方法，包括：对接第一对象管理域，采集所述第一对象管理域的目标数据；对所述目标数据进行解析匹配，得到第一对象最小数据集；对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息；对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集；将所述第二对象最大数据集传递至第二对象管理域。
101.在本发明提供的算力网络数据转化方法中，通过对采集到的第一对象管理域的目标数据进行标准化数据映射，得到第二对象关联信息后，进行解析匹配，得到第二对象最大数据集，并将第二对象最大数据集传递至第二对象管理域，实现第一对象管理域和第二对象管理域之间不同格式数据的兼容适配，保障算力网络业务稳定运行。相对于现有技术中通过数据共享平台架构模式实现数据共享的方式，本发明采用一种双向标准适配的模式，在当前网络管理和算管理竖井管理现状下，最大化减少研发成本投入，实现一种可复用的倒换方法，快速敏捷的实现实时数据标准化管理，进而实现不同管理域之间的数据安全传递，且提高数据传递的及时性和有效性。
102.下面对本发明提供的算力网络数据转化装置进行描述，下文描述的算力网络数据转化装置与上文描述的算力网络数据转化方法可相互对应参照。
103.如图5所示，本发明还提供一种算力网络数据转化装置500，包括：
104.采集模块510，用于对接第一对象管理域，采集所述第一对象管理域的目标数据；
105.第一匹配模块520，用于对所述目标数据进行解析匹配，得到第一对象最小数据
集；
106.映射模块530，用于对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息；
107.第二匹配模块540，用于对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集；
108.传递模块550，用于将所述第二对象最大数据集传递至第二对象管理域。
109.本发明还提供一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述算力网络数据转化方法。
110.下面对本发明提供的电子设备、计算机程序产品及存储介质进行描述，下文描述的电子设备、计算机程序产品及存储介质与上文描述的算力网络数据转化方法可相互对应参照。
111.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行算力网络数据转化方法，该方法包括：
112.对接第一对象管理域，采集所述第一对象管理域的目标数据；
113.对所述目标数据进行解析匹配，得到第一对象最小数据集；
114.对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息；
115.对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集；
116.将所述第二对象最大数据集传递至第二对象管理域。
117.此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
118.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的算力网络数据转化方法，该方法包括：
119.对接第一对象管理域，采集所述第一对象管理域的目标数据；
120.对所述目标数据进行解析匹配，得到第一对象最小数据集；
121.对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息；
122.对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集；
123.将所述第二对象最大数据集传递至第二对象管理域。
124.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程
序，该计算机程序被处理器执行时实现以执行上述各方法提供的算力网络数据转化方法，该方法包括：
125.对接第一对象管理域，采集所述第一对象管理域的目标数据；
126.对所述目标数据进行解析匹配，得到第一对象最小数据集；
127.对所述第一对象最小数据集进行标准化数据映射，得到第二对象关联信息；
128.对所述第二对象关联信息进行解析匹配，得到第二对象最大数据集；
129.将所述第二对象最大数据集传递至第二对象管理域。
130.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
131.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
132.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。