本发明涉及人工智能,特别是指一种分布式网络的数据处理方法、 装置及设备。
背景技术:
1、基于数据的网络调度决策方案主要分为集中式和分布式两种,与决策相关 的数据可能存储于用户端、基站端或者网管端。分布式决策方法考虑到计算复 杂度和效率等问题,提出了群学习和分层强化学习等方法,用于提高ai (artificial intelligence,人工智能)算法训练过程中针对时延的鲁棒性,以及 降低系统整体算力和带宽需求。但这些方法训练中,依然需要在每次迭代中与 数据节点频繁交换数据,并且额外在各节点间增添了点对点的模型传输负载。
2、各数据节点与传感器节点更新频率可能存在差异,因此数据库整体更新频 率受限于网络中速度最慢的数据单元。而在ai决策时,数据字段间可能存在 的异步和时延问题,以及数据实时性问题,均可能影响算法最终决策的准确性。 因此当前应用的算法中,除直接从传感器单元实时更新数据等方式之外,预测 类算法也被较多的使用,经由最近的数据变化来矫正最新的字段值,预测当前 决策节点中可能的数值偏移量。
3、基站、中台等网络节点中包括用于决策、预警、可视化等ai算法模块, ai算法模块需要频繁获取大量实时数据。相关技术中,ai算法模块通过传感 器获取实时数据,但此种方式占用大量带宽,且由于时延、计算能力等因素, 往往导致ai算法模块使用到的数据不够实时。
技术实现思路
1、本发明要解决的技术问题是提供一种分布式网络的数据处理方法、装置及 设备。解决了相关技术中数据占用资源大和无法实时获取数据的问题,实现了 实时获取预测数据,且保证了预测数据的准确性,同时,节省了网络带宽和资 源,提高了响应效率。
2、为解决上述技术问题,本发明的技术方案如下:
3、一种分布式网络的数据处理方法,应用于网络节点,所述方法包括:
4、获取数据库中存储的第一时刻的数据,所述第一时刻的数据是所述网络节 点的传感器采集的数据;
5、根据所述第一时刻的数据,通过数字孪生模块对第二时刻的数据进行预测 处理,得到第二时刻的预测数据;所述第一时刻早于第二时刻;
6、获取传感器采集的所述第二时刻的真实数据;
7、根据所述第二时刻的真实数据,对所述第二时刻的预测数据进行更新,得 到目标预测数据。
8、可选的,根据所述第二时刻的真实数据,对所述第二时刻的预测数据进行 更新,得到目标预测数据,包括:
9、在所述第二时刻的预测数据与第二时刻的真实数据之间存在偏移量的情 况下,将所述第二时刻的预测数据更新为所述第二时刻的真实数据,得到目标 预测数据。
10、可选的,分布式网络的数据处理方法,还包括:接收所述数据需求模块发 送的数据需求信息;
11、通过数字孪生模块对第二时刻的数据进行预测处理,包括:
12、根据所述数据需求信息,通过数字孪生模块对所述第二时刻的数据进行预 测处理,得到第二时刻的预测数据。
13、可选的,根据第二时刻的真实数据,对所述第二时刻的预测数据进行更新, 得到目标预测数据,包括:
14、在所述第二时刻的预测数据与符合数据需求信息的第二时刻的真实数据 之间存在偏移量的情况下,将所述第二时刻的预测数据更新为所述符合数据需 求信息的第二时刻的真实数据,得到目标预测数据。
15、可选的,分布式网络的数据处理方法,还包括:向所述数据需求模块发送 目标预测数据。
16、可选的,分布式网络的数据处理方法,还包括:向所述网络节点邻近的至 少一个其它网络节点广播所述偏移量。
17、可选的,分布式网络的数据处理方法,还包括:
18、接收数据更新信号;
19、根据所述数据更新信号,对所述数字孪生模块的参数进行更新,和/或, 确定所述数据更新信号引发的偏移量。
20、可选的,分布式网络的数据处理方法,还包括:
21、向所述网络节点邻近的至少一个其它网络节点广播所述数据更新信号引 发的偏移量。
22、可选的,分布式网络的数据处理方法,还包括:
23、在所述预测数据有告警事件的情况下,发出告警信息。
24、可选的,分布式网络的数据处理方法,还包括:
25、获取多个不同的预设候选决策;根据多个不同的预设候选决策,通过所述 数字孪生模块对第三时刻的数据进行预测处理,得到多个不同的预设候选决策 分别对应的第三时刻的预测数据;
26、根据所述第三时刻的预测数据,确定最终决策。
27、本发明的实施例还提供一种分布式网络的数据处理装置,应用于网络节点, 所述装置包括:
28、第一获取模块,用于获取数据库中存储的第一时刻的数据,所述第一时刻 的数据是所述网络节点的传感器采集的数据;
29、处理模块,用于根据所述第一时刻的数据,通过数字孪生模块对第二时刻 的数据进行预测处理,得到第二时刻的预测数据;所述第一时刻早于第二时刻;
30、第二获取模块,用于获取传感器采集的所述第二时刻的真实数据;
31、所述处理模块还用于根据所述第二时刻的真实数据,对所述第二时刻的预 测数据进行更新,得到目标预测数据。
32、本发明还提供一种电子设备,包括处理器,存储器及存储在所述存储器上 并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时 实现如上述的分布式网络的数据处理方法的步骤。
33、本发明还提供一种计算机可读存储介质,存储指令,当所述指令在计算机 上运行时,使得计算机执行如上述的分布式网络的数据处理方法的步骤。
34、本发明的上述方案至少包括以下有益效果:
35、通过获取数据库中存储的第一时刻的数据,所述第一时刻的数据是所述网 络节点的传感器采集的数据;根据所述第一时刻的数据,通过数字孪生模块对 第二时刻的数据进行预测处理,得到第二时刻的预测数据;所述第一时刻早于 第二时刻;获取传感器采集的所述第二时刻的真实数据;根据所述第二时刻的 真实数据,对所述第二时刻的预测数据进行更新,得到目标预测数据;解决了 相关技术中数据占用资源大和无法实时获取数据的问题,实现了实时获取预测 数据,且保证了预测数据的准确性,同时,节省了网络带宽和资源,提高了响 应效率。
1.一种分布式网络的数据处理方法,其特征在于,应用于网络节点,所述方法包括:
2.根据权利要求1所述的分布式网络的数据处理方法,其特征在于,根据所述第二时刻的真实数据,对所述第二时刻的预测数据进行更新,得到目标预测数据,包括:
3.根据权利要求1所述的分布式网络的数据处理方法,其特征在于,还包括:接收数据需求模块发送的数据需求信息;
4.根据权利要求3所述的分布式网络的数据处理方法,其特征在于,根据第二时刻的真实数据,对所述第二时刻的预测数据进行更新,得到目标预测数据,包括:
5.根据权利要求3所述的分布式网络的数据处理方法,其特征在于,还包括:
6.根据权利要求2或4所述的分布式网络的数据处理方法,其特征在于,还包括:
7.根据权利要求1所述的分布式网络的数据处理方法,其特征在于,还包括:
8.根据权利要求7所述的分布式网络的数据处理方法,其特征在于,还包括:
9.根据权利要求1所述的分布式网络的数据处理方法,其特征在于,还包括:
10.根据权利要求1所述的分布式网络的数据处理方法,其特征在于,还包括:
11.一种分布式网络的数据处理装置,其特征在于,应用于网络节点,所述装置包括:
12.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-10任一项所述的分布式网络的数据处理方法的步骤。
13.一种计算机可读存储介质,其特征在于,存储指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-10任一项所述的分布式网络的数据处理方法的步骤。