数据的处理方法及装置、非易失性存储介质、电子设备与流程

文档序号:35826503发布日期:2023-10-22 11:44阅读:33来源:国知局
数据的处理方法及装置、非易失性存储介质、电子设备

本技术涉及数据处理,具体而言,涉及一种数据的处理方法及装置、非易失性存储介质、电子设备。


背景技术:

1、随着“碳达峰、碳中和”目标的提出,人工智能与数字电网进一步深度融合,以新能源为主体的大规模新型电力系统加速向能源互联网演进。随着交直流混联的大电网结构日趋复杂,间歇性、波动性新能源发电接入电网规模快速扩大,新型电力电子设备的应用比例大幅提升,业务交互更密集、时效性更高、用户隐私和商业敏感性更强。此外,由于安全边界的扩大,新型网络攻击风险急剧提升。在分布式电源高渗透率接入配电网成为必然趋势的今天,如何保证数据在跨域流通安全的前提下,实现海量分布式终端的高效训练成为新型电力系统的桎梏。为此,迫切需要突破电力业务数据跨域流通的拓扑表示和溯源技术,研发电力业务数据流通保护组件,实现系统间数据安全态势感知,从而支撑新型电力系统信息通信服务的安全防护体系架构。

2、当前智能电网系统面临诸多数据分析和计算业务,如电量、负荷预测,分布式电力设备故障检测和参数设置,电费回收、电力计量系统用户画像等等,需要将各种外部数据、企业内部数据进行整合和分析。这一过程中所包含的敏感隐私内容或多或少将被暴露出来,成为悬挂在个人、企业、以及国家基础设施安全头上的达摩克立斯剑。而对上述数据进行处理的过程中,无法利用有向无环图中边缘节点设备的本地模型,对与训练时长和训练能耗最小值相匹配的业务资源数据进行处理。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本技术实施例提供了一种数据的处理方法及装置、非易失性存储介质、电子设备,以至少解决由于无法利用有向无环图中边缘节点设备的本地模型,对与训练时长和训练能耗最小值相匹配的业务资源数据进行处理造成的对数据处理资源的浪费的技术问题。

2、根据本技术实施例的一个方面,提供了一种数据的处理方法,包括:通过有向无环图中的边缘节点对本地模型进行更新,得到第一模型,其中,本地模型用于对电力系统中的目标业务资源数据进行处理;确定边缘节点对第一模型进行训练所需的目标时长和目标能耗,其中,目标能耗至少包括边缘节点处理单位数据所需的中央处理器频率;确定目标时长对应的第一最小值和目标能耗对应的第二最小值;利用第一模型对与第一最小值和第二最小值相匹配的业务资源数据进行处理。

3、可选地,通过有向无环图中的边缘节点对本地模型进行更新,得到第一模型,包括:从有向无环图中的x个未被批准的交易中选择y个未被验证的交易,其中,x和y为大于1的正整数,x大于y;采用本地测试数据集对y个未被验证的交易进行精度测试,得到y个未被验证的交易中每个未被验证的交易的测试精度;将每个未被验证的交易的测试精度由高到低进行排序,选择z个测试精度在预设区间内的未被验证的交易,其中,z为大于1的正整数,z小于y;对z个未被验证的交易进行局部聚合,得到局部参考模型;利用边缘节点的本地训练数据集对局部参考模型进行训练,得到第一模型。

4、可选地,确定边缘节点对第一模型进行训练所需的目标时长,包括:根据有向无环图中边缘节点之间的广播速率和传播距离,确定第一时长;根据处理单位样本数据所需的中央处理器周期数、模型验证集中样本数据的数量、对第一模型进行训练的单位样本数据的大小、测试精度在预设区间内的未被验证的交易的数量以及对第一模型进行训练时的中央处理器频率,确定第二时长;根据处理单位样本数据所需的中央处理器周期数、模型训练集中样本数据的数量、对第一模型进行训练的单位样本数据的大小以及对第一模型进行训练时的中央处理器频率,确定第三时长;根据第一时长、第二时长和第三时长,确定目标时长。

5、可选地,确定训练第一模型所需的目标能耗,包括:根据第一时长和边缘节点的发送功率,确定第一能耗;根据第二时长和边缘节点的计算芯片组的第一有效电容系数,确定第二能耗;根据第三时长和边缘节点的计算芯片组的第二有效电容系数,确定第三能耗;根据第一能耗、第二能耗和第三能耗,确定目标能耗。

6、可选地,确定目标时长对应的第一最小值和目标能耗对应的第二最小值,包括:确定目标时长对应的第一变量,确定目标能耗对应的第二变量,并根据第一变量和第二变量得到多个变量组;根据目标时长对应的第一函数和目标能耗对应的第二函数,确定多个变量组的支配值,其中,支配值用于表征变量组中目标变量的数量,目标变量为能够支配其他变量的变量;计算同一支配值下的多个变量组中每个变量组的拥挤度,其中,拥挤度用于度量与当前变量组在预设范围内的其他变量组的分布密度;根据支配值和拥挤度确定第一变量组和第二变量组;将第一变量组和第二变量组进行合并,得到第三变量组;在预设迭代次数内,确定目标变量组,并将第三变量组中支配值最高的变量组确定为使得目标时长和目标能耗最小的目标变量组;根据目标变量组,确定目标时长对应的第一最小值和目标能耗对应的第二最小值。

7、可选地,根据支配值和拥挤度确定第一变量组和第二变量组,包括:在支配值不同的变量组中,根据支配值由大到小的顺序,确定第一预设数量的第一变量组;在支配值相同的变量组中,根据拥挤度由大到小的顺序,确定第二预设数量的第一变量组;对第一变量组进行交叉和变异计算,得到第二变量组。

8、可选地,业务资源数据包括以下至少之一:电力系统中输变电设备的运行状态、输变电设备的容量和输变电设备的利用率。

9、根据本技术实施例的再一方面,还提供了一种数据的处理装置,包括:更新模块,用于通过有向无环图中的边缘节点对本地模型进行更新,得到第一模型,其中,本地模型用于对电力系统中的目标业务资源数据进行处理;第一确定模块,用于确定边缘节点对第一模型进行训练所需的目标时长和目标能耗,其中,目标能耗至少包括边缘节点处理单位数据所需的中央处理器频率;第二确定模块,用于确定目标时长对应的第一最小值和目标能耗对应的第二最小值;运算模块,用于利用第一模型,对与第一最小值和第二最小值相匹配的业务资源数据进行处理。

10、根据本技术实施例的再一方面,还提供了一种非易失性存储介质,存储介质包括存储的程序,其中,程序运行时控制存储介质所在的设备执行以上的数据的处理方法。

11、根据本技术实施例的再一方面,还提供了一种电子设备,包括:存储器和处理器,处理器用于运行存储在存储器中的程序,其中,程序运行时执行以上的数据的处理方法。

12、在本技术实施例中,采用通过有向无环图中的边缘节点对本地模型进行更新,得到第一模型,其中,本地模型用于对电力系统中的目标业务资源数据进行处理;确定边缘节点对第一模型进行训练所需的目标时长和目标能耗,其中,目标能耗至少包括边缘节点处理单位数据所需的中央处理器频率;确定目标时长对应的第一最小值和目标能耗对应的第二最小值;利用第一模型对与第一最小值和第二最小值相匹配的业务资源数据进行处理的方式,通过确定边缘节点对第一模型进行训练所需的目标时长和目标能耗,并确定目标时长对应的第一最小值和目标能耗对应的第二最小值,达到了利用有向无环图中边缘节点设备的本地模型,对与训练时长和训练能耗最小值相匹配的业务资源数据进行处理的目的,从而实现了充分利用数据处理资源的技术效果,进而解决了由于无法利用有向无环图中边缘节点设备的本地模型,对与训练时长和训练能耗最小值相匹配的业务资源数据进行处理造成的对数据处理资源的浪费的技术问题。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1