一种基于缓存的大数据存储方法及系统与流程

文档序号:26496343发布日期:2021-09-04 00:09阅读:来源:国知局

技术特征:
1.一种电力监控系统的大数据存储方法,其特征在于,所述方法包括:根据电力监控系统将采集到的数据发送至数据管理平台;所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域,并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中。2.根据权利要求1所述方法,其特征在于,所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域,并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中,包括:所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域;在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组,设置每个数据组的数据发送时间间隔,并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。3.根据权利要求2所述方法,其特征在于,在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组,包括:根据电力监控系统所采集数据的种类,将第一数据缓存区域内的所有数据分为n个数据组,其中,数据组的个数n通过如下公式获取;通过如下公式获取;其中,q表示每个数据组中数据种类的个数;z表示数据种类的总个数;m表示所述数据管理平台中的数据存储模块的总个数;int()表示取整函数;电力监控系统所采集的数据发送至所述第一数据缓存区域中时,直接将数据直接存入至对应的数据组中。4.根据权利要求2所述方法,其特征在于,所述设置每个数据组的数据发送时间间隔,包括:提取数据组的个数n,同时提取所述数据管理平台中的数据存储模块个数m;利用数据组的个数n和数据存储模块个数m,通过如下公式获取每个数据组对应的数据发送时间间隔:其中,t
i
表示第i个数据组的数据发送时间间隔;i表示每个数据组的序号,i=1,2,
……
,n;t
aj
表示第j个数据存储模块的存储一组数据所需的存储时间;t
bmax
表示每个数据组内,各数据类型中的数据数据发送时间间隔最大值;t
bmin
表示每个数据组内,各数据类型中的数据数据发送时间间隔最小值;t
bt
表示每个数据组内的第t个数据类型的数据数据发送时间间隔。5.根据权利要求1所述方法,其特征在于,所述方法还包括:当所述电力监控系统增加
数据采集子模块,进而增加了数据采集数量时,将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域,并以增加的数据采集子单元为基础,将存入第二数据缓存区域的数据进行分组,获得多个数据组;按照如下公式对每个数据组设置数据发送时间间隔,并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中:其中,tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔;t
amax
表示数据存储模块进行单批数据存储时所消耗的时间最大值;t
amin
表示数据存储模块进行单批数据存储时所消耗的时间最小值;x表示第二数据缓存区域中每个数据组内包含的数据种类的个数;t
ex
表示第二数据缓存区域中每个数据组内,第x个数据类型的数据数据发送时间间隔。6.一种基于缓存的大数据存储系统,其特征在于,所述系统包括:数据发送模块,用于根据电力监控系统将采集到的数据发送至数据管理平台;数据缓存模块,用于所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域,并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中。7.根据权利要求6所述系统,其特征在于,所述数据缓存模块包括:缓存模块,用于所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域;分组模块,用于在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组,设置每个数据组的数据发送时间间隔,并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。8.根据权利要求7所述系统,其特征在于,所述分组模块包括:数据分组模块,用于根据电力监控系统所采集数据的种类,将第一数据缓存区域内的所有数据分为n个数据组,其中,数据组的个数n通过如下公式获取;所有数据分为n个数据组,其中,数据组的个数n通过如下公式获取;其中,q表示每个数据组中数据种类的个数;z表示数据种类的总个数;m表示所述数据管理平台中的数据存储模块的总个数;int()表示取整函数;分组数据发送模块,用于电力监控系统所采集的数据发送至所述第一数据缓存区域中时,直接将数据直接存入至对应的数据组中。9.根据权利要求7所述系统,其特征在于,所述分组模块还包括:提取模块,用于提取数据组的个数n,同时提取所述数据管理平台中的数据存储模块个
数m;时间间隔获取模块,用于利用数据组的个数n和数据存储模块个数m,通过如下公式获取每个数据组对应的数据发送时间间隔:其中,t
i
表示第i个数据组的数据发送时间间隔;i表示每个数据组的序号,i=1,2,
……
,n;t
aj
表示第j个数据存储模块的存储一组数据所需的存储时间;t
bmax
表示每个数据组内,各数据类型中的数据数据发送时间间隔最大值;t
bmin
表示每个数据组内,各数据类型中的数据数据发送时间间隔最小值;t
bt
表示每个数据组内的第t个数据类型的数据数据发送时间间隔。10.根据权利要求6所述系统,其特征在于,所述系统还包括:增加数据处理模块,用于当所述电力监控系统增加数据采集子模块,进而增加了数据采集数量时,将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域,并以增加的数据采集子单元为基础,将存入第二数据缓存区域的数据进行分组,获得多个数据组;其中,所述增加数据处理模块包括:时间间隔设置模块,用于按照如下公式对每个数据组设置数据发送时间间隔:其中,tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔;t
amax
表示数据存储模块进行单批数据存储时所消耗的时间最大值;t
amin
表示数据存储模块进行单批数据存储时所消耗的时间最小值;x表示第二数据缓存区域中每个数据组内包含的数据种类的个数;t
ex
表示第二数据缓存区域中每个数据组内,第x个数据类型的数据数据发送时间间隔;第二数据发送模块,用于并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中。

技术总结
本发明提出了一种电力监控系统的大数据存储方法及系统。所述方法包括:根据电力监控系统将采集到的数据发送至数据管理平台;所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域,并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中。所述系统包括与所述方法步骤对应的模块。述方法步骤对应的模块。述方法步骤对应的模块。


技术研发人员:郝忆冰 李晓磊 郝博森
受保护的技术使用者:北京九贺科技有限公司
技术研发日:2021.06.09
技术公布日:2021/9/3
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1