一种基于缓存的大数据存储方法及系统与流程

1.本发明提出了一种基于缓存的大数据存储方法，属于数据存储技术领域。


背景技术：

2.在配电技术领域，电力监控系统的安全直接关系到电力供应，是人们日常生活和生产正常运行的保障。现有电力监控系统，由于存在大量的数据，常常在数据存储过程中，由于同一时刻出现大量数据需要进行存储，导致数据存储效率较低的问题出现，或因存储过程中同一时刻数据量较大，导致数据拥堵，进而造成数据存储失败的情况发生。


技术实现要素：

3.本发明提供了一种基于缓存的大数据存储方法，用以解决现有电力监控系统在大数据存储过程中，数据粗存储效率较低及存储失败率较高的问题：
4.本发明提出的一种电力监控系统的大数据存储方法，所述方法包括：
5.根据电力监控系统将采集到的数据发送至数据管理平台；
6.所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中。
7.进一步地，所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中，包括：
8.所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域；
9.在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
10.进一步地，在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，包括：
11.根据电力监控系统所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
[0012][0013][0014]
其中，q表示每个数据组中数据种类的个数；z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
[0015]
电力监控系统所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
[0016]
进一步地，所述设置每个数据组的数据发送时间间隔，包括：
[0017]
提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
[0018]
利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
[0019][0020]
其中，t
i
表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，
……
，n；t
aj
表示第j个数据存储模块的存储一组数据所需的存储时间；t
bmax
表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；t
bmin
表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；t
bt
表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
[0021]
进一步地，所述方法还包括：当所述电力监控系统增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
[0022]
按照如下公式对每个数据组设置数据发送时间间隔，并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中：
[0023][0024]
其中，tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；t
amax
表示数据存储模块进行单批数据存储时所消耗的时间最大值；t
amin
表示数据存储模块进行单批数据存储时所消耗的时间最小值；x表示第二数据缓存区域中每个数据组内包含的数据种类的个数；t
ex
表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔。
[0025]
一种基于缓存的大数据存储系统，所述系统包括：
[0026]
数据发送模块，用于根据电力监控系统将采集到的数据发送至数据管理平台；
[0027]
数据缓存模块，用于所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中。
[0028]
进一步地，所述数据缓存模块包括：
[0029]
缓存模块，用于所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域；
[0030]
分组模块，用于在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
[0031]
进一步地，所述分组模块包括：
[0032]
数据分组模块，用于根据电力监控系统所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
[0033][0034][0035]
其中，q表示每个数据组中数据种类的个数；z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
[0036]
分组数据发送模块，用于电力监控系统所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
[0037]
进一步地，所述分组模块还包括：
[0038]
提取模块，用于提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
[0039]
时间间隔获取模块，用于利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
[0040][0041]
其中，t
i
表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，
……
，n；t
aj
表示第j个数据存储模块的存储一组数据所需的存储时间；t
bmax
表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；t
bmin
表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；t
bt
表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
[0042]
进一步地，所述系统还包括：增加数据处理模块，用于当所述电力监控系统增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
[0043]
其中，所述增加数据处理模块包括：
[0044]
时间间隔设置模块，用于按照如下公式对每个数据组设置数据发送时间间隔：
[0045][0046]
其中，tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；t
amax
表示数据存储模块进行单批数据存储时所消耗的时间最大值；t
amin
表示数据存储模块进行单批数据存储时所消耗的时间最小值；x表示第二数据缓存区域中每个数据组内包含的数据种类的个数；t
ex
表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔；
[0047]
第二数据发送模块，用于并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中。
[0048]
本发明有益效果：
[0049]
本发明提出的一种基于缓存的大数据存储方法，通过设置缓存区域将电力监控系统发送的数据进行缓存，并通过分组错时存储将大数据进行分批存储，有效避免数据同一时刻存储而造成的数据拥堵而造成的数据存储效率降低的问题发生。同时，有效提高了数据存储的效率和数据存储的成功率。
附图说明
[0050]
图1为本发明所述方法的流程图；
[0051]
图2为本发明所述系统的系统框图。
具体实施方式
[0052]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0053]
本发明实施例提出的一种电力监控系统的大数据存储方法，如图1所示，所述方法包括：
[0054]
s1、根据电力监控系统将采集到的数据发送至数据管理平台；
[0055]
s2、所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中。
[0056]
上述技术方案的效果为：通过设置缓存区域将电力监控系统发送的数据进行缓存，并通过分组错时存储将大数据进行分批存储，有效避免数据同一时刻存储而造成的数据拥堵而造成的数据存储效率降低的问题发生。同时，有效提高了数据存储的效率和数据存储的成功率。
[0057]
本发明的一个实施例，所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中，包括：
[0058]
s201、所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域；
[0059]
s202、在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
[0060]
其中，在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，包括：
[0061]
s2021a、根据电力监控系统所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
[0062][0063][0064]
其中，q表示每个数据组中数据种类的个数；z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
[0065]
s2022a、电力监控系统所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
[0066]
其中，所述设置每个数据组的数据发送时间间隔，包括：
[0067]
s2021b、提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
[0068]
s2022b、利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
[0069][0070]
其中，t
i
表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，
……
，n；t
aj
表示第j个数据存储模块的存储一组数据所需的存储时间；t
bmax
表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；t
bmin
表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；t
bt
表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
[0071]
上述技术方案的效果为：通过上述方式能够使数据分组与数据存储模块的个数匹配度更高，有效将第数据存储模块的容量饱和率。同时，通过上述公式进行的分组，能够有效提高数据分组与数据存储模块数量之间的匹配度和配合度。使数据分组在后续数据存储过程中始终有足够的数据存储模块进行对应存储。另一方面，通过上述公式进行数据发送时间间隔的设置，能够使每个数据分组之间的电力监控数据发送能够完全错时，互补重叠，同时，不会因为其数据发送时间间隔设置过短导致下一批次的在先数据存储的数据与上一批次在后的数据分组未完成数据存储的数据相互重叠导致数据存储模块负荷增大的问题
发生。通过发送时间间隔有效控制数据存储模块的数据存储写入过程的负荷量，有效防止写入过程负荷量饱和而造成的数据拥堵，进而提高数据存储的效率和存储成功率。
[0072]
本发明的一个实施例，所述方法还包括：当所述电力监控系统增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
[0073]
按照如下公式对每个数据组设置数据发送时间间隔，并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中：
[0074][0075]
其中，tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；t
amax
表示数据存储模块进行单批数据存储时所消耗的时间最大值；t
amin
表示数据存储模块进行单批数据存储时所消耗的时间最小值；x表示第二数据缓存区域中每个数据组内包含的数据种类的个数；t
ex
表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间隔。
[0076]
上述技术方案的效果为：由于电力监控系统会根据实际需求增加数据采集和数据监控项目，因此，为了保证不影响上述数据存储方式，设置了第二数据缓存区域对新增的数据类型和项目进行错时存储，同时，通过上述公式获取的数据发送时间间隔，能够有效保证所有数据分组之间的数据发送均为错时发送，进而记性错时存储，不会造成数据之间的数据发送重叠和相互影响，提高了数据存储效率和数据存储成功率。
[0077]
本发明实施例提出了一种基于缓存的大数据存储系统，如图2所示，所述系统包括：
[0078]
数据发送模块，用于根据电力监控系统将采集到的数据发送至数据管理平台；
[0079]
数据缓存模块，用于所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域，并通过第一数据缓存区域将所述有电力监控系统发送的数据存储至数据管理平台的存储模块中。
[0080]
其中，所述数据缓存模块包括：
[0081]
缓存模块，用于所述数据管理平台将所有电力监控系统发送的数据存储至第一数据缓存区域；
[0082]
分组模块，用于在所述第一数据缓存区域内按照采集数据的种类将所有数据分为多个数据组，设置每个数据组的数据发送时间间隔，并按照每个数据组对应的数据发送时间间隔将数据组内的各数据发送至数据管理平台的数据存储模块中进行数据存储。
[0083]
其中，所述分组模块包括：
[0084]
数据分组模块，用于根据电力监控系统所采集数据的种类，将第一数据缓存区域内的所有数据分为n个数据组，其中，数据组的个数n通过如下公式获取；
[0085][0086][0087]
其中，q表示每个数据组中数据种类的个数；z表示数据种类的总个数；m表示所述数据管理平台中的数据存储模块的总个数；int()表示取整函数；
[0088]
分组数据发送模块，用于电力监控系统所采集的数据发送至所述第一数据缓存区域中时，直接将数据直接存入至对应的数据组中。
[0089]
其中，所述分组模块还包括：
[0090]
提取模块，用于提取数据组的个数n，同时提取所述数据管理平台中的数据存储模块个数m；
[0091]
时间间隔获取模块，用于利用数据组的个数n和数据存储模块个数m，通过如下公式获取每个数据组对应的数据发送时间间隔：
[0092][0093]
其中，t
i
表示第i个数据组的数据发送时间间隔；i表示每个数据组的序号，i＝1,2，
……
，n；t
aj
表示第j个数据存储模块的存储一组数据所需的存储时间；t
bmax
表示每个数据组内，各数据类型中的数据数据发送时间间隔最大值；t
bmin
表示每个数据组内，各数据类型中的数据数据发送时间间隔最小值；t
bt
表示每个数据组内的第t个数据类型的数据数据发送时间间隔。
[0094]
其中，所述系统还包括：增加数据处理模块，用于当所述电力监控系统增加数据采集子模块，进而增加了数据采集数量时，将增加的数据采集子模块产生的数据统一发送至第二数据缓存区域，并以增加的数据采集子单元为基础，将存入第二数据缓存区域的数据进行分组，获得多个数据组；
[0095]
所述增加数据处理模块包括：
[0096]
时间间隔设置模块，用于按照如下公式对每个数据组设置数据发送时间间隔：
[0097][0098]
其中，tr2表示第二数据缓存区域中第r个数据组的数据发送时间间隔；t
amax
表示数据存储模块进行单批数据存储时所消耗的时间最大值；t
amin
表示数据存储模块进行单批数据存储时所消耗的时间最小值；x表示第二数据缓存区域中每个数据组内包含的数据种类的个数；t
ex
表示第二数据缓存区域中每个数据组内，第x个数据类型的数据数据发送时间间
隔；
[0099]
第二数据发送模块，用于并按照数据发送时间间隔将第二数据缓存区域中缓存的数据发送至数据管理平台的数据存储模块中。
[0100]
上述技术方案的效果为：通过设置缓存区域将电力监控系统发送的数据进行缓存，并通过分组错时存储将大数据进行分批存储，有效避免数据同一时刻存储而造成的数据拥堵而造成的数据存储效率降低的问题发生。同时，有效提高了数据存储的效率和数据存储的成功率。
[0101]
通过上述方式能够使数据分组与数据存储模块的个数匹配度更高，有效将第数据存储模块的容量饱和率。同时，通过上述公式进行的分组，能够有效提高数据分组与数据存储模块数量之间的匹配度和配合度。使数据分组在后续数据存储过程中始终有足够的数据存储模块进行对应存储。由于电力监控系统会根据实际需求增加数据采集和数据监控项目，因此，为了保证不影响上述数据存储方式，设置了第二数据缓存区域对新增的数据类型和项目进行错时存储，同时，能够有效保证所有数据分组之间的数据发送均为错时发送，进而记性错时存储，不会造成数据之间的数据发送重叠和相互影响，提高了数据存储效率和数据存储成功率。
[0102]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。