一种快速备份能耗监测系统中数据库数据的方法与流程

本发明涉及数据处理，尤其涉及一种快速备份能耗监测系统中数据库数据的方法。

背景技术：

1、目前随着各行各业的不断发展，各个企业使用的电力也在不断上升，在实际使用过程中经常会出现电能浪费的情况，使得企业整体的能耗上升，进而增加了企业的能耗成本，也造成了电能大量浪费的情况，并且每个企业在实际使用电能的设备和场所不同。

2、现有技术一般通过能耗监管平台对企业进行能耗监管，该系统是用于各行业能源管理和节能决策的大型系统，可以利用各种电量变送器、流量传感器、温度传感器、压力传感器等智能仪表自动采集分散在各地的耗能设备所消耗的电、水、汽等各种能源形态的实时数据，通过有线或无线传输网络平台。由于能耗监管平台需要分析和储存的数据量很高，常规的数据库直接储存方法，一方面进行数据备份的难度很高，而单一数据库储存数据很容易出现数据缺失或数据篡改的问题。另一方面常规的数据库直接储存方法，不仅需要超大容量的数据存储空间进行数据储存，而且调用数据时很难提供高效、准确的储存数据，限制了能耗监管平台中各数据分析模块的分析速度和分析准确性。

技术实现思路

1、为解决现有技术的存在的问题，本发明提供了一种快速备份能耗监测系统中数据库数据的方法，包括：

2、步骤一 构建能耗监测模型；

3、所述能耗监测模型包括具有数据关联性的：应用层、业务层、数据访问层、数据库层；

4、步骤二 根据数据类型选择数据的储存和备份方式；

5、步骤三 读取系统数据进行储存和备份，包括：

6、（一)对目标读取数据进行压缩处理；

7、（二）根据步骤二确定的储存和备份方式，将步骤（一）的数据储存至对应的数据分区，并进行备份；

8、（三）对储存的数据进行归档处理。

9、进一步的，所述应用层用于接收用户的请求并将其传递给下一层处理，并将处理结果返回给用户。

10、所述业务层是应用层的下一层，负责处理业务逻辑和业务规则。

11、所述数据访问层用于与数据库进行交互。

12、所述数据库层用于对数据进行存储和管理。

13、进一步的，步骤二所述数据类型包括：将系统数据分为管理型静态数据和业务型动态数据，其中：

14、管理型静态数据为：目标能耗监测系统投入运行前，在数据准备阶段进行定义并维护完成的数据。

15、业务型动态数据：在目标能耗监测系统运行过程中，实时产生的涉及目标运行状态相关的数据。

16、进一步的，步骤二所述根据数据类型选择数据的储存和备份方式包括：

17、对于管理型静态数据，将相关数据储存在固定储存器中，并定期进行数据备份。

18、对业务型动态数据，采取随机存取存储器配合固定储存器的方式进行数据实时储存，且至少同时包括两套同步数据库进行同步储存。对同步数据库进行实时数据同步。

19、对业务型动态数据进行数据实时储存的方法包括：

20、首先，获取能耗监测系统中的实时业务数据。

21、然后，将采集的数据先写入内存，并采用mdm技术数据对存入内存的实时数据进行管理。

22、最后，在设定内存数据存储空间写满后，将内存数据写入磁盘作为历史数据存档。

23、对业务型动态数据进行实时数据同步的方法包括：

24、首先，准备至少两套相同配置的数据库，每套数据库均可以与相关的上下层进行数据交互。

25、之后，以其中一套数据库为主数据库，其余数据库作为备份数据库。备份数据库向主数据库进行数据备份。

26、进一步的，备份数据库向主数据库进行数据备份的方法包括：当主数据库数据量没有超过预设阈值或备份数据库与主数据库没有一致时，备份数据库进行主数据库的全量数据同步镜像备份。当主数据库数据量超过预设阈值且备份数据库与主数据库一致，主数据库与备份数据库之间采用增强数据实时同步的方式，具体包括：

27、主数据库和备份数据库之间通过心跳监测方式进行通信，以监测主数据库和备份数据库之间的数据变化。当主数据库数据出现新增储存数据时，向备份数据库发出通信，并将新增储存数据备储存至备份数据库中。

28、进一步的，定时验证主数据库数据与备份数据库数据之间的一致性，当主数据库数据与备份数据库数据出现不一致时，调取数据缺失项，并进行如下判断：

29、当缺失数据存在于主数据库中时，将缺失数据补充至备份数据库中。

30、当缺失数据存在于备用数据库中时，调取主数据库数据删除历史，如该数据有对应的删除历史，则将该缺失数据标记为存在，下次数据一致性验证时读取该标记即认为该数据在主数据库中不缺失。如该数据没有对应的删除历史，则从备份数据库中该缺失数据补充至主数据库中。

31、进一步的，步骤三所述对目标读取数据进行压缩处理的方法包括：

32、s1. 构建常规字符-代码表。

33、s2. 从输入的数据中读取一个字符a1作为前缀b1。

34、s3. 读取下一个字符a2，并进行如下判断：

35、如果前缀b1加上字符a2在字符-代码表中存在对应的代码，则将前缀b1更新为前缀b1加上字符a2作为新的前缀b2。

36、如果前缀b1加上字符a2在字符-代码表中不存在对应的代码，则进行步骤s4。

37、s4. 在字符-代码表中添加一个前缀b1加字符a2作为字符，新的代码作为代码的新的字符-代码栏，并将新的字符-代码栏填入字符-代码表中。

38、s5. 重复步骤s2至s4至全部数据读取完成，并保存当前的字符-代码表。

39、s6. 统计所读取数据中，字符-代码表中所存对应字符分别出现的频率。

40、s7. 根据字符出现的频率构建一棵huffman编码树，对于每一个叶子节点，其编码等于从根节点到该叶子节点的路径，0表示向左，1表示向右。

41、s8. 将huffman编码树上的所有字符按照字符-代码表替换为对应的代码，得到huffman代码树。

42、s9. 输出huffman代码树为压缩后的数据。

43、进一步的，步骤三所述将数据储存至对应的数据分区的方法包括：根据读取数据的类型，将相似类型的数据划分至同一储存分区中。储存数据读取时，根据数据类型首先在对应的储存分区中进行数据读取。

44、进一步的，储存分区的存储能力进行如下判断调整：

45、首先，根据数据类型的数量，平均分配每个储存分区的存储能力。

46、然后，在其中某一储存分区内储存的数据总量达到存储能力上限的预设上限阈值时，自数据总量最小的储存分区中划分预设存储能力比例的存储空间给达到预设上限阈值的储存分区。

47、进一步的，步骤三所述对储存的数据进行归档处理的方法包括：将储存时间超过预设时间阈值，或读取频率低于预设频率阈值的数据自主数据库的活跃数据存储区域转存入非活跃数据存储区域，同时记录该数据的转存记录。储存数据读取时，优先检索和读取活跃数据存储区域内的数据。

48、本发明至少具有以下优点之一：

49、1.本发明采用特定的数据压缩算法可以将能源监控系统的目标储存数据进行压缩储存，从而极大节约了数据库的存储空间。

50、2.本发明采用了特殊的数据储存结构，可以实现数据的高效读取，提高能耗监控系统数据储存和读取的速度以及准确性。

51、3.本发明可以对主要储存数据进行备份，且采用的备份方式一方面可以节约存储空间，另一方面可以保障数据的准确性和完整性。