一种基于单硬盘多分区的大数据管理方法
【技术领域】
[0001]本发明涉及电力系统中智能变电站大数据处理领域，具体涉及一种基于单硬盘多分区的大数据高效存储与安全擦除方法。
【背景技术】
[0002]近年来，在国家政策的大力支持下，发电、输电、用电得到了快速发展，伴随而来的电网运行情况也越来越复杂。如果不能对电网运行中可能出现的各种故障信息进行有效的存储与分析，电网的电能质量将得不到保证。
[0003]为了应对这些故障对电网稳定性能和安全性能的影响，我国各相关高校、企业相继开展了对电网运行中的大数据分析研究工作，目前常用的做法是采用一套装置把这些数据保存在硬盘上，就地分析或远程连接分析。一般来讲，在单硬盘下直接保存数据，使写入、读取和擦除操作在同一个分区下，容易出现数据安全性不高，磁盘碎片多，可用空间变少等缺点；目前硬盘的容量越来越大，采用多硬盘存储又会产生工程成本高，资源浪费的问题。因此开发出在单硬盘下安全可靠的大数据管理方法是非常必要的。
【发明内容】
[0004]本发明的目的是提供基于单硬盘多分区的大数据高效存储和安全擦除方法，用以解决现有技术中单硬盘存储时容易出现数据安全性不高的问题。
[0005]为实现上述目的，本发明的方案包括:
[0006]一种基于单硬盘多分区的大数据管理方法，其特征在于，所述管理方法依次包括如下步骤:
[0007]步骤1:将与智能变电站故障录波装置相连的硬盘根据其容量和需要分成固定容量的η个分区，将这些分区按照一定的编号规则进行编号；
[0008]步骤2:设置每个分区的最小剩余空间值，该最小剩余空间值大于每天需要采集数据量的总和；
[0009]步骤3:将接收到的数据存储到磁盘分区内，当数据存储操作在第i个分区时，同时检测第i+Ι个分区的剩余容量，并作出相应处理，以保证第二天数据存储具有足够的分区空间；
[0010]步骤4:存储接收到的数据时，按从第一个分区到最后一个分区再到第一个分区的规则，循环实现数据的存储。
[0011]其中，步骤I中一定的编号规则是指从自然数I开始按照自然数的顺序从小到大编号，其中一种编号是1，2，3……m，m是自然数。
[0012]进一步的，步骤3中的相应处理是指在第i+Ι个分区剩余容量小于所设定的最小剩余空间值时，对其进行格式化处理。
[0013]进一步的，步骤4中循环存储的时间间隔是一天，每天仅在一个分区做数据存储。
[0014]本发明提供的一种基于单硬盘多分区的大数据管理方法，使得数据的读写与擦除不在同一个分区下，提高了单硬盘下数据存储的可靠性、安全性。
[0015]数据的存储每天仅在一个分区内存储，这样有利于历史数据的查找和回放。
[0016]同时，对数据分区采用格式化的方式进行擦除，有效的减少了磁盘碎片变少、可用空间变小的问题。
【附图说明】
[0017]图1是基于单硬盘多分区的大数据管理方法示意图。
【具体实施方式】
[0018]下面结合附图对本发明做进一步详细的说明。
[0019]实施例
[0020]本发明提供的一种大数据管理方法，依次包括如下步骤:
[0021]步骤1:将与智能变电站故障录波装置相连的硬盘根据其容量和需要分成固定容量的η个分区，将这些分区按照一定的编号规则进行编号；
[0022]步骤2:设置每个分区的最小剩余空间值，该最小剩余空间值大于每天需要采集数据量的总和；
[0023]步骤3:将接收到的数据存储到磁盘分区内，当数据存储操作在第i个分区时，同时检测第i+Ι个分区的剩余容量，并作出相应处理，以保证第二天数据存储具有足够的分区空间。
[0024]步骤4:存储接收到的数据时，按从第一个分区到最后一个分区再到第一个分区的规则，循环实现数据的存储。
[0025]下面将结合附图对本发明的【具体实施方式】做出进一步的详细说明:
[0026]首先，将与智能变电站故障录波装置相连的硬盘根据其容量分成固定容量的η个分区，要保证每个分区的容量大于每天所要采集的数据量。以某一智能变电站为例，默认配置下智能变电站每秒1000Hz采样频率，每帧数据具有192路模拟量和512路的开关量，则在一天内产生的数据总量为:(192 X 2+(512+15)/16 X 2) Byte/帧X 100Hz/秒X 3600/小时X 24/天?36GB。因此，每个分区的最小剩余空间值设定为50G，即可保证每天数据的完整性。在此，与智能变电站故障录波装置相连的硬盘为1T，现将它分为7个用于存储智能变电站数据的分区，每个分区为100G，剩余的空间留作它用。在此，将7个磁盘分区编号为1，2，3，4，5，6，7，作为其他方式，也可以采用其他的编号规则，方便使用即可。
[0027]与智能变电站故障录波装置相连的硬盘接收到数据总线周波数据后，开辟出一个内存缓冲区，该内存缓冲区的大小为接收到数据包中的最大尺寸，用以保存每个周波的数据，进而转发存储到相应的分区中。然后设置要存储的分区号write_num和要检测的分区号detec_numD有公式:
[0028]write_num = write_num% η ；
[0029]detec_num = (write_num+l) % n ；
[0030]其中n为用于接收智能变电站数据的分区的个数，在这里n = 7，write_num = 1，detec_num = 2。
[0031]存储数据每经过一天，则write_num加I。通过磁盘检测判断分区号为detec_num的分区容量是否写满，每天检测一次，如果该分区剩余容量小于所设定的最小剩余空间值，则对该区做一定处理，使其剩余容量始终保持大于设定的最小剩余空间值，满足数据的存储；在这里是对该分区直接做格式化处理。因此，数据存储操作只需往分区号值为write_num的分区上写数据即可，而不需要考虑该分区是否有足够容量。
[0032]同时，在每个分区中，每天按小时数为文件夹名保存数据文件，每个文件保存的时间间隔根据每天要接收的数据量来设定，在这里，每个文件大小约为20MB，因此设置文件保存时间间隔为10秒。
[0033]根据上述步骤，在第一天将数据存储到编号为I的分区内，同时磁盘检测编号为2的分区中剩余容量是否大于最小剩余空间值，如果否，则对编号为2的分区进行处理以增大该分区的空间，在此是将编号为2的分区格式化。如此每天向后推移一个磁盘分区，到编号为7的分区以后又循环从编号为I的分区开始存储，如此循环存储智能变电站的数据。
[0034]以上给出了本发明具体的实施方式，但本发明不局限于所描述的实施方式。在本发明给出的思路下，采用对本领域技术人员而言容易想到的方式对上述实施例中的技术手段进行变换、替换、修改，并且起到的作用与本发明中的相应技术手段基本相同、实现的发明目的也基本相同，这样形成的技术方案是对上述实施例进行微调形成的，这种技术方案仍落入本发明的保护范围内。
【主权项】
1.一种基于单硬盘多分区的大数据管理方法，其特征在于，所述管理方法依次包括如下步骤: 步骤1:将与智能变电站故障录波装置相连的硬盘根据其容量和需要分成固定容量的η个分区，将这些分区按照一定的编号规则进行编号； 步骤2:设置每个分区的最小剩余空间值，该最小剩余空间值大于每天需要采集数据量的总和； 步骤3:将接收到的数据存储到磁盘分区内，当数据存储操作在第i个分区时，同时检测第i+Ι个分区的剩余容量，并作出相应处理，以保证第二天数据存储具有足够的分区空间； 步骤4:存储接收到的数据时，按从第一个分区到最后一个分区再到第一个分区的规贝IJ，循环实现数据的存储。2.根据权利要求1所述的一种基于单硬盘多分区的大数据管理方法，其特征在于，所述步骤I中一定的编号规则是指从自然数I开始按照自然数的顺序从小到大编号。3.根据权利要求2所述的一种基于单硬盘多分区的大数据管理方法，其特征在于，所述编号是1，2, 3......m，m是自然数。4.根据权利要求1所述的一种基于单硬盘多分区的大数据管理方法，其特征在于，所述步骤3中的相应处理是指在第i+Ι个分区剩余容量小于所设定的最小剩余空间值时，对其进行格式化处理。5.根据权利要求1所述的一种基于单硬盘多分区的大数据管理方法，其特征在于，所述步骤4中循环存储的时间间隔是一天，每天仅在一个分区做数据存储。
【专利摘要】本发明涉及一种基于单硬盘多分区的大数据管理方法，依次包括如下步骤：1，将与智能变电站故障录波装置相连的硬盘根据其容量和需要分成固定容量的n个分区，并按照一定的编号规则进行编号；2，设置每个分区的最小剩余空间值，该最小剩余空间值大于每天需要采集数据量的总和；3，将接收到的数据存储到分区内，当数据存储操作在第i个分区时，检测第i+1个分区的剩余容量，并作出相应处理，以保证第二天数据存储具有足够的分区空间；4，存储接收到的数据时，按从第一个分区到最后一个分区再到第一个分区的规则，循环存储。通过分区划分使数据的读写与擦除不在同一个分区下，提高了单硬盘下数据存储的可靠性、安全性。
【IPC分类】G06F3/06, G06F17/30
【公开号】CN105117177
【申请号】CN201510581298
【发明人】卓怀忠, 金华蓉, 窦中山, 王兴安, 陈玉涛, 周晓娟, 王兆庆, 蒋怀贞, 刘永华, 卜银娜, 胡叶宾, 戚振伟, 张鹏远, 王四伟, 陈强
【申请人】许昌许继软件技术有限公司, 许继电气股份有限公司, 许继集团有限公司, 国家电网公司
【公开日】2015年12月2日
【申请日】2015年9月14日