专利名称：一种基于大容量多硬盘的存储方法
技术领域：
本发明涉及一种基于大容量多硬盘的存储方法。
背景技术：
智能电网是数字化、信息化的电网。网络、及网络中的传输的数据是智能变电站中所有的信息载体。随着网络通信技术的发展，智能变电站的推广应用，对智能变电站网络中海量数据可靠、安全地记录以及全景分析，成为必不可少的需求和可能。目前常规的存储介 质还只能是硬盘，存储方式基本都是基于操作系统的文件系统，海量的数据信息，必然产生频繁的读写、删除，而文件系统随机存储的方式可能导致硬盘局部被频繁读写、删除，从而导致硬盘局部迅速损坏，造成数据丢失。必须通过一定的存储策略来降低硬盘损坏的几率，提高数据存储的可靠性。
发明内容
本发明的目的是解决现有随机存储的方式可能导致硬盘局部被频繁读写、删除，从而导致硬盘局部迅速损坏，造成数据丢失的问题，本发明提供一种基于大容量多硬盘的存储方法。本发明为解决上述技术问题而提供一种基于大容量多硬盘的存储方法，该存储方法的步骤如下
1).将与智能变电站网络报文记录分析装置相连的硬盘进行分区，每个硬盘分成至少三个分区；
2).对每个硬盘每个分区进行编号，在每个硬盘的每个分区中设置磁盘剩余空间；
3).将数据文件沿着硬盘中相应区号进行存储，从第一个硬盘的I区到第二个硬盘的I区，直至到最后一个硬盘的I区，然后再从第一个硬盘的2区，到最后一个硬盘的2区按此顺序至最后一个硬盘的最后一个区后再从第一个硬盘的I区开始，按此顺序循环往复；
4).当n-1#硬盘的第m分区中的磁盘剩余空间不大于设定值时,则对n#号硬盘的第m分区采用格式化方式进行删除。2所述的步骤I)中硬盘的分区个数是根据硬盘容量自由调整的。所述的每个硬盘的的分区大小选择为5(Tl00G。所述的步骤2)中的每个分区中设置磁盘剩余空间是由每个分区格式化删除的时间决定的。所述的硬盘是通过智能变电站网络报文记录分析装置的sata接口与智能变电站网络报文记录分析装置相连。本发明的有益效果是本发明通过存储与删除交错进行，当某个硬盘的某个区写入时，删除则一定在另一个硬盘上的另一个分区进行，绝对保证不在同一块硬盘的同一个区上进行。本发明的基于大容量多硬盘的存储方法，能够充分利用硬盘空间，使每个硬盘的每个分区都被均衡的读写、擦除，实现了海量数据安全、快速的存储和索引。
图I是本发明实施例中放入大容量多硬盘的交错高速存储示意图。
具体实施方式
下面结合附图对本发明的具体实施方式
做进一步说明。智能变电站中，按照I个数据集，22个通道计算，一帧SV(9-2)报文的总长度为 295 个字节，如果采样率 4000Hz，I 个 MU :300ByteX4000/s = I. 2MB/s ;24 个 MU :I. 2X24=28. 8 MB/s, 30MB/s X 3600s/ 小时 X24h/天=2. 592TB，仅 SV 报文 24 小时的数据
量大约就是是2. 6T，这就需要大容量的存储空间。Linux操作系统下，通过对5400转笔记本硬盘的进行格式化测试，硬盘存储数据不同、格式化次数不同，硬盘格式化所需的时间差别不大，只有在重新分区后的第一次格式化所占时间会稍长，50G的分区，格式化需要3. 3秒左右，IlOG的分区需要7秒左右，160G的分区需要9秒左右，为保证不丢失记录数据，每个分区都保留一定的磁盘剩余空间，当磁盘剩余空间小于设定值时进行格式化删除。分区越大，格式化删除的时间越长，每个分区中需要保留的磁盘剩余空间的设定值也越大，磁盘有效空间的比例也越小。设定值一定，分区越小，判断进行格式化删除的次数越多，同时分区磁盘有效空间的比例也越小，磁盘剩余空间的设定值大小由格式化时间决定，以保证格式化删除期间，还有足够的磁盘剩余空间继续记录数据。假设N为磁盘数量，M为分区数量，H为磁盘尺寸，D为分区尺寸，U为分区可用时间，L为分区内最小磁盘剩余空间(小于此值时需要格式化I个分区)，S为有效存储空间，V为总剩余存储空间(保证这个数值尽量小)，A为总存储空间，A=N*H=S+V，S= N* (M-I)*U，V=U + N*M*L，而存储空间有效比率P=S/A，合理划分，以使存储空间有效比率最高，综合考虑上述性能，分区大小选择为5(T100G。我们以智能变电站网络报文记录分析装置上所连接的η个500G硬盘为例，对本发明的基于大容量多硬盘的存储方法进行描述，为实现文件的快速定位，数据库选择体积小、速度快、总体拥有成本低的MySQL关系型数据库管理系统，存储文件索引信息，文件系统选择拥有快速平衡树(balanced tree)搜索算法的ReiserFS文件系统。本发明的基于大容量对硬盘存储方法的具体实现过程如下
I.将与智能变电站网络报文记录分析装置通过其sata接口连接的η个500G硬盘中的每个硬盘分成100G的5个分区，IA代表1#硬盘的第I个分区，ηΕ代表n#硬盘的第5个分区。2.初始时刻，将数据文件写入1#硬盘的第I个分区，即1A，此区写满后，则写入2#硬盘的第I个分区2A，一直到nA写满后，又从1#硬盘的第2个分区，2B开始，一直到nB,......，如此顺序循环写入，一直到ηΕ。3.在n#硬盘的第5个分区写满之前，对1#硬盘的第I个分区进行格式化删除，待ηΕ写满后，IA也完成格式化删除的操作，将数据文件写入1#硬盘的第I个分区，并在IA中保留一定的磁盘剩余空间，当1#硬盘的第I个分区中的磁盘剩余空间不大于设定值时，对2#号硬盘的第I分区采用格式化方式进行删除，如此顺序循环往复。由此，存储与删除交错进行，当某个硬盘的某个区写入时，删除则一定在另一个硬盘上的另一个分区进行，绝对保证不在同一块硬盘的同一个区上进行。本发明的基于大容 量多硬盘的存储方法，能够充分利用硬盘空间，使每个硬盘的每个分区都被均衡的读写、擦除，实现了海量数据安全、快速的存储和索引。
权利要求
1.ー种基于大容量多硬盘的存储方法，其特征在于该存储方法的步骤如下 1).将与智能变电站网络报文记录分析装置相连的N个硬盘进行分区，每个硬盘分成至少三个分区； 2).对每个硬盘每个分区进行编号，在每个硬盘的每个分区中设置磁盘剩余空间； 3).将数据文件按硬盘号和分区号进行存储，从第一个硬盘的I区到第二个硬盘的I区，直至到最后ー个硬盘的I区，然后再从第一个硬盘的2区，到最后ー个硬盘的2区按此顺序至最后ー个硬盘的最后ー个区后再从第一个硬盘的I区开始，按此顺序循环往复； 4).当n-1#硬盘的第m分区中的磁盘剩余空间不大于设定值时,则对n#号硬盘的第m分区采用格式化方式进行删除。
2.根据权利要求I所述的基于大容量多硬盘的存储方法，其特征在于所述的步骤I)中硬盘的分区个数是根据硬盘容量自由调整的。
3.根据权利要求I所述的基于大容量多硬盘的存储方法，其特征在于所述的每个硬盘的的分区大小选择为5(T100G。
4.根据权利要求I所述的基于大容量多硬盘的存储方法，其特征在于所述的步骤2)中的每个分区中设置磁盘剩余空间是由每个分区格式化删除的时间決定的。
5.根据权利要求I所述的基于大容量多硬盘的存储方法，其特征在于所述的硬盘是通过智能变电站网络报文记录分析装置的sata接ロ与智能变电站网络报文记录分析装置相连。
全文摘要
本发明涉及一种基于大容量多硬盘的存储方法，该存储方法通过对每个硬盘进行分区，在每个分区中设置硬盘剩余空间，将数据文件按磁盘号和分区号进行存储，使存储与删除交错进行，当某个硬盘的某个区写入时，删除则一定在另一个硬盘上的另一个分区进行，绝对保证不在同一块硬盘的同一个区上进行。本发明的基于大容量多硬盘的存储方法，能够充分利用硬盘空间，使每个硬盘的每个分区都被均衡的读写、擦除，实现了海量数据安全、快速的存储和索引。
文档编号G06F12/06GK102662854SQ201210084050
公开日2012年9月12日 申请日期2012年3月27日 优先权日2012年3月27日
发明者何涛, 周晓娟, 王兴安, 王定国, 王建江, 窦中山, 金华蓉, 陈玉涛, 魏勇 申请人:许昌许继软件技术有限公司, 许继电气股份有限公司, 许继集团有限公司