一种具备N-6存储媒介完存性的电力大数据储存系统的制作方法

文档序号:16246111发布日期:2018-12-11 23:35阅读:174来源:国知局
一种具备N-6存储媒介完存性的电力大数据储存系统的制作方法

本发明涉及一种电力大数据储存系统,特别是关于一种在电力行业中应用的具备n-6存储媒介完存性的电力大数据储存系统。

背景技术

多个国家行业标准中,有“n-1”的术语,例如,1993年能源部、住建部颁布的《城市电力网规划设计导则》(能源电[1993]228号)中规定,城市配电网必须满足供电安全“n-1”准则要求。在电力系统技术领域,n-1运行方式是指电力系统的n个元件中的任一独立元件(发电机、输电线路、变压器等)发生故障而被切除后,应不造成因其他线路过负荷跳闸而导致用户停电,不破坏系统的稳定性,不出现电压崩溃等事故;n-2运行方式是指电力系统的n个元件中的任两独立元件(发电机、输电线路、变压器等)发生故障而被切除后,应不造成因其他线路过负荷跳闸而导致用户停电,不破坏系统的稳定性,不出现电压崩溃等事故。同理,“n-3”是指电力系统的n个元件中的任三独立元件(发电机、输电线路、变压器等)发生故障而被切除后,应不造成因其他线路过负荷跳闸而导致用户停电,不破坏系统的稳定性,不出现电压崩溃等事故。

存储器是计算机系统中的记忆设备,用来存放程序和数据。计算机中的全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。数据存贮系统中的磁带、磁盘、磁鼓、光盘等由于伤痕、读写头的接触不良等所产生的错误,这些错误是突发错误,或突发错误与随机错误并存。

对比目前的数据储存系统,采用镜像(mirroring)技术仅具备n-1(n个存储媒介单元中任意1个存储媒介单元故障,而不引起数据储存系统的数据丢失),且可用容量仅50%;采用数据条带(datastripping)和数据奇偶校验(dataodd-evenparity)技术仅具备n-2(n个存储媒介单元中允许同时发生任意≤2个存储媒介单元故障,而不引起数据储存系统的数据丢失)。无法满足电力系统n-6要求。

有限域亦称伽罗瓦域(galoisfield,gf),是仅含有限个元素的域。gf(2)域是最简单的有限域,只有0和1两个元素的域,也称为二元域,其的加法运算“+”(即异或运算)满足:0+0=0、0+1=1和1+1=0,乘法运算“×”(即与运算)满足:0×0=0、0×1=0和1×1=1,关于加法的单位元是0,关于乘法的单位元是1,gf(2)域上的加法和减法是等价的。

应用组合学、数论、代数以及代数几何等数学工具能构做出性能良好的纠错码,fire码是phillpfire提出的gf(2)域的码,是一类纠正突发错误(其中也包括首尾相接的循环突发错误和突发删除错误)的二进制循环码。[33,12]fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits;码长n=33bits之中,[33,12]fire码能纠正突发错误(其中也包括首尾相接的循环突发错误和突发删除错误)的比特(bit)数为≤6bits(即b=6,b表征该码的纠正突发错误能力),能发现所有长度≤(n-k)=(33-12)=21bits的突发错误,码效率(即信息元码位在整个码位占比,或称为信息率)为r=k/n=12/33=36.4%,属于一种二进制循环码。[33,12]fire码的生成多项式为g(x)=(x21+x20+x16+x12+x11+x10+x9+x5+x+1)。g(x)=(x2b-1+1)p(x)=(x11+1)(x10+x9+x5+x+1),纠正突发错误时(x11+1)和(x10+x9+x5+x+1)一起共同决定突发错误所发生的位置。

电力系统数据储存系统相当于电力系统的神经中枢大脑。其存储媒介单元故障,造成数据丢失,将直接影响发电、输电、变电、配电、用电、调度系统的安全、平稳、可靠地运行。电力系统数据储存系统中存储媒介单元的故障概率相对较高,面临n-6挑战。n-6表示n个存储媒介单元中允许同时发生任意≤6个存储媒介单元故障,而不引起数据储存系统的数据丢失。



技术实现要素:

针对上述问题,本发明的目的是提供一种具备n-6存储媒介完存性的电力大数据储存系统,其解决了电力大数据储存系统存储容量、容故障能力和扩展性三者均衡优化问题,保护数据安全,且保障数据具有一定的私密性和完整性,更好地支撑智慧电网具备n-6的高可靠性运行。提升了电力系统的本质安全,促进电力系统的智能化发展。

为实现上述目的,本发明采取以下技术方案:一种具备n-6存储媒介完存性的电力大数据储存系统,其特征在于:所述系统包括存储控制管理单元以及依次连接的电力大数据块的[33,12]fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道和电力大数据块的[33,12]fire码译码处理单元;所述存储控制管理单元分别与所述电力大数据块的[33,12]fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道和电力大数据块的[33,12]fire码译码处理单元连接;所述电力大数据块的[33,12]fire码编码处理单元和所述电力大数据块的[33,12]fire码译码处理单元分别运用[33,12]fire码写入和读取数据,所述[33,12]fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits,所述[33,12]fire码是gf(2)域的码,属于二进制循环码中的一种;所述8×l行33列的存储媒介阵列用于存储电力大数据块,包括8×l行33列的存储单元的存储媒介阵列,l为正整数;所述写入通信传输通道和读出通信传输通道用于33路电力大数据块子块的传输,33列8×l行的33×8×l个电力大数据块子块的33列对应33路。

进一步,所述电力大数据块的[33,12]fire码编码处理单元包括写入控制管理单元以及依次连接的电力大数据块预处理单元、[33,12]的fire码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元;所述写入控制管理单元分别与所述电力大数据块预处理单元、[33,12]的fire码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元连接且为其提供控制信号。

进一步,所述写入控制管理单元为所述电力大数据块预处理单元、[33,12]的fire码编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号,生成第j列第i行的电力大数据块子块位置信息(i,j)及所述电力大数据块子块的哈希函数摘要信息hash(i,j),1≤j≤33,1≤i≤8×l,l为正整数;所述电力大数据块预处理单元用于对待处理的所述电力大数据块进行预处理,使之变成12bytes的整倍数;所述预处理方法包括:将待处理的电力大数据块除以12bytes,获得余数为c,若c=0,则所述电力大数据块尾部不添加“0”,若c≠0,则待存储的所述电力大数据块在尾部添加(12-c)bytes的“0”,所述c取1~11任一整数;所述[33,12]的fire码编码器为将12bits的数据信息编码为33bits的fire码的编码器;所述fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits;所述串/并变换器为将1路串行信息变换为33路并行信息的变换器;所述输入缓存器为33列8行阵列的堆栈缓存器(8×33bits),写入:按照行逐比特依次写入,每次写入1bit,33bits为1行,从堆栈缓存器的顶端向底端,逐行压入堆栈缓存器;33列8行阵列的堆栈缓存器写满后,暂停本轮写入,开始本轮读出:按照列逐字节依次读出,每字节8bits,8bits为1列,每次读取1b=8bits,从堆栈缓存器的底端向顶端,逐列读取堆栈缓存器;33列8行阵列的堆栈缓存器读空后,暂停本轮读出,开始下一轮写入;所述生成电力大数据块子块单元根据待存储的xbytes字节的电力大数据块生成33×8×l个电力大数据块子块,l为正整数。

进一步,所述电力大数据块的[33,12]fire码译码处理单元包括读出控制管理单元以及依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[33,12]的fire码译码器和电力大数据块后处理单元;所述读出控制管理单元分别与所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[33,12]的fire码译码器和电力大数据块后处理单元连接且为其提供控制信号。

进一步,所述读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[33,12]的fire码译码器和电力大数据块后处理单元提供时钟信号,生成第j'列第i'行的电力大数据块子块位置信息(i',j'),1≤j'≤33,1≤i'≤8×l,对应的所述电力大数据块子块的哈希函数摘要信息为hash(i',j');所述汇聚电力大数据块的子块单元根据待存储的xbytes字节的电力大数据块生成33×8×l个电力大数据块子块,l为正整数;所述输出缓存器为33列8行阵列的堆栈缓存器(8×33bits),写入:按照列逐字节依次写入,每字节8bits,8bits为1列,每次写入1b=8bits,从堆栈缓存器的顶端向底端,逐列压入堆栈缓存器;33列8行阵列的堆栈缓存器写满后,暂停本轮写入,开始本轮读出:按照行逐比特依次读出,每次读取1bit,33bits为1行,从堆栈缓存器的底端向顶端,逐行读取堆栈缓存器;33列8行阵列的堆栈缓存器读空后,暂停本轮读出,开始下一轮写入;所述并/串变换器将33路并行信息变换为1路串行信息的变换器;所述[33,12]的fire码译码器为将33bits的fire码译码为12bits的数据信息的译码器;所述fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits;所述电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理。

进一步,所述后处理方法包括:检测所述电力大数据块的尾部,以字节为单位,若其尾部有连续(12-c)bytes的0,则删除所述连续(12-c)bytes的“0”,若所述尾部无连续(12-c)bytes的“0”,则不做删除处理;所述c取1~11任一整数,对应同一所述电力大数据块,与所述电力大数据块的[33,12]的fire码编码处理单元中的电力大数据块预处理单元中对应的c取值相同。

进一步,所述存储控制管理单元为所述电力大数据块[33,12]的fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道和电力大数据块的[33,12]fire码译码处理单元提供时钟信号和控制信号,采用电缆或光纤通信传输通道传递;所述存储控制管理单元根据待存储的电力大数据块的大小确定所述8×l行33列的存储媒介阵列中的存储媒介单元的容量大小,所述8×l行33列的存储媒介阵列中的每行均对应一个[33,12]的fire码的码组,l为正整数;所述存储控制管理单元根据待存储的电力大数据块的信息生成相应的目录信息,所述目录信息根据所述电力大数据块的[33,12]的fire码编码处理单元的处理结果获得;所述目录信息包括所述电力大数据块对应的8×l行33列的存储媒介阵列的行值8×l、8×l×33个电力大数据块子块的位置信息及其对应的哈希函数摘要信息;位于第j列第i行的电力大数据块子块的所述位置信息为(i,j),对应的所述哈希函数摘要信息为hash(i,j),1≤j≤33,1≤i≤8×l;所述存储控制管理单元将8×l×33个电力大数据块子块的所述位置信息(i,j)、所述哈希函数摘要信息hash(i,j)和所述8×l行33列的存储媒介阵列相应的存储位置信息(i',j')发送至所述电力大数据块的[33,12]的fire码译码处理单元,1≤j'≤33,1≤i'≤8×l。

进一步,所述写入通信传输通道和所述读出通信传输通道为33路的电缆、光纤或无线通信传输通道。

进一步,所述8×l行33列的存储媒介阵列中,待存储电力大数据块大小不同,对应的行值8×l和存储单元容量不同;所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘;对应同一待存储电力大数据块,所述8×l行33列的存储媒介阵列中的存储媒介为相同结构的存储单元,l为正整数。

进一步,所述大数据储存系统具有存储容量的扩展性,8×l行33列的存储媒介阵列结构,能整8的l倍数行扩展,l为正整数,每行存储媒介单元的容量相同,仍然能够保持具备容n-6存储媒介故障的能力。

本发明由于采取以上技术方案,其具有以下11点有益效果:

1、本发明提供的电力大数据储存系统包括:存储控制管理单元、电力大数据块的[33,12]fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道、电力大数据块的[33,12]fire码译码处理单元,将多个容量较小、相对廉价的存储媒介(例如磁盘/含硬盘、磁带或光盘)进行有机组合,从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性,并使用[33,12]fire码的编译码技术和哈希函数摘要技术,允许同时发生任意≤6个存储媒介故障(即n-6),解决电力大数据储存系统存储容量、容故障能力和扩展性三者均衡优化问题,以推进电力系统的建设和发展。码长n=33bits之中,[33,12]fire码能纠正突发错误(其中也包括首尾相接的循环突发错误和突发删除错误)的比特(bit)数为≤6bits(即b=6),属于一种二进制循环码,信息元码速率占比为r=k/n=12/33=36.4%;[33,12]fire码是性能良好的纠错码;[33,12]fire码的生成多项式为g(x)=(x21+x20+x16+x12+x11+x10+x9+x5+x+1)。

2、本发明提供的电力大数据储存系统通过存储控制管理单元、电力大数据块的[33,12]fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道、电力大数据块的[33,12]fire码译码处理单元,完成对数据的处理,显著改进目前电力系统数据储存系统的容故障能力和扩展性,具备容n-6存储媒介故障的能力。

3、本发明提供的电力大数据储存系统,以磁盘(含硬盘)、磁带或光盘为存储媒介单元,组成8×l行33列的存储单元的存储媒介阵列,l为正整数,每一行的33个存储媒介单元中允许同时发生任意≤6个存储媒介单元故障(即n-6),且8×l行允许同时发生≤6×8×l个存储媒介单元故障,而不会发生数据丢失事件,且可用容量近36.4%,进而保证数据储存系统正常工作;针对智能电网数据储存系统,保持和恢复设备的运行力度,减少事故发生,降低经济损失,优化运行维护资源。

对比目前的数据储存系统,采用镜像(mirroring)技术仅具备容n-1存储媒介故障(存储媒介单元中允许同时发生任意≤1个存储媒介单元故障),且可用容量仅50%;采用数据条带(datastripping)和数据校验(dataparity)技术仅具备容n-2存储媒介故障(存储媒介单元中允许同时发生任意≤2个存储媒介单元故障)。

4、本发明提供的电力大数据储存系统具有广泛的适用性和很高的实用性,并能产生积极效果。

5、本发明提供的电力大数据储存系统,能抵御电力大数据储存系统多个存储媒介单元故障,进而保障和提高电力系统的安全、平稳、可靠地运行。因为电力大数据储存系统相当于电力系统的神经中枢大脑。其存储媒介单元故障,造成数据丢失或错误,将直接影响发电、输电、变电、配电、用电、调度系统的安全、平稳、可靠地运行。

6、目前存储媒介单元的故障概率相对较高,应用本发明提供的一种具备n-6存储媒介完存性的电力大数据储存系统,能抵御电力大数据储存系统多个存储媒介单元故障,进而降低电力系统的故障概率,提高电力系统的供电可靠性,减小用户停电时间,更好地为和谐社会服务。

7、本发明提供的电力大数据储存系统,使可用存储容量、容故障能力和扩展性三者均衡优化,保障数据储存系统的大容量、高性能和高可靠性,具有显著的经济效益和良好的推广应用价值。

8、本发明提供的电力大数据储存系统,存储在磁盘(含硬盘)、磁带或光盘中的电力数据,保障数据具有一定的私密性,需经过[33,12]fire码编译码,[33,12]fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits;[33,12]fire码是gf(2)域的码,属于二进制循环码中的一种,才能正确识读。

9、本发明提供的电力大数据储存系统能够保障数据的完整性,读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果,hash(i,j)=hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。否则,电力大数据块子块(i',j')有被篡改或伪造的可能。

10、本发明提供的电力大数据储存系统的各单元通过通信传输系统的连接,能够部署在相同或不同的地理位置;存储控制管理单元、电力大数据块的[33,12]fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道、电力大数据块的[33,12]fire码译码处理单元通过通信传输系统连接,部署在同一或不同的地理位置。

11、本发明提供的大数据储存系统,具有存储容量的可扩展性,8×l行33列的存储媒介阵列结构,能整8×l行扩展,l为正整数,仍然能够保持具备n-6存储媒介完存性的能力。

总之,面对电力系统的大数据、云存储和边缘计算需求,通过数据存储纠错编码技术研究,提出一种具备n-6存储媒介完存性的电力大数据储存系统,实现允许同时发生任意≤6个存储媒介故障的能力,保护电力系统的数据安全,提升电力系统数据存储的容故障能力,更好地支撑智慧电网具备n-6的高可靠性运行,提升电力系统的本质安全,促进电网的智能化发展。

附图说明

图1为一种具备n-6存储媒介完存性的电力大数据储存系统的示意图;

图2为8×l行33列的存储媒介阵列结构图(8×l×33,l取正整数,8的l倍数行);

图3为电力大数据块的[33,12]fire码编码处理单元的处理流程图;

图4为电力大数据块的[33,12]fire码译码处理单元的处理流程图;

图5为电力大数据块的[33,12]fire码编码处理单元的输入缓存器的写入与读出方式图;

图6为电力大数据块的[33,12]fire码译码处理单元的输出缓存器的写入与读出方式图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示,本发明提供一种具备n-6存储媒介完存性的电力大数据储存系统,该系统包括存储控制管理单元以及依次连接的电力大数据块的[33,12]fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道和电力大数据块的[33,12]fire码译码处理单元;存储控制管理单元分别与电力大数据块的[33,12]fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道和电力大数据块的[33,12]fire码译码处理单元连接,并提供时钟信号和控制信号;存储控制管理单元根据待存储的电力大数据块的大小确定8×l行33列的存储媒介阵列中的存储媒介单元的容量大小,8×l行33列的存储媒介阵列中的每行均对应一个[33,12]的fire码的码组,l为正整数;存储控制管理单元根据待存储的电力大数据块的信息生成相应的目录信息,目录信息根据电力大数据块的[33,12]的fire码编码处理单元的处理结果获得;目录信息包括电力大数据块对应的8×l行33列的存储媒介阵列的行值8×l、8×l×33个电力大数据块子块的位置信息及其对应的哈希函数摘要信息;位于第j列第i行的电力大数据块子块的位置信息为(i,j),对应的哈希函数摘要信息为hash(i,j),1≤j≤33,1≤i≤8×l;存储控制管理单元将8×l×33个电力大数据块子块的位置信息(i,j)、哈希函数摘要信息hash(i,j)和8×l行33列的存储媒介阵列相应的存储位置信息(i',j')发送至电力大数据块的[33,12]的fire码译码处理单元,1≤j'≤33,1≤i'≤8×l。

电力大数据块的[33,12]fire码编码处理单元和电力大数据块的[33,12]fire码译码处理单元分别运用[33,12]fire码写入和读取数据,[33,12]fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits;写入通信传输通道和读出通信传输通道用于33路电力大数据块子块的传输,33列8×l行的33×8×l个电力大数据块子块的33列对应33路;写入通信传输通道和读出通信传输通道为电缆、光纤或无线通信传输通道。

如图2所示,8×l行33列的存储媒介阵列(8×l×33,l取正整数,8的l倍数行)用于存储电力大数据块,包括8×l行33列的存储单元的存储媒介阵列,l为正整数;待存储电力大数据块大小不同,对应的行值8×l和存储单元容量不同;存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘;对应同一待存储电力大数据块,8×l行33列的存储媒介阵列中的存储媒介为相同结构的存储单元,l为正整数。大数据储存系统具有存储容量的扩展性,8×l行33列的存储媒介阵列结构,能整8的l倍数行扩展,l为正整数,每行存储媒介单元的容量相同,仍然能够保持具备容n-6存储媒介故障的能力;8×l行33列的存储媒介阵列能扩展为8×l行33×k列的存储媒介阵列,33的k倍数列扩展,k为正整数,其中k组8×l行33列的存储媒介阵列,每组仍然能够保持具备容n-6存储媒介故障的能力。

如图3所示,电力大数据块的[33,12]fire码编码处理单元包括写入控制管理单元以及依次连接的电力大数据块预处理单元、[33,12]的fire码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元;写入控制管理单元分别与电力大数据块预处理单元、[33,12]的fire码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元连接,且为其(电力大数据块预处理单元、[33,12]的fire码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元)提供控制信号;[33,12]的fire码编码器是由生成多项式g(x)=(x21+x20+x16+x12+x11+x10+x9+x5+x+1)的除法电路实现的(n-k)=(33-12)=21级的系统码编码电路。其中:

写入控制管理单元为电力大数据块预处理单元、[33,12]的fire码编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号,生成第j列第i行的电力大数据块子块位置信息(i,j)及电力大数据块子块的哈希函数摘要信息hash(i,j),1≤j≤33,1≤i≤8×l,l为正整数;

电力大数据块预处理单元用于对待处理的电力大数据块进行预处理,使之变成12bytes的整倍数;预处理方法包括:将待处理的电力大数据块除以12bytes,获得余数为c,若c=0,则电力大数据块尾部不添加“0”,若c≠0,则待存储的电力大数据块在尾部添加(12-c)bytes的“0”,c取1~11任一整数;

[33,12]的fire码编码器为将12bits的数据信息编码为33bits的fire码的编码器;fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits;

串/并变换器为将1路串行信息变换为33路并行信息的变换器;

输入缓存器为33列8行阵列的堆栈缓存器(8×33bits),写入:按照行逐比特依次写入,每次写入1bit,33bits为1行,从堆栈缓存器的顶端向底端,逐行压入堆栈缓存器;33列8行阵列的堆栈缓存器写满后,暂停本轮写入,开始本轮读出:按照列逐字节依次读出,每字节8bits,8bits为1列,每次读取1b=8bits,从堆栈缓存器的底端向顶端,逐列读取堆栈缓存器;33列8行阵列的堆栈缓存器读空后,暂停本轮读出,开始下一轮写入;生成电力大数据块子块单元根据待存储的xbytes字节的电力大数据块生成33×8×l个电力大数据块子块,l为正整数。

如图4所示,电力大数据块的[33,12]fire码译码处理单元包括读出控制管理单元以及依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[33,12]的fire码译码器和电力大数据块后处理单元;读出控制管理单元分别与汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[33,12]的fire码译码器和电力大数据块后处理单元连接且为其提供控制信号;[33,12]的fire码译码器是由生成多项式g(x)=(x21+x20+x16+x12+x11+x10+x9+x5+x+1)实现的(n-k)=(33-12)=21级的译码器。其中:

读出控制管理单元为汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[33,12]的fire码译码器和电力大数据块后处理单元提供时钟信号,生成第j'列第i'行的电力大数据块子块位置信息(i',j'),1≤j'≤33,1≤i'≤8×l,对应的电力大数据块子块的哈希函数摘要信息为hash(i',j');

汇聚电力大数据块的子块单元根据待存储的xbytes字节的电力大数据块生成33×8×l个电力大数据块子块,l为正整数;

输出缓存器为33列8行阵列的堆栈缓存器(8×33bits),写入:按照列逐字节依次写入,每字节8bits,8bits为1列,每次写入1b=8bits,从堆栈缓存器的顶端向底端,逐列压入堆栈缓存器;33列8行阵列的堆栈缓存器写满后,暂停本轮写入,开始本轮读出:按照行逐比特依次读出,每次读取1bit,33bits为1行,从堆栈缓存器的底端向顶端,逐行读取堆栈缓存器;33列8行阵列的堆栈缓存器读空后,暂停本轮读出,开始下一轮写入;

并/串变换器将33路并行信息变换为1路串行信息的变换器;

[33,12]的fire码译码器为将33bits的fire码译码为12bits的数据信息的译码器;fire码的码长n为33bits、信息位k为12bits、能纠正突发错误的最大位数b为6bits;

电力大数据块后处理单元用于对待读出的电力大数据块以字节为单位进行后处理。

后处理方法包括:检测电力大数据块的尾部,以字节为单位,若其尾部有连续(12-c)bytes的0,则删除连续(12-c)bytes的“0”,若尾部无连续(12-c)bytes的“0”,则不做删除处理;c取1~11任一整数,对应同一电力大数据块,与电力大数据块的[33,12]的fire码编码处理单元中的电力大数据块预处理单元中对应的c取值相同。

如图5所示,电力大数据块的[33,12]fire码编码处理单元的输入缓存器的写入与读出方式为:由写入控制管理单元控制,逐轮写入与读出循环进行,每轮先写入再读出,写满后读出,读空后开始下一轮写入;输入缓存器为33列8行阵列的堆栈缓存器(8×33bits),写入:按照行逐比特依次写入,每次写入1bit,33bits为1行,每行从堆栈缓存器的顶端向底端压入,逐行压入堆栈缓存器;33列8行阵列的堆栈缓存器写满后,暂停本轮写入,开始本轮读出:按照列逐字节依次读出,每字节8bits,8bits为1列,每次读取1b=8bits,从堆栈缓存器的底端向顶端,逐列读取堆栈缓存器;33列8行阵列的堆栈缓存器读空后,暂停本轮读出,开始下一轮写入。

如图6所示,电力大数据块的[33,12]fire码译码处理单元的输出缓存器的写入与读出方式为:由读出控制管理单元控制,逐轮写入与读出循环进行,每轮先写入再读出,写满后读出,读空后开始下一轮写入;输出缓存器为33列8行阵列的堆栈缓存器(8×33bits),写入:按照列逐字节依次写入,每字节8bits,8bits为1列,每次写入1b=8bits,每列从堆栈缓存器的顶端向底端压入,逐列写入堆栈缓存器;33列8行阵列的堆栈缓存器写满后,暂停本轮写入,开始本轮读出:按照行逐比特依次读出,每次读取1bit,33bits为1行,从堆栈缓存器的底端向顶端,逐行读取堆栈缓存器;33列8行阵列的堆栈缓存器读空后,暂停本轮读出,开始下一轮写入。

实施例一:以某电力公司省级电力计量中心业务数据备份系统为例

某省级电力计量中心业务数据涉及采购、验收、仓储、配送、质量监督、计量体系等功能,实现从采购、验收、检定、配送的全流程贯通。计量器具从计划制定、质量检测、仓储配送、设备状态监控、标准量传、监督评价的全过程闭环管理,满足了独立接受政府计量行政部门质量监管的管理需要,满足检定、配送省级业务集中,同时具备电测计量、高压计量、质量检测(可靠性检测)等业务内容。省级电力计量中心业务数据涉及测量、计量、用电信息采集、安全认证、能效与节能等领域,其数据存储备份,有利于促进电网公司整体管理水平的提升,推动测量、计量专业的发展。

本实施例中将多个光盘读写驱动器进行有机组合,从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性,并使用的纠错编码技术,允许同时发生≤6个存储媒介故障(即n-6)。

某电力公司省级电力计量中心业务数据备份系统,采用本发明“一种具备n-6存储媒介完存性的电力大数据储存系统”,8×l行33列的存储媒介阵列中的存储媒介单元采用25gb蓝光档案级光盘,取l=3,8×l×33=792个25gb蓝光档案级光盘,共计8×3×33×25gb×0.364=7.2tb的有效存储容量。写入通信传输通道和读出通信传输通道用于33路电力大数据块子块的传输,33列8×l行的33×8×l个电力大数据块子块的33列对应33路;写入通信传输通道和读出通信传输通道为33路的电缆、光纤通信传输通道,连接33台蓝光光盘读写刻录机,其中每台蓝光光盘读写刻录机负责8×l个25gb蓝光档案级光盘的读写,l为正整数,本例中取l=3。

8×l行33列中,本实施例每一行能发现所有长度≤(n-k)=(33-12)=21bits的突发错误,每一行允许同时发生任意≤6个存储媒介单元故障(即6个25gb蓝光档案级光盘损坏),而不引起数据储存系统的数据丢失;即8×l行33列个存储媒介单元(共计8×l×33=792个25gb蓝光档案级光盘)中最多允许同时发生任意8×l×6=8×3×6=144个存储媒介单元损坏(即144个25gb蓝光档案级光盘损坏),相当于144÷792=18.2%数量的存储媒介单元(即光盘)损坏,而不引起数据储存系统的任何数据丢失。所以,应用本发明“一种具备n-6存储媒介完存性的电力大数据云储存系统”,针对存储媒介单元(即光盘)损坏问题,避免因存储媒介损坏而引起的数据丢失,具备优异的数据储存的完存性,保护电力系统的数据安全。

实施例二:以某省电网运行和检修系统大数据分布式存储灾难备份系统为例

电网是经输电、变电和配电将电能供应到各用户。为实现这一功能,电网在各个环节和不同层次还具有相应的信息与控制系统,对电能的生产过程进行测量、调节、控制、保护、通信和调度等的一系列的指令环节执行的状态过程被称为电网运行,以保证用户获得安全、优质的电能。运行状态主要是针对不同条件下电网中相关设备、装置的运行轨迹和状态来说,一般可以分成正常状态和异常状态两种。正常状态又可分为安全状态和警戒状态,异常状态又分成紧急状态和恢复状态。电网的运行包括了所有这些状态及其相互间的转移。这些都会产生大量的数据,需要存储和灾难备份。

电网的设备或装置检修包括检查、维护和修理、更新四个环节。在电网的运行过程中,为了缩短设备或装置的停运时间,让设备或装置保持超高的运行速度,延长时间周期,检修成为了一门重要的必修课。并且,随着电力设备或装置的不断更新和普及,电网的检修也越来越多的受到重视。对变电运行设备或装置的检修主要考虑两个方面因素:一是提高设备或装置的可靠性要求。二是延长设备或装置的使用寿命。然而,在整个电网中,一些设备或装置并未得到定期检修,或者由于监管人员工作不到位,由于自身疏忽从而导致设备或装置老化安全事故频发。因此定期对设备或装置的状态进行状态检修,就可以在保证系统安全运行的前提下,提高检修质量和系统运行效率。这些也都会产生大量的数据,也需要存储和灾难备份。

省级电网的电网运行和检修(简称运检)是保证电网安全生产的关键,需要利用大数据分布式存储灾难备份系统来存储各类与省级电网运行和检修相关的数据。例如,某省电网运检系统中对重要的变电站、输电线路等电网相关的运行和检修的业务数据,进行分布式存储灾难备份,以抵抗各种灾害危机,提升运行和检修的管理效率和水平。

本实施例中,将该省电网33个下属单位的多个8tb磁盘进行有机组合,组成异地分布式存储池,即33个地点、每个地点8×l块8tb磁盘,取l=2。

某省电网运检系统大数据分布式存储灾难备份系统,采用本发明“一种具备n-6存储媒介完存性的电力大数据储存系统”,8×l行33列的存储媒介阵列中的存储媒介单元采用8tb硬盘,取l=2,8×l×33=528个8tb硬盘,共计8×2×33×8tb×0.364=1537tb的有效存储容量。写入通信传输通道和读出通信传输通道用于33路电力大数据块子块的传输,33列8×l行的33×8×l个电力大数据块子块的33列对应33路;写入通信传输通道和读出通信传输通道为33路的光纤通信传输通道,分别连接33个地点,每个地点配置8×l行1列的存储媒介阵列(l为正整数,本例中取l=2,即每个地点配置8×l=16个8tb硬盘)。存储控制管理单元、电力大数据块[33,12]的fire码编码处理单元和电力大数据块的[33,12]fire码译码处理单元配置在33个地点其中之一或另外地点,通过光纤通信传输通道,存储控制管理单元为电力大数据块[33,12]的fire码编码处理单元、写入通信传输通道、8×l行33列的存储媒介阵列、读出通信传输通道和电力大数据块的[33,12]fire码译码处理单元提供时钟信号和控制信号。

某省电网运检系统大数据分布式存储分散在异地33个地点,每个地点配置8×l行1列的存储媒介阵列(即每个地点配置8×l=16个8tb硬盘),8×l行33列中每一行允许同时发生任意≤6个存储媒介单元故障(即6个8tb硬盘损坏),相当于配置了8×l行1列的存储媒介阵列的33个地点之中,允许任意同时发生最多6个地点的所有存储媒介单元故障(即最坏情况:最多6个地点之中每个地点8×l个8tb硬盘全部损坏),而不引起数据储存系统的数据丢失;即8×l行33列个存储媒介单元(共计8×l×33=528个8tb硬盘)中最多允许同时发生任意8×l×6=8×2×6=96个存储媒介单元损坏(即96个8tb硬盘损坏),相当于96÷528=18.2%数量的存储媒介单元(即硬盘)损坏,而不引起数据储存系统的任何数据丢失。所以,应用本发明“一种具备n-6存储媒介完存性的电力大数据云储存系统”,针对存储媒介单元(即硬盘)损坏问题,具备优异的完存性。该省电网运行和检修系统大数据分布式存储灾难备份系统处于最坏情况下,分布在33个地点的某省电网运检系统大数据分布式存储灾难备份系统,本实施例能发现所有长度≤(n-k)=(33-12)=21bits的突发错误,允许任意同时6个地点发生灾难而导致这6个地点的存储媒介阵列损坏或异常,而不引起的数据丢失,能保证该省电网运检系统大数据分布式存储灾难备份系统正常工作。

上述各实施例仅用于说明本发明,各部件的结构、尺寸、设置位置及形状都是可以有所变化的,在本发明技术方案的基础上,凡根据本发明原理对个别部件进行的改进和等同变换,均不应排除在本发明的保护范围之外。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1