一种基于电力交易的数据处理方法及系统与流程

文档序号:20919069发布日期:2020-05-29 13:54阅读:248来源:国知局
一种基于电力交易的数据处理方法及系统与流程

本发明涉及信息技术安全领域,具体涉及一种基于电力交易的数据处理方法及系统。



背景技术:

随着智能电网及大数据技术的发展,利用发布的电力系统大数据对电力行业的状态进行数据挖掘和分析的数据共享模式,已成为电力信息化时代的发展潮流。然而,数据共享带来便捷的同时也伴随着个人隐私数据泄露的风险,因此隐私保护数据发布受到广泛关注。

传统的隐私保护数据发布模型,如k-匿名、l-多样性、t-近似等模型,它们根据原始数据的特性,将全部数据记录泛化成为若干组记录,不仅使得每一组中的各个记录无法相互区分;而且,由于缺乏对隐私保护程度的量化和对攻击者能力的清楚界定,这些模型仍然有隐私泄露风险,需不断地针对新的泄露风险提出修补方案。

区块链是一种p2p网络中的共享账本技术,它也是一种去中心化、去信任化、公开透明的分布式数据存储技术。区块链系统中的每个参与的节点都持有完整的数据副本,它们维护着数据完整性,能够有效避免数据信息被篡改。但是,区块链下的电力交易数据信息在节点中是公开的,攻击者通过对交易数据信息进行分析和整理、分析不同电力用户的账户之间的交易关系来恶意挖掘和利用他们之间的交易信息,使交易者的账户信息隐私的泄露。



技术实现要素:

本发明解决的技术问题为电力交易数据泄露问题,提供一种基于电力交易的数据处理方法及系统。

为了解决上述技术问题,本发明提供的技术方案为:

一种基于电力交易的数据处理方法,包括云端,所述云端对数据的处理方法包括:

s10.对区域内的电力交易数据进行实时定点采样,得到即时数据数值和实时变化增量,将数据分块、加密和编号后随机的存储在若干个服务器中;

s20.将加密后数据的编号而不是数据本身存储在区块链中;所述存储方法为:

生成与原始数据中标识数据的形式相类似的字符串,计算原始数据与生成的字符串的差值,每个采样时刻产生的字符串为同一字符串;所述原始数据包括标识数据和其他数据;

根据差值的大小和符号对差值进行排序;生成索引信息表,所述索引信息表中包含加密后的数据的编号和差值,所述加密数据的编号、差值同生成该加密数据或差值的原始数据及其存放位置相对应;

将索引信息表存储在区块链中,在区块链中注册并发布自己的公钥加密的信息,需要调取数据时,根据公钥解密获取索引信息表,再根据索引信息表获取加密数据的编号、差值,根据这些编号、差值获取原始数据的存放位置,将原始数据从存放位置中读取后解密。

将加密后的数据存储到不同的位置,再将位置信息、数据的编号建立索引,将索引存储到区块链中,进而实现了链上数据同原始数据的分别存储。

提高了数据存储的安全性。

优选地,所述数据存储在服务器的过程为:

s11.在每个加密数据的尾部追加block标识;

s12.为加密数据建立索引用元数据,将元数据存储至服务器的主存储介质中;

s13.将元数据和加密数据存储到服务器的n个cache存储介质中,n≥1;所述服务器包括m个cache存储介质,m≥n;一批次加密数据存储到的n个cache存储介质中至多有一个未存储满;

s14.将存储满的cache存储介质中的数据合并成一个文件存储到服务器的从存储介质中。加密后的数据存储到服务中后,将几个cache中的数据整合存储,相当于再次分块,提高了隐私保护的效果。

优选地,所述云端接收读取数据的请求,所述云端向存储有加密数据的服务器发出读取数据的请求,所述服务器通过主存储介质中的元数据查询到所要读取的数据存储在哪一个从存储介质中,从该存储介质中读取数据。分块后数据的检索效率会更高。

优选地,所述标识数据不少于一个。电力交易的数据中,可以包含交易发生的地点、交易量等信息,这些电力交易数据发布后,数据挖掘的用户可能需要根据交易量来筛选交易发生的地点,也可能根据交易发生的地点来筛选交易量,因此设置多个表示数据可以提高数据再利用的效率。

优选地,还包括用户端,所述用户端发起获取特定数据的请求,所述请求中包括解密区块链中的索引信息表的公钥;

若请求成功,获取到索引信息表,计算特定数据同字符串的差值,根据差值请求获取索引信息表中同该差值对应的编号,根据该编号获取特定数据的存储位置,将存储位置内的与特定数据对应的加密数据读取出来后用私钥解密。

优选地,包括云端,所述云端包括采样模块、数据处理模块、索引生成模块;

所述采样模块对区域内的电力交易数据进行实时定点采样,得到即时数据数值和实时变化增量,所述数据处理模块将数据分块、加密和编号后随机的存储在若干个服务器中;

所述索引生成模块将加密后数据的编号而不是数据本身存储在区块链中;所述存储方法为:

生成与原始数据中标识数据的形式相类似的字符串,计算原始数据与生成的字符串的差值,每个采样时刻产生的字符串为同一字符串;所述原始数据包括标识数据和其他数据;

根据差值的大小和符号对差值进行排序;生成索引信息表,所述索引信息表中包含加密后的数据的编号和差值,所述加密数据的编号、差值同生成该加密数据或差值的原始数据及其存放位置相对应;

将索引信息表存储在区块链中,在区块链中注册并发布自己的公钥加密的信息,需要调取数据时,根据公钥解密获取索引信息表,再根据索引信息表获取加密数据的编号、差值,根据这些编号、差值获取原始数据的存放位置,将原始数据从存放位置中读取后解密。

优选地,所述云端还包括数据存储模块,所述数据存储模块将数据存储在服务器的过程为:

在每个加密数据的尾部追加block标识;

为加密数据建立索引用元数据,将元数据存储至服务器的主存储介质中;

将元数据和加密数据存储到服务器的n个cache存储介质中,n≥1;所述服务器包括m个cache存储介质,m≥n;一批次加密数据存储到的n个cache存储介质中至多有一个未存储满;

将存储满的cache存储介质中的数据合并成一个文件存储到服务器的从存储介质中。

优选地,所述云端还包括数据读取模块,所述数据读取模块读取数据的请求,向存储有加密数据的服务器发出读取数据的请求,所述服务器通过主存储介质中的元数据查询到所要读取的数据存储在哪一个从存储介质中,从该存储介质中读取数据。

优选地,所述标识数据不少于一个。

优选地,包括用户端,所述用户端包括数据请求模块;所述数据请求模块发起获取特定数据的请求,所述请求中包括解密区块链中的索引信息表的公钥;

若请求成功,获取到索引信息表,计算特定数据同字符串的差值,根据差值请求获取索引信息表中同该差值对应的编号,根据该编号获取特定数据的存储位置,将存储位置内的与特定数据对应的加密数据读取出来后用私钥解密。

与现有技术相比,本发明具有的有益效果为:提高了数据存储的安全性;实现了链上数据同原始数据的分别存储,加密后的数据存储到服务中后,将几个cache中的数据整合存储,相当于再次分块,提高了隐私保护的效果。

附图说明

图1为一种基于电力交易的数据处理方法的示意图。

图2为一种基于电力交易的数据处理方法的另一种示意图。

具体实施方式

以下实施列是对本发明的进一步说明,不是对本发明的限制。

实施例1

一种基于电力交易的数据处理方法,包括云端,所述云端对数据的处理方法包括:

s10.对区域内的电力交易数据进行实时定点采样,得到即时数据数值和实时变化增量,将数据分块、加密和编号后随机的存储在若干个服务器中;将数据存储到服务器的方式为:

s11.在每个加密数据的尾部追加block标识;

s12.为加密数据建立索引用元数据,将元数据存储至服务器的主存储介质中;

s13.将元数据和加密数据存储到服务器的n个cache存储介质中,n≥1;所述服务器包括m个cache存储介质,m≥n;一批次加密数据存储到的n个cache存储介质中至多有一个未存储满;

s14.将存储满的cache存储介质中的数据合并成一个文件存储到服务器的从存储介质中

s20.将加密后数据的编号而不是数据本身存储在区块链中;所述存储方法为:

生成与原始数据中标识数据的形式相类似的字符串,计算原始数据与生成的字符串的差值,每个采样时刻产生的字符串为同一字符串;所述原始数据包括标识数据和其他数据;所述标识数据不少于一个;

根据差值的大小和符号对差值进行排序;生成索引信息表,所述索引信息表中包含加密后的数据的编号和差值,所述加密数据的编号、差值同生成该加密数据或差值的原始数据及其存放位置相对应;

将索引信息表存储在区块链中,在区块链中注册并发布自己的公钥加密的信息,需要调取数据时,根据公钥解密获取索引信息表,再根据索引信息表获取加密数据的编号、差值,根据这些编号、差值获取原始数据的存放位置,将原始数据从存放位置中读取后解密。

还包括用户端,所述用户端发起获取特定数据的请求,所述请求中包括解密区块链中的索引信息表的公钥;

若请求成功,获取到索引信息表,计算特定数据同字符串的差值,根据差值请求获取索引信息表中同该差值对应的编号,根据该编号获取特定数据的存储位置,将存储位置内的与特定数据对应的加密数据读取出来后用私钥解密;读取过程具体为:

所述云端接收读取数据的请求,所述云端向存储有加密数据的服务器发出读取数据的请求,所述服务器通过主存储介质中的元数据查询到所要读取的数据存储在哪一个从存储介质中,从该存储介质中读取数据。

实施例2

一种基于电力交易的数据处理方法,包括云端,所述云端对数据的处理方法包括:

s10.对区域内的电力交易数据进行实时定点采样,得到即时数据数值和实时变化增量,将数据分块、加密和编号后随机的存储在若干个服务器中;将数据存储到服务器的方式为:

s11.在每个加密数据的尾部追加block标识;

s12.为加密数据建立索引用元数据,将元数据存储至服务器的主存储介质中;

s13.将元数据和加密数据存储到服务器的n个cache存储介质中,n≥1;所述服务器包括m个cache存储介质,m≥n;一批次加密数据存储到的n个cache存储介质中至多有一个未存储满;

s14.将存储满的cache存储介质中的数据合并成一个文件存储到服务器的从存储介质中

s20.将加密后数据的编号而不是数据本身存储在区块链中;所述存储方法为:

生成与原始数据中标识数据的形式相类似的字符串,计算原始数据与生成的字符串的差值,每个采样时刻产生的字符串为同一字符串;所述原始数据包括标识数据和其他数据;所述标识数据不少于一个;

表1原始数据及存储信息

表2加密后数据及存储信息

如表2所示,根据差值的大小和符号对差值进行排序;生成索引信息表,所述索引信息表中包含加密后的数据的编号和差值,所述加密数据的编号、差值同生成该加密数据或差值的原始数据及其存放位置相对应;

将索引信息表存储在区块链中,在区块链中注册并发布自己的公钥加密的信息,需要调取数据时,根据公钥解密获取索引信息表,再根据索引信息表获取加密数据的编号、差值,根据这些编号、差值获取原始数据的存放位置,将原始数据从存放位置中读取后解密。

还包括用户端,所述用户端发起获取特定数据的请求,所述请求中包括解密区块链中的索引信息表的公钥;

若请求成功,获取到索引信息表,计算特定数据同字符串的差值,例如,特定数据为n22°16`40``,e115°27`50``,差值为n-2°10`20``,e0°1`5``;根据差值请求获取索引信息表中同该差值对应的编号a4,根据该编号获取特定数据的存储位置l2,将l2储存位置的a4数据读取出来,将存储位置内的与特定数据对应的加密数据读取出来后用私钥解密得到交易量400°;读取过程具体为:

所述云端接收读取数据的请求,所述云端向存储有加密数据的服务器l2发出读取数据的请求,所述服务器l2通过主存储介质中的元数据查询到所要读取的数据a4存储在哪一个从存储介质中,从该存储介质中读取数据——交易量。

实施例3

一种基于电力交易的数据处理系统,包括云端,所述云端包括采样模块、数据处理模块、索引生成模块;

所述采样模块对区域内的电力交易数据进行实时定点采样,得到即时数据数值和实时变化增量,所述数据处理模块将数据分块、加密和编号后随机的存储在若干个服务器中;

所述索引生成模块将加密后数据的编号而不是数据本身存储在区块链中;所述存储方法为:

生成与原始数据中标识数据的形式相类似的字符串,计算原始数据与生成的字符串的差值,每个采样时刻产生的字符串为同一字符串;所述原始数据包括标识数据和其他数据;

根据差值的大小和符号对差值进行排序;生成索引信息表,所述索引信息表中包含加密后的数据的编号和差值,所述加密数据的编号、差值同生成该加密数据或差值的原始数据及其存放位置相对应;

将索引信息表存储在区块链中,在区块链中注册并发布自己的公钥加密的信息,需要调取数据时,根据公钥解密获取索引信息表,再根据索引信息表获取加密数据的编号、差值,根据这些编号、差值获取原始数据的存放位置,将原始数据从存放位置中读取后解密。所述云端还包括数据存储模块,所述数据存储模块将数据存储在服务器的过程为:

在每个加密数据的尾部追加block标识;

为加密数据建立索引用元数据,将元数据存储至服务器的主存储介质中;

将元数据和加密数据存储到服务器的n个cache存储介质中,n≥1;所述服务器包括m个cache存储介质,m≥n;一批次加密数据存储到的n个cache存储介质中至多有一个未存储满;

将存储满的cache存储介质中的数据合并成一个文件存储到服务器的从存储介质中。所述云端还包括数据读取模块,所述数据读取模块读取数据的请求,向存储有加密数据的服务器发出读取数据的请求,所述服务器通过主存储介质中的元数据查询到所要读取的数据存储在哪一个从存储介质中,从该存储介质中读取数据。所述标识数据不少于一个。

上列详细说明是针对本发明可行实施例的具体说明,以上实施例并非用以限制本发明的专利范围,凡未脱离本发明所为的等效实施或变更,均应包含于本案的专利范围中。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1