一种基于大数据的安全存储控制方法与流程

文档序号:19311845发布日期:2019-12-03 23:36阅读:135来源:国知局
一种基于大数据的安全存储控制方法与流程

本发明涉及电数据处理领域,并且更具体而言,涉及一种基于大数据的安全存储控制方法和系统。



背景技术:

随着计算机技术的发展和网络技术的进步,人类的工作和生活发生了巨大的变化,现在人们每天都在接触、读取、存储、处理的信息,诸如通过移动终端进行社会交往、获取新闻、查询知识元素、购物、娱乐等,这使得创造的数据量成倍地增加。由此形成的海量数据被称为大数据。大数据在给用户带来便利的同时,也带来了一些安全隐患。诸如,不法分子对用户进行大数据处理和分析后会得到用户的隐私信息,例如电商网站会知道用户的购物习惯,社交软件提供商会知道用户的社交关系和好友联络情况,搜索引擎提供商会知道用户的检索习惯和关注点;另外,当用户的终端接入网络进行访问时,其网络信息数据遭到不法之徒和黑客的蓄意攻击和破坏,用户重要信息会遭到泄露,这就会给计算机用户带来利益损失。而大数据技术与云技术的发展密切相关,通过利用云技术来加强和提高网络信息数据存储的安全性,作为越来越受重视的焦点。因此利用云技术来对大数据进行备份和存储是可取的手段。

然而,现有技术中针对云存储,主要关注于负载的均衡,即如何把负载合理地分布到各个节点;或者进一步地,通过对数据进行加密而分布式存储,即提高数据本身的可靠性来增强安全性。然而较少有现有技术关注针对用户所产生或待存储和处理的大数据,以及各存储节点的属性的特点,例如不同存储节点的存储介质特性(磁性、半导体、相变)以及物理操作参数(例如擦写次数,诸如损毁之类的故障发生的几率)和安全特性(例如被攻击或破坏的几率),给大数据的安全存储带来的隐患;同时现有技术中,通过将大数据进行本地和云端分布式存储,然而黑客或不法分子通过窃取本地或云端中任一个的部分数据,就可以通过解密(有的用户大数据甚至无加密环节,对应地,被直接)获取大数据信息,从而导致用户隐私或者个人信息的泄露。如何合理地基于各存储节点的属性,将大数据安全地、可靠地、合理地、不可由黑客截取部分进而还原地存储到该节点,使得该大数据不受攻击影响,不受节点故障或物理变化的影响,这是本领域中没有披露但有待解决的问题。



技术实现要素:

本发明的目的之一是提供一种基于大数据的安全存储控制方法和系统,其能够针对用户所产生或待存储和处理的大数据,基于各存储节点的属性,将大数据安全地、可靠地、合理地、不可由黑客截取部分进而还原地存储到该节点,使得该大数据不受攻击影响,不受节点故障或物理变化的影响,从而实现了大数据的安全存储。

本发明为解决上述技术问题而采取的技术方案为:一种基于大数据的安全存储控制方法,包括:步骤s1,接收待存储的大数据,确定待存储的大数据的大小,并确认其完整性和有效性;步骤s2,评估本地存储空间;步骤s3,判断大数据对象的类型,选择其对应的策略;步骤s4,根据对应的策略,对大数据进行编码和分块;步骤s5,评估节点空间的容量和安全性;步骤s6,根据分块以及安全性和容量,对大数据进行存储。

在一个实施例中,在步骤s1中,接收待存储的大数据,确定待存储的大数据的大小,并确认其完整性和有效性进一步包括:经由数据链路接收带存储的大数据,并且确定其数据长度和数据块信息,基于数据块中包含的数据大小信息,通过与实际长度信息进行比较来确定大数据的完整性和有效性;在步骤s2中,评估本地存储空间进一步包括:通过向本地存储器管理器发送空间查询请求,由本地存储器管理器查询映射表和空间空闲状态之后,发送其空间空闲信息及其存储起始地址。

在一个实施例中,在步骤s3中,判断大数据对象的类型,选择其对应的策略进一步包括:分析待存储的数据,确认其属于文本、程序还是图像信息;如果属于文本和程序,则选择完整数据编码、分块存储;如果是图像信息,则向大数据提供方显示模式选择信息,是选择压缩策略还是无压缩策略;压缩策略包括:将大数据分成包含r×r个单元的子块,r为2的正整数幂,子块的每个单元被表示为(x,y);其中边缘部分不足r的部分用二进制零值补齐;对于其中的每个所述子块进行如下变换:其中当r=0时,而r≠0时,c(r)=1,其中r为p或q;当p=q=0时,t(p,q)的值为第一数值,其余的t(p,q)为第二数值;将各个子块的第一数值依次排序,并将各个子块的第二数值依次排列,形成第一数值序列和第二数值序列。

在一个实施例中,在步骤s5中,评估节点空间的容量和安全性进一步包括:步骤s51,确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;步骤s52,基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;其中安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;步骤s53,评估各个节点的安全性能:其中k表示节点的序号;j表示针对第k个节点所包括的、其值为正整数的区块数量;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;步骤s54,基于计算的节点k的安全性能的数值,按照递减次序进行排序;步骤s55,将排序的节点对应的可用存储空间发送到安全存储控制器,用于步骤s6的操作;步骤s56,当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

在一个实施例中,在步骤s5中,评估节点空间的容量和安全性进一步包括:步骤s51,确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;步骤s52,基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;所述安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;步骤s53,评估可能被使用的各个节点k的各个区块j的安全性能:其中k表示节点的序号;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;步骤s54,基于计算的各个节点k的各个区块j的安全性能的数值,按照递减次序进行排序;步骤s55,将排序的节点的区块对应的可用存储空间发送到安全存储控制器,用于步骤s6的操作;步骤s56,当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

在一个实施例中,在步骤s4中,根据对应的策略,对大数据进行编码和分块进一步包括:步骤s41,基于先前步骤中选定的策略,确定或者对文本和程序的完整数据或者图像的无压缩数据进行编码和分块,或者通过压缩策略对第二数值序列进行编码和分块;步骤s42,针对确定的完整数据或者第二数值序列,设定编码参数和冗余参数;步骤s43,基于编码参数和冗余参数,将完整数据或第二数值序列平均分割成k个部分;步骤s44,创建有限域上列满秩的矩阵;步骤s45,根据该矩阵创建编码矩阵表;步骤s46,针对k个部分,将该矩阵与编码矩阵相乘,得到编码的结果矩阵;步骤s47,将编码的结果矩阵按照配置信息中规定的大小分块布置。

在一个实施例中,在步骤s6中,根据分块以及安全性和容量,对大数据进行存储进一步包括:步骤s61:确定步骤s3中的对象是未经压缩的完整数据还是经压缩的第一数值序列和第二数值序列,如果是前者则执行步骤s62,否则执行步骤s63;步骤s62:如果步骤s3中是未经压缩的完整数据,则安排将步骤s4中分块布置的数据存储到云端,并执行步骤s64;步骤s63:如果步骤s3中是经压缩的第一数值序列和第二数值序列,则安排将第一数值序列存储在本地,而将第二数值序列存储在云端并执行步骤s64;步骤s64:按照步骤s5中得到的含有可用空间的、经排序的节点或者区块,将步骤s62或s63中待存储到云端的数据依次存储到该排序的节点或者区块,并将其存储节点及其存储地址信息记录到安全存储控制器中;步骤s65:当待存储的数据完成时,向本地的用户返回安全存储的响应。

根据本发明的示范性实施例,还请求保护一种基于大数据的安全存储控制系统。该基于大数据的安全存储控制系统包括:第一模块,用于接收待存储的大数据,确定待存储的大数据的大小,并确认其完整性和有效性;第二模块,用于评估本地存储空间;第三模块,用于判断大数据对象的类型,选择其对应的策略;第四模块,用于根据对应的策略,对大数据进行编码和分块;第五模块,用于评估节点空间的容量和安全性;第六模块,用于根据分块以及安全性和容量,对大数据进行存储。

在一个实施例中,第一模块进一步用于:经由数据链路接收带存储的大数据,并且确定其数据长度和数据块信息,基于数据块中包含的数据大小信息,通过与实际长度信息进行比较来确定大数据的完整性和有效性;第二模块进一步用于:通过向本地存储器管理器发送空间查询请求,由本地存储器管理器查询映射表和空间空闲状态之后,发送其空间空闲信息及其存储起始地址。

在一个实施例中,第三模块进一步用于:分析待存储的数据,确认其属于文本、程序还是图像信息;如果属于文本和程序,则选择完整数据编码、分块存储;如果是图像信息,则向大数据提供方显示模式选择信息,是选择压缩策略还是无压缩策略;压缩策略包括:将大数据分成包含r×r个单元的子块,r为2的正整数幂,子块的每个单元被表示为(x,y);其中边缘部分不足r的部分用二进制零值补齐;对于其中的每个所述子块进行如下变换:其中当r=0时,而r≠0时,c(r)=1,其中r为p或q;当p=q=0时,t(p,q)的值为第一数值,其余的t(p,q)为第二数值;将各个子块的第一数值依次排序,并将各个子块的第二数值依次排列,形成第一数值序列和第二数值序列。

在一个实施例中,第五模块进一步包括:第五一模块,用于确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;第五二模块,用于基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;其中安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;第五三模块,用于评估各个节点的安全性能:其中k表示节点的序号;j表示针对第k个节点所包括的、其值为正整数的区块数量;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;第五四模块,用于基于计算的节点k的安全性能的数值,按照递减次序进行排序;第五五模块,用于将排序的节点对应的可用存储空间发送到安全存储控制器,用于第六模块的操作;第五六模块,用于当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

在一个实施例中,第五模块进一步包括:第五一模块,用于确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;第五二模块,用于基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;所述安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;第五三模块,用于评估可能被使用的各个节点k的各个区块j的安全性能:其中k表示节点的序号;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;第五四模块,用于基于计算的各个节点k的各个区块j的安全性能的数值,按照递减次序进行排序;第五五模块,用于将排序的节点的区块对应的可用存储空间发送到安全存储控制器,用于第六模块的操作;第五六模块,用于当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

在一个实施例中,第四模块进一步包括:第四一模块,用于基于先前模块中选定的策略,确定或者对文本和程序的完整数据或者图像的无压缩数据进行编码和分块,或者通过压缩策略对第二数值序列进行编码和分块;第四二模块,用于针对确定的完整数据或者第二数值序列,设定编码参数和冗余参数;第四三模块,用于基于编码参数和冗余参数,将完整数据或第二数值序列平均分割成k个部分;第四四模块,用于创建有限域上列满秩的矩阵;第四五模块,用于根据该矩阵创建编码矩阵表;第四六模块,用于针对k个部分,将该矩阵与编码矩阵相乘,得到编码的结果矩阵;第四七模块,用于将编码的结果矩阵按照配置信息中规定的大小分块布置。

在一个实施例中,第六模块进一步包括:第六一模块:用于确定第三模块中的对象是未经压缩的完整数据还是经压缩的第一数值序列和第二数值序列,如果是前者则继续到第六二模块,否则到第六三模块;第六二模块:如果第三模块中是未经压缩的完整数据,则安排将第四模块中分块布置的数据存储到云端,并继续到第六四模块;第六三模块:如果第三模块中是经压缩的第一数值序列和第二数值序列,则安排将第一数值序列存储在本地,而将第二数值序列存储在云端并继续到第六四模块;第六四模块:用于按照第五模块中得到的含有可用空间的、经排序的节点或者区块,将第六二模块或第六三模块中待存储到云端的数据依次存储到该排序的节点或者区块,并将其存储节点及其存储地址信息记录到安全存储控制器中;第六五模块:用于当待存储的数据完成时,向本地的用户返回安全存储的响应。

附图说明

在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例,其中相同的附图标记表示相同的元件,其中:

根据本发明的示范性实施例,图1图示一种基于大数据的安全存储控制方法的流程图。

具体实施方式

在进行以下具体实施方式之前,阐述贯穿本专利文档所使用的某些词语和短语的定义可能是有利的:术语“包括”和“包含”及其派生词意味着包括而没有限制;术语“或”是包含的,意味着和/或;短语“与...相关联”、“与其相关联”及其派生词可能意味着包括,被包括在...内,与...互连,包含,被包含在...内,连接到...或与...连接,耦合到...或与...耦合,可与...通信,与...合作,交织,并列,接近...,被绑定到...或与...绑定,具有,具有...的属性,等等;而术语“控制器”意味着控制至少一个操作的任何设备、系统或其部件,这样的设备可能以硬件、固件或软件或者其中至少两个的一些组合来实现。应当注意的是:与任何特定的控制器相关联的功能性可能是集中式或分布式的,无论是本地还是远程。贯穿本专利文档提供用于某些词语和短语的定义,本领域技术人员应当理解:如果不是大多数情况下,在许多情况下,这样的定义适用于现有的以及这样定义的词语和短语的未来使用。

在下面的描述中,参考附图并以图示的方式示出几个具体的实施例。将理解的是:可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此,以下详细描述不应被认为具有限制意义。

根据本发明的示范性实施例,图1图示一种基于大数据的安全存储控制方法的流程图。其中所述的基于大数据的安全存储控制方法包括:

步骤s1,接收待存储的大数据,确定待存储的大数据的大小,并确认其完整性和有效性;

步骤s2,评估本地存储空间;

步骤s3,判断大数据对象的类型,选择其对应的策略;

步骤s4,根据对应的策略,对大数据进行编码和分块;

步骤s5,评估节点空间的容量和安全性;

步骤s6,根据分块以及安全性和容量,对大数据进行存储。

优选地,在步骤s1中,接收待存储的大数据,确定待存储的大数据的大小,并确认其完整性和有效性进一步包括:经由数据链路接收带存储的大数据,并且确定其数据长度和数据块信息,基于数据块中包含的数据大小信息,通过与实际长度信息进行比较来确定大数据的完整性和有效性。

通过该步骤,可以有效地保证原始大数据的完整性和有效性。

优选地,在步骤s2中,评估本地存储空间进一步包括:通过向本地存储器管理器发送空间查询请求,由本地存储器管理器查询映射表和空间空闲状态之后,发送其空间空闲信息及其存储起始地址。

通过该步骤,可以有效地获取本地存储能力,并未安全存储控制做准备。

优选地,在步骤s3中,判断大数据对象的类型,选择其对应的策略进一步包括:分析待存储的数据,确认其属于文本、程序还是图像信息;如果属于文本和程序,则选择完整数据编码、分块存储;如果是图像信息,则向大数据提供方显示模式选择信息,是选择压缩策略还是无压缩策略。

优选地,无压缩策略的图像信息为图像的完整数据。

进一步优选地,压缩策略包括:将大数据分成包含r×r个单元的子块,r为2的正整数幂,子块的每个单元被表示为(x,y);其中边缘部分不足r的部分用二进制零值补齐;对于其中的每个所述子块进行如下变换:

其中当r=0时,而r≠0时,c(r)=1,其中r为p或q。

当p=q=0时,t(p,q)的值为第一数值,其余的t(p,q)为第二数值。将各个子块的第一数值依次排序,并将各个子块的第二数值依次排列,形成第一数值序列和第二数值序列。

优选地,对应的解压缩策略为:

优选地,可以在后续步骤中,将第一数值和第二数值分别存储在本地和云端。

通过该步骤,这样即使黑客或不法分子截取第一数值序列和第二数值序列的片段,其也无法还原原始大数据的图像,从而控制了大数据的安全存储。

优选地,在步骤s4中,根据对应的策略,对大数据进行编码和分块进一步包括:

步骤s41,基于先前步骤中选定的策略,确定或者对文本和程序的完整数据或者图像的无压缩数据进行编码和分块,或者通过压缩策略对第二数值序列进行编码和分块;

步骤s42,针对确定的完整数据或者第二数值序列,设定编码参数和冗余参数;

步骤s43,基于编码参数和冗余参数,将完整数据或第二数值序列平均分割成k个部分;

步骤s44,创建有限域上列满秩的矩阵;

步骤s45,根据该矩阵创建编码矩阵表;

步骤s46,针对k个部分,将该矩阵与编码矩阵相乘,得到编码的结果矩阵;

步骤s47,将编码的结果矩阵按照配置信息中规定的大小分块布置。

优选地,在步骤s5中,评估节点空间的容量和安全性进一步包括:

步骤s51,确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;

步骤s52,基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;其中安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;

步骤s53,评估各个节点的安全性能:

其中k表示节点的序号;j表示针对第k个节点所包括的、其值为正整数的区块数量;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;

步骤s54,基于计算的节点k的安全性能的数值,按照递减次序进行排序;

步骤s55,将排序的节点对应的可用存储空间发送到安全存储控制器,用于步骤s6的操作;

步骤s56,当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

优选地,前述被操作包括但不限于读取、写入、擦除、刷新、预充电。

替代地,在步骤s5中,评估节点空间的容量和安全性进一步包括:

步骤s51,确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;

步骤s52,基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;所述安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;

步骤s53,评估可能被使用的各个节点k的各个区块j的安全性能:

其中k表示节点的序号;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;

步骤s54,基于计算的各个节点k的各个区块j的安全性能的数值,按照递减次序进行排序;

步骤s55,将排序的节点的区块对应的可用存储空间发送到安全存储控制器,用于步骤s6的操作;

步骤s56,当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

通过该步骤,可以全面地考虑到存储介质的差异以及其历史安全数据,能够保证待存储的大数据在节点上得到存储而以最大的可能降低其被损毁的概率。

优选地,在步骤s6中,根据分块以及安全性和容量,对大数据进行存储进一步包括:

步骤s61:确定步骤s3中的对象是未经压缩的完整数据还是经压缩的第一数值序列和第二数值序列,如果是前者则执行步骤s62,否则执行步骤s63;

步骤s62:如果步骤s3中是未经压缩的完整数据,则安排将步骤s4中分块布置的数据存储到云端,并执行步骤s64;

步骤s63:如果步骤s3中是经压缩的第一数值序列和第二数值序列,则安排将第一数值序列存储在本地,而将第二数值序列存储在云端并执行步骤s64;

步骤s64:按照步骤s5中得到的含有可用空间的、经排序的节点或者区块,将步骤s62或s63中待存储到云端的数据依次存储到该排序的节点或者区块,并将其存储节点及其存储地址信息记录到安全存储控制器中;

步骤s65:当待存储的数据完成时,向本地的用户返回安全存储的响应。

通过该步骤,可以保证数据的安全存储和控制,并且针对图像数据还可以确保黑客或不法分子无法还原原始大数据的图像,从而保障了用户隐私和信息安全。

对应地,本申请还涉及一种基于大数据的安全存储控制系统,其包括:

第一模块,用于接收待存储的大数据,确定待存储的大数据的大小,并确认其完整性和有效性;

第二模块,用于评估本地存储空间;

第三模块,用于判断大数据对象的类型,选择其对应的策略;

第四模块,用于根据对应的策略,对大数据进行编码和分块;

第五模块,用于评估节点空间的容量和安全性;

第六模块,用于根据分块以及安全性和容量,对大数据进行存储。

优选地,第一模块进一步用于:经由数据链路接收带存储的大数据,并且确定其数据长度和数据块信息,基于数据块中包含的数据大小信息,通过与实际长度信息进行比较来确定大数据的完整性和有效性。

优选地,第二模块进一步用于:通过向本地存储器管理器发送空间查询请求,由本地存储器管理器查询映射表和空间空闲状态之后,发送其空间空闲信息及其存储起始地址。

优选地,第三模块进一步用于:分析待存储的数据,确认其属于文本、程序还是图像信息;如果属于文本和程序,则选择完整数据编码、分块存储;如果是图像信息,则向大数据提供方显示模式选择信息,是选择压缩策略还是无压缩策略。

优选地,无压缩策略的图像信息为图像的完整数据。

进一步优选地,压缩策略包括:将大数据分成包含r×r个单元的子块,r为2的正整数幂,子块的每个单元被表示为(x,y);其中边缘部分不足r的部分用二进制零值补齐;对于其中的每个所述子块进行如下变换:

其中当r=0时,而r≠0时,c(r)=1,其中r为p或q。

当p=q=0时,t(p,q)的值为第一数值,其余的t(p,q)为第二数值。将各个子块的第一数值依次排序,并将各个子块的第二数值依次排列,形成第一数值序列和第二数值序列。

优选地,对应的解压缩策略为:

优选地,可以在后续模块的操作中,将第一数值和第二数值分别存储在本地和云端。

优选地,第四模块进一步包括:

第四一模块,用于基于先前模块中选定的策略,确定或者对文本和程序的完整数据或者图像的无压缩数据进行编码和分块,或者通过压缩策略对第二数值序列进行编码和分块;

第四二模块,用于针对确定的完整数据或者第二数值序列,设定编码参数和冗余参数;

第四三模块,用于基于编码参数和冗余参数,将完整数据或第二数值序列平均分割成k个部分;

第四四模块,用于创建有限域上列满秩的矩阵;

第四五模块,用于根据该矩阵创建编码矩阵表;

第四六模块,用于针对k个部分,将该矩阵与编码矩阵相乘,得到编码的结果矩阵;

第四七模块,用于将编码的结果矩阵按照配置信息中规定的大小分块布置。

优选地,第五模块进一步包括:

第五一模块,用于确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;

第五二模块,用于基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;其中安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;

第五三模块,用于评估各个节点的安全性能:

其中k表示节点的序号;j表示针对第k个节点所包括的、其值为正整数的区块数量;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;

第五四模块,用于基于计算的节点k的安全性能的数值,按照递减次序进行排序;

第五五模块,用于将排序的节点对应的可用存储空间发送到安全存储控制器,用于第六模块的操作;

第五六模块,用于当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

优选地,前述被操作包括但不限于读取、写入、擦除、刷新、预充电。

替代地,第五模块进一步包括:

第五一模块,用于确定可用的云端节点,并获取云端用于存储大数据的节点的存储介质类型;

第五二模块,用于基于不同的节点存储介质类型,通过查找表获得其读写擦除使用次数的上限值tt以及可用存储空间,并获得各个节点的存储介质的不同区块的已读写擦除次数erw以及安全系数se和故障异常概率fa,其中单个节点包括正整数个区块,并且不同区块由于历史操作而具有不同的已读写擦除次数,不同区块由于历史被攻击或感染恶意程序而具有不同的安全系数,不同区块由于异常产生故障而具有不同的故障异常概率;所述安全系数为历史上该区块被攻击或感染恶意程序的次数与被操作数量的比值,故障异常概率为历史上该区块由于异常产生故障的次数与被操作数量的比值;

第五三模块,用于评估可能被使用的各个节点k的各个区块j的安全性能:

其中k表示节点的序号;j表示节点包括的区块的序号;wtk表示节点k所采用的存储介质的权重值,该权重值为(0,1]之间的数值,其中磁存储介质的权重值高于半导体存储介质的权重值,半导体存储介质的权重值高于相变存储介质的权重值;

第五四模块,用于基于计算的各个节点k的各个区块j的安全性能的数值,按照递减次序进行排序;

第五五模块,用于将排序的节点的区块对应的可用存储空间发送到安全存储控制器,用于第六模块的操作;

第五六模块,用于当该方法最终确定使用节点k中的区块j时,将该区块j的已读写擦除次数erw增加1。

优选地,第六模块进一步包括:

第六一模块:用于确定第三模块中的对象是未经压缩的完整数据还是经压缩的第一数值序列和第二数值序列,如果是前者则继续到第六二模块,否则到第六三模块;

第六二模块:如果第三模块中是未经压缩的完整数据,则安排将第四模块中分块布置的数据存储到云端,并继续到第六四模块;

第六三模块:如果第三模块中是经压缩的第一数值序列和第二数值序列,则安排将第一数值序列存储在本地,而将第二数值序列存储在云端并继续到第六四模块;

第六四模块:用于按照第五模块中得到的含有可用空间的、经排序的节点或者区块,将第六二模块或第六三模块中待存储到云端的数据依次存储到该排序的节点或者区块,并将其存储节点及其存储地址信息记录到安全存储控制器中;

第六五模块:用于当待存储的数据完成时,向本地的用户返回安全存储的响应。

上述的各个技术术语是本领域中的具有通常含义的常规技术术语,为了不模糊本发明的重点,在此不对其进行进一步的解释。

综上,在本发明的技术方案中,通过采用了一种基于大数据的安全存储控制方法和系统,其能够针对用户所产生或待存储和处理的大数据,基于各存储节点的属性,将大数据安全地、可靠地、合理地、不可由黑客截取部分进而还原地存储到该节点,使得该大数据不受攻击影响,不受节点故障或物理变化的影响,从而实现了大数据的安全存储。

将理解的是:可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述,可存储任何执行这种方法的主体,以挥发性或非挥发性存储的形式,例如存储设备,像rom,无论可抹除或可重写与否,或者以存储器的形式,诸如例如ram、存储器芯片、设备或集成电路或在光或磁可读的介质上,诸如例如cd、dvd、磁盘或磁带。将理解的是:存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例,当被执行时,所述一个或多个程序实现本发明的示例。经由任何介质,诸如通过有线或无线耦合载有的通信信号,可以电子地传递本发明的示例,并且示例适当地包含相同内容。

应当注意的是:因为本发明解决了针对用户所产生或待存储和处理的大数据,基于各存储节点的属性,将大数据安全地、可靠地、合理地、不可由黑客截取部分进而还原地存储到该节点,使得该大数据不受攻击影响,不受节点故障或物理变化的影响,从而实现了大数据的安全存储的技术问题,采用了本技术领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段,并获取了有益技术效果,所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外,因为所附权利要求要求保护的技术方案可以在工业中制造或使用,因此该方案具备实用性。

以上所述,仅为本发明的较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应包涵在本发明的保护范围之内。除非以其他方式明确陈述,否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此,本发明的保护范围应该以权利要求书的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1