分布式数据处理方法及装置的制造方法

文档序号:10534428
分布式数据处理方法及装置的制造方法
【专利摘要】本发明公开了一种分布式数据处理方法和装置,该方法包括:将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;为每个存储层设置层编码、每个存储设备设置设备编码;根据层编码和设备编码为每个存储设备分配一个存储识别码;当接收到待存储数据时,生成一个与存储识别码格式对应的随机数;将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中。本发明实现了分布式系统中的存储资源的充分利用。
【专利说明】
分布式数据处理方法及装置
技术领域
[0001]本发明涉及分布式系统技术领域,尤其涉及一种分布式数据处理方法及装置。
【背景技术】
[0002]随着信息化的深入开展,各行各业的业务系统所产生的数据越来越多,由于传统的集中式存取方案(集中式存取是指为待存储的数据制定一个特定的存取区域,如数据中心主机,将所有都存取在该区域中)将所有的数据均存在数据中心主机上以供集中提取数据,若数据中心主机出故障,则整个系统无法存储和提取数据,即集中式存取方案相较于分布式数据存取,数据稳定性较低,故而分布式数据存取方式应运而生。
[0003]现行的分布式数据存取方式一般是将待存储数据写入未充分使用的存储设备中;但是,由于数据写入存储设备之后很少被移动,且随着存储设备的扩展和更新,大部分的数据都写入到新增、数据较少的新存储设备中,从而导致新增存储设备存储资源占用过多、旧存储设备存储资源利用不足,不能充分利用分布式系统中的存储资源。

【发明内容】

[0004]本发明的主要目的在于提供一种分布式数据处理方法及装置,旨在解决现有分布式系统数据存储不能充分利用系统中存储资源的技术问题。
[0005]为实现上述目的,本发明提供的一种分布式数据处理方法,该分布式数据处理方法包括:
[0006]将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;
[0007]为每个存储层设置层编码、每个存储设备设置设备编码;
[0008]根据层编码和设备编码为每个存储设备分配一个存储识别码;
[0009]当接收到待存储数据时,生成一个与所述存储识别码格式对应的随机数;
[0010]将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中。
[0011]优选地,所述根据层编码和设备编码为每个存储设备分配一个存储识别码的步骤之后还包括:
[0012]当接收到数据提取指令时,获取该数据提取指令中的目标存储识别码;
[0013]根据所述目标存储识别码提取对应存储层中对应存储设备的存储数据。
[0014]优选地,所述为每个存储层设置层编码、每个存储设备设置设备编码的步骤包括:
[0015]根据存储数据的信息安全等级,为每个存储层设置一个层编码;
[0016]根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。
[0017]优选地,所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤之前还包括:
[0018]解析所述待存储数据,获取待存储数据的信息安全需求等级;
[0019]获取信息安全等级符合所述信息安全需求等级的存储层,该存储层作为待选存储层,以基于随机数从待选存储层中确定存储设备。
[0020]所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤包括:
[0021]将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度;
[0022]将所述待存数据存储在所述匹配度最高的存储设备中。
[0023]优选地,所述当接收到待存储数据时,生成一个与所述存储识别码格式对应的随机数的步骤包括:
[0024]当接收到待存储数据时,验证该待存储数据的合法性;
[0025]若所述待存储数据合法,则控制预设的真随机数发生器生成一个与所述存储识别码格式对应的随机数。
[0026]优选地,所述当接收到数据提取指令时,获取该数据提取指令中的目标存储识别码的步骤包括:
[0027]当接收到数据提取指令时,生成一个验证随机数,并将该验证随机数发送至数据提取指令的发送端;
[0028]获取所述发送端基于验证随机数生成的验证信息,并对所述验证信息和发送端进行校验;
[0029]当所述验证信息和发送端通过校验,则获取该数据提取指令中的目标存储识别码。
[0030]本发明还提供一种分布式数据处理装置,该分布式数据处理装置包括:
[0031]存储分层模块,用于将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;
[0032]编码设置模块,用于为每个存储层设置层编码、每个存储设备设置设备编码;
[0033]分配模块,用于根据层编码和设备编码为每个存储设备分配一个存储识别码;
[0034]随机数模块,用于当接收到待存储数据时,生成一个与所述存储识别码格式对应的随机数;
[0035]存储模块,用于将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中。
[0036]优选地,所述分布式数据处理装置还包括:
[0037]识别码获取模块,用于当接收到数据提取指令时,获取该数据提取指令中的目标存储识别码;
[0038]数据提取模块,用于根据所述目标存储识别码提取对应存储层中对应存储设备的存储数据。
[0039]优选地,所述编码设置模块包括:
[0040]安全分配单元,用于根据存储数据的信息安全等级,为每个存储层设置一个层编码;
[0041]编码设置单元,用于根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。
[0042]优选地,所述分布式数据处理装置还包括:
[0043]解析模块,用于在存储待存储数据前,解析所述待存储数据,获取待存储数据的信息安全需求等级;
[0044]层获取模块,用于获取信息安全等级符合所述信息安全需求等级的存储层,该存储层作为待选存储层,以基于随机数从待选存储层中确定存储设备;
[0045]所述存储模块包括:
[0046]匹配单元,用于将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度;
[0047]存储单元,用于将所述待存数据存储在所述匹配度最高的存储设备中。
[0048]优选地,所述随机数模块包括:
[0049]验证单元,用于当接收到待存储数据时,验证该待存储数据的合法性;
[0050]随机数生成单元,用于若所述待存储数据合法,则控制预设的真随机数发生器生成一个与所述存储识别码格式对应的随机数。
[0051 ]优选地,所述识别码获取模块包括:
[0052]生成单元,用于当接收到数据提取指令时,生成一个验证随机数,并将该验证随机数发送至数据提取指令的发送端;
[0053]校验单元,用于获取所述发送端基于验证随机数生成的验证信息,并对所述验证信息和发送端进行校验;
[0054]获取单元,用于当所述验证信息和发送端通过校验,则获取该数据提取指令中的目标存储识别码。
[0055]本发明通过先将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;然后为每个存储层设置层编码、每个存储设备设置设备编码;再根据层编码和设备编码为每个存储设备分配一个存储识别码;当接收到待存储数据时,生成一个与存储识别码格式对应的随机数;最后将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中,从而根据生成的随机数将待存储数据存储到各个存储设备中,因各个与存储识别码对应的随机数每次出现的概率是相等的,所以待存储数据存储到各个存储设备的概率也是相同的,当待存储数据较多时,待存储数据能够较为均匀的分布于各个存储设备中,使新、旧存储设备的存储资源都得到充分利用。
【附图说明】
[0056]图1为本发明分布式数据处理方法第一实施例的流程示意图;
[0057]图2为本发明分布式数据处理方法一优选实施例的流程示意图;
[0058]图3为本发明分布式数据处理方法第二实施例中当接收到待存储数据时,生成一个与存储识别码格式对应的随机数的细化流程示意图;
[0059]图4为本发明分布式数据处理方法第三实施例中当接收都数据提取指令时,获取该数据提取指令的目标存储识别码的细化流程示意图;
[0060]图5为本发明分布式数据处理装置第一实施例的功能模块示意图;
[0061 ]图6为本发明分布式数据处理装置一优选实施例的功能模块示意图;
[0062]图7为本发明分布式数据处理装置第二实施例中随机数模块的细化功能模块示意图;
[0063]图8为本发明分布式数据处理装置第三实施例中识别码获取模块的细化功能模块示意图。
[0064]本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
【具体实施方式】
[0065]应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。[ΟΟ??]本发明提供一种分布式数据处理方法,在本发明分布式数据处理方法的第一实施例中,参照图1,该分布式数据处理方法包括:
[0067]步骤SlO,将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;
[0068]根据信息安全等级、存储空间大小、数据类型等因素,将分布式系统的存储空间分为多个存储层,例如,信息安全等级分为低级、中级和高级,存储层也包括低级存储层、中级存储层和高级存储层,每个存储层中包括多个存储设备,同一存储层中各个存储设备在硬件特性和软件特性上相同或相似。
[0069]步骤S20,为每个存储层设置层编码、每个存储设备设置设备编码;
[0070]步骤S30,根据层编码和设备编码为每个存储设备分配一个存储识别码;
[0071]为每个存储层设置一个唯一标识的层编码,同时也为每个存储设备设置一个唯一标识的设备编码,
[0072]优选地,步骤S20包括:
[0073]步骤S21,根据存储数据的信息安全等级,为每个存储层设置一个层编码;
[0074]步骤S22,根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。
[0075]系统对存储数据的信息安全等级具有不同的要求,例如在财务、商业秘密等存储数据为私密信息,具有高等级的信息安全要求;例如宣传广告、行业规范等存储数据为公开信息,具有低等级的信息安全要求。根据存储数据的信息安全等级,为每个存储层设置一个层编码,该层编码也对应的不同的信息安全等级。然后根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。
[0076]例如低级存储层对应层编码01、中级存储层对应层编码02、高级存储层对应层编码03,低级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005,中级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005,高级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005。然后根据层编码和设备编码为每个存储设备分配一个存储识别码,例如低级存储中存储设备的存储识别码分别为010001、010002、010003、010004、010005,从而根据存储识别码可快速、准确地找到对应存储设备。
[0077]步骤S40,当接收到待存储数据时,生成一个与存储识别码格式对应的随机数;
[0078]在接收到待存储数据时,控制自带的真随机数发生器生成一个随机数,该随机数与存储识别码格式对应或相同,例如存储识别码格式为六位自然数,且前两位表示存储层,后四位表示存储设备,同理,生成的随机数也是六位自然数。
[0079]步骤S50,将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中。
[0080]根据生成的随机数查找匹配的存储识别码所对应的存储设备,例如随机数为020003,则找到中级存储层中设备编码为0003的存储设备,并将待存储数据存储(即写入)到存储识别码为020003的存储设备中。
[0081 ] 优选地,参照图1,步骤S30之后还包括:
[0082]步骤S60,当接收都数据提取指令时,获取该数据提取指令的目标存储识别码;
[0083]数据提取指令是数据提取端发送的,用于提示数据存储端提供数据;数据提取指令中包含提取数据触发信息、需提取数据的存储识别码、验证信息等,分布式存取装置对数据提取指令的发送端进行验证或/和对数据提取指令的完整性进行验证,若所述发送端和数据提取指令均通过验证,则获取数据提取指令中的目标存储识别码。
[0084]步骤S70,根据目标存储识别码提取对应存储层中对应存储设备的存储数据。
[0085]对数据提取指令中的目标识别码进行分析,先确定对应的存储层,然后在该确定的存储层中找到对应的存储设备,从而提取到数据提取指令对应的存储数据,实现对存储数据的快速分别并提取,从而可根据数据提取指令中的存储识别码反向提取存储数据,从而实现了分布式系统中的存储资源的充分利用。
[0086]在本实施例中,通过先将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;然后为每个存储层设置层编码、每个存储设备设置设备编码;再根据层编码和设备编码为每个存储设备分配一个存储识别码;当接收到待存储数据时,生成一个与存储识别码格式对应的随机数;将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中,从而根据生成的随机数将待存储数据存储到各个存储设备中,因各个与存储识别码对应的随机数每次出现的概率是相等的,所以待存储数据存储到各个存储设备的概率也是相同的,当待存储数据较多时,待存储数据能够较为均匀的分布于各个存储设备中,使新、旧存储设备的存储资源都得到充分利用。
[0087]优选地,参照图2,在步骤S50之前,本发明分布式数据处理方法还包括:
[0088]步骤S80,解析待存储数据,获取待存储数据的信息安全需求等级;
[0089]步骤S90,获取信息安全等级符合信息安全需求等级的存储层,该存储层作为待选存储层,以基于随机数从待选存储层中确定存储设备。
[0090]在生成随机数之后,可先对待存储数据进行解析,获取该待存储数据的信息安全需求等级,然后确定与该信息安全需求等级匹配的信息安全等级所对应的存储层,将该确定的存储层作为待选存储层。
[0091]并且,步骤S50包括:
[0092]步骤S51,将随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度;
[0093]步骤S52,将待存数据存储在匹配度最高的存储设备中。
[0094]在根据待存储数据确定待选存储层之后,根据随机数先从待选存储层中确定层编码与随机数匹配度最高的存储层,然后继续根据随机数从匹配度最高的存储层中选出设备编码与随机数匹配度最高的存储设备作为待选存储设备,即将随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度,并选出匹配度最高的待选存储设备,最后将待存数据存储在匹配度最高的存储设备(即待选存储设备)中,并且可根据数据提取指令中的存储识别码反向提取存储数据,从而根据信息安全需求等级有针对性的将待存储数据存储到不同的存储设备中,在保证待存储数据信息安全的前提下,也实现了实现了分布式系统中的存储资源的充分利用。
[0095]进一步地,在本发明分布式数据处理方法第一实施例的基础上,提出分布式数据处理方法第二实施例,参照图3,步骤S40包括:
[0096]步骤S41,当接收到待存储数据时,验证该待存储数据的合法性;
[0097]步骤S42,若待存储数据合法,则控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数。
[0098]在接收到待存储数据时,需对该待存储数据本身数据的合法性(即是否完整、真实)和数据发送方身份的合法性进行验证,只有在验证待存数据本身合法且数据发送方身份合法时,即待存数据合法时,才控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数,从而在确保待存储数据为合法时,才生成随机数以备后续选择对应的存储设备进行存储,从而进一步提高了本发明分布式数据存取的安全性。
[0099]进一步地,在本发明分布式数据处理方法第一实施例的基础上,提出分布式数据处理方法第三实施例,参照图4,步骤S60包括:
[0100]步骤S61,当接收到数据提取指令时,生成一个验证随机数,并将该验证随机数发送至数据提取指令的发送端;
[0101 ]步骤S62,获取发送端基于验证随机数生成的验证信息,并对验证信息和发送端进行校验;
[0102]步骤S63,当验证信息和发送端通过校验,则获取该数据提取指令中的目标存储识别码。
[0103]在接收到数据提取指令时,分布式数据处理装置基于自带真随机数发生器(利用物理事件而非软件算法生成随机数的发生器)生成一个验证随机数,并将该验证随机数发送至数据提取指令的发送端,数据提取指令的发送端根据该验证随机数和指定的加密算法及密钥,生成对应的验证信息,并且数据提取指令的发送端将该验证信息发送给分布式数据处理装置;分布式数据处理装置基于接收到的验证信息,对验证信息和发送端进行验证,若验证所述验证信息发送端合法且验证信息正确,则获取目标存储识别。
[0104]在本实施例中,在接收到数据提取指令时,先向数据提取指令发送端发送一个验证随机数,该验证随机数为真随机数,即该验证随机数值的变化是实时的、无规律的,从而获取的验证信息也是实时、无规律变化的,提高了验证信息的安全性,并且只在通过验证信息和发送端的校验,才获取该数据提取指令中的目标存储识别码,以进行后续的数据提取过程,从而在确定数据提取指令的发送端的身份之后,才允许其进行数据提取,提高了整个分布式系统的安全性。
[0105]本发明还提供一种分布式数据处理装置,在分布式数据处理装置第一实施例中,参照图5,该分布式数据处理装置包括:
[0106]存储分层模块10,用于将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;
[0107]存储分层模块10根据信息安全等级、存储空间大小、数据类型等因素,将分布式系统的存储空间分为多个存储层,例如,信息安全等级分为低级、中级和高级,存储层也包括低级存储层、中级存储层和高级存储层,每个存储层中包括多个存储设备,同一存储层中各个存储设备在硬件特性和软件特性上相同或相似。
[0108]编码设置模块20,用于为每个存储层设置层编码、每个存储设备设置设备编码;
[0109]分配模块30,用于根据层编码和设备编码为每个存储设备分配一个存储识别码;
[0110]编码设置模块20为每个存储层设置一个唯一标识的层编码,同时也为每个存储设备设置一个唯一标识的设备编码,分配模块30根据层编码和设备编码为每个存储设备分配一个存储识别码。
[0111]优选地,编码设置模块20包括:
[0112]安全分配单元21,用于根据存储数据的信息安全等级,为每个存储层设置一个层编码;
[0113]编码设置单元22,用于根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。
[0114]系统对存储数据的信息安全等级具有不同的要求,例如在财务、商业秘密等存储数据为私密信息,具有高等级的信息安全要求;例如宣传广告、行业规范等存储数据为公开信息,具有低等级的信息安全要求。安全分配单元21根据存储数据的信息安全等级,为每个存储层设置一个层编码,该层编码也对应的不同的信息安全等级。然后编码设置单元22根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。
[0115]例如低级存储层对应层编码01、中级存储层对应层编码02、高级存储层对应层编码03,低级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005,中级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005,高级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005。然后根据层编码和设备编码为每个存储设备分配一个存储识别码,例如低级存储中存储设备的存储识别码分别为010001、010002、010003、010004、010005,从而根据存储识别码可快速、准确地找到对应存储设备。
[0116]随机数模块40,用于当接收到待存储数据时,生成一个与存储识别码格式对应的随机数;
[0117]在接收到待存储数据时,随机数模块40控制自带的真随机数发生器生成一个随机数,该随机数与存储识别码格式对应或相同,例如存储识别码格式为六位自然数,且前两位表示存储层,后四位表示存储设备,同理,生成的随机数也是六位自然数。
[0118]存储模块50,用于将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中;
[0119]存储模块50根据生成的随机数查找匹配的存储识别码所对应的存储设备,例如随机数为020003,则找到中级存储层中设备编码为0003的存储设备,并将待存储数据存储(SP写入)到存储识别码为020003的存储设备中。
[0120]优选地,参照图1,分布式数据处理装置还包括:
[0121]识别码获取模块60,用于当接收到数据提取指令时,获取该数据提取指令中的目标存储识别码;
[0122]数据提取指令是数据提取端发送的,用于提示数据存储端提供数据;数据提取指令中包含提取数据触发信息、需提取数据的存储识别码、验证信息等,识别码获取模块60对数据提取指令的发送端进行验证或/和对数据提取指令的完整性进行验证,若所述发送端和数据提取指令均通过验证,则获取数据提取指令中的目标存储识别码。
[0123]数据提取模块70,用于根据所述目标存储识别码提取对应存储层中对应存储设备的存储数据。
[0124]数据提取模块70对数据提取指令中的目标识别码进行分析,先确定对应的存储层,然后在该确定的存储层中找到对应的存储设备,从而提取到数据提取指令对应的存储数据,实现对存储数据的快速分别并提取,从而可根据数据提取指令中的存储识别码反向提取存储数据,从而实现了分布式系统中的存储资源的充分利用。
[0125]在本实施例中,通过存储分层模块10先将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备;然后编码设置模块20为每个存储层设置层编码、每个存储设备设置设备编码;分配模块30再根据层编码和设备编码为每个存储设备分配一个存储识别码;当接收到待存储数据时,随机数模块40生成一个与存储识别码格式对应的随机数;最后存储模块50将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中,从而根据生成的随机数将待存储数据存储到各个存储设备中,因各个与存储识别码对应的随机数每次出现的概率是相等的,所以待存储数据存储到各个存储设备的概率也是相同的,当待存储数据较多时,待存储数据能够较为均匀的分布于各个存储设备中,即使新、旧存储设备的存储资源都得到充分利用。
[0126]优选地,参照图6,分布式数据处理装置还包括:
[0127]解析模块80,用于在存储待存储数据前,解析待存储数据,获取待存储数据的信息安全需求等级;
[0128]层获取模块90,用于获取信息安全等级符合信息安全需求等级的存储层,该存储层作为待选存储层,以基于随机数从待选存储层中确定存储设备。
[0129]在生成随机数之后,解析模块60可先对待存储数据进行解析,获取该待存储数据的信息安全需求等级,然后层获取模块70确定与该信息安全需求等级匹配的信息安全等级所对应的存储层,将该确定的存储层作为待选存储层。
[0130]并且,存储模块50包括:
[0131]匹配单元51,用于将随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度;
[0132]存储单元52,用于将待存数据存储在匹配度最高的存储设备中。
[0133]在根据待存储数据确定待选存储层之后,匹配单元51根据随机数先从待选存储层中确定层编码与随机数匹配度最高的存储层,然后继续根据随机数从匹配度最高的存储层中选出设备编码与随机数匹配度最高的存储设备作为待选存储设备,即匹配单元51将随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度,并选出匹配度最高的待选存储设备,最后存储单元52将待存数据存储在匹配度最高的存储设备(即待选存储设备)中,并且可根据数据提取指令中的存储识别码反向提取存储数据,从而根据信息安全需求等级有针对性的将待存储数据存储到不同的存储设备中,在保证待存储数据信息安全的前提下,也实现了实现了分布式系统中的存储资源的充分利用。
[0134]进一步地,在本发明分布式数据处理装置第一实施例的基础上,提出分布式数据处理装置第二实施例,参照图7,在第二实施例中,随机数模块40包括:
[0135]验证单元41,用于当接收到待存储数据时,验证该待存储数据的合法性;
[0136]随机数生成单元42,用于若待存储数据合法,则控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数。
[0137]在接收到待存储数据时,验证单元41需对该待存储数据本身数据的合法性(即是否完整、真实)和数据发送方身份的合法性进行验证,只有在验证待存数据本身合法且数据发送方身份合法时,即待存数据合法时,随机数生成单元42才控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数,从而在确保待存储数据为合法时,才生成随机数以备后续选择对应的存储设备进行存储,从而进一步提高了本发明分布式数据存取的安全性。
[0138]进一步地,在本发明分布式数据处理装置第一实施例的基础上,提出分布式数据处理装置第三实施例,参照图8,识别码获取模块60包括:
[0139]生成单元61,用于当接收到数据提取指令时,生成一个验证随机数,并将该验证随机数发送至数据提取指令的发送端;
[0140]校验单元62,用于获取所述发送端基于验证随机数生成的验证信息,并对所述验证信息和发送端进行校验;
[0141]获取单元63,用于当所述验证信息和发送端通过校验,则获取该数据提取指令中的目标存储识别码。
[0142]在接收到数据提取指令时,生成单元61基于自带真随机数发生器(利用物理事件而非软件算法生成随机数的发生器)生成一个验证随机数,校验单元62将该验证随机数发送至数据提取指令的发送端,数据提取指令的发送端根据该验证随机数和指定的加密算法及密钥,生成对应的验证信息,并且数据提取指令的发送端将该验证信息发送给校验单元62;校验单元62基于接收到的验证信息,对验证信息和发送端进行验证,若验证所述验证信息发送端合法且验证信息正确,则获取单元63获取目标存储识别。
[0143]在本实施例中,在接收到数据提取指令时,生成单元61先向数据提取指令发送端发送一个验证随机数,该验证随机数为真随机数,即该验证随机数值的变化是实时的、无规律的,从而获取的验证信息也是实时、无规律变化的,提高了验证信息的安全性,并且只在通过验证信息和发送端的校验,获取单元63才获取该数据提取指令中的目标存储识别码,以进行后续的数据提取过程,从而在确定数据提取指令的发送端的身份之后,才允许其进行数据提取,提高了整个分布式系统的安全性。
[0144]通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如R0M/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,月艮务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
[0145]以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
【主权项】
1.一种分布式数据处理方法,其特征在于,该分布式数据处理方法包括: 将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备; 为每个存储层设置层编码、每个存储设备设置设备编码; 根据层编码和设备编码为每个存储设备分配一个存储识别码; 当接收到待存储数据时,生成一个与所述存储识别码格式对应的随机数; 将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中。2.如权利要求1所述的分布式数据处理方法,其特征在于,所述根据层编码和设备编码为每个存储设备分配一个存储识别码的步骤之后还包括: 当接收到数据提取指令时,获取该数据提取指令中的目标存储识别码; 根据所述目标存储识别码提取对应存储层中对应存储设备的存储数据。3.如权利要求2所述的分布式数据处理方法,其特征在于,所述为每个存储层设置层编码、每个存储设备设置设备编码的步骤包括: 根据存储数据的信息安全等级,为每个存储层设置一个层编码; 根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。4.如权利要求3所述的分布式数据处理方法,其特征在于,所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤之前还包括: 解析所述待存储数据,获取待存储数据的信息安全需求等级; 获取信息安全等级符合所述信息安全需求等级的存储层,该存储层作为待选存储层,以基于随机数从待选存储层中确定存储设备。 所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤包括: 将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度; 将所述待存数据存储在所述匹配度最高的存储设备中。5.如权利要求1至4任意一项所述的分布式数据处理方法,其特征在于,所述当接收到待存储数据时,生成一个与所述存储识别码格式对应的随机数的步骤包括: 当接收到待存储数据时,验证该待存储数据的合法性; 若所述待存储数据合法,则控制预设的真随机数发生器生成一个与所述存储识别码格式对应的随机数。6.如权利要求5所述的分布式数据处理方法,其特征在于,所述当接收到数据提取指令时,获取该数据提取指令中的目标存储识别码的步骤包括: 当接收到数据提取指令时,生成一个验证随机数,并将该验证随机数发送至数据提取指令的发送端; 获取所述发送端基于验证随机数生成的验证信息,并对所述验证信息和发送端进行校验; 当所述验证信息和发送端通过校验,则获取该数据提取指令中的目标存储识别码。7.一种分布式数据处理装置,其特征在于,该分布式数据处理装置包括: 存储分层模块,用于将分布式系统的存储空间分成多个存储层,每个存储层包括若干存储设备; 编码设置模块,用于为每个存储层设置层编码、每个存储设备设置设备编码; 分配模块,用于根据层编码和设备编码为每个存储设备分配一个存储识别码; 随机数模块,用于当接收到待存储数据时,生成一个与所述存储识别码格式对应的随机数; 存储模块,用于将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中。8.如权利要求7所述的分布式数据处理装置,其特征在于,所述分布式数据处理装置还包括: 识别码获取模块,用于当接收到数据提取指令时,获取该数据提取指令中的目标存储识别码; 数据提取模块,用于根据所述目标存储识别码提取对应存储层中对应存储设备的存储数据。9.如权利要求8所述的分布式数据处理装置,其特征在于,所述编码设置模块包括: 安全分配单元,用于根据存储数据的信息安全等级,为每个存储层设置一个层编码; 编码设置单元,用于根据同一存储层内存储设备的位置,为每个存储设备设置一个设备编码。10.如权利要求9所述的分布式数据处理装置,其特征在于,所述分布式数据处理装置还包括: 解析模块,用于在存储待存储数据前,解析所述待存储数据,获取待存储数据的信息安全需求等级; 层获取模块,用于获取信息安全等级符合所述信息安全需求等级的存储层,该存储层作为待选存储层,以基于随机数从待选存储层中确定存储设备; 所述存储模块包括: 匹配单元,用于将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配,得出各个存储设备关于自有存储识别码与随机数的匹配度; 存储单元,用于将所述待存数据存储在所述匹配度最高的存储设备中。
【文档编号】G06F3/06GK105892953SQ201610260783
【公开日】2016年8月24日
【申请日】2016年4月25日
【发明人】张锐
【申请人】深圳市永兴元科技有限公司
再多了解一些
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1