一种大数据分析存储装置及存储方法与流程

本发明实施例涉及大数据技术领域，具体涉及一种大数据分析存储装置及存储方法。

背景技术：

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分，大数据必然无法用单台的计算机进行处理，必须采用分布式架构，它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。适用于大数据的技术，包括大规模并行处理(mpp)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

现有的大数据分析存储装置通常包括接收单元和处理单元，接收单元用于接收和发送需要存储的数据，处理单元用于将数据存储到对应的网络逻辑地址。

但是，现有的大数据分析存储装置及存储方法存在以下缺陷：

(1)大数据通常较为繁杂，且有许多数据存在相同、重叠部分，如果只是采用常规的存储方式，不仅不利于数据的管理，还容易造成存储容量的浪费；

(2)数据的安全关系着个人、企业的利益，而现有的大数据存储方式安全性较低，容易受到外界的入侵，无法保证存储数据的安全。

技术实现要素：

为此，本发明实施例提供一种大数据分析存储装置及存储方法，该系统通过将数据按照关键信息分为若干份，并分别存储，且多组数据按照相同部分构成数据树，能够方便数据的分类、管理和提取，且可以使存储容量的利用更充分，同时，通过设置多层密钥，并分别与数据树的不同层对应，能够使数据的存储更安全，避免外界入侵到数据的核心部分，有利于保证数据的安全，能有效解决现有技术中存在的问题。

为了实现上述目的，本发明实施例提供如下技术方案，一种大数据分析存储装置，包括：

服务器，所述服务器用于接收传输单元发送的待存储的数据，并将数据发送至处理单元处理；

传输单元，所述传输单元用于接收所需存储的数据，并将数据发送至服务器；

处理单元，所述处理单元用于提取服务器接收的数据的名称和关键词，并将数据按照关键信息划分为若干份；

存储单元，所述存储单元用于提取处理单元划分的若干份数据的存储量，并将其分别存储到对应容量的网络逻辑地址。

进一步地，所述服务器连接有安全检索单元，所述安全检索单元用于向各个网络逻辑地址建立一个独立私钥，并且为各个用户建立一个身份标识以及相应权限的用户公钥。

进一步地，所述处理单元连接有数据链接模块，所述数据链接模块用于将处理单元划分的若干份数据按照关键程度建立一系列单向查询链接。

进一步地，所述处理单元连接有整合模块，所述整合模块用于整合多组数据相同的部分。

进一步地，所述服务器连接有检测模块，所述检测模块用于检测传输单元发送的数据的安全性，并在数据存在安全问题时通过报警模块报警。

另外，本发明还提供了一种大数据分析存储方法，包括如下步骤：

s100、服务器接收需要存储的数据，并且将数据分为若干份；

s200、服务器根据各份数据的容量，将其分别存储到对应容量的网络逻辑地址；

s300、将多组数据相同的部分进行整合，并构建数据树；

s400、服务器为各个网络逻辑地址建立一个独立私钥，并且为各个用户建立一个身份标识以及相应权限的用户公钥。

进一步地，在步骤s100中，服务器在接收到需要存储的数据后，首先进行安全检测，之后提取数据的名称或关键词为一份数据，最后将数据按照关键信息再分为若干份。

进一步地，在步骤s200中，各份数据在存储到对应容量的网络逻辑地址之后，服务器根据各份数据的关键程度建立一系列单向查询链接。

进一步地，在步骤s300中，在整合多组数据相同部分时，若后存储的数据分成的若干份数据中，有部分数据与先前网络逻辑地址存储的数据相同，则相同的部分共用同一网络逻辑地址，并建立独立的单向查询链接，以构建数据树。

进一步地，在步骤s400中，当用户查询所需的数据时，首先根据关键信息查询最上层数据，并通过用户公钥验证其身份，若需要查询更多的数据，则逐步通过单向查询链接进行下层查询，同时，下层的网络逻辑地址会通过独立私钥验证用户权限，只有用户的用户公钥能够与之配对，才能查询该层数据，以此循环，直至数据全部查询或达到用户最高权限。

本发明实施例具有如下优点：

(1)本发明通过将数据按照关键信息分为若干份，并分别存储，且多组数据按照相同部分构成数据树，能够方便数据的分类、管理和提取，且可以使存储容量的利用更充分；

(2)本发明通过设置多层密钥，并分别与数据树的不同层对应，能够使数据的存储更安全，避免外界入侵到数据的核心部分，有利于保证数据的安全。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明的整体结构示意图；

图2为本发明的流程结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种大数据分析存储装置，包括服务器、传输单元、处理单元和存储单元，服务器包括处理器、无线收发器、存储器、总线、电源等，是设备的核心和控制部分，服务器用于接收传输单元发送的待存储的数据，并将数据发送至处理单元处理。

传输单元用于接收所需存储的数据，并将数据发送至服务器，服务器连接有检测模块，检测模块用于检测传输单元发送的数据的安全性，并在数据存在安全问题时通过报警模块报警，以保证存储数据的安全，避免服务期内植入病毒。

处理单元用于提取服务器接收的数据的名称和关键词为一份数据，并将数据按照关键信息划分为若干份，使得各份数据的整体能够组成完整的数据，而只通过一份或几份数据均无法获取其全部信息。

存储单元用于提取处理单元划分的若干份数据的存储量，并将其分别存储到对应容量的网络逻辑地址，由于后续需要将多组数据相同的部分进行整合，因此网络逻辑地址的容量要略大于数据的存储量。

处理单元连接有数据链接模块，数据链接模块用于将处理单元划分的若干份数据按照关键程度建立一系列单向查询链接，使得用户在查询到上层或关键程度较低的数据后，可以通过单向查询链接查询下层或关键程度较高的数据。

处理单元连接有整合模块，整合模块用于整合多组数据相同的部分，使得多组数据相同的部分能够共用一个网络逻辑地址，从而构成一个数据树，能够方便数据的分类、管理和提取，且可以使存储容量的利用更充分，避免相同的数据占用较多的存储空间。

服务器连接有安全检索单元，安全检索单元用于向各个网络逻辑地址建立一个独立私钥，并且为各个用户建立一个身份标识以及相应权限的用户公钥，用户的权限大小由服务器进行设定，并根据权限调整与独立私钥配对的用户公钥。

用户在查询数据时，首先通过用户公钥进行身份认证，并能够查询数据树上层关键程度较低的数据，若需要查询数据树下层关键程度较高的数据，则可以通过单向查询链接进行下层查询，且在进行下层查询前，下层的网络逻辑地址会通过独立私钥对用户的权限进行认证，只有用户的用户公钥能够与下层网络逻辑地址的独立私钥配对，用户才有权限进行下一层数据的查询，以此类推，直至数据被全部查询或达到用户最高权限，使得数据的存储更安全，可以避免外界入侵到数据的核心部分，有利于保证数据的安全。

另外，如图2所示，本发明还提供了一种大数据分析存储方法，包括如下步骤：

步骤s100、服务器接收需要存储的数据，并且将数据分为若干份。

在步骤s100中，服务器在接收到需要存储的数据后，首先需要进行安全检测，避免病毒入侵服务器，之后提取数据的名称或关键词为一份数据，最后将数据按照关键信息再分为若干份，使得每组数据能够被分成若干部分，且关键程度逐渐增大。

步骤s200、服务器根据各份数据的容量，将其分别存储到对应容量的网络逻辑地址。

在步骤s200中，各份数据在存储到对应容量的网络逻辑地址之后，服务器根据各份数据的关键程度建立一系列单向查询链接，使得用户在查询到关键程度较低的数据后，可以通过单向查询链接查询关键程度较高的数据。

步骤s300、将多组数据相同的部分进行整合，并构建数据树。

在步骤s300中，在整合多组数据相同部分时，若后存储的数据分成的若干份数据中，有部分数据与先前网络逻辑地址存储的数据相同，则相同的部分共用同一网络逻辑地址，并建立独立的单向查询链接，以构建数据树，使得各组完整数据的查询相互独立，不会相互影响，同时能够方便数据的分类、管理和提取，且可以使系统存储容量的利用更充分，避免相同的数据占用较多的存储空间。

步骤s400、服务器为各个网络逻辑地址建立一个独立私钥，并且为各个用户建立一个身份标识以及相应权限的用户公钥。

在步骤s400中，当用户查询所需的数据时，首先根据关键信息查询最上层数据，并通过用户公钥验证其身份，若需要查询更多的数据，则逐步通过单向查询链接进行下层查询，同时，下层的网络逻辑地址会通过独立私钥验证用户权限，只有用户的用户公钥能够与之配对，才能查询该层数据，以此循环，直至数据全部查询或达到用户最高权限，使得数据的存储更安全，可以避免外界入侵到数据的核心部分，有利于保护数据。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。