一种适用于大数据的数据管理系统的制作方法

本发明涉及数据管理系统，具体涉及一种适用于大数据的数据管理系统。

背景技术：

随着计算机技术的飞速发展，各领域中的数据呈几何级快速增长。这些数据来自各个方面，从搜集天气情况的感测器、数码图片、在线视频资料，到网络购物的交易记录，手机的全球定位系统信号等。伴随数据规模的急剧膨胀，各行业累计的数据量越来越庞大，数据类型也越来越多，数据结构越来越复杂，已经超越了传统数据管理系统的能力范围。传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出的能力明显不足，无法满足大数据时代的管理需求。为此，我们提出一种适用于大数据的数据管理系统，以解决上述问题。

技术实现要素：

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种适用于大数据的数据管理系统，能够有效克服现有技术所存在的数据处理速度较慢、数据存在安全隐患、整合数据无法得到较好应用的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种适用于大数据的数据管理系统，包括用于向用户提供大数据应用接入的大数据应用端，与所述大数据应用端相连的用于向用户提供云计算服务接入的服务提供模块，与所述服务提供模块相连的用于对数据进行并行与纵向的时分立体调度、形成网格运算前端的数据调度模块，与所述数据调度模块相连的用于对数据进行云存储的数据云存储单元，与所述数据云存储单元相连的用于对存储数据是否存在冗余进行判断的冗余判断模块，与所述数据云存储单元相连的用于对存储中的重复数据进行删除的重复删除模块，与所述数据云存储单元相连的用于对存储数据进行加密、解密的加解密单元，与所述加解密单元相连的用户客户端，与所述客户端相连的用于验证用户身份的权限认证模块，与所述数据云存储单元相连的用于对存储数据构建模型的数据建模单元，与所述数据建模单元相连的用于展示数据模型的数据展示模块；

所述数据调度模块包括hadoop结构单元、hbase结构单元，所述数据云存储单元包括用于对数据进行分类的数据分类模块，以及用于对数据进行索引的数据索引模块，所述加解密单元包括加密芯片和解密芯片，所述数据建模单元包括用于对存储数据进行转换的数据转换模块，用于对存储数据进行聚合的数据聚合模块，用于对存储数据进行关联的数据关联模块，以及用于对存储数据进行挖掘的数据挖掘模块。

优选地，所述数据云存储单元采用离散式分布数据存储端。

优选地，所述离散式分布数据存储端包括hbase结构数据库和hdfs结构数据库。

优选地，所述加密芯片、解密芯片均采用安全套接层ssl或安全传输层tls。

优选地，所述加密芯片、解密芯片包含aes、rsa、sha、otp、rng、guid中的任意一种或多种。

优选地，所述权限认证模块采用rsa算法进行认证。

(三)有益效果

与现有技术相比，本发明所提供的一种适用于大数据的数据管理系统能够利用大数据应用端、服务提供模块对大数据提供云计算服务，利用数据调度模块能够对数据进行并行与纵向的时分立体调度、形成网格运算前端，有效加快数据的存储速度；冗余判断模块、重复删除模块能够对存储数据中的冗余重复部分进行删除，有效提高运行响应速度；利用加解密单元能够对存储数据进行加密、解密，权限认证模块能够对用户身份进行验证，保证数据安全；利用数据建模单元能够对存储数据构建模型，数据展示模块能够对数据模型进行展示，满足当今社会对大数据的管理需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统结构示意图；

图2为本发明中述数据调度模块结构示意图；

图3为本发明中数据云存储单元结构示意图；

图4为本发明中加解密单元结构示意图；

图5为本发明中数据建模单元结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种适用于大数据的数据管理系统，如图1至图5所示，包括用于向用户提供大数据应用接入的大数据应用端，与大数据应用端相连的用于向用户提供云计算服务接入的服务提供模块，与服务提供模块相连的用于对数据进行并行与纵向的时分立体调度、形成网格运算前端的数据调度模块，与数据调度模块相连的用于对数据进行云存储的数据云存储单元，与数据云存储单元相连的用于对存储数据是否存在冗余进行判断的冗余判断模块，与数据云存储单元相连的用于对存储中的重复数据进行删除的重复删除模块，与数据云存储单元相连的用于对存储数据进行加密、解密的加解密单元，与加解密单元相连的用户客户端，与客户端相连的用于验证用户身份的权限认证模块，与数据云存储单元相连的用于对存储数据构建模型的数据建模单元，与数据建模单元相连的用于展示数据模型的数据展示模块；

数据调度模块包括hadoop结构单元、hbase结构单元，数据云存储单元包括用于对数据进行分类的数据分类模块，以及用于对数据进行索引的数据索引模块，加解密单元包括加密芯片和解密芯片，数据建模单元包括用于对存储数据进行转换的数据转换模块，用于对存储数据进行聚合的数据聚合模块，用于对存储数据进行关联的数据关联模块，以及用于对存储数据进行挖掘的数据挖掘模块。

数据云存储单元采用离散式分布数据存储端。

离散式分布数据存储端包括hbase结构数据库和hdfs结构数据库。

加密芯片、解密芯片均采用安全套接层ssl或安全传输层tls。

加密芯片、解密芯片包含aes、rsa、sha、otp、rng、guid中的任意一种或多种。

权限认证模块采用rsa算法进行认证。

利用大数据应用端、服务提供模块对大数据提供云计算服务，利用数据调度模块能够对数据进行并行与纵向的时分立体调度、形成网格运算前端，有效加快数据的存储速度。

冗余判断模块、重复删除模块能够对存储数据中的冗余重复部分进行删除，有效提高运行响应速度。

利用加解密单元能够对存储数据进行加密、解密，权限认证模块能够对用户身份进行验证，保证数据安全。

利用数据建模单元能够对存储数据构建模型，数据展示模块能够对数据模型进行展示，满足当今社会对大数据的管理需求。

本申请技术方案在满足一致性要求的基础上，能够安全、可靠、快速有效地对多类型、多格式、多特性的数据进行存储，通过数据分类聚合和索引标记对数据进行处理，并提供统一高效的查询访问服务，对海量的数据进行探索和挖掘，搜寻数据的模式及特征，寻找数据背后的信息变化，通过分析结构概念化和系统化，多维度多样化将大数据以模型进行展示，满足当今社会数据膨胀式发展所必需的数据管理要求。

本发明所提供的一种适用于大数据的数据管理系统能够利用大数据应用端、服务提供模块对大数据提供云计算服务，利用数据调度模块能够对数据进行并行与纵向的时分立体调度、形成网格运算前端，有效加快数据的存储速度；冗余判断模块、重复删除模块能够对存储数据中的冗余重复部分进行删除，有效提高运行响应速度；利用加解密单元能够对存储数据进行加密、解密，权限认证模块能够对用户身份进行验证，保证数据安全；利用数据建模单元能够对存储数据构建模型，数据展示模块能够对数据模型进行展示，满足当今社会对大数据的管理需求。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。