一种大数据块结构化存储方法及系统与流程

本发明涉及大数据领域，具体涉及一种大数据块结构化存储方法及系统。

背景技术：

近年来，大数据领域发展出大量技术和产品，成为大数据获取、存储、处理分析或可视化的有效手段。但大数据的存储方法是通过部署运维监控软件收集大数据运行日志数据以纯文本格式存储到本地文件系统或者关系型数据库系统，都难以解决大数据存储数据量庞大的问题，传统的方案只能定时删除日志文件，并且海量数据的访问效率极慢。

技术实现要素：

本发明所要解决的技术问题是提供一种大数据块结构化存储方法及系统，可以解决存储数据量庞大的问题和提高数据访问效率。

本发明解决上述技术问题的技术方案如下：一种大数据块结构化存储方法，包括以下步骤，

s1，采用数据迁移的方式按存活周期对大数据进行分级归类；

s2，建立树状文件系统，并将按存活周期进行分级归类的大数据导入到所述树状文件系统；

s3，利用分级存储的原理将所述大数据存储在所述树状文件系统的对应节点上。

本发明的有益效果是：本发明一种大数据块结构化存储方法采用数据迁移的方式按存活周期对大数据进行分级归类，并在此基础上，利用树状文件系统对大数据进行分级存储，可以解决存储数据量庞大的问题和有效的提高大数据的访问效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，在所述s1中，还包括对所述大数据进行过滤，并将过滤后的所述大数据采用数据迁移的方式按存活周期进行分级归类。

进一步，在所述s2中，具体根据所述大数据的分级归类级数建立所述树状文件系统。

进一步，所述树状文件系统的节点数与所述大数据的分级归类级数相匹配。

进一步，所述树状文件系统具体为hbase类型的数据库。

基于上述一种大数据块结构化存储方法，本发明还提供一种大数据块结构化存储系统。

一种大数据块结构化存储系统，包括以下模块，

分级归类模块，其用于采用数据迁移的方式按存活周期对大数据进行分级归类；

树状文件系统建立模块，其用于建立树状文件系统，并将按存活周期进行分级归类的大数据导入到所述树状文件系统；

分级存储模块，其用于利用分级存储的原理将所述大数据存储在所述树状文件系统的对应节点上。

本发明的有益效果是：本发明一种大数据块结构化存储系统采用数据迁移的方式按存活周期对大数据进行分级归类，并在此基础上，利用树状文件系统对大数据进行分级存储，可以解决存储数据量庞大的问题和有效的提高大数据的访问效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述分级归类模块还用于对所述大数据进行过滤，并将过滤后的所述大数据采用数据迁移的方式按存活周期进行分级归类。

进一步，所述树状文件系统建立模块具体用于根据所述大数据的分级归类级数建立所述树状文件系统。

进一步，所述树状文件系统的节点数与所述大数据的分级归类级数相匹配。

进一步，所述树状文件系统具体为hbase类型的数据库。

附图说明

图1为本发明一种大数据块结构化存储方法的流程图；

图2为本发明一种大数据块结构化存储系统的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种大数据快速开发方法，包括以下步骤，

一种大数据块结构化存储方法，包括以下步骤，

s1，采用数据迁移的方式按存活周期对大数据进行分级归类；

s2，建立树状文件系统，并将按存活周期进行分级归类的大数据导入到所述树状文件系统；

s3，利用分级存储的原理将所述大数据存储在所述树状文件系统的对应节点上。

本发明一种大数据块结构化存储方法采用数据迁移的方式按存活周期对大数据进行分级归类，并在此基础上，利用树状文件系统对大数据进行分级存储，可以解决存储数据量庞大的问题和有效的提高大数据的访问效率。

在本具体实施例中：

在所述s1中，还包括对所述大数据进行过滤，并将过滤后的所述大数据采用数据迁移的方式按存活周期进行分级归类。

在所述s2中，具体根据所述大数据的分级归类级数建立所述树状文件系统。

所述树状文件系统的节点数与所述大数据的分级归类级数相匹配。

所述树状文件系统具体为hbase类型的数据库。

基于上述一种大数据块结构化存储方法，本发明还提供一种大数据块结构化存储系统。

一种大数据块结构化存储系统，包括以下模块，

分级归类模块，其用于采用数据迁移的方式按存活周期对大数据进行分级归类；

树状文件系统建立模块，其用于建立树状文件系统，并将按存活周期进行分级归类的大数据导入到所述树状文件系统；

分级存储模块，其用于利用分级存储的原理将所述大数据存储在所述树状文件系统的对应节点上。

本发明一种大数据块结构化存储系统采用数据迁移的方式按存活周期对大数据进行分级归类，并在此基础上，利用树状文件系统对大数据进行分级存储，可以解决存储数据量庞大的问题和有效的提高大数据的访问效率。

匝本具体实施例中：

所述分级归类模块还用于对所述大数据进行过滤，并将过滤后的所述大数据采用数据迁移的方式按存活周期进行分级归类。

所述树状文件系统建立模块具体用于根据所述大数据的分级归类级数建立所述树状文件系统。

所述树状文件系统的节点数与所述大数据的分级归类级数相匹配。

所述树状文件系统具体为hbase类型的数据库。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

技术总结
本发明涉及一种大数据块结构化存储方法及系统，其方法包括以下步骤，S1，采用数据迁移的方式按存活周期对大数据进行分级归类；S2，建立树状文件系统，并将按存活周期进行分级归类的大数据导入到所述树状文件系统；S3，利用分级存储的原理将所述大数据存储在所述树状文件系统的对应节点上。本发明一种大数据块结构化存储方法采用数据迁移的方式按存活周期对大数据进行分级归类，并在此基础上，利用树状文件系统对大数据进行分级存储，可以解决存储数据量庞大的问题和有效的提高大数据的访问效率。

技术研发人员：李卫群;兰海翔;周发辉
受保护的技术使用者：贵州力创科技发展有限公司
技术研发日：2019.04.01
技术公布日：2019.08.20