一种大数据的存储方法与流程

本发明涉及一种大数据的存储方法，具体为云计算技术领域。

背景技术：

云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院（nist）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

大数据作为云计算领域的一种新型的数据管理模式，具有较高的加载效率和存储规模，对数据的管理起到了积极的作用，一方面保证了数据处理的效率，另一方面提高了系统运行的稳定性，提供了更加优质的服务。

传统的数据管理模式包含nosql数据库和关系模型的数据库，关系数据库已经无法满足web2.0的需求。主要表现为：无法满足海量数据的管理需求、无法满足数据高并发的需求、高可扩展性和高可用性的功能太低。

nosql数据库即采用key-value的形式对数据进行存储，且结构不固定，

难以满足数据更新和数据存储的要求，这就需要对数据的一致性方面放宽要求，并对复杂的关联查询进行取消，再根据具体的应用场景，提高系统的实用性。

技术实现要素：

本发明的目的在于提供一种适用于海量作业数据的存取及数据分析，具有高性能和高扩展性的特点的大数据的存储方法，以解决上述背景技术存在的问题。

为实现上述目的，本发明提供如下技术方案：一种大数据的存储方法主要是将mpp架构的新型数据库集群与hadoop生态系统结合混搭使用的存储方法，用mpp架构的新型数据库集群处理pb级别的、高质量的结构化数据；用hadoop实现半结构化、非结构化数据处理；

作为优选，所述的mpp架构的新型数据库集群是面向行业大数据存储，采用sharednothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合mpp架构高效的分布式计算模式，完成对分析类应用的支撑。

进一步的，所述的结构化数据为即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据。

进一步的，所述的非结构化数据为数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、xml,html、各类报表、图像和音频和视频信息等。

与现有技术相比，本发明的有益效果是：mpp架构的新型数据库集群与hadoop生态系统结合混搭，其中mpp架构的新型数据库集群能有效支撑pb级别的结构化数据分析，对于企业新一代的数据仓库和结构化数据分析，用hadoop实现非结构、半结构化数据处理、复杂的etl流程、复杂的数据挖掘和计算模型，此种方法更加适用于海量作业数据的存取及数据分析。具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。

附图说明

图1为本发明原理框架结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本具体实施方式提供一种技术方案：一种大数据的存储方法主要是将mpp架构的新型数据库集群与hadoop生态系统结合混搭使用的存储方法，用mpp架构的新型数据库集群处理pb级别的、高质量的结构化数据；用hadoop实现半结构化、非结构化数据处理；

作为优选，所述的mpp架构的新型数据库集群是面向行业大数据存储，采用sharednothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合mpp架构高效的分布式计算模式，完成对分析类应用的支撑。

其中，所述的结构化数据为即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据；所述的非结构化数据为数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、xml,html、各类报表、图像和音频和视频信息等。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

技术总结
本发明公开了一种大数据的存储方法，涉及云计算技术领域，所述的存储方法主要是将MPP架构的新型数据库集群与Hadoop生态系统结合混搭使用的存储方法，用MPP架构的新型数据库集群处理PB级别的、高质量的结构化数据；用Hadoop实现半结构化、非结构化数据处理。MPP架构的新型数据库集群与Hadoop生态系统结合混搭，其中MPP架构的新型数据库集群能有效支撑PB级别的结构化数据分析，对于企业新一代的数据仓库和结构化数据分析，用Hadoop实现非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。

技术研发人员：马志伟;吴晓晖;陈伟;李超;王旭
受保护的技术使用者：江苏奥博洋信息技术有限公司
技术研发日：2017.12.01
技术公布日：2019.07.16