本实用新型涉及存储技术领域，特别涉及一种基于Hadoop的云存储平台。
背景技术：
随着互联网的高速发展和大数据的兴起，对于提供网络服务的互联网公司和提供数据分析的咨询公司来说，有大量的数据需要处理，用来分析潜在用户的需求、产品的市场表现等等，还需要经常对数据的一部分进行统计和调整，以满足对局部数据的分析要求。
传统的存储方案扩展能力差，难以满足企业快速增长的业务需求。传统的NAS方案扩展能力有限，并且面向企业级的NAS设备价格往往非常昂贵，购买以及安装独立的NAS设备，需要承担较大的购买支出和维护成本。
技术实现要素：
为解决以上问题，本实用新型提供了一种基于Hadoop的云存储平台。
本实用新型提供的一种基于Hadoop的云存储平台，包括：
对象访问接口层、对象元数据存储层、对象实体数据存储层和数据归档管理层和大规模并行处理查询引擎Impala；
对象访问接口层与对象元数据存储层连接，对象元数据存储层与对象实体数据存储层连接，数据归档管理层分别与对象元数据存储层和对象实体数据存储层连接，对象访问接口层还与大规模并行处理查询引擎Impala连接，大规模并行处理查询引擎Impala分别与对象元数据存储层和对象实体数据存储层连接；
对象访问接口层包括交换机、千兆光纤、服务器，服务器上设置有API接口，用于给上层云应用业务调用；
对象元数据存储层包括HRegion服务器和HBase Master服务器，用于创建、查询和删除对象数据；
对象实体数据存储层为多个硬盘组成的分布式文件系统，用于存储对象实体数据；
数据归档管理层包括多个处理器，用以对零散小对象文件进行归档和对归档文件的存储进行管理和对失效对象的磁盘空间进行回收；
大规模并行处理查询引擎Impala包括多个处理器，用于对Hadoop集群数据的SQL查询。
优选的，所述对象访问接口层的服务器还设置有数据库访问处理器。
优选的，所述对象元数据存储层中的HRegion服务器，包括多台存储服务器，每台存储服务器存储有：
索引容器表，用于存储对象元数据索引信息；
对象元数据表，用于描述对象元数据信息；
已删除数据表，用于描述用户删除的失效数据。
优选的，平台还包括：
历史服务器，与数据归档管理层连接，用于记录和查看已经运行完的归档管理作业记录。
本实用新型提供的一种基于Hadoop的云存储平台，有很强的扩展能力和较高的可靠性，而且扩展方便，能够降低成本，且能够解决联机分析处理的效率问题，从而能够实现多维立方体的生成和切换等操作。
本实用新型的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本实用新型而了解。本实用新型的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本实用新型的技术方案做进一步的详细描述。
附图说明
附图用来提供对本实用新型的进一步理解，并且构成说明书的一部分，与本实用新型的实施例一起用于解释本实用新型，并不构成对本实用新型的限制。在附图中：
图1为本实用新型实施例中一种基于Hadoop的云存储平台的结构示意图。
具体实施方式
以下结合附图对本实用新型的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本实用新型，并不用于限定本实用新型。
本实用新型实施例提供了一种基于Hadoop的云存储平台，如图1所示，包括：
对象访问接口层、对象元数据存储层、对象实体数据存储层和数据归档管理层和大规模并行处理查询引擎Impala；
对象访问接口层与对象元数据存储层连接，对象元数据存储层与对象实体数据存储层连接，数据归档管理层分别与对象元数据存储层和对象实体数据存储层连接，对象访问接口层还与大规模并行处理查询引擎Impala连接，大规模并行处理查询引擎Impala分别与对象元数据存储层和对象实体数据存储层连接；
对象访问接口层包括交换机、千兆光纤、服务器，服务器上设置有API接口，用于给上层云应用业务调用；
对象元数据存储层包括HRegion服务器和HBase Master服务器，为基于HBase的实现，用于创建、查询和删除对象数据；
对象实体数据存储层为多个硬盘组成的分布式文件系统，用于存储对象实体数据；
数据归档管理层包括多个处理器，用以对零散小对象文件进行归档和对归档文件的存储进行管理和对失效对象的磁盘空间进行回收；
大规模并行处理查询引擎Impala包括多个处理器，使用Hadoop分布式文件系统作为底层存储，用于对Hadoop集群数据进行高性能、低延迟的SQL查询。
用户通过手机、笔记本、台式机等上连接云端应用向云存储平台发出修改或删除的操作请求，修改或删除的操作请求到达对象访问接口层的服务器后，对象访问接口层通过交换机和千兆光纤向对象元数据存储层发送修改或删除的操作请求，对象元数据存储层的HBase Master服务器响应所述修改或删除的操作请求并由HRegion服务器根据其所记录的对象实体数据的存储位置(当操作请求为创建时，HRegion服务器向对象实体数据存储层发出创建存储空间的请求，并记录该存储位置)对对象实体数据存储层的对象实体数据进行修改或删除的操作，操作完成后将操作结果反馈给对象访问接口层，并由对象访问接口层将操作结果反馈给云端应用。数据归档管理层定时对对象元数据存储层和对象实体数据存储层的数据进行归档管理。
当用户通过云端应用进行创建操作时，云端应用通过对象访问接口层将创建操作发送给对象元数据存储层，对象元数据存储层的HBase Master服务器响应所述创建操作请求并由HRegion服务器向对象实体数据存储层发出创建存储空间的请求，并记录该存储位置，对象实体数据存储层创建完成存储空间后，将操作结果反馈给对象元数据存储层，再由对象元数据存储层通过对象访问接口层将创建结果反馈给云端应用，再由云端应用通过对象访问接口层读取对象元数据存储层中所创建的存储位置，并在对象实体数据存储层的该存储位置创建对象实体数据，创建完成后将创建结果反馈给对象元数据存储层，并由对象访问接口层将创建结果反馈给云端应用。
当用户通过云端应用进行查询操作时，云端应用通过对象访问接口层将查询操作发送给大规模并行处理查询引擎Impala，大规模并行处理查询引擎Impala根据收到的查询操作对对象元数据存储层和对象实体数据存储层的数据进行查询，并将查询结果反馈给对象访问接口层，由对象访问接口层将查询结果反馈给云端应用。
本实用新型提供的一种基于Hadoop的云存储平台，利用HBase可以满足平台的扩展性和高可靠性。对象实体数据存储基于Hadoop分布式文件系统，能够实现对象数据和归档文件的可靠存储，同时支持数据冗余。对象访问接口层在Hadoop开源框架下为云端应用提供可供应用层调用的API接口，外部应用可以通过接口调用实现对对象元数据的创建、查询和删除等功能，通过使用大规模并行处理查询引擎Impala，能够解决联机分析处理的效率问题，从而能够实现多维立方体的生成和切换等操作。
在本实用新型一优选实施例中，对象访问接口层包括数据库访问处理器。对于海量数据的存取，不会只局限对一种数据库的操作，通过使用数据库访问处理器对各种数据库提供的不同数据源进行屏蔽，提供数据库访问服务，这样平台才具有较好的可扩展性，方便管理和部署。
在本实用新型一优选实施例中，对象元数据存储层中的HRegion服务器，包括多台存储服务器，每台存储服务器存储有：
索引容器表，用于存储对象元数据索引信息；
对象元数据表，用于描述对象元数据信息；
已删除数据表，用于描述用户删除的失效数据。
对象元数据存储层建立在HBase之上，通过管理和维护这三张表实现了对象元数据的创建、查询和删除，以及小文件数据归档的功能。
当访问层提交创建数据请求后，平台会检查访问合法性和索引容器表的容量，如果索引容器表的容量不够，将会创建一条新的对象元数据索引容器记录。通过检查后将对象元数据信息添加至对象元数据索引表，同时更新索引容器表的容量，最后将对象元数据存储到Hadoop分布式文件系统中。当访问层提交删除数据请求后，平台会检查访问合法性，通过检查后删除对象元数据在对象元数据索引表中的索引信息，同时在已删除数据表添加一条删除数据记录，更新索引容器表容量，进入数据归档周期时，平台将会删除Hadoop分布式文件系统中的对象元数据。
在本实用新型一优选实施例中，平台还包括：
历史服务器，与数据归档管理层连接，用于记录和查看已经运行完的归档管理作业记录。
历史服务器，按照预设的时间间隔与数据归档管理层连接，读取数据归档管理层的状态并写入历史服务器中，用于对归档管理操作进行记录。
在本实用新型一优选实施例中，数据归档管理层按照预设的时间间隔连接至对象实体数据存储层和对象元数据存储层，并对对象实体数据的进行归档和压缩。
平台按照预设的时间间隔扫描对象元数据存储层元数据信息表，统计未归档的数据信息，根据配置的归档文件大小限制，对数据进行分组。分组完成后将每个分组中的对象文件合并到一个归档文件中，更新相关对象元数据信息表中的数据标识信息。
本实用新型提供的一种基于Hadoop的云存储平台，有很强的扩展能力和较高的可靠性，而且扩展方便，能够降低成本，且能够解决联机分析处理的效率问题，从而能够实现多维立方体的生成和切换等操作。
显然，本领域的技术人员可以对本实用新型进行各种改动和变型而不脱离本实用新型的精神和范围。这样，倘若本实用新型的这些修改和变型属于本实用新型权利要求及其等同技术的范围之内，则本实用新型也意图包含这些改动和变型在内。