PaaS系统中hbase数据导出方法及装置的制造方法
【技术领域】
[0001]本发明涉及数据处理技术领域，尤指一种PaaS系统中hbase数据导出方法及装置。
【背景技术】
[0002]随着网络的不断发展，为用户提供服务的方法已经由软件即服务(Softwareas aService，SaaS)的方式转变为平台即服务(Platform as a Service，PaaS)的方式。PaaS系统中可以使用Hadoop数据库(Hadoop Database，HBase)系统，Hbase系统是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价个人计算机服务器(PCServer)上搭建起大规模结构化存储集群。
[0003]在PAAS系统中，用户是共享一个存储服务的，也就是所有用户的数据都存在一个独立的hbase中。PAAS系统中的用户希望系统提供一种文件下载的功能，能够将自己保存的所有数据(一般是二进制文件)以某种方式对外导出，然后自己可以将这些数据下载下来。
[0004]现有PAAS系统中，用户要将自己需要的数据读取出来，通常是一条一条的读取。用户需要先向服务端发送一个读取数据的指令，然后服务端解析请求格式，再从hadoop中(一般hbase底层都是依赖hadoop的)读取出来对应的数据返回给用户。由于在hbase中存储的数据量一般都很大，很多都是超过100G，如果是一条一条的读取出来，然后下载到本地，则需要多次循环执行上述读取操作，直到这100G的数据都遍历完。
[0005]因此，现有技术中用户将数据读取出来并进行保存的操作通常都是非常慢的，用户导出数据的处理过程很长，效率低下，因此，如何在用户点击下载按钮今后，快速的将用户需要的数据导出是一个亟待解决的技术问题。
【发明内容】
[0006]本发明实施例提供一种PaaS系统中hbase数据导出方法及装置，用以解决现有技术中存在用户数据导出时，处理时间长，速度慢、效率低下的问题，能够实现快速、高效的用户数据导出。
[0007]—方面，本发明实施例提供了一种hbase数据导出方法，包括:
[0008]接收用户发送的数据读取指令，所述数据读取指令中包括关键字范围；
[0009]根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字所在的存储区域；
[0010]对起始关键字和结束关键字所在的存储区域，根据所述关键字范围对其中存储的用户数据进行关键字匹配判断，将关键字匹配的用户数据拷贝到下载目录下供用户下载；
[0011]对处于起始关键字和结束关键字所在的存储区域之间的存储区域，将其中的用户数据拷贝到下载目录下供用户下载。
[0012]在一些可选的实施例中，所述关键字范围通过起始关键字和结束关键字表征;或
[0013]所述关键字范围通过起始关键字和关键字的数量表征。
[0014]在一些可选的实施例中，根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字所在的存储区域，具体包括:
[0015]根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字；
[0016]依次查询根root表、业务字典meta表，确定所述起始关键字和结束关键字所在的meta 表；
[0017]根据所述起始关键字和结束关键字，查找确定出的meta表所对应的业务表，确定所述起始关键字和结束关键字所在的业务表。
[0018]在一些可选的实施例中，根据起始关键字中包括的用户标识信息和关键字值，以及结束关键字中包括的用户标识信息和关键字值，查询root表、meta表、以及确定出的meta表所对应的业务表，实现确定所述起始关键字和结束关键字所在的业务表。
[0019]在一些可选的实施例中，根据所述关键字范围对其中存储的用户数据进行关键字匹配判断，具体包括:
[0020]遍历起始关键字和结束关键字所在的存储区域中的用户数据文件；
[0021]根据所述用户数据文件中用户数据的关键字中包括的用户标识信息和关键字值，判断用户数据的关键字是否是所述关键字范围内的关键字；
[0022]当判断为是时，认为该用户数据为关键字匹配的用户数据。
[0023]另一方面，本发明实施例提供了一种hbase数据导出装置，包括:
[0024]接收模块，用于接收用户发送的数据读取指令，所述数据读取指令中包括关键字范围；
[0025]确定模块，用于根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字所在的存储区域；
[0026]导出模块，用于从对起始关键字和结束关键字所在的存储区域，根据所述关键字范围对其中存储的用户数据进行关键字匹配判断，将关键字匹配的用户数据拷贝到下载目录下供用户下载;对处于起始关键字和结束关键字所在的存储区域之间的存储区域，将其中的用户数据拷贝到下载目录下供用户下载。
[0027]在一些可选的实施例中，所述接收模块接收到的数据读取指令中包括的关键字范围通过起始关键字和结束关键字表征;或
[0028]所述接收模块接收到的数据读取指令中包括的关键字范围通过起始关键字和关键字的数量表征。
[0029]在一些可选的实施例中，所述确定模块，具体用于:
[0030]根据所述关键字范围，确定待导出的用户数据的起始关键字和结束关键字；
[0031]依次查询根root表、业务字典meta表，确定所述起始关键字和结束关键字所在的meta 表；
[0032]根据所述起始关键字和结束关键字，查找确定出的meta表所对应的业务表，确定所述起始关键字和结束关键字所在的业务表。
[0033]在一些可选的实施例中，所述确定模块，具体用于:
[0034]根据起始关键字中包括的用户标识信息和关键字值，以及结束关键字中包括的用户标识信息和关键字值，查询root表、meta表、以及确定出的meta表所对应的业务表，实现确定所述起始关键字和结束关键字所在的业务表。
[0035]在一些可选的实施例中，所述导出模块，具体用于:
[0036]遍历起始关键字和结束关键字所在的存储区域中的用户数据文件；
[0037]根据所述用户数据文件中用户数据的关键字中包括的用户标识信息和关键字值，判断用户数据的关键字是否是所述关键字范围内的关键字；
[0038]当判断为是时，认为该用户数据为关键字匹配的用户数据。
[0039]上述技术方案具有如下有益效果:根据接收到的用户发送的数据读取指令中包括的关键字范围，确定待导出的用户数据的起始关键字和结束关键字所在的存储区域;对起始关键字和结束关键字所在的存储区域，逐一识别出其中待导出的用户数据;对处于起始关键字和结束关键字所在的存储区域之间的存储区域，则可以直接导出，该方式不需要像现有技术中一样逐条进行数据读取判断，从而减少了数据导出的处理时间，提高了数据导出的处理速度和效率，实现了快速、高效的数据导出。
【附图说明】
[0040]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041 ]图1是本发明实施例一中PaaS系统中hbase数据导出方法的流程图；
[0042]图2是本发明实施例二中PaaS系统中hbase数据导出方法的流程图；
[0043]图3是本发明实施例二中hbase系统中存储用户数据的存储表结构示意图；
[0044]图4是本发明实施例二中存储区域中的用户数据文件示例图；
[0045]图5是本发明实施例中PaaS系统中hbase数据导出装置的结构示意图。
【具体实施方式】
[0046]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、