1.数据存储查询方法,其特征在于,包括:
获取需存储的数据;
暂存需存储的数据至kafka队列服务器,以得到暂存数据;
采用sparkstreaming消费暂存数据,以得到中间数据;
获取中间数据在hbase表内的真正hregion位置,以得到存储位置;
将中间数据写入存储位置内,以得到写入结果;
根据写入结果建立二级索引;
反馈所述二级索引以及写入结果;
获取查询请求;
根据查询请求获取查询结果;
反馈所述查询结果。
2.根据权利要求1所述的数据存储查询方法,其特征在于,所述采用sparkstreaming消费暂存数据,以得到中间数据,包括:
启动receiver异步线程从kafka队列服务器内获取暂存数据,以得到初始数据;
暂存所述初始数据;
将初始数据转移至executor内以进行处理,得到中间数据。
3.根据权利要求1所述的数据存储查询方法,其特征在于,所述采用sparkstreaming消费暂存数据,以得到中间数据之后,还包括:
更新分布式协调服务内的偏移量。
4.根据权利要求1至3任一项所述的数据存储查询方法,其特征在于,所述获取中间数据在hbase表内的真正hregion位置,以得到存储位置,包括:
根据中间数据从分布式协调服务内调取根表所在的位置;
根据根表所在的位置获取对应的元数据表所在的hregion位置,以得到中间数据在hbase表内的真正hregion位置。
5.根据权利要求1所述的数据存储查询方法,其特征在于,所述根据写入结果建立二级索引,包括:
获取基于hbase的协处理器针对写入结果拓展的二级索引;
将二级索引存储于基于elasticsearch的分布式索引服务器。
6.根据权利要求1所述的数据存储查询方法,其特征在于,所述查询请求是从用户终端生成的查询脚本,且根据该查询脚本在基于elasticsearch的分布式索引服务器内进行检索所得到要查询的行键。
7.数据存储查询装置,其特征在于,包括:
数据获取单元,用于获取需存储的数据;
第一暂存单元,用于暂存需存储的数据至kafka队列服务器,以得到暂存数据;
消费单元,用于采用sparkstreaming消费暂存数据,以得到中间数据;
存储位置获取单元,用于获取中间数据在hbase表内的真正hregion位置,以得到存储位置;
写入结果获取单元,用于将中间数据写入存储位置内,以得到写入结果;
二级索引建立单元,用于根据写入结果建立二级索引;
第一反馈单元,用于反馈所述二级索引以及写入结果;
查询请求获取单元,用于获取查询请求;
查询结果形成单元,用于根据查询请求获取查询结果;
第二反馈单元,用于反馈所述查询结果。
8.根据权利要求7所述的数据存储查询装置,其特征在于,所述消费单元包括:
初始数据获取子单元,用于启动receiver异步线程从kafka队列服务器内获取暂存数据,以得到初始数据;
初始数据暂存子单元,用于暂存所述初始数据;
处理子单元,用于将初始数据转移至executor内以进行处理,得到中间数据。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。