数据存储查询方法、装置、计算机设备及存储介质与流程

文档序号:19680453发布日期:2020-01-14 17:16阅读:来源:国知局

技术特征:

1.数据存储查询方法,其特征在于,包括:

获取需存储的数据;

暂存需存储的数据至kafka队列服务器,以得到暂存数据;

采用sparkstreaming消费暂存数据,以得到中间数据;

获取中间数据在hbase表内的真正hregion位置,以得到存储位置;

将中间数据写入存储位置内,以得到写入结果;

根据写入结果建立二级索引;

反馈所述二级索引以及写入结果;

获取查询请求;

根据查询请求获取查询结果;

反馈所述查询结果。

2.根据权利要求1所述的数据存储查询方法,其特征在于,所述采用sparkstreaming消费暂存数据,以得到中间数据,包括:

启动receiver异步线程从kafka队列服务器内获取暂存数据,以得到初始数据;

暂存所述初始数据;

将初始数据转移至executor内以进行处理,得到中间数据。

3.根据权利要求1所述的数据存储查询方法,其特征在于,所述采用sparkstreaming消费暂存数据,以得到中间数据之后,还包括:

更新分布式协调服务内的偏移量。

4.根据权利要求1至3任一项所述的数据存储查询方法,其特征在于,所述获取中间数据在hbase表内的真正hregion位置,以得到存储位置,包括:

根据中间数据从分布式协调服务内调取根表所在的位置;

根据根表所在的位置获取对应的元数据表所在的hregion位置,以得到中间数据在hbase表内的真正hregion位置。

5.根据权利要求1所述的数据存储查询方法,其特征在于,所述根据写入结果建立二级索引,包括:

获取基于hbase的协处理器针对写入结果拓展的二级索引;

将二级索引存储于基于elasticsearch的分布式索引服务器。

6.根据权利要求1所述的数据存储查询方法,其特征在于,所述查询请求是从用户终端生成的查询脚本,且根据该查询脚本在基于elasticsearch的分布式索引服务器内进行检索所得到要查询的行键。

7.数据存储查询装置,其特征在于,包括:

数据获取单元,用于获取需存储的数据;

第一暂存单元,用于暂存需存储的数据至kafka队列服务器,以得到暂存数据;

消费单元,用于采用sparkstreaming消费暂存数据,以得到中间数据;

存储位置获取单元,用于获取中间数据在hbase表内的真正hregion位置,以得到存储位置;

写入结果获取单元,用于将中间数据写入存储位置内,以得到写入结果;

二级索引建立单元,用于根据写入结果建立二级索引;

第一反馈单元,用于反馈所述二级索引以及写入结果;

查询请求获取单元,用于获取查询请求;

查询结果形成单元,用于根据查询请求获取查询结果;

第二反馈单元,用于反馈所述查询结果。

8.根据权利要求7所述的数据存储查询装置,其特征在于,所述消费单元包括:

初始数据获取子单元,用于启动receiver异步线程从kafka队列服务器内获取暂存数据,以得到初始数据;

初始数据暂存子单元,用于暂存所述初始数据;

处理子单元,用于将初始数据转移至executor内以进行处理,得到中间数据。

9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。

10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1