基于HBase大数据的实时全文检索系统及其实现方法与流程

文档序号:13427066阅读:来源:国知局

技术特征:

技术总结
本发明提供一种基于HBase大数据的实时全文检索系统及其实现方法,系统包括:HBase集群复制模块,与HBase集群同时启动并实时监测是否有slave cluster的RegionServer注册进来,若有则在HBase集群有数据变动时将该数据变动实时同步到已注册进来的RegionServer;索引服务器模块,实现RegionServer的接口以模拟一个slave cluster的RegionServer,包括:调用HBase的ReplicationAdmin接口往HBase集群复制模块注册,告知HBase集群它是slave cluster的RegionServer,要接受HBase集群传输过来的数据,并在接受HBase集群的数据后,对该数据按照搜索引擎的格式进行转换并传输给搜索引擎模块;搜索引擎模块,根据转换后的数据建立全文索引,以实现用户对HBase数据的实时全文检索。能基于Hbase作为数据存储实现高效率、低延时的实时全文检索。

技术研发人员:沈国权
受保护的技术使用者:滴滴(中国)科技有限公司
技术研发日:2016.07.05
技术公布日:2018.01.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1