一种数据处理平台和系统的制作方法

文档序号:11677736阅读:来源:国知局

技术特征:

技术总结
本发明提供了一种数据处理平台和系统,其中,所述数据处理平台,包括:相互交互的Spark集群、ElasticSearch集群和HBase集群;Spark集群,用于监测数据库产生的增量数据,对数据库产生的增量数据进行处理,并把处理后的增量数据导入ElasticSearch集群和HBase集群;HBase集群,用于存储Spark集群处理后的增量数据;ElasticSearch集群,用于将处理后的增量数据与快速查询数据合并。通过本发明实施例提供的数据处理平台和系统,可以减轻Spark集群的存储压力。

技术研发人员:蔡云鹏;李奇;李晓燕;杨玉洁;程敬;吴红艳;李烨
受保护的技术使用者:中国科学院深圳先进技术研究院
技术研发日:2017.04.14
技术公布日:2017.07.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1