技术特征:
技术总结
本发明提供了一种数据处理平台和系统,其中,所述数据处理平台,包括:相互交互的Spark集群、ElasticSearch集群和HBase集群;Spark集群,用于监测数据库产生的增量数据,对数据库产生的增量数据进行处理,并把处理后的增量数据导入ElasticSearch集群和HBase集群;HBase集群,用于存储Spark集群处理后的增量数据;ElasticSearch集群,用于将处理后的增量数据与快速查询数据合并。通过本发明实施例提供的数据处理平台和系统,可以减轻Spark集群的存储压力。
技术研发人员:蔡云鹏;李奇;李晓燕;杨玉洁;程敬;吴红艳;李烨
受保护的技术使用者:中国科学院深圳先进技术研究院
技术研发日:2017.04.14
技术公布日:2017.07.25