一种集群数据实时查询方法及系统与流程

文档序号:12364467阅读:来源:国知局

技术特征:

1.一种集群数据实时查询方法,其特征在于,包括以下步骤:

获取客户端的查询请求,所述查询请求携带查询数据的地址内容;

将所述查询请求发送至Hadoop集群数据平台的Hbase数据库接口并读取查询数据;

将所述查询数据写入暂存文件中,所述暂存文件位于查询服务器的缓存中;

将所述暂存文件发送至所述客户端。

2.根据权利要求1所述的集群数据实时查询方法,其特征在于,还包括数据处理步骤,具体步骤如下:

去重步骤,对所述暂存文件内的所述查询数据进行去重;

统计步骤,将去重后的所述查询数据进行汇总统计;

关联步骤,将去重后的所述查询数据进行关联分析;

完整性验证步骤,将关联分析后的所述查询数据进行完整性验证分析。

3.根据权利要求2所述的集群数据实时查询方法,其特征在于,所述关联步骤中,关联分析的支持度的范围为1-10,置信度的范围为0-1。

4.根据权利要求1所述的集群数据实时查询方法,其特征在于,还包括:

预警步骤,对所述查询数据的读取以及写入所述暂存文件的过程进行实时检测,并对写入超时进行预警。

5.根据权利要求1-4任一项所述的集群数据实时查询方法,其特征在于,所述缓存由Java EHCache模块创建。

6.一种集群数据实时查询系统,其特征在于,包括客户端、查询服务器和Hadoop集群数据平台,所述Hadoop集群数据平台包括Hbase数据库;

所述客户端用于输入查询请求,所述查询请求携带所述查询数据的地址内容;

所述查询服务器包括接收模块、交互模块、暂存模块、缓存模块和发送模块;

所述接收模块用于接收所述查询请求;

所述交互模块用于将所述查询请求发送至所述Hadoop集群数据平台的Hbase数据库接口并读取查询数据;

所述暂存模块用于将所述查询数据写入所述暂存文件中,所述暂存文件位于所述缓存模块中;

所述发送模块用于将所述暂存文件发送至所述客户端。

7.根据权利要求6所述的集群数据实时查询系统,其特征在于,所述查询服务器还包括数据处理模块,所述数据处理模块包括去重单元、统计单元、关联单元和完整性验证单元:

所述去重单元用于对所述暂存文件内的所述查询数据进行去重;

所述统计单元用于对所述去重单元输出的所述查询数据进行汇总统计;

所述关联单元用于对所述去重单元输出的所述查询数据进行关联分析;

所述完整性验证单元用于对所述关联单元输出的所述查询数据进行完整性验证分析。

8.根据权利要求7所述的集群数据实时查询系统,其特征在于,所述关联单元中,关联分析的支持度的范围为1-10,置信度的范围为0-1。

9.根据权利要求6所述的集群数据实时查询系统,其特征在于,所述查询服务器还包括预警模块,用于对所述交互模块读取所述查询数据以及将所述查询数据写入所述暂存文件的过程进行实时检测,并对写入超时进行预警。

10.根据权利要求6-9任一项所述的集群数据实时查询系统,其特征在于,所述缓存模块由Java EHCache模块创建。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1