处理数据的方法及装置的制造方法_2

文档序号:9667430阅读:来源:国知局
设用户编写了针对其中一个集群dbl的第一结构化查询语言语句“select*from dbl.user”。首先获得所有集群的名称的集合{dbl, db2,db3};然后对“select*from dbl.user”这一 sql语句进行集群名称通配,写出“select*from db2.user” 和 “select*from db3.user” ;最后将这些 sql 语句拼接起来,得到针对所有集群的 sql 语句“select*from dbl.user un1n select*from db2.user un1nselect*from db3.user,,。
[0030]由上可知,本发明实施例的处理数据的方法中通过采用MariaDB业务库实现了数据汇总,使得查询各个集群的数据可以通过一个数据源连接来完成,提高了数据处理效率;按条件查询时先过滤后汇总,也提高了处理数据效率,尤其适用于数据量大的情景;以及,当集群有增减时,MariaDB业务库会自动更新,无需手动修改代码,扩展性良好。
[0031]图2是根据本发明实施方式的处理数据的装置的主要模块的示意图。如图2所示,该实施方式的处理数据的装置20主要包括第一建立模块21、第二建立模块22、确定模块23以及查询模块24。
[0032]第一建立模块21用于根据多个集群中的多个业务数据库建立MariaDB报表库,其中多个业务数据库具有相同的表结构。第二建立模块22用于建立MariaDB报表库和报表应用之间的数据源。确定模块23用于根据接收到的查询多个集群中的单个集群的第一结构化查询语言语句,确定查询多个集群中的所有集群的总结构化查询语言语句。查询模块24用于根据总结构化查询语言语句通过数据源进行查询,得到目标数据。
[0033]可选地,确定模块23还用于:获取所有集群的名称;对接收到的第一结构化查询语言语句进行集群名称通配,得到针对查询多个集群中其他集群的第二结构化查询语言语句;拼接第一结构化查询语言语句和所有的第二结构化查询语言语句,得到总结构化查询语言语句。
[0034]可选地,确定模块23还用于:获取记录集群与业务数据库之间映射关系的映射文件;从映射文件中提取所有集群的名称。
[0035]可选地,确定模块23还用于:通过拦截器工具从映射文件中找到所有集群的名称。
[0036]由上可知,本发明实施例的处理数据的装置中通过采用MariaDB业务库实现了数据汇总,使得查询各个集群的数据可以通过一个数据源连接来完成,提高了数据处理效率;按条件查询时先过滤后汇总,也提高了处理数据效率,尤其适用于数据量大的情景;以及,当集群有增减时,MariaDB业务库会自动更新,无需手动修改代码,扩展性良好。
[0037]上述【具体实施方式】,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
【主权项】
1.一种处理数据的方法,其特征在于,包括: 根据多个集群中的多个业务数据库建立MariaDB报表库,其中所述多个业务数据库具有相同的表结构; 建立所述MariaDB报表库和报表应用之间的数据源; 根据接收到的查询所述多个集群中的单个集群的第一结构化查询语言语句,确定查询所述多个集群中的所有集群的总结构化查询语言语句; 根据所述总结构化查询语言语句通过所述数据源进行查询,得到目标数据。2.根据权利要求1所述的处理数据的方法,其特征在于,所述根据接收到的查询所述多个集群中的单个集群的第一结构化查询语言语句,确定查询所述多个集群中的所有集群的总结构化查询语言语句的步骤包括: 获取所有集群的名称; 对接收到的所述第一结构化查询语言语句进行集群名称通配,得到查询所述多个集群中其他集群的第二结构化查询语言语句; 拼接所述第一结构化查询语言语句和所有的所述第二结构化查询语言语句,得到所述总结构化查询语言语句。3.根据权利要求2所述的处理数据的方法,其特征在于,所述获取所有集群的名称的步骤包括: 获取记录集群与业务数据库之间映射关系的映射文件; 从所述映射文件中提取所述所有集群的名称。4.根据权利要求3所述的处理数据的方法,其特征在于,通过拦截器工具从所述映射文件中找到所述所有集群的名称。5.一种处理数据的装置,其特征在于,包括: 第一建立模块,用于根据所述多个集群中的多个业务数据库建立MariaDB报表库,其中所述多个业务数据库具有相同的表结构; 第二建立模块,用于建立所述MariaDB报表库和报表应用之间的数据源; 确定模块,用于根据接收到的查询所述多个集群中的单个集群的第一结构化查询语言语句,确定查询所述多个集群中的所有集群的总结构化查询语言语句; 查询模块,用于根据所述总结构化查询语言语句通过所述数据源进行查询,得到目标数据。6.根据权利要求5所述的处理数据的装置,其特征在于,所述确定模块还用于:获取所有集群的名称;对接收到的所述第一结构化查询语言语句进行集群名称通配,得到针对查询所述多个集群中其他集群的第二结构化查询语言语句;拼接所述第一结构化查询语言语句和所有的所述第二结构化查询语言语句,得到所述总结构化查询语言语句。7.根据权利要求6所述的处理数据的装置,其特征在于,所述确定模块还用于:获取记录集群与业务数据库之间映射关系的映射文件;从所述映射文件中提取所述所有集群的名称。8.根据权利要求7所述的处理数据的装置,其特征在于,所述确定模块还用于:通过拦截器工具从所述映射文件中找到所述所有集群的名称。
【专利摘要】本发明提供一种处理数据的方法及装置,具有处理效率高,扩展性好等优点。本发明的处理数据的方法包括:根据多个集群中的多个业务数据库建立MariaDB报表库,其中多个业务数据库具有相同的表结构;建立MariaDB报表库和报表应用之间的数据源;根据接收到的查询多个集群中的单个集群的第一结构化查询语言语句,确定查询多个集群中的所有集群的总结构化查询语言语句;根据总结构化查询语言语句通过数据源进行查询,得到目标数据。
【IPC分类】G06F17/30
【公开号】CN105426481
【申请号】CN201510802569
【发明人】江龙飞
【申请人】北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司
【公开日】2016年3月23日
【申请日】2015年11月19日
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1