一种HBase数据查询方法、装置及计算机可读存储介质与流程

本发明涉及数据处理，尤其涉及一种hbase数据查询方法、装置及计算机可读存储介质。

背景技术：

1、电信行业集中系统早期多以oracle为核心数据库，承载交互、计算的核心业务，随着市场业务发展需要，以oracle为核心的集中系统在扩展性方面受到较大限制，另外用户和市场对数据的实时场景应用需求越来越高，各类各样分布式数据库技术、实时增量同步和读写分离技术广泛应用。

2、现阶段，借助hbase的优良特性，通过ogg(oracle golden gate)+kafka在oracle和hbase之间的建立实时增量数据同步，将数据规模大、查询并发高的业务交由hbase处理，是实现oracle读写分离的一个良好选择。

3、但现有技术在oracle+hbase读写分离场景下，由于hbase主表的rowkey设计受限，导致hbase数据查询开销大。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的上述不足，提供一种hbase数据查询方法、装置及计算机可读存储介质，用以解决现有技术在oracle+hbase读写分离场景下，由于hbase主表的rowkey设计受限，导致hbase数据查询开销大的问题。

2、第一方面，本发明提供一种hbase数据查询方法，包括：

3、基于辅助表设计hbase主表的行键rowkey，其中，所述rowkey包括至少一个主键字段以及至少一个满足数据查询要求的非主键字段；

4、接收数据查询请求；

5、根据所述数据查询请求获取所述rowkey对应的数据。

6、进一步地，所述基于辅助表设计hbase主表的行键rowkey，具体包括：

7、根据增量消息在数据同步过程中引入辅助表，通过所述辅助表对所述rowkey对应的字段信息进行数据同步，所述辅助表包括所述至少一个主键字段和至少一个非主键字段。

8、进一步地，所述增量消息为insert消息，所述根据增量消息在数据同步过程中引入辅助表，通过所述辅助表对所述rowkey对应的字段信息进行数据同步，具体包括：

9、根据所述insert消息对应的所述至少一个主键字段和至少一个非主键字段构建所述辅助表和所述hbase主表的所述rowkey；

10、将所述insert消息中所述至少一个主键字段和至少一个非主键字段的字段信息写入所述辅助表中；

11、将所述insert消息对应的所有字段信息写入所述hbase主表中。

12、进一步地，所述增量消息为update或key消息，所述根据增量消息在数据同步过程中引入辅助表，通过所述辅助表对所述rowkey对应的字段信息进行数据同步，具体包括：

13、基于所述update或key消息对应的所述至少一个主键字段，通过所述辅助表拼接所述hbase主表的所述rowkey；

14、根据所述update或key消息，更新所述hbase主表的所述rowkey对应的字段信息；

15、根据所述hbase主表中更新的字段信息，判断是否需要更新所述辅助表；

16、响应于需要更新所述辅助表，更新所述辅助表中的所述至少一个主键字段和/或至少一个非主键字段的字段信息。

17、进一步地，所述根据所述hbase主表中更新的字段信息，判断是否需要更新所述辅助表，具体包括：

18、若所述更新的字段信息中涉及到所述至少一个主键字段或至少一个非主键字段的更新操作，则判断需要更新所述辅助表。

19、进一步地，所述增量消息为delete消息，所述根据增量消息在数据同步过程中引入辅助表，通过所述辅助表对所述rowkey对应的字段信息进行数据同步，具体包括：

20、基于所述delete消息对应的所述至少一个主键字段，通过所述辅助表拼接所述hbase主表的所述rowkey；

21、删除所述辅助表中的所述至少一个主键字段和至少一个非主键字段的字段信息以及所述hbase主表的所述rowkey对应的所有字段信息。

22、进一步地，所述根据所述数据查询请求获取所述rowkey对应的数据，具体包括：

23、采用scan方法，根据所述数据查询请求对应的查询字段，获取所述rowkey对应的数据。

24、第二方面，本发明提供一种hbase数据查询装置，包括：

25、设计模块，用于基于辅助表设计hbase主表的行键rowkey，其中，所述rowkey包括至少一个主键字段以及至少一个满足数据查询要求的非主键字段；

26、接收模块，与所述设计模块连接，用于接收数据查询请求；

27、获取模块，与所述接收模块连接，用于根据所述数据查询请求获取所述rowkey对应的数据。

28、第三方面，本发明提供一种hbase数据查询装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的hbase数据查询方法。

29、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的hbase数据查询方法。

30、本发明提供的hbase数据查询方法、装置及计算机可读存储介质，首先基于辅助表设计hbase主表的行键rowkey，其中，所述rowkey包括至少一个主键字段以及至少一个满足数据查询要求的非主键字段；然后接收数据查询请求；最后根据所述数据查询请求获取所述rowkey对应的数据。本发明通过辅助表灵活设计面向查询需要的hbase主表的rowkey，规避了hbase主表的rowkey只能由主键构成，从而使数据查询方只需要一次性查询hbase主表即可满足数据查询要求，解决了现有技术在oracle+hbase读写分离场景下，由于hbase主表的rowkey设计受限，导致hbase数据查询开销大的问题。

技术特征：

1.一种hbase数据查询方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于辅助表设计hbase主表的行键rowkey，具体包括：

3.根据权利要求2所述的方法，其特征在于，所述增量消息为insert消息，所述根据增量消息在数据同步过程中引入辅助表，通过所述辅助表对所述rowkey对应的字段信息进行数据同步，具体包括：

4.根据权利要求2所述的方法，其特征在于，所述增量消息为update或key消息，所述根据增量消息在数据同步过程中引入辅助表，通过所述辅助表对所述rowkey对应的字段信息进行数据同步，具体包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述hbase主表中更新的字段信息，判断是否需要更新所述辅助表，具体包括：

6.根据权利要求2所述的方法，其特征在于，所述增量消息为delete消息，所述根据增量消息在数据同步过程中引入辅助表，通过所述辅助表对所述rowkey对应的字段信息进行数据同步，具体包括：

7.根据权利要求1所述的方法，其特征在于，所述根据所述数据查询请求获取所述rowkey对应的数据，具体包括：

8.一种hbase数据查询装置，其特征在于，包括：

9.一种hbase数据查询装置，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现如权利要求1-7中任一项所述的hbase数据查询方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的hbase数据查询方法。

技术总结
本发明提供一种HBase数据查询方法、装置及计算机可读存储介质，所述方法包括：基于辅助表设计HBase主表的行键rowkey，其中，所述rowkey包括至少一个主键字段以及至少一个满足数据查询要求的非主键字段；接收数据查询请求；根据所述数据查询请求获取所述rowkey对应的数据。该方法、装置及计算机可读存储介质能够解决现有技术在Oracle+HBase读写分离场景下，由于HBase主表的rowkey设计受限，导致HBase数据查询开销大的问题。

技术研发人员：梁帅,曹宇航,王楠,陈震,戚勇,韩倝,屈有军,徐茂红,陈浩,吴仲圆,魏诗涵,王宏波
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/3/27