数据读写方法、装置、电子设备、存储介质及程序产品与流程

文档序号:31516972发布日期:2022-09-14 12:09阅读:来源:国知局

技术特征:
1.一种数据读写方法,包括:获取待写入hbase数据;将所述待写入hbase数据根据hbase目标区域划分为多个数据组;将所述数据组写入中间存储组件,并在满足预设条件时,将所述数据组从所述中间存储组件读入至对应的hbase目标区域中。2.根据权利要求1所述的方法,所述将所述待写入hbase数据根据hbase目标区域划分为多个数据组,被实施为:确定所述待写入hbase数据是否满足预设实时性要求;当确定所述待写入hbase数据满足预设实时性要求时,将所述待写入hbase数据根据hbase目标区域划分为多个数据组。3.根据权利要求1或2所述的方法,其中,所述待写入hbase数据携带有将要写入的hbase目标区域信息;所述将所述待写入hbase数据根据hbase目标区域划分为多个数据组,包括:获取所述待写入hbase数据携带的hbase目标区域信息;将同一hbase目标区域对应的待写入hbase数据划分为同一数据组,得到与所述hbase目标区域对应的多个数据组。4.根据权利要求1-3任一所述的方法,其中,所述预设条件为:所述中间存储组件中存储的数据量达到预设数据量阈值;或者,当前时间与数据组写入中间存储组件的写入时间之间的时间差达到预设时长阈值。5.根据权利要求1-4任一所述的方法,所述将所述数据组从所述中间存储组件读入至对应的hbase目标区域中,包括:将所述数据组根据hbase预设文件格式组成hbase文件;将所述hbase文件从所述中间存储组件读入至与所述数据组对应的hbase目标区域中。6.一种数据读写装置,包括:获取模块,被配置为获取待写入hbase数据;划分模块,被配置为将所述待写入hbase数据根据hbase目标区域划分为多个数据组;读取模块,被配置为将所述数据组写入中间存储组件,并在满足预设条件时,将所述数据组从所述中间存储组件读入至对应的hbase目标区域中。7.根据权利要求6所述的装置,所述划分模块被配置为:确定所述待写入hbase数据是否满足预设实时性要求;当确定所述待写入hbase数据满足预设实时性要求时,将所述待写入hbase数据根据hbase目标区域划分为多个数据组。8.根据权利要求6或7所述的装置,其中,所述待写入hbase数据携带有将要写入的hbase目标区域信息;所述划分模块被配置为:获取所述待写入hbase数据携带的hbase目标区域信息;将同一hbase目标区域对应的待写入hbase数据划分为同一数据组,得到与所述hbase目标区域对应的多个数据组。9.根据权利要求6-8任一所述的装置,其中,所述预设条件为:
所述中间存储组件中存储的数据量达到预设数据量阈值;或者,当前时间与数据组写入中间存储组件的写入时间之间的时间差达到预设时长阈值。10.根据权利要求6-9任一所述的装置,所述读取模块被配置为:将所述数据组根据hbase预设文件格式组成hbase文件;将所述hbase文件从所述中间存储组件读入至与所述数据组对应的hbase目标区域中。

技术总结
本公开实施例公开了一种数据读写方法、装置、电子设备、存储介质及程序产品,所述方法包括:获取待写入HBase数据;将所述待写入HBase数据根据HBase目标区域划分为多个数据组;将所述数据组写入中间存储组件,并在满足预设条件时,将所述数据组读入至对应的HBase目标区域中。该技术方案实现简单,操作方便,既能够实现HBase数据的有效读写,又能够减少内存占有率,提高内存有效使用率,降低HBase数据写入时的CPU负荷。的CPU负荷。的CPU负荷。


技术研发人员:关振宇 朱家强 郑为锋
受保护的技术使用者:拉卡拉支付股份有限公司
技术研发日:2022.04.29
技术公布日:2022/9/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1