一种数据分表处理方法、装置、计算机设备及存储介质与流程

文档序号:33622602发布日期:2023-03-25 13:05阅读:来源:国知局

技术特征:
1.一种数据分表处理方法,其特征在于,包括下述步骤:配置同步任务,配置所述同步任务包括配置同步表和对应的同步表配置信息以及扩展表和对应的扩展表配置信息;根据所述同步表配置信息获取同步表建表语句,根据所述扩展表配置信息生成扩展表表名;基于所述扩展表表名和所述同步表建表语句创建扩展表;开启同步任务,根据所述同步任务确定待查询的所述同步表,并从所述同步表中获取同步数据;基于所述扩展表配置信息确定目标扩展表,将所述同步数据写入所述目标扩展表中,并将同步结果写入预创建的同步记录表中。2.根据权利要求1所述的数据分表处理方法,其特征在于,所述从所述同步表中获取同步数据的步骤包括:根据所述同步表对应的同步表配置信息确定当前同步数据标识;基于所述当前同步数据标识,调用数据查询函数从所述同步表中查询到同步数据。3.根据权利要求1所述的数据分表处理方法,其特征在于,所述基于所述扩展表配置信息确定目标扩展表的步骤包括:从所述扩展表配置信息中获取扩展表分表标识字段和分表数量,根据所述扩展表分表标识字段确定标识字段属性值;采用哈希算法对所述标识字段属性值进行哈希运算,得到哈希值;将所述哈希值和所述分表数量进行取余运算,得到运算结果;根据所述运算结果确定目标扩展表的表名。4.根据权利要求3所述的数据分表处理方法,其特征在于,所述将所述同步数据写入所述目标扩展表中的步骤包括:根据所述目标扩展表的表名,调用数据写入函数将所述同步数据写入所述目标扩展表中。5.根据权利要求1所述的数据分表处理方法,其特征在于,在所述将同步结果写入预创建的同步记录表中的步骤之后还包括:接收请求方的数据查询请求,判断是否完成同步;当未完成同步时,根据所述数据查询请求分别查询所述同步表和所述扩展表,获得对应的查询结果,将所述查询结果去重后返回至所述请求方;当同步完成时,根据所述数据查询请求分别查询所述扩展表,获得对应的查询结果返回至所述请求方。6.根据权利要求5所述的数据分表处理方法,其特征在于,所述将所述查询结果去重后返回至所述请求方的步骤包括:从所述扩展表配置信息中获取去重字段;根据所述去重字段对所述查询结果进行去重,得到去重数据;将所述去重数据发送给所述请求方。7.根据权利要求1所述的数据分表处理方法,其特征在于,在所述将同步结果写入预创建的同步记录表中的步骤之后还包括:
接收到数据更新请求,根据所述数据更新请求获取对应的更新数据;判断是否完成同步,当未完成同步时,将所述更新数据分别写入所述同步表和所述扩展表;当同步完成时,将所述更新数据写入所述扩展表。8.一种数据分表处理装置,其特征在于,包括:配置模块,用于配置同步任务,配置所述同步任务包括配置同步表和对应的同步表配置信息以及扩展表和对应的扩展表配置信息;第一获取模块,用于根据所述同步表配置信息获取同步表建表语句,根据所述扩展表配置信息生成扩展表表名;创建模块,用于基于所述扩展表表名和所述同步表建表语句创建扩展表;第二获取模块,用于开启同步任务,根据所述同步任务确定待查询的所述同步表,并从所述同步表中获取同步数据;写入模块,用于基于所述扩展表配置信息确定目标扩展表,将所述同步数据写入所述目标扩展表中,并将同步结果写入预创建的同步记录表中。9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据分表处理方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据分表处理方法的步骤。

技术总结
本申请实施例属于数据处理技术领域,应用于金融科技领域中,涉及一种数据分表处理方法,包括配置同步任务,包括同步表和对应的同步表配置信息以及扩展表和对应的扩展表配置信息;根据同步表配置信息获取同步表建表语句,根据扩展表配置信息生成扩展表表名;基于扩展表表名和同步表建表语句创建扩展表;根据开启的同步任务确定待查询的同步表,并从同步表中获取同步数据;基于扩展表配置信息确定目标扩展表,将同步数据写入目标扩展表,将同步结果写入同步记录表。本申请还提供一种数据分表处理装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,同步数据可存储于区块链中


技术研发人员:曾浩 王平平
受保护的技术使用者:中国平安财产保险股份有限公司
技术研发日:2022.11.21
技术公布日:2023/3/24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1