一种数据更新的同步方法及相关装置与流程

文档序号:33187202发布日期:2023-02-04 06:58阅读:来源:国知局

技术特征:
1.一种数据更新的同步方法,其特征在于,包括:在b+树数据库的b+树数据表同步至日志化结构合并lsm树数据库获得lsm树数据表后,获取所述b+树数据表的当前b+树数据更新信息;所述lsm树数据表包括删除标识列和数据版本列;基于所述当前b+树数据更新信息,对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置,获得lsm树数据插入信息;基于所述lsm树数据插入信息,更新所述lsm树数据表。2.根据权利要求1所述的方法,其特征在于,所述当前b+树数据更新信息包括当前b+树数据修改信息、当前b+树数据删除信息和当前b+树数据插入信息中至少一种。3.根据权利要求2所述的方法,其特征在于,所述当前b+树数据更新信息包括所述当前b+树数据修改信息,所述基于所述当前b+树数据更新信息,对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置,获得lsm树数据插入信息,包括:获取所述当前b+树数据修改信息对应的旧数据记录、新数据记录和更新次数;将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值,配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除、所述旧数据记录对应的数据版本字段值表示所述更新次数,以及所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除、所述新数据记录对应的数据版本字段值表示所述更新次数,获得所述lsm树数据插入信息。4.根据权利要求2所述的方法,其特征在于,所述当前b+树数据更新信息包括所述当前b+树数据删除信息,所述基于所述当前b+树数据更新信息,对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置,获得lsm树数据插入信息,包括:获取所述当前b+树数据删除信息对应的旧数据记录和更新次数;将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值,配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除和所述旧数据记录对应的数据版本字段值表示所述更新次数,获得所述lsm树数据插入信息。5.根据权利要求2所述的方法,其特征在于,所述当前b+树数据更新信息包括所述当前b+树数据插入信息,所述基于所述当前b+树数据更新信息,对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置,获得lsm树数据插入信息,包括:获取所述当前b+树数据插入信息对应的新数据记录和更新次数;将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值,配置为所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除和所述新数据记录对应的数据版本字段值表示所述更新次数,获得所述lsm树数据插入信息。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:在对所述lsm树数据表进行数据记录查询时,以所述数据记录查询请求携带的数据记录标识、表示非删除的删除标识字段值和所述数据记录标识对应的表示最新更新次数的数据版本字段值为查询条件,查询所述lsm树数据表中数据记录。7.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述lsm树数据表中增加时间戳列,所述时间戳列对应的时间戳字段值用于记录b+树数据更新信息对应的更新时间;
在所述b+树数据表数据更新后,读取所述b+树数据表中数据记录,获得所述b+树数据表中各字段列对应的第一统计数据和读取时间;在间隔所述读取时间预设时间段后,以每个数据记录标识、表示非删除的删除标识字段值、所述数据记录标识对应的表示最新更新次数的数据版本字段值和表示早于所述读取时间的时间戳字段值为读取条件,读取所述lsm树数据表中数据记录,获得所述lsm树数据表中所述各字段列对应的第二统计数据;若所述第二统计数据与所述第一统计数据不一致,提示所述lsm树数据表与所述b+树数据表之间数据不一致。8.一种数据更新的同步装置,其特征在于,包括:获取单元,用于在b+树数据库的b+树数据表同步至日志化结构合并lsm树数据库获得lsm树数据表后,获取所述b+树数据表的当前b+树数据更新信息;所述lsm树数据表包括删除标识列和数据版本列;第一获得单元,用于基于所述当前b+树数据更新信息,对插入数据、所述插入数据对应的删除标识字段值和数据版本字段值进行配置,获得lsm树数据插入信息;更新单元,用于基于所述lsm树数据插入信息,更新所述lsm树数据表。9.根据权利要求8所述的装置,其特征在于,所述当前b+树数据更新信息包括当前b+树数据修改信息、当前b+树数据删除信息和当前b+树数据插入信息中至少一种。10.根据权利要求9所述的装置,其特征在于,所述当前b+树数据更新信息包括所述当前b+树数据修改信息,所述第一获得单元,用于:获取所述当前b+树数据修改信息对应的旧数据记录、新数据记录和更新次数;将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值,配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除、所述旧数据记录对应的数据版本字段值表示所述更新次数,以及所述新数据记录、所述新数据记录对应的删除标识字段值表示非删除、所述新数据记录对应的数据版本字段值表示所述更新次数,获得所述lsm树数据插入信息。11.根据权利要求9所述的装置,其特征在于,所述当前b+树数据更新信息包括所述当前b+树数据删除信息,所述第一获得单元,用于:获取所述当前b+树数据删除信息对应的旧数据记录和更新次数;将所述插入数据、所述插入数据对应的删除标识字段值和数据版本字段值,配置为所述旧数据记录、所述旧数据记录对应的删除标识字段值表示删除和所述旧数据记录对应的数据版本字段值表示所述更新次数,获得所述lsm树数据插入信息。12.根据权利要求8所述的装置,其特征在于,所述装置还包括:查询单元,用于在对所述lsm树数据表进行数据记录查询时,以所述数据记录查询请求携带的数据记录标识、表示非删除的删除标识字段值和所述数据记录标识对应的表示最新更新次数的数据版本字段值为查询条件,查询所述lsm树数据表中数据记录。13.根据权利要求8所述的装置,其特征在于,所述装置还包括:增加单元,用于在所述lsm树数据表中增加时间戳列,所述时间戳列对应的时间戳字段值用于记录b+树数据更新信息对应的更新时间;第二获得单元,用于在所述b+树数据表数据更新后,读取所述b+树数据表中数据记录,
获得所述b+树数据表中各字段列对应的第一统计数据和读取时间;第三获得单元,用于在间隔所述读取时间预设时间段后,以每个数据记录标识、表示非删除的删除标识字段值、所述数据记录标识对应的表示最新更新次数的数据版本字段值和表示早于所述读取时间的时间戳字段值为读取条件,读取所述lsm树数据表中数据记录,获得所述lsm树数据表中所述各字段列对应的第二统计数据;提示单元,用于若所述第二统计数据与所述第一统计数据不一致,提示所述lsm树数据表与所述b+树数据表之间数据不一致。14.一种用于数据更新的同步装置,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序,以执行如权利要求1至7中任一项所述的数据更新的同步方法。15.一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如权利要求1至7中任一项所述的数据更新的同步方法。

技术总结
本申请公开了一种数据更新的同步方法及相关装置,该方法包括:在B+树数据库的B+树数据表同步至LSM树数据库得到LSM树数据表后,获取B+树数据表的当前B+树数据更新信息;其中,LSM树数据表包括删除标识列和数据版本列;在当前B+树数据更新信息的基础上,对插入数据、插入数据对应的删除标识字段值和数据版本字段值进行配置,得到LSM树数据插入信息;以LSM树数据插入信息更新LSM树数据表。可见,该方式将当前B+树数据更新信息转换为LSM树数据插入信息,使得LSM树数据库在数据更新时,基于LSM树数据插入信息执行高性能的数据插入操作,B+树数据库与LSM树数据库之间同步数据更新代价降低且效率提高。降低且效率提高。降低且效率提高。


技术研发人员:严翔 程磊 张峰
受保护的技术使用者:北京搜狗科技发展有限公司
技术研发日:2021.07.22
技术公布日:2023/2/3
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1