数据迁移方法、装置、设备及存储介质与流程

文档序号:37435351发布日期:2024-03-25 19:32阅读:6来源:国知局
数据迁移方法、装置、设备及存储介质与流程

本公开涉及数据处理和金融科技领域,尤其涉及一种数据迁移方法、装置、设备、存储介质和程序产品。


背景技术:

1、随着互联网技术的日益发展,使得线上化的业务处理和管理越来越多。这导致数据存储量会急速增长,使得具有高性能、弹性扩展特点的分布式缓存系统被广泛使用。但在分布式缓存系统下进行数据迁移,而且不影响系统对外服务的情况下,由于系统用户操作产生的数据一直写入分布式缓存系统,切换数据迁移模式过程中存在在途业务处理,导致有部分数据没有从分布式缓存系统迁移,使得数据同步不准确。


技术实现思路

1、鉴于上述问题,本公开提供了数据迁移方法、装置、设备、存储介质和程序产品。

2、根据本公开的第一个方面,提供了一种数据迁移方法,包括:根据待迁移的租户名信息,通过与待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息,集群包括负载均衡、第一代理节点和存储节点。控制负载均衡分配用于获取租户实时信息的第二代理节点。根据租户原始信息和由第二代理节点获得的租户实时信息,得到租户迁移信息,并将租户迁移信息存储至存储节点。将租户迁移信息从存储节点迁移至与存储节点具有主备关系的容器。

3、根据本公开的实施例,控制负载均衡分配用于获取租户实时信息的第二代理节点之前,包括:

4、根据与集群对应的集群标识,确定与待迁移的租户名信息对应的集群模式。在集群模式表征是多活模式的情况下,控制第一代理节点停止写入租户实时信息。

5、根据本公开的实施例,根据租户原始信息和由第二代理节点获得的租户实时信息,得到租户迁移信息,并将租户迁移信息存储至存储节点包括:

6、根据待迁移的租户名信息,通过第一代理节点将租户原始信息存储至与待迁移的租户名信息对应的存储节点,得到存储数据。根据租户原始信息,比对存储数据的存储进度,得到比对结果。在比对结果表征存储进度完成的情况下,得到租户原始信息。

7、根据本公开的实施例,控制负载均衡分配用于获取租户实时信息的第二代理节点,还包括:

8、在比对结果表征存储进度完成的情况下,将第二代理节点获得的租户实时信息存储至与待迁移的租户名信息对应的存储节点。

9、根据本公开的实施例,集群还包括注册中心,根据待迁移的租户名信息,通过与待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息之前,包括:

10、根据待迁移的租户名信息,在注册中心开启与待迁移的租户名信息对应的预设名单,预设名单表征在注册中心的与待迁移的租户名信息对应的注册信息不被修改。

11、根据本公开的实施例,租户迁移信息被划分为多个分片组信息,根据待迁移的租户名信息,通过与待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息之前,还包括:

12、根据集群模式标识与租户名,查询与租户迁移信息对应的分片组信息。根据租户迁移信息对应的分片组信息,查询与分片组信息对应的存储节点和代理节点,分片组信息通过代理节点存储至存储节点。

13、根据本公开的实施例,根据集群模式标识与租户名,查询与租户迁移信息对应的分片组信息包括:

14、根据集群模式标识与租户名,从注册中心获取与租户名对应的分片数量和容器,容器的数量与分片数量对应。分片数量是根据待迁移的租户信息的数据量进行划分得到。根据分片数量和容器标识,查询与租户迁移信息对应的分片组信息。

15、根据本公开的实施例,将租户迁移信息从存储节点迁移至与存储节点具有主备关系的容器包括:

16、将与租户迁移信息对应的分片组信息,从存储节点迁移至与分片组信息对应的容器。

17、本公开的第二方面提供了一种数据迁移装置,包括:获取模块、第一控制模块、获得模块和迁移模块。获取模块,用于根据待迁移的租户名信息,通过与待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息,集群包括负载均衡、第一代理节点和存储节点。第一控制模块,用于控制负载均衡分配用于获取租户实时信息的第二代理节点。获得模块,用于根据租户原始信息和由第二代理节点获得的租户实时信息,得到租户迁移信息,并将租户迁移信息存储至存储节点。迁移模块,用于将租户迁移信息从存储节点迁移至与存储节点具有主备关系的容器。

18、本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。

19、本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。

20、本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。

21、根据本公开提供的数据迁移方法、装置、设备、存储介质和程序产品,根据待迁移的租户名信息,通过与待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息;控制负载均衡分配用于获取租户实时信息的第二代理节点,可实现在数据迁移过程中,第一代理节点获取租户原始信息,第二代理节点获取租户实时信息,进而没有影响系统的对外服务。再根据租户原始信息和由第二代理节点获得的租户实时信息,得到租户迁移信息,并将租户迁移信息存储至存储节点,可实现切换至数据迁移模式的毫秒级的对外服务时长中的写入数据由第二代理节点获得,并将由第二代理节点获得的租户实时信息存储至存储节点,减少脏数据产生,使得数据同步更准确。最后将租户迁移信息从存储节点迁移至与存储节点具有主备关系的容器。因此,解决了数据同步不准确的问题,实现了数据迁移能够在不影响系统对外服务的情况下,减少脏数据产生,使得数据同步更准确。



技术特征:

1.一种数据迁移方法,包括:

2.根据权利要求1所述的方法,其中,所述控制所述负载均衡分配用于获取租户实时信息的第二代理节点之前,包括:

3.根据权利要求1所述的方法,其中,所述根据所述租户原始信息和由所述第二代理节点获得的所述租户实时信息,得到租户迁移信息,并将所述租户迁移信息存储至所述存储节点包括:

4.根据权利要求3所述的方法,其中,所述控制所述负载均衡分配用于获取租户实时信息的第二代理节点,还包括:

5.根据权利要求1所述的方法,其中,所述集群还包括注册中心,所述根据待迁移的租户名信息,通过与所述待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息之前,包括:

6.根据权利要求1所述的方法,其中,所述租户迁移信息被划分为多个分片组信息,根据待迁移的租户名信息,通过与所述待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息之前,还包括:

7.根据权利要求6所述的方法,其中,所述根据集群模式标识与所述租户名,查询与所述租户迁移信息对应的所述分片组信息包括:

8.根据权利6所述的方法,其中,所述将所述租户迁移信息从所述存储节点迁移至与所述存储节点具有主备关系的容器包括:

9.一种数据迁移装置,包括:

10.一种电子设备,包括:

11.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~8中任一项所述的方法。

12.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~8中任一项所述的方法。


技术总结
本公开提供了一种数据迁移方法、装置、设备及存储介质,可以应用于数据处理技术领域和金融科技领域。该方法包括:根据待迁移的租户名信息,通过与待迁移的租户名信息对应的集群中的第一代理节点,获取租户原始信息,集群包括负载均衡、第一代理节点和存储节点;控制负载均衡分配用于获取租户实时信息的第二代理节点;根据租户原始信息和由第二代理节点获得的租户实时信息,得到租户迁移信息,并将租户迁移信息存储至存储节点;将租户迁移信息从存储节点迁移至与存储节点具有主备关系的容器。

技术研发人员:孙扬,杨诗平,王延友,刘晓舟
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:
技术公布日:2024/3/24
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1