数据库数据迁移方法及系统与流程

文档序号:12063750阅读:来源:国知局

技术特征:

1.一种数据库数据迁移方法,应用在分布式系统集群环境中,用于在第一数据库和第二数据库之间迁移数据,其特征在于,该方法包括:配置数据库迁移任务的被批量调度的多个表任务对应的表任务信息,所述每个表任务将第一数据库中与该表任务对应的源数据表进行数据迁移;从第一数据库读出该表任务中需迁移的源数据表的数据;并对该源数据表的数据进行分库得到多个分库数据表,再将该多个分库数据表导入到分布式文件系统中;及从所述分布式文件系统中将该多个分库数据表导出到第二数据库中。

2.如权利要求1所述的数据库数据迁移方法,其特征在于,通过表配置文件来配置多个表任务对应的表任务信息。

3.如权利要求2所述的数据库数据迁移方法,其特征在于,对应每个表任务,所述表配置文件包括源配置和目标配置,所述源配置给出了第一数据库中需要迁移的源数据表的信息,所述目标配置给出了要把需要迁移的源数据表迁往的第二数据库中的目标数据表的信息。

4.如权利要求1所述的数据库数据迁移方法,其特征在于,将第一数据库中数据导入到分布式文件系统中的过程包括:获取并加载所调度的表任务的表任务信息,所述表任务信息中包括该表任务对应需要迁移的源数据表的切分字段及分库字段信息;根据所述表任务信息中的切分字段将需要迁移的源数据表分成第一数量的多个切片,并请求分布式系统集群对应每个切片形成一个第一映射任务,所述每个第一映射任务都与第一数据库连接并读取源数据表的一个切片;进一步请求分布式系统集群在所述每个第一映射任务中,根据所述表任务信息中的分库字段对该第一映射任务读取的每个切片进行分库得到第二数量的分库数据表,进一步请求分布式系统集群根据所述分库后得到的每个分库数据表对应形成一个第一化简任务;及由每个第一化简任务将分库后得到的每个分库数据表的数据写入到分布式文件系统中。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1