数据库数据迁移方法及系统的制作方法
【技术领域】
[0001]本申请涉及计算机技术中不同数据库之间数据迁移的方法，尤其涉及异构数据库之间数据迁移的方法及系统。
【背景技术】
[0002]早期互联网应用中，底层数据普遍采取单库存储所有数据的存储方案。随着互联网应用的发展，用户量的激增，数据存储数量呈指数递增，底层数据单库存储方案制约甚至限制着互联网应用的进一步扩展。为此，为解决单库存储的瓶颈问题，需逐步采用另外一种支持横向存储的解决方案。而要解决数据存储的瓶颈，必须切换现有的存储结构，但由于目前底层数据量非常庞大，在切换存储结构的同时，如何将原有的海量数据迁移到新的支持横向扩展的存储结构上也是一个很大的瓶颈点。
[0003]现有的进行互联网中数据迁移用到的手段或者是通过不同数据库提供的导入导出工具将原数据库的数据导出到文件中，再将这些数据文件通过另外一种数据库工具导入到新的数据表，或者在不同数据库中编写和应用相关的程序，在程序中将数据从原数据库中通过查询语句查询出来后，再通过程序将数据插入到新的数据库，或者利用云数据迁移工具，将一个关系型数据库中的数据导入到分布式系统集群Hadoop的分布式文件系统(Hadoop Distributed File System,HDFS)中，也可以将HDFS的数据导入到关系型数据库中。通过Sqoop，可以在基于Hadoop分布式处理的基础上，将数据从原数据库中取出到HDFS中，再将数据从HDFS中取出导入到新的数据库中。由此看出目前互联网中的数据迁移工具的核心都在于将数据从原数据库中导出，再将数据导入到新的数据库中，这些技术方案存在以下不足，首先是在多表海量数据情况下无法进行批量操作；其次，无法避免数据量超出服务器处理能力的问题；再次，现有的数据库数据迁移工具普遍都无法支持对数据的二次处理，即都不能够支持对原数据库数据的分库迁移；最后，目前互联网中的数据迁移工具很多都不支持数据迁移后的校验功能。
【发明内容】
[0004]有鉴于此，有必要提供一种数据库数据迁移方法及系统，以解决现有数据库数据迁移中存在的速度、稳定性及数据正确性的问题。
[0005]本申请提供一种数据库数据迁移方法，应用在分布式系统集群环境中，用于在第一数据库和第二数据库之间迁移数据，该方法包括:
[0006]配置数据库迁移任务的被批量调度的多个表任务对应的表任务信息，所述每个表任务将第一数据库中与该表任务对应的源数据表进行数据迁移；
[0007]从第一数据库读出该表任务中需迁移的源数据表的数据；
[0008]并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；及从所述分布式文件系统中将该多个分库数据表导出到第二数据库中。
[0009]进一步地，所述迁移方法还包括:比较第一数据库与第二数据库中的数据，校验在迁移过程中数据是否有缺失以及数据是否不完整。
[0010]本申请还提供一种数据库数据迁移系统，运行在分布式系统集群环境中，用于在第一数据库和第二数据库之间迁移数据，该迁移系统包括:
[0011]配置模块，用于配置数据库迁移任务的多个表任务对应的表任务信息，所述每个表任务指对第一数据库中一个源数据表进行数据迁移的迁移任务；
[0012]调度控制模块，能够读取所述表任务信息，并批量调度所述多个表任务；
[0013]数据导入模块，用于根据所调度的表任务从第一数据库读出该表任务中需迁移的源数据表的数据，并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；及
[0014]数据导出模块，从所述分布式文件系统中读出所述多个分库数据表，再将该多个分库数据表导出到第二数据库中。
[0015]进一步地，所述迁移系统还包括数据校验模块，该数据校验模块用于比较第一数据库与第二数据库中的数据，校验在迁移过程中数据是否有缺失以及数据是否不完整。
[0016]与现有技术相比，本申请数据库数据迁移方法及系统将每个数据表当作一个迁移任务，以数据库导入导出工具或者定制程序作为异构数据库读写数据的主要手段，在分布式集群中运行这些任务，同时在数据处理中加入自定义的分库算法，将读出的数据划分到多个文件中，再在任务中调用数据库导入导出工具或者定制程序将数据导入到多个新的数据库中。由于每个表都是一个迁移任务，使得不同表不同数据源的问题能够有清晰的划分，可以支持多个任务批量同时进行而不互相影响，大大的加快了数据迁移的速度。在迁移完成后，可以对新库和旧库之间的数据进行校验，找出不一致的数据。因此本申请相对传统的处理数据导入导出的方法，提高了迁移的速度，提供了数据校验功能，保证了迁移过程中的稳定性及迁移过程中的数据正确性。
【主权项】
1.一种数据库数据迁移方法，应用在分布式系统集群环境中，用于在第一数据库和第二数据库之间迁移数据，其特征在于，该方法包括:配置数据库迁移任务的被批量调度的多个表任务对应的表任务信息，所述每个表任务将第一数据库中与该表任务对应的源数据表进行数据迁移；从第一数据库读出该表任务中需迁移的源数据表的数据；并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；及从所述分布式文件系统中将该多个分库数据表导出到第二数据库中。2.如权利要求1所述的数据库数据迁移方法，其特征在于，通过表配置文件来配置多个表任务对应的表任务信息。3.如权利要求2所述的数据库数据迁移方法，其特征在于，对应每个表任务，所述表配置文件包括源配置和目标配置，所述源配置给出了第一数据库中需要迁移的源数据表的信息，所述目标配置给出了要把需要迁移的源数据表迁往的第二数据库中的目标数据表的信肩、O4.如权利要求1所述的数据库数据迁移方法，其特征在于，将第一数据库中数据导入到分布式文件系统中的过程包括:获取并加载所调度的表任务的表任务信息，所述表任务信息中包括该表任务对应需要迁移的源数据表的切分字段及分库字段信息；根据所述表任务信息中的切分字段将需要迁移的源数据表分成第一数量的多个切片，并请求分布式系统集群对应每个切片形成一个第一映射任务，所述每个第一映射任务都与第一数据库连接并读取源数据表的一个切片；进一步请求分布式系统集群在所述每个第一映射任务中，根据所述表任务信息中的分库字段对该第一映射任务读取的每个切片进行分库得到第二数量的分库数据表，进一步请求分布式系统集群根据所述分库后得到的每个分库数据表对应形成一个第一化简任务；及由每个第一化简任务将分库后得到的每个分库数据表的数据写入到分布式文件系统中。
【专利摘要】本申请提供一种数据库数据迁移方法，应用在分布式系统集群环境中，用于在第一数据库和第二数据库之间迁移数据，该方法包括：配置数据库迁移任务的多个表任务对应的表任务信息，所述多个表任务能够被批量调度；根据所调度的表任务从第一数据库读出该表任务中需迁移的源数据表的数据，并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；及从所述分布式文件系统中读出所述多个分库数据表，再将该多个分库数据表导出到第二数据库中。所述迁移方法只需要一次配置即可将不同的数据从一种数据库迁移到另外一种数据库，提高了数据迁移的速度及稳定性。本申请还提供一种数据库数据迁移系统。
【IPC分类】G06F17/30
【公开号】CN105528381
【申请号】CN201410583273
【发明人】李 东
【申请人】青岛金讯网络工程有限公司
【公开日】2016年4月27日
【申请日】2014年10月27日