基于完整事务性的在线式数据迁移方法与流程

本发明属于数据库数据迁移技术领域，具体涉及基于完整事务性的在线式数据迁移方法。

背景技术：

数据迁移是指对数据按照指定的策略从原存储设备迁移到指定存储设备的操作。但是现行的对于大表(表中数据量较大)数据的迁移，并无行之有效的方法，通常是化整为零，不断申请业务停顿时间，利用业务停顿的间隙，对数据库表进行数据迁移。这种方式耗时巨大，人力投入巨大，且靠人为清理的方式，存在潜在的风险。

技术实现要素：

本发明旨在解决现有技术中存在的技术问题之一，为此，本发明的一个目的在于提供了一种基于完整事务性的在线式数据迁移方法，对于数据库中大表(表中数据量较大)，且该表对外提供的业务不能中断(即不能离线清理)时，在线解决大表数据的迁移。

需要说明的是，本发明是基于发明人的下列发现而完成的：

根据本发明的一个方面，本发明提供了一种基于完整事务性的在线式数据迁移方法，包括以下步骤：

S1、构造数据双写系统；

S2、构造在线存储系统；

S3、进行数据同步；

S4、完成数据切换。

另外，根据本发明上述实施例一种基于完整事务性的在线式数据迁移方法，还可以具有如下附加的技术特征：

所述步骤S1包括：

S101、正常运行期间，业务数据通过第一数据入口写入数据容器T1表；

S102、建立新的分区表T2；

S103、对第一数据入口进行复制得到第二数据入口，将T1表的增量及变更数据通过第二数据入口写入T2表中，T1表停止写入。

根据本发明的实施例，所述步骤S2包括：

S201、建立新的分区表T3；

S202、在线实施将T1表数据转入至T3表。

根据本发明的实施例，所述步骤S3包括：

S301、未同步前，T1表停止写入后的增量及变更数据通过第二数据入口写入T2表；

S302、同步准备时，对第二数据入口进行复制得到第三数据入口，将同步期间T2表的增量及变更数据通过第三数据入口写入T3表中，T2表停止写入，但是可以读取；

S303、将T2表中数据同步至T3表中。

根据本发明的实施例，所述步骤S4包括：

将目标表T3表投入生产，经过一段时间的业务确认无误后，切断T1表和T2表的第一和第二数据入口，关闭双写系统，在线数据迁移完成，迁移完成后，将T1和T2表删除，以释放存储空间。

实施本发明提供的基于完整事务性的在线式数据迁移方法，具有以下有益效果：可基本实现大表数据在线迁移，大大缩短业务停顿时间，并且不影响现有业务。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是构造数据双写系统的示意图；

图2是构造在线存储系统的示意图；

图3是数据同步操作示意图；

图4是数据切换操作示意图。

具体实施方式

下面详细描述本发明的实施例。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

基于完整事务性的在线式数据迁移方法包含如下步骤：

S1、构造数据双写系统；

S2、构造在线存储系统；

S3、进行数据同步；

S4、完成数据切换。

在本发明所述的基于完整事务性的在线式数据迁移方法中，所述步骤S1包括：

1、正常运行期间，业务数据通过数据入口1写入数据容器T1表(原表)；

2、建立新的分区表T2(临时表)；

3、对数据入口1进行复制得到数据入口2，将T1表的增量及变更数据通过数据入口2写入T2表中，T1表停止写入。

此步骤实现了数据双写功能，通过两个数据入口，保证在将T1表的增量及变更数据装入T2表的同时，也保证了T1表的正常读取。

在本发明所述的基于完整事务性的在线式数据迁移方法中，所述步骤S2包括：

1、建立新的分区表T3(目标表)；

2、在线实施将T1表数据转入至T3表。转入期间T1表正常进行读取，不影响业务使用。时间周期约2周。

在本发明所述的基于完整事务性的在线式数据迁移方法中，所述步骤S3包括：

1、未同步前，T1表停止写入后的增量及变更数据通过数据入口2写入T2表

2、同步准备时，对数据入口2进行复制得到数据入口3，将同步期间T2表的增量及变更数据通过数据入口3写入T3表中，T2表停止写入，但是可以读取。

3、将T2表中数据同步至T3表中，同步过程中，由于T2表可正常进行读取，所以不影响业务使用。。

在本发明所述的基于完整事务性的在线式数据迁移方法中，所述步骤S4包括：

将目标表T3表投入生产，经过一段时间的业务确认无误后，切断T1表和T2表的数据入口，关闭双写系统，在线数据迁移完成。迁移完成后，可择期将T1和T2表删除，以释放存储空间。

S1-S4步骤可根据实际情况在一日或分多日内启动实现。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。