一种不停服务用户数据迁移切换方法与流程

[0001]
本发明涉及计算机信息处理技术领域，尤其涉及一种不停服务用户数据迁移切换方法。


背景技术：

[0002]
为适应互联网发展模式，许多企业会进行用户中心系统建设，在系统建设过程中，对客户相关信息进行了重新建模，以满足日益复杂的客户信息采集需求。在此次项目实施过程中需要将历史数据按照新的数据模型迁移至用户中心数据库。
[0003]
按照新的数据模型对庞大数据进行迁移，为了数据的完整一致性，往往选择停止服务进行数据迁移，但停服进行迁移，数据处理完成后需要立即完成服务切使用新的数据模型，整个过程耦合度高，实施过程复杂，如果失败回退风险成本高，可能对业务带来不可预估的损失。


技术实现要素：

[0004]
为解决数据迁移时需要停止生产服务，对业务连续性造成影响，减少业务中断的风险，本发明提供一种不停服务用户数据迁移切换方法，能够兼容新旧数据的使用，过渡期平滑，数据迁移过程中，线上服务不受影响。
[0005]
本发明一种不停服务用户数据迁移切换方法，包括：
[0006]
a.t日，数据仓库抽取t-1日的全量客户数据并按照数据模型整合，并且执行数据写入操作，将t-1日的数据插入新数据库；
[0007]
b.将数据新增控制开关更新为“2-新旧数据库同时写入”；
[0008]
c.t+1日，数据仓库抽取t日增量数据并按数据模型整合；对新数据库不存在的数据执行数据写入操作；对新数据库已存在的数据，执行数据更新操作；
[0009]
d.将数据维护控制开关更新为“2-新旧数据库同时维护”；
[0010]
e.t+2日，数据仓库抽取t+1日增量数据并按数据模型整合；对新数据库已存在的数据，执行数据更新操作；
[0011]
f.将数据查询控制开关更新为“1-查询新数据库”，将数据新增控制开关更新为“1-只写新数据库”，将数据维护控制开关更新为“1-只维护新数据库”。
[0012]
本发明使用三批次迁移方法进行数据迁移(t-1日全量数据迁移，t日增量数据迁移，t+1日增量数据迁移)，能够在数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控，可极大提高在数据迁移过程中系统的可用性。
[0013]
进一步的，所述步骤a；t日即当前交易日，t-1日即当前交易日的前一日，在t日抽取t-1日的全量客户数据，并按新数据模型整合，输出一个t-1日的全量数据文件；
[0014]
将t-1日的全量数据插入新数据库中，此时新数据库和旧数据库中同时存在t-1日的全量数据。
[0015]
进一步的，所述步骤b:将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致。
[0016]
但此步骤中新数据库中缺失了t日控制开关更新前的新增数据及t日维护数据，因此进一步的，所述步骤c：t+1日，数据仓库抽取t日增量数据并按数据模型整合，输出为t日增量数据文件；
[0017]
将新数据库中不存在的t日增量数据写入新数据库中，对新数据库中已经存在的数据，根据t日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
[0018]
此时新数据库中就具有t日控制开关更新前的新增数据及t日维护数据，且新数据库和旧数据库中数据量对齐，新增数据均能保持一致。
[0019]
进一步的，所述步骤d：将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致。
[0020]
但此步骤中缺失了t+1日0时至控制开关更新前的维护数据，因此进一步的，所述步骤e：t+2日，数据仓库抽取t+1日增量数据并按数据模型整合；输出为t+1日增量数据文件；
[0021]
根据t+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
[0022]
此步骤执行完成后，新数据库和旧数据库中数据量对齐，数据信息对齐，新数据库和旧数据库中数据完全保持一致。
[0023]
进一步的，所述步骤f：将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
[0024]
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
[0025]
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
[0026]
本发明使用三批次迁移方法进行数据迁移(t-1日全量数据迁移，t日增量数据迁移，t+1日增量数据迁移)，解决了数据在迁移过程中需要被在线业务使用(变更)需要停服进行迁移的问题。通过该方法数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控。可极大提高在数据迁移过程中系统的可用性。
附图说明
[0027]
图1为本发明一种不停服务用户数据迁移切换方法的流程图。
[0028]
图2为本发明一种不停服务用户数据迁移切换方法的时间流程图。
具体实施方式
[0029]
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。
但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
[0030]
如图1和图2所示本发明一种不停服务用户数据迁移切换方法，包括：
[0031]
a.t日抽取t-1日全量数据并将t-1日的数据插入新数据库
[0032]
在t日抽取t-1日的全量客户数据，并按新数据模型整合，输出一个t-1日的全量数据文件；(t日即当前交易日，t-1日即当前交易日的前一日)
[0033]
将t-1日的全量数据插入新数据库中，此时新数据库和旧数据库中同时存在t-1日的全量数据。
[0034]
b.将数据新增控制开关更新为“2-新旧数据库同时写入”[0035]
将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致。
[0036]
c.t+1日抽取t日增量数据，执行写入或更新操作
[0037]
t+1日，数据仓库抽取t日增量数据并按数据模型整合，输出为t日增量数据的文件；
[0038]
将新数据库中不存在的t日增量数据写入新数据库中，对新数据库中已经存在的数据，根据t日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
[0039]
d.将数据维护控制开关更新为“2-新旧数据库同时维护”[0040]
将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致。
[0041]
e.t+2日抽取t+1日增量数据，执行更新操作
[0042]
t+2日，数据仓库抽取t+1日增量数据并按数据模型整合；输出为t+1日增量数据的文件；
[0043]
根据t+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
[0044]
f.将各个数据控制开关进行更新
[0045]
将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
[0046]
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
[0047]
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
[0048]
到此旧数据库下线，迁移切换完成。
[0049]
本发明可直接运用于用户信息系统业务数据进行数据模型改造、数据移行迁移场景，此方法兼容了新旧数据的使用，过渡期平滑，数据迁移过程中，线上服务不受影响，迁移数据完整，能够使生产业务保持连续进行。