技术总结
本发明公开了一种大数据的同步复制的方法，基于Tungsten Repilicator的同步复制架构，包括：步骤1：在MySQL中打开BinLog，开启行级变更日志；步骤2：通过抽取变更信息，过滤原始数据，并存入THL中，并采集主键信息；步骤3：读取THL信息，并将其写入到批量的character‑separated格式文件中；步骤4：对当前的数据及发生数据变更的信息进行合并归集，形成数据视图。本发明的大数据的同步复制的方法，解决了大数据平台的数据复制问题，提高实时性和复制性能。
技术研发人员：裴旭斌;方舟;沈志豪;吴尚远;王志强;沈潇军;王以良;裘炜浩;戚伟强;龚小刚;张秋霞;王冠男;张金帅
受保护的技术使用者：国网浙江省电力公司;北京国电通网络技术有限公司;国网信息通信产业集团有限公司
文档号码：201610963366
技术研发日：2016.11.04
技术公布日：2017.06.16