基于TeleDB和MySQL数据库的分布式数据集成系统及方法与流程

文档序号:26405847发布日期:2021-08-24 16:20阅读:1529来源:国知局
基于TeleDB和MySQL数据库的分布式数据集成系统及方法与流程

本发明涉及分布式数据处理技术领域,尤其涉及基于teledb和mysql数据库的分布式数据集成系统及方法。



背景技术:

目前同类的技术或者产品在底层的数据库日志解析上技术上共通外,当涉及到业务方面,就不太适用于复杂的电信业务的分布式业务,数据库集群多,数据量大,稳定性和实时性要求高,需适配电信集团自研组件,同时也存在监控运维等生产问题,这个在同类的技术或者产品上都不具备。



技术实现要素:

本发明的目的在于提供基于teledb和mysql数据库的分布式数据集成系统及方法,用于解决teledb和mysql的分布式数据库集群,在多个应用中心间的复杂的数据交互和分享的问题。

本发明采用的技术方案是:

基于teledb和mysql数据库的分布式数据集成系统,系统包括设于管理平台上的数据同步服务模块、数据修复模块、数据稽核模块、数据迁移模块和监控告警服务模块,数据同步服务模块负责实施的增量数据复制;数据修复模块负责同步过程异常数据的修复和稽核数据的修复;数据稽核模块负责检查并保证数据的一致性;数据迁移模块用于数据初始化和全量数据迁移以保证一致性;监控告警服务模块负责监控系统的运行告警。

基于teledb和mysql数据库的分布式数据集成系统的控制方法,其包括以下步骤:

步骤1,管理平台查询应用数据库的数据,并配置同步任务数据;

步骤2,管理平台下发同步任务数据至数据同步服务模块,并发起数据同步请求;

步骤3,数据同步服务模块解析同步任务数据开始执行数据实时同步;

步骤4,判断同步任务执行是否发生异常;是则,记录异常数据,当触发熔断条件时下发任务熔断指令并执行步骤5;否则,执行步骤6;

步骤5,监控告警服务模块监控到同步异常数据,根据告警策略发出同步异常告警;

步骤6,通过数据稽核模块进行稽核数据判断同步数据是否发现数据差异;是则,向数据修复模块发起数据修复并执行步骤7;否则,执行步骤8

步骤7,数据修复模块收到修复任务后执行数据修复任务,完成数据修复后执行步骤6;

步骤8,结束完成数据集成应用。

进一步地,作为一种较优实施方式,步骤1中管理平台通过主从切换变更对应的监控数据库。

进一步地,作为一种较优实施方式,步骤1中管理平台监控发现同步数据异常时,则通知监控告警服务模块发出异常告警。

进一步地,作为一种较优实施方式,步骤5中通过短信通知服务发出短信告警。

本发明采用以上技术方案,通过binlog应用,整合数据仓库etl思路,将分散、零乱、标准不统一的数据整合到一起进行集中管理和使用,具有资源集中管理,规范流程,统一操作,完善的监控体系,减少在这方面的人力投入和资源的投入,具有很好的经济效应,并且支撑集成电信应用的特性,集成了中国电信集群研发组件等现有技术不具备的特性,能够很好支撑电信应用系统。高可靠,高性能特性满足了大批量亿级别数据的应用,除了能支撑除了电信应用外的系统支撑,涵盖和超越了现有技术的应用,是现有技术不具备有的能力。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明;

图1为本发明基于teledb和mysql数据库的分布式数据集成系统原理架构示意图;

图2为本发明基于teledb和mysql数据库的分布式数据集成系统的控制方法的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。

本发明基于mysql的主从复制原理,从mysql中源源不断的抽取操作的数据,向外围系统传送数据,支持多种数据源加载,包括mysql,oracle,db2,postgresql,可以方便的集成主流的数据源。为了减少对生产库的数据复制压力,引入了消息中间件,使用电信集团的ctgmq作为数据流管道进行数据分发。能够保障电信系统的出账等的大数据量处理场景,高可靠,高可用,稳定运行,提供了监控告警服务,提前发现问题和解决问题。

如图1或图2所示,本发明公开了基于teledb和mysql数据库的分布式数据集成系统,系统包括设于管理平台上的数据同步服务模块、数据修复模块、数据稽核模块、数据迁移模块和监控告警服务模块,数据同步服务模块负责实施的增量数据复制;数据修复模块负责同步过程异常数据的修复和稽核数据的修复;数据稽核模块负责检查并保证数据的一致性;数据迁移模块用于数据初始化和全量数据迁移以保证一致性;监控告警服务模块负责监控系统的运行告警。为数据的应用提供实时,可靠的数据应用保证。

如图2所示,本发明还公开了基于teledb和mysql数据库的分布式数据集成系统的控制方法,其包括以下步骤:

步骤1,管理平台查询监控数据库的数据,并配置同步任务数据;

步骤2,管理平台下发同步任务数据至数据同步服务模块,并发起数据同步请求;

步骤3,数据同步服务模块解析同步任务数据开始执行数据实时同步;

步骤4,判断同步任务执行是否发生异常;是则,记录异常数据,触发熔断条件时下发任务熔断指令并执行步骤5;否则,执行步骤6;

步骤5,监控告警服务模块监控到同步异常数据,根据告警策略发出同步异常告警;

步骤6,通过数据稽核模块进行稽核数据判断同步数据是否发现数据差异;是则,向数据修复模块发起数据修复并执行步骤7;否则,执行步骤8

步骤7,数据修复模块收到修复任务后执行数据修复任务,完成数据修复后执行步骤6;

步骤8,结束完成数据集成应用。

进一步地,作为一种较优实施方式,步骤1中管理平台通过主从切换变更对应的teledb和mysql数据库。

进一步地,作为一种较优实施方式,步骤1中管理平台发现同步数据异常时,则通知监控告警服务模块发出异常告警。

进一步地,作为一种较优实施方式,步骤5中短信通知服务发出短信告警。

本发明采用以上技术方案,通过binlog应用,整合数据仓库etl思路,将分散、零乱、标准不统一的数据整合到一起进行集中管理和使用,具有资源集中管理,规范流程,统一操作,完善的监控体系,减少在这方面的人力投入和资源的投入,具有很好的经济效应,并且支撑集成电信应用的特性,集成了中国电信集群研发组件等现有技术不具备的特性,能够很好支撑电信应用系统。高可靠,高性能特性满足了大批量,亿级别数据的应用,除了能支撑除了电信应用外的系统支撑,同时也涵盖和超越了现有技术的应用,是现有技术不具备有的能力。

显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1