专利名称：一种数据库同步部署及监控的方法和装置的制作方法
技术领域：
本发明涉及数据库集群部署技术。尤其涉及一种快速执行数据库同步部署及监控 的方法和装置。
背景技术：
当前数据库集群技术分属两类体系结构基于数据库引擎的集群技术和基于数据 库网关(中间件)的集群技术。其中基于数据库引擎的集群技术又可分为共享磁盘或非共 享磁盘两种方式。在数据集群技术中，为了提高数据库的高可用性，其中一种方式是通过数 据同步提供数据冗余，目前无论是数据库引擎自身还是第三方厂家提供的数据同步功能， 虽然功能强大可以满足各种同步需求，但是无一例外地操作复杂，部署一套同步系统需要 操作人员具备专业素质，不利于普通工程人员进行安装和维护，并且没有一套统一的监控 系统，可以监控数据的同步情况，不利于集中化管理和维护。
发明内容
有鉴于此，本发明的主要目的在于提供一种数据库同步部署及监控的方法和装 置，用于解决部署数据库集群系统时，数据同步功能安装配置复杂，不利于集中化管理、监 控和维护的技术问题。为达到上述目的，本发明的技术方案是这样实现的一种数据库同步部署及监控的装置，该装置包括元数据管理模块，用于存储和管理与数据库同步相关的配置参数、元数据信息；数据同步模块，用于在接收到操作维护模块的同步指令时，依据元数据管理模块 提供的与数据库同步相关的配置参数及元数据信息，执行数据同步；操作维护模块，用于提供对元数据管理模块、数据同步模块的统一的操作维护功 能界面。同步监控模块，用于实时监控同步进程，获取同步状态信息、同步过程中产生的异 常信息，并将获取的信息上报操作维护模块。所述同步监控模块还用于定时获取各同步数据库节点的操作系统、数据库系统的 系统运行指标信息，以供操作维护模块执行统计分析。所述与数据库同步相关的配置参数包括但不限于同步关系属性、源数据库的同 步参数、目标数据库同步参数、同步数据库操作系统配置参数；所述同步关系属性指执行数据库同步的源数据库和目标数据库的对应关系；所述 数据库同步参数包括但不限于相关同步进程的配置参数、数据库系统配置参数；所述元 数据信息包括但不限于同步的类型、同步的对象信息。所述操作维护模块还用于单独或批量向一个或多个位于不同同步数据库的数据 同步模块发送同步指令，各数据同步模块分别读取与各自同步数据库相关的配置参数及元 数据信息，启动同步进程，执行数据同步。
4
基于上述装置，本发明还提出一种数据库同步部署及监控的方法，该方法包括步骤A、通过元数据管理模块创建并初始化各同步数据库的配置参数、元数据信 息；步骤B、依据操作维护模块发送的指令，由数据同步模块根据元数据管理模块提供 的与各同步数据库相关的配置参数将各同步数据库所在节点的操作系统参数和数据库参 数调整为适合执行数据同步的初始化值；步骤C、位于各同步数据库的数据同步模块在接收到操作维护模块发送的同步指 令后，读取元数据管理模块提供的元数据信息，启动同步进程。步骤D、在各同步数据库节点的同步进程启动后，启动位于各同步数据库节点的同 步监控模块，实时监控数据同步进程，获取同步状态信息、同步过程中产生的异常信息，并 将获取的信息上报操作维护模块；同步监控模块在根据设定阈值发现同步异常时，发出告 警信息和/或进行预处理。进一步地，同步监控模块定时获取各同步数据库节点的操作系统、数据库系统的 系统运行指标信息，并将获取的信息上报操作维护模块。进一步地，所述数据同步模块通过调用各同步数据库系统所提供的数据同步功能 或第三方提供的数据同步功能，依据元数据管理模块提供的数据库配置参数及元数据信 息，启动同步进程。本发明在各同步数据库部署数据同步模块、数据监控模块，在元数据管理模块创 建与数据库同步相关的配置参数和元数据，通过操作维护模块提供统一的控制、显示和维 护功能。通过本发明可集中对数据库集群进行数据库同步的部署、执行、显示及监控；采 用本发明所述方法和装置，工程人员可以根据指定规则，大规模多局点的部署数据库集群 数据同步环境，而不需要专业数据库维护人员进行操作，降低了维护成本，提高工程的规范 性，实现了数据同步的集中化管理、监控和维护。
图1为本发明的物理部署图；图2为本发明数据库同步部署及监控装置的逻辑架构图；图3为本发明实施例中数据库同步部署处理流程图；图4为本发明实施例中数据库同步监控处理流程图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对 本发明进一步详细说明。图2为本发明提供的数据库同步部署及监控的装置结构图，所述装置包括元数 据管理模块、数据同步模块、同步监控模块及操作维护模块。元数据管理模块，部署于各同步数据库当中或集中部署于一个管理节点上，用于 存储和管理与数据库同步相关的配置参数、元数据信息；所述与数据库同步相关的配置参数包括但不限于下述参数同步关系属性、源数 据库的同步参数、目标数据库同步参数、同步数据库操作系统配置参数等；同步关系属性指执行数据库同步的源数据库和目标数据库的对应关系，即哪个数据库为同步源节点，哪个 数据库为同步的目标节点；数据库同步参数包括但不限于相关同步进程的配置参数、数 据库系统配置参数；源数据库的同步参数包括但不限于如下一些参数例如捕获进程的配 置参数、传播进程的配置参数、同步队列的配置参数等；目标数据库的同步参数包括但不限 于如下一些参数例如应用进程配置参数、同步队列配置参数等。所述元数据信息包括同步的类型、同步的对象信息，同步的类型包括基于表的 同步、基于空间的同步、基于数据库用户的同步等；同步的对象信息为与同步的类型相对应 的具体的对象信息，例如同步的表结构信息、数据库空间信息、数据库用户信息、索引信息等。数据同步模块，部署于各同步数据库节点上，用于在接收到操作维护模块的同步 指令时，调用各数据库系统所提供的数据同步功能或第三方提供的数据同步功能，依据元 数据管理模块提供的数据库配置参数及元数据信息，启动同步进程，执行数据同步；同步监控模块，部署于各同步数据库节点上，用于实时监控同步进程，获取同步状 态信息、同步过程中产生的异常信息，并根据预定义阈值产生告警信息，并获取的信息上报 给操作维护模块；还用于定时获取同步节点的操作系统、数据库系统的系统运行指标等信 息，上报给操作维护模块，提供给数据库管理员(DBA)进行分析；操作维护模块可独立位于一个操作维护节点上或部署于任意数据库或管理节点 上，用于提供对元数据管理模块、数据同步模块及同步监控模块的统一的操作维护功能界 面，具体功能包括提供元数据的生成、导入和管理的操作维护界面；提供对各数据同步模 块的操作维护界面，例如集中向数据同步模块发送同步开始或同步终止的同步指令等；提 供对各同步监控模块的操作维护界面，例如接收和显示同步监控模块发送的同步状态及告警信息等.基于图1的网络结构，可将本发明的数据同步模块和同步监控模块部署在各数据 库服务器上，将元数据管理模块和操作维护模块部署在管理服务器上，通过操作维护模块 提供的统一的操作维护界面进行部署操作。本发明提供的数据同步部署及监控的方法包括以下步骤步骤1、通过元数据管理模块创建同步数据库的配置参数、元数据信息，将所述同 步数据库的配置参数、元数据信息存储于数据表或者配置文件(例如但不限于XML文件 等)；步骤2、通过元数据管理模块初始化元数据，包括但不限于以下两种方式通过初始化脚本或根据说明文档手工配置数据同步所需的相关元数据；查询数据库数据字典，自动获取所有同步对象的原数据信息。步骤3、在执行同步前，依据操作维护模块发送的指令，由数据同步模块根据元数 据管理模块提供的与各同步数据库相关的配置参数将各同步数据库所在节点的操作系统 参数和数据库参数调整为适合执行数据同步的初始化值；步骤4、位于各同步数据库的数据同步模块在接收到操作维护模块发送的同步指 令后，读取元数据管理模块提供的元数据信息，启动同步进程；步骤5、在同步进程启动后，启动同步监控模块，获取同步状态信息、同步过程中产 生的异常信息，并将获取的信息上报操作维护模块；操作维护模块集中对各同步数据库的同步状态、异常信息进行显示，并可执行相关的统计分析。步骤6、同步监控模块根据设定阈值，发现同步异常时，发出告警信息，可将告警信 息上报给操作维护模块，由操作维护模块集中显示；同步监控模块对告警信息可根据知识 库进行预处理，无法从知识库中获取处理方式的，则提示用户进行手工处理。步骤7、同步监控模块定时获取各同步数据库节点的操作系统、数据库系统的系统 运行指标信息，并将获取的信息上报操作维护模块；通过操作维护模块对各同步监控模块 上报的操作系统、数据库系统的系统运行指标进行统计分析，供数据库管理员(DBA)进行 后期分析及系统优化。图3为本发明基于Oracle数据库实现表级数据同步的处理流程图，作为本发明的 实施例所需的步骤包括步骤301，通过元数据管理模块创建与数据库同步相关的配置参数、创建元数据 表，数据流(streams)技术表级数据同步方式应用时，需要定义同步节点、同步队列、捕获、 传播和应用进程、需要同步的表等相关元数据，根据需要，创立对应的元数据表；所述与数 据库同步相关的配置参数也可通过数据表的方式存储和管理。步骤302，通过操作维护模块提供的操作维护界面，完成Streams技术表级数据同 步所需要的各类元数据配置或导入，包括但不限于如下方式。(a)若预定义的元数据采用XML文件或格式化文本文件方式存储，则可通过解析 和导入工具将预定义的元数据导入到元数据表中；(b)若预定义的元数据采用SQL脚本存储，则通过执行SQL脚本将预定义的元数据 导入到元数据表中；(c)查询用户的数据库字典，自动获取所有用户表的信息插入元数据表。步骤303，通过操作维护模块可一次性批量向位于不同同步数据库节点上的数据 同步模块发送同步指令，数据同步模块读取元数据管理模块中保存的与数据库同步相关的 配置参数，修改同步数据库节点的操作系统和数据库相关系统参数，配置完成Streams运 行所需的系统环境，如globalname、归档设置等等信息。步骤304，数据同步模块根据配置参数在数据源节点创建Streams捕获进程和同 步发送队列，完成所需同步数据变化的捕获，将捕获数据放入同步发送队列中。数据同步模块根据元数据管理模块管理的与数据库同步相关的配置参数，一次性 完成所有同步发送队列、捕获进程的创建，并按照负荷分担方式将诸多捕获进程的捕获记 录分配至多个同步队列，避免原Oracle系统逐个创建同步队列、捕获进程和分配的繁琐。步骤305，数据同步模块根据配置参数在数据源节点上创建Streams传播进程，等 待接受捕获数据，并完成从源节点同步队列向目标节点同步队列的传播。数据同步模块可根据元数据管理模块管理的与数据库同步相关的配置参数，一次 性完成所有从源节点至目标节点的传播进程创建，同时完成传播进程相关优化参数的调 整，提高了部署效率步骤306，数据同步模块根据配置参数在数据目标节点上创建Streams应用进程 和同步接受队列，接受源节点传播进程发送来的数据变化，完成数据目标节点的数据更新 同步。数据同步模块可根据元数据管理模块管理的与数据库同步相关的配置参数，一次性完成所有同步接受队列和应用进程的创建，以及相关优化参数的设置工作，等待接受应 用源数据库的变化。步骤307，在各节点同步配置及同步进程启动完成后，在默认配置下，自动启动同 步监控模块。图4本发明对数据同步过程进行统一监控的方法步骤流程，具体步骤包括步骤401，完成数据同步相关进程启动后，启动位于数据同步节点上的同步监控模 块，进行相关运行指标的监控；步骤402，同步监控模块每隔10秒(时间间隔可配置)从Oracle系统动态视图中 获取数据同步的运行信息，与预先设定的指标阈值进行比较。步骤403，对于超过预设阈值的异常，同步监控模块上报给操作维护模块以供界面 显示，若允许自动恢复，则同步监控模块首先根据默认处理流程进行自动恢复处理，并进行 相关日志记录；对于无法自动恢复的异常，同步监控模块将信息上报操作维护模块，操作维 护模块可根据配置发出异常告警，通过告警系统通知DBA进行人工干预。步骤404，同步监控模块每隔10秒(时间间隔可配置)从Oracle系统和操作系 统OS中获取数据同步、系统10、CPU占用率等运行数据，并上报给操作维护模块，生成统计 数据，供操作维护终端进行趋势图表分析。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明保护范围之内。
权利要求
一种数据库同步部署及监控的装置，其特征在于，该装置包括元数据管理模块，用于存储和管理与数据库同步相关的配置参数、元数据信息；数据同步模块，用于在接收到操作维护模块的同步指令时，依据元数据管理模块提供的与数据库同步相关的配置参数及元数据信息，执行数据同步；操作维护模块，用于提供对元数据管理模块、数据同步模块的统一的操作维护功能界面。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括同步监控模块，用于实时监控同步进程，获取同步状态信息、同步过程中产生的异常信 息，并将获取的信息上报操作维护模块。
3.根据权利要求2所述的装置，其特征在于，所述同步监控模块还用于定时获取各同 步数据库节点的操作系统、数据库系统的系统运行指标信息，以供操作维护模块执行统计 分析。
4.根据权利要求1所述的装置，其特征在于，所述与数据库同步相关的配置参数包括但不限于同步关系属性、源数据库的同步参 数、目标数据库同步参数、同步数据库操作系统配置参数；所述同步关系属性指执行数据库同步的源数据库和目标数据库的对应关系；所述数据 库同步参数包括但不限于相关同步进程的配置参数、数据库系统配置参数；所述元数据 信息包括但不限于同步的类型、同步的对象信息。
5.根据权利要求2所述的装置，其特征在于，所述操作维护模块还用于单独或批量向 一个或多个位于不同同步数据库的数据同步模块发送同步指令，各数据同步模块分别读取 与各自同步数据库相关的配置参数及元数据信息，启动同步进程，执行数据同步。
6.一种数据库同步部署及监控的方法，其特征在于，该方法包括A、通过元数据管理模块创建并初始化各同步数据库的配置参数、元数据信息；B、依据操作维护模块发送的指令，由数据同步模块根据元数据管理模块提供的与各同 步数据库相关的配置参数将各同步数据库所在节点的操作系统参数和数据库参数调整为 适合执行数据同步的初始化值；C、位于各同步数据库的数据同步模块在接收到操作维护模块发送的同步指令后，读取 元数据管理模块提供的元数据信息，启动同步进程。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括在各同步数据库节点的同步进程启动后，启动位于各同步数据库节点的同步监控模 块，实时监控数据同步进程，获取同步状态信息、同步过程中产生的异常信息，并将获取的 信息上报操作维护模块；同步监控模块在根据设定阈值发现同步异常时，发出告警信息和/或进行预处理。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括同步监控模块定时获取各同步数据库节点的操作系统、数据库系统的系统运行指标信 息，并将获取的信息上报操作维护模块。
9.根据权利要求6所述的方法，其特征在于，所述与数据库同步相关的配置参数包括但不限于同步关系属性、源数据库的同步参 数、目标数据库同步参数、同步数据库操作系统配置参数；所述同步关系属性指执行数据库同步的源数据库和目标数据库的对应关系；所述数据 库同步参数包括但不限于相关同步进程的配置参数、数据库系统配置参数；所述元数据 信息包括但不限于同步的类型、同步的对象信息。
10.根据权利要求6所述的方法，其特征在于，所述数据同步模块通过调用各同步数据库系统所提供的数据同步功能或第三方提供 的数据同步功能，依据元数据管理模块提供的数据库配置参数及元数据信息，启动同步进 禾呈。
全文摘要
本发明公开了一种数据库同步部署及监控的方法和装置，用于解决部署数据库集群系统时，数据同步功能安装配置复杂，不利于集中化管理、监控和维护的技术问题。本发明在各同步数据库部署数据同步模块、数据监控模块，在元数据管理模块创建与数据库同步相关的配置参数和元数据，通过操作维护模块提供统一的控制、显示和维护功能。通过本发明可集中对数据库集群进行数据库同步的部署、执行、显示及监控，降低了维护成本，提高工程的规范性，实现了数据同步的集中化管理、监控和维护。
文档编号G06F17/30GK101854400SQ20101019922
公开日2010年10月6日 申请日期2010年6月9日 优先权日2010年6月9日
发明者史美康 申请人:中兴通讯股份有限公司