专利名称：：双核库数据同步方法
技术领域：
：本发明涉及计算机数据库
技术领域：
，特别是一种双核库数据同步方法。技术背景目前通信行业，特别是运营商所使用的经营分析系统(面向企业运营的统一数据信息平台，为全网业务、客户服务、市场营销、经营决策、业务实施等工作提供了有效的支撑的系统)的仓库数据和大部分前台展示数据都存放在数据仓库中，但是这种方式存在如下问题1、仓库主机发生故障，将导致前台应用系统不可访问，影响前台系统的可用性；2、仓库主机一旦运行较大的后台程序，则前台应用系统访问缓慢，影响前台访问效率；3、何前台数据的处理程序运行时，都将更新前台数据表，如果调度不适当，这些处理程序将会导致用户对前台访问失败，直观感觉则是系统不稳定；4、访问前台数据时一旦出错，直接在前台展示出来，而且往往是系统层面的，用户体验不好。为改善以上所存在的问题，需要在数据库方面做出相应的技术改进。
发明内容本发明为解决上述问题通过双核库数据同步方法构建一个独立的前台应用库，将前台访问的数据从物理上独立出来，单独存放在一个前台应用库中，并于按照数据本身的周期特性进行准实时的同步访问数据仓库,使得前台数据在整个系统中存在两份。-本发明的技术方案如下-双核库数据同步方法，其特征在于双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。所述前台应用库指经营分析系统用户直接访问的数据库。所述同步系统是在仓库和前台应用库之间根据数据项的周期特性进行数据同步。所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。所述调度主进程指完成所有同步任务进程的调度和控制；所述同步任务进程完成具体同步任务中各数据项的同步；所述配置策略指记录同步数据项的数据所在位置、数据筛选条件、同步方法(追加同步、覆盖同步)、周期策略等；所述日志管理进程指同步过程中各系统信息的输出和日志内容的定期删除。所述实时同步的流程如下A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入数据到目标数据表，最后通过数据校验进程进行同步校验。所述同步数据项的周期策略指每隔n秒触发一次(n>10s),或者每隔n秒强制触发一次(n>10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等。所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较。所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。本发明的有益效果如下本发明实现了同步操作的多种周期性，可以按日、周、月定时同步、循环同步，也可以按条件触发同步，能够方便地按任务进行管理，管理需要同步的数据;避免了数据库自身同步机制带来的较大的系统资源消耗；能够方便地监控同步操作，并有详细的日志记录；每次同步操作可重复进行，不影响结果的准确性；除了系统自动同步外，还可以手工启动某一次同步操作；可以在不同主机上的不同数据库之间实现同步；同步具有事务性，每次同步要么完全成功要么完全失败，每次未成功的同步对下次同步没有数据上的影响；同步操作尽量小地影响前台系统的正常运行，不存在因同步导致前台系统不能访问的情况；同步操作不能无限制占用主机资源，应当控制同时进行的同步操作数量。图1为本发明的同步流程图图2为本发明的系统结构图图3为本发明的原理图具体实施方式双核库数据同步方法，双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。所述前台应用库指经营分析系统用户直接访问的数据库。所述同步系统是在仓库和前台应用库之间根据数据项的周期特性进行数据同步。所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。所述调度主进程指完成所有同步任务进程的调度和控制；所述同步任务进程完成具体同步任务中各数据项的同步；所述配置策略指记录同步数据项的数据所在位置、数据筛选条件、同步方法(追加同步、覆盖同步)、周期策略等；所述曰志管理进程指同步过程中各系统信息的输出和日志内容的定期删除。所述实时同步的流程如下A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入数据到目标数据表，最后通过数据校验进程进行同步校验。所述同步数据项的周期策略指每隔n秒触发一次(n>10s),或者每隔n秒强制触发一次(n>10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等，如下表周期策略的规则说明<table>tableseeoriginaldocumentpage7</column></row><table><table>tableseeoriginaldocumentpage8</column></row><table>所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较，比如对目标数据表和数据文件的记录数进行比较。所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。权利要求1、双核库数据同步方法，其特征在于双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。2、根据权利要求1所述双核库数据同步方法，其特征在于所述前台应用库指经营分析系统用户直接访问的数据库。3、根据权利要求1所述双核库数据同步方法，其特征在于所述同步系统是在仓库和前台应用库之间根据数据项的周期特性进行数据同步。4、根据权利要求1所述双核库数据同步方法，其特征在于所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。5、根据权利要求1所述双核库数据同步方法，其特征在于所述实时同步的流程如下A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入数据到目标数据表，最后通过数据校验进程进行同步校验。6、根据权利要求5所述双核库数据同步方法，其特征在于所述同步数据项的周期策略指每隔n秒触发一次(nWOs)，或者每隔n秒强制触发一次(n〉10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等。7、根据权利要求5所述双核库数据同步方法，其特征在于所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较。8、根据权利要求5所述双核库数据同步方法，其特征在于所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时,程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。全文摘要本发明公开了一种双核库数据同步方法，其特征在于双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步；本发明实现了同步操作的多种周期性，可以定时同步、循环同步，也可按条件触发同步，能方便按任务进行管理，管理需要同步的数据；避免了数据库自身同步机制带来的较大系统资源消耗；方便监控同步操作；每次同步操作可重复进行，不影响结果的准确性；除了系统自动同步外，还可以手工启动某一次同步操作。文档编号G06F17/30GK101226527SQ20071005106公开日2008年7月23日申请日期2007年12月28日优先权日2007年12月28日发明者畏何,张航友,健曾,松梅,刚陈申请人:中国移动通信集团四川有限公司