专利名称：一种跨平台异构数据库的数据采集与分发系统的制作方法
技术领域：
本发明涉及一种电子信息领域，尤其是涉及跨平台异构数据库的数据采集与分发 系统。
背景技术：
计算机网络是一个复杂的异构体系，Windows桌面系统、UNIX工作站、Linux系统、 嵌入式终端，不同的应用环境要求不同的网络传输质量，网络规模的动态变化等等，这些构 成了网络的异构性和复杂性。而在多数网络系统中，信息的实时获取是非常关键的问题，不 同的源地址将信息发布出来，相应地，网络中对此感兴趣的节点获取该信息。尤其是在实时 性要求和任务紧急的系统中，要能做到“在正确的时间、正确的地点获取正确的数据”，对系 统的要求是非常高的。因此，异构的计算机网络是不可避免的，在复杂的网络环境中实现高 效的网络通信，是分布式系统开发必须面对的问题。由于历史原因，大多数企事业单位可能存在着不止一种数据库平台，每个业务系 统都在各自的系统及数据安全边界内部孤立地运行着。如果需要进行业务数据的共享，就 要用到异构数据库的数据采集与分发。即使是同一种数据库平台，一旦分布在不同的服务 器上或者具有不同的安全边界，都需要对数据共享的实现手段做出合理的设计。一般跨平台的数据采集与分发是指在不同的平台间，将源数据库中指定表的数据 采集并分发到目的数据库指定的表中。通常实现跨平台数据的采集与分发主要有三种办 法采用数据库厂商提供的专业工具，自主开发迁移程序和采用手工迁移。这些方法虽专业 工具功能比较全面，但价格较高，且使用面有限；自主开发的迁移程序一般只支持特定的数 据库之间的采集与分发；手工迁移是前两种方法的有益补充，但效率较低，且对DBA要求较 尚ο
发明内容
本发明解决的技术问题是提供一种通用的方法，使用与不同的数据库，支持各种 跨平台的数据采集与分发的跨平台异构数据库的数据采集与分发系统。本发明解决其技术问题所采取的技术方案是一种跨平台异构数据库的数据采集 与分发系统，包括依次顺序传递的一个读取数据配置模块、一个周期结构转换模块和一个 数据生成模块，其中所述周期结构转换模块由循环的原始数据源提取模块、数据结构映射 模块和返回目标数据源模块组成。读取数据配置模块为系统第一部分，根据系统要求定义不同数据源，确定数据源 的类型；指定数据表，以视图的形式表现出来；映射数据源的结构，定义其属性；通过筛选 条件针对数据表、视图等对象详细列出某条记录。原始数据源提取模块，通过选择原始数据源；根据数据配置、筛选条件准备数据； 把数据表中所储存的结构数值转化成系统能够识别的JAVA对象。数据结构映射模块，根据原始数据提取模块所准备的数据信息进行转换，主要是对数据的属性进行变更，数据转换时可以是一对一的转换，也可以是多对一的转换。返回目标数据源模块，通过对原始数据源的选择，根据数据配置、筛选条件进行保 存数据，把原始数据源提取模块中已经映射好的JAVA对象储存到数据列表中。周期结构转换模块作为整个系统的一个小循环，根据转换的数据进行保存，当生 成目标数据后，系统会再次返回原始数据源提取模块，进行筛选。这三个模块构成一个小周 期进行循环。数据生成模块，通过周期结构转换模块内循环模块的转换，最终生成目标数据，进 入目标数据库，数据转换完成。采用上述结构后，可以实现跨平台异构数据库的数据采集与分发，同时数据的提 供者可以根据自己的需求控制数据的范围、方式和程序代码的实现理念，符合企业在数据 共享方面的现实安全考虑，具有良好的应用前景。
图1是本发明的结构示意图；图2是本发明的周期结构转换模块内部循环模块示意图。图中1、读取数据配置模块 2、周期结构转换模块 3、数据生成模块2-1、原始 数据源提取模块2-2、数据结构映射模块2-3、返回目标数据源模块
具体实施例方式图1和图2所示一种跨平台异构数据库的数据采集与分发系统，包括依次顺序传 递的一个读取数据配置模块1、一个周期结构转换模块2和一个数据生成模块3，其中所述 周期结构转换模块2由循环的原始数据源提取模块2-1、数据结构映射模块2-2和返回目标 数据源模块2-3组成。读取数据配置模块为系统第一部分，根据系统要求定义不同数据源，大致分四部 分来实现，首先定义不同数据源，确定数据源的信息；其次指定数据表，并用视图的方式展 示出来；再次定义结构属性；最后筛选条件，针对对象详细列出某条记录。该模块是系统运 行的前提，在此基础上，根据指定的数据源信息、属性进行数据的提取工作原始数据源提取模块，通过选择原始数据源；根据数据配置、筛选条件准备数据； 储存结构数值并转化为系统能够识别的对象把数据表中所储存的结构数值转化成系统能 够识别的JAVA对象。数据结构映射模块，根据原始数据源提取模块所准备的数据信息进行转换，主要 是对数据的属性进行变更，数据转换时可以是一对一的转换，也可以是多对一的转换，关键 取决于读取数据配置模块中结构属性的定义。返回目标数据源模块，通过对原始数据源的选择，根据数据配置、筛选条件进行保 存数据，把原始数据源提取模块中已经映射好的JAVA对象储存到数据列表中。周期结构转换模块作为整个系统的一个小循环，根据转换的数据进行保存，当生 成目标数据后，系统会再次返回原始数据源提取模块，进行筛选。这三个模块构成一个小周 期进行循环。考虑到采集分发的数据量巨大，系统在这里进行了一个周期性的小循环设计，原始数据源提取模块、数据结构映射模块和返回目标数据源模块共同构成了周期结构转换系 统部分，使数据可以根据要求分批次循环采集。所有数据全部采集并生成目标数据后，系统 根据转换的数据进行保存，进入下一个循环的采集与分发。如果在采集分发过程中，产生错 误或异常，系统会通过警告、提示发布出来，避免了盲目查找，有利于速度的提升。数据生成模块，作为结束模块，是数据采集分发结束后对已经映射好的数据进行 保存，使整个系统处于一个完整的状态。通过周期结构转换模块内循环模块的转换，最终生 成目标数据，进入目标数据库，数据转换完成。使用本发明进行数据采集与分发可以大大的减少数据运行中的速度，也在很大程 度上弥补了传统数据采集的一些弊端，它适用于各种系统平台，这就为各种系统平台的信 息交互提供了便利，不受限于同类产品或某一公司产品的制约。
权利要求
1.一种跨平台异构数据库的数据采集与分发系统，其特征是包括依次顺序传递的一 个读取数据配置模块(1)、一个周期结构转换模块( 和一个数据生成模块(3)，其中所述 周期结构转换模块(2)由循环的原始数据源提取模块(2-1)、数据结构映射模块(2-2)和返 回目标数据源模块(2- 组成。
2.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是所述 读取数据配置模块(1)为系统第一部分，根据系统要求定义不同数据源，确定数据源的类 型；指定数据表，以视图的形式表现出来；映射数据源的结构，定义其属性；通过筛选条件 针对数据表、视图等对象详细列出某条记录。
3.根据权利要去1所述的跨平台异构数据库的数据采集与分发系统，其特征是所述 原始数据源提取模块0-1)，通过选择原始数据源；根据数据配置、筛选条件准备数据；把 数据表中所储存的结构数值转化成系统能够识别的JAVA对象。
4.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是所述 数据结构映射模块0-2)，根据原始数据源提供模块(2-1)所准备的数据信息进行转换，主 要是对数据的属性进行变更，数据转换时可以是一对一的转换，也可以是多对一的转换。
5.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是所述 返回目标数据源模块0-3)，通过对原始数据源的选择，根据数据配置、筛选条件进行保存 数据，把原始数据源提供模块中已经映射好的JAVA对象储存到数据列表中。
6.根据权利要求1所述的跨平台异构数据库的数据采集与分发系统，其特征是所述 数据生成模块C3)通过周期结构转换模块( 中三个循环模块的转换，最终生成目标数据， 进入目标数据库，数据转换完成。
全文摘要
本发明涉及一种跨平台异构数据库的数据采集与分发系统，包括依次顺序传递的一个读取数据配置模块、一个周期结构转换模块和一个数据生成模块，其中所述周期结构转换模块由循环的原始数据源提取模块、数据结构映射模块和返回目标数据源模块组成。利用本发明提供的跨平台异构数据库的数据采集与分发系统，可以实现对原有数据库的升级处理，同时还可以对形式不同的数据源进行迁移，把各个数据孤岛迁移到中心数据库中，对数据进行系统整合。
文档编号G06F21/00GK102081656SQ20111000539
公开日2011年6月1日 申请日期2011年1月12日 优先权日2011年1月12日
发明者徐伟 申请人:江苏梦兰神彩科技发展有限公司