专利名称：数据整合系统和方法
技术领域：
本发明涉及一种数据整合系统和方法，尤其涉及一种能够提供具有标准数据格式 的数据的数据整合系统和方法。
背景技术：
众所周知，现今企业中的信息发展迅速，技术更是日新月异。然而多方面的信息建 设以及自然的延续，虽然各自取得相当的效益，却也造成了一座座的信息孤岛，阻碍了进一 步的信息运用以及更大的统合效益。为了阻断信息割据，提高信息系统的运行效率，数据整 合技术成为各个企业所关心的技术。数据整合技术可将各个信息孤岛的数据进行互通，将 孤立的信息整合到一起，形成最终企业需要的信息。
在数据整合技术中，其中两种为数据文件整合方式和数据及时整合方式，下面分 别介绍
1.数据文件整合方式(PUSH方式)
图1是数据文件整合方式的架构图。参见图1，所谓数据文件整合方式，是指由源 数据提供方提供一个或多个数据文件，将源数据提供方的所有数据变化一次性提供给数据 接收方，而由数据接收方对数据文件进行处理，其中文件格式比较常见的为xml、txt、exCel 等。此种方式主要应用场景是一次性导入大量数据。该方式的优点是容易控制，便于储存； 缺点是文件格式种类繁杂，并且文件中的数据格式也是五花八门，一旦增加一种文件格式 和数据格式，程序需要经常做很大的改动来适应新的格式，另外由于数据量比较大，导致系 统的负荷大，如果整合过程中出现问题，容易导致整个过程失败，需要花费很长时间再次进 行数据处理。
2.数据及时整合方式(PULL方式)
图2是数据及时整合方式的架构图。参见图2，所谓数据及时整合方式，是指数据 提供方有任何数据变化，则通过数据接收方提供的及时响应方式向数据接收方通知其关心 的数据的变化，而实现这种响应方式的代表技术有Webservive、REST、jmS等。此种方式经 常应用的场景是在两个应用信息变化特别紧密的系统之间的信息同步上。优点是信息同步 比较及时，及时同步的缺点是处理速度慢，对系统的处理能力与资源要求高，处理大量数据 处理请求时容易导致程序崩溃。
下面是数据及时整合方式的Wfebservice实现的说明。
Webservice是由企业发布的完成特定商务需求的在线应用服务，其它公司或应用 软件能够通过hternet来访问并使用这项在线应用服务。Webservice是一种构建应用程 序的普遍模型，可以在任何支持网络通信的操作系统中实施运行；它是一种新的web应用 程序分支，是自包含、自描述、模块化的应用，可以发布、定位、通过web调用。Webservice还 是一个应用组件，它逻辑性地为其他应用程序提供数据与服务。各应用程序通过网络协议 和规定的一些标准数据格式(Http，XML，Soap等)来访问Webservice，通过Webservice内 部执行得到所需结果。Webservice可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后，其他Webservice应用程序可以发现并调用它部署的服务。
一种数据整合的方案是对应上述两种数据整合方式，开发两套数据整合程序来处 理，将两种数据整合方式简单地组合在一起，即两种方案并存。对于这种数据整合的方案， 存在如下缺点
1.两种数据整合方式各有缺点对于数据文件整合方式，整合过程中出错后，只 能再次重新进行处理；对于数据及时整合方式，处理程序的处理能力受机器本身的限制，处 理能力有限；
2.两种数据整合方式没有监控功能由于两种数据整合方式本身并不提供监控 功能，所以很难监控数据整合的运行情况和执行情况，这使得数据接收方和数据发送方都 很难知道具体的数据整合情况，不容易掌握运行情况；
3.维护成本较大数据文件整合方式中数据格式繁杂，一旦新增或修改一种数据 格式，都需要修改数据整合程序。此外，数据接收方的核心数据模型(核心数据模型是指数 据接收方自己内部的数据的结构和数据相互之间的关系)调整后，会导致两套数据整合程 序都要做修改；
4.扩展不够方便由于采用两套方案，无论是水平扩展(多数据库之间同步数 据)，还是垂直扩展(多种数据源提供数据)都很困难。发明内容
鉴于上述问题，本发明旨在减少多种数据格式对数据整合系统造成的维护困难、 麻烦，并可以监控数据整合的细微变化情况。
本发明一方案提供一种数据整合系统，包括初始化模块，从不同数据源获取数 据；适配模块，从所述初始化模块接收数据，并提供具有标准数据格式的数据；校验模块， 从所述适配模块接收标准数据格式的数据，并校验所述标准数据格式的数据的完整性和正 确性，过滤不符合要求的数据；持久化模块，将通过校验的数据持久化到数据库；以及监控 模块，监控数据整合系统中每条数据的整合情况。
本发明另一方案提供一种数据整合方法，包括初始化步骤，从不同数据源获取数 据；适配步骤，基于所获取的数据，提供具有标准数据格式的数据；校验步骤，校验所述标 准数据格式的数据的完整性和正确性，过滤不符合要求的数据；持久化步骤，将通过校验的 数据持久化到数据库；以及监控步骤，监控数据整合系统中每条数据的整合情况。
本发明不是单纯采用数据文件整合及数据及时整合两种数据整合方式的任何一 种，而是将两种方式有机地融为一体；灵活地适应各种情况的数据整合需求，并且提供尽可 能灵活的水平和垂直扩展功能。
通过以下参照附图对优选实施例的说明，本申请的上述以及其它目的、特征和优 点将更加明显。
图1是数据文件整合方式的架构图2是数据及时整合方式的架构图3是根据本发明一实施例的数据整合系统的架构图4是根据本发明一实施例的数据整合系统的整体流程图5是根据本发明一实施例的数据整合方法的流程图6是根据本发明一实施例的数据整合系统的水平扩展结构图7是根据本发明一实施例的适配模块的示意图8是根据本发明一实施例的使用纯java语言开发并基于标准jdkl. 5构建的数 据整合系统的示意图。
具体实施方式
下面将详细描述本发明的优选实施例。应当注意，这里描述的实施例只用于举例 说明，并不用于限制本申请。
图3是根据本发明一实施例的数据整合系统的架构图；图4是根据本发明一实施 例的数据整合系统的整体流程图。
本发明的数据整合系统可以通过能够运行计算机可执行程序的计算机等硬件来 实现。数据整合系统所包含的各个装置、模块、单元等可以通过能够执行计算机可读程序的 具有处理功能的处理器(如CPU)等硬件来实现。例如，在一实施例中，数据整合系统可以 使用纯java语言开发，基于标准jdkl. 5构建。参见图8，图8是使用纯java语言开发并基 于标准jdkl. 5构建的数据整合系统的示意图。
再参见图3，根据本发明一实施例，本发明的数据整合系统包括5个功能模块初 始化模块、适配模块、校验模块、持久化模块、监控模块。这些功能模块的灵活组合即可以实 现数据整合系统对不同数据源的不同业务入库规则的灵活变换。当其中某个模块的功能需 要调整的时候，只需要改变单个功能模块，将其换成具有相应功能的模块。通过这5个模块 的灵活组合即可实现将不同来源的数据统一整合成数据接收方的核心数据。
实例一
A系统(例如一提供数据的外部系统，在此称为A系统)采用xml文件使用ftp方 式同步给B系统(根据本发明的数据整合系统，在此称为B系统)关于一些用户信息的数 据，则数据整合的过程可包括如下步骤。
1、B系统接到A系统通知。
2、通知监控模块启动一个数据整合流程。
3、启动初始化模块来使用ftp方式获得xml文件。
4、通知监控模块初始化模块执行情况。
5、通过适配模块的xml文件解析器将xml文件转换为数据流(如果系统A是采用 txt文件传输数据，那么解析器就使用对应的txt文件解析器)，但此时的数据流是系统A 提供的数据格式，在系统B中无法直接利用。
6、通知监控模块解析器执行情况。
7、通过适配模块中的数据适配器将数据流转换为系统B中可以使用的数据。
8、通知监控模块数据适配器执行情况。
9、再通过校验模块来判断数据流的数据是否合法。
10、通知监控模块校验器执行情况。
11、执行持久化模块来保存数据到系统B中。
12、通知监控模块持久化模块执行情况。
13、整个数据整合流程完成并通知监控模块整个流程完成。
通过实例一中几个通知步骤，监控模块就可以监控到整个数据流程的执行情况。
以下结合上述实例具体描述本发明实施例的各个功能模块。
初始化模块用于为了获取数据而作一些初始化工作。例如从各种平台通过不 同访问协议获得数据，接收各种不同类型的数据信息并进行对应的处理。对于数据文件整 合方式来说，初始化模块的功能是通过各种协议获得数据文件，并将数据文件下载到本地 应用服务器。而对于数据及时整合方式来说，初始化模块是负责提供对外服务的程序模块。
初始化模块的代码实例为
初始化接口 [
权利要求
1.一种数据整合系统，包括初始化模块，从不同数据源获取数据；适配模块，从所述初始化模块接收数据，并提供具有标准数据格式的数据； 校验模块，从所述适配模块接收标准数据格式的数据，并校验所述标准数据格式的数 据的完整性和正确性，过滤不符合要求的数据；持久化模块，将通过校验的数据持久化到数据库；以及 监控模块，监控数据整合系统中每条数据的整合情况。
2.如权利要求1所述的数据整合系统，其中，当接收的数据的格式不是所述标准数据 格式时，所述适配模块将其转换成所述标准数据格式。
3.如权利要求1所述的数据整合系统，其中所述监控模块包括通知单元和出错处理单兀。
4.如权利要求3所述的数据整合系统，其中所述通知单元实现与其它数据整合系统的 交互，所述出错处理单元处理数据整合中出现的错误。
5.如权利要求1所述的数据整合系统，其中所述持久化模块根据入库规则将通过校验 的数据持久化到数据库。
6.如权利要求5所述的数据整合系统，其中所述入库规则根据不同业务规则进行单独 定制，使得不同的标准数据格式具有不同的入库规则。
7.一种数据整合方法，用于数据整合系统，该方法包括 初始化步骤，从不同数据源获取数据；适配步骤，基于所获取的数据，提供具有标准数据格式的数据；校验步骤，校验所述标准数据格式的数据的完整性和正确性，过滤不符合要求的数据；持久化步骤，将通过校验的数据持久化到数据库；以及 监控步骤，监控数据整合系统中每条数据的整合情况。
8.如权利要求7所述的数据整合方法，其中，当获取的数据的格式不是所述标准数据 格式时，所述适配步骤将其转换成所述标准数据格式。
9.如权利要求7所述的数据整合方法，其中所述监控步骤包括通知步骤和出错处理步马聚ο
10.如权利要求9所述的数据整合方法，其中所述通知步骤实现与其它数据整合系统 的交互，所述出错处理步骤处理数据整合中出现的错误。
11.如权利要求7所述的数据整合方法，其中所述持久化步骤根据入库规则将通过校 验的数据持久化到数据库。
12.如权利要求11所述的数据整合方法，其中所述入库规则根据不同业务规则进行单 独定制，使得不同的标准数据格式具有不同的入库规则。
全文摘要
本发明提供一种数据整合系统和方法，该数据整合系统包括初始化模块，从不同数据源获取数据；适配模块，从所述初始化模块接收数据，并提供具有标准数据格式的数据；校验模块，从所述适配模块接收标准数据格式的数据，并校验所述标准数据格式的数据的完整性和正确性，过滤不符合要求的数据；持久化模块，将通过校验的数据持久化到数据库；以及监控模块，监控数据整合系统中每条数据的整合情况。本发明不是单纯采用数据文件整合及数据及时整合这两种数据整合方式的任何一种，而是将两种方式有机地融为一体；灵活地适应各种情况的数据整合需求，并且提供尽可能灵活的水平和垂直扩展功能。
文档编号G06F17/30GK102043837SQ201010569590
公开日2011年5月4日 申请日期2010年12月1日 优先权日2010年12月1日
发明者云广, 刘鑫 申请人:北京迅捷英翔网络科技有限公司