专利名称：应用于数据交换的中间件及数据交换方法
技术领域：
本发明属于数据交换的技术领域，特别是涉及一种基于SOA的数据交换的中间件 及基于该中间件的数据交换方法。
背景技术：
随着信息技术的快速发展，信息或数据共享的理念全面普及，由于在应用系统建 设的过程中，没有统一规划，各个部门各自建设各自的应用系统，部门之间的应用系统相互 独立，形成“应用山头”及“信息孤岛”，不能充分利用各个部门的资源，为学校、企业、政府等 领导部门提供跨部门的综合数据分析、跨部门的业务协调合作，制约了学校、企业、政府信 息化发展。为了充分实现各个业务系统之间的数据共享，逐步铲除各个部门不同应用之间 的“应用山头”或“信息孤岛”，保护各部门前期在信息化建设方面的投资，有效实现数据的 交换、共享，保障业务及管理等方面数据的准确性、权威性，数据交换中间件提供一种非常 灵活的配置技术，通过数据抽取、数据处理、数据输出，从而达到各部门之间的数据共享、业 务协调的目的。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于SOAGervice-OrientedAr chitecture)的数据交换中间件，实现基于消息的开放式数据交换管理。本发明的另一目的在于提供一种基于SOA中间件的数据交换方法，实现数据交换 的可视化配置。为了实现发明目的一，采用的技术方案如下一种应用于数据交换的中间件，基于SOA理念的中间件，包括轻量SOA体系结构；数据交换引擎；组织结构及权限配置接口模块；可视化数据交换流程定义工具；数据适配器接口模块；监控管理接口模块；应用服务接口模块；构成本发明的中间件的模块具体如下所述的轻量SOA体系结构，实现服务的注册、配置和管理。该模块采用目前流行 的、轻量的、开源的S0A，通过注册服务之后，对服务对象进行流程配置，将各种服务对象组 合起来，实现服务的共享；同时，数据交换组件以服务对象的方式注册在SOA服务池中，通 过SOA的过程配置，引用注册的SOA服务对象，实现数据交换流程。轻量SOA体系结构与其 它模块的连接如下(1)与数据交换引擎连接，通过数据交换引擎调用SOA服务池中的服务对象，招待
4服务对象功能，实现数据交换；(2)与数据适配器接口模块接连，实现数据采集与装载；(3)与监控管理接口模块连接，实现数据交换日志的输出；(4)与其它SOA服务器连接，实现多个数据交换服务器的数据交换。所述的数据交换引擎，采用目前最轻量的、性能最高的数据交换工具，封装成各种 不同的数据交换服务组件。这些服务组件注册到SOA的服务池中，提供相应服务功能。主要 包括数据采集组件、数据装载组件、字段拆分组件、字段合并组件、值映射组件、字段映射组 件、执行SQL组件、数据过滤组件等；通过SOA过程配置功能，组装成相应的数据交换流程， 完成数据交换的目的。数据交换引擎与其它模块的连接如下(1)与可视化数据交换流程定义工具连接，通过可视化数据交换流程配置工具配 置的数据交换流程，装载到数据交换引擎中，由数据交换引擎执行数据交换流程，调用不同 的数据交换组件，实现数据交换功能；(2)与数据适配器接口模块的连接，通过数据适配器，采集数据到数据交换引擎 中，或从数据交换引擎中将处理之后的数据输出到外部的数据适配器中，实现数据装载。(3)与组织结构及权限配置接口模块的连接，通过组织结构及权限配置模块，读取 用户的权限信息，只有满足条件的用户，才可以执行数据交换流程。所述的组织结构及权限配置接口模块，与数据交换引擎的连接，为数据交换引擎 提供用户信息。对不同的SOA过程配置的数据交换流程，授予不同用户的权限，实现与其它 应用系统的权限统一管理。只有被授予权限的用户才可以执行相应的数据交换流程。所述的可视化数据交换流程配置工具，与数据交换引擎连接，提供数据交换流程 配置的信息，并发布到数据交换引擎中，读取数据交换引擎的流程信息、SOA服务池信息、组 织结构及权限配置的用户信息。是配置数据交换流程的工具，提供桌面设计器，配置数据交 换流程。在起动设计器时，连接数据交换引擎，读取数据交换服务器的配置信息；同时，在 配置界面中，可以定制数据交换流程，设置开始节点、结束节点、数据处理节点、数据采集节 点、数据装载节点等，实现数据交换的流程配置功能。所述的数据适配器接口模块，直接配置各种不同类型的数据源或目标数据源，数 据适配器涉及 SQL Server、Oracle、Sybase、DB2、MySQL、EXCEL、XML、WebService 等格式的 适配器。当数据交换过程中，需要访问外部数据时，可以通过数据适配器接口模块，直接加 载或输出数据。在数据采集时，通过不同的数据适配器接口，采集所需的数据或装载数据到 目标数据源中。数据适配器接口模块与其它模块的连接如下(1)与数据交换引擎连接，提供数据采集与数据装载功能；(2)与SOA体系结构连接，提供服务接口，注册到SOA服务池中，为其它应用提供数 据采集与数据装载功能；(3)与外部数据源连接，实现数据采集与数据装载功能。所述的监控管理接口模块与数据交换引擎连接，监控数据交换服务器交换过程中 的所有事件，包括服务器的性能、异常情况、交换日志等。对每一个数据交换组件进行监控， 记录每一个交换组件的交换日志、记录每一个交换组件的交换过程中异常情况，读取相应 的SOA消息交换日志。所述的应用服务接口模块，提供各种应用系统接入数据交换平台的接入方式，它通过注册应用服务的方式将各种应用系统集成到数据交换平台中，实现各种应用系统之间 的数据交换。通过与WebService连接，实现外部应用的集成，通过WebService接口进行应 用服务接口的访问，也可以直接通过JAVA的接口进行访问，在数据交换流程中，如果配置 了应用服务接口时，根据服务接口的配置参数，访问服务接口。这些服务接口可以返回所需 的数据、也可以是实现数据处理逻辑、也可以是处理之后的数据输出对象，通过与SOA体系 连接，为SOA提供外部应用服务的访问。为了实现发明目的二，采用的技术方案如下一种基于SOA中间件的数据交换方法，主要包括数据采集、数据处理和数据装载 三大步骤，具体如下第一步，所述数据采集还包括以下步骤对外部应用系统提供的共享数据结构、数据集的名称、字段等进行描述；根据配置的字段等描述信息，提供简化的数据处理配置参数；根据配置的参数，从源数据中采集所需的数据，装载到系统中。第二步，所述的数据处理通过字段映射、值映射、字段拆分、字段合并、执行SQL语 句等步骤，转换成目标数据源所需的格式及数据，实现数据交换过程中涉及到的业务处理 规则。第三步，所述的数据装载通过外部应用系统数据源配置，装载到目标数据源。目标 数据源可以是数据库、WEBSERVICE接口、EXCEL文件等。数据装载功能将数据处理之后的规 范数据装载目标数据源中，实现数据装载功能。本发明的优点在于使用了中间件技术，提供应用系统之间的数据交换的数据通 道，使应用系统之间实现真正的数据共享，使用户的操作更加“傻瓜”化，使得数据交换配置 更简便，具体如下(1)丰富可拓展的数据适配器技术。数据适配器连接并访问数据交换中涉及到的 可能的数据对象(数据源/目)。平台支持适配器定义、适配器安装与卸除、适配器测试、适 配器配置等。数据交换中间件支持广泛的数据库系统，包括主流的关系型数据库、非主流的 数据库以及文件系统，支持 Informix、Sybase、Oracle、MS SQL Server、Mysql、0DBC、0LEDB、 JDBC、Native数据源；Web Services、XML、消息队列数据源。除了上述的可用适配器之外，对于特殊的数据源，也可以通过配置文件，对适配器 根据需要可扩充；在配置文件中，可以定义数据源对应于数据交换目录的结构。(2) 一体化的监控管理接口数据交换中间件提供了全套，完整地集系统管理、适配部署、MQ配置、流程定义、日 志统计于一体的配置部署工具，并且提供了非常友好的可视化界面，更多的以业务的视角 展现数据集成中所需要解决的问题和难点。同时，数据交换中间件还提供了基于浏览器的 监控和管理工具，能够做到运行期对整体平台的实时监控。管理工具还提供了对数据交换中间件对整个网络的实时监控功能，可以对数据交 换中间件网络上的任意一个节点运行情况进行实时监控，包括流程实例的运行状态，数据 状态等等，真正做到对数据交换中间件的运行状况了然于胸，尽在掌握。(3)可配置的应用服务接口通过SOA提供的服务注册管理接口，将各个应用系统提供的服务接口注册到SOA
6服务池中；同时，数据交换平台的可视化配置工具，读取已注册到服务池中的服务对象，根 据业务数据整合的需要，配置到相应的数据交换节点中，实现各个应用系统的服务接口可 灵活配置功能。这些配置到服务池中的服务对象既可以是被调用的服务接口，也可以是主 动申请服务的对象，从而实现数据交换平台的被动与主动的数据交换服务功能。
图1为本发明的中间件结构示意图；图2为本发明的数据交换流程示意图。
具体实施例方式下面结合附图对本发明做进一步的说明。本发明的中间件结构示意图如附图1所示，在数据交换平台的整体架构设计中， 将整个平台划分为轻量SOA体系结构、数据交换引擎、组织结构及权限配置接口模块、可视 化数据交换流程定义工具、数据适配器接口模块、监控管理接口模块、应用服务接口模块。轻量级SOA体系结构采用目前流行的、轻量的、开源的S0A，实现服务的注册、配 置、管理。服务运行时环境提供服务(和服务组件)的部署、运行和管理能力，支持服务编 程模型，保证系统的安全和性能等质量要素；服务总线提供服务中介的能力，使得服务使用 者能够以技术透明和位置透明的方式来访问服务；服务注册库支持存储和访问服务的描述 信息，是实现服务中介、管理服务的重要基础；而服务组装引擎，则将服务组装为服务流程， 完成一个业务过程；服务网关用于在不同服务计算环境的边界进行服务翻译，比如安全。数据交换引擎是整个数据交换平台中核心，它的性能直接影响到数据交换平台的 性能。因此，采用目前最轻量的、性能最高的开源的数据交换工具，封装成各种不同的数据 交换服务组件，注册到SOA服务池中，将通过数据交换引擎，解释数据交换配置工具定义的 交换流程，并实例化数据交换流程，运行数据交换流程。对于多种数据交换平台相互协调交 换时，可以配置相应的交换路由，在交换路由中配置远程数据交换平台的地址、流程名称、 节点名称等，实现不同数据交换平台之间的相应协调工作。对于定义调度的数据交换流程，由数据交换引擎提供的定义调度功能，实现数据 交换流程的被起动；在被动启动数据交换流程时，由流程调用本身的服务组件，起动交换过 程；在交换过程中，调用数据交换平台提供的服务组件时，可以直接调用本身的组件，提高 引擎响应速度；对于外部接入的应用服务组件，通过SOA发布的数据服务接口，调用应用服 务组件提供的服务，实现数据交换的被动触发；对于由应用服务组件触发的数据交换流程， 应用服务组件通过调用SOA提供的服务接口，以及数据交换引擎发布的服务接口，由SOA调 用相应的数据交换流程，实现数据主动的实现。组织结构及权限配置接口模块是实现与其它应用系统的权限统一管理。在数据交 换引擎中，可以对不同的数据交换流程，授予不同用户的权限，只有被授权的用户，才可以 起动流程的运行；或者是数据发布接口，只有被授权的用户才可以访问被授权的服务接口。可视化数据交换流程配置工具是配置数据交换流程的工具，通过易用的、可视化 的工具，为用户提供十分便捷的配置手段，简化数据交换流程的管理。在流程配置过程中， 可以根据数据处理需要，方便地添加相应的处理节点，实现数据处理过程中涉及的操作。
数据适配器接口模块可以直接配置各种不同类型的数据源或目标数据源。当数据 交换过程中，需要访问外部数据时，可以通过数据适配器接口，直接加载或输出数据。对于 提供数据访问服务接口的应用系统，可以通过配置应用服务接口，从接口从读取所需要的 数据或输出数据到应用服务接口中。数据交换目录接口模块是提供数据交换过程中涉及的数据交换元数据。这些元数 据结构可以通过外部系统提供满足条件的目录结构，也可以直接通过数据交换平台提供的 目录管理功能，配置数据交换目录数据。在数据交换目录结构中，对于每一个数据源与目标 之间的相应关系，都可以通过数据交换目录结构进行定义。应用服务接口模块是提供各种应用系统接入数据交换平台的接入方式，它通过注 册应用服务的方式将各种应用系统集成到数据交换平台中，并通过数据交换配置工具，将 应用服务接口作为一个节点引入到数据交换流程中，实现各种应用系统之间的数据交换。本发明的数据交换流程如附图2所示首先是数据采集，通过监听器监听源数据发生的数据变化，当源数据发生变化时， 通过监听器触发数据采集操作；数据采集将变化的数据从源数据中采集出来，加载到内存 中进行处理；其次是数据处理，对加载的数据进行处理，包括数据过滤、字段映射、值映射、字段 拆分、字段合并、表达式、执行SQL等处理，转换成目标源数据所需的格式及数据。最后是数据装载，通过外部应用系统数据源配置，装载到目标数据源。目标数据源 可以是数据库、WEBSERVICE接口、EXCEL文件等。数据装载功能将数据处理之后的规范数据 装载目标数据源中，实现数据装载功能。
8
权利要求
一种应用于数据交换的中间件，其特征在于包括轻量SOA体系结构；数据交换引擎；组织结构及权限配置接口模块；可视化数据交换流程定义工具；数据适配器接口模块；监控管理接口模块；应用服务接口模块。
2.根据权利要求1所述的应用于数据交换的中间件，其特征在于所述的轻量SOA体系 结构与数据交换引擎连接，通过数据交换引擎调用SOA服务池中的服务对象，招待服务对 象功能，实现数据交换；与数据适配器接口模块接连，实现数据采集与装载；与监控管理接 口模块连接，实现数据交换日志的输出；与其它SOA服务器连接，实现多个数据交换服务器 的数据交换。
3.根据权利要求1所述的应用于数据交换的中间件，其特征在于所述的数据交换引擎 与可视化数据交换流程定义工具连接，通过可视化数据交换流程配置工具配置的数据交换 流程，装载到数据交换引擎中，由数据交换引擎执行数据交换流程，调用不同的数据交换组 件，实现数据交换功能；与数据适配器接口模块连接，通过数据适配器接口模块采集数据到 数据交换引擎中，或从数据交换引擎中将处理之后的数据输出到外部的数据适配器中，实 现数据装载；与组织结构及权限配置接口模块的连接，通过组织结构及权限配置模块，读取 用户的权限信息。
4.根据权利要求1所述的应用于数据交换的中间件，其特征在于所述的组织结构及权 限配置接口模块与数据交换引擎的连接，为数据交换引擎提供用户信息，对不同的SOA过 程配置的数据交换流程，授予不同用户的权限，实现与其它应用系统的权限统一管理。
5.根据权利要求1所述的应用于数据交换的中间件，其特征在于所述的可视化数据交 换流程配置工具与数据交换引擎连接，提供数据交换流程配置的信息，并发布到数据交换 引擎中，读取数据交换引擎的流程信息、SOA服务池信息、组织结构及权限配置的用户信息。
6.根据权利要求1所述的应用于数据交换的中间件，其特征在于所述的数据适配器接 口模块直接配置各种不同类型的数据源或目标数据源，与数据交换引擎连接提供数据采集 与数据装载功能；与SOA体系结构连接提供服务接口，注册到SOA服务池中，为其它应用提 供数据采集与数据装载功能；与外部数据源连接，实现数据采集与数据装载功能。
7.根据权利要求1所述的应用于数据交换的中间件，其特征在于所述的监控管理接口 模块与数据交换引擎连接，监控数据交换服务器交换过程中的所有事件，对每一个数据交 换组件进行监控，记录每一个交换组件的交换日志、记录每一个交换组件的交换过程中异 常情况，读取相应的SOA消息交换日志。
8.根据权利要求1所述的应用于数据交换的中间件，其特征在于所述的应用服务接口 模块，提供各种应用系统接入数据交换平台的接入方式，通过注册应用服务的方式将各种 应用系统集成到数据交换平台中，实现各种应用系统之间的数据交换。
9.一种基于SOA中间件的数据交换方法，主要包括数据采集、数据处理和数据装载三 大步骤。
10.根据权利要求9所述的一种基于SOA中间件的数据交换方法，其特征在于所述数据 采集包括以下步骤对外部应用系统提供的共享数据结构、数据集的名称、字段等进行描述； 根据配置的字段描述信息，提供简化的数据处理配置参数； 根据配置的参数，从源数据中采集所需的数据，装载到系统中。
11.根据权利要求9所述的一种基于SOA中间件的数据交换方法，其特征在于所述的数 据处理通过字段映射、值映射、字段拆分、字段合并、执行SQL语句等步骤，转换成目标数据 源所需的格式及数据，实现数据交换过程中涉及到的业务处理规则。
12.根据权利要求9所述的一种基于SOA中间件的数据交换方法，其特征在于所述的数 据装载通过外部应用系统数据源配置，装载到目标数据源，数据装载功能将数据处理之后 的规范数据装载目标数据源中，实现数据装载功能。全文摘要
本发明提供了应用于数据交换的中间件及数据交换方法，包括轻量SOA体系结构、数据交换引擎、组织结构及权限配置接口模块、可视化数据交换流程定义工具、数据适配器接口模块、监控管理接口模块和应用服务接口模块，各模块之间的协作构成数据交换的中间件结构；通过数据采集、数据处理和数据装载实现基于SOA中间件的数据交换方法。本发明提供应用系统之间的数据交换的数据通道，使应用系统之间实现真正的数据共享，使用户的操作更加“傻瓜”化，使得数据交换配置更简便，丰富可拓展的数据适配器技术，一体化的监控管理接口和可配置的应用服务接口。
文档编号G06Q10/00GK101908178SQ20101025327
公开日2010年12月8日 申请日期2010年8月13日 优先权日2010年8月13日
发明者任刚, 左安南, 田志山 申请人:广州联奕信息科技有限公司