一种数据交换管理系统的制作方法

本发明涉及数据管理技术领域，尤其涉及一种数据交换管理系统。

背景技术：

随着社会的不断发展和信息化的持续建设，我国各级政府部门、各类组织建设了大量的业务应用系统，为社会发展和业务有序运行提供了可靠保障，我国政府电子政务已逐步由大规模建设阶段，转变为以互联互通、信息共享和业务协同为特征的深化应用发展阶段。当前，我国政府大力推进智慧城市、互联互通等战略，部门和部门、系统和系统之间要进行对话和协作，急需解决目前现存的“应用烟囱”、“信息孤岛”、信息资源统一规划、数据交换共享等问题。

随着大量面向业务部门的业务系统建设逐渐成熟，新的信息化发展趋势要求解决数据孤岛、数据分散存储、数据一致性等问题，通过部门间的数据集成共享实现业务对话和业务协作目标。在系统间交换信息需求较少的情况下，业务方可以采用点对点的方式实现数据交换。在交换信息需求逐步增多的情况下，通过一个权威部门，搭建一个安全、稳定、可靠、有效的数据交换平台就成为一个必然选项。数据交换平台于多部门多业务协作的意义，类似高速公路、高铁动脉对于城市的发展，是需要先行先建的基础设施。

目前，在进行数据交换共享平台的建设过程中，普遍存在的问题包括业务复杂多变协同困难、技术架构及标准不统一、数据分散存储且存在数据一致性存在问题、工程实施周期长等问题。

技术实现要素：

本发明提供的数据交换管理系统，能够快速构建、运行和管理分布式应用系统间数据交换共享任务，满足各种大型应用、各种复杂的网络环境下的业务需求。

本发明提供一种数据交换管理系统，所述系统包括管理中心以及多个交换节点，每个交换节点与所述管理中心连接，各交换节点之间进行数据交换；所述管理中心用于进行交换节点之间交换任务的配置、数据交换的监控、管理及统计分析。

可选地，所述管理中心包括运行监控模块和交换配置模块，所述交换节点包括调度引擎模块、交换引擎模块、管理代理模块和消息中间件。

可选地，所述运行监控模块包括基础设施管理单元、交换业务配置单元和用户管理单元，所述基础设施管理单元用于对数据源、交换节点、交换通道和交换拓扑进行管理，所述交换业务配置单元用于对交换域和交换流程进行配置，所述用户管理单元用于进行角色管理、机构管理和用户管理。

可选地，所述交换配置模块包括交换环境监控单元、交换数据统计单元和系统管理单元，所述交换环境监控单元用于进行数据源监控、节点监控、通道监控和系统告警，所述交换数据统计单元用于进行节点交换统计、数据源交换统计、流程变换统计和域交换统计，所述系统管理单元用于进行路由管理、多级交换管理和安全管理。

可选地，所述系统还包括交换目录，所述交换目录包括目录管理单元、目录服务单元和订阅服务单元，所述目录管理单元用于进行资源注册、目录审核、资源编目和资源发布，所述目录服务单元用于进行主题资源申请、申请审核、机构资源申请和资源订阅，所述订阅服务单元包括资源中心和资源清单，用于进行目录导航、目录查询、主题导航和订阅交换。

可选地，所述交换节点用于进行数据的抽取、发送、接收和入库。

可选地，所述交换节点的数据抽取方式包括全量抽取、时间戳抽取、触发器抽取、标志位抽取和cdc抽取。

可选地，所述交换节点进行数据交换的触发模式包括定时、实时、条件触发和人工触发。

可选地，所述交换节点还用于进行数据处理，所述数据处理包括数据过滤、节点路由和数据关联。

可选地，所述交换节点还用于对数据传输进行通道管理、断点续传、加密和压缩。

本发明实施例提供的数据交换管理系统，通过灵活配置交换节点与交换节点之间、交换节点与管理中心之间、上下级平台之间、相同或不同交换域之间的数据库和文件交换，构成了整个数据交换管理系统的交换体系。能够实现广域的、大规模的、跨地区的数据流转；可以实现不同业务同一平台交换，无需重复建设；支持对交换细节进行监控和统计，便于管理，从而快速构建、运行和管理分布式应用系统间数据交换共享任务，满足各种大型应用、各种复杂的网络环境下的业务需求。

附图说明

图1为本发明实施例提供的数据交换管理系统的总体架构图；

图2为本发明实施例提供的数据交换管理系统的功能架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种数据交换管理系统，如图1所示，所述数据交换管理系统包括管理中心以及多个交换节点，每个交换节点与所述管理中心连接，各交换节点之间进行数据交换；所述管理中心用于进行交换节点之间交换任务的配置、数据交换的监控、管理及统计分析。

具体地，所述管理中心包括运行监控模块和交换配置模块，所述交换节点包括调度引擎模块、交换引擎模块、管理代理模块和消息中间件。

如图2所示，所述运行监控模块包括基础设施管理单元、交换业务配置单元和用户管理单元，所述基础设施管理单元用于对数据源、交换节点、交换通道和交换拓扑进行管理，所述交换业务配置单元用于对交换域和交换流程进行配置，所述用户管理单元用于进行角色管理、机构管理和用户管理。

如图2所示，所述交换配置模块包括交换环境监控单元、交换数据统计单元和系统管理单元，所述交换环境监控单元用于进行数据源监控、节点监控、通道监控和系统告警，所述交换数据统计单元用于进行节点交换统计、数据源交换统计、流程变换统计和域交换统计，所述系统管理单元用于进行路由管理、多级交换管理和安全管理。

如图2所示，所述系统还包括交换目录，所述交换目录包括目录管理单元、目录服务单元和订阅服务单元，所述目录管理单元用于进行资源注册、目录审核、资源编目和资源发布，所述目录服务单元用于进行主题资源申请、申请审核、机构资源申请和资源订阅，所述订阅服务单元包括资源中心和资源清单，用于进行目录导航、目录查询、主题导航和订阅交换。

其中，所述交换节点用于进行数据的抽取、发送、接收和入库。

可选地，所述交换节点的数据抽取方式包括全量抽取、时间戳抽取、触发器抽取、标志位抽取和cdc(changedatacapture，变化数据捕获)抽取。

全量抽取是指在数据交换过程中，系统会将源表中设置的源字段的所有数据抽取到目的表中。如果目的表中已有相同的数据，系统会更新这些已存在的数据，而不存在的数据会直接被插入到目标表中。该方式适用于要抽取的数据量较小的情况。

时间戳抽取是指在数据交换过程中，系统会依据一个时间标识去抽取满足条件的数据。这种抽取方式有一个前提条件，那就是源表中需要有一个时间类型的字段，并且在配置交换流程时将其设置为时间戳字段。在每一次数据抽取完成时，系统会记录下该次抽取的时间戳字段数据的最大值，在进行下次数据抽取时，系统会抽取大于这个值的数据条目，并完成交换。需要注意的是，系统只能抽取早于数据库所在服务器的当前时间的数据条目。该方式适用于按照时间进行增量抽取的情况。

触发器抽取是指在数据交换过程中，需要设定的触发动作发生才能触发交换。触发数据交换的动作包括：插入、删除、更新(对应sql语句中的insert、delete和update)。

标志位抽取是指在数据交换过程中，系统会依据一个标志位去抽取满足条件的数据。在配置数据交换流程时，需要指定一个标志位字段，并为其设置一个交换成功后的更新值，然后需要为标志位字段设置数据抽取的条件。在数据抽取时，系统只会抽取满足所设置条件的数据。数据交换成功后，系统会将标志位字段值进行更新。该方式适用于源表中有合适的标志位字段的情况。

可选地，所述交换节点进行数据交换的触发模式包括定时、实时、条件触发和人工触发。

可选地，所述交换节点还用于进行数据处理，所述数据处理包括数据过滤、节点路由和数据关联。

可选地，所述交换节点还用于对数据传输进行通道管理、断点续传、加密和压缩。

本发明实施例提供的数据交换管理系统的主要功能包括：

(1)提供在大规模数据交换场景下的数据交换功能

支持oracle、db2、sybase、mysql、kingbase、dm、gbase等多种数据库的适配接入；

支持库表交换、文件交换；

支持在复杂网路环境下便捷的交换及接入，例如双网卡、内外网、专网、跨网段等；

支持定时、实时、手工触发、api触发等多种数据交换触发模式；

支持触发器、时间戳、标志位、cdc方式(与tongcdc产品集成)方式的数据抽取方式；

提供路由功能，可实现节点间的跨网数据交换和远程管理任务；

支持一对一、一对多、多对一等多种方式的交换；

可灵活配置的数据压缩、加密功能保证了网络上数据传输的安全性。

(2)支持集中监控管理和远程多级部署

涵盖了安装、配置、部署、监控、管理等数据交换应用过程的全部环节，用户通过数据交换管理中心能够集中监控参与交换的软硬件设施、数据交换流程等，及时掌控全网运行及使用状态，发现、分析并解决问题；

提供了数据交换网络及其交换任务(流程)的全局视图，能够按照用户的组织结构关系，迅速安装、初始化各部门的交换设施，形成数据交换节点拓扑图；

用户通过数据交换管理中心能够对跨地域不同部门的数据交换流程进行远程配置与部署，使得上级可以帮助下级单位创建部署新的交换流程；

支持跨地域、跨部门、跨层级的数据交换系统的快速建设，尤其适合参与交换的部门众多、地域分散的情况。

(3)提供灵活丰富的权限及交换域的控制功能，适用更多的业务场景

提供基于角色的权限管理，提供功能级、数据级授权，可以按照使用平台需求，自定义角色和自定义用户权限；

提供交换域功能，通过交换域隔离相关的资源，达到业务用户隔离使用的目的。交换域相对普通用户是透明的，非域用户感受不到域的存在；

交换域能够隔离的资源权限由大到小分别到达拓朴节点、数据库、数据库表级别。

(4)提供了常用的统计分析及操作审计功能

能够对交换的业务数据从多种角度进行分析统计,能够对数据交换的全过程(抽取-发送-接收-入库)进行监控和统计；可以对关心的监控信息设置任务，形成报表；

提供登陆审计、操作审计功能，记录什么时间谁登陆了系统做了什么操作。

(5)提供了丰富的集成功能

提供restful风格的webapi接口，包含平台的基本监控管理功能和统计分析等接口，便于第三方集成开发；

基于oauth协议的第三方单点登陆集成的模块。

(6)提供交换目录功能，能够提供交换目录驱动数据交换的解决方案

在传统的数据交换的基础功能上，同时搭载了交换目录模块，包括元数据管理、交换目录管理及服务；

提供资源注册和发布功能，包括数据库表、文件资源的注册和发布；

提供资源审核功能，包括注册审核、订阅审核、历史记录审核；

提供资源清单功能，包括发布清单和订阅清单；

提供交换目录驱动数据交换，实现交换目录和数据交换的集成联动。

本发明实施例提供的数据交换管理系统，是一种集开发配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台，可快速构建、运行和管理分布式应用系统间数据交换共享任务，满足各种大型应用、各种复杂的网络环境下的业务需求。该系统贴近国内用户应用模式和使用习惯，尤其适用于“跨部门”、“跨地域”、“跨层级”的数据交换场景。该系统支持基于数据库库表、文件的数据交换集成及交换目录服务管理，并提供集中统一的配置部署、监控、权限管理及集成等功能。该系统具有以下优势：

(1)易于使用贴近用户的管理

预置多种管理业务模式，简化建设管理步骤；

全方位交换目录管理服务，实现多种形态信息资源的发现、定位和共享，实现对交换和共享全流程的统一管理；

全局式资源监控管理，集中式远程管理、监控功能；

提供了常用的统计分析、审计分析功能；

提供了贴近用户应用的管理功能，配置管理屏蔽交换技术细节，学习曲线更低；

提供丰富的管理配置和系统集成api，方便二次开发和系统间集成。

(2)多层次的安全机制保障

支持交换全过程监控、审计，并提供邮件、短信预警功能；

支持分级分域授权、基于角色的权限管理；

支持通道安全，支持ssl传输通道加密功能；

支持数据加密，支持国密算法。

(3)全方位资源管理服务

实现对交换和共享全流程的统一管理；

交换目录和数据交换完美融合，提供交换目录驱动数据交换功能，实现真正意义上的交换目录服务即交换的概念。

本发明实施例提供的数据交换管理系统，通过灵活配置交换节点与交换节点之间、交换节点与管理中心之间、上下级平台之间、相同或不同交换域之间的数据库和文件交换，构成了整个数据交换管理系统的交换体系。能够实现广域的、大规模的、跨地区的数据流转；可以实现不同业务同一平台交换，无需重复建设；支持对交换细节进行监控和统计，便于管理，从而快速构建、运行和管理分布式应用系统间数据交换共享任务，满足各种大型应用、各种复杂的网络环境下的业务需求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。