一种集成交换中间件及其实现方法_3

文档序号:8543531阅读:来源:国知局
中的定义发布者进行对应。如果不对应,数据发布适配器将不能进行发布标准下载;同时数据集成交换中间件验证接收数据时会认为是非法的发布。
[0104]2)发布交换规范下载:根据发布者配置中定义发布者编码,通过集成交换中间件的标准下载接口进行发布交换规范下载,包括数据集、数据元、值域代码、数据子集之间的逻辑关系。
[0105]3)发布用户管理:定义发布者的用户信息,定义数据库的连接信息,如用户名、别名信息等。
[0106]4)采集表管理:确定发布用户下需要采集的表,同时根据数据的特点,自动形成变更表的信息,如果有CDC特性,则通过CDC特性形成变更表的结构,同时根据CDC特性捕获变更数据,如果没有CDC特性,则通过对采集表的结构分析生成变更表,同时自动在源表建立触发器进行采集表数据变化的捕获,捕获的数据变化自动存入变更表中;
[0107]5)发布交换规范与采集表配置:建立发布交换规范中各子集与采集表的匹配关系,形成发布交换规范下各子集与采集表的对应关系;
[0108]6)数据发布接口配置:建立发布交换规范中子集的数据元与发布表字段的映射关系,同时对于转换逻辑进行配置,如值域转换、基础数据转、计算逻辑等。
[0109]7)数据上传启停:停用与启用数据上传服务,同时配置各数据集上传的时间频度,包括时间单位与时间间隔。
[0110]8)定时器服务:根据上传启停的时间频度,定时调度各项任务,如订阅变更数据、数据分页、数据上传。
[0111]9)数据捕获:根据采集表的配置信息,动态捕获采集表的数据变化,形成采集表变更数据信息存入变更表。
[0112]10)订阅变更数据:订阅步骤9中变更表的变化数据,形成订阅上传信息初始化信息。
[0113]11)数据分页:对获得的订阅变更数据进行分页处理,形成分页上传数据,提升上传的性能。
[0114]12)定时上传:对步骤11产生的数据,根据步骤6的转换逻辑,对分页上传数据进行数据清洗与转换,定时调用集成交换中间件中心端提供的服务接口,发布数据到集成交换中间件中心端的数据中心。
[0115]5、设计数据接收、入库、发布、订阅模式
[0116]I)定时器服务:根据配置信息,定时调度各项作业任务,如数据从入库队列出队、数据从发布队列出库、数据从订阅队列出库。
[0117]2)数据接收:接收发布系统(包括发布适配器)发布的数据,同时进行发布者验证、发布数据校验、数据转换,把数据送入入库消息队列。
[0118]3)消息入库:定时从入库消息队列中获取入库数据,进行数据存储表查找,通过计算判断数据的操作类型,分配数据存储表唯一的主键键值,完成消息入库存储;同时把入库的消息送入发布消息队列。
[0119]4)消息发布队列出库模块:用于将发布系统发布的数据转变为发布消息,并存储所述发布消息,定时取出发布消息,根据订阅规则进行订阅计算,确定消息的订阅者及订阅者的订阅信息;同时把订阅者的订阅信息送入订阅消息队列;
[0120]5)消息推送服务:根据订阅者管理配置信息,定时从订阅消息队列中取出消息进行订阅者的订阅数据推送。
[0121]6、设计数据订阅适配器
[0122]I)订阅者参数配置:定义订阅系统的订阅者编码,与集成交换中间件发布者管理中的定义订阅进行对应。如果不对应,数据订阅适配器将不能进行订阅交换标准下载;同时数据订阅适配器在接收集成交换中间件推送的数据时,验证订阅用户失败,信息不能正常推送。
[0123]2)订阅交换标准下载:根据订阅者参数配置中定义订阅者编码,通过集成交换中间件的标准下载接口进行订阅交换规范下载,包括数据集、数据元、值域代码、数据子集之间的逻辑关系。
[0124]3)订阅用户管理:定义接收用户信息,定义数据库的连接信息,如用户名、别名信息等。
[0125]4)订阅交换标准与源表配置:建立订阅交换标准中数据集中各子集与订阅用户源表的对应关系;
[0126]5)接收数据接口配置:配置订阅交换标准中数据子集与源表的字段映射关系,数据转换逻辑,如值域代码、基础数据转换、计算关系。
[0127]6)接收数据接口扩展:配置接收数据存储逻辑,如新增、修改、删除逻辑及其他数据计算逻辑。
[0128]7)数据接收:接收集成交换中间件数据推送服务推送给的数据。
[0129]8)数据解析与验证:根据步骤6,对接收的数据进行解析成可识别的对象,根据步骤4、步骤5的配置信息,验证接收数据是否符合数据规范。
[0130]9)数据存储逻辑计算:根据步骤7的结果,根据步骤6的配置信息,进行逻辑计算形成入库的存储数据逻辑。
[0131]10)数据入库:根据步骤9的计算结果进行数据入库操作。
[0132]7、设计集成交换中间件日志记录与监控管理方法
[0133]I)日志分类方法:根据日志的类别分为:正常的系统运行日志、系统运行错误日).、ι、O
[0134]2)不同部件的运行日志:根据日志分类方法,分门别类的记录三个部件的运行日志:数据发布适配器日志、数据订阅适配器日志、集成交换中间件中心端日志。
[0135]3)数据发布适配器日志管理:记录运行日志,提供正常运行日志与错误日志查看;提供分页上传实时监控、上传实时监控。
[0136]4)数据订阅适配器日志管理:记录运行日志,提供正常运行日志、错误日志查看;提供数据实时接收监控。
[0137]5)集成交换中间件中心端日志管理:记录运行日志,提供正常运行日志、错误日志查看;提供入库实时监控、发布实时监控、订阅实时监控、数据推送实时监控。
[0138]如图6所示,本发明实现原理如下:
[0139]1、通过数据元定义,形成数据集,在数据集的基础上形成交换标准与物理存储标准;
[0140]2、通过交换标准与发布系统数据库中物理表、字段建立匹配映射关系,形成数据库中的数据表与交换标准之间的逻辑关系。利用这种逻辑关系,在发布系统数据上传时完成发布系统数据标准与交换标准的转换;
[0141]3、利用数据库本身的CDC功能或触发器功能,实现发布系统变更数据的自动捕获,以变更数据作为数据交换的基础,采用订阅与分页技术获取上传数据,经过数据清洗与转换后发布变更数据;
[0142]4、接收发布系统的数据,通过交换标准、物理存储标准共同的依赖对象数据集作为转换对象,对接收到的数据进行数据存储表查找,通过计算判断数据的操作类型,分配数据存储表唯一的主键值,完成消息入库存储,自动化形成数据中心;
[0143]5、同时通过消息服务总线进行异步消息传送,采用订阅/发布技术、消息格式转换、消息规则过滤、智能推送等技术把接收到的数据推送给订阅系统;
[0144]6、通过交换标准与订阅系统数据库中的物理表、表字段匹配映射关系,形成订阅系统数据库中的数据表与交换标准之间的逻辑关系。利用这种逻辑关系,在订阅系统接收订阅数据后进行交换标准与订阅系统数据标准的转换;同时利用这种逻辑关系生成订阅系统接收数据的存储逻辑;
[0145]7、订阅系统接收到订阅的数据,对数据进行解析与转换,通过计算形成数据存储逻辑后,完成数据自动入库功能。
【主权项】
1.一种集成交换中间件,其特征在于,包括: 数据发布适配器:通过集成交换中间件中心端的标准下载服务接口下载发布交换规范;实现对发布系统数据的适配,形成数据采集的规则;对发布系统数据进行定时器服务、数据变更捕获、变更数据订阅、数据分页、清洗、转换和数据上传;实现数据订阅适配器的日志记录与查看,同时对运行情况提供实现监控管理; 集成交换中间件中心端:用于实现数据元管理、数据集模板管理、数据集管理、交换标准发布、定义数据存储标准、存储标准发布、发布者管理、订阅者管理、订阅规则管、定义消息队列、消息队列工作方式;实现定时器服务、订阅规则服务、入库消息队列管理服务、消息入库服务、发布消息队列管理服务、消息发布队列出库服务、订阅消息队列管理、消息推送服务;实现集成交换中间件中心端的日志记录与查看,同时对运行情况提供实现监控管理,包括正常运行日志查看、错误日志查看、入库实时监控、发布实时监控、订阅实时监控、数据推送实时监控; 数据订阅适配器:根据定义订阅者编码,通过集成交换中间件中心端的标准下载接口进行订阅交换规范下载,包括所述订阅交换规范包括数据集、数据元、值域代码、数据子集之间的逻辑关系;实现对订阅系统接收数据的适配,形成数据接收的规则;实现数据接收、数据解析与合法性校验、数据存储逻辑计算、数据入库功能;实现数据订阅适配器的日志记录与查看,同时对运行情况提供实现监控管理,包括正常运行日志查看、错误日志查看、数据实时接收监控。
2.根据权利要求1所述的集成交换中间件,其特征在于,所述数据发布适配器包括: 发布者参数配置模块:用于定义发布系统的发布者编码,与集成交换中间件中心端发布者管理模块中的定义发布者进行对应,如果不对应,数据发布适配器不能进行发布标准下载;同时数据集成交换中间件验证接收数据时会认为是非法的发布; 发布交换规范下载模块:用于根据发布者参数配置模块中定义的发布者编码,通过集成交换中间件的标准下载接口进行发布交换规范下载; 发布用户管理模块:用于定义发布用户信息和定义数据库的连接信息; 采集表管理模块:用于根据发布用户管理模块的连接信息确定发布用户下需要采集的表信息,即采集表,同时根据数据的特点,自动形成变更表的信息,如果有⑶C特性,则通过CDC特性形成变更表的结构,同时根据CDC特性捕获变更数据,如果没有CDC特性,
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1