一种集成交换中间件及其实现方法_4

文档序号:8543531阅读:来源:国知局
则通过对采集表的结构分析生成变更表,同时自动在源表建立触发器进行采集表数据变化的捕获,并将捕获的数据变化自动存入变更表中; 发布交换规范与采集表配置模块:用于建立发布交换规范中各子集与采集表的匹配关系,形成发布交换规范下各子集与采集表的对应关系; 数据发布接口配置模块:用于根据发布交换规范与采集表配置模块的对应关系,建立发布交换规范中数据集子集的数据元与发布表字段的映射关系,同时对转换逻辑进行配置; 数据上传启停模块:对数据上传服务进行停用与启用操作,同时配置各数据集上传的时间频度,所述时间频度包括时间单位与时间间隔; 定时器服务模块:用于根据数据上传启停模块的上传启停时间频度,定时调度订阅变更数据模块、数据分页模块、定时上传模块的任务; 数据捕获模块:用于根据采集表的配置信息,动态捕获采集表的数据变化,形成采集表变更数据信息,并将所述变更数据信息存入变更表; 订阅变更数据模块:用于根据数据捕获模块捕获的采集表变更数据信息,形成订阅上传信息初始化信息; 数据分页模块:用于对订阅变更数据模块获得的订阅上传信息进行数据分页处理,形成分页上传信息,提升上传的性能; 定时上传模块:用于根据数据上传启停模块的配置信息,对数据分页模块形成的分页上传信息进行清洗与转换,定时调用集成交换中间件中心端提供的服务接口,发布清洗与转换后的数据到集成交换中间件中心端; 数据发布适配器日志管理模块:用于记录数据发布适配器中上述所有模块的运行日志,提供正常运行日志与错误日志查看功能,并实时监控数据分页模块、定时上传模块。
3.根据权利要求2所述的集成交换中间件,其特征在于,所述集成交换中间件中心端包括: 数据元管理模块:用于定义数据项字段属性; 数据集模板管理模块:用于根据业务的特点和数据元管理模块定义的数据字段属性,定义某个业务在信息系统中的数据元构成; 数据集管理模块:用于数据集分类维护,定义数据集的数据集子集信息,根据数据集模板管理模块定义的数据元构建数据集子集之间的逻辑关系,同时维护数据集子集的数据元构成,形成数据交换规范,所述数据交换规范包括发布交换标准与订阅交换标准; 定义数据存储标准模块:用于以数据集管理模块定义的数据集为基础,定义数据集的物理存储标准; 交换标准发布模块:用于根据数据集管理模块形成的数据交换规范发布数据交换标准,形成正式版本的交换标准; 存储标准发布模块:用于发布定义数据存储标准模块定义的物理存储标准,生成集成交换中件间数据中心的物理表; 发布者管理模块:用于定义发布者编码、名称、发布数据格式、发布用的协议类型、服务地址;发布者发布的数据交换规范,分配入库消息队列; 订阅者管理模块:用于定义订阅者编码、名称、订阅数据格式、订阅数据采用的协议、服务地址、调用方法;定义订阅者订阅数据交换规范及定阅订阅规则,同时分配订阅消息队列; 消息队列定义模块:用于定义入库消息队列、发布消息队列、订阅消息队列三种消息队列的数量;定义入库消息队列各队列对应的发布数据集及订阅消息队列对应的发布者信息; 消息队列工作方式定义模块:用于定义入库消息队列出库的时间频度、发布消息队列出库的时间频度、订阅消息队列的出库的时间频度,所述时间频度包括时间单位与间隔时间; 中心端定时器服务模块:用于根据消息队列定义模块、消息队列工作方式定义模块、发布者管理模块、订阅者管理模块定义的信息,定时调度数据从入库队列出队、数据从发布队列出库、数据从订阅队列出库任务; 订阅规则服务模块:用于根据订阅者管理模块定义的订阅规则,提供订阅规则计算服务,确定消息的订阅者; 数据接收模块:用于接收发布系统发布的数据,同时进行发布者验证、发布数据校验、数据转换,把数据送入入库消息队列; 消息入库模块:用于定时从入库消息队列中获取入库数据,进行数据存储表查找,判断数据的操作类型,分配数据存储表唯一的主键键值,完成消息入库存储,形成数据中心的数据;同时把入库的消息送入发布消息队列; 消息发布队列出库模块:用于定时从发布消息队列中取出消息,调用订阅规则服务模块进行订阅计算,确定消息的订阅者及订阅者的订阅信息;同时把订阅者的订阅信息送入订阅消息队列; 消息推送服务模块:用于根据订阅者管理模块定义的配置信息,定时从订阅消息队列中取出消息,并进行订阅者的订阅数据推送; 集成交换中间件中心端日志管理模块:用于记录集成交换中间件中心端上述所有模块的运行日志,提供正常运行日志、错误日志查看功能,实时监控消息入库模块、消息发布队列出库模块、消息推送服务模块、订阅者管理模块。
4.根据权利要求3所述的集成交换中间件,其特征在于,所述数据字段属性包括数据元编码、数据元名称、数据类型、数据长度、数据精度、单位、取值范围、值域规范。
5.根据权利要求4所述的集成交换中间件,其特征在于,所述物理存储标准包括主键、外键、索引、非空、物理表名。
6.根据权利要求5所述的集成交换中间件,其特征在于,所述数据订阅适配器包括: 订阅者参数配置模块:用于定义订阅系统的订阅者编码,与集成交换中间件发布者管理模块中的定义订阅者进行对应,如果不对应,数据订阅适配器不能进行订阅交换标准下载;同时数据订阅适配器在接收集成交换中间件推送的数据时,验证订阅用户失败,信息不能正常推送; 订阅交换标准下载模块:用于根据订阅者参数配置模块定义的订阅者编码,通过集成交换中间件的标准下载接口进行订阅交换规范下载,包括数据集、数据元、值域代码、数据子集之间的逻辑关系; 订阅用户管理模块:用于定义接收用户信息,定义数据库的连接信息; 订阅交换标准与源表配置模块:用于根据订阅用户管理模块的连接信息建立订阅交换标准中数据集中各子集与订阅用户源表的对应关系; 接收数据接口配置模块:用于根据所述订阅交换标准与源表配置模块建立的对应关系配置订阅交换标准中数据子集与源表的字段映射关系和数据转换逻辑; 接收数据接口扩展模块:用于根据接收数据接口配置模块配置的映射关系和数据转换逻辑配置接收数据存储逻辑; 数据接收模块:用于接收集成交换中间件中心端推送服务模块推送的消息; 数据解析与验证模块:用于根据接收数据接口扩展模块配置的接收数据存储逻辑,将数据接收模块接收的数据解析成可识别的对象,同时根据订阅交换标准与源表配置的对应关系、接收数据接口配置的映射关系,验证接收数据是否符合数据规范; 数据存储逻辑计算模块:用于根据数据解析与验证模块的验证结果和接收数据接口扩展配置的接收数据存储逻辑,进行逻辑计算形成入库的存储数据逻辑;数据入库模块:用于根据数据存储逻辑计算模块行程的存储数据逻辑进行数据入库操作; 数据订阅适配器日志管理模块:用于记录数据订阅适配器上述所有模块的运行日志,提供正常运行日志、错误日志查看功能,实时监控数据接收模块。
7.根据权利要求6所述的集成交换中间件,其特征在于,还包括: 日志分类模块:用于根据日志的类别将运行日志分为正常的系统运行日志、系统运行错误日志; 日志记录模块:用于根据日志分类模块分类的结果,记录数据发布适配器日志、数据订阅适配器日志、集成交换中间件中心端日志。
8.一种权利要求1?7之一所述集成交换中间件的实现方法,其特征在于,包括以下步骤: 1)通过数据元定义,形成数据集,在数据集的基础上形成交换标准与物理存储标准;所述交换标准包括发布交换标准和订阅交换标准; 2)通过交换标准与发布系统数据库中物理表、字段建立匹配映射关系,形成数据库中的数据表与交换标准之间的逻辑关系,利用所述逻辑关系,在发布系统数据上传时完成发布系统数据标准与交换标准的转换; 3)利用数据库本身的CDC功能或触发器功能,实现发布系统变更数据的自动捕获,以变更数据作为数据交换的基础,采用订阅与分页技术获取上传数据,经过数据清洗与转换后发布变更数据; 4)接收发布系统发布的上述变更数据,将交换标准、物理存储标准共同的依赖对象数据集作为转换对象,对接收到的数据进行数据存储表查找,通过计算判断数据的操作类型,分配数据存储表唯一的主键键值,完成消息入库存储,自动化形成数据中心;同时通过消息服务总线进行消息格式转换、消息规则过滤、异步消息传送,采用订阅/发布技术、智能推送技术把数据推送给订阅系统; 5)通过交换标准与订阅系统数据库中的物理表、表字段匹配映射关系,形成订阅系统数据库中的数据表与交换标准之间的逻辑关系,利用该逻辑关系,在订阅系统接收订阅数据后进行交换标准与订阅系统数据标准的转换;同时利用该逻辑关系生成订阅系统接收数据的存储逻辑; 6)订阅系统接收到订阅的数据,对数据进行解析与转换,形成数据存储逻辑后,完成数据自动入库功能。
【专利摘要】本发明公开了一种集成交换中间件及其实现方法,集成交换中间件包括:数据采集适配器:用于发布数据标准下载;实现对采集数据的适配,形成数据采集的规则;运行管理;进行日志记录与监控监管,实现日志记录与查看,同时对运行情况提供实现监控管理;集成交换中间件中心端:用于实现标准化管理、配置管理、运行管理和实现集成交换中间件中心端的日志记录与查看,同时为运行情况提供监控管理;数据接收适配器:用于下载接收数据系统交换规范,进行用户配置、接收数据集与接收系统用户表关系与字段映射、接口逻辑配置;运行管理;实现接收适配器的日志记录与查看,为运行情况提供监控管理。本发明使得不同的应用软件集成的复杂度大大降低,接入成本基本为零,有效的解决了应用软件的集成问题。
【IPC分类】G06F9-44, G06F17-30
【公开号】CN104866326
【申请号】CN201510344283
【发明人】杨章衡
【申请人】长沙廖氏软件科技有限公司
【公开日】2015年8月26日
【申请日】2015年6月19日
当前第4页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1