一种主数据监控系统的制作方法

本发明涉及主数据应用技术领域，特别涉及一种主数据监控系统。

背景技术：

weblogic是美国oracle公司出品的一个applicationserver，确切的说是一个基于javaee架构的中间件，weblogic是用于开发、集成、部署和管理大型分布式web应用、网络应用和数据库应用的java应用服务器。将java的动态功能和javaenterprise标准的安全性引入大型网络应用的开发、集成、部署和管理之中。

数据资源管理平台采用批量、实时、准实时等多种技术方式与企业级信息管理系统进行数据交互。随着企业级信息化管理系统的实用化水平不断提高，企业级信息管理系统对主数据的及时性、一致性、准确性等维度的质量要求不断提升。

“平台化”路线，用于满足易用、跨平台、稳定、安全、整合、扩展等基本的信息系统建设的非功能性需求。技术特性平台化就是将数主数据监控非功能需求封装到技术平台当中，并通过平台命名空间、层结构等技术标准规定和约束了每个功能模块内部的主体结构。平台化使得系统中所有的功能模块可以自动继承平台的所有技术特征，进而简化了技术设计工作，开发人员不论是在设计阶段还是在日后的开发和维护阶段，都可以把节省下的大量时间和精力放在具体的业务功能性设计上，或者非功能需求的处理上。

现有技术的不足之处：部分主数据在交互过程中会出现数据丢失、数据处理失败等各种情况，现场运维人员只能通过服务交易的报文或者信息集成平台的通讯日志进行人工分析，排查效率不高，界面不友好，基层单位的用户无法及时了解主数据流转情况。

技术实现要素：

针对现有技术存在的不足，本发明的目的在于：解决现有的部分主数据在交互过程中会出现数据丢失、数据处理失败等各种情况，现场运维人员只能通过服务交易的报文或者信息集成平台的通讯日志进行人工分析，排查效率不高，界面不友好，基层单位的用户无法及时了解主数据流转情况的问题。

上述技术目的是通过以下技术方案实现的，一种主数据监控系统，包括数据资源管理平台，还包括weblogic中间件服务器与基于cxf-webservice的主数据服务器，所述weblogic中间件服务器和所述cxf-webservice的主数据服务器与数据资源管理平台连接；

所述weblogic中间件服务器，用于开发、集成、部署和管理大型分布式web应用、网络应用和数据库应用；

所述cxf-webservice的主数据服务器，包括主数据监控模块，与weblogic中间件服务器连接，用于主数据侧协同数据流转过程监控与应用分析，与进行数据交互过程监控、主数据服务异常分析与统计、数据一致性分析定位与系统管理。

进一步的，所述主数据监控模块包括界面层、逻辑层、存储层和采集层。

进一步的，所述界面层，用于为平台用户提供用户登陆界面、操作界面、流程审批界面，用户通过平台界面维护/管理系统运行的配置信息和平台使用权限，并提供对系统运行日志的监控处理。

进一步的，所述逻辑层，用于提供平台的核心服务和功能，包括主数据统计、实时主数据流转监控、准实时主数据流转监控、同步广播服务流转监控、电子化移交单流转监控、异常管理、统计报表、交易查询。

进一步的，所述存储层，用于数据存储，负责数据的持久化存储，包括数据文件存储、主数据存储、数据标准信息存储、数据质量信息存储、平台管理信息存储。

进一步的，所述采集层，用于接入数据的数据服务接口，主数据监控平台通过webservice或jms或etl提供实时数据服务接口、准实时数据服务接口及批量数据服务接口。

进一步的，所述实时数据服务接口包含实时服务与实时广播；

所述实时服务包括外围系统通过数据资产管理平台提供的webservice实时服务访问数据；

所述实时广播包括数据资产管理平台通过jms协议信息集成平台将变更信息准实时分发到目标系统；

所述准实时为准实时接收包括通过jms协议异步接收源系统发送到主数据监控管理平台的数据，在事务失败时，数据存在流程回退，有异步处理能力。

进一步的，所述数据交互过程监控包括数据提供方与主数据的交互监控以及主数据与数据消费方的交互监控；

所述数据提供方与主数据的交互监控包括批量数据流转监控与单条数据流转监控；

所述主数据与数据消费方的交互监控包括批量数据广播监控与单条数据广播监控；

所述数据交互过程监控包括对数据提供方与主数据的交互监控、主数据与数据消费方交互监控的数据进行数据实时统计与消息队列监控以及数据交互异常捕获。

进一步的，所述主数据服务异常分析与统计包含原因分析、服务异常统计、影响分析；

所述服务异常统计可对数据提供方与数据消费方统计，并且可对主数据类别统计，及错误原因、交易时间统计，并且可统计数据影响的范围。

进一步的，所述系统管理包含用户管理、权限管理以及数据同步管理；

所述数据同步管理可协同主数据质量问题明细、协同主数据质量评分、协同主数据质量考核规则与主数据服务交易日志。

综上本发明具有以下技术效果：

以不同视角实现全网数据的展示，全面、多维度的展示主数据流转情况，达到可看、可查、可管、可用的目标；支持主数据服务异常规则配置；支持主数据服务异常监控与分析；支持主数据异常消息分发；提升了主数据三方一致率支持主数据影响分析(包括直接影响、间接影响两种分析模式)；当某类主数据服务交易失败后，及时预警，提醒用户该条数据失败后将影响哪个考核指标或者哪类主数据；支持主数据一致性检查规则配置，支持主数据一致性检查调度，支持主数据一致性检查分析。

附图说明

图1为实施例为数据资源管理平台的主数据侧协同数据流转过程监控与应用分析的集成示意图；

图2为实施例为主数据监控模块的集成示意图；

图3为实施例为主数据监控的总体集成示意图；

图4为实施例为主数据监控流程示意图；

1、主数据服务异常分析与统计；11、数据一致性分析定位；12、数据交互过程监控；121、数据提供方与主数据的交互监控；1211、批量数据流转监控；1212、单条数据流转监控；122、主数据与数据消费方的交互监控；1221、单条数据广播监控；1222、批量数据广播监控；13、系统管理；14、原因分析；15、影响分析；16、服务异常统计；17、数据同步；2、数据实时统计；3、消息队列监控；4、数据交互异常捕获；5、界面层；6、逻辑层；7、存储层；8、采集层；9、数据资源管理平台；91、主数据管理；92、数据质量管理；93、业务系统；94、soa服务；95、消息队列。

具体实施方式

实施例一，

如图1与图4所示，一种主数据监控系统，包括数据资源管理平台9，还包括weblogc中间件服务器与基于cxf-webservice的主数据服务器，所述weblogc中间件服务器和所述cxf-webservice的主数据服务器与数据资源管理平台9连接；

所述weblogc中间件服务器，用于开发、集成、部署和管理大型分布式web应用、网络应用和数据库应用；

所述cxf-webservice的主数据服务器，包括主数据监控模块，与weblogc中间件服务器连接，用于主数据侧协同数据流转过程监控与应用分析，与进行数据交互过程监控12、主数据服务异常分析与统计1、数据一致性分析定位11与系统管理13，其中，主数据侧协同数据流转过程监控与应用分析主要参考图1所示。

在本实施例中，数据资源管理平台9包括主数据管理91与数据管理91并列的数据质量管理92，主数据管理91用于接收管理cxf-webservice的主数据服务器反馈的所有信息，数据质量管理92是对cxf-webservice的主数据服务器反馈的信息审批。

在本实施例中，支持主数据服务异常规则配置；支持主数据服务异常监控与分析；支持主数据异常消息分发；提升了主数据三方一致率支持主数据影响分析(包括直接影响、间接影响两种分析模式)；当某类主数据服务交易失败后，及时预警，提醒用户该条数据失败后将影响哪个考核指标或者哪类主数据；支持主数据一致性检查规则配置，支持主数据一致性检查调度，支持主数据一致性检查分析。

实施例二，

如图1与图4所示，一种主数据监控系统，包括数据资源管理平台9，还包括weblogc中间件服务器与基于cxf-webservice的主数据服务器，所述weblogc中间件服务器和所述cxf-webservice的主数据服务器与数据资源管理平台9连接；

所述weblogc中间件服务器，用于开发、集成、部署和管理大型分布式web应用、网络应用和数据库应用；

所述cxf-webservice的主数据服务器，包括主数据监控模块，与weblogc中间件服务器连接，用于主数据侧协同数据流转过程监控与应用分析，与进行数据交互过程监控12、主数据服务异常分析与统计1、数据一致性分析定位11与系统管理13，其中，主数据侧协同数据流转过程监控与应用分析主要参考图1所示。

在本实施例中，支持主数据服务异常规则配置；支持主数据服务异常监控与分析；支持主数据异常消息分发；提升了主数据三方一致率支持主数据影响分析(包括直接影响、间接影响两种分析模式)；当某类主数据服务交易失败后，及时预警，提醒用户该条数据失败后将影响哪个考核指标或者哪类主数据；支持主数据一致性检查规则配置，支持主数据一致性检查调度，支持主数据一致性检查分析。

如图2所示，所述主数据监控模块包括界面层5、逻辑层6、存储层7和采集层8。

所述界面层5，用于为平台用户提供用户登陆界面、操作界面、流程审批界面，用户通过平台界面维护/管理系统运行的配置信息和平台使用权限，并提供对系统运行日志的监控处理。

所述逻辑层6，用于提供平台的核心服务和功能，包括主数据统计、实时主数据流转监控、准实时主数据流转监控、同步广播服务流转监控、电子化移交单流转监控、异常管理、统计报表、交易查询。

所述存储层7，用于数据存储，负责数据的持久化存储，包括数据文件存储、主数据存储、数据标准信息存储、数据质量信息存储、平台管理信息存储。

所述采集层8，用于接入数据的数据服务接口，主数据监控平台通过webservice,jms,etl提供实时、准实时、批量数据服务接口。

所述实时包含实时服务与实时广播；

所述实时服务，外围系统通过数据资产管理平台提供的webservice实时服务访问数据；

所述实时广播，数据资产管理平台通过jms协议信息集成平台将变更信息准实时分发到目标系统；

所述准实时为准实时接收，通过jms协议异步接收源系统发送到主数据监控管理平台的数据，在事务失败时，数据存在流程回退，有异步处理能力。

其中，jsp：全名为javaserverpages，中文名叫java服务器页面，其根本是一个简化的servlet设计，它是由sunmicrosystems公司倡导、许多公司参与一起建立的一种动态网页技术标准，jsp技术有点类似asp技术，它是在传统的网页html(标准通用标记语言的子集)文件(*.htm,*.html)中插入java程序段(scriptlet)和jsp标记(tag)，从而形成jsp文件，后缀名为(*.jsp)。用jsp开发的web应用是跨平台的，既能在linux下运行，也能在其他操作系统上运行。

css：层叠样式表(英文全称：cascadingstylesheets)是一种用来表现html(标准通用标记语言的一个应用)或xml(标准通用标记语言的一个子集)等文件样式的计算机语言。

在本实施例中，采集层8中的批量模式，通过etl方式实现数据的批量传输。

在本实施例中，主数据实时主数据流转监控、准实时服务流转监控、同步广播服务流转监控、电子化移交单流转监控是对主数据的各个环节进行监控，能够监控到每个环节的失败数及展示失败节点数据和对应报文信息。

可对主数据全网总体情况、电子化移交单情况、各业务系统情况、各主数据传输方式情况的成功数、失败数及总数的实时展示实现对主数据的监控，根据实明主数据流转监控、准垂的服务流转监控、同步广播取务流转监控、电子化移交单流转监控、异常攵卜珅、报表统计、交易信息，进行可用高低不同的数值来进行查看。

其中，主数据实时主数据流转监控、准实时服务流转监控、同步广播服务流转监控、电子化移交单流转监控是对主数据的各个环节进行监控，能够监控到每个环节的失败数及展示失败节点数据和对应报文信息。

在本实施例中，主数据针对每个服务监控到的异常信息会进行重新广播，重新广播会对主数据数据进行修改广播状态，组件会对数据中广播状态被修改的数据信息进行广播，重新广播之后会重新分发至各个主数据。

实施例三，

如图1与图4所示，一种主数据监控系统，包括数据资源管理平台9，还包括weblogc中间件服务器与基于cxf-webservice的主数据服务器，所述weblogc中间件服务器和所述cxf-webservice的主数据服务器与数据资源管理平台9连接；

所述weblogc中间件服务器，用于开发、集成、部署和管理大型分布式web应用、网络应用和数据库应用；

所述cxf-webservice的主数据服务器，包括主数据监控模块，与weblogc中间件服务器连接，用于主数据侧协同数据流转过程监控与应用分析，与进行数据交互过程监控12、主数据服务异常分析与统计1、数据一致性分析定位11与系统管理13，其中，主数据侧协同数据流转过程监控与应用分析主要参考图1所示。

如图3与图4所示，所述数据交互过程监控包含数据提供方与主数据的交互监控121以及主数据与数据消费方的交互监控12；所述数据提供方与主数据的交互监控121包含批量数据流转监控1211与单条数据流转监控1212；所述主数据与数据消费方的交互监控12包含批量数据广播监控1222与单条数据广播监控1221；所述数据交互过程监控对数据提供方与主数据的交互监控、主数据与数据消费方交互监控的数据进行数据实时统计2与消息队列监控3以及数据交互异常捕获4，所述主数据服务异常分析与统计1包含原因分析141、服务异常统计16、影响分析15；所述服务异常统计16可对数据提供方与数据消费方统计，并且可对主数据类别统计，及错误原因、交易时间统计，并且可统计数据影响的范围，所述系统管理13包含用户管理、权限管理以及数据同步管理；所述数据同步管理17可协同主数据质量问题明细、协同主数据质量评分、协同主数据质量考核规则与主数据服务交易日志。

在本实施例中，主数据监控管理平台项目的主要内容包括主数据统计、实时主数据流转监控、准实时主数据流转监控、同步广播服务流转监控、电子化移交单流转监控、异常管理、统计报表、交易查询模块的设计开发。

在本实施例中，详细可参考图4所示，主数据服务可以接收业务系统93以及业务系93统反馈至soa服务94的数据，并且主数据服务可将数据反馈至主数据平台库9，主数据平台库9接收到信息后进行对数据划分消息队列95，在反馈至内部soa服务94，soa服务94接收信息的信息后会返回一条记录，对比与主数据方数据是否一致，并且储存在主数据台库中。

其中，soa服务94用于主数据监控接收以及业务服务系统数据。

综上所述，该发明优点：以不同视角实现全网数据的展示，全面、多维度的展示主数据流转情况，达到可看、可查、可管、可用的目标；支持主数据服务异常规则配置；支持主数据服务异常监控与分析；支持主数据异常消息分发；提升了主数据三方一致率支持主数据影响分析(包括直接影响、间接影响两种分析模式)；当某类主数据服务交易失败后，及时预警，提醒用户该条数据失败后将影响哪个考核指标或者哪类主数据；支持主数据一致性检查规则配置，支持主数据一致性检查调度，支持主数据一致性检查分析。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。