数据质量监控方法
【专利摘要】本发明公开了一种数据质量监控方法，包括对计算机中的所有应用系统按照专业进行区域划分；对不用种类的接口分别采用特定的监控方式进行数据提取；将采集的实时数据传输至数据处理层的数据库中；数据处理层对采集的原始数据进行分析处理，生成分析数据，发送至数据展现层进行展示；数据展现层以图形形式将各应用系统间的传输情况进行展示的步骤。本发明采用先进的数据提取技术，实现对业务系统之间、数据中心与业务系统之间进行数据交互情况的实时监控，改变当前接口传输异常情况只能事后解决且解决不及时的问题。
【专利说明】数据质量监控方法
【技术领域】
[0001]本发明涉及计算机信息【技术领域】，特别是一种用于对计算机内各应用系统之间数据流的传输进行质量监控的方法。
【背景技术】
[0002]随着供电公司中信息系统建设的不断完善，对各信息系统之间、数据中心与信息系统之间接口的监控变得尤为重要，决策层需要加强对接口数据流的管控，提高系统间数据流的稳定性及传输效率。目前国内数据监控软件主要的功能是对数据的传输进行监视，并记录数据传输状态是否正常，然后通过界面将数据传输状态结果进行显示，但是却无法查看各应用系统之间的数据流向以及数据传输过程中的各种状态，并且这些监控软件只能支持相同类型的浏览器进行操作，显示界面存在页面呆板、操作不方便、需要不断刷新才能够获取新彳目息等缺点。
【发明内容】
[0003]本发明需要解决的技术问题是提供一种能够对应用系统之间的数据流向以及数据传输过程中的各种状态进行实时监控的数据质量监控方法，以提高系统间数据流的稳定性及传输效率。
[0004]为解决上述技术问题，本发明所采用的技术方案是:
数据质量监控方法，包括以下步骤:
A.对计算机中的所有应用系统按照专业进行区域划分；
B.根据步骤A的分类，对不用种类的接口分别采用特定的监控方式进行数据提取；
C.将采集的实时数据传输至数据处理层的数据库中；
D.数据处理层对采集的原始数据进行分析处理，生成分析数据，发送至数据展现层进行展示；
E.数据展现层以图形形式将各应用系统间的传输情况进行展示。
[0005]本发明步骤B所述监控方式包括ESB服务总线监控方式、Informatica数据监控方式以及数据库系统中间表监控方式。
[0006]由于采用了上述技术方案，本发明取得的技术进步是:
本发明采用先进的数据提取技术，实现对业务系统之间、数据中心与业务系统之间进行数据交互情况的实时监控，改变当前接口传输异常情况只能事后解决且解决不及时的问题。本发明还可以以动态图形的形式将应用系统按关注度进行展示，可以清晰查看应用系统之间的数据流向及数据传输中出现的各种状态，大大提高了系统间数据流的稳定性及传输效率。本发明应用在计算机中对计算机中的各应用系统间的数据流进行监视，能够基于Web的富客户端界面，不必安装特别软件，通过IE浏览器即可使用，能够完成在相同机器上的不同浏览器中运行的应用程序之间的相互通信，实现不同应用程序之间的数据共享。
【具体实施方式】
[0007]下面结合具体实施例对本发明做进一步详细说明:
一种数据质量监控方法应用在供电公司的计算机系统中，对计算机系统的各个应用程序之间的数据流向以及数据在传输过程中的各种状态进行实时监控并进行动态显示。
[0008]本发明在应用过程中，采用java+flex编程技术并使用Oracle数据库,在Linux操作系统环境下运用Eclipse开发工具进行设计与开发完成。具体包括以下步骤:
A.对计算机系统中的所有应用系统按照专业进行区域划分。以河北电网运行为例，可将河北电网系统中的200多个应用系统按照专业进行区域划分。
[0009]B.根据步骤A的分类，对不用种类的接口分别采用特定的监控方式进行数据提取。本发明中不同种类的应用系统间的接口方式主要有ESB、Informatica、中间表以及其它方式，针对不同种类的接口分别采用特定的监控方式进行处理，保证不影响现有系统接口的运行和性能。
[0010]上述各接口的监控方式如下:
ESB服务总线监控方式，ESB全称为Enterprise Service Bus,即企业服务总线，是传统中间件技术与XML、Web服务等技术结合的产物。ESB提供了网络中最基本的连接中枢，是构筑企业神经系统的必要元素。ESB服务总线主要面向通用数据集成服务。
[0011]Informatica数据监控方式，用于从生产库中提取数据到数据仓库中，在由具体的报表、统计、分析工具对数据仓库的内容进行分析，分析出自己所需要的数据；具有强大的元数据管理、数据集成和个性化分析递送功能。Informatica用于把源数据库的内容提取存放到目标数据库中的过程进行实时监控。
[0012]数据库系统中间表监控方式，可以通过数据库系统的告警信息来发现数据库的异常情况，包括数据库表空间不够，发送系统和接受系统数据库连接不上、数据类型发生变化坐坐寸寸ο
[0013]对应上述监控方式设计的脚本模式的数据提取工具，被封装成一个个独立的组件单元，这些组件可轻松完成监控服务注册、调用。
[0014]在具体操作过程中，可对各应用系统以及各应用系统接口的基础信息进行配置，可以以相应的接口方式从数据中心获取数据和从相应的维度进行统计分析。主要操作包括以下几个方面:
I)硬件信息维护:在系统中对应用系统的硬件信息进行维护，并与应用系统信息相对应，便于系统硬件出现错误查找出问题硬件。
[0015]2)应用系统信息维护:可对计算机系统中运行的各应用系统台账进行增、删、改功能维护，并能通过系统设置的查询条件进行组合查询。
[0016]3)接口信息维护:用于各应用系统间接口台账数据进行增、删、改功能维护，并能通过系统设置的查询条件进行组合查询。
[0017]4)系统类型维护:对各应用系统的所属系统类型进行增、删、改功能维护，并能通过系统设置的查询条件进行组合查询。
[0018]5)业务类型维护:主要是对业务的类型进行维护，包括业务类型编码和业务类型和业务类型描述。业务类型作为基础信息，是实现其他功能的基础。并能通过系统设置的查询条件进行组合查询。
[0019]6)接口方式维护:对各接口的接口方式进行增、删、改等功能维护，并能通过系统设置的查询条件进行组合查询。
[0020]C.将采集的实时数据传输至数据处理层的数据库中。通过数据提取工具，可以方便的对运行期间各应用系统之间的交互数据进行实时监控，调用数据提取工具上采集的系统间数据传输量、数据传输时间、数据传输状态、数据传输出错原因等实时或准实时数据，并且支持把实时数据通过数据提取工具传输到数据处理层的数据库中。
[0021]D.数据处理层对采集的原始数据进行分析处理，生成分析数据，发送至数据展现层进行展示。
[0022]E.数据展现层以图形形式将各应用系统间的传输情况进行展示，用户可通过鼠标进行操作，而不需要任何输入信息，具有很强的可操作性和易用性。
[0023]数据展现层可以以数据流图的形式展示各应用系统间的数据传输情况，并可按照用于关注程度将所有系统进行分级展示，以提高查询效率。
[0024]数据展示具有以下功能:
I)全局展示功能:数据流图将各系统的接口数据状态进行全局展现，可以直观的看到所有系统接口的数据传输状况。
[0025]2)分级展示功能:数据流图可以按照系统关注度的不同分为三类系统，可以更直观的关注某一类系统信息。
[0026]3)缩放功能:在全局展现时将局部区域的数据进行放大，能更清晰和详细的查看到所选区域的数据传输状况，如传输数据量、数据流向等。
[0027]4)传输信息查询:通过接口通道展示接口传输的发起系统、接收系统、数据量、传输效率、开始时间和完成时间等信息。
[0028]5)系统信息显示:展示系统相关信息，如:系统上线时间、责任人、责任人联系电话、软件厂商等信息。
[0029]6)系统状态提示:在数据流图中可直接点击查看相关系统的。
[0030]7)单点扩散:以指定系统为出发点，看与其有接口数据传输的系统，分为大图扩散和小图扩散。
[0031]数据展现层通过采用Flex技术并对其进行改进，实现了系统界面中点与面的可操作性、实时刷新和运行流畅性，用户可在数据流图中直观的看到实时传输接口的数据流动情况，并可通过简单的鼠标操作即可查看当前传输接口数据的传输状态(成功/失败)及异常原因等信息，不需要用户进行复杂的键盘输入，方便快捷。
【权利要求】
1.数据质量监控方法，其特征在于包括以下步骤: A.对计算机中的所有应用系统按照专业进行区域划分； B.根据步骤A的分类，对不用种类的接口分别采用特定的监控方式进行数据提取； C.将采集的实时数据传输至数据处理层的数据库中； D.数据处理层对采集的原始数据进行分析处理，生成分析数据，发送至数据展现层进行展示； E.数据展现层以图形形式将各应用系统间的传输情况进行展示。
2.根据权利要求1所述的数据质量监控方法，其特征在于:步骤B所述监控方式包括ESB服务总线监控方式、Informatica数据监控方式以及数据库系统中间表监控方式。
【文档编号】G06F11/30GK104133753SQ201410258757
【公开日】2014年11月5日 申请日期:2014年6月12日 优先权日:2014年6月12日
【发明者】李井泉, 辛锐, 崔志坤, 连浩 申请人:国家电网公司, 国网河北省电力公司信息通信分公司