一种用于政府数据共享的监控系统及方法与流程

本发明涉及政府数据共享技术领域，具体提供一种用于政府数据共享的监控系统及方法。

背景技术：

政府数据共享对于加快政府职能转变和管理创新，提升政府治理水平、促进政府透明建设，推动整个社会挖掘政府数据的巨大价值具有重要意义。目前，国内许多省都已建立了自己的数据共享平台，国家也正在陆续制定和实施具有本国特点的政府数据共享并且已经建立了全国政务信息共享交换平台。全国政务信息共享交换平台是开展非涉密政务信息资源共享交换的窗口和枢纽，满足部门之间、部省之间及跨省数据共享的需求，提高政府部门办事效率。然而，在全国政务信息共享交换平台实施过程中，因为缺少完善、高效的监控机制，日常的监控只能靠人工，不光效率低下，而且很多问题也不能及时发现，而且当发现问题故障之后排查过程也非常繁琐，导致整个数据共享流程的安全性和稳定性不能保证，严重影响政府数据共享的效率。

技术实现要素：

本发明的技术任务是针对上述存在的问题，提供一种能够大大缩短政府部门数据共享过程总的问题发现过程、解决问题、处理问题的时间，提高政府数据共享效率的用于政府数据共享的监控系统。

本发明进一步的技术任务是提供一种用于政府数据共享的监控方法。

为实现上述目的，本发明提供了如下技术方案：

一种用于政府数据共享的监控系统，包括配置管理子系统、数据采集子系统、应用运行情况子系统、告警管理子系统、工单管理子系统、知识库管理子系统和日志管理子系统，所述配置管理子系统进行监控指标、监控模板的配置；数据采集子系统用于监控基础数据采集与日志数据采集；应用运行情况子系统用于展示各子系统的运行情况；告警管理子系统实时展示告警情况及告警消息发送；工单管理子系统用于工单的创建及工单的跟踪；知识库管理子系统用于形成知识储备；日志管理子系统用于对数据共享过程中产生的日志进行统一管理。

所述日志管理子系统通过数据采集系统的日志采集模块，全国数据共享交换平台各子系统日志存于elasticsearch中。kibana基于web的图形界面，用于搜索、分析和可视化存储在elasticsearch指标中的日志数据。它利用elasticsearch的rest接口来检索数据，允许用户定制仪表板视图。

本发明所述用于政府数据共享的监控系统，基于政府数据共享业务，监控数据共享过程中所有业务系统、服务器、交换机和中间件。制定监控标准，可扩展性强，只要监控日志符合监控标准定义格式，即可纳入到监控范围中。该系统对业务系统没有任何影响，接入监控系统对原先的业务系统不需要做任何调整。

该用于政府数据共享的监控系统统一监控，做到问题快速发现、缺陷精准定位、工单及时解决，并通过工单的解决生成运维经验，提炼为知识库，为解决系统日常运行产生的问题提供资料辅助。解决了政府数据共享过程中业务系统、级联系统、数据交换系统和前置机子系统监控问题。大大缩短了政府部门数据共享过程中的问题发现过程、解决问题、处理问题的时间，并且可通过知识库发现整个数据共享过程中容易出现故障的环节，从而在日常保障和研发投入上可以做到对症下药，从而提高政府数据共享的效率。

作为优选，所述配置管理子系统对监控规则配置，其中监控规则配置包括监控规则名称、可监控对象类型、监控脚本和所需的输入参数。

监控规则名称、可监控对象类型、监控脚本和所需的输入参数组成目录信息表，包含目录基本信息及交换时间戳信息。

作为优选，所述数据采集子系统采集数据包括接口对接数据、网站埋点、通过程序实时收集、监控工具自采和日志数据采集。

所述接口对接数据提供rest风格接口供国家数据共享交换平台下所有子系统进行调用，实时报告本系统内告警信息。

日志数据采集中运用大数据处理技术，对日志进行归集、清洗、过滤、分析，提供直观可视化界面，为告警问题的处理、业务的监控提供坚实的基础。

作为优选，所述应用运行情况子系统监控大屏概览、级联系统监控、资源交换情况和用户行为分析。

作为优选，所述告警管理子系统包括告警展示、告警通知和告警自动生成工单。

作为优选，所述工单管理子系统包括工单分类管理、工单生成、工单处理和工单归档。

作为优选，所述知识库管理子系统包括知识档案生成、知识档案审核和知识档案检索。

一种用于政府数据共享的监控方法，该方法通过配置管理子系统进行监控指标、监控模板的配置，根据配置的监控指标和监控模板由数据采集子系统进行指标数据的采集并存入数据库，由日志管理子系统进行日志收集、过滤，存储到文件系统，应用运行情况子系统将数据采集子系统和日志管理子系统采集到的数据进行展示，由告警管理子系统进行各告警信息的实时展示，对告警进行分级、分类及告警消息通知发送，知识库管理子系统对告警问题解决方案归纳总结，生成知识库储备。

作为优选，所述日志管理子系统通过elasticsearch对采集到的日志进行分析，生成索引数据，对外提供查询接口。

与现有技术相比，本发明的用于政府数据共享的监控方法具有以下突出的有益效果：该用于政府数据共享的监控方法统一监控，能够做到问题快速发现、缺陷精准定位、工单及时解决，并通过工单的解决生成运维经验，提炼为知识库，为解决系统日常运行产生的问题提供资料辅助。解决了政府数据共享过程中业务系统、级联系统、数据交换系统和前置机子系统监控问题。大大缩短了政府部门数据共享过程中的问题发现过程、解决问题、处理问题的时间，并且可通过知识库发现整个数据共享过程中容易出现故障的环节，从而在日常保障和研发投入上可以做到对症下药，从而提高政府数据共享的效率，具有良好的推广应用价值。

附图说明

图1是本发明所述用于政府数据共享的监控系统的拓扑图。

具体实施方式

下面将结合附图和实施例，对本发明的用于政府数据共享的监控系统及方法作进一步详细说明。

实施例

如图1所示，本发明的用于政府数据共享的监控系统，包括配置管理子系统、数据采集子系统、应用运行情况子系统、告警管理子系统、工单管理子系统、知识库管理子系统和日志管理子系统，所述配置管理子系统进行监控指标、监控模板的配置；数据采集子系统用于监控基础数据采集与日志数据采集；应用运行情况子系统用于展示各子系统的运行情况；告警管理子系统实时展示告警情况及告警消息发送；工单管理子系统用于工单的创建及工单的跟踪；知识库管理子系统用于形成知识储备；日志管理子系统用于对数据共享过程中产生的日志进行统一管理。

配置管理子系统对监控规则配置，其中监控规则配置包括监控规则名称、可监控对象类型、监控脚本和所需的输入参数。

监控规则名称、可监控对象类型、监控脚本和所需的输入参数组成目录信息表，包含目录基本信息及交换时间戳信息。

数据采集子系统采集数据包括接口对接数据、网站埋点、通过程序实时收集、监控工具自采和日志数据采集。

接口对接数据提供rest风格接口供国家数据共享交换平台下所有子系统进行调用，实时报告本系统内告警信息。

日志数据采集中运用大数据处理技术，对日志进行归集、清洗、过滤、分析，提供直观可视化界面，为告警问题的处理、业务的监控提供坚实的基础。

应用运行情况子系统监控大屏概览、级联系统监控、资源交换情况和用户行为分析。

告警管理子系统包括告警展示、告警通知和告警自动生成工单。

工单管理子系统包括工单分类管理、工单生成、工单处理和工单归档。

识库管理子系统包括知识档案生成、知识档案审核和知识档案检索。

日志管理子系统通过数据采集系统的日志采集模块，全国数据共享交换平台各子系统日志存于elasticsearch中。kibana基于web的图形界面，用于搜索、分析和可视化存储在elasticsearch指标中的日志数据。它利用elasticsearch的rest接口来检索数据，允许用户定制仪表板视图。

该用于政府数据共享的监控系统，基于政府数据共享业务，监控数据共享过程中所有业务系统、服务器、交换机和中间件。制定监控标准，可扩展性强，只要监控日志符合监控标准定义格式，即可纳入到监控范围中。该系统对业务系统没有任何影响，接入监控系统对原先的业务系统不需要做任何调整。解决了政府数据共享过程中业务系统、级联系统、数据交换系统和前置机子系统监控问题。大大缩短了政府部门数据共享过程中的问题发现过程、解决问题、处理问题的时间，并且可通过知识库发现整个数据共享过程中容易出现故障的环节，从而在日常保障和研发投入上可以做到对症下药，从而提高政府数据共享的效率。

本发明的用于政府数据共享的监控方法，该方法通过配置管理子系统进行监控指标、监控模板的配置，根据配置的监控指标和监控模板由数据采集子系统进行指标数据的采集并存入数据库，由日志管理子系统进行日志收集、过滤，存储到文件系统，应用运行情况子系统将数据采集子系统和日志管理子系统采集到的数据进行展示，由告警管理子系统进行各告警信息的实时展示，对告警进行分级、分类及告警消息通知发送，知识库管理子系统对告警问题解决方案归纳总结，生成知识库储备。

该用于政府数据共享的监控方法通过用于政府数据共享的监控系统实现。用于政府数据共享的监控系统包括配置管理子系统、数据采集子系统、应用运行情况子系统、告警管理子系统、工单管理子系统、知识库管理子系统和日志管理子系统。

配置管理子系统进行监控指标、监控模板的配置。对监控规则配置，其中监控规则配置包括监控规则名称、可监控对象类型、监控脚本和所需的输入参数。

数据采集子系统用于监控基础数据采集与日志数据采集。数据采集子系统采集数据包括接口对接数据、网站埋点、通过程序实时收集、监控工具自采和日志数据采集。

应用运行情况子系统用于展示各子系统的运行情况。监控大屏概览、级联系统监控、资源交换情况和用户行为分析。

告警管理子系统实时展示告警情况及告警消息发送。

工单管理子系统用于工单的创建及工单的跟踪。

知识库管理子系统用于形成知识储备。

日志管理子系统用于对数据共享过程中产生的日志进行统一管理。其中日志管理子系统通过elasticsearch对采集到的日志进行分析，生成索引数据，对外提供查询接口。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。