一种用于高速公路系统的运维监控系统的制作方法

本发明属于信息化技术领域，尤其涉及一种用于高速公路系统的运维监控系统。

背景技术：

随着高速公路的高速发展，高速公路电子收费系统通过在高速公路收费站应用组合式联网电子收费技术，可有效地提高收费站通行能力。但是随着城市车辆数量的膨胀，提高汽车etc安装率和使用率是实现不停车快捷收费、基本取消高速公路省界收费站目标的关键，大力推动etc发展，年底前高速公路电子不停车收费率将达到90%，图片及交易数据的数据量将会是现在的5-10倍，运维工作量也将会呈现倍级的增长，运维的难度、复杂度也将增加，在不增加人手的情况下，以手工运维的传统方式将不能满足运维需求。

现有系统平台的运维采用的是通过实施开源软件收集了多年的相关网络环境数据、系统服务日志数据、数据库日志数据、相关的系统硬盘、内存、网络流量的数据，并以此建立了数据服务平台，可以对数据的细粒度业务服务进行数据获取监控。

但是，当前系统运维的过程中存在一些问题：

1、随着高速路车流量的增大，系统平台的扩展，机器和设备数量增长，巡检工作会耗费较长时间。

2、机器和设备数量增长导致数据量迅速增长，监控告警以及监控反馈时间变长。

3、数据监控结果展示可视化不足，数据统计维度设定不够灵活。

4、数据监控综合可视化不够，无灵活定制的大屏综合数据展示机制。

5、数据监控过程中，数据类型的多样化，设备信息、指标信息、系统日志信息、数据库信息、配置信息、应用日志信息等无法实现统一平台监控和告警。

6、机器和设备之间的拓扑关系图更新耗时较长。

技术实现要素：

鉴于上述的分析，本发明旨在提供运维监控系统，用以解决现有系统难以满足日常运行应对调整的需求，无法保护企业核心资产的难题。本发明的目的主要是通过以下技术方案实现的：

本发明提供了一种用于高速公路系统的运维监控系统，该运维监控系统包括：

收集模块：用于收集数据源、硬件设备数据、网络拓扑数据、中间件服务数据、应用服务数据，将收集到的数据进行管理存储；

监控模块：将收集模块收集的数据进行分类存储并监控；

预警模块：进行预警规则设置，预警阈值设置以及预警联系人设置，从收集模块定时或实时采集数据，然后将采集到的数据与指定的报警阈值进行对比，对符合预警规则的信息进行预警，并将预警结果进行集中展现及提供预警历史数据查询接口。

进一步地，运维监控系统还包括展示模块，所述展示模块将收集模块收集的数据以图表的形式通过大屏显示。

进一步地，运维监控系统还包括预测规划模块，所述预测规划模块根据系统在正常和异常状态时对资源的消耗趋势的历史数据，训练机器模型，从而对故障、硬件资源、中间件服务资源、设备容量、网络容量进行预测，并为整体资源的规划提供参考。

进一步地，运维监控系统还包括巡检模块，巡检模块通过预设时间定期对所监控内容进行巡检，并根据生成巡检报告，并将巡检报告结构化存储为后续分析提供数据基础。

进一步地，运维监控系统还包括统计模块，所述统计模块通过历史积累的数据和模型生成的数据，进行系统运营层面、kpi指标层面、故障相关层面、预测规划层面的统计查询。

进一步地，运维监控系统还包括资产管理模块，所述资产管理模块对知识资产提供备份功能，保护企业核心资产。

进一步地，运维监控系统还包括分析模块，所述分析模块根据收集模块采集的数据，结合历史数据，对系统间调用关系、异常类型、kpi瓶颈、故障的边界原因、设备及服务的使用率进行周期性、同比、环比分析，并对分析结果进行存储及展示。

与现有技术相比，本发明至少具有如下有益效果之一：

1）本申请提供灵活可定制的数据可视化展示，使得监控的数据内容更为直观；

2）本申请通过建立系统化的指标体系，使得多种数据信息采集更为统一方便，使得监控数据展示更为直观；

3）本申请通过对历史数据的学习训练提供的机器模型学习，对各种信息进行归纳判断并提供动态阈值推荐，为信息预警决策提供数据基础支持；

4）本申请的系统根据人为设定时间定期对监控内容进行巡检，并根据etc运维相关投制度约定的报告格式生成巡检报告，以供人员检查、分析和备案，并将巡检信息结构化存储以为后续分析提供数据基础；

5）本申请提供灵活的预警机制，并支持多种通知模式支持人工反馈处理，便于运维故障排除的信息跟踪；

6）本申请通过对采集的应用服务、应用日志、机器性能指标、设备指标等历史故障数据进行挖掘分析，设计并训练机器学习模型以达到提前预警提醒运维人员主动处理可能发生的故障，确保系统的稳定运行；

7）本申请通过积累的数据和相关模型生成的数据，进行系统运营层面、kpi指标层面、故障相关层面、预测规划层面的统计查询，满足运维过程中个性化的统计分析需要，为运维人员节省大量搜集数据的时间和整理数据报表的时间。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的特征和优点从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

附图说明

图1为本申请运维监控系统的整体方案架构图；

图2为本申请运维监控系统的整体技术选型图；

图3为本申请运维监控系统的功能模块设计图；

图4为本申请运维监控系统的技术架构设计图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本发明一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

本发明提供了一种用于高速公路系统的运维监控系统，如图1-4所示，该运维监控系统包括：收集模块、监控模块、预警模块、展示模块、预测规划模块、巡检模块、统计模块、分析模块和资产管理模块。

收集模块：用于收集接入的数据源、硬件设备数据、网络拓扑数据、中间件服务数据、应用服务数据，将收集到的数据进行管理存储。

具体的，硬件设备包括网络设备、服务器、硬盘和内存；中间件服务包括操作系统、数据库、java虚拟机等，收集模块对收集的数据或者信息进行监控并直接展示出监控数据。

监控模块：将收集模块收集的数据进行分类存储并监控。

具体的，按照指标体系，分类别实时/分时监控具体指标，指标类别包含：数据源类、硬件设备类、网络拓扑类、中间件服务器类及应用服务类、日志文件类。监控模块包括文件监控功能，根据获取的不同类型的文件，应用日志文件、系统配置文件、网页文件等多种类型文件进行内容变化等监控，并能够针对文件变化进行提醒。

预警模块：进行预警规则设置、预警阈值设置以及预警联系人设置，从收集模块定时或实时采集数据，然后将采集到的数据与指定的报警阈值进行对比，对符合预警规则的信息进行预警，并将预警结果进行集中展现及提供预警历史数据查询接口。

具体的，运维监控系统提供相关预警的阈值设定机制，根据业务经验、机器模型自动判断，以为不同指标，人为设定不同阈值，系统根据此阈值监控整体生产数据，发现异常提前通知运维人员；并支持多种方式的通知机制，包括邮件、短信、微信等方式；支持对于预警的信息进行人工反馈处理，以便于问题的闭环记录和机器的学习，从而为以后机器的自动预测和方案的规划提供数据标注基础。

展示模块，展示模块将收集模块收集的数据以图表的形式通过大屏显示。具体的，运维监控系统提供多种图表方式，对日志数据流和统计数据以图表直观展示。

预测规划模块，预测规划模块根据系统在正常和异常状态时对资源的消耗趋势的历史数据，训练机器模型，从而对故障、硬件资源、中间件服务资源、设备容量、网络容量进行预测，并为整体资源的规划提供参考。

具体的，运维监控系统通过构建机器学习模型，通过学习历史故障数据和处理方式，对于易发现问题的设备和服务进行预测，以达到提前预警提醒运维人员主动处理可能发生的故障，确保系统的稳定运行；通过学习已经积累的相关运营过程中的数据，对于硬件资源和服务资源进行周期性（此周期可以系统中设定）预测，以达到提前预知系统可能发生的情况，从而为运维人员留出充足的时间进行提前准备，防止突发事件的发生；同时系统根据预测内容和历史相关的增量数据，可以给出相关设备容量和网络容量的增减方案建议，以提醒运维人员对于系统当前情况有可调整的空间，达到对于系统运行质量和成本的优化。

巡检模块，巡检模块通过预设时间定期对所监控内容进行巡检，并根据etc运维相关投制度约定的报告格式生成巡检报告，并将巡检报告结构化存储为后续分析提供数据基础。

具体的，巡检模块为自动化巡检，主要通过标准协议实现对不同厂商的网络设备、服务器、操作系统、中间件、无线设备、虚拟化设备等it基础架构的巡检、批量快速部署、配置维护、故障自动处理等日常运维工作。标准协议包括：ssh\telnet\winrm\jmx\jdbc等。通过自动化技术和手段，执行日常运维过程中重复性、有规律、例行的工作，彻底释放运维人员的精力，减轻运维人员的工作量。

统计模块，所述统计模块通过历史积累的数据和模型生成的数据，进行系统运营层面、kpi指标层面、故障相关层面、预测规划层面的统计查询。为运营人员提供灵活的自定义查询统计功能，满足运维过程中个性化的统计分析需要，为运维人员节省大量搜集数据的时间和整理数据报表的时间。

运维监控系统还包括资产管理模块，所述资产管理模块对系统中的知识资产提供备份功能，保护企业核心资产。

为了方便运维人员对现有设备资源的统一个管理，通过资产管理对系统平台中有主机管理、设备管理、机柜管理、存储设备、应用服务管理等几个功能模块组成。

分析模块，分析模块根据收集模块采集的数据，结合历史数据，对系统间调用关系、异常类型、kpi瓶颈、故障的边界原因、设备及服务的使用率进行周期性、同比、环比分析，并对分析结果进行存储及直观展示。

具体的，对系统中监控数据和接入的相关数据源进行多维度的分析，让运维人员在大量数据中关注焦点问题，对于系统有更深入直观的了解，从而为后续的决策行动提供支持。

系统提供完善的运行管理功能，帮助系统维护和运营管理人员快速调整系统的人员组织权限等内容，并提供相关系统数据源扩展、个性图表视图的扩展调整功能，以满足系统日常运行应对调整的需要。

需要说明的是，本申请系统的技术架构设计总体采用开放式模块化架构，整体平台按由数据收集层、数据库处理层、集成设施层、服务层、服务接口、应用层等构成。每一层的内容都按模块和服务方式进行松耦合组成。

系统平台支持采用了java作为主体技术支撑，保证了平台可以部署在不同的操作系统中，如windows、linux等。

系统采用标准的jdbc接口操作数据库，可以保证对不同数据库的兼容以及根据需要的切换，如db2、mysql、postgresql等。

系统的整体架构采用前后台分离的方式，前端采用了vue框架，对当前主流的浏览器，如chrome、ie11以上、firefox等兼容。

系统技术架构采用前后端分离的设计思路，前端展示及操作需要的信息都是由后台通过接口服务的方式发布给前端，而这些接口服务也可以提供给其他相关系统进行调用。

由于本申请的系统是针对于高速路相关的核心业务系统运维方面工作而设计，具有相关行业领域的特点，具有一定的不可替代性；本申请设计的机器学习模型是根据系统运维方面的业务场景针对性设计，利用了相关的业务系统采集的数据进行训练的，具有一定的业务特征，具有一定的不可替代性。

为了便于本领域技术人员理解本申请，现对本申请中技术术语进行解释：

自动巡检：定时执行的机器设备等状态的巡检工作，并按照约定格式生成巡检报告。

etc：英文全称electronictollcollection，中文：电子不停车收费系统。

etl：是英文extract-transform-load的缩写，用来描述将数据从来源端经过提取（extract）、转换（transform）、加载（load）至目的端的过程。

aiops：英文全称：artificialintelligenceforitoperations，中文：智能化运维。

airflow：是一款开源的，分布式任务调度框架，它将一个具有上下级依赖关系的工作流，组装成一个有向无环图。

hdfs：英文全称：hadoopdistributedfilesystem，中文全称：分布式文件系统(hdfs)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统（distributedfilesystem）。

elasticsearch：是一个分布式、高扩展、高实时的搜索与数据分析引擎。

rmdb：英文全称：relationaldatabase，中文全称：关系型数据库。

mysql：是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

postgresql：postgresql是一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统（rdbms）。

timescaledb：timescaledb是基于postgresql数据库开发的一款时序数据库，以插件化的形式打包提供。

opentsdb：opentsdb是基于hbase的时序数据库[时间序列数据库]。

zabbix：是一个基于web界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。

metricbeat：metricbeat可以定期收集操作系统和服务器的运行指标（cpu，内存，硬盘，io,读写速度，进程等等），metricbeat可以将收集到的指标和数据发送到你指定的输出。

skywalking：是一款应用性能监控（apm）工具，对微服务、云原生和容器化应用提供自动化、高性能的监控方案。

filebeat：是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tailfile），并将它们转发给elasticsearch或logstatsh进行索引、kafka等。

logstash：是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供web接口用于查询和统计。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。