一种日志数据监控管理方法与流程

本发明属于数据处理技术领域，尤其涉及一种日志数据监控管理方法。

背景技术：

日志是系统内反映各设备或节点运行状态、数据传输状态以及异常时间状态等多种数据信息的重要载体，一般情况下，日志数据存储在相应的节点设备上，在需要时，例如在评价或者分析系统整体运行状态以及运行历史数据等工作时，需要将各设备或节点上的日志数据进行提取和分析。但随着系统设备的不断增多以及节点种类以及数目的扩展，传统的日志数据提取以及存储方法将消耗大量的系统资源去完成，整个过程消需要耗很长的时间，其间对整个系统的运行会产生很大影响，在以下重要关键系统中更是会引起巨大的不利影响，同时整个系统内日志数据的后期处理以及存储等都将地来持续的执行压力，不利于在一些实时性、高负载的系统内使用。

技术实现要素：

本发明创造的目的在于，提供一种对系统资源消耗低，数据处理便捷的日志数据监控管理方法。

为实现上述目的，本发明创造采用如下技术方案。

本发明的一种日志数据监控管理方法，包括如下步骤：

用于建立规范化的日志格式的步骤，所述日志由点区、内容区和标志区构成，节点区内存储有日志优先级、时间和代码行字节，为便于日志的兼容使用，时间采用标准的iso8601格式；内容区用于表述日志输出目的；标志区由多各键值对构成，键值对之间相互分割；对于不符合格式要求的日志使用正则表达式进行处理，

用于建立数据监控服务的步骤，包括

数据采集、具体是指在需要采集的各节点构建采集层，在采集层之间的部分中心节点布置中间层，中间层收集采集层获取的数据(即日志文件)，并根据配置数据发送至不同的kafkatopic分组；采集层以及中间层相互配置可以实现灵活高效的系统结构，利用中间层集中处理，减少采集层文件配置的内容，同时集中管理权限，减少系统隐患；在节点设备服务异常时，中间层设备重试连接其他节点；

数据处理、具体是指对不同的kafkatopic分组分别进行实时计算，根据传入的任务地址查询任务配置信息，包括topic、任务名、任务内容，根据已配置的topic信息创建前端数据产生器，前端数据产生器定时的访问数据库以获取最新的任务配置信息并下发至多个转发节点器，转发节点器根据更新后的任务配置信息进行更新；转发节点器中至少包括用于根据配置要求进行规则匹配过滤的第一转发节点器；用于按照键值对将数据进行组合的第二转发节点器；用于调用api将统计数据写入数据库的第三转发节点器；利用kafka作为缓存装置，降低后置服务的压力；

数据监管，具体是指启动分发任务流程、设置单独的线程进行异常问题检查、在发现设备异常时将相应任务调度至其他同级，同时利用mysql服务机制实现分布式锁，在任务调度过程中利用获取锁提高调度效率，降低设备传输存储的资源消耗；

在具体实施过程中，服务器部署于多个节点之上，应用前端节点以及分发服务采用双机部署http和反向代理服务，各节点之间采用分布式锁实现数据同步；

为便于实现管理以及信息获取，本实施例还包括用于实现可视化功能的步骤，包括在系统内构建id管理、视图管理、接口管理、监控管理四个模块，id管理模块建立关于操作者和使用者id的异常数据接收管理，用于实现人员的管理和分组、添加或删除数据传递的路径；视图管理模块显示各模块配置以及状态等数据视图，提供快捷操作接口；接口管理模块创建和管理接口探活任务以及探活报警数据，包括在接口探活过程中创建接口地址，设定检查周期以及报警设置；监控管理创建不同的监控项目，并完成监控数据的管理。

其有益效果在于：本发明的日志数据监控管理方法通过分层节点布置避免了海量节点数据采集的弊端，提高数据实时处理的效率，降低日志数据管理以及监控的难度，利用分布式锁等相应结构和内容协调任务流程的管理和数据传递的过程，提高了多流程管理以及组织的效率，降低了设备负载。

附图说明

图1是数据处理流程中的配置数据管理流程示意图；

图2是实施例中异常检查和调度原理示意图。

具体实施方式

以下结合具体实施例对本发明创造作详细说明。

本发明的一种日志数据监控管理方法，包括如下步骤：

用于建立规范化的日志格式的步骤，所述日志由节点区、内容区和标志区构成，节点区内存储有日志优先级、时间和代码行字节，为便于日志的兼容使用，时间采用标准的iso8601格式；内容区用于表述日志输出目的；标志区由多各键值对构成，键值对之间相互分割；对于不符合格式要求的日志使用正则表达式进行处理，

用于建立数据监控服务的步骤，包括

数据采集、具体是指在需要采集的各节点构建采集层，在采集层之间的部分中心节点布置中间层，中间层收集采集层获取的数据(即日志文件)，并根据配置数据发送至不同的kafkatopic分组；采集层以及中间层相互配置可以实现灵活高效的系统结构，利用中间层集中处理，减少采集层文件配置的内容，同时集中管理权限，减少系统隐患；在节点设备服务异常时，中间层设备重试连接其他节点；

数据处理、具体是指对不同的kafkatopic分组分别进行实时计算，根据传入的任务地址查询任务配置信息，包括topic、任务名、任务内容，如图1所示，根据已配置的topic信息创建前端数据产生器，前端数据产生器定时的访问数据库以获取最新的任务配置信息并下发至多个转发节点器，转发节点器根据更新后的任务配置信息进行更新；转发节点器中至少包括用于根据配置要求进行规则匹配过滤的第一转发节点器；用于按照键值对将数据进行组合的第二转发节点器；用于调用api将统计数据写入数据库的第三转发节点器；利用kafka作为缓存装置，降低后置服务的压力；

数据监管，具体是指启动分发任务流程、设置单独的线程进行异常问题检查、在发现设备异常时将相应任务调度至其他同级，同时利用mysql服务机制实现分布式锁，如图2所示，在任务调度过程中利用获取锁提高调度效率，降低设备传输存储的资源消耗，包括在获取锁后检查系统可用状态，并根据其可用状态进行不同操作，在操作完成后释放锁；

在具体实施过程中，服务器部署于多个节点之上，应用前端节点以及分发服务采用双机部署http和反向代理服务，各节点之间采用分布式锁实现数据同步；

为便于实现管理以及信息获取，本实施例还包括用于实现可视化功能的步骤，包括在系统内构建id管理、视图管理、接口管理、监控管理四个模块，id管理模块建立关于操作者和使用者id的异常数据接收管理，用于实现人员的管理和分组、添加或删除数据传递的路径；视图管理模块显示各模块配置以及状态等数据视图，提供快捷操作接口；接口管理模块创建和管理接口探活任务以及探活报警数据，包括在接口探活过程中创建接口地址，设定检查周期以及报警设置；监控管理创建不同的监控项目，并完成监控数据的管理。

最后应当说明的是，以上实施例仅用以说明本发明创造的技术方案，而非对本发明创造保护范围的限制，尽管参照较佳实施例对本发明创造作了详细地说明，本领域的普通技术人员应当理解，可以对本发明创造的技术方案进行修改或者等同替换，而不脱离本发明创造技术方案的实质和范围。