一种基于Logstash的日志管理方法及系统与流程

一种基于logstash的日志管理方法及系统
技术领域
1.本发明涉及数据处理技术领域，具体涉及一种基于logstash的日志管理方法及系统。


背景技术：

2.logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到用户设置的“存储库”中。现有技术中每次新增日志来源及输出目标通过手动修改logstash配置文件，每次手动修改配置文件收集及转发日志，操作繁琐，并且没有对原始数据进行存储，元数据查看只能通过查看原始日志文件，元数据查看也较为繁琐。


技术实现要素：

3.为此，本发明提供一种基于logstash的日志管理方法及系统，以解决现有技术中每次需手动修改配置文件、元数据查看只能通过查看原始日志文件存在的操作繁琐问题。
4.为了实现上述目的，本发明提供如下技术方案：
5.根据本发明实施例的第一方面，提出了一种基于logstash的日志管理方法，所述方法包括：
6.通过页面参数配置完成日志管理工具logstash配置文件内容，实现日志的收集和处理；
7.通过修改日志管理工具logstash配置文件将日志原始数据保存至数据存储服务器。
8.进一步地，所述数据存储服务器采用elasticsearch服务器，实现原始数据的结构化存储和查询。
9.进一步地，通过页面参数配置完成日志管理工具logstash配置文件内容，实现日志的收集和处理，具体包括：
10.通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添加原数据模板；
11.通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；
12.通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。
13.进一步地，所述原始数据配置内容包括原始数据列表以及数据字段，所述目标数据配置包括目标数据列表以及数据字段，所述日志配置内容包括数据源、数据输出，所述数据源的配置内容包括数据源id、字段替换、值转义以及时间格式转换，所述数据输出的配置内容包括输出类型、ip、端口以及主题。
14.进一步地，通过页面参数配置完成日志管理工具logstash配置文件内容，实现日
志的收集和处理，具体还包括：
15.由页面配置logstash配置文件内容，用来进行日志字段和值的处理并转发到分布式发布订阅消息系统kafka。
16.根据本发明实施例的第二方面，提出了一种基于logstash的日志管理系统，所述系统包括：
17.页面配置模块，用于通过页面参数配置完成日志管理工具logstash配置文件内容，实现日志的收集和处理；
18.原始数据存储模块，用于通过修改日志管理工具logstash配置文件将日志原始数据保存至数据存储服务器。
19.进一步地，所述页面配置模块，具体用于：
20.通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添加原数据模板；
21.通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；
22.通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。
23.根据本发明实施例的第三方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于logstash的日志管理系统执行如上任一项所述的方法。
24.本发明具有如下优点：
25.本发明提出的一种基于logstash的日志管理方法及系统，通过页面参数配置完成日志管理工具logstash配置文件内容，实现日志的收集和处理；通过修改日志管理工具logstash配置文件将日志原始数据保存至数据存储服务器。通过页面配置实现logstash配置文件内容配置，无需手动修改logstash配置文件，新增日志处理更加便捷，原始数据保存至数据存储服务器elastcisearch，对原始数据查看更加方便快捷和清晰。
附图说明
26.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
27.图1为本发明实施例1提供的一种基于logstash的日志管理方法的流程示意图；
28.图2为本发明实施例1提供的一种基于logstash的日志管理方法的整体实施例流程示意图；
29.图3为本发明实施例1提供的一种基于logstash的日志管理方法中原始数据配置页面示意图；
30.图4为本发明实施例1提供的一种基于logstash的日志管理方法中目标数据配置页面示意图；
31.图5为本发明实施例1提供的一种基于logstash的日志管理方法中日志配置页面
示意图。
具体实施方式
32.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.实施例1
34.如图1和图2所示，本实施例提出了一种基于logstash的日志管理方法，所述方法包括：
35.s100、通过页面参数配置完成日志管理工具logstash配置文件内容，实现日志的收集和处理。
36.如图3、图4和图5所示，通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添加原数据模板；
37.通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；
38.通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。
39.所述原始数据配置内容包括原始数据列表以及数据字段，所述目标数据配置包括目标数据列表以及数据字段，所述日志配置内容包括数据源、数据输出，所述数据源的配置内容包括数据源id、字段替换、值转义以及时间格式转换，所述数据输出的配置内容包括输出类型、ip、端口以及主题。
40.由页面配置logstash配置文件内容，用来进行日志字段和值的处理并转发到分布式发布订阅消息系统kafka。
41.s200、通过修改日志管理工具logstash配置文件将日志原始数据保存至数据存储服务器。
42.本实施例中，所述数据存储服务器采用elasticsearch服务器，实现原始数据的结构化存储和查询。
43.通过输入输出灵活配置，对新增日志处理更加便捷；原始数据结构化保存和查询，对原始数据查看更加方便快捷和清晰。
44.实施例2
45.与上述实施例1相对应的，本实施例提出了一种基于logstash的日志管理系统，所述系统包括：
46.页面配置模块，用于通过页面参数配置完成日志管理工具logstash配置文件内容，实现日志的收集和处理；
47.原始数据存储模块，用于通过修改日志管理工具logstash配置文件将日志原始数据保存至数据存储服务器。
48.进一步地，所述页面配置模块，具体用于：
49.通过原始数据数据配置页面进行原始数据配置，具体为，根据根据原数据格式添
加原数据模板；
50.通过目标数据配置页面进行目标数据配置，具体为，根据目标数据格式添加目标数据模板；
51.通过日志配置页面进行日志配置，具体为，根据原数据模板和目标数据模板，配置需要的日志配置。
52.本发明实施例提供的一种基于logstash的日志管理系统中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
53.实施例3
54.与上述实施例相对应的，本实施例提出了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种基于logstash的日志管理系统执行如实施例1的方法。
55.虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。