一种反向代理日志分析方法与流程

本发明涉及通信，特别涉及一种反向代理日志分析方法。

背景技术：

1、随着电子商务、物联网和移动互联网的快速增长，现代信息技术已深入人民群众的日常生活。与此同时，各类网络攻击事件不断出现，攻击手段层出不穷，已成为威胁国家安全、商业安全、人民群众生命和财产安全的现代犯罪手段。根据owasp(openwebapplicationsecurityproject)，开放式web应用程序安全项目)组织公布的web应用安全风险榜单，sql(structuredquerylanguage，结构化查询语言)注入、xss(crosssitescripting，跨站脚本攻击)攻击、csrf(cross-siterequestforgery，跨站请求伪造)攻击、web-shell攻击等针对或基于web的攻击常年名列前茅。

2、日志分析是网络安全领域重要的分析手段之一。日志是操作系统、应用软件等按照时间顺序对操作结果进行记录的结果，通常以文本文件形式存储形成日志文件。web日志是web服务器对用户请求和服务器响应记录进行记录的结果。日志文件除了用以分析和监控问题以达到取证作用之外，还能对系统的运行情况和安全状态进行常规检查，提前感知和预防恶意的攻击扫描等。

3、现有的日志审计分析系统产品中，有的将日志传输到sql数据库然后使用查询检索，有的通过hadoop集群进行日志分析，有的则基于搜索引擎来进行日志分析，如splunk。splunk是一个日志分析商业产品，当用户需要处理海量数据时，其授权费用十分昂贵，因此更多企业寻求商业软件以外的替代方案。

4、基于此，本发明提出了一种反向代理日志分析方法。

技术实现思路

1、本发明为了弥补现有技术的缺陷，提供了一种简单高效的反向代理日志分析方法。

2、本发明是通过如下技术方案实现的：

3、一种反向代理日志分析方法，其特征在于：包括以下步骤：

4、步骤s1、采用轻量型日志采集器filebeat和elk架构方案，对反向代理服务器上的web日志进行采集、处理、存储与分析；

5、步骤s2、通过开源数据收集引擎logstash的attack-filter入侵攻击分析插件，利用正则表达式和特征值对于入侵攻击行为进行检测；

6、步骤s3、将检测结果输入到搜索服务器elasticsearch集群，通过图表进行分析，并自动生成攻击统计报表。

7、采用nginx服务器作为反向代理服务器；所述轻量型日志采集器filebeat以代理的方式安装在服务器上，监视指定的日志文件或位置，收集web日志，并将收集到的web日志转发到目标服务器。

8、所述步骤s1中，为了区分同一反向代理服务器上的不同web日志，在filebeat配置文件中添加server_name字段；通过python脚本或shell脚本，对nginx站点配置文件进行遍历，提取server_name配置项与access_log配置项，生成filebeat配置文件，并批量启动采集进程。

9、所述步骤s2中，开源数据收集引擎logstash整合grok插件、geoip插件与attack-filter入侵攻击分析插件对日志数据进行解析和结构化处理，处理结果存储到搜索服务器elasticsearch集群中供统计分析。

10、所述grok插件通过nginx日志解析模板对半结构化的日志数据进行解析，并形成结构化数据；所述geoip插件根据来自maxmind geolite2数据库的数据将客户端ip转换为地理位置信息，用于攻击溯源分析和数据可视化；所述attack-filter入侵攻击分析插件则根据关键字解析出web攻击的分类。

11、所述attack-filter入侵攻击分析插件根据自定义的正则表达式对疑似攻击日志信息进行匹配，如果匹配成功，就标记为攻击请求，并附加上攻击请求的类别信息。

12、所述步骤s3中，通过kibana工具进行可视化图表展示，并通过使用springboot框架开发的报表应用生成攻击统计报表。

13、所述步骤s3中，定时将超过自定义阈值的攻击目标、类型以及来源ip信息发送给管理员。

14、一种反向代理日志分析设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如上所述的方法步骤。

15、一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法步骤。

16、本发明的有益效果是：该反向代理日志分析方法，能够准确、实时地对日志进行采集、处理和分析，帮助达到网络安全法关于日志存储的合规要求，并帮助网络管理员实现网络攻击分析、制定安全策略，是网络安全技术防御体系的有益补充。

技术特征：

1.一种反向代理日志分析方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的反向代理日志分析方法，其特征在于：采用nginx服务器作为反向代理服务器；所述轻量型日志采集器filebeat以代理的方式安装在服务器上，监视指定的日志文件或位置，收集web日志，并将收集到的web日志转发到目标服务器。

3.根据权利要求2所述的反向代理日志分析方法，其特征在于：所述步骤s1中，为了区分同一反向代理服务器上的不同web日志，在filebeat配置文件中添加server_name字段；通过python脚本或shell脚本，对nginx站点配置文件进行遍历，提取server_name配置项与access_log配置项，生成filebeat配置文件，并批量启动采集进程。

4.根据权利要求1所述的反向代理日志分析方法，其特征在于：所述步骤s2中，开源数据收集引擎logstash整合grok插件、geoip插件与attack-filter入侵攻击分析插件对日志数据进行解析和结构化处理，处理结果存储到搜索服务器elasticsearch集群中供统计分析；

5.根据权利要求4所述的反向代理日志分析方法，其特征在于：所述attack-filter入侵攻击分析插件根据自定义的正则表达式对疑似攻击日志信息进行匹配，如果匹配成功，就标记为攻击请求，并附加上攻击请求的类别信息。

6.根据权利要求1所述的反向代理日志分析方法，其特征在于：所述步骤s3中，通过kibana工具进行可视化图表展示，并通过使用springboot框架开发的报表应用生成攻击统计报表。

7.根据权利要求1或6所述的反向代理日志分析方法，其特征在于：所述步骤s3中，定时将超过自定义阈值的攻击目标、类型以及来源ip信息发送给管理员。

8.一种反向代理日志分析设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至7任意一项所述的方法步骤。

9.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法步骤。

技术总结
本发明特别涉及一种反向代理日志分析方法。该反向代理日志分析方法，采用轻量型日志采集器Filebeat和ELK架构方案，对反向代理服务器上的Web日志进行采集、处理、存储与分析；通过开源数据收集引擎Logstash的Attack‑Filter入侵攻击分析插件，利用正则表达式和特征值对于入侵攻击行为进行检测；将检测结果输入到搜索服务器ElasticSearch集群，通过图表进行分析，并自动生成攻击统计报表。该反向代理日志分析方法，能够准确、实时地对日志进行采集、处理和分析，帮助达到网络安全法关于日志存储的合规要求，并帮助网络管理员实现网络攻击分析、制定安全策略，是网络安全技术防御体系的有益补充。

技术研发人员：陈华
受保护的技术使用者：浪潮云信息技术股份公司
技术研发日：
技术公布日：2024/1/16