一种用于网络游戏日志实时统计监控的方法及系统与流程

本发明涉及网络服务运维领域，特别是一种用于网络游戏日志实时统计监控的方法及系统。

背景技术：

1、目前，业界多使用开源的elk stack(简称elk)对nginx这样的网络服务日志进行采集、处理和分析。elk是三种不同日志处理工具(elasticsearch、logstash、kibana)的首字母缩写，它们三者分工各不相同：elasticsearch是个分布式的搜索引擎，负责日志的存储和检索。logstash主要负责对数据的采集和过滤。kibana提供了一个友好的web界面，负责对日志的可视化分析和汇总。三个工具相辅相成，常常被放在一起使用，作为网络日志统一采集、管理、分析处理的整体解决方案。

2、现有的采用elk工具对网络服务日志进行实时采集分析的方式存在以下几个缺点：

3、1、时效性差，不支持实时的监控告警配置。elk的使用场景主要用于事后的排查，一般都是问题出现了，运维人员才会在elk上查询相应的明细日志。

4、2、查询响应慢，不支持高并发查询。开发人员即使想通过外部服务定时查询elk中的数据进行监控告警，也会因为elk较慢的查询响应时间而作罢。另外，elk对高并发查询支持的并不好，如果告警场景很多，同一时间很难受理多条查询请求。

技术实现思路

1、为克服现有elk工具对网络服务日志进行实时采集分析的方式技术中时效性差、查询响应慢、查询语法复杂的问题，本发明的目的是提供一种用于网络游戏日志实时统计监控的方法及系统，能够实现实时监控告警功能，通过告警规则和日志进行关联匹配，提升查询效率。

2、本发明采用以下方案实现：

3、一种用于网络游戏日志实时统计监控的方法，所述方法步骤如下：

4、进一步的，

5、本发明的有益效果在于：

6、本发明提供一种用于网络游戏日志实时统计监控的方法及系统，采用flinksql这个大数据实时处理工具对游戏服务的日志进行实时的处理和计算，支持用户自由指定告警统计的维度和指标，并设定相应的告警阈值，对游戏日志进行实时的监控告警；

7、另外，告警规则系统还支持白名单配置，用户可以过滤掉无需纳入监控的游戏日志能够满足；

8、性能上，在关键的游戏日志与告警规则的关联匹配中，通过关联匹配让两方数据实现高效的等值关联，以此来提升数据的实时处理效率，从而保证告警的时效性。

技术特征：

1.一种用于网络游戏日志实时统计监控的方法，其特征在于，所述方法步骤如下：

2.根据权利要求1所述的一种用于网络游戏日志实时统计监控的方法，其特征在于，所述告警规则包括规则id、规则类型、logkey关键字、全部服务器范围的阈值、单个服务器的阈值和单个用户的阈值；其中，logkey关键字采用三种特殊字符用于匹配，所述三种特殊字符包括第一特殊字符、第二特殊字符和第三特殊字符，用于以下三种情形的匹配：

3.根据权利要求2所述的一种用于网络游戏日志实时统计监控的方法，其特征在于，告警规则与玩家行为日志关联匹配的过程为：flinksql实时计算任务获取到源表和维表的数据，所述源表用于存储玩家行为日志，所述维表用于存储告警规则，利用flinksql中的自定义udtf函数，将源表中的玩家行为日志中与告警配置对应的数值串一对多地拆分解析多个字段，对每个字段按分隔符进行切分处理，再进行等值匹配。

4.根据权利要求2所述的一种用于网络游戏日志实时统计监控的方法，其特征在于，步骤4进一步具体为：分组统计的维度包括规则id、游戏id、服务器id、用户id以及第二特殊字符；

5.根据权利要求4所述的一种用于网络游戏日志实时统计监控的方法，其特征在于，步骤5进一步具体为：

6.根据权利要求2所述的一种用于网络游戏日志实时统计监控的方法，其特征在于，还包括白名单配置，所述白名单配置通过一第四特殊字符实现，通过对logkey关键字中的充当统计维度字段用第四特殊字符进行标记，当带有第四特殊字符的告警规则与玩家行为日志进行关联匹配后，不再进行后续步骤。

7.一种用于网络游戏日志实时统计监控系统，其特征在于，所述系统包括：采集模块、配置模块、关联匹配模块、统计模块、告警模块、监测模块；

8.根据权利要求7所述的一种用于网络游戏日志实时统计监控系统，其特征在于，配置模块中所述告警规则包括规则id、规则类型、logkey关键字、全部服务器范围的阈值、单个服务器的阈值和单个用户的阈值；其中，logkey关键字采用三种特殊字符用于匹配，所述三种特殊字符包括第一特殊字符、第二特殊字符和第三特殊字符，用于以下三种情形的匹配：

9.根据权利要求7所述的一种用于网络游戏日志实时统计监控系统，其特征在于，告警规则与玩家行为日志关联匹配的过程为：flinksql实时计算任务获取到源表和维表的数据，所述源表中包含玩家行为日志，利用flinksql中的自定义udtf函数，将源表中的玩家行为日志中与告警配置对应的数值串一对多地拆分解析多个字段，对每个字段按分隔符进行切分处理，再进行等值匹配。

10.根据权利要求8所述的一种用于网络游戏日志实时统计监控系统，其特征在于，统计模块进一步具体为：分组统计的维度包括规则id、游戏id、服务器id、用户id以及第二特殊字符；

11.根据权利要求8所述的一种用于网络游戏日志实时统计监控系统，其特征在于，告警模块进一步具体为：

12.根据权利要求8所述的一种用于网络游戏日志实时统计监控系统，其特征在于，还包括白名单配置，所述白名单配置通过一第四特殊字符实现，通过对logkey关键字中的充当统计维度字段用第四特殊字符进行标记，当带有第四特殊字符的告警规则与玩家行为日志进行关联匹配后，不再进行执行后续模块。

技术总结
本发明涉及一种用于网络游戏日志实时统计监控的方法，方法为将各游戏服务器中的玩家行为日志实时采集到kafka中；通过玩家行为日志页面配置告警规则；判断告警规则与玩家行为日志是否关联匹配成功；关联匹配成功则计算分组统计的维度和统计指标并缓存结果；判断当前维度下统计指标的数值是否大于预先配置的阈值，如果大于预先配置的阈值，则生成告警信息，并将告警信息写入Mysql告警信息表中；实时检测最新的告警信息并封装发送给运营人员，能够实现实时监控告警功能，通过告警规则和日志进行关联匹配，提升查询效率。

技术研发人员：刘德建,王张浩,李佳
受保护的技术使用者：福建天晴在线互动科技有限公司
技术研发日：
技术公布日：2024/4/17