一种热点流量识别预警系统、方法、设备及存储介质与流程

本发明涉及电商领域，特别涉及一种热点流量识别预警系统、方法、设备及存储介质。

背景技术：

1、在电商互联网分布式的架构下，整个电商的消费者购物交易流程已经形成了行业内的标准化流程。在标准流程的背后，其实按照业务域的职责不同，划分了商品域、促销域、商家域、交易域、订单域、支付域、用户域等这些系统按照用户购物访问的时间先后，形成了一个顺序的数据流。

2、目前，当上游的业务系统遭受到了流量的冲击时，下游的业务系统并不会主动做好提前防御，只能被动的等待流量的到来，尤其是一些突发的非提前可预知的流量，这样就会让整个交易链路上的系统造成大面积的因流量巨大出现的各种问题，并导致整个链路上的系统恢复时间非常缓慢。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种热点流量识别预警系统、方法、设备及存储介质，能够有效提高交易链路的稳定性。其具体方案如下：

2、第一方面，本申请提供了一种热点流量识别预警系统，应用于预设热点流量平台，包括：

3、流量记录模块，用于将各预设流量上报业务系统通过预设通道上报的业务请求以日志的方式进行记录，以得到若干个流量访问日志；

4、日志收集模块，用于通过预设异步收集器针对当前已生成的各所述流量访问日志执行相应的日志收集操作，以得到相应的流量访问日志集；

5、日志统计判断模块，用于基于预设实时计算引擎以及预设统计规则对所述流量访问日志集执行相应的统计操作，并基于得到的日志统计结果以及对应的预设阈值来判断当前是否存在热点流量；

6、热点流量预警模块，用于在判定当前存在热点流量时，基于预设预警规则执行相应的预警信息发送操作，以便相应的流量订阅业务系统接收到相应的预警信息后实施相应的防御措施。

7、可选的，所述日志统计判断模块，包括：

8、第一日志统计单元，用于基于预设实时计算引擎以及与所述流量访问日志集中的各所述流量访问日志分别对应的商品编号字段执行相应的第一统计操作，得到相应的第一日志统计结果；其中，各所述流量访问日志中包括相应的预设流量上报业务系统标识字段以及所述商品编号字段；

9、第二日志统计单元，用于基于所述预设实时计算引擎以及预设时间窗口对所述流量访问日志集中的各所述流量访问日志执行相应的第二统计操作，得到相应的第二日志统计结果。

10、可选的，所述日志统计判断模块，包括：

11、第一热点流量判断单元，用于基于第一预设阈值以及所述第一日志统计结果判断当前是否存在热点流量；

12、第二热点流量判断单元，用于基于第二预设阈值以及所述第二日志统计结果判断当前是否存在热点流量。

13、可选的，所述热点流量识别预警系统，还包括：

14、清洗存储模块，用于基于预设流量清洗规则对得到的所述日志统计结果执行相应的清洗操作，并将清洗后的所述日志统计结果存储至预设关系型数据库管理系统中。

15、可选的，所述热点流量识别预警系统，还包括：

16、流量推送模块，用于基于分别从预设流量订阅中心以及所述预设关系型数据库管理系统获取到的流量订阅系统名单以及清洗后的所述日志统计结果执行相应的流量推送操作。

17、可选的，所述热点流量预警模块，包括：

18、第一流量预警单元，用于在判定当前存在热点流量时，基于预设预警规则向预设流量告警通讯群执行相应的第一预警信息发送操作，以便相应的流量订阅业务系统接收到相应的第一预警信息后实施相应的防御措施；

19、和/或，第二流量预警单元，用于在判定当前存在热点流量时，基于所述预设预警规则直接向相应的所述流量订阅业务系统执行相应的第二预警信息发送操作，以便所述流量订阅业务系统接收到相应的第二预警信息后实施相应的所述防御措施。

20、可选的，所述日志收集模块，包括：

21、日志收集单元，用于基于预设定时收集时间点以及预设异步收集器针对当前已生成的各所述流量访问日志执行相应的日志收集操作。

22、第二方面，本申请提供了一种热点流量识别预警方法，应用于预设热点流量平台，包括：

23、将各预设流量上报业务系统通过预设通道上报的业务请求以日志的方式进行记录，以得到若干个流量访问日志；

24、通过预设异步收集器针对当前已生成的各所述流量访问日志执行相应的日志收集操作，以得到相应的流量访问日志集；

25、基于预设实时计算引擎以及预设统计规则对所述流量访问日志集执行相应的统计操作，并基于得到的日志统计结果以及对应的预设阈值来判断当前是否存在热点流量；

26、在判定当前存在热点流量时，基于预设预警规则执行相应的预警信息发送操作，以便相应的流量订阅业务系统接收到相应的预警信息后实施相应的防御措施。

27、第三方面，本申请提供了一种电子设备，包括：

28、存储器，用于保存计算机程序；

29、处理器，用于执行所述计算机程序，以实现前述的热点流量识别预警方法的步骤。

30、第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的热点流量识别预警方法的步骤。

31、可见，本申请中，流量记录模块，用于将各预设流量上报业务系统通过预设通道上报的业务请求以日志的方式进行记录，以得到若干个流量访问日志；日志收集模块，用于通过预设异步收集器针对当前已生成的各所述流量访问日志执行相应的日志收集操作，以得到相应的流量访问日志集；日志统计判断模块，用于基于预设实时计算引擎以及预设统计规则对所述流量访问日志集执行相应的统计操作，并基于得到的日志统计结果以及对应的预设阈值来判断当前是否存在热点流量；热点流量预警模块，用于在判定当前存在热点流量时，基于预设预警规则执行相应的预警信息发送操作，以便相应的流量订阅业务系统接收到相应的预警信息后实施相应的防御措施。本申请通过统计以日志的方式记录的各预设流量上报业务系统通过预设通道上报的业务请求，并基于得到的日志统计结果以及对应的预设阈值来判断当前是否存在热点流量，以当是时执行相应的预警信息发送操作，使得相应的流量订阅业务系统接收到相应的预警信息后实施相应的防御措施。这样一来，能够有效提高交易链路的稳定性，进而提高用户体验感。

技术特征：

1.一种热点流量识别预警系统，其特征在于，应用于预设热点流量平台，包括：

2.根据权利要求1所述的热点流量识别预警系统，其特征在于，所述日志统计判断模块，包括：

3.根据权利要求2所述的热点流量识别预警系统，其特征在于，所述日志统计判断模块，包括：

4.根据权利要求1所述的热点流量识别预警系统，其特征在于，还包括：

5.根据权利要求4所述的热点流量识别预警系统，其特征在于，还包括：

6.根据权利要求1所述的热点流量识别预警系统，其特征在于，所述热点流量预警模块，包括：

7.根据权利要求1所述的热点流量识别预警系统，其特征在于，所述日志收集模块，包括：

8.一种热点流量识别预警方法，其特征在于，应用于预设热点流量平台，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求8所述的热点流量识别预警方法。

技术总结
本申请公开了一种热点流量识别预警系统、方法、设备及存储介质，涉及电商领域，包括：流量记录模块，用于将各预设流量上报业务系统通过预设通道上报的业务请求以日志的方式进行记录得到流量访问日志；日志收集模块，用于通过预设异步收集器对已生成的各流量访问日志执行日志收集操作得到流量访问日志集；日志统计判断模块，用于基于预设实时计算引擎以及预设统计规则对流量访问日志集执行统计操作，并基于日志统计结果以及对应的预设阈值来判断当前是否存在热点流量；热点流量预警模块，用于当是时，基于预设预警规则执行预警信息发送操作，以便流量订阅业务系统接收到预警信息后实施防御措施。本申请能够有效提高交易链路的稳定性。

技术研发人员：王春春
受保护的技术使用者：上海微盟企业发展有限公司
技术研发日：
技术公布日：2024/1/15