一种应用于积分系统的大数据异常流量检测方法和系统与流程

[0001]
本发明涉及大数据技术领域，特别是涉及一种应用于积分系统的大数据异常流量检测方法和系统。


背景技术：

[0002]
随着互联网技术和业务的不断发展，网络安全问题时常发生，造成越来越多的业务故障和经济损失，网络安全已经逐渐成为人们越来越关心的问题。积分系统中，由于各种类别的业务系统较多，相应的安全级别及安全应对措施要求也不一样，常规防火墙类一致化协议、端口等规则防范措施，不足以应对越来越多的新黑客技术。尤其是在已经混入正常业务流的异常访问，需要提升检测技术，在全局业务流量基础上进行深入实时的检测、识别和防范。随着大数据技术和应用的兴起，对大量流业务的实时处理能力已经具备。所以，在积分业务系统中，可以发明一种应用于积分系统的大数据异常流量检测方法和系统，利用大数据分析处理技术，在业务应用过程中实时检测和识别异常流量，将网络安全问题和风险降到最低。


技术实现要素：

[0003]
本发明提供了一种应用于积分系统的大数据异常流量检测方法和系统。面向积分业务系统，实时获取各业务系统的业务访问流信息（如访问流量日志等），通过大数据进行实时分析处理，对流量日志进行行为分类、分析等处理，然后结合异常流量检测模型进行匹配，对异常流量进行判断、识别和报警。本发明包括流量日志收集模块、流量大数据分析处理模块、异常流量检测模块、异常流量监控管理模块及主要业务处理流程。
[0004]
1、流量日志收集模块：面向积分业务系统，进行全局流量日志信息的实时收集和存储。流量日志信息来源于业务系统的前后端埋点，包括业务编码、客户访问ip、客户端设备类型（移动端或者pc端）、浏览器类型、访问时间、请求包大小、返回数据包大小等。可以通过常用的日志收集工具flume进行日志汇聚处理（在各业务节点部署flumeagent，向流量日志收集模块发送日志数据）2、流量大数据分析处理模块：利用大数据平台和技术，对收集和存储的流量日志进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等。
[0005]
3、异常流量检测模块：基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
[0006]
4、异常流量监控管理模块：包括对流量日志收集模块进行参数及存储配置，对流量大数据分析处理模块进行分类、行为定义等进行配置，对遗产给流量检测模块进行异常流量模型设置等。
[0007]
5、主要业务处理流程：首先需要在积分业务系统中，根据业务异常流量监控需求进行流量日志埋点，并通过异常流量监控管理模块对检测模型和其他模块进行设置；在业务运营过程中，埋点后的访问日志数据，实时持续的汇聚到流量日志收集模块，流量日志收
集模块对汇聚的日志数据进行存储；流量大数据分析处理模块对存储的访问日志数据进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等；异常流量检测模块基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
附图说明
[0008]
图1为一种应用于积分系统的大数据异常流量检测方法和系统结构图。
具体实施方式
[0009]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0010]
请参阅图1，本发明实施实例中，一种应用于积分系统的大数据异常流量检测方法和系统结构图，包括包括流量日志收集模块（1）、流量大数据分析处理模块（2）、异常流量检测模块（3）、异常流量监控管理模块（4）及主要业务处理流程。
[0011]
1、流量日志收集模块（1）：面向积分业务系统，进行全局流量日志信息的实时收集和存储。流量日志信息来源于业务系统的前后端埋点，包括业务编码、客户访问ip、客户端设备类型（移动端或者pc端）、浏览器类型、访问时间、请求包大小、返回数据包大小等。
[0012]
2、流量大数据分析处理模块（2）：利用大数据平台和技术，对收集和存储的流量日志进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等。
[0013]
3、异常流量检测模块（3）：基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
[0014]
4、异常流量监控管理模块（4）：包括对流量日志收集模块进行参数及存储配置，对流量大数据分析处理模块进行分类、行为定义等进行配置，对遗产给流量检测模块进行异常流量模型设置等。
[0015]
5、主要业务处理流程：首先需要在积分业务系统中，根据业务异常流量监控需求进行流量日志埋点，并通过异常流量监控管理模块（4）对检测模型和其他模块进行设置；在业务运营过程中，埋点后的访问日志数据，实时持续的汇聚到流量日志收集模块（1），流量日志收集模块（1）对汇聚的日志数据进行存储；流量大数据分析处理模块（2）对存储的访问日志数据进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等；异常流量检测模块（3）基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。