基于手工特征与LSTM的异常会话检测方法与流程

本发明属于网络安全，具体涉及基于手工特征与lstm的异常会话检测方法。

背景技术：

1、异常情况检测策略提供现成的用户和实体行为分析(ueba)和机器学习(ml)，以便你从一开始就准备好在云环境中运行高级威胁检测。由于它们自动启用，因此，新的异常情况检测策略会立即启动检测和整理结果的过程，以用户和连接到网络的计算机和设备中的大量行为异常为目标。异常会话检测是当今信息安全领域的重要问题之一。

2、现有的异常会话检测方法包括基于规则、统计的方法。然而，这些方法都存在一些缺点。基于规则的方法需要手动设置规则和阈值，缺乏灵活性和自适应性，无法适应复杂的异常模式。基于统计的方法对复杂异常模式和非线性关系的检测能力有限，对数据分布变化敏感。

技术实现思路

1、本发明的目的是提供基于手工特征与lstm的异常会话检测方法，能够通过可解释性较强的手工特征，及lstm模型提取时序特征，能够提高异常会话检测的准确性和鲁棒性。

2、本发明采取的技术方案具体如下：

3、基于手工特征与lstm的异常会话检测方法，包括：

4、获取网关节点产生的访问日志的日志字段信息；

5、将获取的日志字段信息进行分组，得到日志字段序列；

6、获取日志字段序列的序列特征信息；

7、获取训练时序，将训练时序送入lstm模型进行训练，得到异常会话检测的lstm模型；

8、将序列特征信息送入训练后的lstm模型，得到网关节点的异常会话数据。

9、在一种优选方案中，所述获取网关节点产生的访问日志的日志字段信息的步骤，包括：

10、获取filebeat组件，并采集每个网关产生的访问日志；

11、转换访问日志的格式；

12、将转换格式的访问日志录入elasticsearch；

13、从elasticsearch导出录入的日志字段信息。

14、在一种优选方案中，所述日志字段信息包括请求到达网关的时间戳、客户端ip、ua和uri，其中，uri包括请求的参数。

15、在一种优选方案中，所述将获取的日志字段信息进行分组，得到日志字段序列的步骤，包括：

16、获取日志字段信息的ip和ua；

17、根据日志ip和ua对日志字段信息进行分组；

18、获取每个分组中请求到达网关的时间戳；

19、根据请求到达网关的时间戳进行升序排序；

20、获取设定序列的长度数据，并根据设定序列的长度提取分组中日志字段序列；

21、若序列长度小于设定序列的长度数据时，使用循环补全的方式将序列补全到设定序列的长度数据；

22、若序列长度大于设定序列的长度数据时，使用等间隔抽样的方式将序列抽样到设定序列的长度数据。

23、在一种优选方案中，所述获取日志字段信息的ip和ua的步骤之前，还包括：

24、在获取日志字段信息的ip和ua之前，设定每次获取日志字段信息的会话时间；

25、根据会话时间获取日志字段信息。

26、在一种优选方案中，所述特征信息包括特殊符号、敏感字符和文件后缀。

27、在一种优选方案中，所述获取训练时序，将训练时序送入lstm模型进行训练，得到异常会话检测的lstm模型的步骤，包括：

28、从序列特征信息获取训练时序；

29、根据分层抽样划分训练时序，将训练时序划分为训练集和验证集；

30、获取lstm模型；

31、将训练集送入训练的lstm模型，并将验证集送入训练的lstm模型，得到评价指标；

32、根据评价指标，得到异常会话检测的lstm模型。

33、在一种优选方案中，所述评价指标的计算公式为：

34、

35、其中，f表示为评价指标，p表示为准确率，r表示为召回率。

36、本发明还提供了，基于手工特征与lstm的异常会话检测系统，用于上述基于手工特征与lstm的异常会话检测方法，包括：

37、数据采集模块，用于获取网关节点产生的访问日志的日志字段信息；

38、数据预处理模块，用于将获取的日志字段信息进行分组，得到日志字段序列；

39、特征提取模块，用于获取日志字段序列的序列特征信息；

40、模型训练模块，用于从序列特征信息中获取训练时序，将训练时序送入lstm模型进行训练，得到异常会话检测的lstm模型；

41、推理模块，用于将序列特征信息送入训练后的lstm模型，得到网关节点的异常会话数据。

42、以及，基于手工特征与lstm的异常会话检测终端，包括：

43、一个或多个处理器；

44、存储装置，其上存储有一个或多个程序；

45、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述基于手工特征与lstm的异常会话检测方法。

46、本发明取得的技术效果为：

47、本发明，通过lstm模型，能够捕捉到异常会话中隐藏的模式和特征，提高了检测的精确性，由于lstm能处理序列数据和长期依赖关系，可实时监测并辨识潜在的异常会话，及早发现并处理潜在的风险行为，保障系统的安全性，基于模型自动检测异常会话，减少了人工干预的需求，提高了异常检测的效率和实用性，通过学习数据的时序关系和演化模式，准确识别未知的异常模式，具备自适应性和泛化能力，能够适应不同场景和数据集的异常检测任务，及时调整和适应新的异常情况。

技术特征：

1.基于手工特征与lstm的异常会话检测方法，其特征在于，包括：

2.根据权利要求1所述的基于手工特征与lstm的异常会话检测方法，其特征在于，所述获取网关节点产生的访问日志的日志字段信息的步骤，包括：

3.根据权利要求1所述的基于手工特征与lstm的异常会话检测方法，其特征在于，所述日志字段信息包括请求到达网关的时间戳、客户端ip、ua和uri，其中，uri包括请求的参数。

4.根据权利要求3所述的基于手工特征与lstm的异常会话检测方法，其特征在于，所述将获取的日志字段信息进行分组，得到日志字段序列的步骤，包括：

5.根据权利要求4所述的基于手工特征与lstm的异常会话检测方法，其特征在于，所述获取日志字段信息的ip和ua的步骤之前，还包括：

6.根据权利要求1所述的基于手工特征与lstm的异常会话检测方法，其特征在于，所述特征信息包括特殊符号、敏感字符和文件后缀。

7.根据权利要求1所述的基于手工特征与lstm的异常会话检测方法，其特征在于，所述获取训练时序，将训练时序送入lstm模型进行训练，得到异常会话检测的lstm模型的步骤，包括：

8.根据权利要求7所述的基于手工特征与lstm的异常会话检测方法，其特征在于，所述评价指标的计算公式为：

9.基于手工特征与lstm的异常会话检测系统，应用于权利要求1至8任意一项所述的基于手工特征与lstm的异常会话检测方法，其特征在于，包括：

10.基于手工特征与lstm的异常会话检测终端，其特征在于，包括：

技术总结
本发明属于网络安全技术领域，具体涉及基于手工特征与LSTM的异常会话检测方法。该发明，通过LSTM模型，能够捕捉到异常会话中隐藏的模式和特征，提高了检测的精确性，由于LSTM能处理序列数据和长期依赖关系，可实时监测并辨识潜在的异常会话，及早发现并处理潜在的风险行为，保障系统的安全性，基于模型自动检测异常会话，减少了人工干预的需求，提高了异常检测的效率和实用性，通过学习数据的时序关系和演化模式，准确识别未知的异常模式，具备自适应性和泛化能力，能够适应不同场景和数据集的异常检测任务，及时调整和适应新的异常情况。

技术研发人员：韩志松
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/4/17