一种网络资产访问行为周期特征检测方法及系统与流程

本发明涉及网络安全，具体涉及一种网络资产访问行为周期特征检测方法及系统。

背景技术：

1、在web资产的访问行为模型中，使用统一资源地址定位符（url）来表示网络资产和资源的位置和访问方法，客户端通过url发起http请求，相应的网络服务器端接收并解析处理http请求，然后将http响应结果返回给客户端。例如，浏览者通过在浏览器中输入url来访问各种网页、客户端设备的web应用程序通过url调用服务器接口来获取各种资源。对网络资产的web访问行为构成的时间序列的周期性检测和分析是用户实体行为分析（ueba）的重要特征之一，对网络监管、人机识别、异常检测和维护网络安全具有重要意义。

2、现有的检测周期方法主要有循环检测算法（cycle detection），自相关方法（autocorrelation）和快速傅里叶变换（fft）方法。循环检测算法只适合精确匹配周期的情况，但是实际网络环境中的用户或设备实体的很多周期性web访问行为在时间间隔和各时间点的访问次数上存在一定波动性，因此该方法无法准确地识别web访问行为的周期性。自相关方法通过计算函数自身两个时间点之间的图形相似度来计算周期值，一般比较适合周期值较大的序列的检测，而且该方法很难找到一个精确的阈值来适应不同的访问行为序列，并且存在因假性波峰导致误报率较高的问题。傅里叶变换方法通过将访问行为序列的时域波形转换到频域来获得该行为的主要频率，从而获得相对应的周期值。傅里叶变换方法一般仅适用于短中期周期值的检测，并且因为原始行为序列的随机性导致的噪声问题产生较多误报。

技术实现思路

1、本发明的目的在于提供一种网络资产访问行为周期特征检测方法及系统，该方法及系统适用于不同周期长度的访问行为周期检测且可以提高周期检测的准确性和速度。

2、为了实现上述目的，本发明采用的技术方案是：一种网络资产访问行为周期特征检测方法，首先采集网络流量并对网络资产的访问行为的信息做规整降噪，然后利用自相关函数通过阈值过滤完全不具备周期特征的行为序列，最后对通过阈值过滤的结果与通过傅里叶变换方法得到的周期值做近似交集计算，并输出最终周期结果，实现适合不同周期长度的周期检测功能。

3、进一步地，该方法包括以下步骤：

4、s1、通过网络流量深度采集探针获取网络流量数据，为后续处理提供实时流量数据或流量镜像数据；

5、s2、抽取流量信息；解析实时流量或流量镜像数据，获取每次http连接的请求和应答信息并抽取构成访问行为的基本信息，包括以下字段：会话id，源ip，源端口，服务器域名，服务器端口，目标ip，目标端口，访问url，访问时间，客户端；

6、s3、构建单位行为；按自定义格式截取和组合构成单位行为的信息，按设定时间粒度聚合序列；

7、s4、持久化存储；包括：将单位行为数据存储于持久化系统供后续周期计算分析，以及存储最终周期检测结果；

8、s5、聚合行为序列；根据设定的唯一键读取聚合该键对应的所有单位行为，并按时间先后顺序组成时间序列，构成时间序列函数xt；

9、s6、规整序列数据；针对原始序列函数进行规整降噪；

10、s7、计算自相关函数，对行为时间序列计算自相关函数结果并做初步周期性判断；

11、s8、计算傅里叶变换，对行为时间序列做傅里叶变换计算和近似交集计算，并输出最终周期结果。

12、进一步地，步骤s3中，首先将步骤s2中获得的访问url字段内容中的请求参数，截取部分字符代表该字段，当其中的“服务器域名”字段内容为空时，使用“目标ip”字段内容代替“服务器域名”字段内容；其次，按自定义时间粒度设置时间聚合点，设置时间粒度为5分钟时，将访问时间字段按时间按5分钟向前取整；再次，值对的形式定义单位访问行为，其中唯一键为通过以上步骤得到的“服务器域名”字段+“访问url”字段，对应的值为其余字段内容；最后，以上键值对信息序列化为json格式。

13、进一步地，步骤s5中，根据设定的唯一键，即“服务器域名”字段+“访问url”字段，读取该键对应的所有单位行为值，并按聚合后的访问时间先后顺序组成时间序列，该序列构成时间序列函数xt，其中t表示一个具体时刻，xt为时刻t发生单位行为的数量。

14、进一步地，步骤s6中，首先对步骤5）构成的时间序列各个时刻的值按设定阈值进行取整，使函数取值统一化；然后对构成的时间序列按时间轴进行滚动窗口取平均值，平滑函数中的奇点；最后对构成的时间序列重复一次取整计算。

15、进一步地，步骤s7具体包括以下步骤：

16、701）对步骤s6构成的时间序列函数xt进行如下自相关函数计算：

17、

18、其中，τ为时间延迟，μ为时间序列函数的期望，σ2为方差，e表示期望值计算；

19、702）根据相邻值的比较，寻找r(τ)函数图像中的局部峰值；

20、703）若步骤702）结果为空，则xt不存在周期性，终止流程，否则将步骤702）所得峰值与预设宽松条件的阈值做比较，若小于阈值则丢弃；

21、704）若步骤703）结果为空，则xt不存在周期性，终止流程，否则将步骤703）结果峰值r(τ)对应的τ作为周期值候选，进行后续步骤。

22、进一步地，步骤s8具体包括以下步骤：

23、801）当步骤s7结果不为空时，对xt进行快速傅里叶计算获得频谱；

24、802）取步骤801）的频谱中的正频率，记录该频率值及其对应的幅值；

25、803）将步骤802）的结果按幅值从大到小排列，选取幅值最大的前n个频率值，n为自定义值；

26、804）将步骤803）的结果取倒数得到潜在的周期值候选；

27、805）将步骤804）的结果与步骤s7获得的周期值候选结果做近似交集计算，即当两个数比较时，即使存在设定范围内的偏差，仍然判定两个数相等；

28、806）若步骤805）结果为空，则判定为误报，xt不存在周期性，终止流程，否则该非空交集的结果为最终周期结果，转至步骤s4对周期计算的结果进行存储。

29、本发明还提供了一种网络资产访问行为周期特征检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。

30、与现有技术相比，本发明具有以下有益效果：本发明提供了一种网络资产访问行为周期特征检测方法及系统，该方法时间粒度可调，适合不同周期长度的行为时间序列周期检测；该方法不需要设置普适的精准阈值，通过规整时间序列减少噪声影响，以及将自相关函数和傅里叶变换相结合的方法大幅减少误报，具有高水平的准确率；该方法的实现仅仅需要使用已被广泛使用的库文件，不存在兼容性问题，可以快速便捷地实现周期检测的实际应用。

技术特征：

1.一种网络资产访问行为周期特征检测方法，其特征在于，首先采集网络流量并对网络资产的访问行为的信息做规整降噪，然后利用自相关函数通过阈值过滤完全不具备周期特征的行为序列，最后对通过阈值过滤的结果与通过傅里叶变换方法得到的周期值做近似交集计算，并输出最终周期结果，实现适合不同周期长度的周期检测功能。

2.根据权利要求1所述的一种网络资产访问行为周期特征检测方法，其特征在于，包括以下步骤：

3.根据权利要求2所述的一种网络资产访问行为周期特征检测方法，其特征在于，步骤s3中，首先将步骤s2中获得的访问url字段内容中的请求参数，截取部分字符代表该字段，当其中的“服务器域名”字段内容为空时，使用“目标ip”字段内容代替“服务器域名”字段内容；其次，按自定义时间粒度设置时间聚合点，设置时间粒度为5分钟时，将访问时间字段按时间按5分钟向前取整；再次，值对的形式定义单位访问行为，其中唯一键为通过以上步骤得到的“服务器域名”字段+“访问url”字段，对应的值为其余字段内容；最后，以上键值对信息序列化为json格式。

4.根据权利要求2所述的一种网络资产访问行为周期特征检测方法，其特征在于，步骤s5中，根据设定的唯一键，即“服务器域名”字段+“访问url”字段，读取该键对应的所有单位行为值，并按聚合后的访问时间先后顺序组成时间序列，该序列构成时间序列函数xt，其中t表示一个具体时刻，xt为时刻t发生单位行为的数量。

5.根据权利要求2所述的一种网络资产访问行为周期特征检测方法，其特征在于，步骤s6中，首先对步骤5）构成的时间序列各个时刻的值按设定阈值进行取整，使函数取值统一化；然后对构成的时间序列按时间轴进行滚动窗口取平均值，平滑函数中的奇点；最后对构成的时间序列重复一次取整计算。

6.根据权利要求2所述的一种网络资产访问行为周期特征检测方法，其特征在于，步骤s7具体包括以下步骤：

7.根据权利要求2所述的一种网络资产访问行为周期特征检测方法，其特征在于，步骤s8具体包括以下步骤：

8.一种网络资产访问行为周期特征检测系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7任一项所述的方法步骤。

技术总结
本发明涉及一种网络资产访问行为周期特征检测方法及系统，该方法首先采集网络流量并对网络资产的访问行为的信息做规整降噪，然后利用自相关函数通过阈值过滤完全不具备周期特征的行为序列，最后对通过阈值过滤的结果与通过傅里叶变换方法得到的周期值做近似交集计算，并输出最终周期结果，实现适合不同周期长度的周期检测功能。该方法及系统适用于不同周期长度的访问行为周期检测且可以提高周期检测的准确性和速度。

技术研发人员：张坤三,陈辰,舒斐,王文婷,黄正,曾臻,刘学翰,林晋煌,肖英东,陈丽莎,陈铮,蔡洪明,朱雅珊,黄柳苹,钟敏
受保护的技术使用者：国网福建省电力有限公司
技术研发日：
技术公布日：2024/4/17