基于超球面变分自动编码器的未知用户恶意行为检测方法及系统

1.本发明属于网络信息安全技术领域，特别涉及一种基于超球面变分自动编码器的未知用户恶意行为检测方法及系统。


背景技术：

2.用户实体行为分析是利用网络中各类审计日志、安全设备的报警输出等信息，从数据分析的视角去发现用户异常行为的一种重要方法。传统异常行为检测方法过分依赖已知威胁的规则，因此缺乏灵活性，且容易引起误判。随着机器学习的发展，人工智能已经普遍应用于用户实体行为分析领域，可以用来自动高效地分析和发现网络中的各类恶意行为，特别是各类隐蔽的内部威胁行为。针对已知恶意行为的检测，以深度学习为代表的机器学习方法实现了当前最高的性能。
3.随着网络威胁场景日益复杂，研究人员意识到针对未知恶意行为的检测仍是一个难题。我们把那些在设计或训练阶段从未见过的恶意行为称为未知恶意行为。这类行为通常利用新的漏洞、技术或社会工程方法与大量正常行为混杂在一起，从而使得现有方法难以分辨。由于缺乏足够的标记数据，当前针对未知恶意行为的检测主要使用无监督方法对正常用户行为建模，以此发现那些偏离基线的异常行为。但这种方法存在两个问题，一是用户本身的正常行为模式会随着业务或时间变化，二是在大规模网络中对每个用户建模对计算资源要求苛刻，往往导致较高的误报率。并且其输出的结果只是区分正常和异常，缺乏对恶意行为的具体分析，不利于自动化地进行安全响应。


技术实现要素：

4.为此，本发明提供一种基于超球面变分自动编码器的未知用户恶意行为检测方法及系统，参考计算机视觉中的零样本学习框架，通过引入外部辅助信息(常用的是语义信息)来实现对各类未知样本的准确、有效识别。
5.按照本发明所提供的设计方案，一种基于超球面变分自动编码器的未知用户恶意行为检测方法，包含如下内容：
6.获取目标用户行为日志信息并提取行为日志信息中的行为及对应的语义属性；
7.利用超球面变分自动编码器将目标用户日志信息中行为及对应语义属性映射到公共超球面上，并基于余弦相似度匹配识别用户未知恶意行为。
8.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，依据目标用户行为日志信息，通过用户历史活动数据并利用图卷积网络预测其正常行为模式。
9.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，将历史活动数据按照时间和用户进行分割和聚合，将用户行为记录表示为行为特征向量，该行为特征向量的两个维度分别表示用户在时间段内的动作记录合集和不同动作类
型；将每个用户看做一个图节点生成用户行为图，基于历史活动数据来预测用户正常行为模式。
10.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，利用图卷积网络对多元时间序列进行预测，用户作为图节点，用户行为特征向量作为图节点属性，其中，图卷积网络包含用于输出图邻接矩阵的图学习模块、用于聚合图邻居节点信息的图卷积模块和用于处理时间关系特征的时间卷积模块。
11.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，时间卷积模块采用长短期记忆模型对时间维度特征进行压缩和预测。
12.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，通过构建用于未知恶意行为识别的检测模型，利用所述检测模型对未知恶意行为进行分类识别，其中，所述检测模型包含用于对用户行为数据进行编码的行为变分编码器、用于对语义属性进行编码的语义变分编码器和用于将两个编码器输出进行投影对齐的公共超球面。
13.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，利用检测模型对未知恶意行为进行分类识别中，首先，设置已知恶意类标签集合和未知恶意类标签集合，对于每个恶意类标签均有其对应语义属性信息；对于所有恶意类标签，设置类原型，将类原型作为所有隐空间上已知恶意类标签数据投影均值；通过对齐每一类的类原型与未知类标签来实现未知用户恶意行为和语义属性的投影对齐。
14.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，利用重构损失函数、对齐损失函数和跨域损失函数来约束投影对齐，其中，重构损失函数最大化变分编码器先验分布和后验分布相似性，对齐损失函数用于公共空间中未知用户恶意行为和语义属性对齐，跨域损失函数用于跨域重构后未知用户恶意行为和语义属性对齐。
15.作为本发明基于属性值分布的人物实体对齐方法，进一步地，基于余弦相似度匹配识别用户未知恶意行为，通过设置分类边界，通过计算输入样本与类原型之间余弦距离，将余弦距离大于分类边界的情形，将未知用户恶意行为归类为正常类，否则将其归类为恶意类。
16.进一步地，本发明还提供一种基于超球面变分自动编码器的未知用户恶意行为检测系统，包含：信息提取模块和匹配识别模块，其中，
17.信息提取模块，用于获取目标用户行为日志信息并提取行为日志信息中的行为及对应的语义属性；
18.匹配识别模块，用于利用超球面变分自动编码器将目标用户日志信息中行为及对应语义属性映射到公共超球面上，并基于余弦相似度匹配识别用户未知恶意行为。
19.本发明的有益效果：
20.本发明利用超球面变分自编码器模型关联各类未知恶意行为及其语义知识，将其投影到公共隐空间中进行度量分析和匹配。相比一般变分编码器，超球面变分自编码器模型更能充分利用潜变量，更适合学习表示具有丰富结构的信息，且更具鲁棒性；并进一步将网络中的所有用户作为图建模分析，并采用图卷积网络来消除用户行为模式变化的影响，具有较好的应用前景。
附图说明：
21.图1为实施例中基于超球面变分自动编码器的未知用户恶意行为检测方法流程示意；
22.图2为实施例中用于用户行为预测的图卷积网络架构；
23.图3为实施例中未知用户恶意行为检测系统模型结构示意。
具体实施方式：
24.为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
25.现有的恶意行为检测方法大多只判断是否异常，缺乏对未知恶意行为的具体分析能力，并且没有考虑各用户正常行为模式变化带来的影响。由于目前还没有发现将计算机视觉中的零样本学习框架应用于未知恶意行为检测中的先例。本发明实施例，提供一种基于超球面变分自动编码器的未知用户恶意行为检测方法，参见图1所示，包含如下内容：
26.s101、获取目标用户行为日志信息并提取行为日志信息中的行为及对应的语义属性；
27.s102、利用超球面变分自动编码器将目标用户日志信息中行为及对应语义属性映射到公共超球面上，并基于余弦相似度匹配识别用户未知恶意行为。
28.零样本是计算机视觉中一种特殊的图像分类方法。它的目的是识别在训练阶段可能未见过的对象。其区分了两种类：已知类和未知类。识别未知类的关键在于利用已知类和语义知识，通过在高维向量空间(语义空间或潜在空间)中相互关联提取和传递知识。经典的vae实现假设潜在空间的先验函数是多元高斯的，该方法的局限性在于kl项可能会激励潜变量的后验分布倾向于先验，导致潜在结构无法被充分利用。利用vmf分布代替高斯分布，不仅可以避免kl坍缩，而对具有更丰富结构的数据来说往往能得到比高斯分布更好的表现。对比传统vae，这种方法更具鲁棒性，同时具有更好的对数似然比，这表明在训练末端更充分地利用了潜变量。计算机视觉中的零样本学习提出了很多方法来利用语义信息发现未知类，例如基于属性和深度学习的方法等，其关键在于利用从已知类获得的知识来描述未知类。其中基于生成模型的方法可利用未知类的语义生成伪样本数据，可以在拥有较少数据的情况下实现更高的检测精度，典型的有基于变分编码器、对抗生成网络的方法等。现有无监督检测方法只针对正常行为建模，输出偏离正常的异常行为，缺乏对未知行为的具体分析从而不利于自动及时采取响应措施；有监督检测方法缺乏能利用威胁情报的通用框架，不具备灵活检测利用新技术或新漏洞的各类未知恶意行为的能力；基于基线行为建模的方法没有考虑用户正常行为模式的变化，往往将正常偏离行为报为异常使得误报率较高；大多分析方法对所有的用户行为建模计算成本大，不适用于对实时性要求高的场景。本案实施例中，基于零样本学习框架，基于超球面变分自动编码器的半监督检测未知用户恶意行为，能够利用威胁情报提供的语义信息，通过超球面变分自动编码器将行为及对应语义属性映射到一个公共超球面上，并基于余弦相似度灵活、精准地匹配识别各类未知恶意行为；识别时如果新样本与所有恶意类都不匹配则识别为正常样本，避免了正常行为变化引起的误报；与普通变分自编码器相比，超球面变分自动编码器更健壮且适合捕捉结构更丰富的数据，在恶意行为检测中表现了出更优异的性能。
29.作为本发明实施例中基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，依据目标用户行为日志信息，通过用户历史活动数据并利用图卷积网络预测其正常行为模式。进一步地，将历史活动数据按照时间和用户进行分割和聚合，将用户行为记录表示为行为特征向量，该行为特征向量的两个维度分别表示用户在时间段内的动作记录合集和不同动作类型；将每个用户看做一个图节点生成用户行为图，基于历史活动数据来预测用户正常行为模式。
30.在检测前还采用一个图卷积网络进行预处理，通过将所有用户行为看作图数据放大与正常行为的差异以降低用户正常行为模式变化的影响和节约计算开销。
31.作为本发明实施例中基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，利用图卷积网络对多元时间序列进行预测，用户作为图节点，用户行为特征向量作为图节点属性，其中，图卷积网络包含用于输出图邻接矩阵的图学习模块、用于聚合图邻居节点信息的图卷积模块和用于处理时间关系特征的时间卷积模块。进一步地，时间卷积模块采用长短期记忆模型对时间维度特征进行压缩和预测。
32.在用户实体行为分析中，用户的正常行为模式往往会随着时间或业务的变化而改变。现有基于用户正常模式基线的检测方法往往无法适应这种变化，造成大量虚警和误报。如果能够减少用户正常模式改变带来的影响，则可以大大降低恶意行为识别的精度。基于此，本案实施例中，基于深度图卷积网络的用户正常行为模式预测，通过用户近期的活动数据预测最近的正常行为模式，通过预测值与实际值的对比能够放大恶意活动的影响，减小正常行为改变的影响，从而大大提高恶意行为识别的准确率。
33.为了保持同类样本之间尽量相似，本案实施例中，首先将用户行为按照时间和用户进行分割和聚合，用户i当天(周)的行为记录表示为特征向量h
i
。h
i
∈r
t
×
d
的两个维度分别表示该用户该时段的动作记录合集和不同的动作类型。其中t代表时间特征维度，d代表动作特征维度。其次由于单独为每个用户建模的计算和时间成本太高，可将每个用户看作一个节点，所有的输入用户作为图数据处理后整体输入。对于一个图g＝(v,z,z)，v表示节点集由用户集组成，a表示图的邻接矩阵z，表示节点的属性集，其中用户i的属性为z
i
＝h
i
。
34.利用深度图卷积网络可以进行多元时间序列的预测工作。其中，已有利用图卷积网路对多元时间序列的预测取得了良好的效果。在基础上，用于预测用户正常行为架构如图2所示。主要由三类模块组成：图学习模块、图卷积模块和时间卷积模块，分别用于输出合适的邻接矩阵a、聚合邻居节点信息和处理时间上的关系特征。具体来说，在进行用户正常行为预测任务时，将过去m天生成的用户行为图g
t
‑
m
,
…
,g
t
作为模型的输入，预测输出第t+1天的用户行为图g
′
t+1
。其中用户作为图节点，节点属性是当天的用户行为特征向量(由动作记录聚合后经池化层后得到)。图的邻接矩阵既可以由图学习模块自动生成，也可以预先定义。例如在恶意行为检测中，可以定义图的边关系为用户间的通信或角色关系。其次，在时间卷积模块中，采用长短期记忆模型对时间维度的特征进行压缩和预测。最终，输出为x
a
＝normalize(h
′
a
‑
h
a
)，表示第t+1天a用户的行为特征，h
′
a
为模型预测的行为特征向量，h
a
为实际行为特征向量。经过本节的预处理后，所生成的样本x放大了用户异常行为并减小了用户正常行为模式不同带来的负面影响，使得同类恶意行为样本彼此接近、异类远离，大大较少了实际检测中的误报率。
35.作为本发明实施例中基于超球面变分自动编码器的未知用户恶意行为检测方法，
进一步地，通过构建用于未知恶意行为识别的检测模型，利用所述检测模型对未知恶意行为进行分类识别，其中，所述检测模型包含用于对用户行为数据进行编码的行为变分编码器、用于对语义属性进行编码的语义变分编码器和用于将两个编码器输出进行投影对齐的公共超球面。
36.结合语义知识识别和分析未知用户恶意行为的方法，可以利用最新的威胁情报和专家知识，识别各类未知恶意行为。
37.作为本发明基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，利用检测模型对未知恶意行为进行分类识别中，首先，设置已知恶意类标签集合和未知恶意类标签集合，对于每个恶意类标签均有其对应语义属性信息；对于所有恶意类标签，设置类原型，将类原型作为所有隐空间上已知恶意类标签数据投影均值；通过对齐每一类的类原型与未知类标签来实现未知用户恶意行为和语义属性的投影对齐。
38.在实际中，各种未知恶意行为层出不穷难以防范。现有检测方法针对未知恶意行为检测准确率偏低的问题，其中无监督方法无法针对性发现各类未知恶意行为，而有监督方法由于缺乏相关样本难以实现。基于此，本案实施例中，利用基于威胁情报的语义信息可以灵活地检测各类未知恶意行为检测方法，主要通过超球面变分自编码器将语义信息和行为信息投影到一个公共超球面上，并用余弦相似度匹配输出分类效果。同时，因为很多情况下正常行为存在多样性，因此分类时优先匹配恶意类，如果新样本距离所有恶意类都较远则分类为正常类。
39.检测模型可以利用语义知识实现对未知恶意行为的识别检测。数据集是当天所有用户行为经上一节模型处理后的行为特征向量集合。定义已知的恶意类标签集合y
s
＝{1,
…
,c
s
}和未知恶意类标签集合y
u
＝{c
s
+1,
…
,c
s
+c
u
}，且所有恶意类标签集合为y
all
＝y
s
∪y
u
。对于每个恶意类来说，都有基于威胁情报的语义属性信息s
k
∈s
all
＝s
s
∪s
u
，s
s
和s
u
分别表示已知和未知恶意类的语义信息集合。利用训练集d
train
＝{(x,s,y)|x∈x
s
,s∈s
s
,y∈y
s
}和{(s,y)|(s，y)∈s
all
×
y
all
}来训练模型，目标是识别出所有恶意类样本。其中，检测模型构建中，先建立一个公共的超球面，并用两个变分编码器(vae)将语义信息s和行为信息x分别投影到该公共面中再对齐。μ
i
，σ
i
＝en
b
‑
vae
(x
i
)，en
b
‑
vae
是行为vae的编码器，μ
i
代表编码后x
i
在公共空间中投影的均值。同样地，语义vae模型中代表编码后语义信息s
k
在公共空间中投影的均值。最后对于所有的恶意类，定义一个类原型对于已知恶意类c
k
∈y
s
来说类原型是所有隐空间上该类样本投影μ
i
的均值；对于未知恶意类c
k
∈y
u
其类原型模型通过对齐每一类的和来实现语义和行为的对齐。其计算方法可设计如下:
[0040][0041]
作为本发明实施例中基于超球面变分自动编码器的未知用户恶意行为检测方法，进一步地，利用重构损失函数、对齐损失函数和跨域损失函数来约束投影对齐，其中，重构损失函数最大化变分编码器先验分布和后验分布相似性，对齐损失函数用于公共空间中未知用户恶意行为和语义属性对齐，跨域损失函数用于跨域重构后未知用户恶意行为和语义属性对齐。
[0042]
将所有用户作为图数据整体分析，采用图卷积网络模型预测出用户当前应当存在的正常行为模式，通过与历史数据比较以放大异常行为，以大大降低计算开销并提高恶意行为识别准确率；利用三个损失函数用于对齐语义和行为空间，在零样本和小样本情况下依旧表现出了良好的检测性能。
[0043]
在训练阶段，本案实施例中，通过三个损失函数来达到对齐目标：重构损失、对齐损失和跨域损失。重构损失是指在构建vae模型时先验分布和后验分布应尽量相似，即：
[0044][0045]
其中d
kl
表示kl散度，即两个分布间的相似度。对于超球面vae来说这两个分布都是超球面上的von mises
‑
fisher(vmf)分布(可以看作超球面上的高斯分布)，定义为：
[0046][0047]
则vmf分布下的kl散度可以定义为：
[0048][0049]
对齐损失(da)和跨域损失(ca)都用于对齐和前者用于公共空间中对齐，后者用于跨域重构后的对齐，如公式4所示：
[0050][0051][0052]
其中de表示解码器，d
cos
表示余弦距离。则总体的损失函数为公式6。
[0053]
作为本发明实施例中基于属性值分布的人物实体对齐方法，进一步地，基于余弦相似度匹配识别用户未知恶意行为，通过设置分类边界，通过计算输入样本与类原型之间余弦距离，将余弦距离大于分类边界的情形，将未知用户恶意行为归类为正常类，否则将其归类为恶意类。
[0054]
在实际分类时，可基于专家经验给出一个分类边界η。当输入新样本时与所有恶意类计算其与类原型之间的余弦距离，如果存在小于等于η的值，则分类为距离最近的恶意类；如果所有距离都大于η，则预测其为正常类。过程如公式6所示。之所以将距离恶意类大于η的样本都识别为正常类，是因为正常行为具有多样性，这样做可以大大降低误报率。
[0055][0056]
利用公式7，可以对样本的类标签进行预测，也就同时可以自动输出对应的语义信息e
sj
。由于语义信息的格式可由安全专家预先定义，因此，所输出的语义信息能可以辅助安全人员快速判断威胁类型，并应用于自动化安全响应之中。
[0057]
本案实施例中，将语义知识引入用户行为分析中，以在检测和识别各类未知恶意行为的同时进行语义分析，从而帮助专家自动注释各类未知恶意行为；在用户行为分析中首次将组织中所有用户行为处理为图数据整体分析。并且采用图卷积网络模型放大与以往不同的异常行为，以提高对恶意行为识别的准确率；并针对正常类行为的改进措施，通过优先匹配恶意类边界，在公共空间中进行分类识别，从而大大提高了对正常类的识别精度。并在识别恶意行为时，通过设计针对正常类行为的改进措施，大大降低了正常行为多样性带来的负面影响。
[0058]
进一步地，基于上述的方法，本发明实施例还提供一种基于超球面变分自动编码器的未知用户恶意行为检测系统，包含：信息提取模块和匹配识别模块，其中，
[0059]
信息提取模块，用于获取目标用户行为日志信息并提取行为日志信息中的行为及对应的语义属性；
[0060]
匹配识别模块，用于利用超球面变分自动编码器将目标用户日志信息中行为及对应语义属性映射到公共超球面上，并基于余弦相似度匹配识别用户未知恶意行为。
[0061]
参见图3所示，采用两个超球面变分编码器分别处理行为和语义数据，将其投影到一个公共超球面后再进行检测分类。在这个公共空间中，通过不断迭代训练减小分布和重构损失来对齐两个模态的潜分布。在具体分类时，通过测量新样本与类原型(良性类除外)之间的余弦相似度来标记样本，最后将那些不接近所有类原型的行为视为正常行为。本案实施例方案，能够有效利用威胁情报提供的语义信息自动精准地检测各类未知用户恶意行为，不仅能在流场景下迅速检测出各类未知恶意行为，还能自动分析其具体的语义属性以便于后续的快速响应；可将所有用户看作一个整体的图输入，从而对海量用户进行统一建模以减少计算复杂度。
[0062]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
[0063]
基于上述的方法和/或系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。
[0064]
基于上述的方法和/或系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。
[0065]
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
[0066]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0067]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。