一种基于网络安全设备日志数据的用户账户滥用审计方法和系统与流程

本发明属于数据挖掘技术领域，特别涉及一种基于网络安全设备日志数据的用户账户滥用审计方法和系统。

背景技术：

由于企业云平台的重要性，各企业在搭建云平台时都会选择将其部署在安全设备之后从而保障其不受到来自外网的攻击。但安全设备对于已获准进入的内部用户的异常访问行为并不能很好的检查出来，比如用户账户滥用、用户越权访问，以及用户私自获取、修改重要数据等行为。这些异常行为对于企业云平台而言具有极高的风险，一旦发生就会给企业带来不可估量的严重后果和经济损失。

虽然网络安全设备无法检测到内部用户的行为异常，但可以较为全面的记录所有云平台用户的操作信息与账户信息。通过这些数据我们可以利用技术手段提取出用户的行为特征，从而尝试对用户行为进行识别并实现对异常用户账户的识别预警。

技术实现要素：

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于网络安全设备日志数据的用户账户滥用审计方法和系统，从网络安全设备用户权限数据中提取用户权限信息，然后通过统计海量用户日志数据获得用户单日的操作频次、账号设备使用、指令操作、越权行为等特征；使用ocsvm算法建立针对每位用户的行为单类分类器，从而构建包括全部用户的行为分类器库；通过使用分类器对用户行为特征进行分类获取用户行为的类标签，并根据类标签对存在滥用风险的用户作出预警，从而达到准确预警并节省人力和财力的目的。本发明不仅考虑了用户的历史日志数据，同时也考虑了用户的当前数据，具有获取成本低、信息内容丰富、覆盖用户广、针对用户的行为模型更精准等优点，使得本申请与传统的方法和系统相比，具有明显优势。

为了实现上述目的，本发明采用的技术方案是：

一种基于用户日志数据的用户账户滥用审计方法，其特征在于，包括：

步骤1，以网络安全设备用户权限数据为数据源，从用户权限数据中提取用户的系统账号id、服务器ip，以及“root”权限信息；

步骤2，以网络安全设备用户日志数据为数据源，从用户一段时间内的单日操作日志的有效字段中提取28个用户特征。其中包括单日操作频次特征、单日账号与设备使用特征、单日操作指令使用特征，以及参考步骤1中用户权限信息得到的用户单日越权操作特征共四类特征：

步骤2.1，依据历史日志数据中的“操作时间”字段提取操作频次类特征：将单日内的24小时划分为0点～8点、8点～12点、12点～14点、14点～18点、18点～24点五个时段，8点～12点和14点～18点这两个时段上记作“工作时间”进行后序统计，0点～8点、12点～14点、18点～24点这三个时段记作“休息时间”进行后序统计。然后，通过统计历史日志中，每个用户每日工作时间、休息时间的操作次数，分别对其求取平均值，可以获得工作时间日均操作次数、休息时间日均操作次数两个用户特征；

步骤2.2，依据历史日志数据中的“进程id”、“系统账号id”以及“服务器ip”三个有效字段提取账号与设备使用类特征：对每位用户所使用过的服务器数目、系统账号数目以及进程id数目进行统计，可以得到用户单日使用的服务器ip数目、单日使用的系统账号id数目、单日使用的进程id数目3个用户特征；

步骤2.3，依据历史日志数据中的“命令指令部分”有效字段提取操作指令使用类特征：通过识别历史日志中每个用户的指令类别，统计每个用户在各类指令下的操作频次，并计算出各类指令在用户使用过的全部指令中的占比，从而得到使用的各类指令占比，指令类别包括：linux指令中文件管理类、文档编辑类、文件传输类、磁盘管理类、磁盘维护类、网络通讯类、系统管理类、系统设置类、备份压缩类、设备管理类指令的占比，使用的hadoop指令中用户命令、管理命令的占比，使用的sql指令中数据操作、数据定义、数据控制、事务控制、程序化sql的占比，以及未识别指令的占比，最后可获得共18个用户特征；

步骤2.4，依据历史日志数据中的“命令参数部分”、“命令指令部分”以及“命令中出现的远程连接地址”三个有效字段以及用户权限数据中提取所有用户的权限信息，提取越权操作类特征：通过提取历史日志中每个用户登录其他系统账号、使用高级权限(“root”权限)、远程登录其他服务器的行为信息，并将其与该用户的权限数据进行对照，统计每个用户越权登录他人账号、服务器，以及私自提权为“root”的次数，从而得到越权登录他人账号频次、越权登录他人账号个数、私自提权频次、越权登录其他服务器频次、越权登录其他服务器的个数5个用户特征；

步骤3，根据步骤2中提取到的用户单日行为特征，使用特征标准化预处理方法对用户特征进行标准化处理，得到标准化后的用户单日特征，并记录所有的标准化时用到的信息，即平均值与标准差：

步骤3.1，针对每个用户的每一个特征维度，计算并记录该用户的每个特征值的均值μ与方差σ²；

步骤3.2，对每个用户的每个特征值x使用公式进行换算，并用所得的x^*进行步骤4中模型构建运算；

步骤4，基于ocsvm算法，使用步骤3中得到的每位用户的单日行为特征训练针对每位用户本人账户的单类分类器，得到用以区别用户本人与非用户操作者对用户账户的操作行为的分类器模型：

步步骤4.1，将步骤3中得到的不同用户多日内的全部单日行为特征按不同用户进行划分，建立每位用户的日常行为特征库；

步骤4.2，使用每位用户的全部单日行为特征并基于ocsvm(one-classsupportvectormachine，单分类支持向量机)算法训练针对每位用户本人的单类分类器，最终每个用户都有一个与其对应的单类分类器；

步骤5，基于步骤4的训练方法，在一段时间后对所有用户的单类分类器进行更新，重新训练新的针对每位用户的单类分类器：

步骤5.1，根据用户工作平台人员变动或事务变动的一般周期设置分类器更新的时间间隔；

步骤5.2，在达到更新时间限时，基于最近一个更新周期内的用户日志数据，使用步骤2、3、4的方法提取新的用户单日行为特征，并根据新的用户单日特征训练针对每位用户的单类分类器，用以代替旧的用户行为单类分类器；

步骤6，获取网络安全设备当日的用户日志数据，从其中的用户操作日志有效字段中提取用户当日行为特征，并利用步骤3获得的标准化信息、按相同方法对当日行为特征进行标准化处理，根据步骤4中得到的用户行为单类分类器对各个用户的当日特征进行分类匹配，并根据分类结果对是否发出用户异常警告做出决策：

步骤6.1，获取网络安全设备最近一天内的用户日志数据，以“单日”为单位提取用户特征，并用步骤3中记录的平均值和标准差，按相同方法对当日行为特征进行标准化处理；

步骤6.2，针对每个用户，使用与其对应的用户行为特征单类分类器对当日用户特征进行分类，确定每个用户特征的类标记；

步骤6.3，对全部用户的类标记进行筛选：标记为1表明其行为符合该用户的过往行为习惯，标记为-1则表明该用户当日行为与其过往行为有较大偏差；针对类标记为-1的用户做出对该类用户发出账户滥用预警的决策。

进一步，本发明中网络安全设备日志数据是指，例如云平台堡垒机等安全设备记录下的包含用户每日操作的具体信息如时间、服务器ip、使用指令、系统账号等内容的大量相关数据。

进一步，本发明中所提到ocsvm算法是指单分类支持向量机(one-classsupportvectormachine)，是一种无监督机器学习算法。其核心思想就是使用svm的方法在高维特征中构造一个对单类样本的分类超平面，使该类样本和其他任何类型样本都区别开来。

进一步，步骤2中选择用户日志数据的时间跨度即具体天数由人工设定，一般使用一个月内的用户日志数据，同时步骤5中模型更新频率与之相匹配。也就是说，模型更新的时间限应在参考用户工作周期及工作事务变化周期后由人工设定，此外建立ocsvm模型时使用的用户单日行为特征的天数应与模型更新周期相匹配，一般设置为一个月。

本发明还提供了一种基于网络安全设备日志数据的用户账户滥用审计系统，包括数据获取模块、特征提取模块、审计模型建立模块、模型更新模块、警告和可视化模块四个模块，可实现对用户行为的识别与分类，并通过警告决策和可视化展示对存在账户滥用危险的用户发出警告，其特征在于，包括：

数据获取模块，从网络安全设备获取用户权限数据与用户日志数据；

特征提取模块，从用户权限数据中提取与用户权限相关的服务器权限、系统账号权限，从用户日志数据中提取与用户行为相关的操作频次特征、账号与设备使用特征、操作指令使用特征、越权操作特征；

审计模型建立模块，基于特征提取模块得到的各项特征，基于ocsvm算法使用一月内的全部用户单日行为特征训练针对每个用户账户的行为特征单类分类器，全部分类器作为用户行为分类器库进行存储；

模型更新模块，提取更新周期(一般为一个月)内的全部用户单日行为特征，基于ocsvm算法训练新的用户行为单类分类器，并使用新分类器对审计模型建立模块中的用户行为分类器库进行替换更新；

警告和可视化模块，根据审计模型建立模块中获得的单类分类器，对最近一天的单日用户特征进行分类，从而根据获得的每位用户的类标签对是否对用户发出账户滥用预警做出自动决策，并且对各用户分类结果进行可视化呈现。

与现有技术相比，本发明的有益效果是：

1.在用户行为单类分类器建立过程中，只需要网络安全设备上自动记录的用户权限数据和日志数据，不需要其他专门产生的数据。且由于使用的是无监督学习方法，也不需要具体的人工标记，从而该方法具有很低的人力和财力的花销。

2.使用的单类分类器的本身结构决定该算法简单容易实现，同时具有低的时间复杂度，降低了计算开销。

3.实现了对用户行为的直观性识别，通过分类器分类结果可以对用户行为是否正常进行简单明了的判断，大大降低了决策和可视化环节的实现难度。

附图说明

图1是本发明的基于网络安全设备日志数据的用户账户滥用审计方法框图。

图2是本发明的基于网络安全设备日志数据的用户账户滥用审计系统框架图。

图3是网络安全设备用户权限数据实例。

图4是网络安全设备日志数据实例。

图5是标准化用户行为特征数据实例。

图6是实时分析的可视化结果。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明中的方法将分为离线建模和在线分析两部分说明，具体包括数据获取过程、特征提取过程、审计模型建立过程，模型更新过程，在线用户账户审计过程。图1是本发明的基于网络安全设备日志数据的用户账户滥用审计方法框图。本发明中的系统以框图形式予以说明。图2是本发明的基于网络安全设备日志数据的用户账户滥用审计系统框架图。

数据获取过程

图3是网络安全设备用户权限数据实例。图4是网络安全设备用户日志数据实例。数据获取具体过程如下：

(1)通过linux下载指令，以固定格式从数据源下载所需用户权限数据；

(2)通过linux下载指令，以固定格式从数据源下载用户日志数据中的所需字段。

特征提取过程

通过批量数据处理和文本挖掘等技术，参考网络安全设备用户权限信息对网络安全设备日志数据中有效字段进行特征提取。具体特征提取过程如下：

(1)依据历史日志数据中的“操作时间”字段提取操作频次类特征：将单日内的24小时划分为0点～8点、8点～12点、12点～14点、14点～18点、18点～24点五个时段，8点～12点和14点～18点这两个时段上记作“工作时间”进行后序统计，0点～8点、12点～14点、18点～24点这三个时段记作“休息时间”进行后序统计。然后，通过统计历史日志中，每个用户每日工作时间、休息时间的操作次数，分别对其求取平均值，可以获得工作时间日均操作次数、休息时间日均操作次数两个用户特征；

(2)依据历史日志数据中的“进程id”、“系统账号id”以及“服务器ip”三个有效字段提取账号与设备使用类特征：对每位用户所使用过的服务器数目、系统账号数目以及进程id数目进行统计，可以得到用户单日使用的服务器ip数目、单日使用的系统账号id数目、单日使用的进程id数目3个用户特征；

(3)依据历史日志数据中的“命令指令部分”有效字段提取操作指令使用类特征：通过识别历史日志中每个用户的指令类别，统计每个用户在各类指令下的操作频次，并计算出各类指令在用户使用过的全部指令中的占比，从而得到使用的各类指令占比，指令类别包括：linux指令中文件管理类、文档编辑类、文件传输类、磁盘管理类、磁盘维护类、网络通讯类、系统管理类、系统设置类、备份压缩类、设备管理类指令的占比，使用的hadoop指令中用户命令、管理命令的占比，使用的sql指令中数据操作、数据定义、数据控制、事务控制、程序化sql的占比，以及未识别指令的占比，最后可获得共18个用户特征；

(4)依据历史日志数据中的“命令参数部分”、“命令指令部分”以及“命令中出现的远程连接地址”三个有效字段以及用户权限数据中提取所有用户的权限信息，提取越权操作类特征：通过提取历史日志中每个用户登录其他系统账号、使用高级权限(“root”权限)、远程登录其他服务器的行为信息，并将其与该用户的权限数据进行对照，统计每个用户越权登录他人账号、服务器，以及私自提权为“root”的次数，从而得到越权登录他人账号频次、越权登录他人账号个数、私自提权频次、越权登录其他服务器频次、越权登录其他服务器的个数5个用户特征。

审计模型建立过程

具体建立过程如下：

(1)将如图5所示的经过标准化后的不同用户多日内的全部单日行为特征按不同用户进行划分，建立每位用户的日常行为特征库；

(2)使用每位用户的全部单日行为特征并基于ocsvm(one-classsupportvectormachine，单分类支持向量机)算法训练针对每位用户本人的单类分类器，最终每个用户都有一个与其对应的单类分类器；

在线用户账户审计过程

获取网络安全设备当日的用户日志数据，从其中的用户操作日志有效字段中提取用户当日行为特征，根据模型建立过程中得到的用户行为单类分类器对各个用户的当日特征进行分类匹配，并根据分类结果对是否发出用户异常警告做出决策，具体过程如下：

(1)获取网络安全设备最近一天内的用户日志数据，以“单日”为单位提取用户特征，并用步骤3中记录的平均值和标准差，按相同方法对当日行为特征进行标准化处理；

(2)针对每个用户，使用与其对应的用户行为特征单类分类器对当日用户特征进行分类，确定每个用户特征的类标记；

(3)对全部用户的类标记进行筛选：标记为1表明其行为符合该用户的过往行为习惯，标记为-1则表明该用户当日行为与其过往行为有较大偏差；针对类标记为-1的用户做出对该类用户发出账户滥用预警的决策。

图6是用户行为特征的分类器分类在服务器上在线运行的可视化结果(用户真实姓名不予展示)，每个被标记为“abnormal”的用户账户都是具有滥用风险的账户，标记为“normal”则为正常用户。

综上，本发明从网络安全设备用户日志等数据中提取特征，对特征进行预处理和数据分析，获得特征之间以及特征与用户行为之间的关系，根据用户特征构建基于ocsvm算法的分类器模型，根据分类器模型对用户行为特征进行判别，以发现用户账户是否存在被滥用的风险；本发明所公开的基于网络安全设备日志数据的用户账户滥用审计方法和系统，结构简单、计算复杂度低，可有效减少用户日志中行为分析的计算资源开销，仅需网络安全设备自动记录的数据，具有实际应用的优势，提供了针对用户个人账户行为特征的建模化分析方法，同时对用户账户是否存在被滥用的风险进行了决策性判断。