一种基于SOAR的安全数据编排自动化分析方法与流程

一种基于soar的安全数据编排自动化分析方法
技术领域
1.本发明涉及网络安全领域。更具体地说，本发明涉及一种用基于soar的安全数据编排自动化分析方法。


背景技术：

2.对业务、安全的日志数据进行分析，不仅可以直观了解相关系统与业务的状态，同时还可以挖掘潜在的风险、进行攻击数量统计、监控运行状态、跟踪用户轨迹以及对用户行为进行分析等等，分析结果可作为业务发展、安全建设的重要决策依据。
3.但是，传统日志审计设备是通过积累厂家、系统、型号与对应的日志规范，实现对日志源的快速采集与分类，当前各类系统运营产生的日志文件不仅数量庞大，且格式多种多样，难以统一处理，要想从中得到所需信息，通常只能根据每种类型的日志，人工编写正则表达式或使用其他方法单独提取，对于工作人员来说工作难度和负担巨大，工作效率较低，所以研发一个可自动、快速对多种日志进行编排和分析的平台有着重要的意义。


技术实现要素：

4.本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
5.本发明还有一个目的是提供一种基于soar的安全数据编排自动化分析方法，其能够对各种设备的日志进行自动化的编排与分析，提取日志中的关联关系，挖掘潜在风险，及时检测威胁并根据响应剧本迅速下发指令，在保障系统安全的同时，减小工作人员负担。
6.为了实现根据本发明的这些目的和其它优点，提供了一种基于soar的安全数据编排自动化分析方法，其包括以下步骤：
7.步骤一，采集各类设备日志数据，之后解析日志关键信息；
8.步骤二，将日志进行关联分析，挖掘潜在威胁；
9.步骤三，构建响应剧本库，并将攻防过程中和日常中用到的所有工具和功能，通过api接口串联起来，实现一键防御；
10.其中，所述步骤二包括：
11.步骤s21，根据业务的使用场景构建正常行为的节点轨迹图；
12.步骤s22，构建当前用户行为的节点轨迹图；
13.步骤s23，计算当前用户行为的节点轨迹图与正常行为的节点轨迹图的偏移距离d，计算公式如式ⅰ：
[0014][0015]
其中，n表示节点个数，m表示属性个数，nodei表示第i个节点，sj表示业务正常轨迹节点的第j个属性，s’j
表示用户轨迹节点的第j个属性。
[0016]
步骤s24，当所述偏移距离d大于预设阈值时，锁定当前用户ip，查看其周期时间或
历史时间内是否发生过异常或攻击行为及发生次数，并将同时间范围内发生过的相似异常行为进行归并，判定其为威胁行为。
[0017]
优选的是，所述步骤一还包括：根据日志具体内容格式，将日志划分为规范结构日志和不规范结构日志；
[0018]
解析日志关键信息时，所述不规范日志利用自动生成正则模块，自动生成正则后，自动提取关键信息；其中，所述自动生成正则模块通过如下方法构建：
[0019]
步骤s11，按照单个字符顺序分析业务字段内容；
[0020]
步骤s12，根据字符类型，进行标识；同时进行计数，根据出现频次，在标识后添加附加标识；
[0021]
步骤s13，定义模糊模式和精确模式，并根据指令输出最终正则表达式。
[0022]
优选的是，所述规范结构日志包括：
[0023]
一类日志，指可根据“|”或其他符号进行字段分割的日志；
[0024]
二类日志，指本身具有json格式或其他标准格式的日志。
[0025]
优选的是，解析日志时，对于所述一类日志，根据某个特定字符就可以将日志中所有的字段分隔开，按照顺序提取出来；
[0026]
对于所述二类日志，则根据字段名称就可以获取所有的字段信息。
[0027]
优选的是，所述步骤二中，所述正常行为的行动基线绘制方法如下：
[0028]
a，采集正常行为的信息，记录请求包的源地址、目的地址、连接时间、请求或发送数据、触发事件、事件等级、user-agent等基本信息；
[0029]
b，源地址、目的地址分别作为开始节点和结束节点，触发事件和事件等级等作为中间节点连接源地址和目的地址，连接时间、请求或发送数据、请求方法等基本信息作为属性连接至各节点，其中，触发事件按照威胁程度划分等级，不同等级用不同节点标识；
[0030]
c，将每个节点映射到高维空间中，连接各节点，即可形成正常行为的行动基线。
[0031]
优选的是，所述步骤三中，构建响应剧本库具体包括：通过端口监听和人工总结，记录攻防演练过程中和日常中的针对各种威胁行为的告警和处置方法，分类编写成流程化的剧本，形成响应剧本库。
[0032]
优选的是，所述基于soar的安全数据编排自动化分析方法还包括：
[0033]
步骤四，使用深度学习技术训练白模型，学习白数据的特征，区别正常数据和异常数据，发现未知攻击；周期性的更新模型训练数据，以便模型继续学习新的特征。
[0034]
优选的是，所述步骤一种，采集方法包括：
[0035]
开放的数据源；从公司已有的nginx、waf等日志库中获取；使用python爬虫方法获取；以及使用采集工具获取。
[0036]
本发明至少包括以下有益效果：本发明所述基于soar的安全数据编排自动化分析方法提供了根据日志内容自动生成正则的方法，可以自动规范化处理各种类型的日志。本发明还提供根据节点轨迹图进行分析的日志关联分析方法，对日志进行关联分析，利用攻防演练过程中的记录，完成剧本编排，形成剧本库。同时，结合机器学习等技术对威胁事件及时检测，各工具联动处理，迅速响应，相比以前的安全运营工具更加智能化、自动化，可大大减小工作人员的压力。
[0037]
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本
发明的研究和实践而为本领域的技术人员所理解。
附图说明
[0038]
图1为本发明所述基于soar的安全数据编排自动化分析方法的流程示意图。
具体实施方式
[0039]
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
[0040]
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
[0041]
本发明所述基于soar的安全数据编排自动化分析方法，包括以下步骤：
[0042]
步骤一，采集各类设备日志数据，之后解析日志关键信息；
[0043]
步骤二，将日志进行关联分析，挖掘潜在威胁；
[0044]
步骤三，构建响应剧本库，并将攻防过程中和日常用到的所有工具和功能，通过api接口串联起来，实现一键防御；
[0045]
其中，所述步骤二包括：
[0046]
步骤s21，根据业务的使用场景构建正常行为的节点轨迹图；
[0047]
步骤s22，构建当前用户行为的节点轨迹图；
[0048]
步骤s23，计算当前用户行为的节点轨迹图与正常行为的节点轨迹图的偏移距离d，计算公式如式ⅰ：
[0049][0050]
其中，n表示节点个数，m表示属性个数，nodei表示第i个节点，sj表示业务正常轨迹节点的第j个属性，s’j
表示用户轨迹节点的第j个属性。
[0051]
步骤s24，当所述偏移距离d大于预设阈值时，锁定当前用户ip，查看其周期时间或历史时间内是否发生过异常或攻击行为及发生次数，并将同时间范围内发生过的相似异常行为进行归并，判定其为威胁行为。
[0052]
在其中一个实施例中，所述设备日志数据可包括：各种厂家、系统、型号的设备产生的nginx日志、waf日志、ips日志、hids日志等，为保障平台的泛化性，需要尽可能多的获取设备日志数据。
[0053]
在其中一个实施例中，采集方法包括：
[0054]
开放的数据源；从公司已有的nginx、waf等日志库中获取；使用python爬虫方法获取；以及使用采集工具获取。
[0055]
在其中一个实施例中，所述步骤一还包括：根据日志具体内容格式，将日志划分为规范结构日志和不规范结构日志；
[0056]
解析日志关键信息时，所述不规范日志利用自动生成正则模块，自动生成正则后，自动提取关键信息；其中，所述自动生成正则模块通过如下方法构建：
[0057]
步骤s11，按照单个字符顺序分析业务字段内容；
[0058]
步骤s12，根据字符类型，进行标识；同时进行计数，根据出现频次，在标识后添加附加标识；
[0059]
步骤s13，定义模糊模式和精确模式，并根据指令输出最终正则表达式。
[0060]
在其中一个实施例中，对于不规范结构的日志，由于无法按照前面的方法方便的获取各字段信息，所以本发明自主研发了自动生成正则的工具：将日志中的字段如ip，时间，端口等，分别输入到平台中，即可自动生成正则而不用自己编写，这样，当新的不规范日志到来时，可根据正则表达式自动提取出里面的字段信息。最终一条日志用文字可表示为：
[0061]
log＝[time,ip,port,target_ip,url,.....]
[0062]
time:时间
[0063]
ip:源ip
[0064]
port:端口号
[0065]
target_ip:目的ip
[0066]
url:请求中的url
[0067]
每个业务字段的多少可根据实际内容决定.
[0068]
自动生成正则方法：
[0069]
定义的代码会对字段内容按照单个字符顺序进行分析，
[0070]
若是数字，通过规则映射，自动给予“\d”标识，
[0071]
是字母，自动给予“[a-za-z]”标识，
[0072]
是转义字符，会在其基础上添加“\”前缀，同时会进行计数，
[0073]
如果同种类型连续出现多个，则自动在标识符后添加“*”或“+”，
[0074]
还可选择“模糊”和“精确”两种模式：
[0075]
例如“\w”本身含义中字母和数字都包括在内，在“精确”模式中，数字只能用“\d”，字母只能用“[a-za-z]”，约束大，而在“模糊”模式中数字和字母都用“\w”表示，约束小；还可根据需要，选择字符个数限制等功能。
[0076]
例如，给定字符串s＝”helloworld5*”,则将其分解为字符串列表x＝[h,e,l,l，o,w，o,r,l,d,5,*],假设选择精确模式，则前10个字符都为字母，用”[a-za-z]”表示，“5”为数字，用“\d”表示，“*”为特殊字符，用“\*”表示，最终正则表达式r为：
[0077]
r＝“[a-za-z]+\d+\*”[0078]
假设选择模糊模式，则最终正则表达式r为：
[0079]
r＝”\w+\*”[0080]
在其中一个实施例中，所述规范结构日志包括：
[0081]
一类日志，指可根据“|”或其他符号进行字段分割的日志；
[0082]
二类日志，指本身具有json格式或其他标准格式的日志。
[0083]
解析日志时，对于所述一类日志，根据某个特定字符就可以将日志中所有的字段分隔开，按照顺序提取出来；
[0084]
对于所述二类日志，则根据字段名称就可以获取所有的字段信息。
[0085]
优选的是，所述步骤二中，所述正常行为的行动基线绘制方法如下：
[0086]
a，采集正常行为的信息，记录请求包的源地址、目的地址、连接时间、请求或发送数据、触发事件、事件等级、user-agent等基本信息；
[0087]
b，源地址、目的地址分别作为开始节点和结束节点，触发事件和事件等级等作为中间节点连接源地址和目的地址，连接时间、请求或发送数据、请求方法等基本信息作为属性连接至各节点，其中，触发事件按照威胁程度划分等级，不同等级用不同节点标识；每个节点可表示为：
[0088]
node(s1，s2，s3，...,sm)
[0089]
s1，s2，s3，...,sm表示节点的m个属性，
[0090]
c，将每个节点映射到高维空间中，连接各节点，即可形成正常行为的节点轨迹图。
[0091]
例如，业务的正常轨迹图可描述为：
[0092]
node1
‑‑
》node2
‑‑
》...
‑‑
》noden
[0093]
用户的轨迹图为：
[0094]
user_node1
‑‑
》user_node2
‑‑
》user_noden
[0095]
则用户与业务轨迹图的偏移距离d，可表示为：
[0096][0097]
其中，n表示节点个数，m表示属性个数，表示第i个节点，表示业务正常轨迹节点的第j个属性，表示用户轨迹节点的第j个属性。
[0098]
给偏移距离设置阈值，当d大于阈值时，即认为偏离正常轨迹图。若发现存在偏离轨迹图的行为，则锁定其ip，查看其周期时间或历史时间内是否发生过异常或攻击行为及发生次数，并将同时间范围内发生过的相似异常行为进行归并，发出告警，自动或人工处理。
[0099]
在其中一个实施例中，所述步骤三中，构建响应剧本库具体包括：通过端口监听和人工总结，记录攻防演练过程中和日常的针对各种威胁行为的告警和处置方法，分类编写成流程化的剧本，形成响应剧本库。在攻防演练过程中，会产生大量攻击和防御行为，本发明利用此过程，通过端口监听和人工总结，将各种威胁的告警、处置，分类编写为流程化的剧本，记录下来，形成响应剧本库，并将处置过程用到的所有工具和功能，通过api接口串联起来，实现一键防御，当再次遭遇威胁时，自动根据剧本进行智能决策，迅速响应，联动其他工具完成防御操作。
[0100]
在其中一个实施例中，所述基于soar的安全数据编排自动化分析方法还包括：
[0101]
步骤四，使用深度学习技术训练白模型，学习白数据的特征，区别正常数据和异常数据，发现未知攻击；周期性的更新模型训练数据，以便模型继续学习新的特征。对于常见的攻击可以使用规则或剧本的形式进行处置响应，对于一些新出现的未知攻击，往往会有遗漏，难以覆盖完全，基于此，本发明提出，使用深度学习技术训练白模型，着重学习白数据的特征，用以区别正常数据和异常数据，发现未知攻击，同时，周期性的更新模型训练数据，以便模型继续学习新的特征。
[0102]
在其中一个实施例中，如图1所示，本发明提供一种基于soar的安全数据编排自动化分析方法，包括如下步骤：
[0103]
步骤s1，采集各类设备日志数据；
[0104]
步骤s2，根据日志具体内容格式，进行主要类别划分；
[0105]
步骤s3，解析日志关键信息并可根据具体内容自动生成正则；
[0106]
步骤s4，将日志根据节点轨迹图进行关联分析，挖掘潜在威胁；
[0107]
步骤s5，捕捉威胁事件常用手段和处理方法，编写响应剧本，形成剧本库；
[0108]
步骤s6，结合深度学习技术，进行威胁检测，并作出响应。
[0109]
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。