本发明涉及日志检测，具体为一种多源日志安全威胁检测响应方法及系统。

背景技术：

1、日志安全威胁检测，就是通过自动分析系统和应用产生的海量日志，从中发现网络攻击、恶意操作、内部违规等安全威胁的过程，日志就是数字世界里，系统和应用自动写下的日记或流水账，它会忠实记录下在特定时间、由谁、在什么地方、对什么目标、做了什么操作、结果是什么，这些日志数据量巨大，每分钟可能产生数百万条，人眼根本无法看完，安全威胁就是潜藏在海量日志中的坏消息，是攻击者留下的痕迹，现有的日志安全威胁检测方法包括基于规则、签名的检测，这是最传统、应用最广泛的方法，通过预定义已知攻击的“指纹”来匹配日志，比如正则表达式匹配恶意命令、关键字、特定的登录失败次数阈值等。

2、专利公开号为cn119363566a的数字对象异常日志检测方法及装置，采用对抗式生成算法生成补充异常样本，从而扩充训练样本集中异常日志数据的数量，解决正负样本不均导致训练得到的模型泛化性低的问题，提升模型识别异常日志数据的准确性。并且，本技术中基于神经网络和随机森林网络搭建可插拔式的目标检测模型，降低模型对训练样本的依赖性，进一步提升模型的泛化能力和准确性。

3、由于现有安全信息和事件管理平台虽然能够汇聚多源日志，但其分析引擎主要依赖人工配置的关联规则，规则的知识更新严重滞后于攻击技术的演变，面对新型攻击手法如0day漏洞利用、apt高级持续威胁等几乎无法有效识别，此外，各安全设备之间缺乏有效的协同机制，威胁处置仍需人工登录不同设备逐一操作，响应时间长，即便是部分引入了机器学习技术的方案，也仅针对单一类型日志进行异常检测，未充分考虑多源数据之间的互补验证关系，也未将威胁情报作为动态权重因子融入研判链路，导致检测结果的可信度缺乏量化支撑。

技术实现思路

1、本发明的目的在于提供一种多源日志安全威胁检测响应方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种多源日志安全威胁检测响应方法及系统，包括：获取不同厂商安全设备的实时告警数据，得到采集数据集，针对采集数据集中每种设备类型的日志格式，预先配置对应解析模板，得到解析模板集，基于解析模板集提取结构化字段信息，得到提取数据集，基于提取数据集，将告警源与本地威胁情报库及第三方威胁情报平台进行交叉匹配，根据匹配结果对告警进行过滤，得到处理数据集；基于处理数据集，并行调用至少三种不同类型的分析模型进行独立研判，并将各模型的输出结果输入融合决策层，通过预设融合策略生成最终威胁判定结果和综合风险等级，得到综合风险输出项，获取安全运维人员对综合风险输出项的修正反馈，动态调整各分析模型的特征权重向量，得到更新风险输出项，基于更新风险输出项，获取攻击类型、源ip地址、目的ip地址和当前网络拓扑信息，从预定义处置策略模板库中选择匹配的基础策略模板进行匹配对照，得到策略对照项，从而通过多引擎并行与加权融合机制，实现了安全威胁的精准检测与响应。

3、更进一步地，所述采集数据集的获取方法包括：

4、通过部署于各安全域的数据采集探针，分别经由流量镜像端口、syslog协议、api接口三种方式中的至少一种，接入防火墙、入侵检测系统、入侵防御系统、web应用防火墙、终端检测响应系统、云安全组、堡垒机中多种不同厂商安全设备的实时告警数据，得到采集数据集，采集数据集包含原始日志记录及其对应的设备类型标识和厂商信息。

5、更进一步地，所述解析模板包括字段分隔符定义、字段映射关系、数据类型转换规则以及异常处理规则，解析模板集的获取方法包括：

6、字段分隔符定义为定义原始日志中不同字段之间的分隔方式，包括正则表达式匹配规则、固定偏移量截取规则以及分隔符分割规则，字段映射关系将原始日志中各字段映射至标准字段名称，标准字段至少包括源ip地址字段、目的ip地址字段、源端口字段、目的端口字段、攻击类型标识字段、攻击严重程度等级字段、告警发生时间戳字段、设备唯一标识字段和日志原始内容字段，数据类型转换规则定义各字段从字符串类型转换为目标数据类型的方式，目标数据类型包括整数型、浮点型、日期时间型和布尔型中的至少一种，异常处理规则定义当字段缺失、格式错误以及数值越界时的默认值填充策略和跳过策略。

7、更进一步地，所述提取数据集的获取方法包括：

8、基于目标日志对应的设备类型标识和厂商信息，从解析模板集中匹配对应的解析模板，基于匹配到的解析模板中的字段分隔符定义，对目标日志进行字段分割，得到初始字段列表，基于解析模板中的字段映射关系，将初始字段列表中各字段映射至对应的标准字段名称，构建包含标准字段名称及其对应值的键值对集合，基于解析模板中的数据类型转换规则，将键值对集合中各字段的值从字符串类型转换为对应的目标数据类型，将经过字段分割、字段映射和数据类型转换后形成的结构化告警记录存入统一数据平台，并对关键字段建立索引，关键字段包括源ip地址、目的ip地址、告警发生时间戳和设备唯一标识，得到提取数据集。

9、更进一步地，所述处理数据集的获取方法包括：

10、从提取数据集的每条结构化告警记录中提取待匹配的关键信息项，关键信息项包括源ip地址、目的ip地址、源端口、目的端口、域名、url和文件哈希值中的至少一种，将关键信息项依次与本地威胁情报库中存储的结构化情报数据进行第一级匹配，本地威胁情报库存储的情报数据类型包括已知恶意ip地址列表、已知恶意域名列表、已知恶意文件哈希值列表和已知攻击组织指纹特征列表中的至少一种，设定第一预设阈值，对于经第一级匹配未命中以及匹配置信度低于第一预设阈值的告警记录，通过标准化接口调用至少一个第三方威胁情报平台进行第二级匹配，获取第三方平台返回的情报查询结果，以匹配成功的告警记录作为保留，得到处理数据集。

11、更进一步地，所述分析模型包括投票分析模型、加权分析模型以及行为跟踪模型，其中：

12、投票分析模型通过至少三个轻量化检测子模型分别对当前告警进行是否为真实威胁的二分类判断，统计各子模型的判别结果，生成赞成票数、反对票数和弃权票数，当赞成票数占总有效票数的比例超过第一比例预设阈值时，输出第一威胁判定结果和第一置信度分值，加权分析模型基于当前告警记录的多维度特征因子，通过加权评分函数计算综合威胁置信度分值，多维度特征因子包括来源设备可信度因子以及攻击类型权重因子，行为跟踪模型以当前告警记录的源ip地址以及用户账号为跟踪主键，查询该主键在过去预设时间窗口内跨不同安全设备产生的所有历史告警序列。

13、更进一步地，所述综合风险输出项的获取方法包括：

14、融合决策层接收来自投票分析模型输出的第一威胁判定结果和第一置信度分值、来自加权分析模型输出的综合威胁置信度分值、来自行为跟踪模型输出的第二威胁判定结果和第二置信度分值，统计各分析模型输出的威胁判定结果，当判定为“威胁”的模型数量占参与分析的总模型数量的比例超过第二比例设阈值时，融合决策层输出最终威胁判定为有效威胁，否则输出为无效威胁。

15、更进一步地，所述更新风险输出项的获取方法包括：

16、将综合风险输出项展示给安全运维人员，并接收安全运维人员对当前告警的最终判定结果的确认以及修正操作，将每次修正操作记录为一个反馈样本，当累积的反馈样本数量达到样本预设阈值时，基于最新累积的所有已标注反馈样本，分别计算各特征维度与修正标签之间的互信息系数和相关系数，根据计算得到的互信息系数和相关系数，对各分析模型中的特征权重向量进行排序和重新分配，同时，基于各分析模型的误报率和漏报率的历史统计数据，动态调整预设融合策略中涉及的各项阈值参数，将更新后的特征权重向量和调整后的阈值参数应用于后续告警的分析研判中，基于更新后的分析参数重新计算当前待研判告警的综合风险等级，得到更新风险输出项。

17、更进一步地，所述策略对照项的获取方法包括：

18、当更新风险输出项中的最终威胁判定结果为有效威胁时，触发策略生成流程，从更新风险输出项中提取攻击类型标识字段、源ip地址字段、目的ip地址字段和目的端口字段，获取当前网络拓扑信息，包括各安全域的划分信息、各执行设备的部署位置及互联关系、各执行设备的当前运行状态、以及各执行设备的处置能力模型，执行设备包括边界防火墙、核心交换机、分布式交换机、云安全组、web应用防火墙和路由器中的至少一种，基于攻击类型标识字段，从预定义处置策略模板库中匹配对应的策略模板分类，策略模板库中包含按攻击类型分类的多个策略模板，每个策略模板包含处置动作类型字段、目标对象类型字段和动作参数字段模板，处置动作类型包括ip地址封堵、端口封堵、域名黑名单添加、进程终止和流量限速中的至少一种，目标对象类型包括源ip地址、目的ip地址、源端口、目的端口、协议类型和域名中的至少一种。

19、一种多源日志安全威胁检测响应系统，使用了上述所述的一种多源日志安全威胁检测响应方法，包括：

20、数据采集处理模块：获取不同厂商安全设备的实时告警数据，得到采集数据集，针对采集数据集中每种设备类型的日志格式，预先配置对应解析模板，得到解析模板集，基于解析模板集提取结构化字段信息，得到提取数据集，基于提取数据集，将告警源与本地威胁情报库及第三方威胁情报平台进行交叉匹配，根据匹配结果对告警进行过滤，得到处理数据集；

21、综合风险输出模块：基于处理数据集，并行调用至少三种不同类型的分析模型进行独立研判，并将各模型的输出结果输入融合决策层，通过预设融合策略生成最终威胁判定结果和综合风险等级，得到综合风险输出项；

22、风险更新输出模块：获取安全运维人员对综合风险输出项的修正反馈，动态调整各分析模型的特征权重向量，得到更新风险输出项；

23、策略对照响应模块：基于更新风险输出项，获取攻击类型、源ip地址、目的ip地址和当前网络拓扑信息，从预定义处置策略模板库中选择匹配的基础策略模板进行匹配对照，得到策略对照项，从而通过多引擎并行与加权融合机制，实现了安全威胁的精准检测与响应。

24、与现有技术相比，本发明的有益效果是：

25、该多源日志安全威胁检测响应方法及系统，通过并行调用投票分析模型、加权分析模型和行为跟踪模型进行独立研判，并在融合决策层采用多模型投票加权机制，克服了单一模型或固定规则集的认知局限性，尤为关键的是，基于运维人员的修正反馈，通过计算特征维度与修正标签之间的互信息系数及相关系数，动态调整各模型的特征权重向量，使系统能够持续适应新型攻击模式而无需人工重配规则，实现了检测能力随运营过程自主进化，从根本上解决了传统方案规则滞后的技术难题。

26、同时，通过设备适配层将策略模板自动实例化为不同厂商设备的可执行指令，实现跨设备策略统一下发与分布式联动，同时通过策略生命周期管理机制，对每条处置策略记录生效时间戳并预设有效时长，到期自动回收，解决了传统方案策略永久残留影响设备性能及误封正常流量的痛点，形成“检测-决策-处置-回收”全流程自动化闭环，将响应时间从小时级压缩至秒级。