一种监测高级持续性网络攻击的方法和系统与流程

本发明涉及网络空间安全技术领域，具体涉及一种监测高级持续性网络攻击的方法和系统。

背景技术

高级持续性网络攻击(英文：advancedpersistentthreat，apt)作为一种新型的网络攻击类型，使用的技术先进、隐蔽性强、针对目标的持续时间长，到目前为止，尚未有有效的监测方法。

传统的网络攻击检测方法，如入侵检测系统、沙箱检测等，只能针对有明显数据包特征及程序运行特征的网络攻击，不能有效应对精心部署的递进式(步骤分解)、持续进行的高级持续性网络攻击。

传统的审计方法，如网络日志审计等，只能应对小型网络、短时间审计，不能做大规模或者长时间数据的审计，也不能有效应对精心部署的递进式(步骤分解)、持续进行的高级持续性网络攻击。

技术实现要素：

本发明实施例的目的在于提供一种监测高级持续性网络攻击的方法和系统，用以解决现有技术中存在的问题。

为实现上述目的，本发明实施例提供一种监测高级持续性网络攻击的方法，该监测高级持续性网络攻击的方法包括：截取并存储指定的网络数据及元数据在数据中心，形成网络数据及元数据库；将获取的威胁情报进行分析，提取威胁情报中的攻击线索；以攻击线索为检索条件，在网络数据及元数据库进行检索，提取攻击原始数据；根据攻击原始数据，构建apt攻击的高阶特征；根据高阶特性，监测网络实时数据是否为apt攻击。

可选的，将获取的威胁情报进行分析，提取威胁情报中的攻击线索，包括：通过机器学习算法对预设类型的网络数据内容进行检测发现攻击线索，并对获取的威胁情报进行分析，以及根据分析的结果调整攻击线索。

可选的，攻击线索包括：攻击者使用的邮件标题、附件名称、恶意软件hash值、dns、ip、url和策略文本内容中的一种或多种。

可选的，高阶特征包括：攻击者是否使用扫描、扫描的端口、是否通过邮件攻击、攻击方式、语言能力、正文的主题和采用流量隐藏方法中的一种或多种。

可选的，根据高阶特性，监测网络实时数据是否为apt攻击之后，该监测高级持续性网络攻击的方法还包括：当网络实时数据为正在实施的apt攻击时，生成威胁情报。

为实现上述目的，本发明实施例提供一种监测高级持续性网络攻击的系统，监测高级持续性网络攻击的系统包括：网络数据及元数据记录模块，用于截取并存储指定的网络数据及元数据；威胁情报汇集及分析平台，用于将获取的威胁情报进行分析，提取威胁情报中的攻击线索；分析平台，用于以攻击线索为检索条件，在网络数据及元数据库进行检索，提取攻击原始数据；分析平台，还用于：根据攻击原始数据，构建apt攻击的高阶特征；网络apt检测模块，用于根据高阶特性，监测网络实时数据是否为apt攻击。

可选的，威胁情报汇集及分析平台，包括：威胁情报导入单元，用于导入并格式化威胁情报；威胁情报爬虫单元，用于爬取开源威胁情报；威胁情报分析单元，对开源威胁情报进行关联和可视化分析，得出攻击线索。

可选的，网络apt检测模块，包括：平台接口单元，用于获取分析平台下发的apt攻击的高阶特征，并导入高阶特征检测单元；高阶特征检测单元，根据apt攻击的高阶特征，监测网络实时数据是否为apt攻击。

本发明实施例具有如下优点：

(1)采用了大数据框架，以全局视角审视网络事件，天然具有对抗apt攻击“分解、持续”的特点；

(2)有效利用了威胁情报这一现有社会成果，结合广泛的数据来源，发现原始攻击数据，从而提取高阶特征，并对实时数据进行检测，实现从“已知到未知”的转换，能够高效发现未知的apt攻击。现有的分析方法主要是基于“已知发现已知”的方法，不能有效应对网络攻击的变化。

附图说明

图1为本发明实施例1提供的一种监测高级持续性网络攻击的方法的流程图。

图2为本发明实施例1提供的另一种监测高级持续性网络攻击的方法的流程图。

图3为本发明实施例2提供的一种监测高级持续性网络攻击的系统的结构示意图。

图4为图3中的网络数据及元数据记录模块的结构示意图。

图5为图3中的威胁情报汇集及分析平台的结构示意图。

图6为图3中的分析平台的结构示意图。

图7为图3中的网络apt检测模块的结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

本发明实施例采用大数据架构，摈弃传统的单点分析架构，广泛采集网络威胁情报及网络数据进行分析。这种广泛性是基于网络接入点丰富、威胁情报数据多源、网络数据类型多样的。基于上述的应用场景可知，本发明实施例具有数量大、多样性的网络接入点，如政府、高科技企业、科研机构、关键信息基础设施服务提供商等。

本发明实施例1基于大数据理念，设计专用的大数据技术架构，广泛汇集各类网络安全数据；以威胁情报为起点，对网络安全数据采用创新的迭代分析方法，实现对apt攻击的有效监测；并设计了易于实现的以网络协议处理、大数据分析为主要功能的配套装置，以支撑监测apt攻击的实现。

图1为本发明实施例1提供的一种监测高级持续性网络攻击的方法的流程图。如图1所示，该监测高级持续性网络攻击的方法包括：

步骤s101：将指定的网络数据及元数据截取并存储至指定的网络数据及元数据在数据中心，形成网络数据及元数据库；

本发明实施例1中的存储为长时间存储，例如1年，这样便于从存储的网络数据及元数据中检索到攻击原始数据。

截取网络数据及元数据是指持续(此处所指“持续”是指在网络安全服务续存期间，可以由系统指定)在授权的所有网络接入点(如客户企业网出入口、托管的云端服务器、远程网络路由器等)等采集网络数据及网络元数据，并将这些数据进行完全汇集，按照原始数据/元数据及协议类型进行分类存储，形成规模庞大、保存历史较长的网络数据及元数据库。本发明实施例1中的截取的指定网络数据及元数据包括但不限于：邮件原始数据、文件传输协议(filetransferprotocol，ftp)、pop认证数据、域名系统(domainnamesystem，dns)元数据、http元数据、https元数据、远程终端协议telnet元数据、完全外壳协议(secureshell，ssh)元数据、远程桌面协议(remotedesktopprotocol，rdp)元数据、smb(servermessageblock)元数据等。

步骤s102：将获取的威胁情报进行分析，提取所述威胁情报中的攻击线索。

具体地，对获取的威胁情报进行分析，提取明确的、有语义的攻击线索，例如确定的木马通信dns、ip等。

对威胁情报的分析包括：首先，对汇集的(获取的)威胁情报进行分析，以及根据分析结果调整攻击线索，进而提出明确的、有语义的攻击线索，并形成包括协议类型、数据量、源ip地址、目的ip地址的统计线索模型(包括协议分布、流量特征、ip地址分布)。其次，采用机器学习算法对特定类型的网络数据内容(特定类型的网络数据内容是指我们现在认知到的可能承载网络攻击的网络数据，威胁情报是指从已经判明的网络攻击的相关情况；网络数据是指网络原始数据，而元数据是指对网络数据提取的一些属性值，通常元数据量更小，但能反应原始数据的关键信息)，例如网络邮件、web文件下载、进入企业网络的社交app内容等可能成为社会工程学攻击载体的网络数据，进行检测发现特定类型的网络数据及元数据中的攻击线索。通过对网络内容的机器学习分类、内容分布性、企业价值等特征进行联合分析，避免单一特征的缺陷，更有利于发现apt攻击。

获取威胁情报的途径主要包括两种，一是从互联网安全厂商(如杀毒软件公司)、威胁情报机构(如安全研究机构)或者国家社会相关组织(如计算机安全应急响应组(computeremergencyresponseteam，cert))等处通过商业合作、网络安全数据开源等方式获得；二是从企业已经部署的网络安全设备获得，即网络安全设备的检测输出结果。

本发明实施例1中的采用的线索包括：攻击者使用的邮件标题、附件名称、恶意软件hash值、dns、ip、url和策略文本内容中的一种或多种。

需要说明的是，本发明实施例中的威胁情报通过自主检测、合作购买以及爬虫等方式获得，具有多类型、多维度、多层级的特点，如恶意工具hash值、木马通信协议、apt报告等。根据apt攻击的特点，以apt使用的网络载体为目标，广泛获取网络原始数据及元数据，如邮件数据、登录认证数据、http元数据等。

本发明实施例1在分析方法上，系统研究apt攻击生命周期(如信息收集、武器化、突破、控制持久化、横向移动、撤离等环节)以及现有主要网络攻击技术(如漏洞、认证、木马等)，能够基于获得的原始攻击数据，提取apt高阶特征，以全局的视角联系地分析所有数据来源，发现单点数据所不能体现的网络攻击特征，实现一种新的发现apt攻击的途径。

步骤s103：以攻击线索为检索条件，在网络数据及元数据库进行检索，提取可疑原始数据，统计分析提取到的可疑原始数据的协议类型、数据量、源ip地址、目的ip地址(包括协议分布、流量特征、ip地址分布)，并与统计线索模型进行匹配，匹配度高的可疑原始数据判定为攻击数据，匹配度低的可疑原始数据则放弃；

具体地，以步骤s102中的攻击线索为检索条件，在网络数据及元数据库中进行检索，提取可疑原始数据，包括历史上截获了但是当时未识别的攻击原始数据和历史上没有截获也没有标识的原始数据，例如恶意邮件、http通信数据等。

提取攻击原始数据包括：使用攻击线索，对网络数据及元数据进行关联分析，关联分析是指通过邮件标题线索从原始邮件库中检索得到可能的原始攻击邮件，或通过dns线索从dns元数据库中检索得到包含恶意dns请求或应答的dns活动数据；通过恶意软件hash值线索从库中检索得到恶意软件。通过关联分析发现并确定网络攻击的原始数据后，对原始数据进行整理，提取网络协议、源和目的网络地址、源和目的端口、涉及的人员信息等元数据，并与原始数据合并后提出，供下一步骤使用。

步骤s104：根据攻击原始数据，构建apt攻击的高阶特征；

步骤s104是基于步骤s103中攻击原始数据构建apt攻击的高阶特征行为建模，是指对明确的攻击原始数据进行行为层面(是指对攻击原始数据所做的操作行为)的建模，形成高级持续性网络攻击组织所具有的高阶特征，这些高阶特征主要包括攻击者是否使用扫描、扫描过的端口、是否通过邮件攻击、采用何种攻击方式(如附件或者url)、语言能力、正文的主题和采用何种流量隐藏方法中的一种或多种。

步骤s105：使用这些高阶特征对实时网络数据进行检测，发现可疑度高的网络流量，确认是否发现正在实施的apt攻击。

具体地，以高阶特征为检测条件，对网络流量进行检测和分析，发现新的apt攻击行为。这种检测是以多种网络数据联合分析为基础的，不是针对单一的数据类型。比如，通过对邮件正文的主题、邮件主题的分布性(发送给多少人、这些人具有什么特征等)、是否包含url、url的特征、实际的url数据特征、url的分布性(发送给多少人、这些人具有什么特征等)进行联合分析，从而判断该邮件是否具有攻击性。

在步骤s105之后，该监测高级持续性网络攻击的方法还包括：在发现正在实施的apt攻击后，汇集该apt攻击的所有威胁情报、原始数据、分析素材和结果等，对apt攻击进行分析并描述该apt攻击，包括攻击基础设施(如各类ip地址、网络链接、加密特征等)、攻击手段(如漏洞类型、钓鱼邮件主题、水坑攻击等)、攻击能力评估(如漏洞攻击型、社工粗放型等)、可能的攻击方(如某国政府背景)、被攻击方(如我国政府部门)、运行机制(如上线时间、语言、时区、基础设施来源等)，并将该描述形成威胁情报。

需要说明的是，在确定发现apt攻击之后，将apt攻击生成的威胁情报合并到步骤s102中获取的威胁情报中，执行步骤s102-s105，直到发现新的apt攻击，然后再执行步骤s102-s105。上述就是一个逐渐完善的过程，直到发现越来越多未被发现的apt攻击。

在本发明实施例中，也可以攻击线索的原始来源和类型进行判断，以ip地址为例，教育方面的网站里面出现了游戏方面的ip地址，则需要对这个游戏方面的ip地址进行判断是否为攻击发现。

本发明实施例提供了一种监测高级持续性网络攻击的方法，创新提出“数据采集(collect)-线索分析(hint)-数据提取(extract)-行为建模(model)-攻击发现(seize)”的迭代式分析方法(chems)(如图2)，以威胁情报为起点，在大数据基础上之上实现高效发现apt攻击。

本发明实施例的应用场景为在企业客户网络中部署网络数据采集终端，并在协议允许的前提下汇集到数据中心；在数据中心，以全局视角对汇集的网络数据结合威胁情报进行大数据分析，发现攻击原始数据，并生成apt攻击的高阶特征；利用高阶特征在数据中心(经授权)或者企业网络终端对实时网络数据进行检测，发现正在实施的apt攻击。

实施例2

图3为本发明实施例2提供的一种监测高级持续性网络攻击的系统的结构示意图。如图3所示，该监测高级持续性网络攻击的系统包括：网络数据及元数据记录模块20、威胁情报汇集及分析平台30、分析平台40和网络apt检测模块50。

网络数据及元数据记录模块20，用于截取并存储指定的网络数据及元数据；威胁情报汇集及分析平台30，用于将获取的威胁情报进行分析，提取威胁情报中的攻击线索；分析平台40，用于以攻击线索为检索条件，在网络数据及元数据库进行检索，提取攻击原始数据；分析平台40，还用于：根据攻击原始数据，构建apt攻击的高阶特征；网络apt检测模块50，用于根据高阶特性，监测网络实时数据是否为apt攻击。

其中，网络数据及元数据记录模块20部署在待保护的企业网络中，主要功能是接口企业现有网络装备和系统，对特定类型的网络数据和元数据进行采集、存储，并在授权的基础上，汇集至大数据分析平台40。

在附图4中，网络数据及元数据记录模块20，包括：信息系统接口单元，接口待保护的企业网络中已有的信息系统，并获取信息系统数据，生成格式化的原始数据和元数据，例如，企业的邮件系统，获取邮件数据；例如，企业网络中web代理系统，获取http/https数据，并生成元数据等。安全系统接口单元，接口企业网络中已有的安全系统，并获取安全记录数据，例如，接口恶意邮件检测系统，获取分析记录；接口企业的防火墙，获取防火墙记录等。网络流量处理单元，接口企业网络网关和核心交换机网络数据流，提取ftp、pop认证数据、dns元数据、http元数据、https元数据、telnet元数据、ssh元数据、rdp元数据、smb元数据等。存储单元，对获取和提取的数据进行本地存储，对于经客户授权的数据(企业数据必须经过企业授权，才能汇集到企业之外的大数据中心并进行分析)通过安全通道汇集到大数据中心。

威胁情报汇集及分析平台30部署在大数据中心，主要功能是汇集多源的威胁情报，并提供关联分析、可视化分析等功能，最终得出明确的、有语义的网络攻击线索。

在附图5中，威胁情报汇集及分析平台30，包括：威胁情报导入单元，能够对合作购买的、爬虫爬取的以及自身检测获得的威胁情报进行导入，并进行格式化可以统一使用。威胁情报爬虫单元，爬取开源威胁情报，能够爬取fireeye、ibm-xef、virustotal、seculist、spam、恶意dns等开源网站的数据，并形成符合威胁情报导入格式的威胁情报数据。威胁情报分析单元，对获取的不同维度和层级的威胁情报进行关联和可视化分析，得出高价值的、有语义的网络攻击线索，这样的线索已经能够明确是apt攻击所使用。

分析平台40在大数据中心，主要功能是对汇集的所有网络数据和元数据进行全局性的分析，通过对网络内容的机器学习分类、内容分布性、企业价值特征等分析，发现apt攻击；使用网络攻击线索对汇集的所有网络数据和元数据进行关联性的分析，提取网络攻击的原始数据，并通过对原始数据分析，构建行为模型。

在附图6中，分析平台40，包括：大数据基础设施单元，接口企业网络元数据及原始数据记录系统，对来源的数据进行管理和使用；以hadoop/spark/impala技术为基础，提供海量数据的存储、管理和高速检索基本能力。机器学习分析单元，使用机器学习方法对历史攻击邮件正文进行学习，标明攻击者喜欢使用的主题(如政治、娱乐等)，对前段发来的邮件正文进行机器学习的判别，判断正文是否具有可疑性，再结合邮件的大小、附件、url、分布性，判证是否为攻击邮件。线索关联单元，根据威胁情报分析平台提供的攻击线索，滚动提取原始攻击数据，即根据攻击线索提取了原始攻击数据，再对原始攻击数据进行分析，提取新的攻击线索，进而再提取原始攻击数据，直到不能再提取明确的数据为止。高阶特征建模单元，为专家提供高效分析平台，对提取的原始攻击数据进行深度分析，建立apt攻击高阶特征。协调检测单元，配合企业网络威胁审计与评估分系统进行apt攻击高阶特征检测。

网络apt检测模块50部署在企业网络中，主要功能是接口企业实时网络数据，导入高阶特征，对网络数据进行实时分析，提出高度可疑的网络流量，并确认是否为apt攻击。

在附图7中，网络apt检测模块50，包括：平台接口单元，接口分析平台，获取分析平台下发的apt攻击高阶特征，并导入高阶特征检测单元；高阶特征检测单元，根据平台下发的apt攻击高阶特征，并将可疑的数据提交分析平台的协调检测模块，明确apt攻击行为；分析和展示单元，根据检测结果，保留可疑的原始数据，为专家提供分析界面，最终确定是否为apt攻击。

本发明实施例提供了一种监测高级持续性网络攻击的方法和装置，具有以下技术效果：

(1)采用了大数据框架，以全局视角审视网络事件，天然具有对抗apt攻击“分解、持续”的特点；

(2)有效利用了威胁情报这一现有社会成果，结合广泛的数据来源，发现原始攻击数据，从而提取高阶特征，并对实时数据进行检测，实现从“已知到未知”的转换，能够高效发现未知的apt攻击。现有的分析方法主要是基于“已知发现已知”的方法，不能有效应对网络攻击的变化。

(3)现有的内容检测方法都是基于一种特征的检测，在准确率上都有不足。

(4)现有的同类功能装备都需定制化的硬件。支撑上述技术架构和分析方法的装置主要是对数据的处理、分析，硬件上没有特殊要求，技术上不具有实施难度，易于实现推广。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。