基于入侵途径的APT威胁检测方法和系统与流程

本发明涉及apt威胁检测技术领域，具体涉及一种基于入侵途径的apt威胁检测方法和系统。

背景技术：

金融、政府是apt攻击的主要目标行业，分别高达84%和77%。接下来是电信达到66%，军队达到64%，工业企业54%，其他占到14%。电子邮件和社交网站成为黑客发动apt攻击最主要的途径，电子邮件被利用高达68%，社交网站被利用高达65%。电子邮件和社交网站甚至超越了病毒、恶意链接、钓鱼网站等传统的黑客攻击途径。

我们通过这一趋势可以看到近几年来随着社交网络的流行，企业传统的安全防护手段已无法有效对社交网络进行管控，而电子邮件一直以来就是企业安全防护的重灾区。除了缺乏有效的安全管控策略，员工的安全意识在这方面就显得尤为重要了。电子邮件和社交网站的运营均属于员工个人，攻击者也正是在这一点上看到了机会，对于企业中安全意识单薄的员工个人的电子邮件、社交网站进行渗透作为入手，一步步入侵企业的服务器和网络。

apt攻击之所以让受攻击者难以防护，其主要原因是它独特的攻击方式和手段难以检测到。apt攻击作为信息安全的一大隐忧，这类威胁的防范必须融入到一个更大的监测及预防策略中，并整合现有的网络防御。因此，用户会更加关注如何加强防范apt攻击与进阶威胁、避免攻击破坏网络及泄露敏感信息，更能完全的发挥用户已投资的安全防护产品和技术。

通过调研国内外目前主流的防范apt攻击技术手段，有77%的用户认为异常检测方案最为有效。另外，沙箱方案有69%的用户选择，全流量审计方案有66%的用户选择，基于未知恶意代码检测有55%的用户选择。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于入侵途径的apt威胁检测方法和系统，实现从源头上截断apt攻击发起者的入侵，达到低成本、高效率的建设目标。

本发明的目的是通过以下技术方案来实现的：一种基于入侵途径的apt威胁检测方法，其过程为：

s1：对入侵途径领域进行知识库建模；

s2：采集行为数据，包括采集主机行为数据与采集网络行为数据，所述的采集主机行为数据包括采集进/线程信息记录、端口信息记录、磁盘数据的操作记录、系统注册表信息变更记录、终端系统基础信息更记录、外设设备连接及数据传输记录和第三方应用程序信息记录，所述的采集网络行为数据，首先将对网络行为进行分类标记，然后进行网络行为数据还原，并记录、跟踪网络系统的运维服务信息及外部连接信息，最后将数据保存在本地；

s3：对采集行为数据的结果进行关联分析，首先重构攻击过程，将分别来源于主机和网络的行为数据以设定的逻辑条件进行关联分析；

s4：证据的保全，还原出攻击风险行为证据保全，形成针对事故的完整证据；

s5：呈现所述证据。

apt入侵途径为邮件及社交网站。

知识库建模采用多维异构数据源集成与整合模型，实现对各种异构的数据源进行综合、集成，可以动态调用恰当的数据挖掘算法，提高分析的效率，其主要设计思想是：

a.使用统一的知识表达方法：互联网的数据的形式包括结构化的数据、半结构化的数据和非结构化的数据。结构化的只占到10%,其余90%都是半结构化和非结构化的数据，以xml作为数据的基本存储形式,包括数据格式、知识模型和语义元数据的表达，在一个协同的平台上，可以跨internet和intranet集成多个异构数据源；

b.协议转换：对系统自身收集设备采集的数据进行实时转换，并根据协议类别库，识别数据的协议类型，然后保存到数据库。对由其他监控设备（如入侵检测、防火墙、内容审计等）收集到的数据，以实时或非实时的方式实现数据的转换和汇聚；

c.动态加载算法：每一规则都可以动态地与多个特定分析对象相关联，动态加载算法根据规则的数据提取时间定期从数据源获取数据，将数据存入案件数据库中。而对于已经存在的数据则不做任何提取。

知识库包括：用户信息备案表、邮件特征库、社交平台特征库、内网网络数据流特征库、用户行为特征库。

网络行为采集采用以cip和sip为依据的数据分流技术，支持快速进行大数据的截取、分流与还原；在关键词匹配技术中采用改进的ac-bm算法，提高搜索效率；采用高效的负载均衡算法，实现大型网络中心的负载均衡；采用节点探测方式进行不同主机之间的数据交换与通信，提高了系统的整体吞吐率。

改进的ac-bm算法为bmh2算法，设字符集合为∑，以pattern=“stringsearch”为例，∑中的字符在pattern中出现一次的字符集合a1={`t',`i',`n',`g',`0'`e',`a',`c',`h'}，出现两次或两次以上的字符集合a2={`s',`r'}，出现0次的字符集合a0=∑-a1-a2。若以text[k]进行启发，bmh算法实际上是将pattern中最后一次出现的text[k]与文本中的text[k]对齐后重新匹配。因此当text[k]∈a0时，扫描文本的指针可以向前移动最大距离m(模式长度)。本文的基本出发点是让文本指针能够以更高的概率向前移动最大距离m。假设能够将pattern中倒数第二次出现的text[k]与文本中的text[k]对齐后开始新的一轮匹配，则当text[k]∈(a0∪a1)时，文本指针都可以向前移动最大距离m，而当text[k]∈a2时，文本指针的移动距离也可以得到提高。比如模式串中`s'的间距和`r'的间距分别为7和8，相应地，文本指针的移动距离将分别增加7和8。

为此，增加一个newskip数组，如果字符ch在模式串pattern中出现的次数为0或1，则newskip[ch]=m；如果字符ch在pattern中出现的大于等于2，记f表示ch在pattern中倒数第二次出现的位置(下标从0开始)，则newskip[ch]=m-f-1。另外，定义prechar数组，如果字符ch在模式串pattern中最后出现在pattern[e]，则prechar[ch]=pattern[e-1]；如果字符ch没有在pattern中出现过，则prechar[ch]=-1。当pattern[0]在模式串中仅出现一次时，由于pattern[0]前面没有字符，因此将newskip[pattern[0]]单独赋值为m-1。newskip数组和prechar数组的长度与skip数组相同，均为字符集中元素的个数。若为ascii码，则长度为256。

当匹配开始比较text[k-m+1…k]和pattern[0…m-1]时，从右至左依次检查text[k]…text[k-m+1]。如果发现不匹配，则比较text[k-1]和prechar[text[k]]。当text[k-1]!=prechar[text[k]]时，将文本指针重新赋值为k+newskip[text[k]]；否则将文本指针重新赋值为k+skip[text[k]]。事实上，当text[k]没有出现在模式串中时，prechar[text[k]]可以初始化为任何值。因为此时skip[text[k]]和newskip[text[k]]的值均为m，无论text[k-1]和prechar[text[k]]的值是否相等，文本指针都将重新赋值为k+m。

bmh2算法通过提高模式串的平均移动距离，获得了更高的匹配效率。当模式串中没有相同字符或者相同字符的间距较大时，bmh2算法可以取得更好的匹配效率。

网络行为采集的对象包括邮件数据采集、社交平台应用数据采集、内网传输层数据流采集、数据库协议数据采集、远程控制协议数据采集。

威胁检测方法采用协议分析与传输流量分析技术，对重要业务系统中传输流量和应用层协议进行分析研究，分析这些协议的会话过程、会话特征，掌握其用户行为，实现对信息系统外部连接行为的证据保全和异常数据的检测。

证据呈现采用图表和列表两种不同方式。图表的查询采用钻取方式，从总体到细节，层层深入。列表提供组合查询，所有的行为日志以及人工研判日志提供多条件的组合查询方式。包括行为方式、行为对象、特定ip等。易于使用，操作简单，方便用户掌握总体行为态势及对apt攻击事件的追踪溯源。

关联分析采用基于案件的数据管理和知识发现模型cdmkdm。该模型可以实现对从网络上收集到的大量原始资料进行整理合并归档，提取出其中有兴趣的知识和信息，并按照实际工作的业务要求对相关信息建立隐式的关联关系，提供直观的知识表示方式，以辅助使用人员充分利用网络数据进行决策。

检测方法还包括面向主题的信息分类，用于收集和后台的数据挖掘部分，事件分类是在给定条件下，对数据进行分类，使用分类技术，可以对报警事件进行自动分类，从而实现异常事件的确认。

检测方法还包括事件聚类，对各类证据进行分析聚类，实现各类安全事件的动态感知，事件聚类是在无监督条件下，根据数据的不同特征，将其划分到不同的数据类。它的目的是使属于同一类别的个体之间距离尽可能小，而不同类别上的个体间的距离尽可能大。在基于主动防御的取证系统中，通过聚类，可以分析成团出现的报警事件，发现异常规律，从而产生预警信息。

一种基于入侵途径的apt威胁检测系统，其包括：证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块，所述的行为证据关联分析模块、知识库模块、证据保全模块分别与证据呈现模块连接；所述的行为证据关联分析模块与知识库模块连接，所述的知识库模块与证据保全模块连接；所述的知识库、证据保全模块分别与证据收集模块连接。

证据呈现模块包括行为证据呈现模块、证据辅助分析模块和行为主体责任认定模块，所述的证据呈现模块与证据辅助分析模块连接，所述的证据辅助分析模块与行为主体责任认定模块连接；

行为证据关联分析模块包括主机操作行为模块、网络通信行为模块、业务行为模块、远程服务行为模块和关联模块，所述的主机操作行为模块、网络通信行为模块、业务行为模块和远程服务行为模块分别与关联模块连接；

知识库模块包括用户信息备案库及用户安全需求库、威胁模型库、行为风险评估标准库、法规及规章库和证据采集策略库，所述的威胁模型库的第一端和行为风险评估标准库的第一端分别与用户信息备案库及用户安全需求库连接，所述的威胁模型库的第二端与法规及规章库第一端连接，所述的行为风险评估标准库的第二端与法规及规章库第一端连接，所述的法规及规章库第二端与证据采集策略库连接；

证据保全模块包括证据模块、法规化处理模块、原始数据模块、技术化处理模块和数据存储模块，所述的数据存储模块与原始数据模块第一端连接，所属而技术化处理模块第一端和法规化处理模块第一端分别与原始数据模块第二端连接，所属而法规化处理模块第二端与证据模块连接；

证据收集模块包括主机行为采集模块、网络行为采集模块和各类服务器、主机和设备，所述的主机行为采集模块和网络行为采集模块分别与各类服务器、主机和设备连接。

本系统证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块采用intranet技术连接。

本系统的证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块之间数据传输采用加密方式进行，包括通过用户认证和权限管理。所述的证据收集模块采集各收集区域的数据，收集区域可以是基础信息网络和重要信息系统的网管中心。

行为证据关联分析模块对前端数据收集模块中的数据进行关联分析，并根据数据的内容，对证据数据分类。

证据保全模块生成网络攻击和破坏事件数据记录。

证据呈现模块主要是各类查询/管理终端。证据呈现模块根据使用主体的需要，生成各类报表和分析报告，证据呈现模块用友好的界面查询数据仓库内容，并实现会话重放，对各平台管理维护，如备份、删除等。

系统运行时，证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块保持动态、高速的连接，一方面，证据区域的设备通过收集器从平台的规则库获取规则，并将采集数据动态保存到平台中，并实现报警；另一方面，用户认证机制接收用户分析平台各设备的查询/管理请求，提供数据分析或修改规则服务。

本发明的有益效果是：

1）从受攻击组织机构内部个人上网行为数据分析挖掘入手，识别出可能的鱼叉式钓鱼攻击、伪装攻击，从源头上截断apt攻击发起者的入侵；

2）在apt攻击发起前针对入侵途径防患于未然，达到低成本、高效率的建设目标；

3）采集过程隐蔽，完全透明，不对网络造成负担，不影响其它网络设备运行；

4）证据呈现易于使用，操作简单，方便用户掌握总体行为态势及对apt攻击事件的追踪溯源。

附图说明

图1为本发明方法流程图；

图2为本发明系统框图；

图3为本发明业务流程图；

图4为本发明系统架构图。

具体实施方式

下面结合具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

实施例1

如图1所示一种基于入侵途径的apt威胁检测方法，其包括：

s1：对入侵途径领域进行知识库建模；

s2：采集行为数据，包括采集主机行为数据与采集网络行为数据，所述的采集主机行为数据包括采集进/线程信息记录、端口信息记录、磁盘数据的操作记录、系统注册表信息变更记录、终端系统基础信息更记录、外设设备连接及数据传输记录和第三方应用程序信息记录，所述的采集网络行为数据，首先将对网络行为进行分类标记，然后进行网络行为数据还原，并记录、跟踪网络系统的运维服务信息及外部连接信息，最后将数据保存在本地；

s3：对采集行为数据的结果进行关联分析，首先重构攻击过程，将分别来源于主机和网络的行为数据以设定的逻辑条件进行关联分析；

s4：证据的保全，还原出攻击风险行为证据保全，形成针对事故的完整证据；

s5：呈现所述证据。

apt入侵途径为邮件及社交网站。

知识库建模采用多维异构数据源集成与整合模型。实现对各种异构的数据源进行综合、集成，可以动态调用恰当的数据挖掘算法，提高分析的效率，其主要设计思想是：

a.使用统一的知识表达方法：互联网的数据的形式包括结构化的数据、半结构化的数据和非结构化的数据。结构化的只占到10%,其余90%都是半结构化和非结构化的数据，以xml作为数据的基本存储形式,包括数据格式、知识模型和语义元数据的表达，在一个协同的平台上,可以跨internet和intranet集成多个异构数据源；

b.协议转换：对系统自身收集设备采集的数据进行实时转换，并根据协议类别库，识别数据的协议类型，然后保存到数据库。对由其他监控设备（如入侵检测、防火墙、内容审计等）收集到的数据，以实时或非实时的方式实现数据的转换和汇聚；

c.动态加载算法：每一规则都可以动态地与多个特定分析对象相关联，动态加载算法根据规则的数据提取时间定期从数据源获取数据，将数据存入案件数据库中。而对于已经存在的数据则不做任何提取。

知识库包括：用户信息备案表、邮件特征库、社交平台特征库、内网网络数据流特征库、用户行为特征库。

网络行为采集采用以cip和sip为依据的数据分流技术，支持快速进行大数据的截取、分流与还原；在关键词匹配技术中采用改进的ac-bm算法，提高搜索效率；采用高效的负载均衡算法，实现大型网络中心的负载均衡；采用节点探测方式进行不同主机之间的数据交换与通信，提高了系统的整体吞吐率。

网络行为采集的对象包括邮件数据采集、社交平台应用数据采集、内网传输层数据流采集、数据库协议数据采集、远程控制协议数据采集。

威胁检测方法采用协议分析与传输流量分析技术，对重要业务系统中传输流量和应用层协议进行分析研究，分析这些协议的会话过程、会话特征，掌握其用户行为，实现对信息系统外部连接行为的证据保全和异常数据的检测。

证据呈现采用图表和列表两种不同方式。图表的查询采用钻取方式，从总体到细节，层层深入。列表提供组合查询，所有的行为日志以及人工研判日志提供多条件的组合查询方式。包括行为方式、行为对象、特定ip等。易于使用，操作简单，方便用户掌握总体行为态势及对apt攻击事件的追踪溯源。

关联分析采用基于案件的数据管理和知识发现模型cdmkdm。该模型可以实现对从网络上收集到的大量原始资料进行整理合并归档，提取出其中有兴趣的知识和信息，并按照实际工作的业务要求对相关信息建立隐式的关联关系，提供直观的知识表示方式，以辅助使用人员充分利用网络数据进行决策。

如图3所示，一种基于入侵途径的apt威胁检测方法业务流程为通过邮件及社交网站领域知识库建模，针对用户内网网络数据流白名单建模，将分别来源于主机和网络的行为数据以设定的逻辑条件进行关联分析，还原出攻击风险行为证据保全，形成针对事故的完整证据并呈现所述证据。检测方法还包括面向主题的信息分类，用于收集和后台的数据挖掘部分，事件分类是在给定条件下，对数据进行分类，使用分类技术，可以对报警事件进行自动分类，从而实现异常事件的确认。例如，在应用层证据分析中，可以根据端口号，将应用层协议划分为http上行，http下行，发送邮件、接收邮件等。根据每种应用的特征码，有些协议还可以细分，例如http上行可分为登录信息、bbs、web聊天室、webmail等。分类器实现的关键技术是文本表示、分词、特征提取与分类算法。本项目采取经典的向量空间模型和向量的余弦值的方法来计算每篇文档与用户的需求之间的相似度。

检测方法还包括事件聚类，对各类证据进行分析聚类，实现各类安全事件的动态感知，事件聚类是在无监督条件下，根据数据的不同特征，将其划分到不同的数据类。它的目的是使属于同一类别的个体之间距离尽可能小，而不同类别上的个体间的距离尽可能大。在基于主动防御的取证系统中，通过聚类，可以分析成团出现的报警事件，发现异常规律，从而产生预警信息。

如图2所示，一种基于入侵途径的apt威胁检测系统，其包括：

证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块，所述的行为证据关联分析模块、知识库模块、证据保全模块分别与证据呈现模块连接；所述的行为证据关联分析模块与知识库模块连接，所述的知识库模块与证据保全模块连接；所述的知识库、证据保全模块分别与证据收集模块连接。

证据呈现模块包括行为证据呈现模块、证据辅助分析模块和行为主体责任认定模块，所述的证据呈现模块与证据辅助分析模块连接，所述的证据辅助分析模块与行为主体责任认定模块连接；

行为证据关联分析模块包括主机操作行为模块、网络通信行为模块、业务行为模块、远程服务行为模块和关联模块，所述的主机操作行为模块、网络通信行为模块、业务行为模块和远程服务行为模块分别与关联模块连接；

知识库模块包括用户信息备案库及用户安全需求库、威胁模型库、行为风险评估标准库、法规及规章库和证据采集策略库，所述的威胁模型库的第一端和行为风险评估标准库的第一端分别与用户信息备案库及用户安全需求库连接，所述的威胁模型库的第二端与法规及规章库第一端连接，所述的行为风险评估标准库的第二端与法规及规章库第一端连接，所述的法规及规章库第二端与证据采集策略库连接；

证据保全模块包括证据模块、法规化处理模块、原始数据模块、技术化处理模块和数据存储模块，所述的数据存储模块与原始数据模块第一端连接，所属而技术化处理模块第一端和法规化处理模块第一端分别与原始数据模块第二端连接，所属而法规化处理模块第二端与证据模块连接；

证据收集模块包括主机行为采集模块、网络行为采集模块和各类服务器、主机和设备，所述的主机行为采集模块和网络行为采集模块分别与各类服务器、主机和设备连接。

系统证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块模块采用intranet技术连接。

系统的证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块之间数据传输采用加密方式进行，包括通过用户认证和权限管理。所述的证据收集模块采集各收集区域的数据，收集区域可以是基础信息网络和重要信息系统的网管中心。

行为证据关联分析模块对前端数据收集模块中的数据进行关联分析，并根据数据的内容，对证据数据分类。

证据保全模块生成网络攻击和破坏事件数据记录。

证据呈现模块主要是各类查询/管理终端。证据呈现模块根据使用主体的需要，生成各类报表和分析报告，证据呈现模块用友好的界面查询数据仓库内容，并实现会话重放，对各平台管理维护，如备份、删除等。

如图4所示，一种基于入侵途径的apt威胁检测系统架构，包括知识库、证据采集层、证据保全层、证据分析层、证据呈现层和标准时间源。

系统运行时，证据呈现模块、行为证据关联分析模块、知识库模块、证据保全模块和证据收集模块保持动态、高速的连接。一方面，证据区域的设备通过收集器从平台的规则库获取规则，并将采集数据动态保存到平台中，并实现报警；另一方面，用户认证机制接收用户分析平台各设备的查询/管理请求，提供数据分析或修改规则服务。以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。