用于提取和保存用于分析网络通信的元数据的系统和方法
【专利说明】用于提取和保存用于分析网络通信的元数据的系统和方法
相关申请的交叉引用
[0001]本申请要求享有于2013年3月14日提交的共同待审的美国临时专利申请61/784,931的权益，该美国临时专利申请以其整体通过援引加入本文中。
技术领域
[0002]该技术领域总体上涉及网络通信，并且更具体地涉及保存网络通信以便网络安全和取证的目的。
【背景技术】
[0003]组织内的网络通信和组织之间的网络通信传送各种数据和重要信息。然而，网络通讯也是攻击者进入网络安全边界内的主要方式之一。现代网络安全技术运用许多方法来防止攻击者对组织和个人造成伤害。但是上述方法都不是完美的，尤其是处于高级持续性威胁(APT，Advanced Persistent Threat)时代中的当今时期。现代的APT可针对非常具体的目标来开发并部署，并且通常情况下这样的APT可能非常难以检测和消除。记录网络流量是高级网络防御中常见的方法之一。记录网络流量类似于安全摄像机，虽然其未针对威胁检测进行最优化，但是其在消除阶段中非常有用，允许以确定根本原因和被感染的网络节点为目的仔细检查与威胁相关的流量的子集。
[0004]网络流量不断增加，并且其对于传统的网络记录方法而言形成了一项挑战。由于APT有时花费数月的时间来充分渗透到组织内，通常要求存储至少6个月的网络数据。对于大型企业而言，收集和储存所产生的数据量通常是不可能或不切实际的。即使发生APT感染，与企业被迫存储的用于研究该攻击的数据量相比，由此攻击所导致的流量是微乎其微的。
[0005]本发明提供一种方法，其允许显著减少需要被存储的数据量，同时保持所有必要的信息完整无缺。此外，从随后的详细描述和所附的权利要求、结合附图和前述的技术领域和【背景技术】，本发明的其它期望的特征和特性将变得明显。
【发明内容】
[0006]提供用于检测网络上的高级持续性威胁的一种方法。该方法包括从网络获取数据包并对所获取的数据包进行分层会话解码。
[0007]从解码的数据包提取元数据并存储元数据用于分析。对元数据的分析用于检测网络上的高级持续性威胁。
[0008]提供用于检测网络上的高级持续性威胁的一种系统。该系统包括网络和耦联到网络的处理器。该处理器配置成从网络获取数据包并对所获取的数据包进行分层会话解码。元数据由处理器提取并存储在耦联到处理器的存储器中。随后可对元数据进行分析以检测网络上的尚级持续性威胁。
【附图说明】
[0009]在下文将结合以下附图对本发明进行描述，其中相同的附图标记指示相同的元件；以及
[0010]图1是根据示例性实施例用于保存网络通信的系统的简化框图；
[0011]图2示出根据示例性实施例的获取过程；
[0012]图3示出根据示例性实施例的数据包处理；
[0013]图4示出根据示例性实施例的会话重组；
[0014]图5示出根据示例性实施例的分层会话解码；以及
[0015]图6示出根据示例性实施例的元数据的提取和存储。
【具体实施方式】
[0016]下面的详细描述在本质上仅仅是示例性的，而并不意旨限制本公开的主题或其用途。此外，并不意旨受到在前面的技术领域、【背景技术】、
【发明内容】
或下面的详细描述中所呈现的任何明示或暗示理论的约束。
[0017]在本文中，诸如“第一”和“第二”等的关系术语可仅用于将一个实体或动作与另一实体或动作进行区分，而并不一定要求或暗示在这种实体或动作之间的任何实际的这种关系或顺序。序数词，诸如“第一”，“第二”，“第三”等仅表示多个中的不同单个，而并不暗含任何顺序或序列，除非由权利要求的语言明确限定。
[0018]此外，以下的描述涉及被“连接”或“耦联”到一起的元件或特征。如本文所用，“连接”可以指一个元件/特征被直接连接到另一元件/特征(或与其直接通信)，但不一定是机械地连接。类似地，“耦联”可以指一个元件/特征被直接或间接地连接到另一元件/特征(或与其直接或间接通信)，但不一定是机械地连接。然而，应当理解的是，虽然在下文在一个实施例中两个元件可被描述成“连接”，但在替代性的实施例中类似的元件可被“耦联”，反之亦然。因此，尽管本文示出的示意图描绘了元件的示例性布置，但是在实际的实施例中可存在附加的中间元件、设备、特征或组件。
[0019]在上文中，描述了一些实施例和实施方式的功能性和/或逻辑块组件和各种处理步骤。然而，应当理解，这样的块组件可由配置成执行指定功能的任何数目的硬件、软件和/或固件组件来实现。例如，系统或组件的实施例可采用各种集成电路组件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其在一个或多个微处理器或其它控制设备的控制下可执行各种功能。此外，本领域的技术人员应当理解的是本文描述的实施例仅仅是示例性的实施方式。
[0020]最后，为了简便起见，有关系统(以及系统的各个操作组件)的信息安全和其它功能方面的常规技术和组件在本文中可不进行详细描述。此外，在本文所包括的各幅附图中所示的连接线意旨表示各个元件之间的示例性功能关系和/或物理耦联。应当指出的是，在本发明的实施例中可以存在许多替代性的或附加的功能关系或物理连接。还应当理解的是，图1至图6仅仅是示例性的，并且可以不按比例绘制。
[0021]在过去的几年中，组织累积了大量的自动化网络设备来试图保护自己的网络。同时，成功的APT攻击的量不断在增加。在此并没有矛盾，因为尽可能多的网络安全供应商正试图创建用于检测APT的自动化方法，但这些方法基本上只能应付已经暴露和经研究的攻击途径和方法。另一方面，在APT攻击背后的个人具有先行者的所有战术优势。
[0022]在攻击成功之后，迟早其都会通过其直接动作或通过副作用而暴露出来。防御者的目标是尽量减少反应时间，即做出下述所需的时间:
[0023]a)减轻感染；
[0024]b)想出对策以便让感染不会重复；以及
[0025]c)恢复损坏的部分。
[0026]a)和b)这两个步骤通常都需要由训练有素的专家付出大量的努力。实践表明，现有流量的记录可显著缩短研究APT行为所需的时间。正如前面提到的那样，来自现有自动化系统的通常不完整的记录是不够的，APT感染网络的原因是因为现有设备最开始并没有对其进行检测。
[0027]上述情况意味着，为了快速和高效地研究网络感染，自从APT在网络上变得活跃而在网络上发生的所有流量都是初始评估所需要的。假设APT的初始“潜伏”阶段可能需要数月甚至数年，这一要求对于大多数组织而言形成显著的负担，只在调查和缓解处理时雇佣人类专家，但完整网络记录能力应当始终存在和运作。
[0028]在蛮力方法中需要被记录和索引的数据量是巨大的。除了纯粹的技术挑战之外，其会形成自身中的或与其有关的额外的安全和隐私问题。如果所有的流量便捷地存储在大型磁盘阵列内，则其给攻击者提供了目标以侵入到该存储内并从其窃取数据。
[0029]换言之，专