用于检测拒绝服务攻击的系统和方法
【专利摘要】公开了用于检测拒绝服务攻击的系统和方法。这些可以包括：从多个网页服务器之一接收多个网络日志记录；从所述多个网络日志记录提取第一组特征；将第一机器学习技术应用于所述第一组特征；产生第一多个用户类别用于传输到所述网页服务器；从所述多个网络日志记录提取第二组特征；将第二机器学习技术应用于所述第二组特征；产生第二多个用户类别用于传输到所述网页服务器；至少基于所述多个网络日志记录来将所述第一多个用户类别传输到所述网页服务器；并且至少基于所述多个网络日志记录来将所述第二多个用户类别传输到所述网页服务器。
【专利说明】用于检测拒绝服务攻击的系统和方法
【技术领域】
[0001]本公开通常涉及信息安全，并且尤其涉及检测计算机系统上的拒绝服务攻击。
【背景技术】
[0002]随着数字存储的数据的无所不在和重要性继续上升，保持该数据安全的重要性相应地上升。在公司和个人寻求保护他们的数据的同时，其他个人、组织和企业寻求利用安全漏洞来访问该数据和/或在计算机系统本身上造成严重破坏。通常，寻求利用安全漏洞的不同类型的软件可以被称为“恶意软件”，并且可以被分类到包括病毒、蠕虫、广告软件、间谍软件等等的组中。可以由恶意软件执行的一种类型的攻击被称为“拒绝服务”攻击。当一个或多个电子设备尝试使另一个联网电子设备不可用时，会发生拒绝服务攻击。可以通过以下方式来执行这一类型的攻击:使诸如对于信息的非法请求的非法网络业务大量涌至目标电子设备，以使得目标设备被压垮，并且不能够对合法网络业务做出响应。
[0003]随着网络扩展并且越来越多的电子设备能够彼此进行通信，拒绝服务攻击可以利用联网电子设备的增加的可用性。拒绝服务攻击的一种这样的适应是“分布式拒绝服务”(“DD0S”)攻击。由于DDOS攻击，大量电子设备可以一起工作以便使非法网络业务大量涌至目标电子设备，如上所述。DDOS攻击对由在世界各地的互联网服务提供方、大企业和政府提供的网络服务日益成为威胁。
[0004]随着这些攻击继续上升，能够尽可能快地检测这些攻击并且尽可能彻底地保护易受攻击的电子设备变得日益重要。在DDOS中，大量攻击电子设备和相应的大量数据使检测和保护相应地变得困难。
【发明内容】
[0005]根据本公开的教导，可以改善、降低或消除与检测电子设备上的拒绝服务攻击相关联的缺点和问题。
[0006]根据本公开的一个实施例，分布式拒绝服务(“DD0S”)检测引擎可通信地耦合到多个网页服务器(web server)，DDOS检测引擎包括网页服务器接口、第一 DDOS分析引擎和第二 DDOS分析引擎。网页服务器接口可以配置为:从网页服务器接收多个网络日志记录，所述网页服务器是多个网页服务器之一；至少基于所述多个网络日志记录来将第一多个用户类别传输到所述网页服务器；并且至少基于所述多个网络日志记录来将第二多个用户类别传输到所述网页服务器。所述第一 DDOS分析引擎可以配置为:从所述多个网络日志记录提取第一组特征；将第一机器学习技术应用于所述第一组特征；并且产生所述第一多个用户类别用于传输到所述网页服务器。所述第二 DDOS分析引擎可以配置为:从所述多个网络日志记录提取第二组特征；将第二机器学习技术应用于所述第二组特征；并且产生所述第二多个用户类别用于传输到所述网页服务器。
[0007]根据本公开的另一实施例，公开一种用于检测包括多个网页服务器的联网系统上的分布式拒绝服务(“DD0S”)攻击的方法。所述方法包括:从网页服务器接收多个网络日志记录，所述网页服务器是多个网页服务器之一；从所述多个网络日志记录提取第一组特征；将第一机器学习技术应用于所述第一组特征；产生第一多个用户类别用于传输到所述网页服务器；从所述多个网络日志记录提取第二组特征；将第二机器学习技术应用于所述第二组特征；产生第二多个用户类别用于传输到所述网页服务器；至少基于所述多个网络日志记录来将所述第一多个用户类别传输到所述网页服务器；并且至少基于所述多个网络日志记录来将所述第二多个用户类别传输到所述网页服务器。
【专利附图】
【附图说明】
[0008]通过参照结合附图的下面描述，可以获取针对当前实施例及其优点的更加完整的理解，在附图中相似的附图标记指示相似的特征，并且在附图中:
[0009]图1说明了根据本公开某些实施例包括可通信地耦合到一个或多个网页服务器的分布式拒绝服务(“DD0S”)引擎的联网系统，所述一个或多个网页服务器分别可通信地耦合到一个或多个请求设备；
[0010]图2说明了根据本公开某些实施例的DDOS检测引擎的高级图；
[0011]图3说明了根据本公开某些实施例用于检测联网系统上的DDOS攻击的示例方法的流程图；
[0012]图4说明了根据本公开某些实施例用于实时或接近实时地检测联网系统上的DDOS攻击的示例方法的流程图；以及
[0013]图5说明了根据本公开某些实施例用于在更加延长的时间段内检测联网系统上的DDOS攻击的示例方法的流程图。
【具体实施方式】
[0014]参照图1到图5来更好地理解优选实施例及其优点，其中相似的附图标记用于指示相似和相对应的部件。
[0015]出于本公开的目的，电子设备可以包括能够存储、处理、发送、接收、使用或处置以数字形式存储的数据，包括存储在计算机可读介质上的数据，的任何设备、子设备或设备和/或子设备的组合。计算机可读介质可以包括配置为存储数字数据的任何设备、子设备或设备和/或子设备的组合，在不具有限制的情况下包括硬盘驱动、闪存、只读存储器、随机存取存储器、光学存储器、固态存储器或用于存储数字数据的任何其它类型的可移动和/或固定介质。
[0016]图1说明了根据本公开某些实施例包括可通信地耦合到一个或多个网页服务器104的分布式拒绝服务(“DD0S”)引擎102的联网系统100，所述一个或多个网页服务器中的每一个可通信地耦合到一个或多个请求设备108。在一些实施例中，请求设备108可以是配置为从一个或多个网页服务器104请求数据的电子设备。作为说明性示例，请求设备108可以是个人计算机、膝上型计算机、平板电脑、蜂窝电话、个人数字助理、服务器、计算机群集或配置为从一个或多个网页服务器104请求数据的任何其它电子设备。在一些实施例中，请求设备108可以经由任何适当的网络通信机制，包括无线互联网、有线互联网和/或内联网机制，可通信地耦合到一个或多个网页服务器104。
[0017]在一些实施例中，网页服务器104可以是配置为经由适当的网络通信机制从一个或多个请求设备108接收数据请求的任何服务器，如上面更详细描述的。网页服务器104可以包括硬件和/或存储在计算机可读介质上以便由硬件执行的软件，该硬件和/或软件配置为经由网络通信机制将数据从一个或多个数据源传送到数据请求设备108。作为说明性示例，网页服务器104可以存储属于公司网站的数据和/或诸如SAP的某一企业软件的部分。
[0018]在一些实施例中，联网系统100包括一个或多个网页服务器104。尽管图1说明了三个网页服务器104，但是联网系统100可以包括更多或更少的网页服务器104。在一个实施例中，联网系统100可以包括大量网页服务器104。作为说明性示例，联网系统100可以由云计算服务的提供方拥有和/或操作。在这一配置中，联网系统100可以向大量消费者提供网络托管服务，其中一些或者所有消费者要求多个网页服务器104。消费者可能出于多种原因，包括数据冗余性和/或高可用性，而要求多个网页服务器104。在一些配置中，联网系统100可以包括在许多不同的物理机上运行的数百个网页服务器。在这样的配置中，网页服务器104可以在服务器的群集上运行，作为在多个物理服务器上的虚拟机或托管大量网页服务器104的任何其它适当的装置。
[0019]网页服务器104也可以可通信地耦合到联网系统100内的其它系统，包括数据库服务器、应用服务器和/或电子邮件服务器。在一些实施例中，这些其它服务器可以提供由请求设备108请求的数据。在其它实施例中，其它服务器可以提供向请求设备108提供数据所要求的某一后端处理。
[0020]联网系统100还可以包括DDOS检测引擎102。如下面参照图2_图5更加详细描述的，DDOS检测引擎102可以包括硬件和/或存储在计算机可读介质上以便由硬件执行的软件，该硬件和/或软件配置为分析来自网页服务器104的大量数据，以便确定联网系统100是否在来自某组请求设备108的DDOS攻击之下。在一些实施例中，DDOS检测引擎102可以配置为经由任何适当的通信机制从一个或多个网页服务器104接收表示网络业务的信息。作为说明性示例，DDOS检测引擎102可以经由无线互联网、有线互联网和/或内联网机制、硬件总线、电缆或任何其它适当的通信机制可通信地耦合到网页服务器104。在一些实施例中，DDOS检测引擎102可以与一个或多个网页服务器104存在于相同的物理机上。
[0021]尽管图1说明了可通信地耦合到DDOS检测引擎102的三个网页服务器104，但是联网系统100可以包括一个或多个DDOS检测引擎102，在一些实施例中，该一个或多个DDOS检测引擎102可通信地耦合到彼此。在一个实施例中，联网系统100可以包括配置为支持大量网页服务器104的多个DDOS检测引擎102。作为说明性示例，联网系统100可以由云计算服务的提供方拥有和/或操作。在这一配置中，联网系统100可以向大量消费者提供网络托管服务，其中一些或所有消费者要求多个网页服务器104。消费者可能出于多种原因，包括数据冗余性和/或高可用性，而要求多个网页服务器104。在一些配置中，联网系统100可以包括在许多不同的物理机上运行的数百个网页服务器。在这样的配置中，配置多个DDOS检测引擎102以便支持大量所要求的网页服务器104是必要或期望的。在这样的配置中，DDOS检测引擎102可以存在于服务器的群集上，作为多个物理服务器上的虚拟机或者托管DDOS检测引擎102的任何其它适当的装置。
[0022]在操作中，多个请求设备108可以通过网络从一个或多个网页服务器104请求数据。网页服务器104可以接着将表示这一网络业务的信息传输到DDOS检测引擎102。DDOS检测引擎102可以接着分析这一信息以便确定联网系统100是否正在经历DDOS攻击，如下面参照图2-图5更加详细描述的。在一个实施例中，大量请求设备通过网络从大量网页服务器104请求数据。作为说明性示例，数万个计算机(请求设备108)可以在接入互联网的一般过程中与数千个网页服务器104进行通信。这些数万个计算机中的某一部分(请求设备108的某一部分)可以接着尝试通过使大量非法网络业务大量涌至一个或多个网页服务器104来关闭一个或多个网页服务器104，以便防止剩余计算机(剩余请求设备108)以合法网络业务接入一个或多个网页服务器104。如下面参照图2-图5更加详细描述的，DDOS检测引擎102可以接着分析表示来自数万个计算机(请求设备108)的网络业务的信息以便确定DDOS攻击的源、程度和类型。
[0023]如下面参照图2-图5更加详细描述的，在一些实施例中，DDOS检测引擎102可以实时地尝试确定DDOS攻击是否正在进行。DDOS检测引擎102也可以更加详细地分析表示网络业务的信息以便确定DDOS攻击是否正在进行。
[0024]图2说明了根据本公开某些实施例的DDOS检测引擎102的高级图。在一些实施例中，DDOS检测引擎102可以包括一个或多个网页服务器接口 202、第一 DDOS分析引擎204和第二 DDOS分析引擎206。在一些实施例中，网页服务器接口 202、第一 DDOS分析引擎204和第二 DDOS分析引擎206可以是硬件、固件和/或存储在计算机可读介质上并且由硬件和/或固件可执行的软件。在一些实施例中，网页服务器接口 202、第一 DDOS分析引擎204和第二 DDOS分析引擎206可以是单独的硬件和/或软件模块。在其它实施例中，网页服务器接口 202、第一 DDOS分析引擎204和第二 DDOS分析引擎206可以是存储在计算机可读介质上并且由硬件和/或固件可执行的较大软件程序的部分、函数、例程、子例程或其它子集。在又一些其它实施例中，网页服务器接口 202、第一 DDOS分析引擎204和第二 DDOS分析引擎206可以存在于诸如服务器的一个或多个电子设备上。
[0025]尽管图2说明了一个网页服务器接口 202，但是DDOS检测引擎102可以包括一个或多个网页服务器接口 202。在一些实施例中，DDOS检测引擎102可以与多个网页服务器104通过接口进行连接，如上面参照图1描绘的。多个网页服务器104可以经由一个或多个网页服务器接口 202与DDOS检测引擎102通过接口连接。在一些实施例中，网页服务器接口 202可以配置为接收表示位于请求设备108和网页服务器104之间的网络业务的信息。作为说明性示例，表示网络业务的信息可以包括来自从请求设备108到网页服务器104的数据请求的网络日志记录。这些记录可以包括指示从请求设备108到网页服务器104的特定数据请求的性质和质量的多个数据点。
[0026]在一些实施例中，经过多种途径来分析网络日志记录以便确定联网系统100是否正在经历DDOS攻击是必要或期望的，以变化的确定性程度考虑可能例如要求不同的数据负荷和/或不同的处理资源(包括时间)来完成的方案。在一些实施例中，执行表示网络业务的某些信息的第一级分析以便确定DDOS攻击是否正在进行是必要或期望的。这一分析可以能够大致识别网络业务的给定集合是否以第一级确定性被分类为恶意或良性。在一些配置中，尽可能快地执行这一第一级分析以便例如减轻由DDOS攻击引起的任何潜在损坏是必要或期望的。在这样的配置中，实时或接近实时地执行分析可以为联网系统100提供在确定DDOS攻击是否正在进行时有用的信息。如下面进一步描述的，这一第一级分析可能不是充分的、独立的，而不能确定DDOS攻击是否正在进行。然而，当与其它信息(例如，外部指示符、来自其它DDOS检测引擎102的分析)组合时，可以使足够的信息可用。
[0027]在相同或可选的实施例中，具有较高级确定性的更加详细分析是必要或期望的。取决于给定配置的要求，可以使用相同或不同的分析技术来处理更多的数据以便允许更加详细的分析。如果额外的时间和其它处理资源可用，则更加详细的分析可以能够考虑更多的数据和/或在较长的时间段内考虑数据。除了提供较高程度的确定性，更加详细分析在分析历史数据、趋势数据、辩论数据和/或在DDOS攻击的未来防止和/或历史分析中感兴趣的其它数据挖掘技术时是必要或期望的。
[0028]再次参照图2，DDOS检测引擎102可以包括第一 DDOS分析引擎204和第二 DDOS分析引擎206。在一些实施例中，第一 DDOS分析引擎204可以负责执行第一级分析，尝试将网络业务分类为恶意或良性并且实时或接近实时地确定DDOS攻击是否正在进行。在相同或可选的实施例中，第二 DDOS分析引擎204可以负责执行更加详细的分析，尝试将网络业务分类为恶意或良性(和/或将网络业务分类到多个恶意业务分类中的一个或多个中)并且以较高程度的确定性确定DDOS攻击是否正在进行。在所说明的实施例中，DDOS分析引擎102被描绘为具有单个第一 DDOS检测引擎204和单个第二 DDOS检测引擎206。在相同或可选的实施例中，在不偏离本公开的范围的情况下，给定的DDOS分析引擎102可以具有第一或第二 DDOS检测引擎204、206中的多个。此外，仅出于容易描述的目的，第一 DDOS检测引擎204和第二 DDOS检测引擎206被描绘为单独的模块。在一些实施例中，第一和第二DDOS检测引擎204、206可以被实现为单独的、集成的和/或部分集成的硬件、软件和/或固件。进而，第一和第二 DDOS检测引擎204、206可以存在于相同或不同的电子设备上。例如，在其中第二 DDOS检测引擎206负责更加详细的DDOS分析的配置中，一个第二 DDOS检测引擎206收集来自多个联网系统100的多个第一 DDOS检测引擎204的数据是必要或期望的。
[0029]在一些实施例中，第一 DDOS检测引擎204可以实时或接近实时地执行表示网络业务的信息的第一级分析，以便将网络业务分类为恶意或良性。下面的表1列出了可以由DDOS检测引擎102使用的一组说明性数据点。尽管表1列出了一组说明性数据点，但是在不偏离本公开的范围的情况下，DDOS检测引擎102可以使用更多或更少的数据点。
[0030]表1
【权利要求】
1.一种能够通信地耦合到多个网页服务器的分布式拒绝服务(“DDOS”)检测引擎，所述DDOS检测引擎包括: 网页服务器接口，配置为: 从网页服务器接收多个网络日志记录，所述网页服务器是所述多个网页服务器之一； 至少基于所述多个网络日志记录来将第一多个用户类别传输到所述网页服务器；并且 至少基于所述多个网络日志记录来将第二多个用户类别传输到所述网页服务器；以及 第一 DDOS分析引擎，配置为: 从所述多个网络日志记录提取第一组特征，其中，所述第一组特征表示在第一时间段内位于所述多个网页服务器上的网络业务； 将第一机器学习技术应用于所述第一组特征；并且 产生所述第一多个用户类别以用于实质上实时地传输到所述网页服务器；以及 第二 DDOS分析引擎，配置为: 从所述多个网络日志记录提取第二组特征，其中，所述第二组特征表示在第二时间段内位于所述多个网页服务器上的网络业务，所述第二时间段大于所述第一时间段； 将第二机器学习技术应用于所述第二组特征；并且 产生所述第二多个用户类别以用于传输到所述网页服务器。
2.如权利要求1所述的DDOS检测引擎，其中，所述DDOS检测引擎进一步包括DDOS警告模块，所述DDOS警告模块配置为向所述多个网页服务器警告位于所述网页服务器上的DDOS攻击。
3.如权利要求1所述的DDOS检测引擎，其中，所述第一机器学习技术包括对于所述多个网络日志记录的熵分析。
4.如权利要求1所述的DDOS检测引擎，其中，所述第二机器学习技术包括对于所述多个网络日志记录的随机森林分析。
5.如权利要求1所述的DDOS检测引擎，其中，所述第二机器学习技术包括对于所述多个网络日志记录的支持向量机分析。
6.如权利要求1所述的DDOS检测引擎，其中，所述网页服务器接口进一步配置为将所述第一多个用户类别实质上实时地传输到所述多个网页服务器。
7.如权利要求1所述的DDOS检测引擎，其中，所述第一组特征包括源互联网协议标识符。
8.如权利要求1所述的DDOS检测引擎，其中，所述第一组特征包括统一资源指示符。
9.如权利要求1所述的DDOS检测引擎，其中，所述第一组特征包括引用器指示符。
10.如权利要求1所述的DDOS检测引擎，其中，所述第一组特征包括用户代理指示符。
11.如权利要求1所述的DDOS检测引擎，其中，所述第一组特征包括源互联网协议标识符。
12.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的GET请求的总数量。
13.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的POST请求的总数量。
14.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的既不是GET请求也不是POST请求的请求的总数量。
15.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的返回标准化状态代码的请求的列表。
16.如权利要求15所述的DDOS检测引擎，其中，所述第一组特征进一步包括对从由所述源互联网协议标识符发送的请求返回的单个标准化状态代码的总数与由所述源互联网协议标识符发送的返回所述标准化状态代码的请求的列表进行比较的多个比值。
17.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括针对由所述源互联网协议标识符发送的请求所花费的时间的统计测度。
18.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括针对由所述源互联网协议标识符发送的请求的尺寸的统计测度。
19.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括针对由所述源互联网协议标识符发送的请求的会话活动的统计测度。
20.如权利要求11所述的DDOS检测引擎，其中，所述第一组特征进一步包括针对所述源互联网协议标识符请求被请求的统一资源的概率的统计测度。
21.一种用于检测位于包括多个网页服务器的联网系统上的分布式拒绝服务(“DD0S”)攻击的方法，所述方法包括: 从网页服务器接收多 个网络日志记录，所述网页服务器是所述多个网页服务器之一； 从所述多个网络日志记录提取第一组特征，其中，所述第一组特征表示在第一时间段内位于所述多个网页服务器上的网络业务； 将第一机器学习技术应用于所述第一组特征； 产生第一多个用户类别以用于实质上实时地传输到所述网页服务器； 从所述多个网络日志记录提取第二组特征，其中，所述第二组特征表示在第二时间段内位于所述多个网页服务器上的网络业务，所述第二时间段大于所述第一时间段； 将第二机器学习技术应用于所述第二组特征； 产生第二多个用户类别以用于传输到所述网页服务器； 至少基于所述多个网络日志记录来将所述第一多个用户类别传输到所述网页服务器；以及 至少基于所述多个网络日志记录来将所述第二多个用户类别传输到所述网页服务器。
22.如权利要求21所述的方法，进一步包括向所述多个网页服务器警告位于所述网页服务器上的DDOS攻击。
23.如权利要求21所述的方法，其中，所述第一机器学习技术包括对于所述多个网络日志记录的熵分析。
24.如权利要求21所述的方法，其中，所述第二机器学习技术包括对于所述多个网络日志记录的随机森林分析。
25.如权利要求21所述的方法，其中，所述第二机器学习技术包括对于所述多个网络日志记录的支持向量机分析。
26.如权利要求21所述的方法，其中，将所述第一多个用户类别传输到所述多个网页服务器是实质上实时地发生的。
27.如权利要求21所述的方法，其中，所述第一组特征包括源互联网协议标识符。
28.如权利要求21所述的方法，其中，所述第一组特征包括统一资源指示符。
29.如权利要求21所述的方法，其中，所述第一组特征包括引用器指示符。
30.如权利要求21所述的方法，其中，所述第一组特征包括用户代理指示符。
31.如权利要求21所述的方法，其中，所述第一组特征包括源互联网协议标识符。
32.如权利要求31所述的方法，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的GET请求的总数量。
33.如权利要求31所述的方法，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的POST请求的总数量。
34.如权利要求31所述的方法，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的既不是GET请求也不是POST请求的请求的总数量。
35.如权利要求31所述的方法，其中，所述第一组特征进一步包括由所述源互联网协议标识符发送的返回标准化状态代码的请求的列表。
36.如权利要求35所述的方法，其中，所述第一组特征进一步包括对从由所述源互联网协议标识符发送的请求返回的单个标准化状态代码的总数与由所述源互联网协议标识符发送的返回所述标准化状态代码的请求的列表进行比较的多个比值。
37.如权利要求31所述的方法，其中，所述第一组特征进一步包括针对由所述源互联网协议标识符发送的请求所花费的时间的统计测度。
38.如权利要求31所述的方法，其中，所述第一组特征进一步包括针对由所述源互联网协议标识符发送的请求的尺寸的统计测度。
39.如权利要求31所述的方法，其中，所述第一组特征进一步包括针对由所述源互联网协议标识符发送的请求的会话活动的统计测度。
40.如权利要求31所述的方法，其中，所述第一组特征进一步包括针对所述源互联网协议标识符请求被请求的统一资源的概率的统计测度。
【文档编号】H04L12/26GK103918222SQ201280053833
【公开日】2014年7月9日 申请日期:2012年10月17日 优先权日:2011年10月21日
【发明者】Y·唐, Z·钟, Y·何 申请人:迈克菲公司