专利名称：适用于监测数据网络数据流的数据采集装置的制作方法
适用于监测数据网络数据流的数据采集装置本发明涉及用于监测数据网络中的通信数据流的技术。在监测诸如互联网之类的数据网络中的数据流的情况下，设备面临着使用大量协议和数据传送量以及发送机/接收机多样性的问题。目前，有两类实施这种数据流监测的装置。第一类装置收集在指定时间周期内的数据包组，然后在下一步骤中，分析和处理所收集到的数据包。这类装置的实例是Wireshark品牌(前身为Ethereal品牌)所发布的软件。第二类装置运用硬件机制获取数据，然后传送至分析装置。通常，在获取和分析装置之间所传送信息是基于在参考RFC3917的IETF(Internet Engineering Task Force、互联网任务组)提出的标准化IPFIX协议。在“应用层协议语法结合异常监测”(详见Information Systems Security,Springer, pp.188-202, December 2008, P.Diissel et al.) 一文讨论了应用层协议语法结合监测远程通信网络中的异常现象的过程。一个称之为“Βι.ο”的入侵检测系统获取在网络中的数据包并且重新组装TCP分段，以便将输入的数据包传送至一种称之为“binpac”的语法分析器语言(yacc)的协议分 析器。申请者已经开发了适用于互联网类型的网络监测技术。尤其是，在专利申请书EPl7222509 Al和EPl 722 508 Al中描述了多层次构架，它能实时检查复杂协议栈以便从中提取数据流的，即在发送机和接收机之间传送的结构性数据组。鉴于在数据采集器层面需要处理的信息量，后者必须限制于只执行对传送相关信息绝对必要的处理过程，并且也仅仅只传送那些信息到分析器。有一些解决方案只将需要处理操作的数据下载至采集器，允许传送结构性的相关信息。然而，考虑到数据采集器实时监测的信息量，这些方案都需要开发高性能的硬件架构。其它类型的解决方案限制了数据采集器实施的处理，使之只能传送非结构性的数据，包括冗余和/或不必要的数据，这会导致对分析器层面及其与数据采集器接口的其它限制。有些其它解决方案可能包含在分析器层面执行延期处理。尽管如此，这会导致执行监测数据流应用的反映能力下降。因此，提出了一种数据采集技术，有利的是，它有可能在限制处理所采集和编辑这些数据所需硬件资源的同时，只将结构性的相关数据传送至分析器。根据本发明，提出了一种数据采集装置，其适用于监测使用数据包传输模式的数据网络的数据流。该装置包含: 数据提取器，用于提取在属于发送机、接收机和协议所定义数据流的数据包中所包含的数据； 语法分析器，用于:-实时接收来自提取器的数据；
-将所接收到的数据根据所述协议的语法规则分拆成单元，该语法规则有可能使得所述元素可由树状结构来表征；以及，-将各个树状状态指示器与至少一些所述单元相关联，其中这些与单元相关联的树状状态指示器标记在树状结构中的所述单元；以及， 接口，用于将树状状态指示器以及与其相关联的单元一起传送至数据流分析器。在装置的实施例中，与单元相关联的树状状态指示器包含树状结构母节点的标识符，其附加接收在树状结构表征中的所述单元的位置。语法分析器用于:-如确定根据语法 规则接收到当前元素，该元素在树状接收表征中的树状结构节点的合适位置上，则将节点标识符分配给当前元素；以及，-包括分配给与所述当前元素相关的树状状态指示器中的当前元素的节点标识符。在优选的实施例中，语法分析器用于，对于在元素及其相关的树状状态指示器传送之后的给定数据流而言包含于存储器中，仅仅只在树状结构从树状结构表征中接收所述元素的位置向上移动时才会遇到各个节点标识符。本发明的另一个方面涉及用于监测使用数据包传输模式的数据网络中的数据流的系统。该系统包含上述定义的数据采集装置和用于接收已传送与树状状态指示器相关的元素的数据流分析器。本发明的另外一方面还涉及监测使用数据包传送模式的数据网络中的数据流的方法。该方法包含: 提取属于发送器、接收器和协议所定义数据流的数据包所包含的数据； 实时将所接收到的数据根据所述协议的语法规则分拆成单元，使之有可能根据树状结构来表征所述元素； 将各个树状状态指示器与至少一些所述单元相关联，其中与单元相关联的树状状态指示器标记在树状结构中的所述单元；以及， 将树状状态指示器及与其相关联的单元一起传送至数据流分析器。该方法还可包含，由所发送的与树状状态指示器相关联的元素，在数据流分析器层面，构成树状结构的至少部分结构。本发明的其它特征和优点将从参考附图的下述非限制性实例的描述中变得更加明晰。附图包括:-
图1是根据本发明实施例在数据网络中的监测系统的示意图；-图2是图1所示监测系统的数据采集装置的功能示意图；-图3是图2所示的采集装置的操作流程图；-图4是根据发明实施例将HTTP(超文本传输协议)请求分拆成动态树状的实例说明；以及；-图5示出了在邮件协议下的树状结构的实例。参考图1，监测系统包含直接与数据网络3 (例如互联网)相连接的数据采集器1，使用IP(“互联网协议”)数据包类型协议来获取流经该网络的数据包。数据采集器I使用例如专利申请EPl 722 509A1或专利申请EPl 722 508A1所详细阐述的架构。它通过数据连接5将从流过数据网络3的数据包中提取的结构数据发送至分析器7。数据网络3的数据传输通常使用传输协议栈。比如说，在网站搜索时，IP数据包包含TCP(传输控制协议)协议数据结构，该数据结构自身包含HTTP(超文本传输协议)数据结构。在电子邮件传送时，TCP数据结构包含SMTP(简单邮件传输协议)数据结构，等等。根据所考虑到的数据流类型，使用许多其它应用层和传输层的协议，这些都是在IP网络通信领域中众所周知的。在单个IP数据包中几乎不包含在给定数据流中的信息。相反地，该信息是分片的，以便通过几个连续的数据包来传送。这些IP数据包在网络中流动，数据包的包头包含路由信息，尤其是数据包来源和目的的IP地址。属于其它数据流的数据包可插入其中。这些数据包可以在数据网络中以不同的路由方式流动并且/或者可以它们发送的不同顺序来接收。为了监测给定数据流，方便的方法是鉴别属于所讨论数据流的数据包、从中提取相关信息并且根据所讨论的监测应用要求来进行分析。在图1所示的架构中，鉴别和提取由数据采集器I来提供，监测应用本身由分析器7来执行。参考图2，数据采集器I包括连接着网络3的节点或链路的数据提取器11，以便观察流量。数据提取器11有用于在提取器连接节点或链路层级上，由网络3所使用的低协议层的网络接口。它提取在属于发送器、接收器和协议(例如传输电子邮件时的SMTP，网络浏览时的HTTP等)所定义的指定数据流中的数据包所包含的数据。数据采集器I还包括语法分析器13，用于实时接收由提取器11从给定数据流中提取到的数据。语法分析器13拥 有组合与讨论数据流的相关协议的语法规则的软件资源。它将从数据流中提取出来的数据分拆成单元，以数据协议语法来表示，也称之为项目。于是，将所获得的单元提供给接口 15，由接口负责把它们及其树状状态指示器一起传送至外部分析器7。根据适用于协议的语法规则，语法分析器13将数据流数据分拆成单元，使之有可能根据树状结构来表征这些单元。实际上，在数据采集器I层面，并非以完整的形式来存储树状结构。而是根据应用需要，由结构数据分析器7重新构架的。数据采集器I仅仅只存储树状状态，其指示器分别与语法分析器13进行分拆所产生的单元相关联。与单元相关联的树状结构指示器标记在树状结构中的该元素，使得结构数据分析器7将其定位于监测的数据流中。“树”意指一种数据结构，其图论意义是包含根数据项和个子数据，使得子数据项仅仅只链接着单个的更高层次的母数据项。链接着子数据项的数据项称之为树节点，没有子数据项的数据项称之为树叶。因此，树状结构是一种没有循环的图形。图3图示说明了数据采集器I的一般操作过程。在配置步骤21中，提供提取器11所需的参数，具体为:-用于监测数据流的相关发送机、接收机和协议；-将被提取的数据类型的指示(所有数据，仅是某种特定信息，符合配置情况的数据，等等)。在一个简单的配置中，提取数据流中的所有数据，在分析器7层面进行任何滤除。需要说明的是，只提取特定的数据类型，有可能可选择性地减少采集器I上的负载以及通过链接5传送的信息量。
-鉴别语法分析器13处理所讨论的数据流的实例，因为在实践中，提取器11和分析器13可同时检测几个数据流。在步骤23中，提取器11监测通过网络3发送的数据包。为此，使用例如专利申请WO 2004/017595 A2中所描述的识别及协议分析方法。于是，在步骤25中，就能提取属于配置协议的数据并从指定的发送机传送至指定的接收机，并实时地将这些数据发送至数据分析器13。为了阐述语法分析器13在图3所示分拆步骤27中的功能，考虑在指定发送机和接收机之间HTTP协议兼容数据流的特殊情况。在该说明实例中，提取器11分析数据包并在删除数据头后从两个连续的数据包中提取数据，信息如表I中所示。
权利要求
1.适用于监测使用数据包传输模式的数据网络(3)中的数据流的数据采集装置，该装置包括: 数据提取器(11)，用于提取属于发送机、接收机和协议所定义数据流的数据包中的数据； 籲语法分析器(13)，用于: -实时接收来自提取器的数据； -根据所述协议语法规则将所接收到的数据分拆成单元，语法规则使之有可能将所述元素以树状结构来表示；以及， -将各个树状状态指示器与至少一些所述单元相关联，这些与单元相关联的树状状态指示器在树状结构中标记所述单元；以及， 接口(15)，用于将树状状态指示器连同与其相关联的单元一起发送至数据流分析器⑵。
2.根据权利要求1所述的装置，其特征在于，所述与单元相关联的树状结构指示器包含树状结构母节点的标识符，其附加在树状结构表征的接收所述单元的位置。
3.根据权利要求2所述的装置，其特征在于，所述语法分析器(13)还用于: -如若确定根据语法规则已经接收到在树结构表征中处于树状结构的节点合适位置上的当前元素，则将节点标识符分配给当前元素；以及， -包括，分配给在树状状态标识符，与当前元素相关联的当前元素的节点标识符。
4.根据权利要求3所述的装置，其特征在于，所述语法分析器(13)用于仅仅只在存储器中存储，对发送单元及其相关联的树状状态指示器后的给定数据流，各个节点标识符只在将树状结构从接收树状结构表征中的所述单元的位置向上移动时才会遇到。
5.适用于监测使用数据包传输模式的数据网络(3)中的数据流的系统，所述系统包含根据上述权利要求任一所述的数据采集器(I)和用于接收已经发送的与树状状态指示器关联的数据的数据流分析器(7)。
6.根据权利要求5所述的系统，其特征在于，所述数据分析器(7)用于从已经发送单元与相关联的树状状态指示器中构架树结构的至少一部分。
7.用于监测使用数据包传输模式的数据网络(3)中的数据流的方法，所述方法包含: 提取(25)属于发送机、接收机和协议所定义数据流的数据包中的数据； 籲实时将所接收到的数据根据所述协议的语法规则分拆(27)成单元，该语法规则使得所述元素有可能由树状结构来表征； 将各个树状状态指示器与至少一些所述单元相关联(29)，其中与单元相关联的树状状态指示器标记在树状结构中的所述单元；以及， 将树状状态指示器连同与其相关联的单元一起传送(31)至数据流分析器(7)。
8.根据权利要求7所述的方法，其特征在于，所述与单元相关联的树状状态指示器包含树状结构母节点的标识符，其附加在树状结构表征的接收所述单元的位置。
9.根据权利要求8所述的方法，还包含: 如若根据语法规则确定已经接收到在树结构表征中处于树结构节点合适位置上的当前元素，则将节点标识符分配给当前元素；以及， -包括在当前元素相关联的树状状态指示器中，分配给当前元素的节点标识符。
10.根据权利要求9所述的方法，其特征在于，对于在单元与其相关联的树状状态指示器传送后的给定的数据流，除了各个节点标识符只在将树状结构从接收树状结构表征中的所述单元的位置向上移动才会遇到，将没有任何保留。
11.根据权利要求7至10任一项所述的方法，还包括在数据流分析器层(7)面由已发送与树状状态指示器来构 架至少一部分树状结构。
全文摘要
此发明与在数据网络中采用数据包传输模式监测数据流的数据采集器相关，包括用于提取数据的提取器，这些被提取的数据包含在由一个发送器、接收器和协议定义的数据流中的数据包里。此采集器同时包含从提取器中实时接收数据并且根据协议语法规则分拆数据至单元的语法分析器，上述语法规则使单元用树状结构表征。语法分析器将单独的树状分析器与至少一些单元结合，在此中，与一个单元相结合的树状状态分析器把上述单元放入树状结构当中。一个接口将与单元相结合的树状状态指示器发送至采集器外部的一个数据流分析器。
文档编号H04L12/26GK103222232SQ201180039637
公开日2013年7月24日 申请日期2011年4月14日 优先权日2010年6月23日
发明者杰罗米·托莱特, 杰罗米·阿贝拉 申请人:QoSMOS公司