专利名称：对网络通信量进行有效索引和存储的方法和装置的制作方法
技术领域：
本发明涉及网络连接，更具体地，涉及对网络通信量进行有效的索引和存储的系 统、方法和装置。
背景技术：
在对复杂网络进行的网络分析中，网络分析器将会看到大量的数据。此前，网络监 控和分析中的方法是将监控装置所监控到的所有通信量都存储起来，然后筛选存储的数据 以用于分析和检索的目的。为了定位和检索感兴趣的特定数据，这种方法可能需要大量的 时间和处理。
发明内容
根据本发明的网络监控系统、装置和方法，按照以描述特定分组的信息来注释的 包元数据类比(packet metadata analogue)的形式来分析和说明网络数据。将元数据存 储在关系数据库中以提供基于描述性特征的有效查找。将元数据从物理数据中分离出来以 进行有效存储。因此，本发明的一个目的是提供一种用于对网络通信量进行有效的索引和存储的 改进的网络监控系统。本发明的另一个目的是提供一种改进的网络监控系统，该系统确定元数据并将元 数据存储在数据库中，并且存储物理数据。本发明的另一个目的是提供一种改进的网络监视器和系统，以允许通过包元数据 的使用而对网络通信量进行有效的索引和存储。在本说明书的总结部分中特别地指出并明确地声明了本发明的主题。然而，通过 参考以下结合附图而做出的说明将能最充分地理解实施的结构和方法以及本发明的其他 优点和目的，在附图中，相同的附图标记表示相同的要素。
图1是具有监控系统的网络的框图；图2是用于对网络通信量进行有效的索引和存储的监控装置的框图；以及图3是系统的操作步骤的图。
具体实施例方式根据本发明的优选实施方式的系统包括网络监控系统、装置和方法，其中，对网络 数据进行分析并提取出包特征属性。在给定的时段内，按照共同的属性值对包进行分组且 将分组的属性写入数据库中，而将物理包写入文件中。参考图1 (具有根据本文公开的装置的网络的框图)，网络可以包括多个网络设备 IOUO'等，这些网络设备通过发送和接收网络通信量22而在网络12上通信。通信量可以通过具有不同的协议及其格式的包的形式发送，表示了来自各种应用和用户的数据。网络分析产品14也连接到该网络，并且可以包括用户接口 16，用户接口 16使用户 不论是在安装位置处还是在远离该分析产品网络归属的物理位置的的位置处都能够与网 络分析产品相互作用以操作该分析产品并从该分析产品获得数据。该网络分析产品包括硬件和软件、CPU、存储器、接口等，来进行操作以连接到网络 并监控网络上的通信量，并且执行各种测试和测量操作、发送和接收数据等。当是远程时， 该网络分析产品一般通过在与网络连接的计算机或者工作站上运行来进行操作。该分析产品包括分析引擎18，分析引擎18接收包网络数据并与应用事务详情数 据存储部M进行交互。图2是能够实现本发明的测试装置/分析器42的框图，其中，该测试装置可以包 括通过多个端口将设备连接到网络12的网络接口 36、用于操作该装置的一个或多个处理 器38、诸如RAM/ROM 24或永久性存储器沈的存储器、显示器观、用户输入装置30 (例如键 盘，鼠标或者其它指点装置、触摸屏等)、包括电池或交流电源的电源32、以及将设备连接 到网络或其它外部设备(存储部、其它计算机等)的其它接口 34。数据处理模块40提供对 所观察到的网络数据的处理，以提供对网络通信量的混合模式分析。在操作中，网络测试装置连接到网络，并且观察网络上的传输以收集信息。在处理 器38的操作下，在观察到网络通信量时，对包进行分析并确定表征所述包的包成分，把具 有共同属性的包分组，并将分组的属性存储在数据库中。参考图3(系统操作的图)，由设备接收并读取网络包50，并提取特征属性(框 52)。特征属性的例子包括但不局限于和包相关联的应用的标识；和包关联的流的标识(流被表征为从所建立的连接的开始到结束)；和包关联的事务的标识符；包开始时间结束时间创建时间经历时间(time seen)统一资源标识符id端口信息协议信息客户端网络地址信息服务器网络地址信息服务器id站点id把在有限的时段内观察到的包按照共同的属性值进行分组(框，并且在框56 中把被称为元数据的分组属性写入元数据数据库58。在框60中，将物理包本身写入平面文 件(flat file)62、62，等。另外，利用关于包在文件62中的物理存储的位置的信息来注释包的元数据。因此，将包元数据存储在关系数据库中，并且能够基于期望的特征组合来进行查询。根据包元数据，可以从物理存储中读取出物理包。所述系统、方法和装置可以在网络测试装置中得到适当实现。尽管已经示出和描述了本发明的优选实施方式，但对于本领域的技术人员显而易 见的是，在更宽的方面不脱离本发明的情况下，可以作出很多变化和修改。因此，所附的权 利要求旨在涵盖落入到本发明的真实精神和范围内的所有这种变化和修改。
权利要求
1.一种对网络通信量进行索引和存储的系统，该系统包括 用于监控网络通信量的网络监控装置；所述网络监控装置执行以下操作 提取包的特征属性；基于共同属性值对一个时段内的包进行分组； 在数据库中存储分组的属性；以及 存储物理包。
2.根据权利要求1所述的对网络通信量的进行索引和存储的系统，其中，属性值从下 列属性中选出和包相关联的应用的标识、和包相关联的流的标识、和包相关联的事务的标识、包开始 时间、结束时间、创建时间、经历时间、统一资源标识符id、端口信息、协议信息、客户端网络 地址信息、服务器网络地址信息、服务器id和站点id。
3.一种用于网络通信量分析的网络测试装置，该网络测试装置包括 用于监控网络通信量的网络监控装置；所述网络监控装置包括执行以下操作的处理器 提取包的特征属性；基于共同属性值对一个时段内的包进行分组； 在数据库中存储分组的属性；以及 存储物理包。
4.根据权利要求3所述的网络测试装置，其中，属性值从下列属性中选出和包相关联的应用的标识、和包相关联的流的标识、和包相关联的事务的标识、包开始 时间、结束时间、创建时间、经历时间、统一资源标识符id、端口信息、协议信息、客户端网络 地址信息、服务器网络地址信息、服务器id和站点id。
5.一种操作用于网络通信量分析的网络测试装置的方法，该方法包括以下步骤 对用于监视网络通信量的装置进行监控；对监控的网络通信量执行包特征属性提取；基于共同的提取出的特征属性值对一个时段内的包进行分组；在数据库中存储分组的属性；以及存储物理包。
6.根据权利要求5所述的方法，其中，属性值从下列属性中选出和包相关联的应用的标识、和包相关联的流的标识、和包相关联的事务的标识、包开始 时间、结束时间、创建时间、经历时间、统一资源标识符id、端口信息、协议信息、客户端网络 地址信息、服务器网络地址信息、服务器id和站点id。
全文摘要
本发明涉及对网络通信量进行有效的索引和存储的方法和装置。网络分析器读取网络包并提取特征属性，按照共同的属性值对在给定量的时间内观察到的包进行分组。分组的属性是元数据，分组的属性被写入到数据库中，而包被写入到文件中。
文档编号H04L12/56GK102075379SQ201010589548
公开日2011年5月25日 申请日期2010年10月29日 优先权日2009年10月29日
发明者丹·普雷斯科特, 布鲁斯·科斯巴博, 约翰·芒克, 罗伯特·沃格特 申请人:弗兰克公司