专利名称：网络封包采集与解析系统及其实现方法
技术领域：
本发明涉及计算机软件工程领域，尤其涉及一种网络封包采集与解析系统及其实现方法。
背景技术：
TCP/IP网络封包一般由以太网首部 、IP首部、TCP/UDP首部、应用数据和以太网尾部五个部分构成，其中太网首部、IP首部、TCP/UDP首部和以太网尾部四个部分具有明确而固定的格式定义，通常的网络数据采集与解析工具，如EtherPeek、Sniffr等网络封包协议分析软件，通过对这四个部分的分析，可获得封包的协议类型、源/目的IP地址等信息，可为网络流量分析与统计、网络性能分析、网络安全与管理等提供支持。应用数据部分内容由用户定义和组织，是反映应用系统性能的主要数据源，是网络封包解析的主要内容。一个应用系统往往包含许多网络封包，这些封包的应用数据部分的格式定义不尽相同，不同应用系统网络封包中的应用数据部分的格式更是大不相同。通常为应用系统服务的网络封包解析工具仅仅是为了满足应用系统需求，将结果数据格式固化在解析工具中，难以适应数据格式变化的需求，无法实现通用意义上的网络封包解析，也缺乏集网络封包数据采集、解析于一体的通用性平台。
发明内容
针对上述问题，本发明的目的在于提供一种良好通用性集分布式的网络封包采集与集中式网络封包解析于一体的系统及其实现方法，解决了缺乏通用性网络封包采集与解析平台的问题。为达到上述目的，本发明所述一种网络封包采集与解析系统，包括一个采集控制中心装置及至少一个数据采集探头装置，其中，采集控制中心装置，通过网络连接数据采集探头装置，向该数据采集探头装置发送网络封包数据采集过滤方案信息、预设采集内容、及采集控制指令；数据采集探头装置，接收采集控制中心装置发送来的控制信息，采集网络封包数据并向采集控制中心装置发送其工作状态信息。优选地，所述数据采集探头装置由探头网络通信模块、数据采集模块及数据存储模块构成，其中，探头网络通信模块，实现数据采集探头装置与采集控制中心装置之间的信息交换；数据采集模块，根据过滤方案信息采集合格的网络封包数据，并将采集到的网络封包数据进行内存队列缓存；数据存储模块，将内存队列缓存的网络封包数据存储在节点磁盘文件中。所述采集控制中心装置由中心网络通信模块、采集控制模块、数据下载模块、数据解析模块及结果形式编辑模块构成，其中，
中心网络通信模块，实现采集控制中心装置与数据采集探头装置之间的信息交换；采集控制模块，监控数据采集探头装置的采集过程；数据下载模块，将上述的节点磁盘文件下载到采集控制中心装置上的节点磁盘上；结果形式编辑模块，预设网络封包数据解析所呈现的格式，并将结果格式保存；
数据解析模块，按照预设解析形式解析网络封包数据。为达到上述目的，本发明所述一种网络封包采集与解析实现方法，包括以下步骤I)在计算机网络的采集节点上部署数据采集探头装置，启动探头后台服务进程；2)在计算机网络的控制节点上部署采集控制中心装置；3)启动采集控制中心装置，实现与各数据采集探头装置的连接；4)配置各数据采集探头装置的数据采集过滤方案信息，并传送给数据采集探头装置；5)在采集控制中心装置上启动数据采集探头装置，开始采集、存储网络封包数据；6)在采集控制中心装置上停止数据采集探头装置，结束网络封包数据的采集；7)在采集控制中心装置将各数据采集探头装置所采集、保存的数据文件下载到采集控制中心装直；8)在采集控制中心装置上打开要解析的网络封包数据文件，将其解析为用户指定的结果格式。本发明的有益效果为I、各数据采集探头装置的采集行为与过程由采集控制中心装置集中控制，同时，数据采集探头装置实现靠探头后台服务进程和数据采集进程，探头后台服务进程根据采集控制中心装置的命令直接控制数据采集进程，这种方式避免了逐个操作数据采集探头装置(如启动、停止)的繁琐操作，使运行控制更为简洁；2、数据采集线程和数据存储线程将网络封包数据的采集与存储过程分离开来，解决了高速数据采集与低速磁盘I/o之间的矛盾，保证了数据采集的高速性，降低了因采集、存储速度不匹配而造成的数据丢失率；3、用户可随时根据应用系统需求，变更解析结果的格式定义，使网络封包采集与解析平台满足不同应用系统解析要求，具有很好的通用性；4、结果格式定义内容用XML格式保存，具有很强的通用性和可编辑性。
图I是本发明实施例所述网络封包采集与解析系统的结构示意图；图2是本发明实施例所述网络封包采集与解析系统的部署示意图；图3是采集控制中心装置运行界面示意图；图4是系统信息流程图。
具体实施例方式下面结合说明书附图对本发明做进一步的描述。如图I所示，本发明实施例所述一种网络封包采集与解析系统，包括一个采集控制中心装置及至少一个数据采集探头装置，其中，采集控制中心装置，通过网络连接数据采集探头装置，向该数据采集探头装置发送网络封包数据采集过滤方案信息、预设采集内容、及发送启动、暂停、恢复、停止采集过程的采集控制指令；数据采集探头装置，接收采集控制中心装置发送来的控制信息，采集网络封包数据并向采集控制中心装置发送其工作状态信息。下面具体对采集控制中心装置和数据采集探头装置进行说明。
首先，所述数据采集探头装置由探头网络通信模块、数据采集模块及数据存储模块构成，其中，探头网络通信模块，采用计算机网络的TCP/IP协议，实现数据采集探头装置与采集控制中心装置之间的信息交换；数据采集模块，根据过滤方案信息负责在计算机节点网络层上采集合格的网络封包数据，并将采集到的网络封包数据进行内存队列缓存，以实现网络封包数据的高速采集，减少丢包；数据存储模块，负责将内存队列缓存的网络封包数据存储在节点磁盘文件中，以避免大量耗费内存资源而导致计算机节点性能下降和数据丢失的现象，保证了对所采集数据的完整保存。再次，所述采集控制中心装置由中心网络通信模块、采集控制模块、数据下载模块、数据解析模块及结果形式编辑模块构成，其中，中心网络通信模块，采用计算机网络的TCP/IP协议，实现采集控制中心装置与数据采集探头装置之间的信息交换；采集控制模块，监控数据采集探头装置的采集过程，比如显示探头装置的位置、当前工作状态、采集过程；数据下载模块，将上述的节点磁盘文件下载到采集控制中心装置上的节点磁盘上；结果形式编辑模块，预设网络封包数据解析所呈现的格式，并将结果格式以XML格式保存；数据解析模块，按照预设解析形式解析网络封包数据，并显示结果。一种网络封包采集与解析实现方法，包括以下步骤I)在计算机网络的采集节点上部署数据采集探头装置，启动探头后台服务进程；2)在计算机网络的控制节点上部署采集控制中心装置；3)启动采集控制中心装置，实现与各数据采集探头装置的连接；4)配置各数据采集探头装置的数据采集过滤方案信息，并传送给数据采集探头装置；5)在采集控制中心装置上启动数据采集探头装置，开始采集、存储网络封包数据；
6)在采集控制中心装置上停止数据采集探头装置，结束网络封包数据的采集；7)在采集控制中心装置将各数据采集探头装置所采集、保存的数据文件下载到采集控制中心装直；8)在采集控制中心装置上打开要解析的网络封包数据文件，将其解析为用户指定的结果格式。具体的说，网络通信模块、数据采集模块和数据存储模块由两个独立进程实现网络通信模块由所述探头后台服务进程实现，数据采集模块和数据存储模块均包括在数据采集进程中。探头后台服务进程通过网络TCP/IP协议接收采集控制中心装置发出的控制指令，并据此通过管道技术控制所述数据采集进程的数据采集过程。数据采集模块与数据存、储模块分别实现相对独立的数据采集线程、数据存储线程。数据采集线程将所采集的网络封包数据缓存在内存阵列中，并将保存至节点磁盘文件的网络封包数据传给数据存储线程。采集控制中心装置以列表方式显示计算机网络中部署的数据采集探头装置，每一行代表一个数据采集探头装置，显示内容有探头名称、工作状态、宿主主机名、宿主主机IP地址、通信端口号、采集数据量和过滤方案信息。如图2所示为网络封包采集与解析系统的部署示意图，保证数据采集探头装置中的探头后台服务进程(后台服务.exe)处于运行状态。图3所示为采集控制中心装置运行界面示意图，界面中给出计算机网络中已部署的采集探头装置的名称、位置及工作状态等信息。如图4所示为系统信息流程图。在图中可以看到上述各个模块之间的联系以及工作过程之间的简要概括，使得系统的工作目的和过程一目了然。下面根据该流程具体介绍其使用过程在采集控制中心装置上，配置各数据采集探头装置的采集过滤方案信息，包括拟采集网络封包所使用的协议、其源IP地址范围等，设置完成后，通过计算机网络通信将过滤方案信息传给各数据采集探头装置。在采集控制中心装置上，启动采集过程，探头后台服务进程收到该命令后，启动数据采集进程(探头.exe)，开始采集其宿主节点网络封包数据，并将采集数据存入宿主节点磁盘文件中。采集过程中，可根据需要在采集控制中心装置上暂停采集过程，此时，探头后台服务进程通知数据采集进程停止网络封包数据采集；暂停采集过程后可通过采集控制中心装置下达恢复采集命令，收到该命令后，数据采集进程从当前时刻开始继续采集网络封包数据。暂停或恢复采集过程，不影响已采集网络封包写入磁盘文件的过程。当数据缓存队列有数据时，数据采集进程自动将数据存入磁盘文件，当数据缓存队列无数据时，数据采集进程自动停止写磁盘文件过程。采集任务完成后，可在采集控制中心装置上，停止采集过程，探头后台服务进程收到该命令后，将通知数据采集进程结束采集过程，数据采集进程立即停止网络封包采集动作，并继续将数据缓存队列中的数据写入磁盘文件。当数据缓存队列中所有数据都被写入磁盘文件后，数据采集进程自动终止。采集控制中心装置将各节点中的网络封包数据文件下载到本地。用户根据应用系统需求，新建或编辑结果数据格式，并保存为结果格式文件。采集控制中心装置根据结果格式文件定义，将指定的网络封包数据文件解析为结构化的、具体的参数，以便用于应用系统的相关分析或其它应用。其中，网络封包解析结果格式定义包括如下部分主键、字段名、字段ID、字段类型、字段长度、编码方式、主键值、重复指示和转化表达式。以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应 该以权利要求所界定的保护范围为准。
权利要求
1.一种网络封包采集与解析系统，其特征在于，包括一个采集控制中心装置及至少一个数据采集探头装置，其中， 采集控制中心装置，通过网络连接数据采集探头装置，向该数据采集探头装置发送网络封包数据采集过滤方案信息、预设采集内容、及采集控制指令； 数据采集探头装置，接收采集控制中心装置发送来的控制信息，采集网络封包数据并向采集控制中心装置发送其工作状态信息。
2.根据权利要求I所述的网络封包采集与解析系统，其特征在于，所述数据采集探头装置由探头网络通信模块、数据采集模块及数据存储模块构成，其中， 探头网络通信模块，实现数据采集探头装置与采集控制中心装置之间的信息交换；数据采集模块，根据过滤方案信息采集合格的网络封包数据，并将采集到的网络封包数据进行内存队列缓存； 数据存储模块，将内存队列缓存的网络封包数据存储在节点磁盘文件中。
所述采集控制中心装置由中心网络通信模块、采集控制模块、数据下载模块、数据解析模块及结果形式编辑模块构成，其中， 中心网络通信模块，实现采集控制中心装置与数据采集探头装置之间的信息交换； 采集控制模块，监控数据采集探头装置的采集过程； 数据下载模块，将上述的节点磁盘文件下载到采集控制中心装置上的节点磁盘上； 结果形式编辑模块，预设网络封包数据解析所呈现的格式，并将结果格式保存； 数据解析模块，按照预设解析形式解析网络封包数据。
3.—种网络封包采集与解析实现方法，其特征在于，包括以下步骤 .1)在计算机网络的采集节点上部署数据采集探头装置，启动探头后台服务进程； .2)在计算机网络的控制节点上部署采集控制中心装置； .3)启动采集控制中心装置，实现与各数据采集探头装置的连接； .4)配置各数据采集探头装置的数据采集过滤方案信息，并传送给数据采集探头装置； .5)在采集控制中心装置上启动数据采集探头装置，开始采集、存储网络封包数据； .6)在采集控制中心装置上停止数据采集探头装置，结束网络封包数据的采集； .7)在采集控制中心装置将各数据采集探头装置所采集、保存的数据文件下载到采集控制中心装直； .8)在采集控制中心装置上打开要解析的网络封包数据文件，将其解析为用户指定的结果格式。
4.根据权利要求3所述的网络封包采集与解析实现方法，其特征在于，网络通信模块、数据采集模块和数据存储模块由两个独立进程实现网络通信模块由所述探头后台服务进程实现，数据采集模块和数据存储模块均包括在数据采集进程中。
5.根据权利要求4所述的网络封包采集与解析实现方法，其特征在于，探头后台服务进程通过网络TCP/IP协议接收采集控制中心装置发出的控制指令，并据此通过管道技术控制所述数据采集进程的数据采集过程。
6.根据权利要求5所述的网络封包采集与解析实现方法，其特征在于，数据采集模块与数据存储模块分别实现相对独立的数据采集线程、数据存储线程。
7.根据权利要求6所述的网络封包采集与解析实现方法，其特征在于，数据采集线程将所采集的网络封包数据缓存在内存阵列中，并将保存至节点磁盘文件的网络封包数据传给数据存储线程。
8.根据权利要求3所述的网络封包采集与解析实现方法，其特征在于，采集控制中心装置以列表方式显示计算机网络中部署的数据采集探头装置，每一行代表一个数据采集探头装置，显示内容有探头名称、工作状态、宿主主机名、宿主主机IP地址、通信端口号、采集数据量和过滤方案信息。
9.根据权利要求3琐碎的网络封包采集与解析实现方式，其特征在于，网络封包解析结果格式定义包括如下部分主键、字段名、字段ID、字段类型、字段长度、编码方式、主键值、重复指示和转化表达式。
全文摘要
本发明公开一种网络封包采集与解析系统，包括一个采集控制中心装置及至少一个数据采集探头装置，其中，采集控制中心装置通过网络连接数据采集探头装置，向该数据采集探头装置发送网络封包数据采集过滤方案信息、预设采集内容、及发送启动、暂停、恢复、停止采集过程的采集控制指令；数据采集探头装置接收采集控制中心装置发送来的控制信息，采集网络封包数据并向采集控制中心装置发送其工作状态信息。各数据采集探头装置的采集行为与过程由采集控制中心装置集中控制，同时，数据采集探头装置实现靠探头后台服务进程和数据采集进程，这种方式避免了逐个操作数据采集探头装置的繁琐操作，使运行控制更为简洁。
文档编号H04L12/26GK102664769SQ20121011648
公开日2012年9月12日 申请日期2012年4月19日 优先权日2012年4月19日
发明者岳英超, 肖斌, 范文慧 申请人:清华大学