分布式数据包存储、回溯方法及系统的制作方法
【技术领域】
[0001]本发明涉及一种数据包的存储及回溯，尤其涉及一种分布式数据包存储、回溯方法及系统。
【背景技术】
[0002]随着互联网的高速发展，网络用户尤其是大型企业用户在面对新型的网络攻击的过程中，需要更好的防范措施，这其中，网络数据包的存储和回溯变得越来越重要。然而，面对企业的网络流量不断的增加，每天几百G的流量数据司空见惯。传统的数据包存储和回溯，很难进行系统的扩展，并且子系统的问题或故障常常会影响其他子系统，导致整个系统受到攻击或者发生故障时的稳定性不足，同时面对海量数据还存在数据不易还原的缺陷。由于上述缺陷，传统的数据包存储和回溯已经无法满足大型企业的实际需求。
【发明内容】
[0003]本发明要解决的技术问题是为了克服现有技术中数据包存储和回溯存在系统可扩展性差、稳定性不足、数据不易还原、效率低下的缺陷，提供一种分布式数据包存储、回溯方法及系统。
[0004]本发明是通过下述技术方案来解决上述技术问题的:
[0005]—种分布式数据包存储方法，其特点在于，包括以下步骤:
[0006]S1、抓取网络数据包；
[0007]S2、将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
[0008]S3、多个计算节点从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符(identificat1n)和协议；
[0009]S4、将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
[0010]S5、将源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器；
[0011]S6、将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
[0012]上述数据包索引值，可以是“χχχχ-χχχχ-χχχχ-χχχχ-χχχχ-χχχχ”的形式，其中每一“ΧΧΧΧ”即为一组十进制格式数据。这里的“X”可以表示单个字符，“ΧΧΧΧ”可以表示一四位字符串。本发明中的时间戳可以是UNIX时间戳。
[0013]较佳地，步骤33中由一分布式实时计算系统中的该多个计算节点获取消息并解析数据包。
[0014]本发明还提供了一种分布式数据包回溯方法，其特点在于，网络数据包以及网络数据包的信息采用如上所述的分布式数据包存储方法进行存储，该分布式数据包回溯方法包括以下步骤:
[0015]S7、从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议；
[0016]S8、将源ip、目的ip、源端口、目的端口、标示符和/或协议作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下执行步骤S9;
[0017]S9、根据S8中查找到的数据所对应的数据包索引值，在分布式数据库中进行检索；
[0018]S1。、将检索到的网络数据包还原。
[0019]本发明还提供了一种分布式数据包存储系统，其特点在于，包括:
[0020]抓包模块，用于抓取网络数据包，并将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
[0021]处理模块，由多个计算节点组成，用于从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议，并将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
[0022]存放执行模块，用于将处理模块解析得到的源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器，以及将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
[0023]较佳地，处理模块由一分布式实时计算系统中的该多个计算节点构成。
[0024]本发明还提供了一种分布式数据包回溯系统，其特点在于，包含如上所述的分布式数据包存储系统，该分布式数据包回溯系统还包括:
[0025]数据提取模块，用于从搜索服务器中获取数据包索引值以及源ip、目的ip、源端口、目的端口、标示符、协议；
[0026]查询模块，用于将提取的源ip、目的ip、源端口、目的端口、标示符和/或协议作为查询条件，在搜索服务器中进行查找，在查找到对应数据的情况下启用检索模块；
[0027]检索模块，用于根据查询模块查找到的数据所对应的数据包索引值，在分布式数据库中进行检索；
[0028]数据包还原模块，用于将检索到的网络数据包还原。
[0029]在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
[0030]本发明的积极进步效果在于:
[0031]本发明的分布式数据包存储、回溯方法及系统，可便于水平扩展并且稳定性及效率都较高，同时通过建立的索引信息能够方便快速的进行数据包回溯，易于还原网络数据。
【附图说明】
[0032]图1为本发明实施例1的分布式数据包存储方法的流程图。
[0033]图2为本发明实施例2的分布式数据包回溯方法的流程图。
[0034]图3为本发明实施例3的分布式数据包存储系统的示意图。
【具体实施方式】
[0035]下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
[0036]实施例1
[0037]参考图1所示，本实施例的分布式数据包存储方法，包括以下步骤:
[0038]S1、抓取网络数据包；
[0039]S2、将抓取的每一网络数据包加上时间戳组成一条消息，并将组成的消息放入分布式消息处理系统的消息队列中；
[0040]S3、一分布式实时计算系统中的多个计算节点从消息队列中获取消息，并解析数据包中的源ip、目的ip、源端口、目的端口、标示符和协议；
[0041]S4、将解析得到的源ip、目的ip、源端口、目的端口、标示符和协议分别转换为十进制格式，以生成包含6组十进制格式数据的数据包索引值；
[0042]S5、将源ip、目的ip、源端口、目的端口、标示符、协议和数据包索引值存放到搜索服务器；
[0043]S6、将数据包索引值及其对应的网络数据包和时间戳存储至分布式数据库中。
[0044]本实施例中的数据包索引值的形式为“χχχχ-χχχχ-χχχχ-χχχχ-χχχχ-χχχχ”的形式，其中每一“xxxx”即为一组十进制格式数据。本实施例中的时间戳指的是UNIX时间戳。
[