一种网络数据快照的配置方法与流程

本发明涉及数据处理方法，尤其涉及一种网络数据快照的配置方法。

背景技术：

互联网的发展对于网络数据分析行业这即是机遇也是挑战，面对成几何级倍增的数据量、越来越快的传输速度、数据时效性越来越强等特点，现有的处理与分析方式已经很难快速准确的得到可用结果了，所以业内亟待一种全新且能解决以上痛点的方案诞生。

技术实现要素：

本发明的目的就在于为了解决上述问题而提供一种网络数据快照的配置方法。

本发明通过以下技术方案来实现上述目的：

一种网络数据快照的配置方法，包括以下步骤：

s1、通过用户指定或系统采集获取外部网络数据，并创建默认快照节点，快照节点包括：会话快照、dns快照、http快照、邮箱日志快照、ftp日志快照和ssl证书快照；

s2、选中快照节点，并生成相应的未配置的新增子快照，按照配置规则对未配置的新增子快照进行配置，获得已配置的子快照；

s3、循环步骤s2，根据不同的快照节点和不同的参数配置信息获得不同的子快照；

s4、运行已配置的子快照，进入等待状态，待服务段有空余资源时自动开启运行状态，进行数据提取任务；

若运行中出现错误，就将该子快照置于错误状态，若正常运行完毕，就将该子快照置于完成状态，完成状态的快照可查看；

s5、循环步骤s2、s3、s4，形成快照树。

具体地，上述步骤s1中：

所述会话快照为提取所有数据包；

所述dns快照为提取所有与dns请求相关的数据包；

所述http快照为提取所有与http请求相关的数据包；

所述邮箱日志快照为提取邮箱日志数据包；

所述ftp日志快照为提取ftp日志数据包；

所述ssl证书快照为提取ssl证书数据包；

具体地，上述步骤s2中的配置规则包括：

所述会话快照的配置规则包括：基础规则、高级规则、异常模型；

所述dns快照的配置规则包括：基础规则、高级规则、异常模型；

所述http快照的配置规则包括：基础规则、高级规则、异常模型；

所述邮箱日志快照的配置规则包括：基础规则、高级规则；

所述ftp日志快照的配置规则包括：基础规则、高级规则；

所述ssl证书快照的配置规则包括：基础规则、高级规则；

所述基础规则包括：国家地区、数据会话大小、协议；

所述高级规则通过用户编写的数据提取表达式完成配置；

所述异常模型包括：ddos攻击，蠕虫攻击，木马特征，心跳异常，连接异常，行为异常，流量异常，端口复用。

进一步，上述步骤s4中运行完成的快照，可查看快照的运行完毕后提取出来的数据。

再进一步，上述所有快照节点均会记录用户打开快照后查看数据的操作足迹与分析足迹。

再进一步，上述步骤s4中还包括固化数据和缩减数据；

所述固化数据包括在快照运行时，后台会从父快照中按照当前快照配置的规则取出特定的数据，并将取出的数据记录到硬盘中，实现数据固化；

所述缩减数据包括在快照运行时，后台会从父快照中按照当前快照配置的规则取出特定的数据并抛弃余下的数据，实现数据缩减。

优选地，将上述步骤s5中的快照树保存为快照模板，在获取新的外部网络数据时，可以直接按照快照模板生产新的快照树。

本发明的有益效果在于：

本发明一种网络数据快照的配置方法提供了一种网络数据快照的配置和分层级显示的方法，通过特定的配置条件，在指定的快照中提取精准的数据来生成子快照，且各个快照按添加时的层级关系显示，可以使得原始大数据被拆分成了多个特定类型与条件的数据快照，后台服务将多个数据快照同步处理，提高了出结果的速度，分散了数据存储压力，同时也缩小了最终呈现在用户面前的结果量，使得用户可以更准确更快速的找到想看的数据。

附图说明

图1是本发明所述的一种网络数据快照的配置方法的流程图；

图2是本发明所述快照树的示意图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明一种网络数据快照的配置方法，包括以下步骤：

为便于用户的操作，本方法配置有操作界面。

s1、通过用户指定或系统采集获取外部网络数据，并创建默认快照节点，快照节点包括：会话快照、dns快照、http快照、邮箱日志快照、ftp日志快照和ssl证书快照；任意快照节点都有5个状态功能，新增、等待、运行、错误、完成5个状态，其中新增又分为两个子状态，分别是新增(未配置)、新增(已配置)。

会话快照为提取所有数据包；

dns快照为提取所有与dns请求相关的数据包；

http快照为提取所有与http请求相关的数据包；

邮箱日志快照为提取邮箱日志数据包；

ftp日志快照为提取ftp日志数据包；

ssl证书快照为提取ssl证书数据包；

s2、选中快照节点，点击添加快照按钮就会在选中快照的下面生成一个子快照并生成相应的未配置的新增子快照，按照配置规则对未配置的新增子快照进行配置，获得已配置的子快照；当用户点击任意快照中的新增按钮时，生成的子快照处于新增(未配置)状态，点击新增快照的配置按钮并完成配置后处于新增(已配置)；

会话快照、dns快照和http快照的配置规则均包括：基础规则、高级规则、异常模型；

邮箱日志快照、ftp日志快照和ssl证书快照的配置规则均包括：基础规则、高级规则；

在操作界面单击配置快照按钮，弹出配置快照页面，这个页面又分为三个子页面，分别是：基础规则、高级规则、异常模型。这三个页面的配置是互斥的，已最后用户点击确认时选中的子页面为准作为最后的配置。基础规则页面呈现一个基础规则可选项，用户可以任选配置其中的一项或多项。高级规则页面是一个输入框，用户可以自由输入表达式作为配置条件。异常模型页面是一个可用模型列表，用户可任选其一作为条件。

基础规则包括：国家地区(中国、日本、美国、加拿大等)、数据会话大小(小于1k、1k-1m、1m-20m等)、协议(arp、icmp、smb、dhcp、dns、http、ftp等)；

高级规则通过用户编写的数据提取表达式完成配置，表达式可配项目有ip、ip段、mac、端口、时间等；

异常模型包括：ddos攻击，蠕虫攻击，木马特征，心跳异常，连接异常，行为异常，流量异常，端口复用。

基础规则、高级规则、异常模型只能三选其一来配置，点击新建快照的配置按钮，即会弹出快照的配置页面，选择任意配置项目并确认完成快照的参数配置。以最后点击确认时停留的配置项页面为准。

s3、循环步骤s2，根据不同的快照节点和不同的参数配置信息获得不同的子快照，选中任意的快照节点，单击节点上的新建快照按钮，系统会就会在选中快照的下面显示一个新的快照，该新的快照与选中快照之间由一根带有箭头的线相连接，箭头指向新的快照，并通过不同的参数配置获得不同的子快照。

s4、点击快照的运行按钮后处于等待状态，运行已配置的子快照，进入等待状态，待服务段有空余资源时自动开启运行状态，进行数据提取任务；若运行中出现错误，就将该子快照置于错误状态，若正常运行完毕，就将该子快照置于完成状态，完成状态的快照可查看；

用户可以双击处于运行完成状态的快照节点，这时候程序会切换到快照数据的展示页面，显示快照的数据，主要包含了数据会话明细，数据包明细。

s5、循环步骤s2、s3、s4，形成如图2所示的快照树。

任意快照节点都会记录和还原用户的操作足迹功能，用户查看与分析快照内容时，会记录用户每一步的分析足迹(检索条件)，方便用户回滚操作，当用户关闭打开的快照时，会记录当前分析的状态(检索条件)，页面布局(每一块内容显示区域的大小和位置)，选中的会话行，下一次再打开该快照时就能完全的还原到关闭时的分析情景再进一步，

在快照运行时，后台会从父快照中按照当前快照配置的规则取出特定的数据，并将取出的数据记录到硬盘中，实现数据固化，并提高用户检索快照内容的速度。

在快照运行时，后台会从父快照中按照当前快照配置的规则取出特定的数据并抛弃余下的数据，实现数据缩减，并提高用户检索快照内容的速度。

选中任意非默认的快照节点，单击节点上的删除快照按钮，弹出提示后选择是，即会删除所选快照。

所有快照皆可以单独运行或配置完成后批量运行，当快照的状态为新建(默认快照)、已配置完成(除默认快照外的其他快照)时，可以点击快照节点上的运行按钮，开始执行快照的数据获取，可以一键批量启动所有态为新建(默认快照)、已配置完成(除默认快照外的其他快照)的快照。

配置完毕的快照树可以保存为快照模板，所有快照皆配置完毕后，可以点击快照树另存为按钮，将当前快照树保存为模板，在获取到新的外部数据源时，可以点击选择模板按钮弹出模板选择页面，任意选择其中的模板项目就可以直接生成快照树，省去重复配置的时间与人工消耗。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。