一种网络流量分流方法与系统的制作方法
【技术领域】
[0001]本发明涉及网络流量规划领域，特别是涉及一种网络流量分流方法与系统。
【背景技术】
[0002]目前网络流量和网络链路速度不断攀升，网络流量的规划显得尤为重要，网络规划中基于流的网络研究是当前比较流行的技术，这种技术首先需要进行网络流量分流。
[0003]网络流量分流的对象是网络流量踪迹文件，而网络流量踪迹文件属于海量的数据密集型数据。目前网络流量分流已经成为高速网络流量分析的性能瓶颈。
【发明内容】
[0004]有鉴于此，本发明的主要目的在于提供一种网络流量分流方法与系统，可以高效地进行网络流量分流。
[0005]为实现上述目的，本发明提供了一种网络流量分流方法，包括:
[0006]将获取的网络数据包形成流量踪迹文件；
[0007]对所述踪迹文件中的各所述网络数据包进行分析，得到各所述网络数据包到达时间以及对应的五元组数据；
[0008]对各所述网络数据包根据对应的五元组数据进行匹配，对可以找到五元组数据相同的目标网络数据包，计算该所述目标网络数据包和与其五元组数据相同的目标对应网络数据包之间的时间间隔；
[0009]判断所述时间间隔是否小于或等于预设时间阈值，如果是则将所述目标网络数据包和所述目标对应网络数据包按照到达时间顺序归并，形成一个流文件，否则将所述目标网络数据包和所述目标对应网络数据包分别归并至不同的流文件中。
[0010]优选地，所述五元组数据包括:
[0011]源IP地址、源端口、目的IP地址、目的端口和传输层协议。
[0012]优选地，所述预设时间阈值为50s?70s。
[0013]优选地，所述流量踪迹文件为txt格式。
[0014]本发明还提供了一种网络流量分流系统，包括:
[0015]流量踪迹文件获取模块，用于将获取的网络数据包形成流量踪迹文件；
[0016]网络数据包分析模块，用于对所述踪迹文件中的各所述网络数据包进行分析，得到各所述网络数据包到达时间以及对应的五元组数据；
[0017]匹配模块，用于对各所述网络数据包根据对应的五元组数据进行匹配，对可以找到五元组数据相同的目标网络数据包，计算该所述目标网络数据包和与其五元组数据相同的目标对应网络数据包之间的时间间隔；
[0018]分流模块，用于判断所述时间间隔是否小于或等于预设时间阈值，如果是则将所述目标网络数据包和所述目标对应网络数据包按照到达时间顺序归并，形成一个流文件，否则将所述目标网络数据包和所述目标对应网络数据包分别归并至不同的流文件中。
[0019]优选地，所述五元组数据包括:
[0020]源IP地址、源端口、目的IP地址、目的端口和传输层协议。
[0021]优选地，所述预设时间阈值为50s?70s。
[0022]优选地，所述流量踪迹文件为txt格式。
[0023]应用本发明提供的一种网络流量分流方法与系统，将获取的网络数据包形成流量踪迹文件；对所述踪迹文件中的各所述网络数据包进行分析，得到各所述网络数据包到达时间以及对应的五元组数据；对各所述网络数据包根据对应的五元组数据进行匹配，对可以找到五元组数据相同的目标网络数据包，计算该所述目标网络数据包和与其五元组数据相同的目标对应网络数据包之间的时间间隔；判断所述时间间隔是否小于或等于预设时间阈值，如果是则将所述目标网络数据包和所述目标对应网络数据包按照到达时间顺序归并，形成一个流文件，否则将所述目标网络数据包和所述目标对应网络数据包分别归并至不同的流文件中，根据五元组数据是否一致以及时间间隔是否在阈值内决定是否将网络数据包分流，可以高效地进行网络流量的分流。
【附图说明】
[0024]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0025]图1为本发明一种网络流量分流方法实施例的流程图；
[0026]图2为本发明一种网络流量分流系统实施例的结构示意图。
【具体实施方式】
[0027]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]本发明提供了一种网络流量分流方法，图1示出了本发明网络流量分流方法实施例的流程图，包括:
[0029]步骤S101:将获取的网络数据包形成流量踪迹文件；
[0030]所述流量踪迹文件为.txt格式。
[0031]步骤S102:对所述踪迹文件中的各所述网络数据包进行分析，得到各所述网络数据包到达时间以及对应的五元组数据；
[0032]五元组数据包括:源IP地址、源端口、目的IP地址、目的端口和传输层协议。
[0033]步骤S103:对各所述网络数据包根据对应的五元组数据进行匹配，对可以找到五元组数据相同的目标网络数据包，计算该所述目标网络数据包和与其五元组数据相同的目标对应网络数据包之间的时间间隔；
[0034]对于具有相同五元组的数据包需要计算当前数据包与上一个数据包的时间间隔To
[0035]步骤S104:判断所述时间间隔是否小于或等于预设时间阈值，如果是则进入步骤S105，否则进入步骤S106 ；
[0036]如预设时间阈值为60s，实际可根据需要进行设置。
[0037]步骤S105:将所述目标网络数据包和所述目标对应网络数据包按照到达时间顺序归并，形成一个流文件；
[0038]如果T〈 = 60s，则将数据包按照到达时间先后的顺序进行归并，形成一个流文件。
[0039]步骤S105:将所述目标网络数据包和所述目标对应网络数据包分别归并至不同的流文件中。
[0040]如果T>60s，那么将数据包归并到不同的流文件中，进行分流。
[0041]用户可以通过浏览器提交需要分流的踪迹文件到系统平台，主节点接收到任务之后将分流任务分割成η个小的任务元，计算节点定期地每隔一段时间就要向主节点发送一次心跳，告诉主节点当前计算节点是否处于空闲状态主节点收到计算节点的心跳和状态信息后，也要定时向任务调度节点提交当前计算节点的状态，任务调度节点查询节点空闲列表，然后将分割的小的任单元发送到空闲状态的计算节点，计算节点接收到任务单元发送的任务后，根据任务单元中数据块的位置信息从数据存储节点中获取数据，进行相应的计算操作，该操作是本地执行。本地执行可以减少对网络带宽的压力，同时减少了写中间文件的时间耗费；计算节点执行完任务后，将结果返回给任务调度节点进行汇总，任务调度节点将最终结果提交给用户。
[0042]应用本实施例提供的一种网络流量分流方法，将获取的网络数据包形成流量踪