一种基于本体的并行网络流量分类方法与流程

文档序号:11960036阅读:250来源:国知局

本发明属于网络方法领域,更具体地说,本发明涉及一种基于本体的并行网络流量分类方法。



背景技术:

作为管理和优化各类网络资源的关键技术,网络流量分类广泛应用于网络监控、服务质量管理、网络安全、态势分析等领域,是高效实现网络管理、流量控制以及安全检测的重要环节。随着Web技术的发展和企业信息化需求的不断提高,许多新型网络应用模式和需求

应运而生,网络环境也升级为高速、大规模、复杂网络,随之而来的网络流量数据呈现出新的特点:海量(数量惊人、信息丰富)、多源(数据源分布在离散的,彼此可以通信的多个网络节点上)、异构(格式异构、语法异构、语义异构),致使网络流量分类面临严峻的挑战。



技术实现要素:

本发明所要解决的问题是提供一种基于本体的并行网络流量分类方法。

为了实现上述目的,本发明采取的技术方案为:

一种基于本体的并行网络流量分类方法,包括如下步骤:

(1)参数的设定

令Ni(1≤i≤n)表示第i个网络节点ID,IPi表示第i个网络节点的IP,Ii表示第i个网络节点的相关信息,Fj(1≤j≤m)表示第j条网络流量标识,Oj表示第j条网络流量的本体,MNF表示从网络节点流量数据到网络流量的映射,RFO表示从网络流量到网络流量本体的映射;

(2)启动对应函数

根据每个网络节点启动对应的Map函数,其中,每个Map函数以键值对<Ni, IPi>作为输入;

(3)传入结果

Map函数根据IPi操作网络节点,收集网络节点相关信息Ii,并调用网络流量采集工具捕获网络数据包,然后将采集到的所有资源传入Combiner中间结果;

(4)信息整合成网络流量

Combiner根据过滤规则提取所需网络流量信息,并将数据包整合成网络流量Fj,以键值对<Ii,Fj>的形式传给Reduce函数,此时,传向Reduce函数的每个键值对就对应着一条完整的网络流量信息;

(5)自定位

Reduce函数根据接收到的键值对计算流量统计特征,并用本体语言OWL做统一资源描述,借助本体建模工具Protégé的API,完成网络流量本体的构建;

(6)流量分类

接着分析网络流量本体的内部结构,将其转换成知识推理的规则集形式,然后将本体流量实例和规则集一并输入并行知识推理引擎,得出分类结果。

优选的,所述步骤(6)中并行知识推理引擎是采用Map Reduce作为并行处理技术。

优选的,所述Map Reduce作为并行处理技术构建了基于Map Reduce的网络流量本体构建模型。

优选的,所述步骤(6)中并行知识推理的实现步骤为:

①根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模,对已构建好的网络流量本体进行分割,得到多个网络流量本体分片Oj,将网络流量本体分片上传至Hadoop分布式文件系统,并对每一个网络流量本体分片中描述的网络流量实例标记为FIl,以键值对<FIl,Oj>作为Map函数的输入;

②启动多个Map函数并行地调用Jena推理机,利用规则集S

中的各条规则对网络流量本体分片Oj中描述的与网络流量实例FIl有关的各种信息进行知识推理,得出FIl的类标签Lk,将<Lk,FIl>作为键值对输出到Reduce函数;

③Reduce函数根据Lk按类型合并Fj,形成已分类流量集Ck,至此完成流量本体集到已分类流量集的映射MROC

优选的,所述并行知识推理的实现步骤的前提是参数的设定。

优选的,所述参数的设定为令Oj(1≤j≤n)表示第j个网络流量本体分片,FIl(1≤l≤p)表示第l个网络流量实例标识(对应于第l条网络流量Fl),S表示推理引擎中的规则集,Lk(1≤k≤m)表示第k类(指应用类别)流量标签,Ck表示第k类已分类流量集。

有益效果:本发明提供了一种基于本体的并行网络流量分类方法,该方法建立在Map Reduce并行计算架构之上,结合网络流量本体结构,设计基于Map Reduce的网络流量本体构建方法,及并行知识推理的网络流量分类方法,基于Map Reduce的网络流量本体构建效率明显高于单机环境,而且适当增加计算节点使得加速比线性提升,Map Reduce并行处理技术可以有效地提高网络流量本体构建的效率及网络流量的分类效率,可以适应大规模复杂网络流量的实时、准确分类。

具体实施方式

一种基于本体的并行网络流量分类方法,包括如下步骤:

(1)参数的设定

令Ni(1≤i≤n)表示第i个网络节点ID,IPi表示第i个网络节点的IP,Ii表示第i个网络节点的相关信息,Fj(1≤j≤m)表示第j条网络流量标识,Oj表示第j条网络流量的本体,MNF表示从网络节点流量数据到网络流量的映射,RFO表示从网络流量到网络流量本体的映射;

(2)启动对应函数

根据每个网络节点启动对应的Map函数,其中,每个Map函数以键值对<Ni, IPi>作为输入;

(3)传入结果

Map函数根据IPi操作网络节点,收集网络节点相关信息Ii,并调用网络流量采集工具捕获网络数据包,然后将采集到的所有资源传入Combiner中间结果;

(4)信息整合成网络流量

Combiner根据过滤规则提取所需网络流量信息,并将数据包整合成网络流量Fj,以键值对<Ii,Fj>的形式传给Reduce函数,此时,传向Reduce函数的每个键值对就对应着一条完整的网络流量信息;

(5)自定位

Reduce函数根据接收到的键值对计算流量统计特征,并用本体语言OWL做统一资源描述,借助本体建模工具Protégé的API,完成网络流量本体的构建;

(6)流量分类

接着分析网络流量本体的内部结构,将其转换成知识推理的规则集形式,然后将本体流量实例和规则集一并输入并行知识推理引擎,得出分类结果,并行知识推理引擎是采用Map Reduce作为并行处理技术,所述Map Reduce作为并行处理技术构建了基于Map Reduce的网络流量本体构建模型,所述并行知识推理的实现步骤为:

①所述参数的设定为令Oj(1≤j≤n)表示第j个网络流量本体分片,FIl(1≤l≤p)表示第l个网络流量实例标识(对应于第l条网络流量Fl),S表示推理引擎中的规则集,Lk(1≤k≤m)表示第k类(指应用类别)流量标签,Ck表示第k类已分类流量集;

②根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模,对已构建好的网络流量本体进行分割,得到多个网络流量本体分片Oj,将网络流量本体分片上传至Hadoop分布式文件系统,并对每一个网络流量本体分片中描述的网络流量实例标记为FIl,以键值对<FIl,Oj>作为Map函数的输入;

③启动多个Map函数并行地调用Jena推理机,利用规则集S

中的各条规则对网络流量本体分片Oj中描述的与网络流量实例FIl有关的各种信息进行知识推理,得出FIl的类标签Lk,将<Lk,FIl>作为键值对输出到Reduce函数;

④Reduce函数根据Lk按类型合并Fj,形成已分类流量集Ck,至此完成流量本体集到已分类流量集的映射MROC

本发明提供了一种基于本体的并行网络流量分类方法,该方法建立在Map Reduce并行计算架构之上,结合网络流量本体结构,设计基于Map Reduce的网络流量本体构建方法,及并行知识推理的网络流量分类方法,基于Map Reduce的网络流量本体构建效率明显高于单机环境,而且适当增加计算节点使得加速比线性提升,Map Reduce并行处理技术可以有效地提高网络流量本体构建的效率及网络流量的分类效率,可以适应大规模复杂网络流量的实时、准确分类。

以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1