电力数据通信网网络流量实时智能分析方法及其系统的制作方法
【专利摘要】本发明涉及一种电力数据通信网网络流量实时智能分析方法及其系统，该方法利用NetFlow采集器将上报的流数据打包到物理数据流文件中，然后流数据扫描器再将这些物理流数据文件进行解析和数据流聚合处理，形成多种适合统计分析需要的数据，最后流分析器则根据前端不同的业务请求，依照一定的查询策略从数据库不同的表中提取相应数据进行分析展现。本发明通过对数据通信网网络流量的智能分析，达到对数据通信网网络设备、逻辑链路和相关应用的全面管理，为整个IP网络系统的规划、运行、分析等过程提供支撑工具；通过对业务流量的智能分析和特征监视，构建安全可控的数据通信网络，为完善公司内部相关安全制度提供强有力的保障。
【专利说明】电力数据通信网网络流量实时智能分析方法及其系统
【技术领域】
[0001]本发明涉及电力数据通信网网络流量分析【技术领域】，特别是一种电力数据通信网网络流量实时智能分析方法及其系统。
【背景技术】
[0002]电力通信系统中，对于数据通信网网络流量的监测与分析主要依赖于设备厂商自身的网管系统，主要是针对各厂家网管所提供的基础监测数据来进行电力数据通信网络流量的分析与监测。然而上述对通信网络流量的分析与监测机制存在着许多不足之处:首先是缺乏网络流量的智能分析机制，现有网管软件的运行分析功能比较单一，不能对长期数据进行统计分析并给出决策支持；另外，当前的各种厂家设备网管系统具有一定局限性，设备厂商自身的网管只能对其自身设备网络流量进行监测分析，面对日益庞大的电力通信网络，企业对网络管理的复杂程度及对网络的依赖程度日益提高，各种各样的网络问题也随之产生，网络流量智能分析是网络管理和系统管理的一个重要组成部分，网络流量数据为网络的运行和维护提供了重要信息，这些数据对网络的资源分布、容量规划、服务质量分析、错误监测与隔离、安全管理都十分重要，因此，怎样通过对网络流量的智能分析进一步提升了电网的运行效率是亟待解决的问题。
【发明内容】
[0003]有鉴于此，本发明的目的是提供一种电力数据通信网网络流量实时智能分析方法。
[0004]本发明采用以下方案实现:一种电力数据通信网网络流量实时智能分析方法，其特征在于:具备NetFlow功能的网络设备定期向NetFlow采集器发送NetFlow流数据，而NetFlow采集器将上报的流数据打包到物理数据流文件中，然后流数据扫描器再将这些物理流数据文件进行解析和数据流聚合处理，形成多种适合统计分析需要的数据，再分门别类地存入流数据库，最后流分析器则根据前端不同的业务请求，依照一定的查询策略从数据库不同的表中提取相应数据进行分析展现。
[0005]在本发明一实施例中，所述的NetFlow采集器,装载一系列的NetFlow数据采集进程Flow Capture,每个网络设备都需要启动一个单独的Flow Capture进程，以采集此网络设备的流数据。
[0006]在本发明一实施例中，所述的Flow Capture需要完成两个功能，一是异常流量的检测；二是存储流数据，Flow Capture需要在内存中开辟一个大的缓冲区，将采集到的流数据存入缓冲区，每隔一定的时间，将要上报的流数据打包到所述物理数据流文件中，每个网络设备的流数据对应一个物理文件，Flow Capture负责导出数据到所述物理文件中。
[0007]本发明的另一目的是提供一种电力数据通信网网络流量实时智能分析系统，其特征在于包括:
NetFlow采集器,接收具备NetFlow功能的网络设备定期发送的NetFlow流数据，并将上报的流数据打包到物理数据流文件中；
流数据扫描器，接收所述的物理数据流文件，并进行解析和数据流聚合处理，形成多种适合统计分析需要的数据，再分门别类地存入一流数据库；以及
流分析器，根据前端不同的业务请求，依照一定的查询策略从数据库不同的表中提取相应数据进行分析展现。
[0008]进一步地，上述的NetFlow采集器，装载一系列的NetFlow数据采集进程FlowCapture,每个网络设备都需要启动一个单独的Flow Capture进程，以采集此网络设备的流数据。
[0009]进一步地,所述的Flow Capture需要完成两个功能,一是异常流量的检测；二是存储流数据，Flow Capture需要在内存中开辟一个大的缓冲区，将采集到的流数据存入缓冲区，每隔一定的时间，将要上报的流数据打包到所述物理数据流文件中，每个网络设备的流数据对应一个物理文件，Flow Capture负责导出数据到所述物理文件中。
[0010]本发明通过对数据通信网网络流量的智能分析，达到对数据通信网网络设备、逻辑链路和相关应用的全面管理，为整个IP网络系统的规划、运行、分析等过程提供支撑工具；通过对业务流量的智能分析和特征监视，构建安全可控的数据通信网络，为完善公司内部相关安全制度提供强有力的保障。
【专利附图】
【附图说明】
[0011]图1是本发明电力数据通信网网络流量智能分析系统架构流程示意图。
【具体实施方式】
[0012]下面结合附图及实施例对本发明做进一步说明。
[0013]本实施例提供一种电力数据通信网网络流量实时智能分析方法，其具备NetFlow功能的网络设备定期向NetFlow采集器发送NetFlow流数据,而NetFlow采集器将上报的流数据打包到物理数据流文件中，然后流数据扫描器再将这些物理流数据文件进行解析和数据流聚合处理，形成多种适合统计分析需要的数据，再分门别类地存入流数据库，最后流分析器则根据前端不同的业务请求，依照一定的查询策略从数据库不同的表中提取相应数据进行分析展现。
[0014]较佳的，所述的NetFlow采集器，装载一系列的NetFlow数据采集进程FlowCapture,每个网络设备都需要启动一个单独的Flow Capture进程，以采集此网络设备的流数据。所述的Flow Capture需要完成两个功能，一是异常流量的检测；二是存储流数据，Flow Capture需要在内存中开辟一个大的缓冲区，将采集到的流数据存入缓冲区，每隔一定的时间，将要上报的流数据打包到所述物理数据流文件中，每个网络设备的流数据对应一个物理文件，Flow Capture负责导出数据到所述物理文件中。
[0015]如图1所示，图1是电力数据通信网网络流量智能分析系统架构流程示意图。该系统包括:
流量监测，提供一种具备NetFlow功能的网络设备，在设备的相应端口上激活了NetFlow功能，以定期向NetFlow采集器发送NetFlow流数据；
NetFlow采集器,装载一系列的NetFlow数据采集进程(Flow Capture),每个网络设备都需要启动一个单独的Flow Capture进程，以采集此网络设备的流数据,Flow Capture需要完成两个功能，一是异常流量的检测，因为其有实时性的要求，需要在第一时间内识别异常流量；二是存储流数据，Flow Capture需要在内存中开辟一个大的缓冲区，将采集到的流数据存入缓冲区，每隔一定的时间间隔(如5分钟)，将一批流数据打包到处到物理数据流文件中(flowfiles, —组物理流数据文件),每个网络设备的流数据对应一个物理文件，FlowCapture负责导出数据到此物理文件中；
流数据扫描器，装载一系列的流数据扫描进程(Flow Scan)，流数据扫描进程负责分析物理流数据文件Flowfiles，在流数据扫描器中可以按需要对流数据进行处理，如收集给定IP组间的流数据，然后流数据扫描器将物理数据流文件中的数据存入关系型数据库(如Oracle)，为其他模块提供数据源；
流数据库，存储流数据扫描器处理后的流数据的场所；
流分析器，分析、报告流数据的模块，流分析器根据前端不同的业务请求，依照一定的查询策略从流数据库不同的表中提取相应数据进行分析展现，例如实时网络监控、历史网络监控等。
[0016]以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【权利要求】
1.一种电力数据通信网网络流量实时智能分析方法，其特征在于:具备NetFlow功能的网络设备定期向NetFlow采集器发送NetFlow流数据，而NetFlow采集器将上报的流数据打包到物理数据流文件中，然后流数据扫描器再将这些物理流数据文件进行解析和数据流聚合处理，形成多种适合统计分析需要的数据，再分门别类地存入流数据库，最后流分析器则根据前端不同的业务请求，依照一定的查询策略从数据库不同的表中提取相应数据进行分析展现。
2.根据权利要求1所述的电力数据通信网网络流量实时智能分析方法，其特征在于:所述的NetFlow采集器,装载一系列的NetFlow数据采集进程Flow Capture,每个网络设备都需要启动一个单独的Flow Capture进程，以采集此网络设备的流数据。
3.根据权利要求2所述的电力数据通信网网络流量实时智能分析方法，其特征在于:所述的Flow Capture需要完成两个功能,一是异常流量的检测；二是存储流数据，FlowCapture需要在内存中开辟一个大的缓冲区，将采集到的流数据存入缓冲区，每隔一定的时间，将要上报的流数据打包到所述物理数据流文件中，每个网络设备的流数据对应一个物理文件，Flow Capture负责导出数据到所述物理文件中。
4.一种电力数据通信网网络流量实时智能分析系统，其特征在于包括: NetFlow采集器,接收具备NetFlow功能的网络设备定期发送的NetFlow流数据，并将上报的流数据打包到物理数据流文件中； 流数据扫描器，接收所述的物理数据流文件，并进行解析和数据流聚合处理，形成多种适合统计分析需要的数据，再分门别类地存入一流数据库；以及 流分析器，根据前端不同的业务请求，依照一定的查询策略从数据库不同的表中提取相应数据进行分析展现。
5.根据权利要求4所述的电力数据通信网网络流量实时智能分析系统，其特征在于:所述的NetFlow采集器,装载一系列的NetFlow数据采集进程Flow Capture,每个网络设备都需要启动一个单独的Flow Capture进程，以采集此网络设备的流数据。
6.根据权利要求5所述的电力数据通信网网络流量实时智能分析系统，其特征在于:所述的Flow Capture需要完成两个功能，一是异常流量的检测；二是存储流数据，FlowCapture需要在内存中开辟一个大的缓冲区，将采集到的流数据存入缓冲区，每隔一定的时间，将要上报的流数据打包到所述物理数据流文件中，每个网络设备的流数据对应一个物理文件，Flow Capture负责导出数据到所述物理文件中。
【文档编号】H04L12/26GK103957118SQ201410156931
【公开日】2014年7月30日 申请日期:2014年4月18日 优先权日:2014年4月18日
【发明者】林洁, 张明扬, 葛元鹏, 俞敏杰 申请人:国家电网公司, 国网福建省电力有限公司, 国网福建省电力有限公司信息通信分公司