一种网络流量智能分析系统的制作方法

本发明涉及网络信息监测技术领域，尤其涉及一种网络流量智能分析系统。

背景技术：

随着网络在规模、速度和容量方面的发展，网络管理人员对大数据网流的监视和管理要求也越来越高，现有的分析器大多只能解析特定格式的数据包，而实际网络使用中可能会存在有多种格式的数据包存在，部署多套监控设备不仅实施维护成本高，后期监控数据分析呈现也面临着各种各样的问题；现市场上的网络流量分析系统大多数是针对特定类型的网流数据包进行解析，例如单独针对netflow进行解析或者单独针对sflow进行解析，对于仅支持一种类型的解析器来说，如果部署的网络环境中存在其不支持的网络数据包，则此部分网流数据很容易脱离监控范围，导致最终数据的缺失，而想要获得完整的数据监控结果，现有的方案可能需要再另外部署一套专门的分析系统。

技术实现要素：

本发明的目的是为了解决现有技术中存在网流数量据很容易脱离监控范围的缺点，而提出的一种网络流量智能分析系统。

为了实现上述目的，本发明采用了如下技术方案：

设计一种网络流量智能分析系统，包括主控单元、与主控单元电性连接的流量采集单元、储存单元、用户管理单元和流量监控单元，所述流量采集单元包括netflow采集器和sflow采集器，所述netflow采集器和sflow采集器均电性连接有数据整理模块，所述数据整理模块的输出端电性连接有数据打包模块，所述数据打包模块的输出端电性连接有数据发送模块，所述netflow采集器主要通过交换模式处理数据流量的第一个ip包数据，生成netflow缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输；所述sflow采集器主要对数据流量进行随机采样，并提供完整整个网络范围内的流量信息；所述数据整理模块用于对采集的流量数据进行出的整理，所述数据打包模块对流量数据进行压缩，并生成不同的压缩文件；所述数据发送模块用于将数据压缩文件发送到主控单元；

所述储存单元包括数据扫描器，所述数据扫描器的输出端电性连接有数据解析模块，所述数据解析模块的输出端电性连接有数据聚合模块，所述数据聚合模块通过数据连接有数据库，所述数据扫描器用于识别流量数据压缩文件，并接收这些数据压缩文件；所述数据解析模块用于对数据压缩文件进行解码，然后将压缩文件恢复成原物理文件；所述数据聚合模块用于将流量数据进行聚合处理，然后形成多种适合统计分析需要的数据，再分门别类地存入一流数据库。

优选的，所述主控单元包括中央处理器、与中央处理器电性连接的流量包接收模块、数据解压模块、端口流量分类模块和分类打包发送模块，所述流量包接收模块用于接收压缩打包的流量数据，所述数据解压模块用于将接收的流量数据包进行解压，恢复原始数据；所述端口流量分类模块主要对流量数据进行分类，包括接口流量、应用流量、主机流量和vpn流量；所述分类打包发送模块用于将不同类型的流量数据进行压缩打包，并发送到服务器。

优选的，所述用户管理单元包括用户登录模块，所述用户登录模块电性连接有服务器访问模块，所述服务器访问模块的输出端电性连接有历史查询模块，所述历史查询模块的输出端电性连接有流量配置模块，所述流量配置模块的输出端电性连接有数据报表模块。

优选的，所述用户登录模块用于用户登录个人的账号密码，所述服务器访问模块用于用户向系统申请授权访问服务器，所述历史查询模块用于查询在过去一定时间内的网络流量状况，包括多个维度的流量分布的排名，并根据告警信息，追溯到发生告警的时刻了解当时的网络流量状况；所述流量配置模块用于根据采集器收入的流量包进行拆包解析，预配置了多种版本的netflow和sflow数据包格式进行判断，匹配成功后将包数据统一改装成呈现模块所需要的数据结构进行转存，分析计算网络指标，指标包含物理设备、物理端口索引号、流量、包数量、源ip、目的ip、源端口、目的端口；所述数据报表模块用于对处理过的数据进行归档分析后，以特定的报表形式呈现出来以供展示或者统计使用。

优选的，所述流量监控单元包括流量包收集模块，所述流量包收集模块的输出端电性连接有数据包解析器，所述数据包解析器的输出端电性连接有分析监控模块，所述分析监控模块的输出端电性连接有网络状态监控模块，所述网络状态监控模块电性连接有动态数据显示模块。

优选的，所述流量包收集模块用于接收压缩的流量数据包，所述数据包解析器用于对压缩数据流量进行解码，并恢复原始文件；所述分析监控模块用于监控外部的探针设备等的运行状态，监控发送采集设备是否正常运作，所述网络状态监控模块用于实时监控网络连接状态，所述动态数据显示模块通过全局汇总查看分析处理过的数据，实时展示出网络流量数据的变化情况。

优选的，所述netflow采集器和sflow采集器对流量数据采集过程中，需要装载一系列的netflow数据采集进程flowcapture，每个网络设备都需要启动一个单独的flowcapture进程，以采集此网络设备的流量数据。

本发明提出的一种网络流量智能分析系统，有益效果在于：

1、可以实时将网络流量数据进行逐步缓存，保证每次缓冲以数据包的形式保存，从而避免流量数据丢失，同时可迅速找到异常的流量数据；

2、流量配置模块可以统一化解析不同类型的网络数据进行分析，支持复杂网络下的一站式解决方案，应对多种不同的网络流量数据时不需要部署多套不同的采集器。

3、动态数据显示模块可以多维度的网络状况监控，可以从不同层面获取到网络流量状况，帮助网络管理人员迅速对异常数据定位。

附图说明

图1为本发明提出的一种网络流量智能分析系统的系统框图；

图2为本发明提出的一种网络流量智能分析系统的主控单元的系统框图；

图3为本发明提出的一种网络流量智能分析系统的用户管理单元的系统框图；

图4为本发明提出的一种网络流量智能分析系统的流量监控单元的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-4，一种网络流量智能分析系统，包括主控单元、与主控单元电性连接的流量采集单元、储存单元、用户管理单元和流量监控单元，流量采集单元包括netflow采集器和sflow采集器，netflow采集器和sflow采集器均电性连接有数据整理模块，数据整理模块的输出端电性连接有数据打包模块，数据打包模块的输出端电性连接有数据发送模块，netflow采集器主要通过交换模式处理数据流量的第一个ip包数据，生成netflow缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输；sflow采集器主要对数据流量进行随机采样，并提供完整整个网络范围内的流量信息；netflow采集器和sflow采集器对流量数据采集过程中，需要装载一系列的netflow数据采集进程flowcapture，每个网络设备都需要启动一个单独的flowcapture进程，以采集此网络设备的流量数据。

flowcapture进程需要完成两个功能，一是异常流量的检测；二是存储流数据，flowcapture需要在内存中开辟一个大的缓冲区，将采集到的流数据存入缓冲区，每隔一定的时间，将要上报的流数据打包到物理数据流文件中，每个网络设备的流数据对应一个物理文件，flowcapture负责导出数据到物理文件中，这样可以实时将网络流量数据进行逐步缓存，保证每次缓冲以数据包的形式保存，从而避免流量数据丢失，同时可迅速找到异常的流量数据。

数据整理模块用于对采集的流量数据进行出的整理，数据打包模块对流量数据进行压缩，并生成不同的压缩文件；数据发送模块用于将数据压缩文件发送到主控单元；

储存单元包括数据扫描器，数据扫描器的输出端电性连接有数据解析模块，数据解析模块的输出端电性连接有数据聚合模块，数据聚合模块通过数据连接有数据库，数据扫描器用于识别流量数据压缩文件，并接收这些数据压缩文件；数据解析模块用于对数据压缩文件进行解码，然后将压缩文件恢复成原物理文件；数据聚合模块用于将流量数据进行聚合处理，然后形成多种适合统计分析需要的数据，再分门别类地存入一流数据库；主控单元包括中央处理器、与中央处理器电性连接的流量包接收模块、数据解压模块、端口流量分类模块和分类打包发送模块，流量包接收模块用于接收压缩打包的流量数据，数据解压模块用于将接收的流量数据包进行解压，恢复原始数据；端口流量分类模块主要对流量数据进行分类，包括接口流量、应用流量、主机流量和vpn流量；分类打包发送模块用于将不同类型的流量数据进行压缩打包，并发送到服务器。

用户管理单元包括用户登录模块，用户登录模块电性连接有服务器访问模块，服务器访问模块的输出端电性连接有历史查询模块，历史查询模块的输出端电性连接有流量配置模块，流量配置模块的输出端电性连接有数据报表模块，用户登录模块用于用户登录个人的账号密码，服务器访问模块用于用户向系统申请授权访问服务器，历史查询模块用于查询在过去一定时间内的网络流量状况，包括多个维度的流量分布的排名，并根据告警信息，追溯到发生告警的时刻了解当时的网络流量状况；流量配置模块用于根据采集器收入的流量包进行拆包解析，预配置了多种版本的netflow和sflow数据包格式进行判断，匹配成功后将包数据统一改装成呈现模块所需要的数据结构进行转存，分析计算网络指标，指标包含物理设备、物理端口索引号、流量、包数量、源ip、目的ip、源端口、目的端口；数据报表模块用于对处理过的数据进行归档分析后，以特定的报表形式呈现出来以供展示或者统计使用，这样可以统一化解析不同类型的网络数据进行分析，支持复杂网络下的一站式解决方案，应对多种不同的网络流量数据时不需要部署多套不同的采集器。

流量监控单元包括流量包收集模块，流量包收集模块的输出端电性连接有数据包解析器，数据包解析器的输出端电性连接有分析监控模块，分析监控模块的输出端电性连接有网络状态监控模块，网络状态监控模块电性连接有动态数据显示模块；流量包收集模块用于接收压缩的流量数据包，数据包解析器用于对压缩数据流量进行解码，并恢复原始文件；分析监控模块用于监控外部的探针设备等的运行状态，监控发送采集设备是否正常运作，网络状态监控模块用于实时监控网络连接状态，动态数据显示模块通过全局汇总查看分析处理过的数据，实时展示出网络流量数据的变化情况，这样可以多维度的网络状况监控，可以从不同层面获取到网络流量状况，帮助网络管理人员迅速定位问题所在。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。