一种跨网络流量分析的系统的制作方法

本发明涉及通信领域，尤其涉及一种跨网络流量分析的系统。

背景技术：

随着科技的进步，网络发展的越发迅猛，人们的生活、现代工业制造以及方方面面都离不开网络环境，目前的网络环境大体分为：互联网网络和专用内网网络。简单来说，专用内网网络一般是不与互联网网络连接或者是只有一小部分与互联网网络连接的网络，例如：视联网网络、军事系统网络等。

目前可以使用多种方法来实现对网络流量的监控、分析、控制，但这些方法均只能实现在同一网络内对网络流量的监控和分析，例如：互联网网络中可以使用流量监控器、流量分析器等各种设备来实现对网络内的流量监控、分析、控制等功能。但是目前随着功能性需求越来越多，上述两者网络之间的联系也越发的紧密。

但目前没有方法可以实现跨网络的流量监控、分析、控制，这是一个亟待解决的问题。

技术实现要素：

本发明提供一种跨网络流量分析的系统，解决了上述的问题。

为了解决上述技术问题，本发明实施例提供了一种跨网络流量分析的系统，所述系统包括：流量探针、网络采集层、流量分析层、集中管控层以及数据展示层；

所述网络采集层用于通过所述流量探针采集终端访问互联网网络和专用内网网络时的流量信息，还用于接收所述终端访问互联网网络和专用内网网络时的虚拟专用网络vpn日志，并将所述流量信息和所述vpn日志发送所述流量分析层，所述流量探针设置于所述vpn前端；

所述流量分析层用于对所述流量信息和所述vpn日志进行统计和分析，并结合所述集中管控层检测异常行为；

所述集中管控层用于对所述终端进行管控；

所述数据展示层用于对所述统计和分析的结果以及所述异常行为进行展示和报警；

其中，所述流量分析层对所述流量信息和所述vpn日志进行统计和分析包括：

所述流量分析层根据所述vpn日志，分析得到所述终端上访问互联网网络和专用内网网络的应用；

所述流量分析层根据所述流量信息，分析得到所述应用访问所述互联网网络和所述专用内网网络的流量数据，所述流量数据包括：访问率、访问时长、响应时长。

可选地，所述网络采集层包括：流量信息模块、vpn日志模块；

所述流量信息模块用于接收通过所述流量探针采集到的流量信息；

所述vpn日志模块用于接收所述终端访问所述互联网网络和所述专用内网网络时的所述vpn日志。

可选地，所述流量分析层包括：流量统计模块、流量分析模块、应用性能模块、异常行为报警模块；

所述流量统计模块用于对所述流量信息从不同维度进行流量统计；

所述流量分析模块用于对所述数据流中的链路层、网络层、传输层和应用层通信协议各个字段内容进行解析；

所述应用性能模块用于基于所述流量分析模块分析的结果，对业务系统的应用层交互内容进行深度分析，生成所述业务系统的应用交互状态、交互质量、所述应用层的交互日志数据，还用于对所述vpn日志进行解析，得到所述终端上访问所述互联网网络和所述专用内网网络的应用和所述流量数据，并结合所述集中管控层检测异常行为；

所述异常行为报警模块用于各个层面的流量异常、性能异常和所述应用访问行为异常行为产生时报警。

可选地，所述集中管控层包括：基础信息模块、系统管理模块；

所述基础信息模块用于管理用户信息、所述终端的信息以及组织结构信息；

所述系统管理模块用于实现所述系统信息的管理、权限管理和授权管理，并通过策略管理、关联分析、所述授权管理、所述权限管理功能对所述用户和所述终端进行管控；

其中，所述系统管理模块基于所述应用性能模块的分析结果，结合所述策略管理，在预设时间段内对所述应用的流量进行监测，若无流量产生或者通过，则确定所述应用故障，并通过所述异常行为报警模块报警。

可选地，所述数据展示层用于展示所述用户、所述终端、所述应用、所述组织机构的运行状态，各个网络的网络结构，所述流量探针的部署位置、所述各个网络中网络设备的状态数据、所述各个网络的流量指标数据以及报警信息；

其中，所述报警信息包括：所述应用的故障信息、所述各个网络中网络设备发生异常的时间和原因、所述各个网络中链路的异常信息。

可选地，所述流量统计模块还用于针对包括但不限于：ip地址、网段、应用、ip会话、tcp会话、udp会话的多维度的流量统计能力；

还用于高精度流量统计数据的生成，各个维度的流量统计精度达到秒级。

可选地，所述流量分析模块用于对tcp/ip协议栈的各类链路层、网络层、传输层通信协议的全字段解码；

还用于对主要应用层协议的重要字段的解码；

还用于对自定义应用层协议的解码，根据业务系统的报文编码规范自定义解码规则，对所述业务系统的报文进行解析；

还用于对所述tcp/ip协议栈各协议的报文进行深度分析，进而深度分析所述应用所产生的各类数据。

可选地，所述应用性能模块用于根据所述业务系统的协议特征自定义各交互字段，对所述应用层交互进行识别和分析；

还用于按照所述应用层的交互类型进行分析，统计所述应用的不同类型数据交互的流量参数、访问质量参数、应用层交互成功率；

还用于详细记录每一笔应用层交互的详细日志信息，将所述交互过程中所有自定义解析出的字段记录在详细日志中；

还用于对所述终端的网络层、传输层访问行为进行分析；

还用于以客户端ip地址、服务器ip地址、服务器端口为要素统计网络中的所有终端访问关系；

还用于对常见应用通信的访问行为分析，记录应用层交互的关键字段信息，支持的应用包括：http、https、数据库、dns、邮件。

可选地，所述异常行为报警模块用于流量统计指标异常的实时报警的能力；

还用于自定义各维度流量统计指标的报警阈值，并支持多指标阈值通过与或关系组合的复合报警；

还用于网络性能指标异常的实时报警；

还用于自定义所述应用、主机、网段的网络性能指标报警阈值，并支持多指标阈值通过与或关系组合的复合报警；

还用于网络行为异常的实时报警。

可选地，所述系统管理基于所述应用性能模块的分析结果，结合所述策略管理，通过自定义报警规则，确定所述应用故障，并通过所述异常行为报警模块报警；

或者，所述系统管理基于所述应用性能模块的分析结果，结合所述策略管理，在预设时间段内对访问量异常的应用，计算环比和同比减少或者增加的所述用户或所述终端的比例，判断所述应用是否故障并计算故障率，并通过所述异常行为报警模块报警。

本发明提供的跨网络流量分析的系统，网络采集层用于通过流量探针采集终端访问互联网网络和专用内网网络时的流量信息，还接收终端访问互联网网络和专用内网网络时的vpn日志，并将流量信息和vpn日志发送流量分析层，流量分析层流量分析层根据vpn日志，分析得到终端上访问互联网网络和专用内网网络的应用，再根据流量信息，分析得到应用访问互联网网络和专用内网网络的访问率、访问时长、响应时长等数据，集中管控层用于对终端进行管控；数据展示层用于对统计和分析的结果以及异常行为进行展示和报警。本发明的系统，通过流量探针得到全部网络的全流量信息和vpn日志，通过流量分析层分析得到终端上访问网络的应用，进而得到应用的访问率、访问时长、响应时长等数据，并且在有异常行为存在的时候，可以发出报警信息，实现了跨网络的流量监控、分析、控制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种跨网络流量分析的系统的结构示意图；

图2是本发明实施例一种跨网络流量分析的系统的另一结构示意图；

图3是本发明实施例一种跨网络流量分析系统的部署情况示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人发现目前的网络环境大体分为：互联网网络和专用内网网络。所谓互联网网络一般指因特网，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一且巨大的全球化网络，在这个网络中有交换机、路由器等网络设备、各种不同的连接链路、种类繁多的服务器和数不尽的计算机、终端等设备；由于专用内网网络一般是不与互联网网络网络连接或者是只有一小部分与其连接，例如：视联网网络、军事系统网络、公安网络等，因此上述两个网络之间就需要使用vpn，这些专用内网网络有些是使用目前通用的通信协议进行数据传输，有些是使用自行开发的通信协议进行数据传输。

但是随着功能性需求越来越多，上述两者网络之间的联系也越发的紧密，越来越多的用户使用终端和终端上的应用时，都可能会用到两个网络，这就导致跨网络的网络流量越来越多。

但目前没有方法可以实现跨网络的流量监控、分析、控制，就造成需要对网络流量进行监控、分析、控制的部门，例如：公安部、国土安全部等，无法实现对跨网络的网络流量的监控、分析、控制。

基于上述问题，发明人经过潜心研究，经过大量的实地测试和仿真测试，创造性的提出了本发明的跨网络流量分析的系统，以下对本发明的方案进行详细解释和说明。

图1示出了本发明实施例一种跨网络流量分析的系统的结构示意图。系统包括：流量探针、网络采集层、流量分析层、集中管控层以及数据展示层；

其中，网络采集层用于通过流量探针采集终端访问互联网网络和专用内网网络时的流量信息，同时网络采集层接收终端访问互联网网络和专用内网网络时的vpn日志，该vpn日志主动发送给网络采集层，之后网络采集层将流量信息和vpn日志发送流量分析层，流量探针设置于vpn前端。流量分析层用于对流量信息和vpn日志进行统计和分析，并结合集中管控层检测异常行为。集中管控层用于对终端进行管控。数据展示层用于对统计和分析的结果以及异常行为进行展示和报警。

流量分析层根据vpn日志，分析得到终端上访问大互联网网络和专用内网网络的应用；流量分析层根据流量信息，分析得到应用访问大互联网网络和专用内网网络的流量数据，流量数据包括：访问率、访问时长、响应时长以及源ip、源端口、目的ip目的端口等数据。

可选的，参照图2，示出了本发明实施例一种跨网络流量分析的系统的另一结构示意图，其中，网络采集层包括：流量信息模块、vpn日志模块；流量分析层包括：流量统计模块、流量分析模块、应用性能模块、异常行为报警模块；集中管控层包括：基础信息模块、系统管理模块。

具体的，流量信息模块用于接收通过流量探针采集到的流量信息，vpn日志模块用于接收接收终端访问互联网网络和专用内网网络时的vpn日志。

流量统计模块用于对流量信息从不同维度进行流量统计，并生成的多维度流量统计数据。还用于针对包括但不限于：ip地址(一般指用户的ip地址)、网段、应用、ip会话、tcp会话、udp会话的多维度的流量统计；还用于高精度流量统计数据的生成，各个维度的流量统计精度达到秒级，一般可以达到1秒。

流量分析模块用于对数据流中的链路层、网络层、传输层和应用层通信协议各个字段内容进行解析；具体的，流量分析模块用于对tcp/ip协议栈的各类链路层、网络层、传输层通信协议的全字段解码；还用于对主要应用层协议的重要字段的解码，例如：http、dns、smtp、rtp等；还用于对自定义应用层协议的解码，根据业务系统的报文编码规范自定义解码规则，对业务系统的报文进行解析；还用于对tcp/ip协议栈各协议的报文进行深度分析，进而深度分析应用所产生的各类数据，同时基于报文深度分析产生流量统计数据、网络性能数据、应用交互数据、网络行为数据和实时报警数据。

应用性能模块用于基于流量分析模块分析的结果，对业务系统的应用层交互内容进行深度分析，生成业务系统的应用交互状态、交互质量、应用层的交互日志数据，还用于对vpn日志进行解析，得到终端上访问大互联网网络和专用内网网络的应用和流量数据，并结合集中管控层检测异常行为。具体的，应用性能模块用于根据业务系统的协议特征自定义各交互字段，对应用层交互进行识别和分析；还用于按照应用层的交互类型进行分析，统计应用的不同类型数据交互的流量参数、访问质量参数、应用层交互成功率；还用于详细记录每一笔应用层交互的详细日志信息，将交互过程中所有自定义解析出的字段记录在详细日志中；还用于对终端的网络层、传输层访问行为进行分析；还用于以客户端ip地址、服务器ip地址、服务器端口为要素统计网络中的所有终端访问关系；还用于对常见应用通信的访问行为分析，记录应用层交互的关键字段信息，支持的应用包括：http、https、数据库、dns、邮件。

根据应用性能模块的解析之后，就可以得到用户使用终端上的应用，并且得到该应用访问的大互联网网络和专用内网网络的访问率、访问时长、响应时长以及源ip、源端口、目的ip目的端口等数据等，并且可以结合集中管控层检测出异常行为。

异常行为报警模块用于各个层面的流量异常、性能异常和应用访问行为异常行为产生时报警。具体的，异常行为报警模块用于流量统计指标异常的实时报警的能力；还用于自定义各维度流量统计指标的报警阈值，并支持多指标阈值通过与或关系组合的复合报警；还用于网络性能指标异常的实时报警；还用于自定义应用、主机、网段的网络性能指标报警阈值，并支持多指标阈值通过与或关系组合的复合报警；还用于网络行为异常的实时报警。

基础信息模块用于管理用户信息、终端的信息以及组织结构信息；系统管理模块用于实现系统信息的管理、权限管理和授权管理，并通过策略管理、关联分析、授权管理、权限管理功能对用户和终端进行管控。

由于用户使用终端上的应用访问网络时，一般都需要使用到用户信息、终端的信息，访问的网络也有自身的组织结构信息，所以通过基础信息模块和系统管理模块，就可以通过关联分析将上述信息以及网络路径信息进行关联映射，例如：用户张三使用ipad平板电脑上的某app，访问了大互联网网络和专用内网网络，那么就可以将用户信息：张三、终端信息：ipad的mac地址、应用：某app，源ip、源端口、目的ip、目的端口，这些信息进行关联映射。

其中，系统管理模块基于应用性能模块的分析结果，结合策略管理，在预设时间段内对应用的流量进行监测，若无流量产生或者通过，则确定应用故障，即可确定此为异常行为，并通过异常行为报警模块报警。或者，系统管理基于应用性能模块的分析结果，结合策略管理，通过自定义报警规则，确定应用故障，即可确定此为异常行为，并通过异常行为报警模块报警；或者，系统管理基于应用性能模块的分析结果，结合策略管理，在预设时间段内对访问量异常的应用，计算环比和同比减少或者增加的用户或终端的比例，判断应用是否故障并计算故障率，即可确定此为异常行为，并通过异常行为报警模块报警。

同样的，系统管理模块基于应用性能模块的分析结果，通过权限管理和授权管理方式，可以对用户、终端、应用进行权限管理和授权管理，这样就可以控制用户、终端、应用。

数据展示层用于展示用户、终端、应用、组织机构的运行状态，各个网络的网络结构，流量探针的部署位置、各个网络中网络设备的状态数据、各个网络的流量指标数据以及报警信息；

其中，报警信息包括：应用的故障信息、各个网络中网络设备发生异常的时间和原因、各个网络中链路的异常信息等。

本发明实施例的跨网络流量分析系统发出的报警可以满足以下要求：

1、能够以1秒精度实时输出报警。

2、能够设置报警抑制，对频发的低级别报警信息推送进行抑制。

3、能够向多个目标输出报警信息，以及根据报警分析类选择性的向不同目标输出报警信息。

报警输出采用通用的报警输出方式，例如：syslog或snmptrap等。

由于网络流量的原始数据包是最基础的网络数据，是网络流量统计指标、网络性能指标、网络行为数据的最重要来源，同时也是对网络故障定位、事件回溯取证的重要数据依据，所以跨网络流量分析系统需要具备原始数据包的存储和快速检索提取能力，原始流量数据存储、检索提取能力应满足以下基本要求：

1、具备7*24小时不间断全量保存网络原始数据包的能力。

2、具备为保存的原始流量数据建立多维度的索引，能够以ip地址、应用、会话等多维度快速检索并提取原始数据包。

3、具备数据包过滤存储能力，可以自定义过滤条件，选择性保存特定流量的原始数据包，过滤存储不应影响深度分析数据的生成。

4、具备数据包裁剪存储能力，可以自定义设置保存的数据包的最大长度，仅保留数据包最重要部分以节省存储空间，数据包裁剪存储不应影响深度分析数据的生成。

跨网络流量分析系统也需要具备开放的数据访问接口，能够向数据展示层提供各种类型的深度分析后的数据的功能。满足该功能应以下基本要求：

1、提供开放的数据访问接口，接口类型应满足秒级精度的各类数据的输出，可以基于灵活的数据过滤条件对输出数据进行筛选。

2、接口需支持主动推送和被动提取两种方式。

需要说明的是，本发明实施例的跨网络流量分析系统，可以针对包括但不限于：mplsvpn、ipsecvpn、sslvpn、gre等这些vpn进行监测与分析。

参照图3，示出了本发明实施例一种跨网络流量分析系统的部署情况示意图，流量探针一个部署在互联网网络与专用内网网络之间的vpn前端，这样跨网络流量分析系统通过流量探针得到全部网络的全流量信息，同时跨网络流量分析系统还接收到vpn日志，通过流量分析层分析得到终端上访问网络的应用，进而得到应用的访问率、访问时长、响应时长等数据，并且在有异常行为存在的时候，可以发出报警信息，实现了跨网络的流量监控、分析、控制。

通过上述实施例，本发明提供的跨网络流量分析的系统，网络采集层用于通过流量探针采集终端访问大互联网网络和专用内网网络时的流量信息，同时接收终端访问互联网网络和专用内网网络时的vpn日志，并将流量信息和vpn日志发送流量分析层，流量分析层流量分析层根据vpn日志，分析得到终端上访问大互联网网络和专用内网网络的应用，再根据流量信息，分析得到应用访问大互联网网络和专用内网网络的访问率、访问时长、响应时长等数据，集中管控层用于对终端进行管控；数据展示层用于对统计和分析的结果以及异常行为进行展示和报警。本发明的系统，通过流量探针得到全部网络的全流量信息和vpn日志，通过流量分析层分析得到终端上访问网络的应用，进而得到应用的访问率、访问时长、响应时长等数据，并且在有异常行为存在的时候，可以发出报警信息，实现了跨网络的流量监控、分析、控制。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。