网络体系结构和网络通信模式的可视分析方法及系统与流程

本发明涉及一种网络体系结构和网络通信模式的可视分析方法及系统。

背景技术：

现有的网络流量日志数据一般是纯文本的形式，若要对其进行分析一般是由专人进行查询并只进行一些简单的统计操作，无法做更多更深层次的分析。而且，随着网络流量日志的不断积累，对流量日志数据的查询变得困难，对其进行整理和分析有成本高、耗时长等不可避免的缺点，不符合当下“大数据时代”的理念与发展趋势。

网络流量日志是一类典型的网络数据，具有典型的网络、多维、时序的特点。基于这样的观察，如何高效地对网络流量日志进行表达是解决分析网络通讯模式的关键。

随着计算资源不断增强和数据资源的爆发，可视化技术得到了迅速的发展和普及，数据可视化在大数据时代也扮演着越来越重要的角色。若将纯文本形式的网络流量日志进行可视化处理，能克服上述数据表达不直观、操作繁琐、无法进行深层次分析的缺点。

但是，并没有出现一种利用网络流量日志对网络体系结构和网络通信模式进行可视分析的方法或系统。

技术实现要素：

有鉴于此，有必要提供一种网络体系结构和网络通信模式的可视分析方法及系统，其能够利用网络流量日志对网络体系结构和网络通信模式进行可视分析。

本发明提供一种网络体系结构和网络通信模式的可视分析方法，该方法包括如下步骤：a.对网络流量日志数据进行预处理；b.根据上述预处理后的数据，利用可视化技术对网络节点进行划分分析，结合用户交互以确定所述网络节点中的服务器节点、客户端节点；c.根据上述确定的服务器节点，对服务器节点的流量和访问情况进行可视分析，以确定服务器的功能类别；d.根据上述确定的服务器节点、客户端节点以及服务器功能类别，通过可视化技术进一步呈现和分析网络通信模式。

具体地，所述步骤a具体包括：从网络流量日志中整理出内部网络各节点被访问的次数、内部网络节点被访问时该节点上传的总流量；各选取被访问次数与被访问时的上传总流量排名靠前的节点作为服务器候选节点；对内网中访问服务器候选节点的所有其它节点进行ip段的整合分组。

具体地，在所述步骤b中使用和弦图与气泡图结合的可视化方法，呈现与分析内部网络节点之间的拓扑结构。

具体地，所述步骤c具体包括：从时间、功能以及流量特点上可视化分析不同服务器的特点；根据用户挑选出来的服务器节点，统计并可视化其分别在不同时间段内、不同的协议上被访问的次数与上传流量。

具体地，所述步骤d具体包括：使用饼状图矩阵的可视化方式对比客户端与服务器的通信模式；通过上述饼状图矩阵，得到客户端对客户端、客户端对服务器，服务器对服务器之间通信流量使用到的协议比重，从而得到内部网络的常规通信模式。

本发明还提供一种网络体系结构和网络通信模式的可视分析系统，包括预处理模块、网络节点划分分析模块、服务器功能类别分析模块以及网络通信模式分析模块，其中：所述预处理模块用于对网络流量日志数据进行预处理；所述网络节点划分分析模块用于根据上述预处理后的数据，利用可视化技术对网络节点进行划分分析，结合用户交互以确定所述网络节点中的服务器节点、客户端节点；所述服务器功能类别分析模块用于根据上述确定的服务器节点，对服务器节点的流量和访问情况进行可视分析，以确定服务器的功能类别；所述网络通信模式分析模块用于根据上述确定的服务器节点、客户端节点以及服务器功能类别，通过可视化技术进一步呈现和分析网络通信模式。

具体地，所述的预处理模块具体用于：从网络流量日志中整理出内部网络各节点被访问的次数、内部网络节点被访问时该节点上传的总流量；各选取被访问次数与被访问时的上传总流量排名靠前的节点作为服务器候选节点；对内网中访问服务器候选节点的所有其它节点进行ip段的整合分组。

具体地，所述网络节点划分分析模块使用和弦图与气泡图结合的可视化方法，呈现与分析内部网络节点之间的拓扑结构。

具体地，所述的服务器功能类别分析模块具体用于：从时间、功能以及流量特点上可视化分析不同服务器的特点；根据用户挑选出来的服务器节点，统计并可视化其分别在不同时间段内、不同的协议上被访问的次数与上传流量。

具体地，所述的网络通信模式分析模块具体用于：使用饼状图矩阵的可视化方式对比客户端与服务器的通信模式；通过上述饼状图矩阵，得到客户端对客户端、客户端对服务器，服务器对服务器之间通信流量使用到的协议比重，从而得到内部网络的常规通信模式。

本发明能够利用网络流量日志对网络体系结构和网络通信模式进行可视分析。利用“概览+细节(overview+detail)”的分析方法，结合弦图、气泡图等多种可视化方法及交互技术，从网络节点的被访问次数、被访问时流量统计进行可视分析，得出客户端与服务器的划分；然后针对划分结果及不同的可视化方法，得到不同时段、不同通信协议模式上的被访问次数以及流量特点，对服务器进行分类；并总结出数据所体现的网络正常通信模式。

附图说明

图1为本发明网络体系结构和网络通信模式的可视分析方法的流程图；

图2为本发明网络体系结构和网络通信模式的可视分析系统的系统架构图；

图3为本发明一实施例内部网络主要节点被访问时的总上传流量示意图；

图4为本发明一实施例多尺度提示信息示意图；

图5为本发明一实施例交互式过滤效果的示意图；

图6为本发明一实施例不同协议上服务器节点被访问的次数与被访问时的上传流量的示意图；

图7为本发明一实施例不同时间段内服务器节点被访问时的上传流量的示意图；

图8为本发明一实施例展示客户端-客户端、客户端-服务器、服务器-服务器上传/下载时流量在不同协议上的比例的示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明网络体系结构和网络通信模式的可视分析方法较佳实施例的作业流程图。

步骤s1，对网络流量日志数据进行预处理。具体而言：

首先从网络流量日志中整理出内部网络各节点被访问的次数、内部网络节点被访问时该节点上传的总流量；然后各选取被访问次数与被访问时的上传总流量排名靠前的节点作为服务器候选节点：在本实施例中，各选取被访问次数与被访问时的上传总流量排名前100的节点，并将所述节点进行合并，得到并集之后的节点作为服务器候选节点；由于内网节点数据较大，本实施例对内网中访问服务器候选节点的所有其它节点进行ip段的整合分组。

步骤s2，根据上述预处理后的数据，利用可视化技术对网络节点进行划分分析，结合用户交互以确定所述网络节点中的服务器节点、客户端节点。具体而言：

本实施例中使用和弦图与气泡图结合的可视化方法，呈现与分析内部网络节点之间的拓扑结构，用来分析客户端节点与潜在服务器节点之间的流量关系，以及与潜在服务器节点的访问情况。本实施例将网络节点划分分析设计成如图3所示。图3显示了内部网络主要节点被访问时的总上传流量图，其中图的外面一圈由不同ip段的内网节点组成，图中央代表的是内部网络主要的节点(显示总流量排序靠前的节点)，每一条边的连接关系代表不同ip段的内部节点对内网主要节点的访问情况，边的粗细代表流量大小。

使用“概览+细节”的分析方法，为实现该分析方法，本发明使用包括多尺度提示信息及交互式过滤在内的多种交互技术(如图4所示)。使用和弦图与气泡图结合，对客户端与潜在服务器之间的关系进行可视分析。在分析过程中，为了解不同层次的ip与服务器之间的流量情况，本发明设计了多尺度的信息提示，当鼠标移入和弦图的弧上时，显示该弧对应的ip段与鼠标位置对应的服务器之间的流量情况；当鼠标移入ip段名称时，显示该ip段与所有服务器之间的流量情况。

为从弦图与气泡图组成的可视化图形中发现服务器节点，需要将图中较大的节点进行选中，并继续进行后续的分析。为支持此分析，用户可以通过鼠标点击选中感兴趣的服务器节点，在节点对应的圆被选中后，该圆的颜色发生变化，并显示该圆对应节点的ip地址(如图5所示)。在所有感兴趣的服务器节点选中后，对选中的节点集合进行后续的分析。

步骤s3，根据上述确定的服务器节点，对服务器节点的流量和访问情况进行可视分析，以确定服务器的功能类别。具体而言：

本发明主要从时间、功能以及流量特点上可视化分析不同服务器的特点。根据用户挑选出来的服务器节点，统计并可视化其分别在不同时间段内、不同的协议上被访问的次数与上传流量。本实施例使用树图的方式，如图6所示，呈现不同的服务器节点被访问时上传流量(或被访问次数)在不同的通信协议上的分布情况，其中矩形面块的大小反映了上传流量(或被访问的次数)的大小，用户可根据此图按照服务器的功能对其进行分类。

同时，使用趋势图、堆叠图等图形展示不同的服务器节点在一天内不同时间段被访问时的上传流量。在图7中，反映的是不同的服务器节点在一天内不同时间段被访问时上传流量的堆叠图，据此用户可以按照服务器上传流量的时间特点对服务器的性质进行进一步的说明并分类。在本实施例中，如果服务器全天候都有流量均匀分布，则分类为全天候工作型服务器，如果服务器只在上班和下班时段才有流量分布，则分类为服务于高峰期的服务器。

通过上述将与服务器有关的数据信息可视化后，以便用户根据服务器流量使用情况特点进行可视分析，实现对服务器功能类别的划分。

步骤s4，根据上述确定的服务器节点、客户端节点以及服务器功能类别，通过可视化技术进一步呈现和分析网络通信模式。

本实施例使用了饼状图矩阵的可视化方式来对比客户端与服务器的通信模式，如图8所示，六个饼状图分为三列，分别是客户端对客户端、客户端对服务器，服务器对服务器之间通信所使用到的超文本传输协议(http)、安全套接层协议(ssl)、比特流协议(bittorrent)、mysql协议等协议流量分布情况。其中上下两行，代表着上行流量与下行流量。

通过上述饼状图矩阵，大致得到客户端对客户端、客户端对服务器、服务器对服务器之间，通信流量使用到的协议比重，从而得到内部网络的常规通信模式。比如：大量的比特流协议流量代表着以比特流客户端传输数据的通信模式，mysql协议流量的出现则代表着向服务器查询的通信过程。

参阅图2所示，是本发明网络体系结构和网络通信模式的可视分析系统10的系统架构图。该系统包括预处理模块101、网络节点划分分析模块102、服务器功能类别分析模块103以及网络通信模式分析模块104。

所述预处理模块101用于对网络流量日志数据进行预处理。具体而言：

首先从网络流量日志中整理出内部网络各节点被访问的次数、内部网络节点被访问时该节点上传的总流量；然后各选取被访问次数与被访问时的上传总流量排名靠前的节点作为服务器候选节点：在本实施例中，各选取被访问次数与被访问时的上传总流量排名前100的节点，并将所述节点进行合并，得到并集之后的节点作为服务器候选节点；由于内网节点数据较大，本实施例对内网中访问候选服务器的所有其它节点进行ip段的整合分组。

网络节点划分分析模块102用于根据上述预处理后的数据，利用可视化技术对网络节点进行划分分析，结合用户交互以确定所述网络节点中的服务器节点、客户端节点。具体如下：

本实施例中使用和弦图与气泡图结合的可视化方法，呈现与分析内部网络节点之间的拓扑结构，用来分析客户端节点与潜在服务器节点之间的流量关系，以及与潜在服务器节点的访问情况。本实施例将网络节点划分分析设计成如图3所示。图3显示了内部网络主要节点被访问时的总上传流量图，其中图的外面一圈由不同ip段的内网节点组成，图中央代表的是内部网络主要的节点(显示总流量排序靠前的节点)，每一条边的连接关系代表不同ip段的内部节点对内网主要节点的访问情况，边的粗细代表流量大小。

使用“概览+细节”的分析方法，为实现该分析方法，本发明使用包括多尺度提示信息及交互式过滤在内的多种交互技术(如图4所示)。使用和弦图与气泡图结合，对客户端与潜在服务器之间的关系进行可视分析。在分析过程中，为了解不同层次的ip与服务器之间的流量情况，本发明设计了多尺度的信息提示，当鼠标移入和弦图的弧上时，显示该弧对应的ip段与鼠标位置对应的服务器之间的流量情况；当鼠标移入ip段名称时，显示该ip段与所有服务器之间的流量情况。

为从弦图与气泡图组成的可视化图形中发现服务器节点，需要将图中较大的节点进行选中，并继续进行后续的分析。为支持此分析，用户可以通过鼠标点击选中感兴趣的服务器节点，在节点对应的圆被选中后，该圆的颜色发生变化，并显示该圆对应节点的ip地址(如图5所示)。在所有感兴趣的服务器节点选中后，对选中的节点集合进行后续的分析。

所述服务器功能类别分析模块103用于根据上述确定的服务器节点，对服务器节点的流量和访问情况进行可视分析，以确定服务器的功能类别。具体而言：

本发明主要从时间、功能以及流量特点上可视化分析不同服务器的特点。根据用户挑选出来的服务器节点，统计并可视化其分别在不同时间段内、不同的协议上被访问的次数与上传流量。本实施例使用树图的方式，如图6所示，呈现不同的服务器节点被访问时上传流量(或被访问次数)在不同的通信协议上的分布情况，其中矩形面块的大小反映了上传流量(或被访问的次数)的大小，用户可根据此图按照服务器的功能对其进行分类。

同时，使用趋势图、堆叠图等图形展示不同的服务器节点在一天内不同时间段被访问时的上传流量。在图7中，反映的是不同的服务器节点在一天内不同时间段被访问时上传流量的堆叠图，据此用户可以按照服务器上传流量的时间特点对服务器的性质进行进一步的说明并分类。在本实施例中，如果服务器全天候都有流量均匀分布，则分类为全天候工作型服务器，如果服务器只在上班和下班时段才有流量分布，则分类为服务于高峰期的服务器。

通过上述将与服务器有关的数据信息可视化后，以便用户根据服务器流量使用情况特点进行可视分析，实现对服务器功能类别的划分。

所述网络通信模式分析模块104用于根据上述确定的服务器节点、客户端节点以及服务器功能类别，通过可视化技术进一步呈现和分析网络通信模式。

本实施例使用了饼状图矩阵的可视化方式来对比客户端与服务器的通信模式，如图8所示，六个饼状图分为三列，分别是客户端对客户端、客户端对服务器，服务器对服务器之间通信所使用到的超文本传输协议(http)、安全套接层协议(ssl)、比特流协议(bittorrent)、mysql协议等协议流量分布情况。其中上下两行，代表着上行流量与下行流量。

通过上述饼状图矩阵，大致得到客户端对客户端、客户端对服务器、服务器对服务器之间，通信流量使用到的协议比重，从而得到内部网络的常规通信模式。比如：大量的比特流协议流量代表着以比特流客户端传输数据的通信模式，mysql协议流量的出现则代表着向服务器查询的通信过程。

本发明在网络流量日志数据的基础上，提出一种网络体系结构和网络通信模式的可视分析方法及系统，与以往传统的纯文本查询分析方法相比，具有以下优点：

(1)数据表达直观。对大量数据进行可视化处理的过程中，让更小的空间承载更多的数据内容，使得对数据的观察更加方便、快捷、精准。

(2)数据分析高效。通过可视化和交互技术将数据与多种视觉信息整合，从多个方面分析数据潜在所表达的信息，从而能在庞大的数据中挖掘到有效的数据目标。

(3)交互简单方便。本发明具有很好的交互性，可根据用户自身的需求进行交互和观察，不仅设计功能良好，且使用过程中更加有意义、更加容易被人们理解和接受。

(4)适应性好。本发明的方法及系统能适应和处理非常庞大的数据。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。