基于HTTP协议的身份认证业务网络流量分析系统及方法与流程

本发明涉及及计算机软件开发编程技术领域，具体涉及基于HTTP协议的身份认证业务网络流量分析系统及方法。

背景技术：

随着互联网技术的迅猛发展，现实社会向网络空间深度延伸，网络社会已成为现实社会的重要组成部分。互联网给人们生活带来翻天覆地变化的同时也显著改变了人们的行为方式，收发邮件、社交、购物、银行交易等以前只在现实社会中发生的行为和业务，迅速在网络空间出现并得到高速发展。

近年来，我国居民身份网络认证技术获得了飞速，网络规模随着用户数呈指数级增长，也越来越庞大。支撑居民身份网络认证技术的平台及网络架构也越来越复杂，对网络故障处理的要求，也越来越高。如何勾绘网络里数据包的流转路径、优化网络节点接收和发送数据包的时间，提前对网络节点可能出现的问题进行预警，这是一个很现实也是很迫切的问题。本专利中采用基于HTTP协议的网络流量分析方法，将传统的流量分析方法用于身份认证业务中，具有实时获取各服务节点网络流量的流入、流出的数据，分析网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行。

(1)网络报文的采集截取和分布式存储

基于机器学习方法的网络流量分类主要按应用类型对网络层报文形成的流分类。报文是分类系统中的最小单位。按照报文五元组(源IP地址、源端口号、目标IP地址、目标端口号以及IP协议)的定义，将报文(Packets)分成双向TCP或UDP流，抽取与协议、端口无关流的特征，形成特征向量，用特征向量表示流。表征网络流的特征有很多，Andrew Moore曾列出流的249种特征，并从中选择区分粒度最好的37种候选特征作为分类流量的特征集，具体包括流的报文个数及大小特征、流的时间特征和报文的标志位信息特征。基于以上特征的统计和计算，只需截取报文的前128个字节即可。在系统设计中，采用WinPcap工具包捕获报文，并截取报文的前128个字节形成dmp文件。其次，将报文数据基于Hadoop工具分布式存储至HDFS。HDFS每个块的大小为64M。为了保证每个HDFS的Block能存储完整的报文个数，试验中将dmp文件头的部分信息截取保存到Hadoop的NameNode中。如此，DataNode中每个Block存储的报文个数是64×1024×1024/128＝524 288个数据报文信息。

(2)基于MapReduce算法的网络流的形成

基于MapReduce算法的网络流形成过程分为两个阶段。第一，Map阶段应用于HDFS每个块的报文分析。根据128字节的报文信息，提取基本报文数据，包括时间、捕获长度、长度、协议、源IP地址和目标IP地址等。第二，Reduce阶段分为多层Reducer。第一层Reducer负责将Map阶段提取的报文信息按照网络流的定义形成流，并计算流的候选特征；第二层Reducer负责将第一层Reducer形成的流按照五元组信息合并。

网络流量分析器具有普适性，在专业和定向分析上有一定的局限性，本专利在设计后端数据分析系统时，也查阅和参考了很多设计资料。目前没有查到比较适合身份认证平台的网络流量分析方法及系统。主要是认证平台以下几个原因：

1)认证平台的访问量和并发访问量都非常大；

2)通讯协议都是采用HTTP协议；

3)认证平台的网络结构复杂；

4)认证平台采用多地多中心模式。

以上这些原因，决定了认证平台的网络流量分析，没有可供使用的现成的网络流量分析系统。

技术实现要素：

鉴于现有技术的不足，本发明旨在于提供基于HTTP协议的身份认证业务网络流量分析系统及方法，利用单一系统来解决认证平台网络流量数据采集及分析的技术方法。

通过对认证平台的业务流、数据流和网络规划，将认证平台中需要重点关注网络流量的部分以服务节点的方式区分，然后部署硬件网络流量采集器，之后通过HANDOOP大数据处理平台，完成采集数据的分析、清洗、存储，最后基于这些数据对网络进行分析和故障预警。

通过使用合理地存储技术和结构，减少落地数据的数量和被访问次数，提高了认证平台存储容量和存储效率。

为解决上述技术问题，本发明提供的技术方案如下：

基于HTTP协议的身份认证业务网络流量分析方法，所述方法包括以下步骤：

S1通过对认证平台的业务流、数据流和网络规划进行梳理和识别，将认证平台中需要重点关注网络流量的部分以服务节点的方式标识；

S2在服务节点部署基于HTTP协议的网络流量采集设备；

S3每个节点的流量镜像到流量采集设备，获取每笔业务链路上各服务器节点的流量；

S4通过HANDOOP大数据处理平台，完成采集数据的分析、清洗、存储；

S5根据网络流量数据变化的情况，实时分析网络运行状态；

S6根据服务节点网络流量的流入、流出数据，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行；

S7依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断服务节点的服务性能情况；

S8依据服务节点传输时间设定每个节点的服务传输时间的阈值，通过解析服务节点的传输时间，判断服务节点的服务状况。

需要说明的是，所述步骤2中可以获得一个服务节点的流入、流出数据量，

需要说明的是，所述步骤2中可以获得一个服务节点调用另一个服务节点的发出时间，并获得一个服务节点到另一服务节点的传输时间。

需要说明的是，另一个服务节点接收时间以及另一个服务节点返回一个服务节点的开始时间，并获得另一个服务节点的处理时间。

作为本发明的基于HTTP协议的身份认证业务网络流量分析系统，所述系统包括进行通讯连接的认证平台、通讯接口、存储器、后端数据分析平台与流量采集设备；其中，在服务节点部署基于HTTP协议的网络流量采集设备。

本发明有益效果在于：

1)对网络故障的预警更加及时

根据网络流量数据变化的情况发现网络中的问题，当网络流量趋近于0，表明所监控的位置可能发生网络故障，需要及时处理。

2)对网络规划中的性能瓶颈，可以做到及时发现和调整

根据网络流量的流入、流出数据的分析，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行。

3)对网络中各服务节点的服务性能，做到精准掌握

依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断该服务性能情况。

附图说明

图1为本发明的示意图；

图2为本发明网络流量采集流程示意图。

具体实施方式

下面通过附图与实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

如图1所示，本发明为基于HTTP协议的身份认证业务网络流量分析方法，所述方法包括以下步骤：

S1通过对认证平台的业务流、数据流和网络规划进行梳理和识别，将认证平台中需要重点关注网络流量的部分以服务节点的方式标识；

S2在服务节点部署基于HTTP协议的网络流量采集设备；

S3每个节点的流量镜像到流量采集设备，获取每笔业务链路上各服务器节点的流量；

S4通过HANDOOP大数据处理平台，完成采集数据的分析、清洗、存储；

S5根据网络流量数据变化的情况，实时分析网络运行状态；

S6根据服务节点网络流量的流入、流出数据，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行；

S7依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断服务节点的服务性能情况；

S8依据服务节点传输时间设定每个节点的服务传输时间的阈值，通过解析服务节点的传输时间，判断服务节点的服务状况。

需要说明的是，所述步骤2中可以获得一个服务节点的流入、流出数据量，

需要说明的是，所述步骤2中可以获得一个服务节点调用另一个服务节点的发出时间，并获得一个服务节点到另一服务节点的传输时间。

需要说明的是，另一个服务节点接收时间以及另一个服务节点返回一个服务节点的开始时间，并获得另一个服务节点的处理时间。

如图2所示，将每个节点的流量镜像到流量采集设备F，获取每笔业务链路上各服务器节点的流量，当一笔业务从服务节点A到服务节点B调用时，通过流量数据的分析，得到如下内容：

(1)B服务节点的流入、流出数据量；

(2)A服务节点调用B服务节点的发出时间、到达B服务的时间，通过计算得到A服务到B服务的传输时间；

(2)B服务节点接收时间以及B服务节点返回A服务节点的开始时间，通过计算得到B服务的处理时间。

根据采集的数据，还可以获得以下分析：

(1)分析网络运行状态：根据网络流量数据变化的情况发现网络中的问题，当网络流量趋近于0，表明所监控的位置可能发生网络故障，需要及时处理；

(2)分析不同时长网络流量数据：根据网络流量的流入、流出数据，发现网络设备性能的瓶颈，掌握网络运行的特点，及时对网络进行合适的调整，保证网络的正常稳定运行；

(3)解析服务节点处理时间：依据服务节点处理性能设定每个节点的服务处理时间的阈值，通过解析服务节点的处理时间，判断该服务性能情况；

(4)解析服务节点传输时间：依据服务节点传输时间设定每个节点的服务传输时间的阈值，通过解析服务节点的传输时间，判断该服务状况。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。