流量数据分析方法及流量数据分析系统的制作方法
【技术领域】
[0001]本发明涉及网络技术，更具体地，涉及对网络环境中进出应用系统的流量数据的分析。
【背景技术】
[0002]随着互联网应用的快速发展，基于云架构的web类的应用系统逐渐增多；加之繁杂的业务功能、千差万别的客户访问路径、高并发的访问需求，导致数据中心在web类系统的运营与维护成为了一个难点和重点。
[0003]在国内开展web类系统运维的单位很多，但基本都是通过日志收集的方式进行分析。存在的主要问题是:基于日志的分析，非常依赖于应用系统记录日志的准确性和完整性。为了保证准确性，就必须充分要求应用代码保证逻辑的正确性；为了保证完整性，就必须要求将尽量多的信息输出到日志里面。
[0004]基于日志的这种分析方式，其与应用系统本身存在较高的关联性。日志记录不详细，不足以确保完整性，日志记录太详细将会给应用程序的性能及主机的磁盘空间带来相当大的消耗。
[0005]当对应用系统变更监控或业务需求时，应用系统本身及日志采集分析系统都需要适应性的进行调整，所额外产生的成本是比较大的，并且不够灵活。
【发明内容】
[0006]本发明意在提供一种流量数据分析方法，用于分析被监测的应用系统的流量数据，其包括:对于被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备；基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；将所形成的第一格式的文件按顺序发送到第一消息中间件的与该文件对应的第一管道；自所述第一管道取出所接收的第一格式的文件时，并自其获取所需信息，将所获取的信息转换成第二格式的文件；将第二格式的文件逐个发送给第二消息中间件的第二管道；在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。
[0007]根据本发明的示例，优选地，将进出其的流量镜像到流量服务器的网络连接设备是基于SPAN (Switched Port Analyzer)技术将流量镜像到流量服务器的网络连接设备。
[0008]根据本发明的示例，优选地，所述网络连接设备是网卡。
[0009]根据本发明的示例，优选地，将所形成的第一格式的文件按顺序发送到第一消息中间件是按照所述第一格式文件形成的时间顺序发送所述第一格式的文件到第一消息中间件。
[0010]根据本发明的示例，优选地，将第二格式的文件逐个发送给第二信息中间件的第二管道中是按照第二格式的文件形成的时间顺序逐个地将第二格式的文件发送给第二信息中间件的第二管道。
[0011]根据本发明的示例，优选地，在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中包括:a)监测所述第二管道，在其接收到第二格式的文件时，解析构成该文件的每个分包，进行相关的请求与响应；以及b)根据不同的协议，分析所进行的相关的请求与响应，将所得到的信息存储到建立的数据库中。
[0012]根据本发明的示例，优选地，所述抓包工具为TCPDUMP，所述第一格式为PCAP(Packet Capture)格式,所述第一管道为PCAP包队列管道,所述第二格式为XML格式,所述第二管道为组包管道，以及所述步骤a)中，解析构成该文件的每个分包是解析该文件中的每个TCP分包，解析TCP链路的请求和响应，所述步骤b)中，根据不同的协议，分析所解析出的TCP链路的请求和响应，将所得到的信息存储到建立的数据库中。
[0013]本发明还提供一种流量数据分析系统，用于分析被监测的应用系统的流量数据，其包括:镜像模块，其用于针对被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备；抓包模块，其用于基于预设参数，从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；第一存储模块，其用于存储第一格式的文件；第一发送模块，其用于将所述第一格式的文件按照顺序发送到第一消息中间件的与该文件对应的第一管道；第一监测处理模块，其用于监测所述第一管道，且在监测到所述第一管道接收到第一格式的文件时，取出所接收的文件，自其获取所需信息，并将所获取的信息转换成第二格式的文件；第二发送模块，其用于将第二格式的文件逐个发送给第二消息中间件的第二管道中；第二监测处理模块，其用于监测所述第二管道，并在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。
[0014]根据本发明的流量数据分析系统，优选地，所述镜像模块基于SPAN技术将流量镜像到流量服务器的网络连接设备。
[0015]根据本发明的流量数据分析系统，优选地，所述网络连接设备是网卡。
[0016]根据本发明的流量数据分析系统，优选地，所述第一发送模块设置成按照所述第一格式文件形成的时间顺序发送所述第一格式的文件。
[0017]根据本发明的流量数据分析系统，优选地，所述第二发送模块按照第二格式的文件形成的时间顺序逐个地发送第二格式的文件。
[0018]根据本发明的流量数据分析系统，优选地，所述抓包工具为TCPDUMP，所述第一格式为PCAP格式，所述第一管道为PCAP包队列管道，所述第二格式为XML格式，所述第二管道为组包管道。
【附图说明】
[0019]图1是根据本发明示例的流量数据分析方法的流程图。
[0020]图2是根据本发明示例的流量数据分析系统的结构示意图。
【具体实施方式】
[0021 ] 现在参照附图描述本发明的示意性示例，相同的附图标号表示相同的元件。下文描述的各实施例有助于本领域技术人员透彻理解本发明，且意在示例而非限制。图中各元件、部件、单元、装置的图示不一定按比例绘制，仅示意性表明这些元件、部件、模块、装置之间的相对关系。
[0022]图1是根据本发明示例的流量数据分析方法的流程图。示例而非限制地，在本文下文的描述中，该分析方法用于分析被监测的应用系统的流量数据。此外，在本文如下的所有的示例中，该应用系统示例为基于云架构的web类应用系统但并不以此为限制。其它非web类的应用系统同样可采用根据本发明所述的流量数据分析方法以及图2中示意的流量数据分析系统。
[0023]如图1所示，在步骤100，对于被监测的应用系统，将进出其的流量镜像到测试环境中的流量服务器的网络连接设备。举例来说，通过SPAN技术将进出该应用环境的流量镜像到流量服务器的网卡。进出该应用环境的流量至少可包括对该应用环境的访问以及该应用环境所作的响应。测试环境的流量服务器可通过电缆等与应用环境的相关设备电连接，以便实现如本步骤所述的将进出其的流量镜像到测试环境中的流量服务器的网络连接设备。作为示例而非限制，流量服务器可以包括两块网卡，一块用于管理登录使用，一块用于接收所镜像的流量。
[0024]在步骤102，基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件，所形成的第一格式的文件可进而被存储。例如，通过网络抓包命令TCPDUMP来从被镜像到流量服务器的网卡上的流量中，基于IP地址、端口等预设参数，将与预设的IP地址、端口有关的数据形成为PCAP的格式的文件，可将所形成的PCAP格式的文件存储在硬盘中，该硬盘可以是流量服务器的硬盘，也可是流量服务器的外设硬盘。除了 TCPDUM