一种分布式部署的系统和方法与流程

本发明涉及互联网数据监控领域，具体地，涉及一种分布式部署的系统和方法。

背景技术：

在现如今的银行、券商、网络运营商中，大都使用网络数据监控系统作为日常分析与风险把控的重要手段。而网络数据监控系统很重要的一部分为环境部署和数据采集。随着科技和业务量的增长，要处理的网络互联数据也随之爆炸式增长，为采集监控这些数据，上述行业的数据中心已经逐渐发展成两地三中心甚至更多，每个数据中心内部又有多个机房，这些内部的服务器同时还跨区域跨网段，传统的集中式部署已经难以满足需求，面临着诸如采集点部署困难，单点服务器压力过大或故障导致集群不可用的问题。

同时，繁琐的多中心架构搭建往往浪费不少人力物力，容易出现错误操作导致部署失败，而且即使部署完成，增删服务器或更改系统架构同样面临不少的挑战。

经过检索发现：

公开号为cn105404528a的专利文献公开了一种分布式自动化部署系统，所采用的方案需要额外的自动部署服务器，且要经过管理端、部署服务器、客户端三者之间的多次交互操作，增加了部署时间与发生问题的概率；

公开号为cn106375419a的专利文献公开了一种分布式集群的部署方法和装置，其动态部署只能通过判断节点个数使用占比是否超过设置阈值来增删节点，不能满足复杂的网络场景。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种分布式部署的系统和方法，以解决不同物理位置、异地跨区域跨网段的流量采集问题。

根据本发明提供的一种分布式部署的方法，包括：

数据采集步骤：实时监听侦测并持续采集当前服务器的数据链路中的数据包信息；

数据处理步骤：将采集到的数据包信息解析成交易原始记录，计算出交易关联字段，根据交易关联字段派发交易记录，关联派发的交易记录为交易关联记录，合成交易关联记录得到交易数据并将交易数据存储到当前服务器的文件存储模块中，聚合交易数据，将聚合后的交易数据存储至当前服务器的数据库；

数据展现步骤：主机服务器读取所需的数据库、文件存储模块中的数据并呈现。

优选的，文件存储模块中存储的所述交易数据包括数据包、交易原始记录以及交易关联记录。

优选的，文件存储模块中存储的所述交易数据根据来源和时间分多级目录。

优选的，数据库中存储的聚合后的交易数据根据路径图和月份分库、根据捕获点分表以及根据聚合程度分表，聚合程度包括捕获点、服务器ip、站点以及维度。

优选的，数据展现步骤包括：

交易记录呈现步骤：通过所述交易关联字段并结合文件存储中的数据，呈现交易记录信息；

指标信息呈现步骤：通过自定义的时间、服务器、站点以及维度查询数据库，呈现各个维度组合下的指标信息。

根据本发明提供的一种分布式部署的系统，包括一台主机服务器以及至少一台从机服务器，所述主机服务器与所述从机服务器均包括：

数据采集模块：实时监听侦测并持续采集当前服务器的数据链路中的数据包信息；

数据处理模块：将采集到的数据包信息解析成交易原始记录，计算出交易关联字段，根据交易关联字段派发交易记录，关联派发的交易记录为交易关联记录，合成交易关联记录得到交易数据并将交易数据存储到当前服务器的文件存储模块中，聚合交易数据，将聚合后的交易数据存储至当前服务器的数据库；

所述主机服务器还包括数据展现模块；

数据展现模块：读取所需的数据库、文件存储模块中的数据并呈现。

优选的，文件存储模块中存储的所述交易数据包括数据包、交易原始记录以及交易关联记录。

优选的，文件存储模块中存储的所述交易数据根据来源和时间分多级目录。

优选的，数据库中存储的聚合后的交易数据根据路径图和月份分库、根据捕获点分表以及根据聚合程度分表，聚合程度包括捕获点、服务器ip、站点以及维度。

优选的，数据展现模块包括：

交易记录呈现子模块：通过所述交易关联字段并结合文件存储中的数据，呈现交易记录信息；

指标信息呈现子模块：通过自定义的时间、服务器、站点以及维度查询数据库，呈现各个维度组合下的指标信息。

与现有技术相比，本发明具有如下的有益效果：

1)异地多中心部署，可采集监控不同物理位置的网络数据；

2)多台服务器实现流量的负载均衡，分担数据流量的压力，风险可控；

3)分布式架构部署的安装和修改流程简单易操作，配置简单、灵活多变；

4)高可用机制，规避单点故障。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的系统模块图；

图2为本发明数据展现模块的操作步骤图；

图3为本发明的分布式环境安装步骤图；

图4为本发明的分布式环境修改步骤图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供的分布式部署的系统有a、b两个数据中心，其中a为主机服务器，b为从机服务器。两个服务器均包括以下模块：

数据采集模块：实时监听侦测并持续采集当前服务器的数据链路中的数据包信息；

数据处理模块：获取采集到的数据包信息并解析成交易原始记录，计算出交易关联字段，根据交易关联字段派发交易记录，关联派发的交易记录为交易关联记录，合成交易关联记录得到交易数据并将交易数据存储到当前服务器的文件存储模块中，聚合交易数据，将聚合后的交易数据存储至当前服务器的数据库，完成一分钟的数据处理步骤后发出结束信号至数据库，页面根据数据库中相应的字段可判断一分钟(页面展示的时间轴是按分钟驱动)的数据有没处理完成，完成后才驱动数据展现模块的页面上的时间轴和路径图数据往前移动一分钟；

此外，主机服务器还包括数据展现模块；

数据展现模块：读取所需的数据库、文件存储模块中的数据并呈现。

在本发明中，文件存储模块中存储的所述交易数据包括数据包、交易原始记录以及交易关联记录，并根据来源和时间分多级目录。

数据库中存储的聚合后的交易数据根据路径图和月份分库、根据捕获点分表以及根据聚合程度分表，聚合程度包括捕获点、服务器ip、站点以及维度。

数据展现模块包括：

交易记录呈现子模块：通过所述交易关联字段并结合文件存储中的数据，呈现交易记录信息；

指标信息呈现子模块：通过自定义的时间、服务器、站点以及维度查询数据库，呈现各个维度组合下的指标信息。

如图2所示，基于上述分布式部署的系统，数据展现模块的具体操作有：

步骤1、页面主进程，只存在于主机服务器上，在页面上做操作时，该进程接受前台页面请求，将前台操作任务发给相关进程执行，同时该主进程还承担着整个系统记录信息的任务，如系统登录，页面访问，异常操作等；

步骤2、页面进程，主从机服务器都有各自的页面进程，用于接收步骤1中页面主进程分发下来的当前服务器的任务并下发到对应的中间件；

步骤3、turobject，中间件，主从机服务器页面进程都有相关的中间件，用于跨服务器统计的分解，派发与合并，跨路径图捕获点统计的分解与合并；通过交易关键字查询，结合文件存储模块中的内容，在页面上呈现具体的交易记录信息；以及，通过自定义时间，服务器，站点，维度查询数据库，在页面上呈现各个维度组合下的指标信息。

根据图1和图2可知，主从机服务器都有各自的数据处理流程和数据库文件存储，当只涉及从机基础数据查询时，可以直接通过从机服务器的进程及中间件完成数据读取展现，从而实现高可用机制，即使出现单点故障，也不会影响整个系统的运行。

分布式系统设计思想为每台服务器存在唯一的id标识符，后台有存放机器信息的server配置文件，文件中包含主机ip端口信息以及整个分布式系统中所有机器的id和ip端口信息，相关进程会实时加载对应配置显示在路径图编辑页面的捕获点选项中。当建立了交易模型后，系统各模块进程会根据id判断处理经过本机网卡的数据包解析成交易数据存放到本地服务器，最后通过主机的数据展现模块将数据展示至前台页面。

如图3所示，具体分布式环境安装部署流程如下：

1)主机服务器上运行安装包，安装过程中服务器类型选择master；

2)从机服务器上运行安装包，安装过程中服务器类型选择slave，同时填写主机服务器ip；

3)安装完成后，在页面创建服务路径图，选择主从机网卡的捕获点，建立交易模型。

如图4所示，具体分布式环境修改部署流程如下：

1)主机服务器后台修改server配置文件为最新的服务器信息；

2)拷贝修改后的server配置文件至所有从机服务器；

3)重新选择服务路径图中的网卡，创建新的交易模型。

根据本系统环境搭建及组成模块的操作步骤所提供的方法，提供一个具体实施如下：

1、在a地的一台数据中心服务器a1上运行安装包，安装过程中，选择设置为主机；

2、在a地的另一台数据中心服务器a2上运行安装包，安装过程中，选择设置为从机，同时输入主机为a1服务器ip；

3、在b地的一台数据中心服务器b1上运行安装包，安装过程中，选择设置为从机，同时输入主机为a1服务器ip；

4、三台机器的安装包执行完成后，则成功完成两地三中心分布式的环境部署；

5、在浏览器访问系统链接，进入路径图编辑页面，根据实际情况选择各个服务器的网卡作为捕获点搭建交易模型；

6、用户可以在页面上实时查看整个交易模型的数据情况；

7、用户可以在页面按捕获点查询任意时间任意维度的数据指标情况。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。