一种K‑UX3.0操作系统上搭建storm分布式应用集群的系统及方法与流程

本发明涉及计算机领域，尤其涉及一种k-ux3.0操作系统上搭建storm分布式应用集群的系统及方法。

背景技术：

数据的价值随着时间的流逝而降低，所以事件出现后必须尽快地对它们进行处理，最好数据出现时便立刻对其进行处理，发生一个事件进行一次处理，而不是缓存起来成一批处理。storm技术大大简化了并行实时数据处理，可以使开发人员可以快速地搭建一套健壮、易用的实时流处理框架，配合sql产品、nosql产品或者mapreduce计算平台，就可以低成本地做出很多以前很难想象的实时产品。

k-ux3.0操作系统是通过unix03认证的主机操作系统，k-ux操作系统具有广泛的兼容性，基于x86架构，64路服务器，具有较高的数据处理能力。但是，如何将storm技术搭建在k-ux3.0操作系统上是当前丞待解决的技术问题。

技术实现要素：

为了克服上述现有技术中的不足，本发明提供一种搭建storm分布式应用集群系统，包括：终端访问层、应用层和数据层；终端访问层与应用层通过网络进行连接通信，终端访问层通过ssh协议远程连接操作系统以及远程控制storm应用平台；应用层通过mq、socket通信、前端系统业务数据获取api，或者log监控，并从数据层获取数据，经过storm实时处理写入数据；数据层包括：数据库。

优选地，终端访问层包括多个终端客户机，每个终端客户机通过vpn网络访问应用层，每个终端客户机通过应用层连接集群应用服务器，远程管理strom平台，查看集群服务器的部署方式、主节点和工作节点的分配情况、运行状态、处理的拓扑数据、任务运行相关日志，同时终端客户机针对某一拓扑任务进行访问、数据处理、用户注册操作，终端客户机通过远程管理strom平台进行远程控制。

优选地，应用层由n+1个节点组成，其中用一个节点部署在nimbus服务器上，n个节点部署在supervisor服务器上，同时所有节点上部署zookeeper集群，实现对storm集群的一致性管理，增强storm集群的可靠性和可伸缩性；数据层包含数据接入层和数据落地层两部分，数据接入层采用mq、或socket通信、或前端系统业务数据，获取api或者log监控方式的源数据流，数据落地层采用hdfs、或mysql的数据存储设备。

优选地，应用层所有节点部署在zookeeper集群，用于记录storm集群服务器的运行状态、协调数据存储，nimbus服务器通过zookeeper协调supervisor服务器，进行代码分发任务分配，实现对storm集群的一致性管理，增强storm集群的可靠性和可伸缩性。

一种k-ux3.0操作系统上搭建storm分布式应用集群的方法，方法包括：

搭建zookeeper集群；

在集群内的每台服务器上安装java和python依赖；

搭建storm集群。

优选地，搭建zookeeper集群步骤包括：

在每台服务器上安装zookeeper，创建zookeeper的data目录和log目录；

在data目录下建立zk集群的myid文件，编辑myid文件，并在对应的ip的服务器上输入对应的编号；

将conf目录下的zoo_sample.cfg文件拷贝一份，命名为为zoo.cfg，修改zoo.cfg配置文件；

将zk的bin目录路径加入环境变量，使其生效。

优选地，在集群内的每台服务器上安装java和python依赖步骤包括：

集群内每台服务器上安装java和python依赖，将jdk和python文件分别解压到相应目录，并且配置环境变量，将bin目录加载到path中，使其生效。

优选地，搭建storm集群步骤包括：

nimbus服务器和supervisor服务器上分别安装storm，创建一个storm的本地数据目录，将storm的bin目录加入系统路径，使其生效；

分别配置nimbus服务器和supervisor服务器集群上的conf/storm.yaml文件。

从以上技术方案可以看出，本发明具有以下优点：

搭建storm分布式应用集群系统通过ssh标准协议连接k-ux操作系统，64路服务器的n+1个节点上部署storm集群，包括终端访问层、应用层和数据层，三层通过局域网进行连接通信。终端访问层与应用层通过局域网进行连接通信，通过ssh协议远程连接操作系统，远程控制storm应用平台。应用层通过mq、socket通信、前端系统业务数据获取api或者log监控等方式从数据接入层获取数据，经过storm实时处理系统处理之后写入数据落地层，数据接入层可以是数据库，也可以是其他存储或应用。

通过k-ux3.0操作系统比linux系统安全可靠，能够提升storm集群的安全性和稳定性。通过在64路服务器的最大支持64个节点，在此平台上搭建storm集群可以节省更多空间。k-ux操作系统可以通过bmc管理软件统一管理，提高提供整个storm集群的管理能力。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为k-ux3.0操作系统上搭建storm分布式应用集群的系统的整体示意图；

图2为k-ux3.0操作系统上搭建storm分布式应用集群的系统集群结构图；

图3为k-ux3.0操作系统上搭建storm分布式应用集群的方法流程图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。

本实施例提供一种k-ux3.0操作系统上搭建storm分布式应用集群的系统，如图1，图2所示，包括：终端访问层1、应用层2和数据层3；终端访问层1与应用层2通过网络进行连接通信，终端访问层1通过ssh协议远程连接操作系统以及远程控制storm应用平台；应用层2通过mq、socket通信、前端系统业务数据通信，获取api，或者log监控，并通过storm实时对数据层3进行数据处理；数据处理方式包括：数据写入，数据修改，数据编辑，数据追加编辑，数据删除等等。数据层包括：数据库。

本实施例中，终端访问层包括多个终端客户机，每个终端客户机通过vpn网络访问应用层，每个终端客户机通过应用层连接集群应用服务器，远程管理strom平台，查看集群服务器的部署方式、主节点和工作节点的分配情况、运行状态、处理的拓扑数据、任务运行相关日志，同时终端客户机针对某一拓扑任务进行访问、数据处理、用户注册操作，终端客户机通过远程管理strom平台进行远程控制。

应用层由n+1个节点组成，其中用一个节点部署在nimbus服务器上，n个节点部署在supervisor服务器上，同时所有节点上部署zookeeper集群，实现对storm集群的一致性管理，增强storm集群的可靠性和可伸缩性；数据层包含数据接入层和数据落地层两部分，数据接入层采用mq、或socket通信、或前端系统业务数据，获取api或者log监控方式的源数据流，数据落地层采用hdfs、或mysql的数据存储设备。

应用层所有节点部署在zookeeper集群，用于记录storm集群服务器的运行状态、协调数据存储，nimbus服务器通过zookeeper协调supervisor服务器，进行代码分发任务分配，实现对storm集群的一致性管理，增强storm集群的可靠性和可伸缩性。

本发明还提供一种k-ux3.0操作系统上搭建storm分布式应用集群的方法，如图3所示，方法包括：

s1：搭建zookeeper集群；

s2：在集群内的每台服务器上安装java和python依赖；

s3：搭建storm集群。

具体的，搭建zookeeper集群步骤包括：

在每台服务器上安装zookeeper，创建zookeeper的data目录和log目录；

在data目录下建立zk集群的myid文件，编辑myid文件，并在对应的ip的服务器上输入对应的编号；

将conf目录下的zoo_sample.cfg文件拷贝一份，命名为为zoo.cfg，修改zoo.cfg配置文件；

将zk的bin目录路径加入环境变量，使其生效。

在集群内的每台服务器上安装java和python依赖步骤包括：

集群内每台服务器上安装java和python依赖，将jdk和python文件分别解压到相应目录，并且配置环境变量，将bin目录加载到path中，使其生效。

搭建storm集群步骤包括：

nimbus服务器和supervisor服务器上分别安装storm，创建一个storm的本地数据目录，将storm的bin目录加入系统路径，使其生效；

分别配置nimbus服务器和supervisor服务器集群上的conf/storm.yaml文件。

结合一下实例对本发明做进一步说明。

实例：数组存放每个人说的话，功能：

随机获取某个人说的话；将获取到的话末尾添加感叹号！将添加完感叹号！

的话打印出来。

实施方式为：

1)进入实例根目录，执行mvnclean，将原先生成的项目target目录删掉。

2)在本地repository中打包jar：mvninstall，生成的目录为pom.xml中的groupid格式。

3)将

c:\users\zhaobj\.m2\repository\storm\storm-samples1\0.0.1-snapshot目录下的storm-samples1-0.0.1-snapshot-jar-with-dependencies.jar拷到nimbus服务器上bin目录下。

4)部署topology

nimbus服务器storm的bin目录下执行如下命令：

./stormjarstorm-samples1-0.0.1-snapshot-jar-with-dependencies.jarstorm.storm_samples1.exclaimbasictopoexclaimbasictopo。

5)查看结果

两种方式：一、查看stormui。二、storm的bin目录下运行./stormlist。

6)关闭topology

两种方式：一、stormui上面点选要关闭的topology，如exclaimbasictopo，然后在新页面的topologyactions中选kill。二、运行./stormkillexclaimbasictopo。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参考即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。