一种基于DRBD的NiFi高可用部署方法及系统与流程

一种基于drbd的nifi高可用部署方法及系统
技术领域
1.本发明涉及高可用部署技术领域，具体为一种基于drbd的nifi高可用部署方法及系统。


背景技术：

2.随着大数据技术的发展，分布式的数据存储系统越来越多，大数据应用一般需要集成多个不同的数据存储系统来构建不同应用的数据仓库，etl用来描述将数据从源数据仓库经过抽取(extract)、转换(transform)以及装载(load)至目标数据仓库的过程。通常，etl工具用来负责系统运行程序的调度控制和资源的分配。apache nifi一个易于使用、功能强大且可靠的系统用来处理和分发数据。
3.现有技术中，在大数据的项目开发中，如果nifi节点宕机、失联或者发生故障，会导致nifi任务终止从而影响业务处理。在nifi的集群模式中如果流文件没有处理完成，如果失联节点宕掉的情况下会导致数据丢失。


技术实现要素：

4.本发明的目的在于提供一种基于drbd的nifi高可用部署方法及系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于drbd的nifi高可用部署方法，该部署方法包括以下步骤：
6.部署由三个计算实例组成的pacemaker代管式集群，在主实例和备用实例上分别安装nifi和drbd，在第三个实例中安装仲裁设备；
7.安装配置drbd及nifi；
8.配置pacemaker纳管集群服务。
9.优选的，在双节点集群中，只需一次投票即可确定活跃节点；如果两个节点彼此失去连接，则存在多个集群节点将其视为活跃节点的风险；仲裁设备充当仲裁者，通过投票方式选举出唯一运行节点；在主备实例无法通信的情况下，仲裁节点可以与主备实例之间通信，达成多数票决的机制。
10.优选的，安装配置pacemaker，负责集群中软件服务的全生命周期管理，在主备实例节点安装pacemaker,仲裁设备节点安装pacemaker的仲裁设备，进行pacemaker代管集群配置，将三个计算实例节点接入到pacemaker的节点资源管理中，节点状态为online。
11.优选的，对drbd进行初始化配置，设置drbd从主实例节点到备用实例节点的drbd复制，在仲裁节点安装配置drbd的无盘仲裁模式，仲裁设置至少需要三个drbd节点，drbd设置完成后，将drbd的数据同步的磁盘挂载到nifi的数据存储文件系统目录下，使得nifi的数据可以通过drbd同步到备用实例节点。
12.优选的，将集群服务drbd、nifi、vip依据pacemaker的资源接入规范要求，接入到pacemaker的资源管理配置中，由pacemaker统一管理调度drbd、nifi、vip的实例节点选择。
13.一种基于drbd的nifi高可用部署系统，该系统由部署模块、搭建模块以及管理模块构成；
14.部署模块，用于部署由三个计算实例组成的pacemaker代管式集群，在主实例和备用实例上分别安装nifi和drbd，在第三个实例中安装仲裁设备；
15.搭建模块，用于安装配置drbd及nifi；
16.管理模块，用于配置pacemaker纳管集群服务。
17.优选的，所述部署模块中，在双节点集群中，只需一次投票即可确定活跃节点；如果两个节点彼此失去连接，则存在多个集群节点将其视为活跃节点的风险；仲裁设备充当仲裁者，通过投票方式选举出唯一运行节点；在主备实例无法通信的情况下，仲裁节点可以与主备实例之间通信，达成多数票决的机制。
18.优选的，所述部署模块中，安装配置pacemaker，负责集群中软件服务的全生命周期管理，在主备实例节点安装pacemaker,仲裁设备节点安装pacemaker的仲裁设备，进行pacemaker代管集群配置，将三个计算实例节点接入到pacemaker的节点资源管理中，节点状态为online。
19.优选的，所述搭建模块中，对drbd进行初始化配置，设置drbd从主实例节点到备用实例节点的drbd复制，在仲裁节点安装配置drbd的无盘仲裁模式，仲裁设置至少需要三个drbd节点，drbd设置完成后，将drbd的数据同步的磁盘挂载到nifi的数据存储文件系统目录下，使得nifi的数据可以通过drbd同步到备用实例节点。
20.优选的，所述管理模块中，将集群服务drbd、nifi、vip依据pacemaker的资源接入规范要求，接入到pacemaker的资源管理配置中，由pacemaker统一管理调度drbd、nifi、vip的实例节点选择。
21.与现有技术相比，本发明的有益效果是：
22.本发明提出的基于drbd的nifi高可用部署方法及系统提高了nifi配置数据的安全可靠性，保障数据不会丢失，保障nifi任务的持续运行及业务可靠性；实现了简单便捷的运维管理，增强平台产品的稳定性，保障了服务产品的高可用性；架构具有高效管理，故障自动转移，服务稳定运行的特点，自动主备同步，保障数据安全可靠，存储成本低；防止脑裂，避免数据损坏和防止系统混乱。
附图说明
23.图1为本发明方法技术方案的架构图。
具体实施方式
24.为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.实施例一
26.请参阅图1，本发明提供一种技术方案：一种基于drbd的nifi高可用部署方法，该
部署方法包括以下步骤：
27.部署由三个计算实例组成的pacemaker代管式集群，在主实例和备用实例上分别安装nifi和drbd，在第三个实例中安装仲裁设备；
28.安装配置drbd及nifi；
29.配置pacemaker纳管集群服务。
30.具体操作为，1)集群环境准备：
31.a.部署由三个计算实例组成的pacemaker代管式集群。在主实例和备用实例上分别安装nifi和drbd。在第三个实例中安装仲裁设备。
32.b.在集群中，每个节点都会投票选择其认为理想的活跃节点，也就是运行nifi的节点。在双节点集群中，只需一次投票即可确定活跃节点。在这种情况下，集群行为可能会导致脑裂(split-brain)问题或停机。当两个节点都获得控制权时会发生脑裂问题，因为在双节点场景中只需要一次投票。如果两个节点彼此失去连接，则存在多个集群节点将其视为活跃节点的风险。
33.通过配置仲裁设备可以避免此种情况的发生。仲裁设备充当仲裁者，通过投票方式选举出唯一运行节点。在主备实例无法通信的情况下，仲裁节点可以与主备实例之间通信，达成多数票决的机制，避免脑裂情况发生。
34.2)安装配置pacemaker:
35.pacemaker实现节点和资源级别的故障检测和资源恢复，从而最大程度保证集群服务的高可用。从逻辑功能而言，pacemaker在集群管理员所定义的资源规则驱动下，负责集群中软件服务的全生命周期管理，这种管理甚至包括整个软件系统以及软件系统彼此之间的交互。pacemaker在实际应用中可以管理任何规模的集群，由于其具备强大的资源依赖模型，这使得集群管理员能够精确描述和表达集群资源之间的关系(包括资源的顺序和位置等关系)。
36.在主备实例节点安装pacemaker,仲裁设备节点安装pacemaker的仲裁设备。进行pacemaker代管集群配置。将三个计算实例节点接入到pacemaker的节点资源管理中，节点状态为online。
37.3)安装配置drbd及nifi:
38.对drbd进行初始化配置，设置drbd从主实例节点到备用实例节点的drbd复制。在仲裁节点安装配置drbd的无盘仲裁模式。仲裁设置至少需要三个drbd节点，但是drbd复制只需要两个节点即可，因此可以在第三个节点构建一个没有存储的(无盘)仲裁设备。
39.drbd设置完成后，将drbd的数据同步的磁盘挂载到nifi的数据存储文件系统目录下。从而使得nifi的数据可以通过drbd同步到备用实例节点。
40.4)配置pacemaker纳管集群服务:
41.将集群服务drbd、nifi、vip依据pacemaker的资源接入规范要求，接入到pacemaker的资源管理配置中，由pacemaker统一管理调度drbd、nifi、vip的实例节点选择，保证服务都统一调度运行在同一个节点运行。vip主要是用来网络地址转换，网络容错和可移动性。为了提高系统对外服务的高可用性，采用主备模式进行高可用性的配置。通过配置一个vip来连接主备实例节点，当主节宕机后，vip便会漂浮到备机上，继续提供服务,从而统一对外提供nifi服务，防止单点故障,提高服务可用性。
42.这样就形成了以pacemaker为集群管理工具，通过结合drbd、vip，以及引入第三个仲裁设备节点防止脑裂，实现nifi服务的高可用部署方案。通过drbd保证了nifi服务数据准确安全，通过pacemaker保障服务的故障自动转移实现资源最大可用性，方便运维管理，结合vip保障nifi服务访问统一入口提高服务的高可用性。
43.实施例二
44.一种基于drbd的nifi高可用部署系统，该系统由部署模块、搭建模块以及管理模块构成；
45.部署模块，用于部署由三个计算实例组成的pacemaker代管式集群，在主实例和备用实例上分别安装nifi和drbd，在第三个实例中安装仲裁设备；在双节点集群中，只需一次投票即可确定活跃节点；如果两个节点彼此失去连接，则存在多个集群节点将其视为活跃节点的风险；仲裁设备充当仲裁者，通过投票方式选举出唯一运行节点；在主备实例无法通信的情况下，仲裁节点可以与主备实例之间通信，达成多数票决的机制；安装配置pacemaker，负责集群中软件服务的全生命周期管理，在主备实例节点安装pacemaker,仲裁设备节点安装pacemaker的仲裁设备，进行pacemaker代管集群配置，将三个计算实例节点接入到pacemaker的节点资源管理中，节点状态为online；
46.搭建模块，用于安装配置drbd及nifi；制，在仲裁节点安装配置drbd的无盘仲裁模式，仲裁设置至少需要三个drbd节点，drbd设置完成后，将drbd的数据同步的磁盘挂载到nifi的数据存储文件系统目录下，使得nifi的数据可以通过drbd同步到备用实例节点；
47.管理模块，用于配置pacemaker纳管集群服务；将集群服务drbd、nifi、vip依据pacemaker的资源接入规范要求，接入到pacemaker的资源管理配置中，由pacemaker统一管理调度drbd、nifi、vip的实例节点选择。
48.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。