集群部署方法、装置、计算机设备及存储介质与流程

本技术涉及大数据与金融科技领域，尤其涉及集群部署方法、装置、计算机设备及存储介质。

背景技术：

1、近些年来，数据湖技术在大数据领域的发展逐渐兴起，湖仓一体、批流一体成为主流的发展方向，使得数据湖技术在金融科技企业，例如保险企业、银行中的应用越来越广泛。目前，金融科技企业采用的普通生产集群的部署方案，通常是将数据湖集群的存储节点组与原有生产集群的存储节点组进行混合部署，且数据湖集群与原有生产集群使用同一个管理节点组进行管理。然而，数据湖接入过多的流式数据会生成大量的小文件，每个文件块的元数据信息都会加载到同一个管理节点组的物理机内存当中，生成大量的小文件会导致管理节点组出现巨大的运维压力以及较差的稳定性，例如出现管理节点组出现启动运维或宕机的情况。同时管理节点组的内存被小文件的元数据信息占用过多的话，则无法及时响应和处理来自集群内其他计算节点的请求，集群的可用性也会随之降低。

2、因此，现有的集群部署方案具有较高的生产风险，集群生产的可用性与稳定性较差。

技术实现思路

1、本技术实施例的目的在于提出一种集群部署方法、装置、计算机设备及存储介质，以解决现有的集群部署方案具有较高的生产风险，集群生成的可用性与稳定性较差的技术问题。

2、为了解决上述技术问题，本技术实施例提供一种集群部署方法，采用了如下所述的技术方案：

3、搭建预设的数据湖集群的第一管理节点组；

4、搭建所述数据湖集群的第一数据存储节点组；

5、部署预设的mysql数据库；

6、在原有生产集群的第二数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第二数据存储节点组中的第一元数据信息存储至所述mysql数据库内；

7、确定与所述原有生产集群的所有第一节点组对应的第一metastore服务，并对所述第一metastore服务与所述mysql数据库建立连接；其中，所述第一节点组包括所述第二数据存储节点组以及所述原有生产集群的第二管理节点组；

8、在所述数据湖集群的第一数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第一数据存储节点组中的第二元数据信息存储至所述mysql数据库内；

9、确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接；其中，所述第二节点组包括所述第一数据存储节点组以及所述第一管理节点组。

10、进一步的，所述搭建预设的数据湖集群的第一管理节点组的步骤，具体包括：

11、获取与预设的第一计算性能需求对应的第一性能阈值；

12、获取计算性能大于所述第一性能阈值的第一物理机组；

13、基于所述第一物理机组搭建所述数据湖集群的第一管理节点组。

14、进一步的，所述搭建所述数据湖集群的第一数据存储节点组的步骤，具体包括：

15、获取与预设的第二计算性能需求对应的第二性能阈值；

16、获取计算性能小于所述第二性能阈值的第二物理机组；

17、基于所述第二物理机组搭建所述数据湖集群的第一数据存储节点组。

18、进一步的，所述确定与所述原有生产集群的所有第一节点组对应的第一metastore服务的步骤，具体包括：

19、获取所述原有生产集群的所述第一节点组对应的部署组件版本；

20、对所述部署组件版本进行评估得到对应的评估结果；

21、基于所述评估结果确定对应的指定metastore服务；

22、将所述指定metastore服务作为所述第一metastore服务。

23、进一步的，在所述搭建所述数据湖集群的第一数据存储节点组的步骤之后，还包括：

24、获取预设的映射服务构建策略；

25、基于所述映射服务构建策略，构建所述第一管理节点组与所述第一数据存储节点组之间的映射服务。

26、进一步的，在所述确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接的步骤之后，还包括：

27、获取与所述第一metastore服务对应的第一metastore服务远程访问链接编号；

28、基于所述第一metastore服务远程访问链接编号，设置所述原有生产集群的所有第一节点组在所述mysql数据库中对应的第一metastore服务远程访问链接；

29、获取与所述第二metastore服务对应的第二metastore服务远程访问链接编号；

30、基于所述第二metastore服务远程访问链接编号，设置所述数据湖集群的所有第二节点组在所述mysql数据库中对应的第二metastore服务远程访问链接。

31、进一步的，在所述基于所述第二metastore服务远程访问链接编号，设置所述数据湖集群的所有第二节点组在所述mysql数据库中对应的第二metastore服务远程访问链接的步骤之后，还包括：

32、判断是否接收到用户触发的与目标metastore服务远程访问链接对应的数据计算请求；其中，所述目标metastore服务远程访问链接包括所述第一metastore服务远程访问链接或所述第二metastore服务远程访问链接，所述数据计算请求携带查询数据标识；

33、若是，从所述数据计算请求中提取出所述查询数据标识；

34、从所述mysql数据库中获取与所述查询数据标识对应的目标数据表数据；

35、将所述目标数据表数据加载至预设的内存中进行计算处理，得到对应的计算结果；

36、将所述计算结果推送给所述用户。

37、为了解决上述技术问题，本技术实施例还提供一种集群部署装置，采用了如下所述的技术方案：

38、第一搭建模块，用于搭建预设的数据湖集群的第一管理节点组；

39、第二搭建模块，用于搭建所述数据湖集群的第一数据存储节点组；

40、部署模块，用于部署预设的mysql数据库；

41、第一处理模块，用于在原有生产集群的第二数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第二数据存储节点组中的第一元数据信息存储至所述mysql数据库内；

42、第二处理模块，用于确定与所述原有生产集群的所有第一节点组对应的第一metastore服务，并对所述第一metastore服务与所述mysql数据库建立连接；其中，所述第一节点组包括所述第二数据存储节点组以及所述原有生产集群的第二管理节点组；

43、第三处理模块，用于在所述数据湖集群的第一数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第一数据存储节点组中的第二元数据信息存储至所述mysql数据库内；

44、第四处理模块，用于确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接；其中，所述第二节点组包括所述第一数据存储节点组以及所述第一管理节点组。

45、为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：

46、搭建预设的数据湖集群的第一管理节点组；

47、搭建所述数据湖集群的第一数据存储节点组；

48、部署预设的mysql数据库；

49、在原有生产集群的第二数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第二数据存储节点组中的第一元数据信息存储至所述mysql数据库内；

50、确定与所述原有生产集群的所有第一节点组对应的第一metastore服务，并对所述第一metastore服务与所述mysql数据库建立连接；其中，所述第一节点组包括所述第二数据存储节点组以及所述原有生产集群的第二管理节点组；

51、在所述数据湖集群的第一数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第一数据存储节点组中的第二元数据信息存储至所述mysql数据库内；

52、确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接；其中，所述第二节点组包括所述第一数据存储节点组以及所述第一管理节点组。

53、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

54、搭建预设的数据湖集群的第一管理节点组；

55、搭建所述数据湖集群的第一数据存储节点组；

56、部署预设的mysql数据库；

57、在原有生产集群的第二数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第二数据存储节点组中的第一元数据信息存储至所述mysql数据库内；

58、确定与所述原有生产集群的所有第一节点组对应的第一metastore服务，并对所述第一metastore服务与所述mysql数据库建立连接；其中，所述第一节点组包括所述第二数据存储节点组以及所述原有生产集群的第二管理节点组；

59、在所述数据湖集群的第一数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第一数据存储节点组中的第二元数据信息存储至所述mysql数据库内；

60、确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接；其中，所述第二节点组包括所述第一数据存储节点组以及所述第一管理节点组。

61、与现有技术相比，本技术实施例主要有以下有益效果：

62、本技术实施例首先搭建预设的数据湖集群的第一管理节点组；以及搭建所述数据湖集群的第一数据存储节点组；然后部署预设的mysql数据库；之后在原有生产集群的第二数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第二数据存储节点组中的第一元数据信息存储至所述mysql数据库内；后续确定与所述原有生产集群的所有第一节点组对应的第一metastore服务，并对所述第一metastore服务与所述mysql数据库建立连接；进一步在所述数据湖集群的第一数据存储节点组的物理机上配置与所述mysql数据库对应的远程连接服务，并将所述第一数据存储节点组中的第二元数据信息存储至所述mysql数据库内；最后确定与所述数据湖集群的所有第二节点组对应的第二metastore服务，并将所述第二metastore服务与所述mysql数据库建立连接。本技术实施例通过基于存算分类的思想搭建数据湖集群的第一管理节点组与第一数据存储节点组，以实现数据湖集群的管理节点组与数据存储节点组的隔离部署，可以有效解决数据湖小文件给集群带来的风险，有效降低数据湖集群大量小文件给管理节点组带来的内存压力问题，提高生产集群的稳定性保障。另外，通过预设的mysql数据库的使用实现同时部署各自的元数据服务让数据湖集群与原有生产集群的元数据信息互通，从而达到节点隔离独立，但元数据共享互通的目的，以将数据湖集群的生产风险隔离在一个小范围内，从而实现有效保障集群生产的可用性以及稳定性。