ES跨多版本数据迁移的实现方法与流程

本发明涉及互联网技术领域，尤其涉及一种es跨多版本数据迁移的实现方法。

背景技术：

elasticsearch是一个基于lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于restfulweb接口。elasticsearch是用java开发的，并作为apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

现在，很多用户在对es数据迁移时不清楚数据迁移的方法，不能根据实际情况选择合适的数据迁移方式，从而不会数据迁移或者数据迁移效率不高。

为解决上述问题，本申请中提出一种es跨多版本数据迁移的实现方法。

技术实现要素：

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种es跨多版本数据迁移的实现方法。

(二)技术方案

为解决上述问题，本发明提供了一种es跨多版本数据迁移的实现方法，包括三种不同的实现方法，具体为es快照数据备份和恢复、拷贝es物理目录/文件和查询并导出数据。

优选的，采用所述es快照数据备份和恢复实现数据迁移，具体步骤如下：

(1)将新集群机器的目录远程mount到旧集群机器上；

(2)使用sshfs挂载目录或mountnfs挂载目录；

(3)创建es仓库；

(4)创建快照备份；

(5)查看备份的状态；

(6)等待备份完成后，取消挂载；

(7)在新集群中创建仓库使用restfulapi进行备份的数据恢复；

(8)查看恢复状态，直至恢复完成,完成数据迁移。

优选的，所述使用sshfs挂载目录的具体方法如下：在每台机器上安装sshfs；每台机器上创建mount共享目录；旧集群的每台机器上挂载共享目录(分别挂载了新机器的/opt/data07目录到/opt/backup_es)；测试运行es的用户是否有对共享目录的写权限；在旧机器上将共享目录的权限付给es的运行用户。

优选的，所述使用mountnfs挂载目录的具体方法如下：在新集群的机器上添加共享的文件夹和客户端可以访问的ip地址；查看共享文件夹；重启启动新集群机器的nfs服务；旧集群的每台机器上创建共享目录；旧集群机器上进行mount挂载；在旧机器上将共享目录的权限付给es的运行用户。

优选的，采用所述拷贝es物理目录/文件实现数据迁移，具体步骤如下：

(1)在磁盘中找到es文件的存储目录；

(2)根据集群名字找寻文件夹并拷贝；

(3)编写迁移代码；

(4)将数据入库到新的es集群中。

优选的，采用所述查询并导出数据实现数据迁移，具体步骤如下：

(1)根据es查询该es的api；

(2)根据该es的api编写程序；

(3)通过计算机程序将es数据导出csv文件；通过计算机程序将es数据查询出来；

(4)入库到新的es集群中。

优选的，采用所述查询并导出数据实现数据迁移时需要安装python的pyes模块。

本发明的上述技术方案具有如下有益的技术效果：

本发明中的es跨多版本数据迁移的实现方法包括了es快照数据备份和恢复、拷贝es物理目录/文件和查询并导出数据三种不同的实现方法，用户可根据不同的操作环境或数据信息进行不同的选择，使用方法灵活，给用户在进行数据迁移时带来方便。

附图说明

图1为本发明提出的es跨多版本数据迁移的实现方法中第一种方法的流程图。

图2为本发明提出的es跨多版本数据迁移的实现方法中第二种方法的流程图。

图3为本发明提出的es跨多版本数据迁移的实现方法中第三种方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明提出的一种es跨多版本数据迁移的实现方法，包括三种不同的实现方法，具体为es快照数据备份和恢复、拷贝es物理目录/文件和查询并导出数据。

如图1所示，一种es跨多版本数据迁移的实现方法，采用es快照数据备份和恢复实现数据迁移，具体步骤如下：

(1)将新集群机器的目录远程mount到旧集群机器上；

(2)使用sshfs挂载目录或mountnfs挂载目录；

(3)创建es仓库；

(4)创建快照备份；

(5)查看备份的状态；

(6)等待备份完成后，取消挂载；

(7)在新集群中创建仓库使用restfulapi进行备份的数据恢复；

(8)查看恢复状态，直至恢复完成,完成数据迁移。

在一个可选的实施例中，所述使用sshfs挂载目录的具体方法如下：在每台机器上安装sshfs；每台机器上创建mount共享目录；旧集群的每台机器上挂载共享目录(分别挂载了新机器的/opt/data07目录到/opt/backup_es)；测试运行es的用户是否有对共享目录的写权限；在旧机器上将共享目录的权限付给es的运行用户。

在一个可选的实施例中，所述使用mountnfs挂载目录的具体方法如下：在新集群的机器上添加共享的文件夹和客户端可以访问的ip地址；查看共享文件夹；重启启动新集群机器的nfs服务；旧集群的每台机器上创建共享目录；旧集群机器上进行mount挂载；在旧机器上将共享目录的权限付给es的运行用户。

如图2所示，一种es跨多版本数据迁移的实现方法，采用拷贝es物理目录/文件实现数据迁移，具体步骤如下：

(1)在磁盘中找到es文件的存储目录；

(2)根据集群名字找寻文件夹并拷贝；

(3)编写迁移代码；

(4)将数据入库到新的es集群中。

如图3所示，一种es跨多版本数据迁移的实现方法，采用查询并导出数据实现数据迁移，具体步骤如下：

(1)根据es查询该es的api；

(2)根据该es的api编写程序；

(3)通过计算机程序将es数据导出csv文件；通过计算机程序将es数据查询出来；

(4)入库到新的es集群中。

在一个可选的实施例中，采用所述查询并导出数据实现数据迁移时需要安装python的pyes模块。

本发明中的es跨多版本数据迁移的实现方法包括了es快照数据备份和恢复、拷贝es物理目录/文件和查询并导出数据三种不同的实现方法，用户可根据不同的操作环境或数据信息进行不同的选择，使用方法灵活，给用户在进行数据迁移时带来方便。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。