本发明涉及大数据,尤其涉及一种时空大数据引擎的部署方法、装置、设备以及存储介质。
背景技术:
1、随着信息技术的飞速发展,数据资源已成为国家的重要基础战略资源之一,新一代信息技术的不断创新发展为时空大数据的发展创造了新条件,但同时也对时空大数据技术提出了新的要求。时空大数据引擎功能正是以时空大数据技术为基础,对时空大数据进行处理,通过其高效的索引能力和强大的分析处理能力,实现时空大数据的快速查询和分析,为用户提供稳定高效的时空大数据的接入、管理、查询分析和业务开发等功能。
2、但是时空大数据引擎的部署与更新对运维人员有较高的技术要求,时空大数据引擎架构由负载均衡层、门户层、托管服务层、模型算法层、时空分析挖掘层、数据库服务层和时空存储层这7个区域组成,现有技术一般通过运维人员在gis基础软件中人工逐层进行部署,来构建时空大数据引擎。人工的部署方法需要运维人员预先准备好引擎软件包及gis组件依赖项,然后在每台服务器上逐个安装或升级,并手动修改相应的配置,以人工的方式验证引擎软件和配置文件是否正确,这种部署方法相当繁琐,当存在大量需要部署的服务器时,部署效率较低且容易出错。因此,我们亟需一种时空大数据引擎的部署方法,进行自动化部署,提高时空大数据引擎的部署效率和准确率。
技术实现思路
1、本发明提供了一种时空大数据引擎的部署方法、装置、设备以及存储介质,以解决在现有的时空大数据引擎的部署方法中,部署效率较低且容易出错的技术问题。
2、为了解决上述技术问题,本发明实施例提供了一种时空大数据引擎的部署方法,包括:
3、获取时空大数据引擎的部署文件和配置文件;其中,所述部署文件包括:待部署服务器的ip地址,待部署引擎软件的名称、gis组件依赖项、待部署引擎软件的源路径、待部署引擎软件的安装路径和待部署引擎软件的安装脚本;所述配置文件包括:各个配置区域所对应的运行配置脚本;
4、根据所述待部署服务器的ip地址以及待部署引擎软件的名称,获取待部署引擎软件和gis组件依赖项的安装包,继而将所述安装包发送至待部署引擎软件的源路径中;
5、根据所述待部署服务器的ip地址,向待部署服务器发送预设的部署环境设置指令,以使待部署服务器根据所述部署环境设置指令,设置相应的部署环境;
6、根据所述待部署服务器的ip地址,向待部署服务器发送包含待部署引擎软件的安装脚本和待部署引擎软件的安装路径的安装指令,以使所述待部署服务器根据待部署引擎软件的源路径提取所述安装包,根据待部署引擎软件的安装脚本和所述安装包,将待部署引擎软件和gis组件依赖项安装至所述待部署引擎软件的安装路径中;
7、根据所述待部署服务器所对应的配置区域,从所述配置文件中提取所述待部署服务器所对应的目标运行配置脚本;
8、根据所述待部署服务器的ip地址,向待部署服务器发送包含所述目标运行配置脚本的运行配置指令,以使所述待部署服务器根据所述目标运行配置脚本,在所对应的配置区域中配置相应的运行环境。
9、作为优选方案,所述配置区域包括:负载均衡层、门户层、托管服务层、模型算法层、时空分析挖掘层、数据库服务层和时空存储层。
10、作为优选方案,所述部署环境设置指令,包括:创建用户和用户组指令、节点时钟同步指令、关闭服务器防火墙指令、禁止防火墙开机自启动指令、关闭selinux指令、创建配置文件nfs共享目录指令、创建本地源仓库指令、设置limits指令以及设置vm.swappiness指令;
11、所述根据所述部署环境设置指令,设置相应的部署环境,包括:
12、根据所述创建用户和用户组指令,在本地服务器上创建用户和用户组;
13、根据所述节点时钟同步指令,设置服务器的节点时钟同步;
14、根据所述关闭服务器防火墙指令,关闭服务器的防火墙;
15、根据所述禁止防火墙开机自启动指令,设置服务器的防火墙禁止开机自启动;
16、根据所述关闭selinux指令,关闭服务器的selinux;
17、根据所述创建配置文件nfs共享目录指令,在本地服务器上创建配置文件nfs共享目录;
18、根据所述创建本地源仓库指令,在本地服务器上创建本地源仓库;
19、根据所述设置limits指令,对服务器的limits进行设置;
20、根据所述设置vm.swappiness指令,对服务器的vm.swappiness进行设置。
21、作为优选方案,所述安装指令还包括:oracle jdk安装包;
22、在所述待部署服务器根据待部署引擎软件的源路径提取所述安装包,根据待部署引擎软件的安装脚本和所述安装包,将待部署引擎软件和gis组件依赖项安装至所述待部署引擎软件的安装路径中之前,还包括:
23、待部署服务器根据所述安装指令提取所述oracle jdk安装包,根据所述oraclejdk安装包卸载本地服务器中的open jdk并安装oracle jdk。
24、作为优选方案,所述目标运行配置脚本,包括:第一运行配置脚本和第二运行配置脚本;
25、所述待部署服务器根据所述目标运行配置脚本,在所对应的配置区域中配置相应的运行环境,包括:
26、待部署服务器根据所述第一运行配置脚本,在本地服务器中配置相应的运行环境;
27、待部署服务器根据所述第二运行配置脚本,在所对应的配置区域中配置待部署服务器与在同一配置区域内的其他待部署服务器之间的引擎集群关系、gis组件依赖关系和数据库主从热备关系的运行环境。
28、作为优选方案,在所述待部署服务器根据所述目标运行配置脚本,在所对应的配置区域中配置相应的运行环境之后,还包括:
29、获取时空大数据引擎的测试文件;其中,所述测试文件包括:待测试服务器的ip地址、待测试引擎软件的名称、各配置区域内的集群端口号以及各待测试服务器之间的引擎集群关系、gis组件依赖关系和数据库主从热备关系;
30、根据所述测试文件对待部署服务器进行测试,判断待部署服务器的待部署引擎软件和gis组件依赖项是否安装正确、待部署服务器的本地服务器中对应的运行配置脚本以及待部署服务器与在同一配置区域内的其他待部署服务器之间的引擎集群关系、gis组件依赖关系和数据库主从热备关系的运行配置脚本是否配置正确。
31、在上述实施例的基础上,本发明另一实施例提供了一种时空大数据引擎的部署装置,其特征在于,包括:文件获取模块、安装包发送模块、部署环境设置模块、安装包安装模块、目标运行配置脚本提取模块以及运行环境配置模块;
32、所述文件获取模块,用于获取时空大数据引擎的部署文件和配置文件;其中,所述部署文件包括:待部署服务器的ip地址,待部署引擎软件的名称、gis组件依赖项、待部署引擎软件的源路径、待部署引擎软件的安装路径和待部署引擎软件的安装脚本;所述配置文件包括:各个配置区域所对应的运行配置脚本;
33、所述安装包发送模块,用于根据所述待部署服务器的ip地址以及待部署引擎软件的名称,获取待部署引擎软件和gis组件依赖项的安装包,继而将所述安装包发送至待部署引擎软件的源路径中;
34、所述部署环境设置模块,用于根据所述待部署服务器的ip地址,向待部署服务器发送预设的部署环境设置指令,以使待部署服务器根据所述部署环境设置指令,设置相应的部署环境;
35、所述安装包安装模块,用于根据所述待部署服务器的ip地址,向待部署服务器发送包含待部署引擎软件的安装脚本和待部署引擎软件的安装路径的安装指令,以使所述待部署服务器根据待部署引擎软件的源路径提取所述安装包,根据待部署引擎软件的安装脚本和所述安装包,将待部署引擎软件和gis组件依赖项安装至所述待部署引擎软件的安装路径中;
36、所述目标运行配置脚本提取模块,用于根据所述待部署服务器所对应的配置区域,从所述配置文件中提取所述待部署服务器所对应的目标运行配置脚本;
37、所述运行环境配置模块,用于根据所述待部署服务器的ip地址,向待部署服务器发送包含所述目标运行配置脚本的运行配置指令,以使所述待部署服务器根据所述目标运行配置脚本,在所对应的配置区域中配置相应的运行环境。
38、作为优选方案,所述时空大数据引擎的部署装置,还包括:测试模块;
39、所述测试模块,用于获取时空大数据引擎的测试文件;其中,所述测试文件包括:待测试服务器的ip地址、待测试引擎软件的名称、各配置区域内的集群端口号以及各待测试服务器之间的引擎集群关系、gis组件依赖关系和数据库主从热备关系;
40、根据所述测试文件,对待部署服务器进行测试,判断待部署服务器的待部署引擎软件和gis组件依赖项是否安装正确、待部署服务器的本地服务器中对应的运行配置脚本以及待部署服务器与在同一配置区域内的其他待部署服务器之间的引擎集群关系、gis组件依赖关系和数据库主从热备关系的运行配置脚本是否配置正确。
41、在上述实施例的基础上,本发明又一实施例提供了一种时空大数据引擎的部署设备,所述设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述发明实施例所述的时空大数据引擎的部署方法。
42、在上述实施例的基础上,本发明又一实施例提供了一种存储介质,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的时空大数据引擎的部署方法。
43、相比于现有技术,本发明实施例具有如下有益效果:
44、在本发明中,获取时空大数据引擎的部署文件和配置文件;根据所述待部署服务器的ip地址以及待部署引擎软件的名称,获取待部署引擎软件和gis组件依赖项的安装包,继而将所述安装包发送至待部署引擎软件的源路径中;控制各待部署服务器设置相应的部署环境;继而控制待部署服务器根据待部署引擎软件的源路径提取安装包,根据待部署引擎软件的安装脚本和所述安装包,将待部署引擎软件和gis组件依赖项安装至所述待部署引擎软件的安装路径中;控制部署服务器根据目标运行配置脚本,在所对应的配置区域中配置相应的运行环境。
45、通过本发明,无需运维人员按照预先准备好的引擎软件包及gis组件依赖项,人工在每台服务器上逐个安装并配置运行环境,只需获取时空大数据引擎的部署文件和配置文件,根据所述部署文件和配置文件控制各待部署服务器自动安装所需的引擎软件包及gis组件依赖项,并配置运行环境,即可完成时空大数据引擎的部署,实现了时空大数据引擎的自动化部署,提高了时空大数据引擎的部署效率和准确率。