一种Taurus项目快速搭建构造方法
【技术领域】
[0001]本发明公开一种Taurus项目快速搭建构造方法，属于大数据平台管理领域。
【背景技术】
[0002]Taurus是一个基于开源项目Ambari的大数据平台管理系统，是调度系统，通过时间依赖与任务依赖，触发任务的执行，并通过任务间的依赖管理将任务组织成工作流；支持Hadoop/Hive Job、Spring容器里的任务及一般性任务的调度/监控。Taurus的主节点称为Master，Web界面与Master在一起。用户在Web界面上创建任务后，写入MySQL做持久化存储，当Master判断任务触发的条件满足时，则从MySQL中读出任务信息，写入ZooKeeper ；Agent部署在用户的机器上，观察ZooKeeper上的变化，获得任务信息，启动任务。目前很多用户，希望调度系统不仅可以调度Hadoop任务，也可以调度单机任务，甚至Spring容器里的任务，就需要使用Taurus，但Taurus开发过程中，需要不断对源代码进行编译，调试。编译的时间将会按照小时进行计算，如果网络环境不理想，将会达到数小时。通过对各模块编译时间的观察也发现因为Taurus是一个相对比较大的项目，所以依赖的其他大数据组件很多也很大，所以每次编译下载很费时间，尤其是项目组每个人在测试编译的时候都需要从远端服务器下载，更加费时。本发明提供一种Taurus项目快速搭建构造方法，采用Maven (http://maven.apache, org/)进行项目管理的。
【发明内容】
[0003]本发明针对Taurus是一个相对比较大的项目，依赖其他大数据组件很多也很大，所以每次编译下载很费时间，尤其是项目组每个人在测试编译的时候都需要从远端服务器下载，更加费时的问题，提供一种Taurus项目快速搭建构造方法，实现利用本发明方法快速搭建和修改Taurus，将Taurus最后编译过程时间由原来的几小时甚至数十小时，减少到数十分钟。
[0004]本发明提出的具体方案是:
一种Taurus项目快速搭建构造方法，具体步骤为:
①测试Taurus项目编译时间，利用Linux提供的时间记录机制，多次测试Taurus源码编译的时间，并将编译时间分段，对各个编译段的时间取平均值，查看占用时间最多的编译段;
②构建本地Maven依赖服务器，对私有服务器进行部署，下载私有服务器，安装完成后通过网页部分进行配置；
③根据Maven的要求将Taurus中的Pom.xml文件进行修改，根据步骤①占用时间最多的编译段，修改的模块有server和agent编译模块；
需要修改的项目有〈repositories〉〈repository〉私有服务器地址配置项〈/repository) 〈/repositories〉；
<pluginRepositories> <pluginRepository> 私有服务器地址配置项〈/PIuginRepository> </pIuginRepositories> ；
将上述修改指向步骤②中部署的私有服务器；
④Taurus搭建，通过上述私有服务器的部署和Taurus中的Pom.xml文件的修改，继续按照提示操作完成Taurus搭建编译即可。
[0005]所述的步骤②中部署的私有服务器是Nexus或者Archiva或者Artifactory。
[0006]所述的步骤②中部署的私有服务器是Nexus时，有两种安装方式，一种是自带jetty容器，另一种不带jetty容器；当安装为不带jetty容器的Nexus，需要将下载的war包放到服务器中，当安装为带有jetty服务器的Nexus，可直接运行启动。
[0007]所述的步骤③中还包括修改镜像指向来修改〈mirrorsXmirror〉私服地址配置项 </mirror>〈/mirrors>0
[0008]本发明的有益之处是:本发明提供一种Taurus项目快速搭建构造方法，针对Taurus是一个相对比较大的项目，依赖其他大数据组件很多也很大，所以每次编译下载很费时间，尤其是项目组每个人在测试编译的时候都需要从远端服务器下载，更加费时的问题，建立相应的Maven私有服务器仓库，查找并修改Taurus源码中最占用时间并且依赖下载的部分代码，并对其进行修复，改为指向私有服务器仓库下载，从而使Taurus搭建编译时间大幅度缩短，加快了搭建编译的速度，有利于提高工作效率。
【附图说明】
[0009]图1 Taurus原搭建依赖获取示意图；
图2本发明Taurus搭建依赖获取示意图。
【具体实施方式】
[0010]结合附图，对本发明做具体的阐述。
[0011]参看图1显示了原有的Taurus编译时的资源获取。
[0012]所需环境为:
JDK1.6.0及以上；
Apache Maven3.0.5 ；
Python2.6，通过命令 sh setuptools- 0.6cll_py2.6.egg 可进行安装;
RpmbuiId，Taurus 编译称为 RPM 包； g++，(gcc-c++ 包，gcc 的 c++编译器；
NodeJS,通过两个命令node和npm来测试是否安装成功；
Brunch 1.7.13 ；
在保证前面所需环境之后，下面可以进行Taurus项目的编译: tar xfvz Taurus-1.0.tar.gz cd Taurusl.0
mvn vers1ns: set -DnewVers1n=L 5.1
mvn -B clean install package rpm:rpm -DnewVers1n=L 5.1 -DskipTests-Dpython.ver = 〃python >= 2.6〃
如果以上运行无误的话，你将会得到Taurus的一个RPM安装包，即可进行相应的部署。只按照以上步骤进行编译，编译的时间将会按照小时进行计算，十分费时，测试编译的时候都从远端服务器下载，更加费时。
[0013]本发明中需选定所要使用的私有服务器构建软件。有三种用于Maven仓库管理:Apache 基金会的 Archiva ；JFrog 的 Artifactory 和 Sonatype 的 Nexus。其中，Archiva 是开源的，Artifactory和Nexus的核心也是开源的。参看图2，在图中将私有服务器仓库简称为私服仓库，以Nexus私有服务器仓库为例，本发明一种Taurus项目快速搭建构造方法，具体步骤为:
①测试Taurus项目编译时间，利用Linux提供的时间记录机制，多次测试Taurus源码编译的时间，并将编译时间分段，对各个编译段的时间取平均值，查看占用时间最多的编译段;
②构建本地Maven依赖服务器，对私有服务器进行部署，下载，有两种安装方式，一种是自带jetty容器，另一种不带jetty容器；当安装为不带jetty容器的Nexus，需要将下载的war包放到服务器中，当安装为带有jetty服务器的Nexus，可直接运行启动；Nexus私有服务器，安装完成后通过网页部分进行配置；
③根据Maven的要求将Taurus中的Pom.xml文件进行修改，根据步骤①占用时间最多的编译段，修改的模块有server和agent编译模块；
需要修改的项目有〈repositories〉〈repository〉私有服务器地址配置项〈/repository) 〈/repositories〉；
<pluginRepositories> <pluginRepository> 私有服务器地址配置项〈/PIuginRepository> </pIuginRepositories> ；
修改镜像指向来修改〈mirrorsXmirror〉私服地址配置项</mirror>〈/mirrors> ；
将上述修改指向步骤②中部署的私有服务器；
④Taurus搭建，通过上述私有服务器的部署和Taurus中的Pom.xml文件的修改，继续按照提示操作完成Taurus搭建编译即可。
[0014]从图1，图2中对比可看出，Taurus搭建编译的过程从远程仓库下载转移到了从私有服务器仓库下载，避开了占用时间较长的Taurus源码部分，使Taurus搭建编译的速度得以加快。
【主权项】
1.一种Taurus项目快速搭建构造方法，其特征是具体步骤为: ①测试Taurus项目编译时间，利用Linux提供的时间记录机制，多次测试Taurus源码编译的时间，并将编译时间分段，对各个编译段的时间取平均值，查看占用时间最多的编译段; ②构建本地Maven依赖服务器，对私有服务器进行部署，下载私有服务器，安装完成后通过网页部分进行配置； ③根据Maven的要求将Taurus中的Pom.xml文件进行修改，根据步骤①占用时间最多的编译段，修改的模块有server和agent编译模块； 需要修改的项目有〈repositories〉〈repository〉私有服务器地址配置项〈/repository) 〈/repositories〉； <pluginRepositories> <pluginRepository> 私有服务器地址配置项〈/PIuginRepository> </pIuginRepositories> ； 将上述修改指向步骤②中部署的私有服务器； ④Taurus搭建，通过上述私有服务器的部署和Taurus中的Pom.xml文件的修改，继续按照提示操作完成Taurus搭建编译即可。
2.根据权利要求1所述的一种Taurus项目快速搭建构造方法，其特征是所述的步骤②中部署的私有服务器是Nexus或者Archiva或者Artifactory。
3.根据权利要求2所述的一种Taurus项目快速搭建构造方法，其特征是所述的步骤②中部署的私有服务器是Nexus时，有两种安装方式，一种是自带jetty容器，另一种不带jetty容器；当安装为不带jetty容器的Nexus，需要将下载的war包放到服务器中，当安装为带有jetty服务器的Nexus，可直接运行启动。
4.根据权利要求1-3任一项所述的一种Taurus项目快速搭建构造方法，其特征是所述的步骤③中还包括修改镜像指向来修改〈mirrorsXmirror〉私服地址配置项〈/mirrorX/mirrors>0
【专利摘要】本发明公开一种Taurus项目快速搭建构造方法，属于大数据平台管理领域，具体步骤为：①构建本地Maven依赖服务器，对私有服务器进行部署，下载私有服务器，安装完成后通过网页部分进行配置；②按照Maven的要求将Taurus中的Pom.xml文件进行修改，将上述修改指向步骤①中部署的私有服务器；③Taurus搭建，通过上述私有服务器的部署和Taurus中的Pom.xml文件的修改，继续按照提示操作完成Taurus搭建编译即可；利用本发明方法实现快速搭建和修改Taurus，将Taurus最后编译过程时间由原来的几小时甚至数十小时，减少到数十分钟。
【IPC分类】G06F9-45
【公开号】CN104572236
【申请号】CN201510007610
【发明人】王斌, 吴楠
【申请人】浪潮电子信息产业股份有限公司
【公开日】2015年4月29日
【申请日】2015年1月7日