向hadoop集群提交作业的方法、设备和系统与流程

文档序号:18238710发布日期:2019-07-24 08:52阅读:来源:国知局

技术特征:

1.一种hadoop集群中的管理设备,其特征在于,包括:第一处理模块;

所述第一处理模块,用于当集成开发环境IDE设备需要向处于不同网络环境中的hadoop集群提交作业时,通过与所述IDE设备进行协作,打通所述IDE设备和所述hadoop集群所处的网络环境,并将所述IDE设备提交的作业转发给所述hadoop集群中运行所述作业的工作设备;

其中,所述hadoop集群处于虚拟私有云VPC子网中;

所述打通后的网络环境包括:虚拟专用网络VPN子网。

2.根据权利要求1所述的管理设备,其特征在于,

所述第一处理模块中包括:VPN服务端单元和VPC处理单元;

所述VPN服务端单元,用于通过公网地址与所述IDE设备中的VPN客户端单元建立连接,构建出一个VPN子网,并向所述VPN客户端单元返回所述VPC子网的网段地址以及所述VPN服务端单元的VPN子网地址,以便所述VPN客户端单元构建以下路由:目的地址为所述VPC子网的网段地址的报文均发往所述VPN服务端单元的VPN子网地址;

所述VPN服务端单元上设置有iptables规则,按照所述规则,将所有源地址为所述VPN子网的网段地址且目的地址为所述工作设备的VPC子网地址的报文,均发往所述VPC处理单元;

所述VPC处理单元具有转发功能,将接收自所述VPN服务端单元的、所述IDE设备中的IDE模块通过所述VPN客户端单元提交的作业,转发给所述hadoop集群中运行所述作业的工作设备。

3.根据权利要求2所述的管理设备,其特征在于,

所述管理设备中进一步包括:域名服务模块;

所述域名服务模块,用于分别保存所述管理设备和所述工作设备的域名及对应的VPC子网地址;当接收到所述IDE模块通过所述VPN客户端单元和所述VPN服务端单元发送来的所述管理设备的域名时,将所述管理设备的域名对应的VPC子网地址返回给所述IDE模块;当接收到所述IDE模块通过所述VPN客户端单元和所述VPN服务端单元发送来的运行所述作业的工作设备的域名时,将运行所述作业的工作设备的域名对应的VPC子网地址返回给所述IDE模块;

所述VPN服务端单元进一步用于,将源地址为所述VPN子网的网段地址且目的地址为所述管理设备的VPC子网地址的报文,发往所述VPC处理单元;

所述VPC处理单元进一步用于,当接收到所述IDE模块通过所述VPN客户端单元和所述VPN服务端单元发送来的所述作业的参数信息时,通过对所述作业的参数信息进行分析,确定出运行所述作业的工作设备,并将运行所述作业的工作设备的域名返回给所述IDE模块。

4.一种集成开发环境IDE设备,其特征在于,包括:IDE模块和第二处理模块;

所述第二处理模块,用于当需要向处于不同网络环境中的hadoop集群提交作业时,通过与所述hadoop集群中的管理设备进行协作,打通所述IDE设备和所述hadoop集群的网络环境;

所述IDE模块,用于将生成的作业提交给所述hadoop集群中运行所述作业的工作设备;

其中,所述hadoop集群处于虚拟私有云VPC子网中;

所述打通后的网络环境包括:虚拟专用网络VPN子网。

5.根据权利要求4所述的IDE设备,其特征在于,

所述第二处理模块中包括:VPN客户端单元;

所述VPN客户端单元,用于通过公网地址与所述管理设备中的VPN服务端单元建立连接,构建出一个VPN子网,并根据所述VPN服务端单元返回的所述VPC子网的网段地址以及所述VPN服务端单元的VPN子网地址构建以下路由:目的地址为所述VPC子网的网段地址的报文均发往所述VPN服务端单元的VPN子网地址;

其中,所述VPN服务端单元上设置有iptables规则,按照所述规则,将所有源地址为所述VPN子网的网段地址且目的地址为所述工作设备的VPC子网地址的报文,均发往所述管理设备中的VPC处理单元,所述VPC处理单元具有转发功能,将接收自所述VPN服务端单元的、所述IDE模块通过所述VPN客户端单元提交的作业,转发给所述hadoop集群中运行所述作业的工作设备。

6.根据权利要求5所述的IDE设备,其特征在于,

所述IDE模块进一步用于,

通过所述VPN客户端单元和所述VPN服务端单元,将所述管理设备的域名发送给所述管理设备中的域名服务模块,并接收所述域名服务模块返回的所述管理设备的域名对应的VPC子网地址;

根据所述管理设备的域名对应的VPC子网地址,将所述作业的参数信息发送给所述VPC处理单元,并接收所述VPC处理单元对所述作业的参数信息进行分析后返回的运行所述作业的工作设备的域名;

将运行所述作业的工作设备的域名发送给所述域名服务模块,并接收所述域名服务模块返回的运行所述作业的工作设备的域名对应的VPC子网地址,根据运行所述作业的工作设备的VPC子网地址,将所述作业提交给运行所述作业的工作设备。

7.一种向hadoop集群提交作业的系统,其特征在于,包括:

如权利要求1~3中任一项所述的管理设备,以及,如权利要求4~6中任一项所述的IDE设备。

8.一种向hadoop集群提交作业的方法,其特征在于,包括:

当集成开发环境IDE设备需要向处于不同网络环境中的hadoop集群提交作业时,所述hadoop集群中的管理设备通过与所述IDE设备进行协作,打通所述IDE设备和所述hadoop集群所处的网络环境,并将所述IDE设备提交的作业转发给所述hadoop集群中运行所述作业的工作设备;

其中,所述hadoop集群处于虚拟私有云VPC子网中;

所述打通后的网络环境包括:虚拟专用网络VPN子网。

9.根据权利要求8所述的方法,其特征在于,

所述打通所述IDE设备和所述hadoop集群的网络环境,并将所述IDE设备提交的作业转发给所述hadoop集群中运行所述作业的工作设备包括:

所述管理设备通过公网地址与所述IDE设备建立连接,构建出一个VPN子网,并向所述IDE设备返回所述VPC子网的网段地址以及所述管理设备的VPN子网地址,以便所述IDE设备构建以下路由:目的地址为所述VPC子网的网段地址的报文均发往所述管理设备的VPN子网地址;

所述管理设备上设置有iptables规则,按照所述规则,将所有源地址为所述VPN子网的网段地址且目的地址为所述工作设备的VPC子网地址的报文均发往所述管理设备的VPC子网地址,且所述管理设备开启有转发功能,能够将发往所述管理设备的VPC子网地址的、所述IDE设备提交给运行所述作业的工作设备的作业转发给运行所述作业的工作设备。

10.一种向hadoop集群提交作业的方法,其特征在于,包括:

当IDE设备需要向处于不同网络环境中的hadoop集群提交作业时,通过与所述hadoop集群中的管理设备进行协作,打通与所述hadoop集群的网络环境,并将生成的作业提交给所述hadoop集群中运行所述作业的工作设备;

其中,所述hadoop集群处于虚拟私有云VPC子网中;

所述打通后的网络环境包括:虚拟专用网络VPN子网。

11.根据权利要求10所述的方法,其特征在于,

所述打通与所述hadoop集群的网络环境,并将生成的作业提交给所述hadoop集群中运行所述作业的工作设备包括:

所述IDE设备通过公网地址与所述管理设备建立连接,构建出一个VPN子网,并根据所述管理设备返回的所述VPC子网的网段地址以及所述管理设备的VPN子网地址构建以下路由:目的地址为所述VPC子网的网段地址的报文均发往所述管理设备的VPN子网地址;

其中,所述管理设备上设置有iptables规则,按照所述规则,将所有源地址为所述VPN子网的网段地址且目的地址为所述工作设备的VPC子网地址的报文均发往所述管理设备的VPC子网地址,且所述管理设备开启有转发功能,能够将发往所述管理设备的VPC子网地址的、所述IDE设备提交给运行所述作业的工作设备的作业转发给运行所述作业的工作设备。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1