技术特征：
1.一种基于vpc网络的大数据任务调度系统，其特征在于，包括：调度器和执行器，所述调度器部署在web的vpc网络，所述执行器部署在emr集群的vpc网络，所述web的vpc网络和所述emr集群的vpc网络相互隔离，其中，所述执行器用于封装大数据组件服务的相关操作，所述调度器用于基于netty与所述执行器建立远程通信，并根据所述远程通信调用所述执行器以实现将所述大数据任务提交到所述emr集群。2.根据权利要求1所述的基于vpc网络的大数据任务调度系统，其特征在于，所述执行器具体用于：定义底层的操作接口，其中，所述操作接口中包括操作大数据组件服务的方案；基于所述操作接口对相应的大数据组件服务完成接口实现；根据对应的大数据组件服务的接口实现对相应的目标对象进行实例化，并封装到operator的代理对象operatorproxy中；管理所述代理对象operatorproxy，并根据所述代理对象operatorproxy调用相应的大数据组件服务。3.根据权利要求1所述的基于vpc网络的大数据任务调度系统，其特征在于，所述调度器具体用于：根据需要操作的大数据组件服务发起远程通信请求；通过远程通信客户端将数据传输的方法和参数封装成相应的消息体；通过所述远程通信客户端将所述消息体进行编码，并将编码后的消息体发送至远程通信服务端；通过所述远程通信服务端对所述编码后的消息体进行解码，并根据解码结果在所述执行器中调用对应的大数据组件服务，并接收所述大数据组件服务的执行结果；通过所述远程通信服务端将所述大数据组件服务的执行结果进行编码，并将编码后的大数据组件服务的执行结果发送给所述远程通信客户端；通过所述远程通信客户端对编码后的大数据组件服务的执行结果进行解码，以获取最终的服务调用结果。4.根据权利要求1所述的基于vpc网络的大数据任务调度系统，其特征在于，所述调度器具体还用于：接收外部发送的任务提交请求；根据所述任务提交请求通过所述远程通信调用所述执行器的第一大数据组件服务以上传任务相关资源至hdfs，并接收所述执行器的第一反馈结果；根据所述第一反馈结果调用所述执行器的第二大数据组件服务以获取yarn的计算资源情况，并接收所述执行器的第二反馈结果；根据所述第二反馈结果调用所述执行器的第三大数据组件服务以将任务提交到yarn，并接收所述执行器的第三反馈结果。5.一种基于vpc网络的大数据任务调度系统的控制方法，其特征在于，所述大数据任务调度系统包括：调度器和执行器，所述调度器部署在web的vpc网络，所述执行器部署在emr集群的vpc网络，所述web的vpc网络和所述emr集群的vpc网络相互隔离，所述控制方法包括以下步骤：通过执行器封装大数据组件服务的相关操作；
通过调度器基于netty与所述执行器建立远程通信，并根据所述远程通信调用所述执行器以实现将所述大数据任务提交到所述emr集群。6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求5所述的基于vpc网络的大数据任务调度系统的控制方法。7.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求5所述的基于vpc网络的大数据任务调度系统的控制方法。
技术总结
本发明提供了一种基于VPC网络的大数据任务调度系统及其控制方法，其中，该系统包括：调度器和执行器，调度器部署在WEB的VPC网络，执行器部署在EMR集群的VPC网络，WEB的VPC网络和EMR集群的VPC网络相互隔离，其中，执行器用于封装大数据组件服务的相关操作，调度器用于基于Netty与执行器建立远程通信，并根据远程通信调用执行器以实现将大数据任务提交到EMR集群。由此，统一了对EMR集群的访问入口，减少了服务相互依赖调用的复杂度，并且通过调度器与执行器之间远程通信调用实现降低了WEB和EMR集群这两个VPC网络之间需要映射的端口数量。集群这两个VPC网络之间需要映射的端口数量。集群这两个VPC网络之间需要映射的端口数量。
技术研发人员：赵章万
受保护的技术使用者：杭州玳数科技有限公司
技术研发日：2022.03.03
技术公布日：2022/6/28