一种基于云平台的调度方法及系统与流程

技术特征：
1.一种基于云平台的调度方法，其特征在于，包括：用户应用程序发送任务请求至管理器，管理器把任务请求中的任务转换成预设的格式，并将任务请求提交给高速调度器；高速调度器根据任务请求的大小计算出资源请求，并把资源请求发送给资源获取/释放器；资源获取/释放器根据资源请求的大小来获取或释放资源，若资源请求超过当前高速调度器的负载，则资源获取/释放器获取资源，并将获取的资源作为运行器分配给高速调度器；若资源请求小于当前高速调度器的负载，则资源获取/释放器释放运行器为空闲的云资源；运行器在启动时由外网服务器获得外网地址和端口，然后向高速调度器注册；高速调度器根据调度机制将所述任务请求分配给所述运行器，运行器执行并完成任务，并通过高速调度器将完成的任务提交给管理器，管理器再将其提交给用户应用程序，所述高速调度器设置有一个全局缓存，每个所述运行器设置有一个局部缓存，所述全局缓存和局部缓存组成多级缓存；其中，所述调度机制包含基于任务相关性的调度算法，所述任务请求与之前的任务请求具有相关性，该任务请求被分配到执行所述之前的任务请求的运行器；或者所述调度机制包含以下几种调度算法：a、选择第一个可用的运行器：这种算法并不考虑任务之间的数据相关性，当新任务到达时，直接选取一个可用的运行器，并把任务分配到该运行器，在这种情况下，我们需要把任务所需的数据都传输到运行器上；b、选择缓存命中最大的运行器：把任务分配到存有任务所需数据最多的运行器上，如果该运行器忙的话，就一直等待它运算完为止，这种算法能把数据传输减小到最小，但可能会减低资源利用效率，因为运行器上所存的数据分布不一定是均匀的；c、最大运算效率：这种算法尽量最大化资源利用效率，哪怕是要多花些时间在传输上面，基本上它也是考虑下一个可用运行器，但会优先选择存有较多任务所需数据的运行器，这样不需要等待繁忙的运行器；d、混合模式：结合b和c两种调度算法，设定一个资源利用效率的阈值，如果在阈值之上，就采用调度算法b，否则采用调度算法c。2.根据权利要求1所述的一种基于云平台的调度方法，其特征在于，所述高速调度器之前还设置有任务均衡器，用户应用程序发送任务请求至任务均衡器，任务均衡器根据多个高速调度器的状态，均衡的分配任务请求到高速调度器，高速调度器再把其所分配到的任务请求分配到其所对应的运行器。3.一种基于云平台的调度系统，其特征在于，包括高速调度器、资源获取/释放器、运行器，该系统的工作流程为：用户应用程序发送任务请求至管理器，管理器把任务请求中的任务转换成预设的格式，并将任务请求提交给高速调度器；高速调度器根据任务请求的大小计算出资源请求，并把资源请求发送给资源获取/释放器；资源获取/释放器根据资源请求的大小来获取或释放资源，若资源请求超过当前高速调度器的负载，则资源获取/释放器获取资源，并将获取的资源作为运行器分配给高速调度器；若资源请求小于当前高速调度器的负载，则资源获取/释放器释放运行器为空闲的云资源，其中，所述高速调度器的调度机制包含基于任务相关性的调度算法，所述任务请求与之前的任务请求具有相关性，该任务请求被分配到执行所述之前的任务请求的运行器；或者所述高速调度器的调度机制还包含以下几种调度算法：a、选择第一个可用的运行器：这种算法并不考虑任务之间的数据相关性，当新任务到达时，直接选取一个可用的运行器，并把任务分配到该运行器，在这种情况下，我们需要把任务所需的数据都传输到运行器上；b、选择缓存命中最大的运行器：把任务分配到存有任务所需数据最多的运行器上，如果该运行器忙的话，就一直等待它运算完为止，这种算法能把数据传输减小到最小，但可能会减低资源利用效率，因为运行器上所存的数据分布不一定是均匀的；c、最大运算效率：这种算法尽量最大化资源利用效率，哪怕是要多花些时间在传输上面，基本上它也是考虑下一个可用运行器，但会优先选择存有较多任务所需数据的运行器，这样不需要等待繁忙的运行器；d、混合模式：结合b和c两种调度算法，设定一个资源利用效率的阈值，如果在阈值之上，就采用调度算法b，否则采用调度算法c；所述高速调度器设置有一个全局缓存，每个所述运行器设置有一个局部缓存，所述全局缓存和局部缓存组成多级缓存；运行器在启动时由外网服务器获得外网地址和端口，然后向高速调度器注册；高速调度器根据调度机制将所述任务请求分配给所述运行器，运行器执行并完成任务，并通过高速调度器将完成的任务提交给管理器，管理器再将其提交给用户应用程序。4.根据权利要求3所述的一种基于云平台的调度系统，其特征在于，所述系统还包括任务均衡器，任务均衡器设置在高速调度器之前，用户应用程序发送任务请求至任务均衡器，任务均衡器根据多个高速调度器的状态，均衡的分配任务请求到高速调度器，高速调度器再把其所分配到的任务请求分配到其所对应的运行器。