专利名称：云调度系统及方法以及多级云调度系统的制作方法
技术领域：
本发明涉及云平台技术，特别涉及云平台调度的技术。
背景技术：
云平台的调度在现在还处于初始发展时期，在这个领域里比较成熟的系统并不 多，Amazon的弹性云计算服务(EC2)是根据要生成的应用实例数量动态的分配或释放虚 拟机，但EC2是处于基础结构级的服务，也就是说只提供虚拟机一级的资源给用户，用户即 应用开发者还需要自行对虚拟机进行管理，其调度器本身也没有针对行业应用或数据的优 化；Googl e的MapReduce系统以及Hadoop开源系统也提供任务调度功能，但它们只是针 对MapReduce应用的运行，而且运行环境需要和特定的专用文件系统进行绑定，应用所使 用的数据也需要预先进行分区存放，从这个角度来说并不具有动态获取和释放虚拟机的功 能，资源的利用效率也与数据的存放有关；另外，传统的集群调度程序，如Condor，PBS等也 能对上千台服务器进行调度，但这些系统主要针对配置不同的物理机，而这些物理机中的 每一台都可能会被多个用户同时使用，且平台上的应用主要是计算时间较长的任务，因此 这些系统在资源管理、任务调度方面占用的系统整体资源相对较大，例如要进行资源匹配、 协调某个物理机在多个用户之间的使用等等，从而造成系统庞大笨重，每派发一个任务需 要较长的时间，任务吞吐量较低(不超过30TPS)，这对于需要快速实时响应的用户时就不 太适用，且在处理大规模的任务请求时系统整体资源占用也比较大。
发明内容
本发明的目的是克服目前云平台在调度时任务派发速度相对较慢的缺点，提供一 种云调度系统及方法以及多级云调度系统。本发明解决其技术问题，采用的技术方案是，云调度系统，包括任务发送端，其特 征在于，还包括调度器、管理器、η个虚拟机及外网服务器，所述调度器与管理器连接，η个 虚拟机与调度器连接，任务发送端与管理器连接，η个虚拟机与管理器连接，外网服务器与 η个虚拟机连接，η为正整数；所述管理器用于启动和关闭虚拟机，接收任务发送端发送来的任务并将该任务转 换成调度器能够接受的格式再发送给调度器；所述调度器用于管理虚拟机，并根据分派策略将任务均衡快速的分配到η个虚拟 机上执行；所述虚拟机用于处理由调度器发来的任务；所述外网服务器用于向虚拟机提供外网网址和端口，解析虚拟机的外网网址。具体的，所述调度器包括分配器及动态资源管理器，所述分配器与管理器连接，动 态资源管理器与分配器连接，分配器与η个虚拟机连接，动态资源管理器与管理器连接，所述分配器用于根据分派策略将任务均衡快速的分配到η个虚拟机上执行；所述动态资源管理器用于根据分配器的任务数量和读取到的η个虚拟机的状态向管理器申请分配更多供分配器使用的虚拟机或向管理器申请注销并关闭多余的虚拟机。云调度方法，其特征在于，包括以下步骤a.云调度系统开机启动，管理器启动虚拟机，并对所有虚拟机进行编号；b.虚拟机启动时由外网服务器获得外网网址和端口，并向调度器注册；c.当有任务从任务发送端发送到管理器时，将该任务转换成调度器能够接受的格 式再发送给调度器；d.调度器向所有启动的空闲虚拟机发送任务通知；e.接收到任务通知的空闲虚拟机到调度器读取任务；f.调度器控制所有来读取任务的空闲虚拟机中只有一个空闲虚拟机能够读取任 务；g.该空闲虚拟机读取到任务后执行并将执行结果反馈给调度器；h.调度器将执行结果发送给管理器，由管理器反馈给任务发送端。具体的，还包括以下步骤i.动态资源管理器每隔一定时间从调度器获取任务队列及各虚拟机状态；j.动态资源管理器根据以上状态判断目前启动的虚拟机是否足够处理所有的任 务，若是则不进行处理，若不是则进入k步骤；k.动态资源管理器向管理器请求分配更多的虚拟机；1.管理器根据接收到的请求启动相应数量的虚拟机，进入b步骤。进一步的，还包括以下步骤m.各虚拟机时刻监测自身的空闲状态，判断其空闲是否超过一定时间，若是则进 入η步骤，若不是则不进行处理；η.该虚拟机通过动态资源管理器向管理器申请注销，关闭该虚拟机。多级云调度系统，包括任务发送端，其特征在于，包括至少一个云调度系统及至少 一个负载均衡器，所述至少一个云调度系统与至少一个负载均衡器树形连接，所述至少一 个云调度系统作为树形连接的最后级，任务发送端与树形连接最初级连接，所述负载均衡器用于接收任务并将任务均衡快速的分配到下一级。本发明的有益效果是，通过上述云调度系统及方法以及多级云调度系统，由于采 用云平台上的虚拟机，不需要资源匹配，且虚拟机也不存在多用户共享的问题，因此其调度 过程简化，能够快速响应调度，且将调度器分为动态资源管理器及分配器，利用动态资源管 理器，使很多虚拟机在需要时才启动，在不需要的时候关闭多余的虚拟机，充分利用系统资 源，且多级云调度系统还可以快速响应数以千万计的任务。
图1为实施例1的系统框图；图2为实施例2的系统框图。
具体实施例方式下面结合附图及实施例，详细描述本发明的技术方案。本发明的云调度系统由调度器与管理器连接，η个虚拟机与调度器连接，任务发送端与管理器连接，η个虚拟机与管理器连接，外网服务器与η个虚拟机连接组成，其中，η为 正整数，管理器用于启动和关闭虚拟机，接收任务发送端发送来的任务并将该任务转换成 调度器能够接受的格式再发送给调度器，调度器用于管理虚拟机，并根据分派策略将任务 均衡快速的分配到η个虚拟机上执行，虚拟机用于处理由调度器发来的任务，外网服务器 用于向虚拟机提供资源；云调度方法为首先云调度系统开机启动，管理器启动虚拟机，并 对所有虚拟机进行编号，每个虚拟机启动时由外网服务器获得外网网址和端口，并向调度 器注册，当有任务从任务发送端发送到管理器时，将该任务转换成调度器能够接受的格式 再发送给调度器，调度器向所有启动的空闲虚拟机发送任务通知，接到通知的虚拟机到调 度器读取任务，调度器控制所有来读取任务的空闲虚拟机中只有一个空闲虚拟机能够读取 任务，该空闲虚拟机读取到任务后执行并将执行结果反馈给调度器，调度器将执行结果发 送给管理器，由管理器反馈给任务发送端；多级云调度系统由至少一个云调度系统与至少 一个负载均衡器树形连接组成，其中，云调度系统作为树形连接的最后级，任务发送端与树 形连接最初级连接，负载均衡器用于接收任务并将任务均衡快速的分配到下一级。实施例1本例的调度器由分配器及动态资源管理器组成，其中，分配器与管理器连接，动态 资源管理器与分配器连接，分配器与η个虚拟机连接，动态资源管理器与管理器连接，分配 器用于根据分派策略将任务均衡快速的分配到η个虚拟机上执行，动态资源管理器用于根 据分配器的任务队列状态和η个虚拟机的状态向管理器申请分配更多供分配器使用的虚 拟机或向管理器释放多余的虚拟机进行关闭，η为正整数，其系统框图如图1。使用时，首先云调度系统开机启动，管理器启动虚拟机，并对所有虚拟机进行编 号，每个虚拟机启动时由外网服务器获得外网网址和端口，并向调度器注册，当有任务从任 务发送端发送到管理器时，将该任务转换成调度器能够接受的格式再发送给调度器，调度 器向所有启动的空闲虚拟机发送任务通知，接到通知的虚拟机到调度器读取任务，调度器 控制所有来读取任务的空闲虚拟机中只有一个空闲虚拟机能够读取任务，该空闲虚拟机读 取到任务后执行并将执行结果反馈给调度器，调度器将执行结果发送给管理器，由管理器 反馈给任务发送端，整个系统运行过程中，动态资源管理器还每隔一定时间从调度器获取 任务队列及各虚拟机状态，并根据这些状态判断目前启动的虚拟机是否足够处理所有的任 务，若是则不进行处理，若不是则动态资源管理器向管理器请求分配更多的虚拟机，管理器 根据接收到的请求启动相应数量的虚拟机，进入虚拟机启动那一步，各虚拟机还时刻监测 自身的空闲状态，判断其空闲是否超过一定时间，若不是则不进行处理，若是则该虚拟机通 过动态资源管理器向管理器申请注销，关闭该虚拟机。实施例2本例的多级云调度系统采用三级云调度系统，由三个负载均衡器及六个云调度系 统组成，其系统框图如图2。当第一级的负载均衡器接收到任务后，根据第二级负载均衡器的状态将任务发送 给相对空闲的第二级负载均衡器，再由第二级负载均衡器发送给相对空闲的云调度系统， 此时该第二级负载均衡器即作为该云调度系统的任务发送端。其中，每一个负载均衡器因为仅仅是判断下一级状态后发送任务，其处理过程相 对较少，也能够快速的调度任务到下一级，每一个负载均衡器都可以与几百个下一级负载均衡器或云调度系统相连，系统整体上具备极高的可塑性。
权利要求
云调度系统，包括任务发送端，其特征在于，还包括调度器、管理器、n个虚拟机及外网服务器，所述调度器与管理器连接，n个虚拟机与调度器连接，任务发送端与管理器连接，n个虚拟机与管理器连接，外网服务器与n个虚拟机连接，n为正整数；所述管理器用于启动和关闭虚拟机，接收任务发送端发送来的任务并将该任务转换成调度器能够接受的格式再发送给调度器；所述调度器用于管理虚拟机，并根据分派策略将任务均衡快速的分配到n个虚拟机上执行；所述虚拟机用于处理由调度器发来的任务；所述外网服务器用于向虚拟机提供外网网址和端口，解析虚拟机的外网网址。
2.根据权利要求1所述云调度系统，其特征在于，所述调度器包括分配器及动态资源 管理器，所述分配器与管理器连接，动态资源管理器与分配器连接，分配器与η个虚拟机连 接，动态资源管理器与管理器连接，所述分配器用于根据分派策略将任务均衡快速的分配到η个虚拟机上执行； 所述动态资源管理器用于根据分配器的任务数量和读取到的η个虚拟机的状态向管 理器申请分配更多供分配器使用的虚拟机或向管理器申请注销并关闭多余的虚拟机。
3.云调度方法，其特征在于，包括以下步骤a.云调度系统开机启动，管理器启动虚拟机，并对所有虚拟机进行编号；b.虚拟机启动时由外网服务器获得外网网址和端口，并向调度器注册；c.当有任务从任务发送端发送到管理器时，将该任务转换成调度器能够接受的格式再 发送给调度器；d.调度器向所有启动的空闲虚拟机发送任务通知；e.接收到任务通知的空闲虚拟机到调度器读取任务；f.调度器控制所有来读取任务的空闲虚拟机中只有一个空闲虚拟机能够读取任务；g.该空闲虚拟机读取到任务后执行并将执行结果反馈给调度器；h.调度器将执行结果发送给管理器，由管理器反馈给任务发送端。
4.根据权利要求3所述云调度方法，其特征在于，还包括以下步骤i.动态资源管理器每隔一定时间从调度器获取任务队列及各虚拟机状态；j.动态资源管理器根据以上状态判断目前启动的虚拟机是否足够处理所有的任务，若 是则不进行处理，若不是则进入k步骤；k.动态资源管理器向管理器请求分配更多的虚拟机；1.管理器根据接收到的请求启动相应数量的虚拟机，进入b步骤。
5.根据权利要求3或4所述云调度方法，其特征在于，还包括以下步骤m.各虚拟机时刻监测自身的空闲状态，判断其空闲是否超过一定时间，若是则进入η 步骤，若不是则不进行处理；η.该虚拟机通过动态资源管理器向管理器申请注销，关闭该虚拟机。
6.多级云调度系统，包括任务发送端，其特征在于，包括至少一个云调度系统及至少一 个负载均衡器，所述至少一个云调度系统与至少一个负载均衡器树形连接，所述至少一个 云调度系统作为树形连接的最后级，任务发送端与树形连接最初级连接，所述负载均衡器用于接收任务并将任务均衡快速的分配到下一级。
全文摘要
本发明涉及云平台技术。本发明解决了现有云平台在调度时任务派发速度相对较慢和资源利用率较低的问题，提供了一种云调度系统及方法以及多级云调度系统，其技术方案可概括为云调度系统，包括任务发送端，还包括调度器、管理器、n个虚拟机及外网服务器，所述调度器与管理器连接，n个虚拟机与调度器连接，任务发送端与管理器连接，n个虚拟机与管理器连接，外网服务器与n个虚拟机连接，n为正整数。本发明的有益效果是，能够高速高效调度大规模的任务，适用于云平台。
文档编号H04L29/08GK101951411SQ20101050545
公开日2011年1月19日 申请日期2010年10月13日 优先权日2010年10月13日
发明者戴元顺 申请人:戴元顺