[0142]亲和资源移除模块，用于将所述亲和资源从所述缓存资源池中移除。
[0143]在本发明的一种优选实施例中，所述第一预设阈值可以为10，所述第二预设阈值可以为0，所述初始的亲和度可以为60，所述预设周期可以为1分钟。
[0144]对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0145]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0146]本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0147]本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0148]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0149]这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0150]尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0151]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0152]以上对本发明所提供的一种分布式系统任务调度的方法和一种分布式系统任务调度的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种分布式系统任务调度的方法，其特征在于，所述分布式系统包括计算框架，所述计算框架用于执行计算任务的计算资源以及缓存资源池，所述缓存资源池中包括亲和资源，所述亲和资源为在先被计算框架用于执行计算任务的计算资源，所述的方法包括: 接收计算框架发送的资源请求；所述计算框架具有对应的框架标识； 判断在缓存资源池中是否存在与所述框架标识对应的亲和资源； 若在所述缓存资源池中存在与所述框架标识对应的亲和资源，则将所述亲和资源分配给所述计算框架执行计算任务。2.根据权利要求1所述的方法，其特征在于，缓存资源池中的亲和资源具有对应的亲和度，在所述判断在缓存资源池中是否存在与所述框架标识对应的亲和资源的步骤之后，还包括: 若在所述缓存资源池中不存在与所述框架标识对应的亲和资源，则判断在所述缓存资源池中是否存在亲和度低于或等于第一预设阈值的亲和资源； 若在所述缓存资源池中存在亲和度低于或等于第一预设阈值的亲和资源，则将所述亲和资源分配给所述计算框架执行计算任务。3.根据权利要求2所述的方法，其特征在于，在所述判断在缓存资源池中是否存在亲和度低于或等于第一预设阈值的亲和资源的步骤之后，还包括: 若在所述缓存资源池中不存在亲和度低于或等于第一预设阈值的亲和资源，则判断在所述缓存资源池之外的地方是否存在非亲和资源； 若在所述缓存资源池之外的地方存在非亲和资源，则将所述非亲和资源分配给所述计算框架执行计算任务； 若在所述缓存资源池之外的地方不存在非亲和资源，则拒绝所述计算框架发送的资源请求。4.根据权利要求1或2或3所述的方法，其特征在于，计算资源包括亲和资源和非亲和资源，所述的方法还包括: 当所述计算框架采用计算资源执行完计算任务时，针对所述计算设置所述计算资源的初始的亲和度； 将所述具有初始的亲和度的计算资源作为所述计算框架的亲和资源，存入到所述缓存资源池中。5.根据权利要求1所述的方法，其特征在于，还包括: 按照预设周期减少所述缓存资源池中亲和资源的亲和度； 判断所述亲和资源的亲和度是否低于或等于第二预设阈值； 若所述亲和资源的亲和度低于或等于第二预设阈值，则将所述亲和资源从所述缓存资源池中移除。6.根据权利要求1或2或3或5所述的方法，其特征在于，所述第一预设阈值为10，所述第二预设阈值为0，所述初始的亲和度为60，所述预设周期为1分钟。7.—种分布式系统任务调度的装置，其特征在于，所述分布式系统包括计算框架，所述计算框架用于执行计算任务的计算资源以及缓存资源池，所述缓存资源池中包括亲和资源，所述亲和资源为在先被计算框架用于执行计算任务的计算资源，所述的装置包括: 请求接收模块，用于接收计算框架发送的资源请求；所述计算框架具有对应的框架标识； 第一判断模块，用于判断在缓存资源池中是否存在与所述框架标识对应的亲和资源；若在所述缓存资源池中存在与所述框架标识对应的亲和资源，则调用第一资源分配模块；若在所述缓存资源池中不存在与所述框架标识对应的亲和资源，则调用第二判断模块；第一资源分配模块，用于将所述亲和资源分配给所述计算框架执行计算任务。8.根据权利要求7所述的装置，其特征在于，缓存资源池中的亲和资源具有对应的亲和度，还包括: 第二判断模块，用于判断在所述缓存资源池中是否存在亲和度低于或等于第一预设阈值的亲和资源；若在所述缓存资源池中存在亲和度低于或等于第一预设阈值的亲和资源，则调用第二资源分配模块，若在所述缓存资源池中不存在亲和度低于或等于第一预设阈值的亲和资源，则调用第三判断模块； 第二资源分配模块，用于将所述亲和资源分配给所述计算框架执行计算任务。9.根据权利要求8所述的装置，其特征在于，还包括: 第三判断模块，用于判断在所述缓存资源池之外的地方是否存在非亲和资源；若在所述缓存资源池之外的地方存在非亲和资源，则调用第三资源分配模块，若在所述缓存资源池之外的地方不存在非亲和资源，则调用请求拒绝模块； 第三资源分配模块，用于将所述非亲和资源分配给所述计算框架执行计算任务； 请求拒绝模块，用于拒绝所述计算框架发送的资源请求。10.根据权利要求7或8或9所述的装置，其特征在于，计算资源包括亲和资源和非亲和资源，所述的装置还包括: 亲和度设置模块，用于在所述计算框架采用计算资源执行完计算任务时，针对所述计算设置所述计算资源的初始的亲和度； 亲和资源存入模块，用于将所述具有初始的亲和度的计算资源作为所述计算框架的亲和资源，存入到所述缓存资源池中。11.根据权利要求7所述的装置，其特征在于，还包括: 亲和度减少模块，用于按照预设周期减少所述缓存资源池中亲和资源的亲和度；第四判断模块，用于判断所述亲和资源的亲和度是否低于或等于第二预设阈值；若所述亲和资源的亲和度低于或等于第二预设阈值，则调用亲和资源移除模块； 亲和资源移除模块，用于将所述亲和资源从所述缓存资源池中移除。
【专利摘要】本发明实施例提供了一种分布式系统任务调度的方法和装置，所述分布式系统包括计算框架，所述计算框架用于执行计算任务的计算资源以及缓存资源池，所述缓存资源池中包括亲和资源，所述亲和资源为在先被计算框架用于执行计算任务的计算资源，所述的方法包括：接收计算框架发送的资源请求；所述计算框架具有对应的框架标识；判断在缓存资源池中是否存在与所述框架标识对应的亲和资源；若在所述缓存资源池中存在与所述框架标识对应的亲和资源，则将所述亲和资源分配给所述计算框架执行计算任务。本发明实施例用以提高计算框架执行计算任务时的运行效率。
【IPC分类】G06F9/48, G06F9/50
【公开号】CN105260244
【申请号】CN201510728102
【发明人】许立剑
【申请人】北京奇艺世纪科技有限公司
【公开日】2016年1月20日
【申请日】2015年10月30日