据权利要求1所述的分布式文件系统，其中，所述任务包括向所述分布式文件系统写入第一文件、访问所述分布式文件系统中的第二文件、处理所述分布式文件系统中的数据、改变所述分布式文件系统中的第三文件的名称、删除所述分布式文件系统中的第四文件、或者向所述多个主节点中的另一主节点传送计算任务。
6.根据权利要求1所述的分布式文件系统，其中，当所述任务包括访问文件时，所述多个主节点中的每一个主节点被构造为: 接收包括识别所述文件的文件元数据的任务； 尝试基于所述文件元数据来查找所述文件； 当没有找到所述文件时，将所述任务分发给所述多个主节点中的另一主节点；以及 当找到所述文件时，发送指示所述文件的位置的系统元数据并且发送成功消息。
7.根据权利要求6所述的分布式文件系统，其中，当所述多个主节点中的任何主节点都没有找到所述文件时，所述多个主节点中的每一个主节点还被构造为发送空消息。
8.根据权利要求1所述的分布式文件系统，其中，当所述任务包括写入文件时，所述多个主节点中的每一个主节点被构造为: 接收识别要在所述分布式文件系统中写入的所述文件的文件元数据； 尝试基于所述文件元数据来查找所述文件； 当没有找到所述文件时，将所述文件元数据分发给所述多个主节点中的另一主节点；以及 当所述多个主节点中的任何主节点都没有找到所述文件时，打开写入流程。
9.根据权利要求1所述的分布式文件系统，其中，当所述任务包括计算任务时，从所述多个主节点中选择来自所述多个主节点的第一主节点；以及 所述多个主节点的其它主节点中的每一个其它主节点被构造为: 从所述第一主节点接收所述计算任务； 通过在本地执行所述计算任务来获得主节点特定结果； 确定所述多个主节点中的一部分主节点是否已经接收到所述计算任务； 当所述一部分主节点尚未接收到所述计算任务时，将所述主节点特定结果和所述计算任务发送到所述多个主节点中的第二主节点；以及 当所述一部分主节点已经接收到所述计算任务时，将所述主节点特定结果发送到所述第一主节点。
10.根据权利要求9所述的分布式文件系统，其中，所述多个主节点中的每一个主节点还被构造为: 从所述多个主节点中的其它主节点接收其它主节点特定结果； 将所述主节点特定结果与所述其它主节点特定结果进行组合； 当所述一部分主节点已经接收到所述计算任务时，将所述主节点特定结果与所述其它主节点特定结果的组合发送到所述第二主节点；以及 当所述一部分主节点尚未接收到所述计算任务时，将所述主节点特定结果与所述其它主节点特定结果的组合发送到所述第一主节点。
11.根据权利要求1所述的分布式文件系统，其中，所述多个主节点中的每一个主节点被构造为: 评估本地计算能力可用性；以及 当所述本地计算可用性低于阀值计算能力时，将指示不充足计算能力的消息发送到所述多个主节点中的另一主节点。
12.根据权利要求1所述的分布式文件系统，其中，所述任务包括多个任务中的第一任务，并且其中，所述多个主节点被构造为: 在所述多个主节点中的至少一些主节点当中进行主节点负载均衡运算；以及基于所述负载均衡运算，将所述多个任务中的至少一些任务指派给所述多个主节点中的一个主节点。
13.根据权利要求12所述的分布式文件系统，其中，为了进行所述主节点负载均衡运算，所述多个主节点中的至少一些主节点被构造为: 接收所述第一任务； 评估冗余是否可用； 当存在冗余时，接受所述第一任务；以及 当不存在冗余时，将所述第一任务发送到所述多个主节点中的另一主节点。
14.根据权利要求12所述的分布式文件系统，其中，为了进行所述主节点负载均衡运算，所述多个主节点中的至少一些主节点被构造为: 评估所述多个主节点中的每一个主节点正在执行的任务的数目；以及将所述多个任务中的所述第一任务分发给所述多个主节点中的、执行最低数目的任务的第一主节点。
15.根据权利要求12所述的分布式文件系统，其中，当所述多个主节点中的一个主节点发生故障时，保持操作的所述主节点被构造为在剩余的主节点当中将指派给发生故障的主节点的一个或更多个任务进行重新指派。
16.根据权利要求1所述的分布式文件系统，其中，将所述任务随机地指派给所述多个主节点中的一个主节点。
17.根据权利要求1所述的分布式文件系统，其中，所述多个主节点被构造为使用chord路由算法在所述多个主节点当中进行通信。
18.根据权利要求1所述的分布式文件系统，其中，所述导向器单元包括单个主节点向所述多个数据节点的虚拟化。
19.根据权利要求1所述的分布式文件系统，其中，所述任务包括向所述分布式文件系统写入文件，并且其中，接收所述任务的所述主节点被构造为: 在所述多个数据节点当中进行数据节点负载均衡运算； 基于所述数据节点负载均衡运算，选择所述多个数据节点中的一个数据节点，以向所述一个数据节点写入所述文件； 打开写入流程；以及 发送成功消息。
20.根据权利要求1所述的分布式文件系统，其中，所述多个主节点中的所述每一个主节点还被构造为: 生成所述任务的处理的运行语句；以及 将所述运行语句广播至所述多个主节点。
21.—种管理分布式文件系统的方法，该方法包括以下步骤: 接收与针对所述分布式文件系统来管理数据相关的任务； 选择多个主节点中的一个或更多个主节点来管理所述任务，所述多个主节点以对等分布式架构来进行构造并且与多个数据节点可操作地联接； 管理所述任务在所述多个数据节点中的一个或更多个数据节点当中的分发，由所述多个主节点中的所选择的一个或更多个主节点来执行管理所述任务的所述分发的步骤；以及在所述多个主节点中的至少一些主节点当中传送任务状态以及所述分布式文件系统的至少一部分的状态。
22.根据权利要求21所述的方法，所述方法还包括以下步骤:将所述任务划分成多个子任务，其中，管理所述任务的所述分发的步骤包括: 在所述多个主节点中的一个或更多个主节点当中分发所述子任务；以及在所述多个数据节点中的所述一个或更多个数据节点执行所述子任务之后，收集所述子任务的结果。
23.根据权利要求21所述的方法，其中，所述任务包括访问来自所述分布式文件系统的文件，所述方法还包括以下步骤: 接收包括识别所述文件的文件元数据的任务； 尝试基于所述文件元数据来查找所述文件； 当没有找到所述文件时，将所述任务分发给所述多个主节点中的另一主节点；以及 当找到所述文件时，发送指示所述文件的位置的系统元数据并且发送成功消息。
24.根据权利要求23所述的方法，其中，当所述多个主节点中的任何主节点都没有找到所述文件时，所述方法还包括发送空消息。
25.根据权利要求21所述的方法，其中，当所述任务包括写入文件时，所述方法还包括以下步骤: 接收识别要在所述分布式文件系统中写入的所述文件的文件元数据； 尝试基于所述文件元数据来查找所述文件； 当没有找到所述文件时，将所述文件元数据分发给所述多个主节点中的另一主节点；以及 当所述多个主节点中的任何主节点都没有找到所述文件时，打开写入流程。
26.根据权利要求21所述的方法，其中，当所述任务包括计算任务时，所述方法还包括以下步骤: 从所述多个主节点中选择第一主节点； 从所述第一主节点接收所述计算任务； 通过在本地执行所述计算任务来获得主节点特定结果； 确定所述多个主节点中的一部分主节点是否已经接收到所述计算任务； 当所述一部分主节点尚未接收到所述计算任务时，将所述主节点特定结果和所述计算任务发送到所述多个主节点中的第二主节点；以及 当所述一部分主节点已经接收到所述计算任务时，将所述主节点特定结果发送到所述第一主节点。
27.根据权利要求26所述的方法，所述方法还包括以下步骤: 从所述多个主节点中的其它主节点接收其它主节点特定结果； 将所述主节点特定结果与所述其它主节点特定结果进行组合； 当所述一部分主节点已经接收到所述计算任务时，将所述主节点特定结果与所述其它主节点特定结果的组合发送到所述第二主节点；以及 当所述一部分主节点尚未接收到所述计算任务时，将所述主节点特定结果与所述其它主节点特定结果的组合发送到所述第一主节点。
28.根据权利要求21所述的方法，所述方法还包括以下步骤: 评估所述多个主节点中的一个主节点处的本地计算能力可用性；以及 当所述本地计算可用性低于阀值计算能力时，将指示不充足计算能力的消息发送到所述多个主节点中的另一主节点。
29.根据权利要求21所述的方法，其中，所述任务包括多个任务中的第一任务，所述方法还包括以下步骤: 在所述多个主节点中的至少一些主节点当中进行主节点负载均衡运算；以及基于所述负载均衡运算，将所述多个任务中的至少一些任务指派给所述多个主节点中的一个主节点。
30.根据权利要求29所述的方法，其中，进行所述负载均衡运算的步骤包括: 接收所述第一任务； 评估冗余是否可用； 当存在冗余时，接受所述第一任务；以及 当不存在冗余时，将所述第一任务发送到所述多个主节点中的另一主节点。
31.根据权利要求29所述的方法，其中，进行所述主节点负载均衡运算的步骤包括: 评估所述多个主节点中的每一个主节点正在执行的任务的数目；以及 将所述多个任务中的所述第一任务分发给所述多个主节点中的、执行最低数目的任务的第一主节点。
32.根据权利要求29所述的方法，所述方法还包括以下步骤: 当所述多个主节点中的一个主节点发生故障时，在剩余的主节点当中将指派给发生故障的主节点的任务中的一个或更多个任务进行重新指派。
33.根据权利要求21所述的方法，其中，当所述任务包括向所述分布式文件系统写入文件时，所述方法包括以下步骤: 在所述多个数据节点当中进行数据节点负载均衡运算； 基于所述数据节点负载均衡运算，选择所述多个数据节点中的一个数据节点，以向所述一个数据节点写入所述文件； 打开写入流程；以及 发送成功消息。
34.根据权利要求21所述的方法，所述方法还包括以下步骤: 生成所述任务的处理的运行语句；以及 将所述运行语句广播至所述多个主节点。
35.根据权利要求21所述的方法，所述方法还包括以下步骤:将所述任务随机地指派给所述多个主节点中的一个主节点。
36.根据权利要求21所述的方法，所述方法还包括以下步骤:使用分布式散列函数来向所述多个主节点中的每一个主节点指派主节点识别符。
【专利摘要】在一些示例中，描述了分布式文件系统。所述分布式文件系统可以包括多个数据节点以及导向器单元。所述多个数据节点可以各自包括一个或更多个数据块。所述导向器单元可以包括多个主节点，所述多个主节点以对等分布式架构来进行构造并且与所述多个数据节点可操作地联接。所述多个主节点中的每一个主节点可以被构造为：接收与针对所述分布式文件系统来管理数据相关的任务；管理所述任务在所述多个主节点中的一个或更多个主节点当中的分发；以及向其它主节点中的每一个其它节点传送任务状态以及所述分布式文件系统的至少一部分的状态。
【IPC分类】G06F17-30
【公开号】CN104838374
【申请号】CN201280077564
【发明人】应励志, 宋学锋
【申请人】英派尔科技开发有限公司
【公开日】2015年8月12日
【申请日】2012年12月6日
【公告号】US20140164452, WO2014086019A1