分散hadoop集群的制作方法_4

文档序号:8516052阅读:来源:国知局
节点的任务在剩余的主节点当中进行重新指派。
[0067]主节点中的一个或更多个主节点(诸如图1的主节点104和/或以下描述的主节点300)可以执行包括在图2的方法200中的操作(诸如由图2中的块202、204、206和208中的一个或更多个块例示的操作、和/或其变型)。
[0068]图3是例示了根据本文中描述的至少一些实施方式布置的、布置用于管理分布式文件系统的示例主节点300的框图。主节点300可以相似于和/或对应于包括在例如图1的导向器单元102中的主节点104。在非常基本的构造302中,主节点300通常包括一个或更多个处理器304以及系统存储器306。存储器总线308可以被用于在处理器304与系统存储器306之间进行通信。
[0069]根据期望的构造,处理器304可以是包括但不限于以下项的任一种类型:微处理器(μΡ)、微控制器(yC)、数字信号处理器(DSP)或其任何组合。处理器304可以包括一个或更多个级别的高速缓冲存储器(诸如一级高速缓冲存储器310和二级高速缓冲存储器312)、处理器核314以及寄存器316。示例处理器核314可以包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或其任何组合。示例存储器控制器318也可以与处理器304 —起使用,或者在一些实施方式中,存储器控制器318可以是处理器304的内部部件。
[0070]根据期望的构造,系统存储器306可以是包括但不限于以下项的任一种类型:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪速存储器等)或其任何组合。系统存储器306可以包括OS 320、一个或更多个应用322、以及程序数据324。应用322可以包括分布式文件管理应用326 (在图3中,“分布式文件管理应用”),该分布式文件管理应用326可以包括任务分发和指派算法、文件写入应用、文件访问应用、和/或可以被布置用来执行如本文中描述的功能的其它应用。程序数据324可以包括例如对等架构细节328 (在图3中,“P2P架构细节”),该对等架构细节328可以识别可以包括在如文本中描述的分布式文件系统中的其它主节点、数据节点、客户端等的细节。在一些实施方式中,应用322可以被布置为与OS 320上的程序数据324 —起来操作,使得可以如本文中描述地提供用于管理分布式文件系统的方法(诸如图2的方法200)。在图3中通过内部箱形区域内的这些组件例示了这样描述的基本构造302。
[0071]主节点300可以具有附加特征或功能、以及用来利于基本构造302与任何所需的装置和接口之间的通信的附加接口。例如,可以使用总线/接口控制器330来利于基本构造302与一个或更多个数据存储装置332之间经由存储器接口总线334的通信。数据存储装置332可以是可拆卸存储装置336、不可拆卸存储装置338或其组合。举例来说,可拆卸存储装置和不可拆卸存储装置的示例包括磁盘装置(诸如软盘驱动器和硬盘驱动器(HDD))、光盘驱动器(诸如光盘(⑶)驱动器或数字通用磁盘(DVD)驱动器)、固态硬盘(SSD)以及磁带驱动器。示例计算机存储介质可以包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或者其它数据)的任何方法或技术实现的易失性介质和非易失性介质、可拆卸介质和不可拆卸介质。
[0072]系统存储器306、可拆卸存储装置336和不可拆卸存储装置338是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPR0M、闪存存储器或其它存储器技术,⑶-ROM、数字通用磁盘(DVD)或其它光学存储器、磁带盒、磁带、磁盘存储器或其它磁存储装置,或者可以被用来存储期望的信息并且可以由主节点300进行访问的任何其它介质。任何这种计算机存储介质可以是主节点300的部件。
[0073]主节点300还可以包括接口总线340,该接口总线340用于利于从各种接口装置(例如,输出装置342、外围接口 344和通信装置346)经由总线/接口控制器330到基本构造302的通信。示例输出装置342包括图形处理单元348和音频处理单元350,其可以被构造为经由一个或更多个A/V端口 352与各种外部装置(诸如显示器或扬声器)进行通信。示例外围接口 344包括串行接口控制器354或并行接口控制器356,其可以被构造为经由一个或更多个I/O端口 358与诸如输入装置(例如,键盘、鼠标、笔、语音输入装置、触摸输入装置等)这样的外部装置或者其它外围装置(例如,打印机、扫描仪等)进行通信。示例通信装置346包括网络控制器360,该网络控制器360可以被布置为利于经由一个或更多个通信端口 364通过网络通信链路与一个或更多个其它计算装置362进行通信。
[0074]网络通信链路可以是通信介质的一个示例。通信介质通常可以通过计算机可读指令、数据结构、程序模块、或者经调制的数据信号中的其它数据(诸如载波或其它传输机制)来具体实现,并且可以包括任何信息传递介质。“经调制的数据信号”可以是这样的信号:该信号具有其以对信号中的信息进行编码的方式设置或改变的特征中的一个或更多个特征。通过示例的方式,并且非限制地,通信介质可以包括有线介质(诸如有线网络或直接有线连接)、以及无线介质(诸如声音、射频(RF)、微波、红外线(IR)和其它无线介质)。如本文中使用的术语计算机可读介质可以包括存储介质和通信介质二者。
[0075]本公开在本文中描述的特定实施方式方面不受限制,这些实施方式被用作各种方面的例示。如对于本领域技术人员将显而易见的,能够在不脱离本公开的精神和范围的情况下进行许多修改和变型。除了本文中所列举的方法和装置之外,在本公开的范围内的功能上等同的方法和装置将对于本领域技术人员从前面的描述是显而易见的。这些修改和变型旨在落入所附权利要求的范围内。本公开是为了仅受所附权利要求连同有权享受这些权利要求的等同物的全部范围的限制。要理解的是,本公开不限于特定方法、试剂、化合物、组合物或生物系统,其当然能够改变。还要理解的是,本文中使用的术语是仅为了描述特定实施方式的目的,而不旨在进行限制。
[0076]针对本文中的基本上任何复数术语和/或单数术语的使用,如适合于上下文和/或本申请那样,本领域技术人员可以将复数转换成单数和/或将单数转换成复数。为了清楚起见,可以在本文中清楚地阐述各种单数或复数置换。
[0077]本领域技术人员将要理解的是,通常而言,本文中并且特别是所附权利要求(例如,所附权利要求的主体)中使用的术语通常被用作“开放”术语(例如,术语“包含(including)”应当被理解为“包含但不限于”,术语“具有”应当被理解为“至少具有”,术语“包括(includes)”应当被理解为“包括但不限于”等)。本领域技术人员将要进一步理解的是,如果目的在于引入的权利要求叙述的特定数目,则将在权利要求中明确地记载这种目的,并且在没有这种叙述时,不存在这种目的。例如,为了帮助理解,所附的权利要求可以包含引导短语“至少一个”和“一个或更多个”的使用,以引入权利要求叙述。然而,即使当同一权利要求包括引导短语“一个或更多个”或“至少一个”以及诸如“一(a)”或“一个(an) ”这样的不定冠词(例如,“一”和/或“一个”应当被理解为意指“至少一个”或“一个或更多个”),这些短语的使用也不应当被理解为暗示将不定冠词“一”或“一个”引入到权利要求中将包含这种引入的权利要求叙述的任何特定权利要求限制为包含仅一个这种叙述的实施方式;同样适用于使用被用来引入权利要求叙述的定冠词的情况。另外,即使明确地记载了所引入的权利要求叙述的特定数目,本领域技术人员也将认识到,这种叙述应当被理解为至少意指所记载的数目(例如,仅陈述“两个叙述”,没有其它修饰语,至少意指两个叙述,或者两个或更多个叙述)。此外,在使用类似于“A、B和C等中的至少一个”的习惯用词(convent1n)的这些情况下,通常这种结构的目的为本领域技术人员将理解该习惯用词(例如,“具有A、B和C中的至少一个的系统”将包括但不限于只具有A的系统、只具有B的系统、只具有C的系统、同时具有A和B的系统、同时具有A和C的系统、同时具有B和C的系统、和/或同时具有A、B和C系统等)。在使用类似于“A、B或C等中的至少一个”的习惯用词的这些情况下,通常这种结构的目的为本领域技术人员将理解该习惯用词(例如,“具有A、B或C中的至少一个的系统”包括但不限于只具有A的系统、只具有B的系统、只具有C的系统、同时具有A和B的系统、同时具有A和C的系统、同时具有B和C的系统、和/或同时具有A、B和C系统等)。本领域技术人员将要进一步理解的是,无论在说明书、权利要求还是附图中,表示两个或更多个可替代的术语的几乎任何转折性词语和/或短语应当被理解为考虑包括所述术语中的一个、所述术语中的任一个、或者两个术语的可能性。例如,短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
[0078]另外,在本公开的特征或方面是根据马库什(Markush)组来进行描述的情况下,本领域技术人员将要认识到,本公开也由此是根据马库什组的任何个体成员或成员的子组来进行描述。
[0079]如本领域技术人员将要理解的,对于任何目的和全部目的(诸如在提供书面描述方面),本文中所公开的全部范围还包含任何和全部可能的子范围及其子范围的组合。可以将任何列举的范围容易地理解为充分地描述相同的范围并且使得相同的范围能够被分解成至少等同的两个、三个、四个、五个、十个等。作为非限制示例,可以容易地将本文中讨论的每个范围分解成下三分之一、中三分之一和上三分之一等。如本领域技术人员还将要理解的,诸如“多达”、“至少”等这样的全部语言包括记载的数目,并且是指可以随后被分解成如以上讨论的子范围的范围。最后,如本领域技术人员将要理解的,范围包括每个个体成员。因此,例如,具有1-3个单元的组是指具有1、2或3个单元的组。类似地,具有1-5个单元的组是指具有1、2、3、4或5个单元的组,等等。
[0080]从以上内容可知,将要理解的是,为了例示的目的已经在本文中对本公开的各种实施方式进行了描述,并且可以在不脱离本公开的范围和精神的情况下进行各种修改。因此,本文中公开的各种实施方式不旨在进行限制,由所附权利要求指示真实的范围和精神。
【主权项】
1.一种分布式文件系统,该分布式文件系统包括: 多个数据节点,所述多个数据节点各自包括一个或更多个数据块;以及 导向器单元,该导向器单元包括多个主节点,所述多个主节点以对等分布式架构来进行构造并且与所述多个数据节点可操作地联接,所述多个主节点中的每一个主节点被构造为: 接收与针对所述分布式文件系统来管理数据相关的任务; 管理所述任务在所述多个主节点中的一个或更多个主节点当中的分发;以及 向其它多个主节点中的每一个主节点传送任务状态以及所述分布式文件系统的至少一部分的状态。
2.根据权利要求1所述的分布式文件系统,其中,每个主节点被构造为将所述任务划分成多个子任务,并且其中,分发所述任务包括在所述多个主节点中的一个或更多个主节点当中分发所述多个子任务,以及在所述多个数据节点中的所述一个或更多个数据节点执行所述子任务之后,收集所述子任务的结果。
3.根据权利要求1所述的分布式文件系统,所述分布式文件系统还包括与所述导向器单元联接的数据库,所述数据库被构造为将文件的文件元数据存储在所述分布式文件系统中。
4.根据权利要求3所述的分布式文件系统,其中,所述数据库还被构造为存储指示在所述分布式文件系统中将所述文件存储在所述多个数据节点中的哪个数据节点中的系统元数据。
5.根
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1