专利名称：一种hadoop集群搭建磁盘乱序的解决方法
技术领域：
本发明属于云计算技术领域，具体涉及一种hadoop集群搭建磁盘乱序的解决方法。
背景技术：
目前，hadoop基于其强劲优势，得到了业界众多公司的青睐和大力支持，已经在互联网领域遍地开花。有公司用hadoop支持广告系统和Web搜索的研究；有公司用hadoop支持其数据分析和机器学习；有公司用Hadoop进行搜索日志的分析和网页数据的挖掘工作；也有公司用Hadoop系统存储并处理电子商务交易的相关数据。随着计算机技术和通信技术的发展和融合，Hadoop的应用也会从互联网领域向电信、电子商务、银行、生物制药等领域拓展。Hadoop框架中最核心的设计就是MapReduce和HDFS。Hadoop的架构如图I所
/Jn οHadoop环境架设好后，每次重起机器，会出现磁盘盘符的乱序。比如，机器重起前挂载的顺序是/hdfs/datal->sdal ；/hdfs/data2->sdbl;/hdfs/data3->sdcl;/hdfs/data4->sddl; ......机器重起后挂载的顺序是/hdfs/datal->sddl ；/hdfs/data2->sdal;/hdfs/data3->sdbl;/hdfs/data4->sdal; ......从而导致DataNode无法起来。
发明内容
为了克服上述现有技术的不足，本发明提供一种hadoop集群搭建磁盘乱序的解决方法,通过UUID解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象。为了实现上述发明目的，本发明采取如下技术方案一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括步骤I :查询磁盘设备的UUID ；步骤2 :修改 /etc/fstab 文件；步骤3:将磁盘挂载。所述步骤I中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID。
所述步骤2中，修改/etc/fstab文件,通过VIM命令,在/etc/fstab文件的末尾加入UUID的相关信息，将每个磁盘的UUID与需要被挂载的相关目录绑定。所述步骤3中，通过mount命令将磁盘挂载到相关的目录。与现有技术相比，本发明的有益效果在于本发明提供一种hadoop集群搭建磁盘乱序的解决方法,通过UUID解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象，该方法简单可靠，易执行。
图I是Hadoop的架构图；图2是hadoop集群搭建磁盘乱序的解决方法流程图。
具体实施例方式下面结合附图对本发明作进一步详细说明。如图2，本发明提供一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括步骤I :查询磁盘设备的UUID号；步骤2 :修改 /etc/fstab 文件；步骤3:将磁盘挂载。所述步骤I中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID号。
如lrwxrwxrwx. I root root 10 Aug 15 11:07 27f8bc60-3c63-41e4-a3bc-fac625775238-〉· · /· · /sdallrwxrwxrwx. I root root 10 Aug 15 11:07 3210d886-cd42-439c-900f-010210fe385f->. · /· · /sdbllrwxrwxrwx I root root 10 Aug 15 11:07 fe6bd727-bdc6-4af9-b80c-7876ed8d557b->. . /· · /sdcllrwxrwxrwx. I root root 10 Aug 15 11:07 b868c920-427e-454f-8d3b-20b76b5ec207->. .1..1 sddl ......所述步骤2中，修改/etc/fstab文件,通过VIM命令,在/etc/fstab文件的末尾加入UUID的相关信息，将每个磁盘的UUID号与需要被挂载的相关目录绑定。添加内容如下所示UUID=27f8bc60-3c63-41e4-a3bc-fac625775238/hdfs/datalext4defaults 11UUID=3210d886-cd42-439c-900f-010210fe385f/hdfs/data2ext4defaults 11UUID=fe6bd727-bdc6-4af9-b80c-7876ed8d557b/hdfs/data3ext4defaults 11UUID=b868c920-427e-454f-8d3b-20b76b5ec207/hdfs/data4ext4defaults II所述步骤3中，通过mount命令将磁盘挂载到相关的目录。如mount/hdfs/datal将相应的磁盘挂载到目录mount/hdf s/datalmount/hdfs/data2
mount/hdfs/data3mount/hdfs/data4在一个Hadoop集群中，通常存在着大量的服务器，每一台服务器通常会有多块硬
盘，内核分配盘符的顺序是/dev/sda、/dev/sdb、/dev/sdc.......在系统启动过程中，内
核会按照扫描到硬盘的顺序分配盘符。在系统启动后，热插拔硬盘硬盘，系统会顺序分配盘符。在同一个硬盘槽位，每次插入硬盘后，在系统中的盘符都可能出现前后不一致。盘符可能从/dev/sda，变成/dev/sdc。盘符的变化，将直接导致原目录无法找到原相应的文件。在Hadoop的HDFS中，存储了成千上万的文件，一旦这种情况出现，将导致文件系统发生错舌L。本方法能够方便快捷的解决这一问题。磁盘被格式化后，其UUID将不会发生变化，通过UUID绑定，可以一劳永逸的解决盘符错乱导致文件系统错乱的问题。最后应当说明的是以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解依然可以对本发明的具体实施方式
进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种hadoop集群搭建磁盘乱序的解决方法，其特征在于所述方法包括 步骤I :查询磁盘设备的UUID号； 步骤2 :修改/etc/fstab文件； 步骤3 :将磁盘挂载。
2.根据权利要求I所述的hadoop集群搭建磁盘乱序的解决方法，其特征在于所述步骤I中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID号。
3.根据权利要求I所述的hadoop集群搭建磁盘乱序的解决方法，其特征在于所述步骤2中，修改/etc/fstab文件,通过VIM命令,在/etc/fstab文件的末尾加入UUID的相关信息，将每个磁盘的UUID号与需要被挂载的相关目录绑定。
4.根据权利要求I所述的hadoop集群搭建磁盘乱序的解决方法，其特征在于所述步骤3中，通过mount命令将磁盘挂载到相关的目录。
全文摘要
本发明提供一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括查询磁盘设备的UUID号；修改/etc/fstab文件；将磁盘挂载。本发明通过UUID号解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象。
文档编号G06F3/06GK102929561SQ20121038053
公开日2013年2月13日 申请日期2012年10月9日 优先权日2012年10月9日
发明者杨鑫 申请人:曙光信息产业(北京)有限公司