一种hdfs中大数据迁移完整性验证的方法
【专利摘要】本发明提供一种HDFS中大数据迁移完整性验证的方法，其具体实现过程如下：获取原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息；对原始文件信息以及新文件信息分片处理；输出新旧文件信息的对比验证和验证结果。该一种HDFS中大数据迁移完整性验证的方法和现有技术相比，不需要进行程序的编译、打包，只需要简单的脚本即可完成验证；更加突出大数据灵活、便捷的优势，使得用户可以非常快速简便的找到可能存在的不完整的数据；适用范围广泛，该方法适用于多种HDFS环境，实用性强。
【专利说明】一种HDFS中大数据迁移完整性验证的方法
[0001]
【技术领域】
[0002]本发明涉及计算机【技术领域】，具体的说是一种HDFS中大数据迁移完整性验证的方法。
【背景技术】
[0003]大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
[0004]Hadoop Distributed File System (HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。HDFS被设计成可以简便地实现平台间的迁移，这将推动需要大数据集的应用更广泛地采用HDFS作为平台。
[0005]本技术提供了一种简便宜行的验证HDFS数据迁移之后数据完整性的方法，可以使管理员迅速、方便的验证迁移后数据是否完整、有效，并将验证结果记录到日志文件中。
【发明内容】
[0006]本发明的技术任务是解决现有技术的不足，提供一种HDFS中大数据迁移完整性验证的方法。
[0007]本发明的技术方案是按以下方式实现的，该一种HDFS中大数据迁移完整性验证的方法，其具体实现过程如下:
1)获取原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息；
2)对原始文件信息以及新文件信息分片处理；
3)输出新旧文件信息的对比验证和验证结果。
[0008]所述步骤I)的详细过程为:
在原始的HDFS文件系统中通过执行hadoop fs -1sr / > oldlnfo命令,获取原始HDFS文件的详细信息，并将结果重定向到oldlnfo文件中；
在迁移后新的HDFS文件系统中，通过执行相同的命令hadoop fs -1sr / >newInfo,获取新的HDFS文件信息，并将结果重定向到newlnfo文件中。
[0009]所述步骤2)的详细过程为:将原始文件信息oldlnfo和新文件信息newlnfo按相同的规则进行分片，这里的规则是指按照行数分割成相同的文件数。
[0010]所述步骤3)的详细过程为:通过将分片后的新旧HDFS文件信息进行对应的逐个对比，将对比后的结果保存在日志文件中，这里的对比是指对比文件或文件夹的名字，以及文件的大小是否相匹配。
[0011]所述匹配过程为:
一、用旧的文件信息为基准，逐条匹配新的文件信息；
二、若完全匹配，则取旧文件信息的下一条继续步骤二过程的匹配；
三、若文件大小未能完全匹配上，代表该文件迁移不完整，将文件信息记录至日志文件后，继续步骤二；
四、若文件信息为找到，代表该文件未被迁移至新文件系统，将文件信息记录至日志文件后，继续步骤二；
五、当所有的旧文件信息全都被提取过一遍之后，本次完整性验证结束。
[0012]本发明与现有技术相比所产生的有益效果是:
本发明的一种HDFS中大数据迁移完整性验证的方法是一种高效、快速且易实施操作的对HDFS中迁移出的数据完整性验证的方法，最终实现利用该技术，高效、简便的验证迁移出的新数据的完整性，进一步减少了人工逐一进行数据验证的工作量，且大大减少了编程的工作量；不需要进行程序的编译、打包，只需要简单的脚本即可完成验证；更加突出大数据灵活、便捷的优势，使得用户可以非常快速简便的找到可能存在的不完整的数据；适用范围广泛，该方法适用于多种HDFS环境，实用性强，易于推广。
【专利附图】
【附图说明】
[0013]附图1为本发明的实现流程示意图。
【具体实施方式】
[0014]下面结合附图对本发明的一种HDFS中大数据迁移完整性验证的方法作以下详细说明。
[0015]如附图1所示，现提供一种HDFS中大数据迁移完整性验证的方法，该方法的具体思路是依次取出迁移之前的每个HDFS文件信息，在新的HDFS文件信息中搜索，若文件信息存在，且大小等信息符合。则继续在迁移前的HDFS信息中取出下一条，继续比较。如果在新的HDFS文件信息中没找到或找到后文件大小不相符，则代表该条数据未被成功迁移。
[0016]其具体实现过程如下:
一、原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息的获取。
[0017]在原始的HDFS文件系统中通过执行hadoop fs -1sr / > oldlnfo命令,获取原始HDFS文件的详细信息，并将结果重定向到oldlnfo文件中。
[0018]在迁移后新的HDFS文件系统中，通过执行相同的命令hadoop fs -1sr />newInfo,获取新的HDFS文件信息,并将结果重定向到newlnfo文件中。
[0019]二、原始文件信息以及新文件信息的分片处理。
[0020]由于hadoop文件系统中的文件数量巨大，且目录结构及其复杂。为了便于新旧信息对比验证。可将原始文件信息oldlnfo和新文件信息newlnfo按相同的规则进行分片。具体的分片方法见如下脚本:
#!/bin/env python
【权利要求】
1.一种HDFS中大数据迁移完整性验证的方法，其特征在于其具体实现过程如下: 1)获取原始HDFS文件及目录结构详细信息和迁移后的新HDFS文件信息； 2)对原始文件信息以及新文件信息分片处理； 3)输出新旧文件信息的对比验证和验证结果。
2.根据权利要求1所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于:所述步骤I)的详细过程为: 在原始的HDFS文件系统中通过执行hadoop fs -1sr / > oldlnfo命令,获取原始HDFS文件的详细信息，并将结果重定向到oldlnfo文件中； 在迁移后新的HDFS文件系统中，通过执行相同的命令hadoop fs -1sr / >newInfo,获取新的HDFS文件信息，并将结果重定向到newlnfo文件中。
3.根据权利要求1或2所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于:所述步骤2)的详细过程为:将原始文件信息oldlnfo和新文件信息newlnfo按相同的规则进行分片，这里的规则是指按照行数分割成相同的文件数。
4.根据权利要求3所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于:所述步骤3)的详细过程为:通过将分片后的新旧HDFS文件信息进行对应的逐个对比，将对比后的结果保存在日志文件中，这里的对比是指对比文件或文件夹的名字，以及文件的大小是否相匹配。
5.根据权利要求4所述的一种HDFS中大数据迁移完整性验证的方法，其特征在于:所述匹配过程为: 一、用旧的文件信息为基准，逐条匹配新的文件信息； 二、若完全匹配，则取旧文件信息的下一条继续步骤二过程的匹配； 三、若文件大小未能完全匹配上，代表该文件迁移不完整，将文件信息记录至日志文件后，继续步骤二； 四、若文件信息为找到，代表该文件未被迁移至新文件系统，将文件信息记录至日志文件后，继续步骤二； 五、当所有的旧文件信息全都被提取过一遍之后，本次完整性验证结束。
【文档编号】G06F21/64GK103971066SQ201410212726
【公开日】2014年8月6日 申请日期:2014年5月20日 优先权日:2014年5月20日
【发明者】赵仁明, 辛国茂, 亓开元, 房体盈 申请人:浪潮电子信息产业股份有限公司