技术总结
本发明提出一种用于HDFS的文件比较方法及装置,根据本发明实施例的方法包括步骤:从HDFS的主节点获取第一文件和第二文件的信息;根据信息比较构成第一文件的多个第一数据块的数量与构成第二文件的多个第二数据块的数量是否相同;如果是,则从HDFS的从节点获取多个第一数据块的多个第一crc校验值以及多个第二数据块的多个第二crc校验值;将多个第一crc校验值以及多个第二crc校验值按照顺序分别进行比较;如果比较结果相同,则判断第一文件和第二文件相同;以及如果比较结果不同,则判断第一文件和第二文件不同。该方法可以节省网络传输量,并且提高文件比较的效率。
技术研发人员:潘瑾瑜
受保护的技术使用者:百度在线网络技术(北京)有限公司
文档号码:201210130345
技术研发日:2012.04.27
技术公布日:2017.05.10