技术总结
本发明涉及移动通讯技术领域，具体为一种基于海量小文件的高效上传HDFS的方法及其系统。本发明一种基于海量小文件高效上传HDFS的方法，包括以下步骤，1)搭建Hadoop2.7.1的集群环境，设置好HIVE、HDFS的环境与配置，设置好名称节点组和资源管理组；2)对各结节搭建网站服务器集群；3)设置HIVE与HDFS的关联表；4)建立小文件收集的文件池。本发明通过建立文件池，和对文件池中的数据进行预处理，衔接了Python的数据处理技术和Hadoop的块大小累加，并增加本地HDFS的上传程序，达到海量小文件的高效上传HDFS。
技术研发人员：欧阳涛
受保护的技术使用者：上海斐讯数据通信技术有限公司
文档号码：201611214964
技术研发日：2016.12.26
技术公布日：2017.05.24