一种基于hdfs的文件溯源ftp系统的制作方法
【技术领域】
[0001]本发明涉及分布式文件系统，尤其涉及一种基于HDFS的文件溯源FTP系统。
【背景技术】
[0002]移动互联网时代，移动通信行业的用户行为数据量激增，数据分析领域采用先进的大数据技术进行数据分析和数据访问工作。
[0003]Hadoop分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统，它和现有的分布式文件系统有很多共同点。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。
[0004]HDFS-0VER-FTP是一个开源的，简单易用的实现了对HDFS文件系统的上传和下载的FTP服务器。但是现有技术中对上传文件没有历史记录，不便于后期维护查看。
【发明内容】
[0005]本发明要解决的技术问题，在于提供一种基于HDFS的文件溯源FTP系统，解决了现有技术中往HDFS文件系统上传文件后，后期无法维护和查看，无法进行溯源的问题。
[0006]本发明是这样实现的:一种基于HDFS的文件溯源FTP系统，包括FTP服务端、上传文件模块、历史记录模块、HDFS文件系统以及文件流池；FTP服务端从客户端接收N个上传文件请求后发起N个并发线程，每一线程调用上传文件模块上传客户端发送的文件，每一线程对应一文件；上传文件模块上传文件到HDFS文件系统，所述上传文件模块确定文件已上传到HDFS文件系统后将调用历史记录模块；历史记录模块从文件流池中获取空闲的文件流，应用所述文件流将文件的上传信息写入历史记录文件中，所述上传信息用于文件溯源；文件流池，存储多个文件流的介质，所述每一文件流管理一个历史记录文件；HDFS文件系统，存储被上传文件的文件系统。
[0007]其中，若所述上传文件模块上传文件到HDFS文件系统失败，则返回错误信息至客户端，客户端重新发起上传文件请求。
[0008]其中，若所述上传文件模块上传文件到HDFS文件系统成功，则返回成功信息至客户系统。
[0009]其中，所述的上传信息包括所上传文件的文件名、开始上传时间、结束上传时间、上传成功与否标识。
[0010]其中，所述历史记录文件中所记录的各上传信息之间用符号间隔。
[0011]其中，所述文件流池为物理硬盘。
[0012]其中，所述文件流池的文件流数量可配置。
[0013]本发明的优点在于:
[0014]其一、应用所述的FTP服务端，往HDFS文件系统上传文件时可以在所述的历史记录文件中记录文件上传信息，便于后期维护时查看、溯源。
[0015]其二、所述的基于HDFS的文件溯源FTP系统实现并发的文件上传、下载功能，并发的记录上传信息，工作效率高，实时性好。
【附图说明】
[0016]图1为本发明的一种基于HDFS的文件溯源FTP系统的结构示意图。
[0017]标号说明:
[0018]客户端-100FTP服务端-200 上传文件模块-300
[0019]历史记录模块-400文件流池-500
【具体实施方式】
[0020]为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
[0021]HDFS-0VER-FTP是一个开源的，简单易用的实现了对HDFS文件系统的上传和下载的FTP服务端200。本发明应用所述的FTP服务端200实现文件的上传、下载和溯源等功能，本发明公开一种基于HDFS的文件溯源FTP系统，具体的包括:FTP服务端200、上传文件模块300、历史记录模块400、HDFS文件系统以及文件流池500 ;FTP服务端200从客户端100接收N个上传文件请求后发起N个并发线程，每一线程调用上传文件模块300上传客户端100发送的文件，每一线程对应一文件；上传文件模块300上传文件到HDFS文件系统，所述上传文件模块300确定文件已上传到HDFS文件系统后将调用历史记录模块；历史记录模块从文件流池500中获取空闲的文件流，应用所述文件流将文件的上传信息写入历史记录文件中，所述上传信息用于文件溯源；文件流池500，存储多个文件流的介质，所述每一文件流管理一个历史记录文件；HDFS文件系统，存储被上传文件的文件系统。
[0022]参阅图1所示，多个客户端100同时上传文件，FTP服务端200接收到多个上传文件的请求，然后发起多个线程并发的处理，每个线程对应一个文件，每个线程通过调用上传文件模块300来上传文件，上传文件模块300负责把文件上传到HDFS文件系统中。若上传文件成功，则此线程会调用历史记录模块，历史记录模块从文件流池500里去获得一个空闲的文件流，如果暂时没有空闲的文件流，则等待一段时间再去获取，直至获得空闲的文件流，通过这个文件流向对应的历史记录文件中写入上传信息，所述的文件流池500中的文件流主要用于解决多线程高并发的上传文件时历史记录模块可能会带来的性能问题，以此通过所述的文件流管理历史记录文件保障系统稳定运行。在各种实施方式中，所述的上传信息包括所上传文件的文件名、开始上传时间、结束上传时间、上传成功与否标识等，调用所述的上传信息即可对所述的文件进行溯源，所述上传信息不仅仅局限于本例所列的类型，所述上传信息可依据使用者的需求设定类别。在又一优选的实施方式中，为了能够清楚的区分各个上传信息，所述的上传信息之间用符号间隔，所述的符号可以为分隔符、逗号、加号、斜线等各种能够表征区别的符号。
[0023]上述实施方式的一种改进方式中，若所述上传文件模块300上传文件到HDFS文件系统失败，则返回错误信息至客户端100，客户端100重新发起上传文件请求。通过该方式能够保证所有文件都上传至所述的HDFS文件系统。
[0024]上述实施方式的一种改进方式中，若所述上传文件模块300上传文件到HDFS文件系统成功，则返回成功信息至客户端100。该方式便于客户端100能够对上传成功的文件进行统计，并可应用于后期的跟踪、溯源。
[0025]上述实施方式中，所述的文件流池500优选的采用物理硬盘，文件流池里面存储了多个文件流，文件流连接到物理硬盘上的一个物理文件，文件流可以对这个物理文件进行读写操作，即每个文件流对应到物理硬盘上的一个历史记录文件通过文件流可以读写所述的历史记录文件，所述历史记录文件的文件名可配置，本发明可以通过在配置文件hdfs-over-ftp.properties 中提供 log_prefix_record_operat1ns_put 配置项来让用户自定义历史记录文件的文件名主体部分，文件名主体部分+当前日期+.log构成完整的文件名。在又一优选的实施方式中，在配置文件hdfs-over-ftp.properties中提供了 log_max_os配置项来让用户自定义文件流池500中缓存的文件流的数量，达到文件流池500中的文件流数量可配置的目的，并且文件流可以根据自定制的时间来切换到新的物理文件。
[0026]上所述仅为本发明一种基于HDFS的文件溯源FTP系统的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种基于HDFS的文件溯源FTP系统，其特征在于:包括FTP服务端、上传文件模块、历史记录模块、HDFS文件系统以及文件流池； FTP服务端从客户端接收N个上传文件请求后发起N个并发线程，每一线程调用上传文件模块上传客户端发送的文件，每一线程对应一文件； 上传文件模块上传文件到HDFS文件系统，所述上传文件模块确定文件已上传到HDFS文件系统后将调用历史记录模块； 历史记录模块从文件流池中获取空闲的文件流，应用所述文件流将文件的上传信息写入历史记录文件中，所述上传信息用于文件溯源； 文件流池，存储多个文件流的介质，每一文件流管理一个历史记录文件； HDFS文件系统，存储被上传文件的文件系统。2.根据权利要求1所述的一种基于HDFS的文件溯源FTP系统，其特征在于:若所述上传文件模块上传文件到HDFS文件系统失败，则返回错误信息至客户端，客户端重新发起上传文件请求。3.根据权利要求2所述的一种基于HDFS的文件溯源FTP系统，其特征在于:若所述上传文件模块上传文件到HDFS文件系统成功，则返回成功信息至客户系统。4.根据权利要求3所述的一种基于HDFS的文件溯源FTP系统，其特征在于:所述的上传信息包括所上传文件的文件名、开始上传时间、结束上传时间、上传成功与否标识。5.根据权利要求4所述的一种基于HDFS的文件溯源FTP系统，其特征在于:所述历史记录文件中所记录的各上传信息之间用符号间隔。6.根据权利要求1所述的一种基于HDFS的文件溯源FTP系统，其特征在于:所述文件流池为物理硬盘。7.根据权利要求6所述的一种基于HDFS的文件溯源FTP系统，其特征在于:所述文件流池的文件流数量可配置。
【专利摘要】本发明提供一种基于HDFS的文件溯源FTP系统，包括FTP服务端从客户端接收N个上传文件请求后发起N个并发线程，每一线程调用上传文件模块上传客户端发送的文件，每一线程对应一文件；上传文件模块上传文件到HDFS文件系统，所述上传文件模块确定文件已上传到HDFS文件系统后将调用历史记录模块；历史记录模块从文件流池中获取空闲的文件流，应用所述文件流将文件的上传信息写入历史记录文件中，所述上传信息用于文件溯源；文件流池，存储多个文件流的介质，每一文件流管理一个历史记录文件；HDFS文件系统，存储被上传文件的文件系统。应用FTP服务端往HDFS文件系统上传文件时可以在所述的历史记录文件中记录文件上传信息，便于后期维护时查看、溯源。
【IPC分类】H04L29/08, G06F17/30
【公开号】CN105357280
【申请号】CN201510678714
【发明人】张强
【申请人】福建新大陆软件工程有限公司
【公开日】2016年2月24日
【申请日】2015年10月19日