专利名称：基于hdfs集群的分布式云存储系统的制作方法
技术领域：
本发明属于云存储技术领域，具体涉及一种基于HDFS集群的分布式云存储系统。
背景技术：
随着Internet技术的发展，信息量呈爆炸性增长，数据存储逐渐成为制约企业发展的关键问题。越来越多的企业开始将数据存储分离出来作为独立的项目进行管理。高可靠性、高通用性、高扩展性、大容量，云存储以传统数据中心无法比拟的优势特性，正成为企业实现提高效率、降低成本的重要选择。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公共访问接口、接入网和客户端程序等多个部分组成的系统。云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储 设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。目前云存储对用户(无论是个人还是企业)的意义显而易见存储在网络上的数据可以随时随地访问读取(只要能联网)，节省本地存储因数据增长带来的额外硬件添置成本，基本不用考虑数据备份等维护问题，只需要选择合适的云存储服务提供商以及按需支付相关费用即可。使用云存储作为存储服务已成为一种趋势，对云存储的研究具有广阔的应用前景。传统的云存储中文件存储采用的是集中式存储，将文件存储在本地文件系统中。这种存储方式的不足则是，当需要多处访问同一数据时，需要多份备份。另外，对于仅仅保存在文件系统中的资源，如果出现系统宕机，则会造成数据丢失。针对这些问题，现有的解决方案有将用户数据保存到服务器，只有可以联网，用户即可随时随地的访问其数据，无需多备份。但这存在的问题则是一个数据可靠性的问题，一旦服务器宕机，将造成用户数据丢失。本发明因此而来。
发明内容
本发明目的在于提供一种基于HDFS集群的分布式云存储系统,解决了现有技术中云存储中文件存储采用集中存储，用户不能定制，文件传输难以控制等问题。为了解决现有技术中的这些问题，本发明提供的技术方案是一种基于HDFS集群的分布式云存储系统，包括负责管理文件命名空间和客户端访问的名称节点和负责对数据存储进行管理的数据节点，其特征在于所述名称节点包括注册认证模块和用户定制模块，所述注册认证模块用于提供用户进行注册和对用户登录请求进行认证；所述用户定制模块用于对注册用户的存储空间容量进行定制，当用户成功登录后用户设置存储空间余量提醒。优选的，所述用户通过客户端直接向数据节点上传下载文件或者通过名称节点向数据节点上传下载文件。优选的，当用户进行上传操作时，用户首先与名称节点的服务器端建立连接，获取用户剩余空间大小，若用户剩余空间不足，则提示存储空间余量，并返回用户存储主界面；否则上传用户的文件，并提示存储空间余量。优选的，当用户进行下载操作时，用户通过客户端首先与服务器端建立连接，用户发送读的标识以及文件标识给服务器端，服务器端读取标识，根据文件标识返回给客户端文件数据。本发明技术方案中用户可注册账号，申请一定大小的存储空间。注册成功的用户可使用用户名和密码登录存储系统。用户可查看其可使用空间大小及已上传的文件，用户可上传本地文件至服务器，服务器将用户数据存入HDFS中；用户可下载其已上传至服务器的文件。当用户空间不足时，提示用户。
本发明技术方案采用分块存储，加快存储效率；存储的文件多副本，保证用户数据的可靠性。与传统的文件存储系统相比，本发明技术方案具有用户易使用性，用户可随时随地访问器服务器数据，采用HDFS分布式存储系统提高了系统的存储效率。将云存储运用到用户数据存储系统中，具备用户数据可靠性，即使服务器存储系统中的某个机子宕机了，用户仍然可以获取正确的数据。本发明与现有技术相比，具有如下的有益效果本发明技术方案与现有技术相比，实现了用户大小定制，按需分配，合理使用资源；用户可在联网情况下随时随地访问用户数据，无需到处拷贝；使用分布式存储提高了存储效率；使用多副本存储，提高了存储的数据可靠性。
下面结合附图及实施例对本发明作进一步描述图I为本发明技术方案基于HDFS集群的分布式云存储系统的架构图；图2为本发明技术方案基于HDFS集群的分布式云存储系统的总体流程图；图3为本发明技术方案用户进行上传文件的工作流程图；图4为本发明技术方案用户进行下载文件的工作流程图；图5为本发明技术方案用户进行删除文件的工作流程图。
具体实施例方式以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。实施例本实施例得到的基于HDFS集群的分布式云存储系统，包括负责管理文件命名空间和客户端访问的名称节点和负责对数据存储进行管理的数据节点，所述名称节点包括注册认证模块和用户定制模块，所述注册认证模块用于提供用户进行注册和对用户登录请求进行认证；所述用户定制模块用于对注册用户的存储空间容量进行定制，当用户成功登录后用户设置存储空间余量提醒。
如图I所示，HDFS集群中进行map-reduce数据分解的过程。进行具体部署时，具体实施步骤参见图2，描述如下I)搭建集群，配置HDFS，设置Namenode/Datanode结点，一个主节点，两个从节点，以及副本个数。2)用户注册用户注册时，主要判定用户名是否已经使用，此处仍然采用的是结构化数据的存储方式，若用户名存在，则不能注册；若用户名不存在，则判定用户输入的密码是否涵盖了大小写，数字字母等，若符合要求则用户创建成功，否则提示用户注册失败。3)用户使用用户名和密码登录系统，后台数据库建立连接，判定用户输入是否正确，如果验证正确则进入用户存储空间，显示用户存储主界面，否则返回登录界面。4)进入用户存储界面后，使用action类来控制页面跳转，根据用户操作执行，用户可选择查看个人存储信息、上传文件等操作，则跳转至相应的页面。5)如图3所示为用户进行上传文件的工作流程图。选择上传文件，首先用户主机与服务器端建立连接，获取用户剩余空间大小，若用户剩余空间不足，则给出相应的提示，并返回用户存储主界面；否则，服务器读取用户写标识，生成文件路径，返回给客户端，服务器端，将用户数据写入HDFS。HDFS则根据负载均衡策略，选取集群中负载较低的从节点，分块存储用户数据，块的大小可根据实际情况配置，通常设置为64M，在存储完一块大小的数据后，根据副本数进行备份，HDFS首先选择与存储结点在同一机架上的结点进行副本存储，然后再选择不在同一机架上的另一结点进行存储。6)如图4所示为用户进行下载文件的工作流程图。选择查看文件，用户可以下载或删除其已上传的用户文件。下载文件时，客户端首先与服务器端建立连接，客户端发送下载的标识以及文件标识给服务器端，服务器端读取标识，将文件标识发送给HDFS，HDFS在主节点中找到其存储最近的从节点的位置，读取文件，根据文件标识返回给客户端文件数据。如图5所示为用户进行删除文件的工作流程图。删除文件时，服务器端在读取标识后根据文件标识，给文件做一个标记，交由HDFS删除文件。HDFS每隔一定的时间间隔会检测各文件所发送的心跳，若心跳标识为删除，则HDFS会删除该文件。以下为本实施例与现有技术中常规的集中式存储的效果比较，如表I所示。表I本发明技术方案与集中式存储的效果比较
权利要求
1.一种基于HDFS集群的分布式云存储系统，包括负责管理文件命名空间和客户端访问的名称节点和负责对数据存储进行管理的数据节点，其特征在于所述名称节点包括注册认证模块和用户定制模块，所述注册认证模块用于提供用户进行注册和对用户登录请求进行认证；所述用户定制模块用于对注册用户的存储空间容量进行定制，当用户成功登录后用户设置存储空间余量提醒。
2.根据权利要求I所述的基于HDFS集群的分布式云存储系统，其特征在于所述用户通过客户端直接向数据节点上传下载文件或者通过名称节点向数据节点上传下载文件。
3.根据权利要求2所述的基于HDFS集群的分布式云存储系统，其特征在于当用户进行上传操作时，用户首先与名称节点的服务器端建立连接，获取用户剩余空间大小，若用户剩余空间不足，则提示存储空间余量，并返回用户存储主界面；否则上传用户的文件，并提示存储空间余量。
4.根据权利要求2所述的基于HDFS集群的分布式云存储系统，其特征在于当用户进行下载操作时，用户通过客户端首先与服务器端建立连接，用户发送读的标识以及文件标识给服务器端，服务器端读取标识，根据文件标识返回给客户端文件数据。
全文摘要
本发明公开了一种基于HDFS集群的分布式云存储系统，包括负责管理文件命名空间和客户端访问的名称节点和负责对数据存储进行管理的数据节点，其特征在于所述名称节点包括注册认证模块和用户定制模块，所述注册认证模块用于提供用户进行注册和对用户登录请求进行认证；所述用户定制模块用于对注册用户的存储空间容量进行定制，当用户成功登录后用户设置存储空间余量提醒。该方法实现了用户大小定制，按需分配，合理使用资源；使用分布式存储提高了存储效率；使用多副本存储，提高了存储的数据可靠性。
文档编号H04L29/08GK102932443SQ20121041915
公开日2013年2月13日 申请日期2012年10月29日 优先权日2012年10月29日
发明者陈国庆, 郭蒙蒙 申请人:苏州两江科技有限公司