mespace)以及客户端的访问。控制节点中的日志文件负责记录客户端对分布式文件系统每一次的操作请求，并在下次重启分布式文件系统时对日志文件进行合并，如果分布式文件系统长时间不重启，日志文件中的记录的操作请求数量就会很多，重启过程中将花费大量的时间来合并日志文件中的记录，控制节点通过定期合并日志文件，减少了分布式文件系统重启时合并日志文件中记录的时间。优选的，定期的时间设置为30分钟。
[0105]数据节点利用集群技术将l/0(lnput/0utput)负载分配到多个数据节点的多个磁盘中，提高了应用系统在数据节点I/O处理上的性能。存储在分布式文件系统中的数据一般有多个副本，当某一个数据节点失效后，保存在该数据节点的副本将会被拷贝到其它活跃的数据节点，如果有多个数据节点同时失效，可能会造成分布式文件系统中副本拷贝风暴，影响分布式文件系统的正常服务。
[0106]数据节点会周期性的向控制节点发送心跳，当一定时间内控制节点没有收到数据节点发送的心跳，即表示该数据节点失效了，失效的数据节点会抛出时间异常，控制节点通过设置参数标记失效的数据节点。控制节点优先选择未被标记为失效数据节点的数据节点对操作请求进行响应。第二数据访问方法优先访问其它活跃的数据节点，只有在第二数据访问方法在其它活跃的数据节点中获取不到数据的情况下，才会访问到被标记的数据节点。
[0107]具体的，分布式文件系统为HDFS (Hadoop Distributed File System, Hadoop 分布式文件系统)，Hadoop是一个开源分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。
[0108]以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种分布式文件系统的访问方法，所述方法包括: 接收对分布式文件系统的操作请求； 根据所述操作请求建立与所述分布式文件系统之间的连接； 调用第二数据访问方法在所述分布式文件系统中响应所述操作请求，所述第二数据访问方法为重新封装了处理逻辑的第一数据访问方法，所述第一数据访问方法是指数据传输的通信协议包含的数据访问方法； 返回响应所述操作请求得到的结果。2.根据权利要求1所述的方法，其特征在于，所述第二数据访问方法包括: 文件读取方法、文件上传方法、文件复制方法、文件删除方法、文件重命名方法、创建目录方法和查找当前目录文件列表方法中的至少一种第二数据访问方法。3.根据权利要求1所述的方法，其特征在于，所述根据所述操作请求建立与所述分布式文件系统之间的连接的步骤，包括: 加载分布式文件系统的配置信息，所述配置信息包括访问地址和访问端口 ； 根据所述操作请求创建系统连接器对象，通过所述系统连接器对象根据所述访问地址和访问端口建立与分布式文件系统之间的连接。4.根据权利要求1所述的方法，其特征在于，所述调用第二数据访问方法在所述分布式文件系统中响应所述操作请求的步骤，包括: 检查所述第二数据访问方法对分布式文件系统是否有操作权限； 当有操作权限时，判断所述操作请求是否是修改所述分布式文件系统中数据的操作请求，若是，进一步判断所述分布式文件系统中数据是否已被占用； 当所述分布式文件系统的数据没有被占用时，则修改所述分布式文件系统中数据，否则等待所述占有被释放。5.根据权利要求1所述的方法，其特征在于，所述分布式文件系统包括控制节点和数据节点；所述方法还包括: 所述控制节点接收所述操作请求，将所述操作请求记录在日志文件中，并定期合并所述日志文件；和/或 所述控制节点接收数据节点发送的心跳，若在预设时间内未接收到所述数据节点发送的心跳，则将所述数据节点标记为失效数据节点；所述控制节点优先选择未被标记为失效数据节点的数据节点对所述操作请求进行响应。6.—种分布式文件系统的访问系统,其特征在于,所述系统包括: 操作请求接收模块，用于接收对分布式文件系统的操作请求； 连接建立模块，用于根据所述操作请求建立与所述分布式文件系统之间的连接； 操作请求响应模块，用于调用第二数据访问方法在所述分布式文件系统中响应所述操作请求，所述第二数据访问方法为重新封装了处理逻辑的第一数据访问方法，所述第一数据访问方法是指数据传输的通信协议包含的数据访问方法； 结果返回模块，返回响应所述操作请求得到的结果。7.根据权利要求6所述的系统，其特征在于，所述第二数据访问方法包括: 文件读取系统、文件上传系统、文件复制系统、文件删除系统、文件重命名系统、创建目录系统和查找当前目录文件列表系统中的至少一种第二数据访问方法。8.根据权利要求6所述的系统，其特征在于，所述连接建立模块包括: 配置信息加载模块，用于加载分布式文件系统的配置信息，所述配置信息包括访问地址和访问端口； 对象连接模块，用于根据所述操作请求创建系统连接器对象，通过所述系统连接器对象根据所述访问地址和访问端口建立与分布式文件系统之间的连接。9.根据权利要求6所述的系统，其特征在于，所述操作请求响应模块包括: 操作权限检查模块，用于检查所述第二数据访问方法对分布式文件系统是否有操作权限； 操作请求判断模块，用于当有操作权限时，判断所述操作请求是否是修改所述分布式文件系统中数据的操作请求，若是，进一步判断所述分布式文件系统中数据是否已被占用； 数据修改模块，用于当所述分布式文件系统中数据没有被占用时，则修改所述分布式文件系统中数据，否则等待所述占有被释放。10.根据权利要求6所述的系统，其特征在于，所述分布式文件系统包括控制节点和数据节点；所述系统还包括: 所述控制节点，用于接收所述操作请求，将所述操作请求记录在日志文件中，并定期合并所述日志文件；和/或 所述控制节点，还用于接收数据节点发送的心跳，若在预设时间内未接收到所述数据节点发送的心跳，则将所述数据节点标记为失效数据节点；所述控制节点优先选择未被标记为失效数据节点的数据节点对所述操作请求进行响应。
【专利摘要】本发明提供了一种分布式文件系统的访问方法和系统，其中，所述分布式文件系统的访问方法包括：接收对分布式文件系统的操作请求；根据所述操作请求建立与所述分布式文件系统之间的连接；调用第二数据访问方法在所述分布式文件系统中响应所述操作请求，所述第二数据访问方法为重新封装了处理逻辑的第一数据访问方法，所述第一数据访问方法是指数据传输的通信协议包含的数据访问方法；返回响应所述操作请求得到的结果。上述分布式文件系统的访问方法和系统节省了应用系统开发所需的时间和资金。
【IPC分类】G06F17/30
【公开号】CN105468643
【申请号】CN201410456530
【发明人】郑壮杰
【申请人】博雅网络游戏开发（深圳）有限公司
【公开日】2016年4月6日
【申请日】2014年9月9日