专利名称：云计算模式文件系统及文件读取方法
技术领域：
本发明涉及一种云计算模式文件系统及文件读取方法，属于云计算技术领域。
技术背景
云计算模式是一种通过网络将多个成本相对较低的计算实体整合成一个具有强 大计算能力的模式，其中一个重要的部分是文件系统。现有的单机文件系统主要基于裸机 设备构建；而现有存储域网络(Storage AreaNetwork，简称SAN)方式文件系统基于各个 厂商的独立冗余磁盘阵列(Redundant Array of Independent Disk，简称RAID)方式构建。
现有技术中至少存在如下问题现有云计算模式文件系统没有统一的标准接口， 只能使用昂贵的存储设备和高性能的计算服务器，因此开放性差且适应性弱。发明内容
本发明提供一种云计算模式文件系统及文件读取方法，用以提高文件系统的扩展 性能。
本发明一方面提供一种云计算模式文件系统，其中包括
第一客户端模块，用于发出文件读取请求；
文件管理模块，用于根据第一客户端模块发出的所述文件读取请求发出索引获取 请求；
分布式管理模块，用于根据文件管理模块发出的所述索引获取请求获取所需文件 的索引信息及该文件所在服务器的IP地址；
分布式传输模块，用于根据分布式管理模块获取的所述索引信息及所述IP地址 从相应的服务器读取所述文件，经所述文件管理模块发送给所述第一客户端模块。
本发明另一方面提供一种文件读取方法，其中包括
接收由第一客户端模块发出的文件读取请求；
根据所述文件读取请求获取所需文件的索引信息及该文件所在服务器的IP地 址；
根据所述索引信息及所述IP地址从相应的服务器读取所述文件；
将读取的所述文件发送给所述第一客户端模块。
本发明实现了基于IP的文件读取方式，适用于IP分布式构造，具有开放统一的标 准接口，扩展性能强大，仅需要扩展廉价PC服务器，便可扩展存储性能和计算能力，使用户 不必采用昂贵的存储和高性能的计算服务器便可搭建自己的云计算平台，开发自己的云计算应用。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现4有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
图1为本发明所述文件读取方法实施例一的流程图2为本发明所述文件读取方法实施例二的流程图3为本发明所述云计算模式文件系统实施例的结构示意图4为图3所示系统的函数调用命令传输过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明所述文件读取方法实施例的流程图，如图所示，包括如下步骤
步骤110，接收由第一客户端模块发出的文件读取请求。
其中，该文件读取请求是由第一用户通过操作第一客户端模块发出的，用以请求 读取所需的文件。
步骤120，根据所述文件读取请求获取所需文件的索引信息及该文件所在服务器 的IP地址。
具体地，可以先根据所述文件读取请求生成索引获取请求，根据该索引获取请求 查找相应的资源分布配置信息；然后再根据查找到的所述资源分布配置信息获取所需文件 的索引信息及该文件所在服务器的IP地址。
步骤130，根据所述索引信息及所述IP地址从相应的服务器读取所述文件。
其中，索引信息中记录了所述文件在服务器中的本地物理存储位置。索引信息与 文件分离的方式是现有技术中主要的文件管理方式。本实施例所述方法沿用该方式，以便 于与现有服务器的本地文件系统相适应。
具体地，可以先根据所述服务器的本地文件系统格式对所述索引信息进行协议适 配，得到适配后的索引信息；然后再根据所述适配后的索引信息及所述IP地址从相应的服 务器读取所述文件。从而使所述索引信息能够与具有所述IP地址的服务器的本地文件系 统相适配。
步骤140，将读取的所述文件发送给所述第一客户端模块。
具体地，可以对读取的所述文件进行协议适配，得到适配后的文件；然后再将所述 适配后的文件发送给所述第一客户端模块。从而使所述文件能够与第一客户端模块相适 配。具体地，进行所述协议适配时可以将读取的所述文件转换为复合索引文件(ere)格式， 以使第一客户端模块可以处理该适配后的CFS格式文件。
本实施例所述方法实现了基于IP的文件读取方式，适用于IP分布式构造，具有开 放统一的标准接口，扩展性能强大，仅需要扩展廉价PC服务器，便可扩展存储性能和计算 能力，使用户不必采用昂贵的存储和高性能的计算服务器便可搭建自己的云计算平台，开 发自己的云计算应用。5
图2为本发明所述文件读取方法实施例二的流程图，如图所示，本实施例所述方 法在上述步骤130所述根据所述索引信息及所述IP地址从相应的服务器读取所述文件之 后还包括如下步骤
步骤210，根据读取的所述文件生成相应的文件种子。
其中，所述文件种子记录了该文件曾经被哪个客户端模块读取过的信息以及该文 件的索引信息。
步骤220，当接收到来自第二客户端模块发出的另一文件读取请求时，查询是否曾 经向所述第一客户端模块传输过所述另一文件读取请求所要读取的文件，并将查询结果发 送给所述第二客户端模块。
其中，所述另一文件读取请求是由第二用户通过操作第二客户端模块发出的，用 以请求读取所需的文件。
步骤230，当所述查询结果为是时，所述第二客户端模块获取相应的文件种子。
其中，如果所述查询结果为是，则表明所述第二客户端模块所需的文件与所述第 一客户端模块曾经读取过的文件相同。
步骤M0，第二客户端模块根据所述文件种子以点对点方式从所述第一客户端模 块获取与所述文件种子相应的文件。
另外，如果所述查询结果为否，也就是说所述第一客户端模块没有读取过所述文 件，则该第二客户端可以采用实施例一所述方法读取所需的文件，或者也可以从其他客户 端模块以点对点方式传输所述文件。
本实施例所述方法实现了客户端模块之间以点对点方式传输文件，节省了文件传 输的时间也减轻了文件系统的工作负担。
图3为本发明所述云计算模式文件系统实施例的结构示意图，如图所示，该系统 至少包括第一客户端模块11、文件管理模块12、分布式管理模块13及分布式传输模块 14，其中，文件管理模块12、分布式管理模块13及分布式传输模块14位于服务器的主控单 元中。
此处需要说明的是本实施例所述客户端模块与服务器实际上是具有相同内部模 块结构的同一种设备，只不过该设备在执行不同的操作时扮演了不同的角色。例如，当该设 备请求读取文件时，它作为客户端模块；而当该设备提供所请求的文件时，它作为服务器。
以下说明本实施例所述系统的工作原理
第一客户端模块11发出文件读取请求；文件管理模块12根据第一客户端模块11 发出的所述文件读取请求发出索引获取请求；分布式管理模块13根据文件管理模块12发 出的所述索引获取请求获取所需文件的索引信息及该文件所在服务器的IP地址；分布式 传输模块14根据分布式管理模块13获取的所述索引信息及所述IP地址从相应的服务器 读取所述文件，经所述文件管理模块12发送给所述第一客户端模块11。具体地，所述服务 器中还可以包括通信协议模块，其中保存有TCP/IP协议族，分布式传输模块14可以通过协 议适配模块17调用通信协议模块中的TCP/IP协议族对IP地址进行适配后访问相应的服 务器。
其中，所述分布式管理模块13主要负责调度查找当前云中可用的存储和计算资 源，并创建和管理云缓存，保存云资源的索引。所述文件管理模块12主要负责完成文件操作和管理，包括创建、删除、查找、命名、读取、写入、打开和关闭等操作。所述分布式传输模 块14主要负责在客户端模块与服务器之间完成分布式文件的传输。
具体地，该系统还可以进一步包括配置管理模块15及核心算法模块16。当上述 文件管理模块12发出索引获取请求后，可以先由配置管理模块15查找相应的资源分布配 置信息；然后再由核心算法模块16根据配置管理模块15查找到的资源分布配置信息获取 所需文件的索引信息及该文件所在服务器的IP地址发送给所述分布式管理模块13。
其中，所述核心算法模块16的功能可以包括文件寻址算法、云资源调度算法、文 件传输控制算法、点对点种子路径寻址算法、文件加密算法及文件传输压缩和解压算法等。 所述配置管理模块15负责完成云配置资源的加载、重载、云服务器的启动、停止，并且负责 和分布式管理模块13进行通信，以完成配置资源的变化。
具体地，该系统还可以进一步包括协议适配模块17，根据所述服务器的本地文 件系统格式对分布式管理模块13获取的所述索引信息进行协议适配，得到适配后的索引 信息；然后由所述分布式传输模块14根据协议适配模块17得到的所述适配后的索引信息 及所述IP地址从相应的服务器读取所述文件。并且，所述协议适配模块17还可以对分布 式传输模块14读取的所述文件进行协议适配，得到适配后的文件，具体地，进行所述协议 适配时可以将读取的所述文件转换为CFS格式；然后由所述分布式传输模块14经所述文件 管理模块12将所述适配后的文件发送给所述第一客户端模块11。其中，该协议适配模块 17主要负责适配底层传输协议和本地文件系统。
本实施例所述系统也可以称为云文件系统(Cloud File Systems，简称CFS)，该 系统基于IP协议，适用于IP分布式构造，具有开放统一的标准接口，扩展性能强大，仅需要 扩展廉价PC服务器，便可扩展存储性能和计算能力，使用户不必采用昂贵的存储和高性能 的计算服务器便可搭建自己的云计算平台，开发自己的云计算应用。
另外，如图3所示，所述系统中还可以进一步包括点对点传输模块18和第二客户 端模块19，其中，点对点传输模块18可以完成客户端模块间的点对点传输，产生种子监控 器(tracker)，用于在点对点(Peer to Peer)传输中获知正在传输的文件名称，然后提供给 其他下载同样文件的对端设备的清单。该系统的工作原理如下
所述分布式传输模块14在进行文件读取后，还可以进一步根据读取的所述文件 生成相应的文件种子保存在所述点对点传输模块18中；当第二用户通过操作第二客户端 模块19发出另一文件读取请求时，所述文件管理模块12根据所述另一文件读取请求查询 所述分布式传输模块14是否曾经向所述第一客户端模块11传输过所述另一文件读取请求 所要读取的文件，并将查询结果发送给所述第二客户端模块19 ；当所述查询结果为是时， 所述第二客户端模块19则从所述点对点传输模块18中获取相应的文件种子，并根据该文 件种子以点对点方式从相应的第一客户端模块11获取该第一客户端模块11中保存的与所 述文件种子相应的文件。具体地，第二客户端模块19可以通过点对点传输模块18调用核 心算法模块16中的点对点种子路径寻址算法，以实现第二客户端模块19与第一客户端模 块11之间的点对点文件传输。
其中，所述第一客户端模块11及第二客户端模块19可以为用户进行的CFS系统 操作提供接口，创建并管理本地缓存，并负责点对点的传输调度。
此处需要说明的是，图3中所示的虚线箭头表示模块间的调用关系，例如调用接7口调用点对点传输模块18、文件管理模块12和分布式传输模块14 ；分布式管理模块13调 用配置管理模块15、核心算法模块16和协议适配模块17 ；分布式传输模块14调用协议适 配模块17 ；点对点传输模块18调用核心算法模块16，被调用的模块通过执行函数调用命令 来实现如上所述的相应的功能。图4为图3所示系统的函数调用命令传输过程示意图，如 图所示，包括如下函数命令调用过程
1.用户A在客户端模块A调用readO函数命令进行文件读取；
2.文件管理模块对readO函数命令进行缓冲，当此条命令进栈后，调用分布式管 理模块的reacHndexO函数命令；
3.分布式管理模块此时通过调用readConfigO函数命令读取配置管理模块的缓 冲区(Buffer)；
4.配置管理模块通过调用getQuickDatalndexO函数命令根据名字空间等索引 信息调用核心算法模块，核心算法模块返回需要读取文件的索引信息和所在服务器的IP 地址；
5.分布式管理模块得到文件索引后，通过readLocalFilelndexO函数命令调用 协议适配模块；
6.协议适配模块根据IP地址找到文件所在的服务器，并通过调用 getAdpterFileHandlerO函数命令向服务器获取本地文件格式数据；
7.服务器通过调用getLocalHandlerO函数命令从本地文件系统中获取本地文 件格式数据；
8.服务器通过调用getMatchToHandlerO函数命令将本地文件格式数据返回给 协议适配模块，由协议适配模块根据该本地文件格式数据中记录的本地文件系统格式对所 述索引信息进行适配，并将适配后的索引信息经分布式管理模块返回给文件管理模块；
9.文件管理模块获取适配后的索引信息后，调用readDataandex)函数命令，以 获取文件实体；
10.分布式传输模块调用readLocalFiIeDataO函数命令，以获取文件实体；
11.协议适配模块通过调用getAdpaterFiIeDataO函数命令从服务器的本地文 件系统获取相应的文件实体返回给分布式传输模块，并由分布式传输模块经文件管理模块 将文件实体传输给客户端模块A，从而完成对文件的读取。
12.用户B在客户端模块B调用readO函数命令，向文件管理模块请求进行文件 读取；
13.文件管理模块通过调用haveLivelndexO函数命令从分布式传输模块获知是 否存在此文件的种子，如果存在，返回给客户端模块B种子索引；
14.客户端模块B通过getLivelndexO函数命令从点对点传输模块得到文件种子 后从相应的客户端模块点对点地传输所要读取的文件，例如，在图4中，如果该文件种子表 明相应的文件保存在客户端模块A中，则客户端模块B从客户端模块A点对点地传输所要 读取的文件；如果该文件种子表明相应的文件保存在客户端模块C中，则客户端模块B从客 户端模块C点对点地传输所要读取的文件。
本实施例所述系统还进一步实现了客户端模块之间以点对点方式传输文件，节省 了文件传输的时间也减轻了文件系统的工作负担。
本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括R0M、RAM、磁碟或者 光盘等各种可以存储程序代码的介质。
最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替 换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精 神和范围。
权利要求
1.一种云计算模式文件系统，其特征在于，包括第一客户端模块，用于发出文件读取请求；文件管理模块，用于根据第一客户端模块发出的所述文件读取请求发出索引获取请求；分布式管理模块，用于根据文件管理模块发出的所述索引获取请求获取所需文件的索 引信息及该文件所在服务器的IP地址；分布式传输模块，用于根据分布式管理模块获取的所述索引信息及所述IP地址从相 应的服务器读取所述文件，经所述文件管理模块发送给所述第一客户端模块。
2.根据权利要求1所述的系统，其特征在于，还包括配置管理模块，用于根据文件管理模块发出的所述索引获取请求查找相应的资源分布 配置信息；核心算法模块，用于根据配置管理模块查找到的资源分布配置信息获取所需文件的索 引信息及该文件所在服务器的IP地址发送给所述分布式管理模块。
3.根据权利要求1所述的系统，其特征在于，还包括协议适配模块，根据所述服务器的本地文件系统格式对分布式管理模块获取的所述索 引信息进行协议适配，得到适配后的索引信息；所述分布式传输模块还用于根据协议适配模块得到的所述适配后的索引信息及所述 IP地址从相应的服务器读取所述文件。
4.根据权利要求3所述的系统，其特征在于所述协议适配模块还用于对分布式传输模块读取的所述文件进行协议适配，得到适配 后的文件；所述分布式传输模块经所述文件管理模块将所述适配后的文件发送给所述第一客户 端模块。
5.根据权利要求1所述的系统，其特征在于，还包括点对点传输模块；所述分布式传 输模块还用于根据读取的所述文件生成相应的文件种子保存在所述点对点传输模块中。
6.根据权利要求5所述的系统，其特征在于，还包括第二客户端模块，用于发出另一文件读取请求；所述文件管理模块还用于查询所述分布式传输模块是否曾经向所述第一客户端模块 传输过所述另一文件读取请求所要读取的文件，并将查询结果发送给所述第二客户端模 块；当所述查询结果为是时，所述第二客户端模块还用于从所述点对点传输模块中获取相 应的文件种子，并根据该文件种子以点对点方式从相应的第一客户端模块获取该第一客户 端模块中保存的与所述文件种子相应的文件。
7.一种文件读取方法，其特征在于，包括接收由第一客户端模块发出的文件读取请求；根据所述文件读取请求获取所需文件的索引信息及该文件所在服务器的IP地址；根据所述索引信息及所述IP地址从相应的服务器读取所述文件；将读取的所述文件发送给所述第一客户端模块。
8.根据权利要求7所述的方法，其特征在于，根据所述文件读取请求获取所需文件的索引信息及该文件所在服务器的IP地址包括根据所述文件读取请求生成索引获取请求；根据所述索引获取请求查找相应的资源分布配置信息；根据查找到的所述资源分布配置信息获取所需文件的索引信息及该文件所在服务器 的IP地址。
9.根据权利要求7所述的方法，其特征在于，根据所述索引信息及所述IP地址从相应 的服务器读取所述文件包括根据所述服务器的本地文件系统格式对所述索引信息进行协议适配，得到适配后的索 引信息；根据所述适配后的索引信息及所述IP地址从相应的服务器读取所述文件。
10.根据权利要求7所述的方法，其特征在于，将读取的所述文件发送给所述第一客户 端模块包括对读取的所述文件进行协议适配，得到适配后的文件；将所述适配后的文件发送给所述第一客户端模块。
11.根据权利要求7所述的方法，其特征在于，根据所述索引信息及所述IP地址从相应 的服务器读取所述文件之后还包括根据读取的所述文件生成相应的文件种子；当接收到来自第二客户端模块发出的另一文件读取请求时，查询是否曾经向所述第一 客户端模块传输过所述另一文件读取请求所要读取的文件，并将查询结果发送给所述第二 客户端模块；当所述查询结果为是时，所述第二客户端模块获取相应的文件种子；所述第二客户端模块根据所述文件种子以点对点方式从所述第一客户端模块获取与 所述文件种子相应的文件。
全文摘要
本发明提供一种云计算模式文件系统及文件读取方法。其中，所述系统包括第一客户端模块，用于发出文件读取请求；文件管理模块，用于根据第一客户端模块发出的所述文件读取请求发出索引获取请求；分布式管理模块，用于根据文件管理模块发出的所述索引获取请求获取所需文件的索引信息及该文件所在服务器的IP地址；分布式传输模块，用于根据分布式管理模块获取的所述索引信息及所述IP地址从相应的服务器读取所述文件，经所述文件管理模块发送给所述第一客户端模块。本发明实现了基于IP的文件读取方式，适用于IP分布式构造，具有开放统一的标准接口，扩展性能强大。
文档编号H04L29/08GK102045399SQ201010609600
公开日2011年5月4日 申请日期2010年12月30日 优先权日2010年12月30日
发明者贾宝军, 郝芸霞, 郭强 申请人:中国联合网络通信集团有限公司