专利名称：一种云存储系统及其实现方法
技术领域：
本发明涉及计算机以及网络信息技术领域，具体涉及一种云存储系统及其实现方法。
背景技术：
云存储系统一般都基于松耦合架构，元数据与数据分开存储，元数据存放在元数 据节点，数据分布存储在多个数据节点上。目前的云存储系统较多的存在IO访问延迟高 的缺点，延迟的原因是多方面的，首先数据传输不少是基于通用的HTTP协议，而HTTP协议 相比TCP及定制的集群通讯协议不可避免的存在高延迟的特点；其次，没有有效的数据预 取机制，导致无论是在首次访问云存储数据还是持续性数据访问的时候延迟参数无任何改 变。在目前的使用中，云存储系统以及集群存储系统已能在一定程度上识别前端访问 的应用类型，如分布式数据库、普通文件共享、音视频媒体播放等，也可以识别前端访问的 客户端类型，如手持终端、桌面电脑、计算服务器。如果不能识别前端访问的应用类型或者 客户端类型，那么云存储系统以及集群存储系统将把此访问归属于普通文件共享访问。基于云存储系统以及集群存储系统对普通文件共享访问、应用访问、客户端访问 的识别及归类，提出本发明。
发明内容
本发明所要解决的技术问题是，如何提高云存储系统的数据提取效率，因此提供 一种云存储系统及其实现方法。为了解决上述技术问题，本发明公开了一种云存储系统，该系统包括访问特征数 据库、位于元数据节点的访问特征分析与调度模块以及位于各数据节点的数据预取模块， 其中所述访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数 据预取策略；所述特征分析与调度模块，接收客户端发起的访问请求，确定该访问请求的类型， 从所述访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数据预 取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向所确 定的数据节点上的数据预取模块发起数据预取指令，其中，所发起的数据预取指令中包括 所查询到的数据预取策略；所述数据预取模块，接收所述数据预取指令，根据所述数据预取指令进行预取操作。较佳地，上述云存储系统中，所述访问特征数据库中记录访问请求的类型为普通 文件访问时，所记录的对应的数据关联访问特征为，普通文件访问时被关联访问的文件的 标识信息，所记录的对应的数据预取策略是，对被关联访问的文件进行数据预取。
较佳地，所述访问特征数据库中记录访问请求的类型为应用访问时，所记录的对 应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，所记录的对应的数据 预取策略是，对应用关联访问的文件进行数据预取。较佳地，所述访问特征数据库中记录访问请求的类型为客户端访问时，所记录的 对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信息，所记录的对应的 数据预取策略是，对客户端关联访问的文件进行数据预取。本发明还公开了一种云存储系统的实现方法，包括所述云存储系统中元数据节点接收到客户端发起的访问请求时，确定该访问请求 的类型，查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查 询到的数据关联访问特征，确定执行数据预取策略的数据节点，并控制所确定的数据节点 按照所查询到的数据预取策略进行数据预取操作。较佳地，上述方法中，所述云存储系统的元数据节点确定所接收到的访问请求的 类型为普通文件访问时，查询该类型的访问请求对应的数据关联访问特征为，普通文件访 问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对被 关联访问的文件进行数据预取。较佳地，所述云存储系统的元数据节点确定所接收到的访问请求的类型为应用访 问时，查询该类型的访问请求对应的数据关联访问特征为应用访问时被关联访问的文件的 标识信息，查询该类型的访问请求对应的数据预取策略是，对应用关联访问的文件进行数 据预取。较佳地，所述云存储系统的元数据节点确定所接收到的访问请求的类型为客户端 访问时，查询该类型的访问请求对应的数据关联访问特征为客户端访问时被关联访问的文 件的标识信息，查询该类型的访问请求对应的数据预取策略是，对客户端关联访问的文件 进行数据预取。与现有技术相比，本发明的实施例具有如下优越性适用于云存储系统及普通的集群存储，在无需增加硬件成本的前提下，有效提高 存储系统性能，降低持续数据访问存在的延迟。可根据所收到的访问请求的数据关联访问特征进行持续优化，例如，可以为特定 应用(如分布式数据库、普通文件共享、音视频媒体播放)、特定客户端(如手持终端、桌面 电脑、计算服务器)进行优化，有效保障特定存储服务的质量。
图1为本发明实施例1的云存储系统结构示意图。
具体实施例方式下面结合附图及具体实施例对本发明技术方案做进一步详细说明。需要说明的 是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。实施例1本申请的发明人考虑不同类型的访问请求的数据关联访问特征不同，而针对不同 的数据关联访问特征可采用不同的数据预取操作，以提高云存储系统的性能。
基于上述发明人的思想，本实施例提供一种云存储系统，如图1所示，至少包括位 于元数据节点上的访问特征数据库、位于元数据节点上的访问特征分析与调度模块以及位 于各数据节点的数据预取模块。访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数据预 取策略；具体地，访问特征数据库可以采用传统的关系型数据库，也可以采用分布式数据。 除了在本实施例中访问特征数据库位于元数据节点外，在其他场景中，访问特征数据库也 可以位于数据节点，也可以存储在一个独立的设备上。其中，访问特征数据库所记录的各类访问请求包括普通文件访问(无法辨别是应 用类型，也无法辨别客户端类型的访问请求即可认为是普通文件访问请求)、应用访问以及 客户端访问等。其中，不同类型的访问请求所对应的数据关联访问特征如下1)当访问请求的类型为普通文件访问时，假设被访问的文件是文件A，一般文件A 被访问的同时，云存储系统中的其他文件可能被关联访问，而当文件A再次被访问时，这些 其他文件仍可能被关联访问，这些其他文件可称为普通关联访问文件。因此，访问特征数据 库中记录文件访问对应的数据关联访问特征为普通文件被访问时被关联访问的文件的标 识信息，对应的数据预取策略为对普通文件访问关联文件进行数据预取操作；2)当访问请求的类型为应用访问时，也可能会关联地访问一些特定的文件，这些 文件也可以称为应用关联访问文件。因此，访问特征数据库中记录应用访问对应的数据关 联访问特征为应用访问时被关联访问的文件的标识信息，对应的数据预取策略为对应 用关联访问文件进行数据预取操作；3)当访问请求的类型为客户端访问时，也可能会关联访问一些特定的文件，这些 文件也可以成为客户端关联访问文件。因此，访问特征数据库中记录客户端访问对应的数 据关联访问特征为客户端访问时被关联访问的文件的标识信息，对应的数据预取策略为 对客户端关联访问文件进行数据预取操作；特征分析与调度模块，主要负责接收客户端发起的访问请求，确定该访问请求的 类型，从所述访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数 据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向 所确定的数据节点上的数据预取模块发起数据预取指令，其中，所发起的数据预取指令中 包括所查询到的数据预取策略；数据预取模块，接收所述数据预取指令，根据所述数据预取指令进行预取操作。在上述云存储系统中，当发生数据访问的时候，将执行如下操作步骤特征分析与调度模块接收到访问请求时，如果首次收到该访问请求时，创建该访 问请求的数据关联访问特征及预取策略。即记录该访问请求的类型，并记录该访问请求要 关联访问的文件的标识信息以及对应的预取策略。如果并非首次收到该访问请求，则说明 已记录该访问请求的数据关联访问特征，因此，确定该访问请求的类型，从所记录的数据关 联访问特征中查询该类访问请求对应的数据关联访问特征以及预取策略。从而对所要关联 访问的文件进行预取操作，以提高云存储系统的性能。还有一些优选实施例中，如果普通文件共享/应用/客户端进行持续数据访问，云
6存储系统还可以记录此特征记录的关联信息，包含访问频次，访问顺序等参数。例如，某应 用在单位时间内多次访问某文件(即访问频次达到一定值)，则认为此文件对用户很重要， 因此将持续的提升此文件的预取等级，即访问请求关联到此文件时，一定对该文件采取预 取操作，以提高应用响应性能。而访问顺序，可以理解为应用在访问系统的时候可能总是要 先查看某些数据然后才进行其他操作。实施例2本实施例介绍实施例1中的云存储系统的实现方法，包括云存储系统中元数据节点接收到客户端发起的访问请求时，确定该访问请求的类型，查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到 的数据关联访问特征，确定执行数据预取策略的数据节点，并控制所确定的数据节点按照 所查询到的数据预取策略进行数据预取操作。其中，云存储系统的元数据节点确定所接收到的访问请求的类型为普通文件访问时，查询该类型的访问请求对应的数据关联访问特征为，普通文件访问时被关联访问的文 件的标识信息，查询该类型的访问请求对应的数据预取策略是，对被关联访问的文件进行 数据预取；云存储系统的元数据节点确定所接收到的访问请求的类型为应用访问时，查询该 类型的访问请求对应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，查 询该类型的访问请求对应的数据预取策略是，对应用关联访问的文件进行数据预取；云存储系统的元数据节点确定所接收到的访问请求的类型为客户端访问时，查询 该类型的访问请求对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信 息，查询该类型的访问请求对应的数据预取策略是，对客户端关联访问的文件进行数据预 取。从上述实施例可以看出，本发明的实施例基于不同类型的访问请求的数据关联访问特征进行相应的数据预取操作，从而在不增加硬件成本的同时，有效降低云存储系统持 续数据访问延迟时间，改善云存储终端用户体验。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种云存储系统，其特征在于，该系统包括访问特征数据库、位于元数据节点的访问 特征分析与调度模块以及位于各数据节点的数据预取模块，其中所述访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数据预 取策略；所述特征分析与调度模块，接收客户端发起的访问请求，确定该访问请求的类型，从所 述访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数据预取策 略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向所确定的 数据节点上的数据预取模块发起数据预取指令，其中，所发起的数据预取指令中包括所查 询到的数据预取策略；所述数据预取模块，接收所述数据预取指令，根据所述数据预取指令进行预取操作。
2.如权利要求1所述的云存储系统，其特征在于，所述访问特征数据库中记录访问请求的类型为普通文件访问时，所记录的对应的数据 关联访问特征为，普通文件访问时被关联访问的文件的标识信息，所记录的对应的数据预 取策略是，对被关联访问的文件进行数据预取。
3.如权利要求1或2所述的云存储系统，其特征在于，所述访问特征数据库中记录访问请求的类型为应用访问时，所记录的对应的数据关联 访问特征为应用访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略是， 对应用关联访问的文件进行数据预取。
4.如权利要求3所述的云存储系统，其特征在于，所述访问特征数据库中记录访问请求的类型为客户端访问时，所记录的对应的数据关 联访问特征为客户端访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略 是，对客户端关联访问的文件进行数据预取。
5.一种云存储系统的实现方法，其特征在于，该方法包括所述云存储系统中元数据节点接收到客户端发起的访问请求时，确定该访问请求的类 型，查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到 的数据关联访问特征，确定执行数据预取策略的数据节点，并控制所确定的数据节点按照 所查询到的数据预取策略进行数据预取操作。
6.如权利要求5所述的方法，其特征在于，所述云存储系统的元数据节点确定所接收到的访问请求的类型为普通文件访问时，查 询该类型的访问请求对应的数据关联访问特征为，普通文件访问时被关联访问的文件的标 识信息，查询该类型的访问请求对应的数据预取策略是，对被关联访问的文件进行数据预 取。
7.如权利要求5或6所述的方法，其特征在于，所述云存储系统的元数据节点确定所接收到的访问请求的类型为应用访问时，查询该 类型的访问请求对应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，查 询该类型的访问请求对应的数据预取策略是，对应用关联访问的文件进行数据预取。
8.如权利要求7所述的方法，其特征在于，所述云存储系统的元数据节点确定所接收到的访问请求的类型为客户端访问时，查询 该类型的访问请求对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对客户端关联访问的文件进行数据预 取。
全文摘要
本发明公开了一种云存储系统及其实现方法，涉及计算机以及网络信息技术领域。本发明公开的云存储系统，包括访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数据预取策略；特征分析与调度模块，接收客户端发起的访问请求，确定该访问请求的类型，从访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向所确定的数据节点上的数据预取模块发起数据预取指令；数据预取模块，接收数据预取指令，根据数据预取指令进行预取操作。本发明的实施例有效提高存储系统性能，降低持续数据访问存在的延迟。
文档编号H04L29/08GK102148870SQ20111005449
公开日2011年8月10日 申请日期2011年3月7日 优先权日2011年3月7日
发明者张立强 申请人:浪潮(北京)电子信息产业有限公司