一种云存储系统中提升性能的数据处理方法
【专利摘要】本发明涉及云存储领域，公开了一种云存储系统中提升性能的数据处理方法，包括元数据管理系统、在线数据存储系统、近线数据存储系统、离线数据存储系统以及客户端，其中所述元数据管理系统与客户端之间只进行控制信号的传输，不进行存储数据流的传输；客户端与在线数据存储系统之间进行存储数据流传输。通过数据在云存储系统中不同设备的自主迁移，使得不同配置的设备都能得到有效利用，提升了云存储系统的整体利用率；通过数据分块，增加了数据读写的并发性，从而提升IOPS和带宽，缩短读写时间，提升性能；利用现有云存储系统设备进行改造，在硬件通路完好的基础上完全由软件实现，实施、实现难度较小。在大数据平台上也可以推广使用。
【专利说明】一种云存储系统中提升性能的数据处理方法
【技术领域】
[0001]本发明涉及云存储领域，特别是一种云存储系统中提升访问性能的数据处理方法。
技术背景
[0002]在当今的IT管理中，存在着不断增长的数据量，越来越大的集群应用及云存储系统投入到实际使用中，多用户、多并发的访问要求也越来越多。
[0003]但现有技术的云存储系统大都是串行存储方法，其访问响应、读写性能也在逐渐变差，无法应对多客户的密集海量存储读写需求。
[0004]本发明所要解决的技术问题是针对现有技术的不足，提供一种云存储系统中提升性能的数据处理方法。
【发明内容】
[0005]本发明要解决的技术问题是:提供一种云存储系统中提升性能的数据处理方法。
[0006]本发明所采用的技术方案为:一种云存储系统中提升性能的数据处理方法，包括元数据管理系统、在线数据存储系统、近线数据存储系统、离线数据存储系统以及客户端，如图1所示，
其中，所述元数据管理系统与客户端之间只进行控制信号的传输，不进行存储数据流的传输；
客户端与在线数据存储系统之间进行存储数据流传输；
其中，在线数据存储系统效率高，成本也高，用来存放访问比较频繁的活跃数据，比如数据库、系统软件、应用软件等热点数据；
近线数据存储系统效率中等，成本中等，主要存放一些活跃差的，有访问要求但非热点数据，比如多媒体数据库、文献、备份等；
离线数据存储系统成本低，访问效率低，主要用来系统归档和备份，一般用来存放非热点数据。
[0007]相比较而言，在线数据存储系统效率会比较高，成本也会比较高；近线数据存储系统次之，离线数据存储系统拥有最好的成本，但访问效率会比较低。
[0008]数据传输时，大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个在线数据存储系统上；通过数据管理系统的控制，保证单个数据文件读写并发进行。
[0009]系统由元数据管理系统自动跟踪数据的访问频率，数据在在线数据存储系统、近线数据存储系统和离线数据存储系统中自动流动，流动的同时会将上一级的备份删除，并在元数据管理系统中进行索引的备份，以保证资源的利用率和访问的有效性。
[0010]如图2所示，客户端写数据时，数据被分成各个规范的数据块，且每个写数据块根据以下步骤进行操作，最终做到并发写入，最终达到缩短整体写入时间，提升性能目的:
(I)客户端向元数据管理系统发起数据写请求； (2)元数据管理系统根据其管理的在线数据存储系统的工作和使用情况，根据负载均衡的方法，计算出可以存放数据的目的在线数据存储系统，在目的在线数据存储系统上创建新的数据块；
(3)目的在线数据存储系统的数据块创建成功，将结果返回给元数据管理系统；
(4)元数据管理系统备份并同步此数据信息，并将目的在线存储系统的相关信息返回给客户端；
(5)客户端根据得到的目的在线数据存储系统相关信息，向对应目的存储节点发出数据写请求，并向目的在线存储系统发送数据；
(6)目的在线存储节点接收到数据并将之存储到对应数据块，同时也向其他在线数据存储系统进行备份；
(7)当本地数据写入并备份完成后，目的在线数据存储系统将完成信息返回给客户
端;
(8)客户端收到完成信息后，即完成数据的写入。
[0011]数据写入时，暂存在当前的在线数据存储系统中，若访问频率高，则位置不会变动，若后续该数据访问频率变低，该数据会在元数据管理系统的指挥下，自行迁移到近线数据存储系统中，乃至最后迁移到离线数据存储系统中。
[0012]客户端读数据时，读取内容一般由多个读数据块组成,每个读数据块根据以下步骤进行操作，并行的从数据存储系统中读数据块，具体流程如图3所示。
[0013](I)客户端根据读数据文件时，将请求提交给元数据服务系统，发起数据读请求；
(2)元数据管理系统查询索引列表，返回该数据所在的数据存储系统的列表，每个数据存储系统列表包括每个数据存储系统的地址和序号；
(3)客户端向读写请求数最少的数据存储系统发送读数据请求；
(4)数据存储系统从本地文件系统读出数据块，并返回数据块给客户端。
[0014]数据读取时，当元数据管理系统查找到该数据位置，若该数据位于离线数据存储系统或近线数据存储系统，则会自动迁移到近线数据存储系统，然后再迁移到在线数据存储系统，或者直接迁移到在线数据存储系统中。
[0015]本发明的有益效果为:
(I)云存储系统中不同设备的有效利用
通过数据在云存储系统中不同设备的自主迁移，使得不同配置的设备都能得到有效利用，提升云存储系统的整体利用率。
[0016](2)提升性能和可靠性
本发明提供的数据处理方法，通过数据分块，增加了数据读写的并发性，从而提升IOPS和带宽，缩短读写时间，提升性能；
在数据分块的同时，又将各个小的规范数据块进行多个备份，保证数据可靠性。
[0017](3)技术难度适中，可以推广
利用现有云存储系统设备进行改造，在硬件通路完好的基础上完全由软件实现，实施、实现难度较小。在大数据平台上也可以推广使用。
【专利附图】
【附图说明】[0018]图1为本发明数据处理方法的流程示意图；
图2为本发明客户端写数据时的流程图；
图3为本发明客户端读数据时的流程图。
【具体实施方式】
[0019]下面参照附图，结合实施例对本发明详细说明。
[0020]实施例1:
一种云存储系统中提升性能的数据处理方法，包括元数据管理系统、在线数据存储系统、近线数据存储系统、离线数据存储系统以及客户端，其特征在于:
所述元数据管理系统与客户端之间只进行控制信号的传输，不进行存储数据流的传输； 客户端与在线数据存储系统之间进行存储数据流传输；
其中，在线数据存储系统效率高，成本也高，用来存放系统访问频繁的活跃数据；
近线数据存储系统效率中等，成本中等，主要存放一些活跃差，有访问要求但非热点数据;离线数据存储系统成本低，访问效率低，主要用来系统归档和备份，用来存放不活跃的非热点数据。
[0021]实施例2:
在实施例1的基础上，本实施例在数据传输时，大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个在线数据存储系统上，通过数据管理系统的控制，保证单个数据文件读写并发进行。
[0022]实施例3:
在实施例1的基础上，本实施例的系统由元数据管理系统自动跟踪数据的访问频率，数据在在线数据存储系统、近线数据存储系统和离线数据存储系统中自动流动，流动的同时会将上一级的备份删除，并在元数据管理系统中进行索引的备份，以保证资源的利用率和访问的有效性。
[0023]实施例4:
在实施例1，2或3的基础上，本实施例客户端写数据时，数据被分成各个规范的数据块，且每个写数据块根据以下步骤进行操作，最终做到并发写入，缩短整体写入时间，提升性能目的:
(1)客户端向元数据管理系统发起数据写请求；
(2)元数据管理系统根据其管理的在线数据存储系统的工作和使用情况，根据负载均衡的方法，计算出可以存放数据的目的在线数据存储系统，在目的在线数据存储系统上创建新的数据块；
(3)目的在线数据存储系统的数据块创建成功，将结果返回给元数据管理系统；
(4)元数据管理系统备份并同步此数据信息，并将目的在线存储系统的相关信息返回给客户端；
(5)客户端根据得到的目的在线数据存储系统相关信息，向对应目的存储节点发出数据写请求，并向目的在线存储系统发送数据；
(6)目的在线存储节点接收到数据并将之存储到对应数据块，同时也向其他在线数据存储系统进行备份； (7)当本地数据写入并备份完成后，目的在线数据存储系统将完成信息返回给客户
端;
(8)客户端收到完成信息后，完成数据的写入。
[0024]实施例5:
在实施例1，2或3的基础上，本实施例在数据写入时，先暂存在当前的在线数据存储系统中，若访问频率高，则位置不会变动，若后续该数据访问频率变低，该数据会在元数据管理系统的指挥下，自行迁移到近线数据存储系统中，乃至最后迁移到离线数据存储系统中。
[0025]实施例6:
在实施例1，2或3的基础上，本实施例在客户端读数据时，读取内容由多个读数据块组成，每个读数据块根据以下步骤进行操作，并行的从数据存储系统中读数据块:
(1)客户端根据读数据文件时，将请求提交给元数据服务系统，发起数据读请求；
(2)元数据管理系统查询索引列表，返回该数据所在的数据存储系统的列表，每个数据存储系统列表包括每个数据存储系统的地址和序号；
(3)客户端向读写请求数最少的数据存储系统发送读数据请求；
(4)数据存储系统从本地文件系统读出数据块，并返回数据块给客户端。
[0026]实施例1:
在实施例1，2或3的基础上，本实施例数据读取时，当元数据管理系统查找到该数据位置，若该数据位于离线数据存储系统或近线数据存储系统，则会自动迁移到近线数据存储系统，然后再迁移到在线数据存储系统，或者直接迁移到在线数据存储系统中。
【权利要求】
1. 一种云存储系统中提升性能的数据处理方法，包括元数据管理系统、在线数据存储系统、近线数据存储系统、离线数据存储系统以及客户端，其特征在于: 所述元数据管理系统与客户端之间只进行控制信号的传输，不进行存储数据流的传输; 客户端与在线数据存储系统之间进行存储数据流传输； 其中，在线数据存储系统效率高，成本也高，用来存放系统访问频繁的活跃数据； 近线数据存储系统效率中等，成本中等，主要存放一些活跃差，有访问要求但非热点数据； 离线数据存储系统成本低，访问效率低，主要用来系统归档和备份，存放不活跃的非热点数据。
2.根据权利要求1所述的一种云存储系统中提升性能的数据处理方法，其特征在于:数据传输时，大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个在线数据存储系统上，通过数据管理系统的控制，保证单个数据文件读写并发进行。
3.根据权利要求1所述的一种云存储系统中提升性能的数据处理方法，其特征在于:系统由元数据管理系统自动跟踪数据的访问频率，数据在在线数据存储系统、近线数据存储系统和离线数据存储系统中自动流动，流动的同时会将上一级的备份删除，并在元数据管理系统中进行索引的备份，以保证资源的利用率和访问的有效性。
4.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于:客户端写数据时，数据被分成各个规范的数据块，且每个写数据块根据以下步骤进行操作，最终做到并发写入，缩短整体写入时间，提升性能目的: X客户端向元数据管理系统发起数据写请求； I::元数据管理系统根据其管理的在线数据存储系统的工作和使用情况，根据负载均衡的方法，计算出可以存放数据的目的在线数据存储系统，在目的在线数据存储系统上创建新的数据块； t目的在线数据存储系统的数据块创建成功，将结果返回给元数据管理系统； $元数据管理系统备份并同步此数据信息，并将目的在线存储系统的相关信息返回给客户端； S客户端根据得到的目的在线数据存储系统相关信息，向对应目的存储节点发出数据写请求，并向目的在线存储系统发送数据； I目的在线存储节点接收到数据并将之存储到对应数据块，同时也向其他在线数据存储系统进行备份； 2当本地数据写入并备份完成后，目的在线数据存储系统将完成信息返回给客户端； $客户端收到完成信息后，完成数据的写入。
5.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于:数据写入时，先暂存在当前的在线数据存储系统中，若访问频率高，则位置不会变动，若后续该数据访问频率变低，该数据会在元数据管理系统的指挥下，自行迁移到近线数据存储系统中，乃至最后迁移到离线数据存储系统中。
6.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于:客户端读数据时，读取内容由多个读数据块组成，每个读数据块根据以下步骤进行操作，并行的从数据存储系统中读数据块::X客户端根据读数据文件时，将请求提交给元数据服务系统，发起数据读请求； S元数据管理系统查询索引列表，返回该数据所在的数据存储系统的列表，每个数据存储系统列表包括每个数据存储系统的地址和序号； 裒客户端向读写请求数最少的数据存储系统发送读数据请求； $数据存储系统从本地文件系统读出数据块，并返回数据块给客户端。
7.根据权利要求1，2或3所述的一种云存储系统中提升性能的数据处理方法，其特征在于:数据读取时，当元数据管理系统查找到该数据位置，若该数据位于离线数据存储系统或近线数据存储系统，则会自动迁移到近线数据存储系统，然后再迁移到在线数据存储系统，或者直接迁移到在线数据存储系统中。
【文档编号】G06F17/30GK103530388SQ201310494892
【公开日】2014年1月22日 申请日期:2013年10月22日 优先权日:2013年10月22日
【发明者】刘刚 申请人:浪潮电子信息产业股份有限公司