一种数据存储方法及设备的制作方法
【专利摘要】本发明公开了一种数据存储方法，基于数据存储的基本需求以及特殊需求，确定性价比最高的数据存储计划，并根据性价比最高的数据存储计划进行数据存储，保证了数据存储的QoS需求。本发明还同时公开了一种数据存储设备。
【专利说明】一种数据存储方法及设备
【技术领域】
[0001]本发明涉及通信【技术领域】，特别涉及一种数据存储方法，本发明还涉及一种数据存储设备。
【背景技术】
[0002]目前，分布式存储系统已经成为大数据应用解决方案的基础组件，有大量的软件系统和应用基于分布式存储开发和运行，而每一种软件和应用对分布式存储系统具有不同的服务质量QoS的需求。例如，对于分布式数据挖掘应用来说，其需要存储大量的数据并以此进行分布式计算分析，典型应用如“大云” BC-PDM (parallel data mining)其运行在HDFS分布式文件系统上，并利用MapReduce并行计算框架进行分析。BC-PDM对分布式存储系统的主要需求是大容量以及节点间数据交换能力。而对于同样构建在HDFS上的“键值对”系统HBase来说，其对HDFS除了容量需求外，还需要大的内存空间需求以及快速的磁盘读写10。甚至，在HBase系统内部的各个模块对存储系统的需求也是不一样的，例如HBase系统的元数据信息和数据信息均保存在分布式文件系统中，由于元数据信息经常更新和读取，其需要存储在性能更高的磁盘上。
[0003] 如图1所示，为分布式存储系统的结构示意图，系统一般由多个从节点、一个或多个主节点和客户端组成。数据被分散存储到各个从节点上，主节点负责管理系统中的元数据信息，从节点负责数据的存储，客户端通过与主节点和从节点直接交互实现数据的读写。
[0004]为了满足数据存储的需求，现有技术提出了如下一些解决方案:
[0005](I)调整副本数满足读写性能的需求:如监控数据的热度，根据热度调整数据副本的数量；
[0006](2)调整数据放置的位置满足网络的需求:如通过将数据副本放置在边缘服务器，从而满足网络带宽的要求。
[0007]以上方案仅通过简单的增加副本或改变数据放置位置来满足读写性能及网络带宽的要求，无法提供有QoS保证的数据存储服务。
【发明内容】
[0008]本发明提供一种数据存储方法，根据数据存储的基本需求以及特殊需求确定性价比最高的数据存储计划，并以此存储数据，从而保证数据存储的QoS需求。
[0009]为达到上述目的，本发明一方面提供了一种数据存储的方法，包括:
[0010]接收数据存储请求消息，获取所述数据存储请求消息中携带的基本需求信息以及特殊需求信息；
[0011]根据系统资源信息和所述基本需求信息生成至少一个数据存储计划；
[0012]根据所述基本需求信息以及特殊需求信息确定所述数据存储计划的综合评分；
[0013]根据所述系统资源信息以及所述数据存储计划的综合评分确定所述数据存储计划的性价比；[0014]选取性价比最高的数据存储计划，并依据所述性价比最高的数据存储计划存储数据。
[0015]另一方面，本发明还提供了一种数据存储设备，包括:
[0016]获取模块，用于获取接收到的数据存储请求消息中携带的基本需求信息以及特殊需求息;
[0017]生成模块，用于根据系统资源信息和所述基本需求信息生成至少一个数据存储计划；；[0018]确定模块，用于根据所述基本需求信息以及特殊需求信息确定所述数据存储计划的综合评分，并根据所述系统资源信息以及所述数据存储计划的综合评分得到所述数据存储计划的性价比；
[0019]存储模块，用于选取性价比最高的数据存储计划，并依据所述性价比最高的数据存储计划存储数据。
[0020]与现有技术相比，本发明具有以下优点:
[0021]本发明基于数据存储的基本需求以及特殊需求，确定性价比最高的数据存储计划，并根据性价比最高的数据存储计划进行数据存储，保证了数据存储的QoS需求。
【专利附图】
【附图说明】
[0022]图1为现有技术中分布式存储系统的结构示意图；
[0023]图2为本发明实施例提供的一种数据存储方法流程示意图；
[0024]图3为本发明具体实施例提供的一种数据存储方法流程示意图；
[0025]图4为本发明实施例提供的一种数据存储设备结构示意图。
【具体实施方式】
[0026]基于现有技术方案的不足，本发明实施例提供了一种数据存储方法，根据数据存储的基本需求以及特殊需求确定性价比最高的数据存储计划，并以此存储数据，从而保证数据存储的QoS需求。
[0027]下面结合附图对本发明实施例进行详细描述。
[0028]参见图2，为本发明提出的一种数据存储方法，该方法具体包括以下步骤:
[0029]步骤201，接收数据存储请求消息，获取所述数据存储请求消息中携带的基本需求Ih息以及特殊需求/[目息。
[0030]由于各种应用对数据的操作特征不同，因此在接收到数据存储请求消息后，首先获取其中所携带的基本需求信息以及特殊信息，这些信息均在应用或客户端发送数据存储请求消息前预先设置在请求消息之中。
[0031]步骤202，根据系统资源信息和所述基本需求信息生成至少一个数据存储计划。
[0032]根据上一步骤中所获取的基本需求以及已有资源信息表，生成可满足存储需求的数据存储计划。该步骤中可预先生成所有的数据存储计划，再依据基本需求信息从中选择，或者是按照基本需求信息逐项地生成数据存储计划，以上方式可根据实际情况灵活选择。
[0033]步骤203，根据所述基本需求信息以及特殊需求信息确定所述数据存储计划的综合评分。[0034]该步骤中，将进一步地根据数据的基本需求以及特殊需求对上一步骤生成的数据存储计划进行评估和调整；其中的特殊需求至少包括读写特征(少写多读、多写少读、读写均衡等)、与已有数据的操作关系(如，先读已有的数据，再读目前写入的数据；或者并发读已有的数据和目前写入的数据)，以及数据存储时长等。
[0035]步骤204，根据所述系统资源信息以及所述数据存储计划的综合评分得到所述数据存储计划的性价比。
[0036]步骤205，选取性价比最高的数据存储计划，并依据所述性价比最高的数据存储计划存储数据。
[0037]为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
[0038]如图3所示，为本发明具体实施例所提出的一种数据存储方法流程，该流程包括以下步骤:
[0039]步骤301，节点接收各其他节点发送的自身资源信息，根据规则将所有节点资源信息分类汇总，生成系统资源信息。
[0040]在分布式存储系统中，由于各节点硬件资源异构性无法避免，因此系统中的节点预先接收各其他节点发送的自身资源信息，并根据设定的规则对各类资源进行分类。例如，存储资源分为高、中、低性能等几类，分别提供不同级别的IO读写能力。对于具有高速网络设备的存储资源，对该资源标记网络属性为高，对于具有大容量内存的存储资源，对该资源标记内存属性为高等。由于每个节点的每个磁盘的性能数据并不完全相同，需要对每个磁盘性能进行归一化，具体地，当前节点在接收到其他节点发送的资源信息后，其构建的系统资源信息表如下所示:
【权利要求】
1.一种数据存储的方法，其特征在于，包括: 接收数据存储请求消息，获取所述数据存储请求消息中携带的基本需求信息以及特殊需求息; 根据系统资源信息和所 述基本需求信息生成至少一个数据存储计划； 根据所述基本需求信息以及特殊需求信息确定所述数据存储计划的综合评分； 根据所述系统资源信息以及所述数据存储计划的综合评分确定所述数据存储计划的性价比； 选取性价比最高的数据存储计划，并依据所述性价比最高的数据存储计划存储数据。
2.如权利要求1所述的方法，其特征在于，根据所述基本需求信息以及所述特殊需求信息确定所述数据存储计划的综合评分，具体为: 根据所述基本需求信息生成所述数据存储计划的初始评分，并将所述初始评分依据所述特殊需求信息进行调整。
3.如权利要求2所述的方法，其特征在于，根据所述基本需求信息生成所述数据存储计划的初始评分，具体为: 根据所述基本需求信息中各性能选项所对应的权重因子，以及各性能选项在所述数据存储计划与所述基本需求信息之间的比例，生成所述数据存储计划的初始评分。
4.如权利要求1-3任一项所述的方法，其特征在于， 所述基本需求信息至少包括一种或多种以下性能选项:数据存储空间、数据读写速度、网络带宽； 所述特殊需求信息至少包括一种或多种以下性能选项:数据读写特征、待存储数据与系统数据的操作关系、数据存储时间。
5.如权利要求1所述的方法，其特征在于，在接收数据存储请求消息之前，还包括: 当前节点接收各其他节点发送的节点资源信息，并将所述接收到的节点资源信息按照预设的规则进行分类，生成所述系统资源信息。
6.一种数据存储设备，其特征在于，包括: 获取模块，用于获取接收到的数据存储请求消息中携带的基本需求信息以及特殊需求信息； 生成模块，用于根据系统资源信息和所述基本需求信息生成至少一个数据存储计划；； 确定模块，用于根据所述基本需求信息以及特殊需求信息确定所述数据存储计划的综合评分，并根据所述系统资源信息以及所述数据存储计划的综合评分得到所述数据存储计划的性价比； 存储模块，用于选取性价比最高的数据存储计划，并依据所述性价比最高的数据存储计划存储数据。
7.如权利要求6所述的设备，其特征在于，所述确定模块，具体用于: 根据所述基本需求信息生成所述数据存储计划的初始评分，并将所述初始评分依据所述特殊需求信息进行调整。
8.如权利要求7所述的设备，其特征在于，所述确定模块，具体用于: 根据所述基本需求信息中各性能选项所对应的权重因子，以及各性能选项在所述数据存储计划与所述基本需求信息之间的比例，生成所述数据存储计划的初始评分。
9.如权利要求6-8任一项所述的设备，其特征在于， 所述基本需求信息至少包括一种或多种以下性能选项:数据存储空间、数据读写速度、网络带宽； 所述特殊需求信息至少包括一种或多种以下性能选项:数据读写特征、待存储数据与系统数据的操作关系、数据存储时间。
10.如权利要求6所述的设备，其特征在于，还包括:处理模块， 所述处理模块，具体用于接收各其他节点发送的节点资源信息，并将所述接收到的节点资源信息按照预设的规则进行分类，生成所述系统资源信息。
【文档编号】H04L29/08GK103905517SQ201210587462
【公开日】2014年7月2日 申请日期:2012年12月28日 优先权日:2012年12月28日
【发明者】郭磊涛, 钱岭, 王娟 申请人:中国移动通信集团公司