一致性动态均衡的分布式元数据节点架构的制作方法
【专利摘要】本发明公开了一致性动态均衡的分布式元数据节点架构，包括如下步骤：（a）每个元数据节点被分配给一个散列块，并成为这个散列块的管理者；（b）创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到对应的key；（c）每个元数据节点得到节点标示符D；（d）根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息。本发明整个系统的扰乱性小，需要调整的数据量较少，因此效率极高，并且元数据节点出现故障或者新增元数据节点时，需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强。
【专利说明】一致性动态均衡的分布式元数据节点架构
【技术领域】
[0001] 本发明属于云存储领域，具体涉及一致性动态均衡的分布式元数据节点架构。
【背景技术】
[0002] 云存储是实现云计算服务能力的不可或缺的关键要素。云存储技术的发展，是因 为传统的盘阵存储由于高成本和系统的高负载性，已经难以适应云计算服务对存储的需 求。传统盘阵虽然利用专有的、定制设计的硬件组件和互连接口设计集成在一起，保障了的 存储的性能和可靠性，但是其单点扩展存在容量上限和接口带宽等限制，面对PB级的海量 存储需求，无论是SAN或NAS在容量和性能的扩展上均无法满足应用的需要；且盘阵造价昂 贵，标准化程度较低，组件的更换常常导致系统故障或者硬件的升级，从而导致存储成本居 商不下。
[0003] 由此，为实现存储的低成本、高可扩展与资源池化，云存储技术应运而生，这其中 最关键的是存储虚拟化技术与分布式存储技术的应用。从短期来看，存储化技术可以充分 提升现有存储资源的应用水平，实现资源池化，提升设备使用率，降低管理成本。从长远发 展来看，分布式存储技术则是未来云存储的发展趋势。
[0004] 分布式系统中的传统方案是虚拟磁盘的元数据信息存放在各元数据节点中，当元 数据节点出现故障退出或者新元数据节点加入系统时，系统需要根据新的元数据节点组网 情况，重新分配元数据信息。对于分布式系统，经常会有节点加入或者退出导致系统内大 部分数据需要重新调整、传输和同步，降低系统稳定性和可能性，效率也非常低下。
【发明内容】
[0005] 针对上述现有技术的不足，本发明提供一致性动态均衡的分布式元数据节点架 构，解决了分布式存储技术系统内大部分数据需要重新调整、传输和同步，降低系统稳定性 和可能性，效率也非常低下。
[0006] 为了实现上述目的，本发明采用的技术方案如下： 一致性动态均衡的分布式元数据节点架构，包括如下步骤： (a) 创建哈希表，建立哈希函数； (b) 每个元数据节点被分配给哈希表的一个散列块，并成为这个散列块的管理者； (c) 创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到 对应的key ; (d) 每个元数据节点得到节点标示符D ; (e) 根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数 据节点管理储存映射到其内的虚拟磁盘信息。
[0007] 具体地，当元数据节点发生故障时，则还包括如下步骤： (si)重新整理哈希表分段，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于 其前后的元数据节点接管； (s2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值 存放在位于故障数据节点的前面或后面的元数据节点上，其余元数据节点上的信息不发生 变动。
[0008] 具体地，当新增数据节点时，则还包括以下步骤： (i 1)重新整理哈希表分段，新增元数据节点接管位于该元数据节点前后的元数据节点 的部分散列块段和相应的虚拟磁盘信息； (i2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值 存放在新的元数据节点上。。
[0009] 进一步地，若新增的元数据节点接管位于其前后的元数据节点的部分散列块段和 相应的虚拟磁盘信息后需要归属到新的元数据节点，则进行数据迁移。
[0010] 再进一步地，所述进行迁移的数据包括新增元数据节点接管后的部分散列块段和 相应虚拟磁盘信息。
[0011] 与现有技术相比，本发明具有以下有益效果： (1) 本发明每个元数据节点被分配给一个散列块，并成为这个散列块的管理者，将虚拟 磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息，整 个系统的扰乱性小； (2) 本发明当元数据节点发生故障时，故障元数据节点的散列块段和对应的虚拟磁盘 信息由位于其前后的元数据节点接管，根据虚拟磁盘原有的唯一标识计算新的散列值，将 新的散列值存放在位于其前或后的元数据节点上，其余元数据节点上的信息不发生变动， 需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强； (3 )本发明当新增元数据节点时，新增元数据节点接管位于该元数据节点前后的元数 据节点的部分散列块段和相应的虚拟磁盘信息，根据虚拟磁盘原有的唯一标识计算新的散 列值，将新的散列值存放在新的元数据节点上，此种方式，需要调整的数据量少，故障的恢 复间短,整个系统的性能极高，稳定性也很强。
【专利附图】
【附图说明】
[0012] 图1为本发明的工作流程图。
【具体实施方式】
[0013] 下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于 下列实施例。
[0014] 实施例1 如图1所示，一致性动态均衡的分布式元数据节点架构，包括如下步骤：（a)创建哈希 表，建立哈希函数；（b)每个元数据节点被分配给哈希表的一个属于自己的散列块，并成为 这个散列块的管理者；（c)创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标 识进行哈希，得到key ; (d)每个元数据节点得到节点标示符D ; (e)根据key和D的唯一的 关联关系，将虚拟磁盘映射到相应的元数据节点，并由相应的元数据节点管理储存相应的 虚拟磁盘信息。
[0015] 当元数据节点发生故障时，还包括步骤：（sl)重新整理哈希表分段，故障元数据 节点的散列块段和对应的虚拟磁盘信息由位于其前后的元数据节点接管；（s2)重新使用 DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在故障数据节 点的前面或后面的元数据节点上，其余元数据节点上的信息不发生变动。
[0016] 当新增数据节点时，还包括以下步骤：（il)重新整理哈希表分段，新增元数据 节点接管位于该元数据节点前后的元数据节点的部分散列块段和相应的虚拟磁盘信息； (i2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放 在新的元数据节点上，若需要归属新的元数据节点，则进行数据迁移。
[0017] 本方案运用了 DHT算法，DHT算法使用分布式哈希函数来解决结构化的分布式存 储问题，分布式哈希表实际上是一张很大的散列表；每个元数据节点被分配给一个属于自 己的散列块，并成为这个散列块的管理者；创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标 识，系统对每个唯一标识进行哈希，得到key，每个元数据节点也得到节点标志符D，关键字 标志符（key)和节点标志符都是唯一的，每个key都有一个唯一的关联关系，映射到节点 标识符D ;将虚拟磁盘映射到元数据节点，并由该元数据节点管理储存该虚拟磁盘的信息。 上述方式整个系统的扰乱性小，需要调整的数据量较少，因此效率极高，并且元数据节点出 现故障或者新增元数据节点时，需要调整的数据量少，故障的恢复间短，整个系统的性能极 高，稳定性也很强。
[0018] 按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述结构设计的前 提下，为解决同样的技术问题，即使在本发明上做出的一些无实质性的改动或润色，所采用 的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
【权利要求】
1. 一致性动态均衡的分布式元数据节点架构，其特征在于，包括如下步骤： (a) 创建哈希表，建立哈希函数； (b) 每个元数据节点被分配给哈希表的一个散列块，并成为这个散列块的管理者； (c) 创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到 对应的key ; (d) 每个元数据节点得到节点标示符D ; (e) 根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数 据节点管理储存映射到其内的虚拟磁盘信息。
2. 根据权利要求1所述的一致性动态均衡的分布式元数据节点架构，其特征在于，当 元数据节点发生故障时，则还包括如下步骤： (si)重新整理哈希表分段，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于 其前后的元数据节点接管； (s2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值 存放在位于故障数据节点的前面或后面的元数据节点上，其余元数据节点上的信息不发生 变动。
3. 根据权利要求1所述的一致性动态均衡的分布式元数据节点架构，其特征在于，当 新增元数据节点时，则还包括以下步骤： (i 1)重新整理哈希表分段，新增元数据节点接管位于该元数据节点前后的元数据节点 的部分散列块段和相应的虚拟磁盘信息； (i2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值 存放在新的元数据节点上。
4. 根据权利要求3所述的一致性动态均衡的分布式元数据节点架构，其特征在于，若 新增的元数据节点接管位于其前后的元数据节点的部分散列块段和相应的虚拟磁盘信息 后需要归属到新的元数据节点，则进行数据迁移。
5. 根据权利要求4所述的一致性动态均衡的分布式元数据节点架构，其特征在于，所 述进行迁移的数据包括新增元数据节点接管后的部分散列块段和相应虚拟磁盘信息。
【文档编号】H04L29/08GK104113606SQ201410376147
【公开日】2014年10月22日 申请日期:2014年8月2日 优先权日:2014年8月2日
【发明者】黄睿 申请人:成都致云科技有限公司