移的数据分布存储系统，包括:
请求接收单元，用于通过接入层接收用户请求并将其转发至路由层；
请求广播单元，用于通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；
请求处理单元，用于根据用户请求，对应集群的所有机器对数据进行相应的处理。
[0025]作为所述的一种系统扩容时零数据迀移的数据分布存储系统的进一步改进，所述请求广播单元包括:
计算单元，用于根据存储层内集群预设的划分规则，计算出用户请求对应的集群；
判断单元，用于判断用户请求是否是增加请求，若是，则执行IP获取单元；反之，则执行广播单元；
IP获取单元，用于获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；
广播单元，用于将用户请求广播至对应集群的所有机器。
[0026]作为所述的一种系统扩容时零数据迀移的数据分布存储系统的进一步改进，所述请求处理单元包括:
第一判断单元，用于判断用户请求是否是增加请求，若是，则执行增加请求处理单元；反之，则执行第二判断单元；
第二判断单元，用于判断用户请求是否是删除请求，若是，则执行删除请求处理单元；反之，则执行查找请求处理单元；
删除请求处理单元，用于根据用户请求，在本机查找对应数据的存储位置，并将其删除；
查找请求处理单元，用于根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；
增加请求处理单元，用于判断用户请求内的IP是否与本机的IP —致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。
[0027]现在的网页存储系统中，所需存储的网页数达到千亿或更高数据量级，若在扩容时进行数据迀移，将带来巨大成本。通过利用本发明方案，结合引入的两类域名:广播域名和单播域名，在扩容时变更单播域名对应的单台机器即可轻松完成扩容工作。
[0028]在各类二进制数据/文本数据存储系统中，采用常见的固定取模路由方法都回避不了扩容时的大量数据迀移问题。通过利用本发明方案，结合引入的广播域名和单播域名，变更单播域名对应的单台机器即可完成扩容，能极大缩减各类成本。本发明的具体实施例流程如下:
501、通过接入层接收用户请求并将其转发至路由层；
502、根据存储层内集群预设的划分规则，计算出用户请求对应的集群；
503、判断用户请求是否是增加请求，若是，则执行步骤S04;反之，则执行步骤S05 ;
504、获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内；
505、将用户请求广播至对应集群的所有机器；
506、判断用户请求是否是增加请求，若是，则执行步骤SlO;反之，则执行步骤S07 ;
507、判断用户请求是否是删除请求，若是，则执行步骤S08;反之，则执行步骤S09 ;
508、根据用户请求，在本机查找对应数据的存储位置，并将其删除；
509、根据用户请求，在本机查找和读取对应的数据，并返回读取的数据；
510、判断用户请求内的IP是否与本机的IP—致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理，例如系统若要求每条数据仅保留最新的一份，则将增加请求转为删除请求；
511、侦测需要扩容的集群，并对侦测到的集群新配置一台空闲机器或在该集群内选取一台空闲机器；
512、修改该集群的单播域名对应的IP为新配置或选取的机器的IP；
513、将新配置或选取的机器的IP添加至该集群的广播域名对应的IP列表中。
[0029]从上述内容可知，本发明一种系统扩容时零数据迀移的数据分布存储方法及系统通过在集群内引入的广播域名和单播域名，进而对用户请求的数据进行对应的处理，从而在扩容时通过变更单播域名对应的单台机器即可轻松完成扩容工作。本发明简单便捷，在数据规模扩大需要扩容时，无需进行数据迀移，在能大大节省各类成本的同时，还能有效提高响应速度。
[0030]以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
【主权项】
1.一种系统扩容时零数据迀移的数据分布存储方法，其特征在于，包括以下步骤: A、通过接入层接收用户请求并将其转发至路由层； B、通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器; C、根据用户请求，对应集群的所有机器对数据进行相应的处理。
2.根据权利要求1所述的一种系统扩容时零数据迀移的数据分布存储方法，其特征在于:所述步骤B包括: B1、根据存储层内集群预设的划分规则，计算出用户请求对应的集群； B2、判断用户请求是否是增加请求，若是，则执行步骤B3 ;反之，则执行步骤B4 ; B3、获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内； B4、将用户请求广播至对应集群的所有机器。
3.根据权利要求1所述的一种系统扩容时零数据迀移的数据分布存储方法，其特征在于:所述步骤C包括: Cl、判断用户请求是否是增加请求，若是，则执行步骤C5 ;反之，则执行步骤C2 ; C2、判断用户请求是否是删除请求，若是，则执行步骤C3 ;反之，则执行步骤C4 ; C3、根据用户请求，在本机查找对应数据的存储位置，并将其删除； C4、根据用户请求，在本机查找和读取对应的数据，并返回读取的数据； C5、判断用户请求内的IP是否与本机的IP —致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。
4.根据权利要求2所述的一种系统扩容时零数据迀移的数据分布存储方法，其特征在于:所述执行步骤BI之前还包括有规划步骤，所述规划步骤具体包括: BP1、根据预期后将到达的数据规模，将存储层划分为对应的集群组数； BP2、对每组集群配备广播域名和单播域名； BP3、解析某组集群的广播域名，得到该组集群内全部机器的IP信息； BP4、解析某组集群的单播域名，得到该组集群内特定单台机器的IP信息。
5.根据权利要求1所述的一种系统扩容时零数据迀移的数据分布存储方法，其特征在于:所述步骤D还包括有扩容步骤，所述扩容步骤具体包括: E1、侦测需要扩容的集群，并对侦测到的集群新配置一台空闲机器或在该集群内选取一台空闲机器； E2、修改该集群的单播域名对应的IP为新配置或选取的机器的IP ； E3、将新配置或选取的机器的IP添加至该集群的广播域名对应的IP列表中。
6.根据权利要求1所述的一种系统扩容时零数据迀移的数据分布存储方法，其特征在于:所述每个用户请求均对应唯一的KEY值。
7.根据权利要求2所述的一种系统扩容时零数据迀移的数据分布存储方法，其特征在于:所述预设的划分规则为:根据用户请求中的KEY值对集群数量值进行取模运算，得出结果即为对应的集群。
8.一种系统扩容时零数据迀移的数据分布存储系统，其特征在于，包括: 请求接收单元，用于通过接入层接收用户请求并将其转发至路由层； 请求广播单元，用于通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器； 请求处理单元，用于根据用户请求，对应集群的所有机器对数据进行相应的处理。
9.根据权利要求8所述的一种系统扩容时零数据迀移的数据分布存储系统，其特征在于:所述请求广播单元包括: 计算单元，用于根据存储层内集群预设的划分规则，计算出用户请求对应的集群； 判断单元，用于判断用户请求是否是增加请求，若是，则执行IP获取单元；反之，则执行广播单元； IP获取单元，用于获取用户请求对应的集群的单播域名对应的单台机器的IP，并将其增加至用户请求内； 广播单元，用于将用户请求广播至对应集群的所有机器。
10.根据权利要求8所述的一种系统扩容时零数据迀移的数据分布存储系统，其特征在于:所述请求处理单元包括: 第一判断单元，用于判断用户请求是否是增加请求，若是，则执行增加请求处理单元；反之，则执行第二判断单元； 第二判断单元，用于判断用户请求是否是删除请求，若是，则执行删除请求处理单元；反之，则执行查找请求处理单元； 删除请求处理单元，用于根据用户请求，在本机查找对应数据的存储位置，并将其删除； 查找请求处理单元，用于根据用户请求，在本机查找和读取对应的数据，并返回读取的数据； 增加请求处理单元，用于判断用户请求内的IP是否与本机的IP —致，若是，则在本机查找添加的存储位置并将数据添加至本机；反之，则根据预设的业务要求进行对应的处理。
【专利摘要】本发明公开了一种系统扩容时零数据迁移的数据分布存储方法及系统，方法包括：通过接入层接收用户请求并将其转发至路由层；通过路由层将用户请求转发至存储层中对应的集群，并将其广播至该集群的所有机器；根据用户请求，对应集群的所有机器对数据进行相应的处理。系统包括：请求接收单元、请求广播单元和请求处理单元。本发明通过在集群内引入的广播域名和单播域名，进而对用户请求的数据进行对应的处理，从而在扩容时通过变更单播域名对应的单台机器即可轻松完成扩容工作。本发明简单便捷，在数据规模扩大需要扩容时，无需进行数据迁移，在能大大节省各类成本的同时，还能有效提高响应速度。本发明可广泛应用于分布式存储系统中。
【IPC分类】H04L29-08
【公开号】CN104539660
【申请号】CN201410752830
【发明人】彭达, 邹涛, 陈飞舟
【申请人】珠海金山网络游戏科技有限公司, 成都西山居互动娱乐科技有限公司
【公开日】2015年4月22日
【申请日】2014年12月9日