数据加载的方法、装置及系统的制作方法_5

文档序号:8472988阅读:来源:国知局
1431将数据写入到对应的三级服务器1432中。
[0164]本发明实施例提供的数据加载的系统,能够将中转设备中的数据块发送至主机房中,通过主机房将数据块分别写入到主机房内的各组加载机中,再由各组加载机将数据块写入到从机房中与加载机对应的二级服务器。与现有技术中由中转设备顺序推送数据到不同机房的方式相比,本发明由主机房负责数据的加载,通过主机房内的多组加载机并行向多个从机房中的二级服务器推送数据,中转设备只需将数据发送至主机房即可,由于中转设备只涉及一次数据加载过程,因此可以大大节省I/o的资源占用,从而能够提高跨机房环境下的数据加载效率。
[0165]此外,本发明实施例除了改进了数据推送方式,由原有的串行方式改为并行方式,在数据量不变的情况下缩短了数据推送时间,进一步的,对机房的分布采用了主从机制,主机房负责加载数据,从机房负责从主机房同步数据,并且采用了后台同步机制,在不影响系统当前请求响应时间的情况下又能提供实时查询服务;同时,数据的加载及推送增加了多进程、多线程以及重试机制,保证数据一致性的同时缩短了数据加载及推送的时间。
[0166]本实施例公开了:
[0167]Al、一种数据加载的方法,其特征在于,所述方法包括:
[0168]将中转设备中的数据块发送至主机房中,所述主机房中包含多组加载机,其中,加载机的组数与从机房的个数相同,每组加载机的数量与对应从机房中的二级服务器数量相同;
[0169]通过所述主机房将所述数据块分别写入到各组的每个加载机中;
[0170]将加载机中的所述数据块写入到从机房中与所述加载机对应的二级服务器中。
[0171]A2、根据权利要求Al所述的方法,其特征在于,所述将中转设备中的数据块发送至主机房中,包括:
[0172]对所述数据块进行切片,获得多个数据分片;
[0173]将所述多个数据分片并行发送给所述主机房。
[0174]A3、根据权利要求A2所述的方法,其特征在于,所述通过所述主机房将所述数据块分别写入到各组的每个加载机中,包括:
[0175]在所述主机房中建立与数据分片数量相等的多个进程,其中每个进程负责一个数据分片的写入操作;
[0176]通过所述进程将对应的数据分片分别写入到各组的每个加载机中。
[0177]A4、根据权利要求A3所述的方法,其特征在于,在所述主机房中建立与数据分片数量相等的多个进程之前,所述方法进一步包括:
[0178]通过所述主机房控制并发进程数目不大于预定进程数目。
[0179]A5、根据权利要求A3或A4所述的方法,其特征在于,所述通过所述进程将对应的数据分片分别写入到各组的每个加载机中,包括:
[0180]在每个进程下分别建立多条线程,其中,一条线程负责至少一个加载机的写入操作;
[0181]通过所述多条线程并行向各自负责的加载机写入所述进程对应的数据分片。
[0182]A6、根据权利要求Al所述的方法,其特征在于,所述从机房中进一步包括三级服务器,所述三级服务器的数量与所述二级服务器的数量相同;
[0183]在所述将加载机中的所述数据块写入到从机房中与所述加载机对应的二级服务器中之后,所述方法进一步包括:
[0184]将二级服务器中的所述数据块写入到对应的三级服务器中。
[0185]A7、根据权利要求Al所述的方法,其特征在于,在所述通过所述主机房将所述数据块分别写入到各组的每个加载机中之后,所述方法进一步包括:
[0186]判断所述数据块是否成功写入到所述加载机中;
[0187]若所述数据块写入失败,则对所述数据块进行有限次的重写操作。
[0188]AS、根据权利要求Al所述的方法,其特征在于,在所述将加载机中的所述数据块写入到从机房中与所述加载机对应的二级服务器中之前,所述方法进一步包括:
[0189]通过所述二级服务器对所述加载机中的数据状态进行检测;
[0190]若发现所述加载机中的数据发生变化,则通过所述二级服务器向所述加载机请求加载所述数据块。
[0191]A9、根据权利要求Al所述的方法,其特征在于,所述方法进一步包括:
[0192]对所述二级服务器加载所述数据块进行限速。
[0193]A10、根据权利要求Al所述的方法,其特征在于,所述将加载机中的所述数据块写入到从机房中与所述加载机对应的二级服务器中,包括:
[0194]采用后台同步机制将所述数据块写入到所述二级服务器中。
[0195]B11、一种数据加载的方法,其特征在于,所述方法包括:
[0196]主机房中控服务器接收中转设备发送的数据块;
[0197]所述主机房中控服务器将接收到的所述数据块分别写入到主机房中的各组加载机中,其中,所述主机房中包含多组加载机,加载机的组数与从机房的个数相同,每组加载机的数量与对应从机房中的二级服务器数量相同;
[0198]所述主机房中控服务器通过所述加载机将所述数据块写入到从机房中与所述加载机对应的二级服务器中。
[0199]B12、根据权利要求Bll所述的方法,其特征在于,所述主机房中控服务器接收中转设备发送的数据块,包括:
[0200]所述主机房中控服务器接收所述中转设备并行发送的多个数据分片,所述多个数据分片由所述中转设备对所述数据块进行切片所获得。
[0201]B13、根据权利要求B12所述的方法,其特征在于,所述主机房中控服务器将接收到的所述数据块分别写入到主机房中的各组加载机中,包括:
[0202]所述主机房中控服务器建立与数据分片数量相等的多个进程,其中每个进程负责一个数据分片的写入操作;
[0203]所述主机房中控服务器通过所述进程将对应的数据分片分别写入到主机房中的各组加载机中。
[0204]B14、根据权利要求B13所述的方法,其特征在于,在所述主机房中控服务器建立与数据分片数量相等的多个进程之前,所述方法进一步包括:
[0205]所述主机房中控服务器控制并发进程数目不大于预定进程数目。
[0206]B15、根据权利要求B13或B14所述的方法,其特征在于,所述主机房中控服务器通过所述进程将对应的数据分片分别写入到主机房中的各组加载机中,包括:
[0207]所述主机房中控服务器在每个进程下分别建立多条线程,其中,一条线程负责至少一个加载机的写入操作;
[0208]所述主机房中控服务器通过所述多条线程并行向所述多条线程各自负责的加载机写入所述进程对应的数据分片。
[0209]B16、根据权利要求Bll所述的方法,其特征在于,在所述主机房中控服务器将接收到的所述数据块分别写入到主机房中的各组加载机中之后,所述方法进一步包括:
[0210]所述主机房中控服务器判断所述数据块是否成功写入到所述加载机中;
[0211]若所述数据块写入失败,则所述主机房中控服务器对所述数据块进行有限次的重写操作。
[0212]B17、根据权利要求Bll所述的方法,其特征在于,所述主机房中控服务器通过所述加载机将所述数据块写入到从机房中与所述加载机对应的二级服务器中,包括:
[0213]所述主机房中控服务器对所述加载机将所述数据块写入到与所述加载机对应的二级服务器中的速度进行限速。
[0214]B18、根据权利要求Bll所述的方法,其特征在于,所述主机房中控服务器通过所述加载机将所述数据块写入到从机房中与所述加载机对应的二级服务器中,包括:
[0215]所述主机房中控服务器采用后台同步机制通过所述加载机将所述数据块写入到所述二级服务器中。
[0216]C19、一种数据加载的装置,其特征在于,所述装置包括:
[0217]接收单元,用于接收中转设备发送的数据块;
[0218]写入单元,用于将所述接收单元接收到的所述数据块分别写入到主机房中的各组加载机中,其中,所述主机房中包含多组加载机,加载机的组数与从机房的个数相同,每组加载机的数量与对应从机房中的二级服务器数量相同;
[0219]控制单元,用于控制所述加载机将所述写入单元写入的所述数据块写入到从机房中与所述加载机对应的二级服务器中。
[0220]C20、根据权利要求C19所述的装置,其特征在于,所述接收单元,用于接收所述中转设备并行发送的多个数据分片,所述多个数据分片由所述中转设备对所述数据块进行切片所获得。
[0221]C21、根据权利要求C20所述的装置,其特征在于,所述写入单元,用于建立与数据分片数量相等的多个进程,其中每个进程负责一个数据分片的写入操作,通过所述进程将对应的数据分片分别写入到主机房中的各组加载机中。
[0222]C22、根据权利要求C21所述的装置,其特征在于,所述写入单元,用于在建立与数据分片数量相等的多个进程之前,控制并发进程数目不大于预定进程数目。
[0223]C23、根据权利要求C21或C22所述的装置,其特征在于,所述写入单元,用于在每个进程下分别建立多条线程,其中,一条线程负责至少一个加载机的写入操作,通过所述多条线程并行向所述多条线程各自负责的加载机写入所述进程对应的数据分片。
[0224]C24、根据权利要求C19所述的装置,其特征在于,所述装置进一步包括:
[0225]判断单元,用于在所述写入单元将所述接收单元接收到的所述数据块分别写入到主机房中的各组加载机中之后,判断所述数据块是否成功写入到所述加载机中;
[0226]所述写入单元,用于当所述判断单元判断所述数据块写入失败时,对所述数据块进行有限次的重写操作。
[0227]C25、根据权利要求C19所述的装置,其特征在于,所述控制单元,用于对所述加载机将所述数据块写入到与所述加载机对应的二级服务器中的速度进行限速。
[0228]C26、根据权利要求C19所述的装置,其特征在于,所述控制单元,用于采用后台同步机制控制所述加载机将所述数据块写入到从机房中与所述加载机对应的二级服务器中。
[0229]D27、一种数据加载的系统,其特征在于,所述系统包括:
[0230]中转设备、主机房及从机房,其中所述主机房中包含主机房中控服务器及多组加载机,所述从机房中包含二级服务器,加载机的组数与从机房的个数相同,每组加载机的数量与对应从机房中的二级服务器数量相同;
[0231]所述中转设备,用于将数据块发送至所述主机房中控服务器;
[0232]所述主机房中控服务器,用于将所述中转设备发送的所述数据块分别写入到各组的每个加载机中;
[0233]所述加载机,用于将所述主机房中控服务器写入的所述数据块写入到从机房中与所述加载机对应的二级服务器中。
[0234]D28、根据权利要求D27所述的系统
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1