一种异构存储优化方法及装置的制造方法_4

文档序号:9921970阅读:来源:国知局
he块,并将取消的Cache块增加到Cache资源池中,预设比例门限值大于I。
[0191]其中,根据公式一和公式二可知,第一延迟时间比例为Τ&-/ΤΝ—,根据第一延迟时间比例,可以采用以下几种方式对分配的Cache块的数量进行调整:
[0192]当该第一延迟时间比例小于I时,即TCa^〈TN—说明存储虚拟化设备处理读写任务的能力强于后端存储设备;进一步获取后端存储设备的热点LBA的总容量和存储虚拟化设备为该后端存储设备分配的Cache块的容量,若热点LBA的总容量大于或等于分配的Cache块的容量,则增加第一设定数目的Cache块到分配的Cache块;否则,在分配的Cache块中减少第一设定数目的Cache块。
[0193]当第一延迟时间比例大于或等于I时,即TN—说明存储虚拟化设备当前的配置会导致后端存储设备的读写任务的性能抑制,这是由于后端存储设备的读写性能强于存储虚拟化设备导致的;其中,
[0194]当第一延迟时间比例大于或等于I时,且小于预设比例门限值时,进一步获取后端存储设备的热点LBA的总容量和分配的Cache块的容量,若热点LBA的总容量与分配的Cache块的容量差小于或等于设定容量差,即热点LBA的总容量与分配的Cache块的容量相近,则继续判断Cache击中率是否大于击中率阈值,若是,则增加第一设定数目的Cache块到分配的Cache块;否则取消分配的Cache块;若热点LBA的总容量与分配的Cache块的容量差大于设定容量差,且热点LBA的总容量大于分配的Cache块的容量,说明需要更多的Cache块用以存储热点数据,继续判断Cache击中率是否小于击中率阈值,若Cache击中率小于击中率阈值,即Cache击中率较低,说明即使分配更多的Cache块,也不能提高读写任务性能,因此,取消分配的Cache块,否则,增加第一设定数目的Cache块到分配的Cache块;若热点LBA的总容量与分配的Cache块的容量差大于设定容量差,且热点LBA的总容量小于分配的Cache块的容量,说明分配的Cache块中存储的随机数据较多,热点数据较少,因此即使增加更多的Cache块到分配的Cache块中也不能提高读写任务性能,则取消分配的Cache块;
[0195]当第一延迟时间比例大于或等于预设比例门限值时,说明后端存储设备的读写性能远强于存储虚拟化设备,不需要存储虚拟化设备分配Cache块,此时,可以取消分配的Cache 块。
[0196]具体的,将Cache资源池中的第一设定数目的Cache块增加分配给该后端存储设备后,还包括:
[0197]在下一个预设时长结束时,确定主机在该时长内,基于增加第一设定数目后的分配的Cache块的读写任务的第三总延迟时间,以及确定在未给所述后端存储设备分配Cache块的情况下,主机读写所述后端存储设备的数据时处理所述读写任务的第四总延迟时间;
[0198]将第一总延迟时间除以第二总延迟时间得到第一延迟时间比例,并将第三总延迟时间除以第四总延迟时间得到第二延迟时间比例;
[0199]若第二延迟时间比例大于或等于第一延迟时间比例,则取消增加的第一设定数目的Cache块,并将取消的第一设定数目Cache块增加到Cache资源池中;
[0200]若第二延迟时间比例小于第一延迟时间比例,则继续将Cache资源池中的第一设定数目的Cache块增加分配给后端存储设备,并在Cache资源池中删除第一设定数目的Cache 块。
[0201]第二延迟时间比例小于第一延迟时间比例,说明本次增加分配第一设定数目的Cache块给后端存储设备可以提尚存储系统的读与性能,且当如并未达到存储系统的最尚读写性能,需要继续增加第一设定数目的Cache块分配给后端存储设备。
[0202]其中,该第一设定数目可以根据每个Cache块的大小进行定义,例如,每个Cache块的大小为64MB,则该第一设定数目可以取值为I。这样可以保证存储虚拟化设备在调整分配的Cache块的数目时,处理读写任务性能平滑过渡,避免可能有Cache块数目调整导致大量数据的迀移,造成计算资源消耗以及数据一致性的问题。
[0203]存储虚拟化设备在首个检测周期结束时对为后端存储设备分配的Cache块的数目进行调整后,仍会在后续的每个检测周期继续对该调整后的Cache块的数目调整,直至达到处理读与任务性能最尚。
[0204]在后端存储设备设定服务优先级的场景中,将Cache资源池中的第一设定数目的Cache块增加分配给该后端存储设备,包括:
[0205]在后端存储设备的服务优先级非最低,且当前Cache资源池中的Cache块的数目小于第一设定数目时,将第一设定数目减去当前Cache资源池中的Cache块的数目得到缺省数目;
[0206]从为服务优先级最低的后端存储设备分配的Cache块中恢复缺省数目的Cache块到Cache资源池;
[0207]将Cache资源池中的第一设定数目的Cache块增加分配给所述后端存储设备。
[0208]具体的,在已分配给该后端存储设备的Cache块中减少第一设定数目的Cache块后,还包括:
[0209]在下一个预设时长结束时,确定主机在该时长内,基于减少第一设定数目后的分配的Cache块的读写任务的第三总延迟时间,以及确定在未给所述后端存储设备分配Cache块的情况下,主机读写所述后端存储设备的数据时处理所述读写任务的第四总延迟时间;
[0210]将第一总延迟时间除以第二总延迟时间得到第一延迟时间比例,并将第三总延迟时间除以第四总延迟时间得到第二延迟时间比例;
[0211]若第二延迟时间比例大于第一延迟时间比例,则恢复减少的第一设定数目的Cache块分配给该后端存储设备,并在Cache资源池中删除该第一设定数目的Cache块;
[0212]若第二延迟时间比例小于或等于第一延迟时间比例,则继续在已分配给后端存储设备的Cache块中减少第一设定数目的Cache块,并将减少的第一设定数目Cache块增加到Cache资源池中。
[0213]可选的,当第一延迟时间比例大于或等于1,且小于预设比例门限值时,判定热点LBA的总容量与分配的Cache块的容量差小于或等于设定容量差,且Cache击中率大于击中率阈值,增加第一设定数目的Cache块到分配的Cache块,并在后续的每个检测周期内继续进行调整,若每个检测周期结束时,均增加第一设定数目的Cache块到分配的Cache块,则在判断第N个检测周期结束时,增加N次的Cache块的数目是原分配的Cache块的数目的设定比例时,如130 %或110 %,判断第N延迟时间比例与第一延迟时间比例的差是否小于延迟时间比例阈值,即判断调整N次Cache块的数目后,是否带来明显的读写性能提高,若是,则保持调整后的Cache块数目,否则,取消所有分配的Cache块。
[0214]本发明实施例提供的异构存储优化方法不仅可以应用于存储局域网络(StorageArea Network, SAN)存储,还可以应用于网络储存设备(Network Attached Storage,NAS)存储系统。
[0215]基于上述实施例,本发明实施例还提供了一种异构存储优化装置,参阅图3所示,该装置包括:
[0216]分配单元301,用于针对一个后端存储设备,将Cache资源池中的至少一个Cache块分配给后端存储设备;并
[0217]将Cache资源池中分配给该后端存储设备的Cache块删除;
[0218]确定单元302,用于在一个预设时长结束后,确定主机在该时长内,基于分配的Cache块读写该后端存储设备的数据的读写任务的第一总延迟时间,以及确定在未给该后端存储设备分配Cache块的情况下,主机读写该后端存储设备的数据时,处理上述读写任务的第二总延迟时间;
[0219]第一处理单元303,用于根据第一总延迟时间和第二总延迟时间对已分配给该后端存储设备的Cache块的数量进行调整。
[0220]分配单元301在将Cache资源池中的至少一个Cache块分配给该后端存储设备时,具体用于:
[0221]将Cache资源池中设定比例的Cache块分配给该后端存储设备;或
[0222]将Cache资源池中设定数目的Cache块分配给该后端存储设备。
[0223]确定单元302在确定主机在该时长内,基于分配的Cache块读写该后端存储设备的数据的读写任务的第一总延迟时间时,具体用于:
[0224]获取主机在该时长内,基于分配的Cache块的读任务的总数目和写任务的总数目;并
[0225]获取分配的Cache块的击中率,Cache块的击中率指针对分配的Cache块的读任务中,使分配的Cache块击中的读任务的数目与读任务的总数目的比值,Cache块击中指针对任意读任务,在Cache块中读取到对应数据;
[0226]分别获取主机基于分配的Cache块进行的写任务的第一平均延迟时间、主机在分配的Cache块击中时进行的读任务的第二平均延迟时间,以及主机在分配的Cache块未击中时进行的读任务的第三平均延迟时间;
[0227]根据获取的读任务的总数目、写任务的总数目、分配的Cache块的击中率、第一平均延迟时间、第二平均延迟时间以及第三平均延迟时间,确定主机在时长内,基于分配的Cache块读写该后端存储设备的数据的读写任务的第一总延迟时间。
[0228]确定单元302在确定主机在该时长内,基于分配的Cache块读写该后端存储设备的数据的读写任务的第一总延迟时间时,第一总延迟时间满足下述公式的条件:
[0229]Tcache= TWON Write+TRA,*NRead*PCache+TRA*NRead* (1-Pcache)
[0230]其中,Tcaehe为第一总延迟时间;
[0231]Nfelte为写任务的总数目,NRead为读任务的总数目;
[0232]Pcache为分配的Cache块的击中率;
[0233]TffC为第一平均延迟时间,TRA’为第二平均延迟时间,TRA为第三平均延迟时间。
[0234]确定单元302在确定在未给该后端存储设备分配Cache块的情况下,主机读写该后端存储设备的数据时,处理上述读写任务的第二总延迟时间时,具体用于:
[0235]获取主机在该时长内,针对该后端存储设备的读任务的总数目和写任务的总数目;
[0236]分别获取在未给该后端存储设备分配Cache块的情况下,主机针对该后端存储设备进行的写任务的第四平均延迟时间和主机针对该后端存储设备进行的读任务的第五平均延迟时间;
[0237]根据获取的读任务的总数目、写任务的总数目、第四平均延迟时间以及第五平均延迟时间,确定在未给该后端存储设备分配Cache块的情况下,主机读写该后端存储设备的数据时,处理上述读写任务的第二总延迟时间。
[0238]确定单元302在确定在未给该后端存储设备分配Cache块的情况下,主机读写该后端存储设备的数据时,处理上述读写任务的第二总延迟时间时,第二总延迟时间满足下述公式的条件:
[0239]TNoCache= TW*N ^ Write+TR*N,Read
[0240]其中,TNDCache为第二总延迟时间;
[0241]N Vlte为写任务的总数目,N’ ReadS读任务的总数目,TW为第四平均延迟时间,TR为第五平均延迟时间。
[0242]第一处理单元303具体用于:
[0243]当第一总延迟时间小于第二总延迟时间时,获取该后端存储设备的热点逻辑区块地址LBA的总容量和为该后端存储设备分配的Cache块的容量;
[0244]若热点LBA的总容量大于或等于分配的Cache块的容量,则将Cache资源池中的第一设定数目的Cache块增加分配给该后端存储设备,并在Cache资源池中删除第一设定数目的Cache块;
[0245]若热点LBA的总容量小于分配的Cache块的容量,则在已分配给该后端存储设备的Cache块中减少第一设定数目的Cache块,并将减少的第一设定数目的Cache块增加到Cache资源池中。
[0246]第一处理单元303具体用于:
[0247]当第一总延迟时间大于或等于第二总延迟时间,且第一总延迟时间除以第二总延迟时间得到的第一延迟时间比例小于预设比例门限值时,获取该后端存储设备的热点LBA的总容量和为该后端存储设备分配的Cache块的容量,预设比例门限值大于I ;
[0248]当热点LBA的总容量大于分配的Cache块的容量、且热点LBA的总容量与分配的Cache块的容量差大于设定容量差时,判断分配的Cache块的击中率是否小于击中率阈值;
[0249]Cache块的击中率指针对分配的Cache块的读任务中,使分配的Cache块击中的读任务的数目与读任务的总数目的比值,Cache块击中指针对任意读任务在Cache块中读取到对应数据;
[0250]若分配的Cache块的击中率小于击中率阈值,则取消已分配给该后端存储设备的Cache块,并将取消的Cache块增加到Cache资源池中;
[0251]若分配的Cache块的击中率大于或等于击中率阈值,则将Cache资源池中的第一设定数目的Cache块增加分配给该后端存储设备,并在Cache资源池中删除第一设定数目的Cache块。
[0252]第一处理单元303具体用于:
[0253]当第一总延迟时间大于或等于第二总延迟时间,且第一总延迟时间除以第二总延迟时间得到的第一延迟时间比例小于预设比例门限值时,获取该后端存储设备的热点LBA的总容量和为该后端存储设备分配的Cache块的容量,预设比例门限值大于I ;
[0254]当热点LBA的总容量小于分配的Cache块的容量、且热点LBA的总容量与分配的Cache块的容量差大于设定容量差时,取消已分配给该后端存储设备的Cache块,并将取消的Cache块增加到Cache资源池中。
[0255]第一处理单元303具体用于:
[0256]当第一总延迟时间大于或等于第二总延迟时间,且第一总延迟时间除以第二总延迟时间得到的第一延迟时间比例小于预设比例门限值时,获取该后端存储设备的热点LBA的总容量和为该后端存储设备分配的Cache块的容量,预设比例门限值大于I ;
[0257]当热点LBA的总容量与分配的Cache块的容量差小于或等于设定容量差时,判断分配的Cache块的击中率是否大于击中率阈值;
[0258]Cache块的击中率指针对分配的Cache块的读任务中,使分配的Cache块击中的读任务的数目与读任务的总数目的比值,Cache块击中指针对任意读任务在Cache块中读取到对应数据;
[0259]若分配的Cache块的击中率大于
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1