一种分级存储系统中数据自动迁移优化方法
【技术领域】
[0001]本发明涉及计算机应用技术领域，特别涉及一种分级存储系统中数据自动迀移优化方法。
【背景技术】
[0002]随着存储数据量的快速增长以及人们对于数据价值的深刻认知，存储系统的高并行性、高可靠性和高性价比变得越来越重要。传统的数据存储方式已经不能满足海量存储及其性能的需要，数据访问频率高的存储设备的性能成为访问的瓶颈。人们基于不同存储设备的物理特性，考虑将性能、可靠性和价格不同的存储设备结合在一起构造分级存储系统，用多级存储介质来存放访问频率不同的数据。将高性能、高成本的存储设备空间分配给高频率访问的数据，不经常访问的数据存放到低性能、低成本的存储设备中。进而释放高性能、高成本的存储空间，使得存储系统的成本接近于价格低的设备，而存储系统的整体性能倾向于性能高的设备。
[0003]分级存储系统的目的是通过将数据在不同性能设备间动态迀移以达到系统的高性能。目前，主要的数据迀移策略有基于存储空间的高低水位法，即基于高性能存储空间的使用情况进行数据迀移。该算法要求数据量超过存储空间的一定水位阈值时，启动数据迀移程序，直到数据量低于该水位线，或者没有需要迀移的数据时，停止数据迀移；位于低性能存储设备中的数据只有一定的访问热度时才会回迀到高性能存储设备中。
[0004]高性能存储空间有两个水位阈值:刷新水位阈值和删除水位阈值。当高性能存储的空间占用率达到刷新水位阈值时，系统启动数据刷新程序，将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并将该源数据标识为干净数据。删除水位阈值则是指将高性能存储设备中的干净数据(已拷贝一份到低性能存储设备中的源数据)删除，以腾出足够的空间供新数据的写入。通常情况下，删除水位阈值应该大于刷新水位阈值。因为当数据刷新为干净数据之后才能从高性能存储设备中删除。
[0005]分级存储中的数据会根据数据迀移策略在不同的存储层级间进行迀移。但是采用该方法时，一旦高性能存储设备中的数据量达到指定的阈值(空间占用率)而触发数据迀移时，势必会增加系统的CPU、内存和磁盘1的开销，以致影响整个存储系统的应用性能。针对这一情况，亟需开发一种基于存储设备负载的分级系统中数据迀移优化方法。
【发明内容】
[0006]本发明为了弥补现有技术的缺陷，提供了一种能够提升系统使用性能的分级存储系统中数据自动迀移优化方法。
[0007]本发明是通过如下技术方案实现的:
一种分级存储系统中数据自动迀移优化方法，其特征在于:包括存储设备负载判断和数据刷新两部分； 存储设备负载判断:使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制:将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
[0008]所述存储设备中设置有定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迀移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迀移过程中需要支付的资源消耗在系统低负载时完成。
[0009]所述负载阈值为0.5。
[0010]所述系统在进行数据迀移操作前，首先要通过调用randomO方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
[0011]所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
[0012]本发明的有益效果是:该分级存储系统中数据自动迀移优化方法，可以根据分级存储系统的负载情况，在低负载时，自动地周期性对空间占用率还未达到刷新水位阈值的高性能存储设备中的数据进行迀移，提前将高性能存储设备中的数据拷贝到低性能存储设备中，从而实现数据迀移效率的优化，使得系统维持在一个较为平稳的负载水平，提升整个集群存储系统的应用性能。
【附图说明】
[0013]附图1为发明数据自动迀移流程示意图。
【具体实施方式】
[0014]下面结合附图对本发明进行详细的说明。该分级存储系统中数据自动迀移优化方法，包括存储设备负载判断和数据刷新两部分；
存储设备负载判断:使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制:将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
[0015]所述存储设备中设置有类似心跳机制的定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迀移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迀移过程中需要支付的资源消耗在系统低负载时完成。
[0016]所述负载阈值为0.5。
[0017]所述系统在进行数据迀移操作前，首先要通过调用randomO方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
[0018]所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
【主权项】
1.一种分级存储系统中数据自动迀移优化方法，其特征在于:包括存储设备负载判断和数据刷新两部分； 存储设备负载判断:使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表； 数据刷新机制:将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
2.根据权利要求1所述的分级存储系统中数据自动迀移优化方法，其特征在于:所述存储设备中设置有定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迀移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迀移过程中需要支付的资源消耗在系统低负载时完成。
3.根据权利要求1或2所述的分级存储系统中数据自动迀移优化方法，其特征在于:所述负载阈值为0.5。
4.根据权利要求1所述的分级存储系统中数据自动迀移优化方法，其特征在于:所述系统在进行数据迀移操作前，首先要通过调用randomO方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
5.根据权利要求4所述的分级存储系统中数据自动迀移优化方法，其特征在于:所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
【专利摘要】本发明特别涉及一种分级存储系统中数据自动迁移优化方法。该分级存储系统中数据自动迁移优化方法，使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表。该分级存储系统中数据自动迁移优化方法，可以根据分级存储系统的负载情况，在低负载时，自动地周期性对空间占用率还未达到刷新水位阈值的高性能存储设备中的数据进行迁移，提前将高性能存储设备中的数据拷贝到低性能存储设备中，从而实现数据迁移效率的优化，使得系统维持在一个较为平稳的负载水平，提升整个集群存储系统的应用性能。
【IPC分类】G06F17-30
【公开号】CN104573020
【申请号】CN201510013498
【发明人】于涛, 张立强
【申请人】浪潮电子信息产业股份有限公司
【公开日】2015年4月29日
【申请日】2015年1月12日