专利名称：一种基于存储虚拟化的数据迁移方法
技术领域：
本发明属于数据迁移领域，尤其涉及其中的在线迁移和速率控制领域。该方法能 够实现在数据迁移的同时，对用户请求透明，并能够有效控制迁移速率。
背景技术：
数据迁移是指把源设备上的数据信息，通过建立好的硬件架构和软件平台迁移到 目标设备上，并且保证迁移前后设备上的所有数据，包括普通的数据、链接等都不发生任何 的改变，这样当迁移完成后就可以马上投入使用。目前，数据迁移方法主要有以下几种方 法(1)逻辑卷数据镜像方法，即对需要迁移的每个卷都做逻辑卷数据镜像，如IBM LVM, Veritas VxVM。这种方法适用于已经采用逻辑卷管理器的系统，可以利用逻辑卷管理 器的管理功能完成原有数据到新存储的迁移，并支持联机迁移。逻辑卷管理器可以理解为 在物理存储设备和操作系统之间增加的一个逻辑存储管理层。逻辑卷数据镜像方法的优点 主要有支持任意存储系统之间的迁移和适合于主机存储的非经常性迁移。(2)直接拷贝方法，即利用操作系统命令直接拷贝要迁移的数据，然后复制到要迁 移到的目的地，如IBMAIX tar, dd，savevg, mksysb, cpio等命令。这种方法适用于脱机迁 移的环境。(3)备份恢复方法，即利用备份管理软件对数据做备份，然后恢复到目的地，如IBM T SM, EMC Legato Netfforker, Symantec Veritas NetBackup 等。这种方法适用于对于联 机要求高的环境，可以结合在线备份的方法，然后恢复到目的地。(4)存储虚拟化的方法，即通过存储虚拟化技术将数据从源端迁移到目的地，如 EMC的Invista, IBM的SVC和LSI StoreAge SVM等。存储虚拟化的方法是在源和目的地 增加必要的存储虚拟化设备，通过网络将数据从源端迁移到目的地。这种方法的主要优点 有兼容现有主流存储设备，如IBM，EMC，HDS，LSI Logic，并支持不同厂商不同品牌存储设 备间的数据迁移和容灾，适合于频繁移动数据的大型企业。在数据迁移方面，海量的业务数据为企业带来下列挑战(1)数据迁移导致系统停顿时间过长，有时长达数天，给企业业务运营带来极大的 不便；(2)数据迁移就意味着应用下线；(3)数据迁移过程中存在数据一致性风险；(4)需要迁移的数据量巨大(TB级别)；由此可见，数据迁移对企业IT部门来说是一项非常浩大的工程，稍有不慎就会造 成难以换回的损失。
发明内容
本发明的目的在于提供一种基于存储虚拟化的数据迁移方法，该方法可以在迁移数据的同时，保证用户请求的顺利完成，即保证业务的连续性，并可以有效地控制迁移速 率，使用户可以占有更大的带宽。本发明提供的一种基于存储虚拟化的数据迁移方法，其步骤包括(1)客户端代理接收来自于存储资源管理器的数据迁移信号；(2)客户端代理设置迁移标志，当系统存在迁移标志时，用户的写请求同时对源 逻辑卷和目标逻辑卷进行写，当系统不存在迁移标志时，用户的写请求只对源逻辑卷进行 写；(3)打开源逻辑卷根目录，并读取根目录下的第一个子目录项；(4)判断子目录项是否为空，如果是，表示数据迁移已经全部完成，则转到步骤 (11)；否则，表示数据迁移尚未全部完成，则转到步骤(5)；(5)标记本次迁移开始时间Tl，记录数据迁移这段时间本次迁移的用户吞吐量 Bl ；(6)数据迁移过程开始，将源逻辑卷的数据同步到目标逻辑卷的子目录项中，并记 录本次迁移的迁移吞吐量B2 ；(7)标志本次迁移结束时间T2 ；(8)求出本次迁移过程时间T = T2-T1，并利用T2时Bl与B2的值计算出系统 总吞吐量B1+B2，令P为T时间内用户吞吐量所占的系统总吞吐量的百分比，则P = Bl/ (B1+B2)；(9)根据所计算出的P值进行迁移速率控制当P值处在第一等级内，睡眠Wl时 间；当P值在第二等级内时，睡眠W2时间；当P值处在第三等级内时，睡眠W3时间，其中，第 一等级是指用户吞吐量所占系统总吞吐量的百分比大于等于0且小于20%，第二等级是指 是指用户吞吐量所占系统总吞吐量的百分比大于等于20%且小于80%，第二等级是指是 指用户吞吐量所占系统总吞吐量的百分比大于等于80%且小于100%，W1，W2，W3分别表示 预先设置的高、中、低睡眠阈值；(10)读取根目录下的下一个子目录项，转入步骤⑷；(11)客户端代理清除系统迁移标志；(12)数据迁移过程结束。本发明方法简化了现有技术方法的复杂性，保证了源逻辑卷和目标逻辑卷的数据 一致性，具体来讲，本发明具有以下优点(1)本发明以逻辑卷为迁移单位，以满足在目标逻辑卷中满写操作的原则，从而提 高了迁移效率。(2)本发明在迁移过程中进行迁移速率控制，以最大可能优先满足用户请求，有效 保证了业务不间断地运行。
图1为现有数据迁移系统的结构示意图；图2为数据迁移时用户请求过程示意图；图3为迁移速率控制流程图。
具体实施例方式本发明方法是在基于存储虚拟化的数据迁移系统中实现的，如图1所示，该数据 迁移系统包括(1)客户端代理，主要功能是向下述的存储资源管理器获得满足条件的存储设备 信息、实现虚拟文件系统层的各种文件操作，如打开文件、读写文件等操作以及执行数据迁 移操作；(2)存储资源管理器，主要功能是把下述的存储资源代理组织一个存储资源后备 池，为上述客户端代理提供存储设备；(3)存储资源代理由不同性能、不同容量、不同可用性的物理卷组成，主要功能是 为客户端代理提供存储设备便于客户端代理存储数据。基于存储虚拟化的数据迁移系统中，客户端代理、存储资源管理器和存储资源代 理通过以太网交换机连接在一起，存储资源代理根据物理卷性能的不同，将其划分为快速、 中等和慢速设备。数据迁移的起始端被称为源逻辑卷，迁移目标端被称为目标逻辑卷。如图2所示，数据迁移时用户请求过程主要分为读和写请求过程，由于存在数据 迁移操作，因此客户端代理中存在两个逻辑卷，即源逻辑卷和目标逻辑卷。用户的读操作只 对源逻辑卷操作，即只读源逻辑卷上面的数据；用户的写操作需要对两个逻辑卷同时进行， 即写操作既要在源逻辑卷上执行，也要在目标逻辑卷上执行，这样保证了源逻辑卷和目标 逻辑卷上数据的一致性。本发明提供的一种基于存储虚拟化的数据迁移的方法，该方法基于存储虚拟化的 数据迁移系统实现，该数据迁移系统包括客户端代理、存储资源管理器和存储资源代理。数 据迁移过程在客户端代理中进行，是将源逻辑卷的数据迁移到目标逻辑卷的过程，如图3 所示，其具体实现如步骤(A1)-(A12)(Al)客户端代理接收来自于存储资源管理器的数据迁移信号；(A2)客户端代理设置迁移标志，当系统存在迁移标志时，用户的写请求需要对源 逻辑卷和目标逻辑卷同时写，当系统不存在迁移标志时，用户的写请求只需要对源逻辑卷 进行写；(A3)打开源逻辑卷根目录，并读取根目录下的第一个子目录项；(A4)判断子目录项是否为空，如果是，表示数据迁移已经全部完成，则转到步骤 (All)；否则，表示数据迁移尚未全部完成，则转到步骤(A5)；(A5)标记本次迁移开始时间Tl，记录本次迁移的用户吞吐量Bl ；(A6)数据迁移过程开始，将源逻辑卷的数据同步到目标逻辑卷的子目录项中，并 记录本次迁移的迁移吞吐量B2 ；(A7)标志本次迁移结束时间T2 ；(A8)求出本次迁移过程时间T = T2-T1。系统总吞吐量(即用户吞吐量与迁移吞 吐量之和)为B1+B2，令P为T时间内用户吞吐量所占的系统总吞吐量的百分比，则P = Bl/ (B1+B2)；(A9)根据所计算出的P值进行迁移速率控制，具体控制策略为根据P值将用 户吞吐量所占系统总吞吐量的百分比分为三个等级Ll (0 < 20%), L2 (20 % ^ P < 80% ), L3 (80 ^ P ^ 100% )，表示用户吞吐量为低，中，高，同时设置三个睡眠阈值W1，W2，W3，通常设为120s，60s，ls。当P值处在Ll等级内，则说明用户吞吐量很低，应控制迁移 吞吐量，则睡眠Wl时间；当P值在L2等级内时，说明用户吞吐量较低，应控制迁移吞吐量， 则睡眠W2时间；当P值处在L3等级内时，说明用户吞吐量偏高，不需要控制迁移吞吐量，则 睡眠W3时间。(AlO)读取根目录下的下一个子目录项，转入步骤(A4)；(All)客户端代理清除系统迁移标志；(A12)数据迁移过程结束。以上所述为本发明的较佳实施例而已，但本发明不应该局限于该实施例和附图所 公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保 护的范围。
权利要求
一种基于存储虚拟化的数据迁移方法，其步骤包括(1)客户端代理接收来自于存储资源管理器的数据迁移信号；(2)客户端代理设置迁移标志，当系统存在迁移标志时，用户的写请求同时对源逻辑卷和目标逻辑卷进行写，当系统不存在迁移标志时，用户的写请求只对源逻辑卷进行写；(3)打开源逻辑卷根目录，并读取根目录下的第一个子目录项；(4)判断子目录项是否为空，如果是，表示数据迁移已经全部完成，则转到步骤(11)；否则，表示数据迁移尚未全部完成，则转到步骤(5)；(5)标记本次迁移开始时间T1，记录本次迁移的用户吞吐量B1；(6)数据迁移过程开始，将源逻辑卷的数据同步到目标逻辑卷的子目录项中，并记录本次迁移的迁移吞吐量B2；(7)标志本次迁移结束时间T2；(8)求出本次迁移过程时间T＝T2 T1，并利用T2时B1与B2的值计算出系统总吞吐量B1+B2，令P为T时间内用户吞吐量所占的系统总吞吐量的百分比，则P＝B1/(B1+B2)；(9)根据所计算出的P值进行迁移速率控制当P值处在第一等级内，睡眠W1时间；当P值在第二等级内时，睡眠W2时间；当P值处在第三等级内时，睡眠W3时间，其中，第一等级是指用户吞吐量所占系统总吞吐量的百分比大于等于0且小于20％，第二等级是指是指用户吞吐量所占系统总吞吐量的百分比大于等于20％且小于80％，第二等级是指是指用户吞吐量所占系统总吞吐量的百分比大于等于80％且小于100％，W1，W2，W3分别表示预先设置的高、中、低睡眠阈值；(10)读取根目录下的下一个子目录项，转入步骤(4)；(11)客户端代理清除系统迁移标志；(12)数据迁移过程结束。
全文摘要
本发明公开了一种基于存储虚拟化的数据迁移方法，该方法基于存储虚拟化的数据迁移系统实现，在客户端代理中进行，是将源逻辑卷的数据迁移到目标逻辑卷的过程。本发明以逻辑卷为迁移单位，以满足在目标逻辑卷中满写操作的原则，从而提高了迁移效率。本发明在迁移过程中进行迁移速率控制，以最大可能优先满足用户请求，有效保证了业务不间断地运行。本发明方法简化了现有技术方法的复杂性，保证了源逻辑卷和目标逻辑卷的数据一致性。
文档编号H04L29/08GK101945131SQ20101028242
公开日2011年1月12日 申请日期2010年9月16日 优先权日2010年9月16日
发明者刘效华, 曹强, 谢长生, 陈洁, 黄建忠 申请人:华中科技大学