专利名称：一种迁移文件数据的方法和装置的制作方法
技术领域：
本发明涉及数据存储技术领域，特别是涉及一种迁移文件数据的方法和装置。
背景技术：
目前，应用于企业级存储系统的数据存储硬盘有SATA (Serial Advanced Technology Attachment，串行高级技术附件)硬盘、SASGerial Attached SCSI，串行连接 SCSI)硬盘和SSD(Solid State Disk，固态硬盘)硬盘等。各类硬盘由于自身的性能特点， 对读写命令的响应快慢不同，价格也存在差异。磁头寻道时间越短、内部数据传输越快、转速越高则延迟时间越短，响应得越快，硬盘的读写性能越好。在读写响应这一性能指标上， SSD硬盘优于SAS硬盘和SATA硬盘，SAS硬盘优于SATA硬盘，而三者的价格也是SSD硬盘高于SAS硬盘，而SAS硬盘高于SATA硬盘，即性能越好的硬盘的价格也就越高。需要进行大规模存储的企业若单纯地通过使用高性能的SSD硬盘来提升存储系统的性能，则会付出高昂的成本代价。因此，为了平衡费用支出与性能需要，在企业级存储系统中都会选用价格不等的两到三种硬盘，并采取将频繁访问的数据迁移到高速的硬盘上等手段，来提高系统数据的传输速度，以保证在满足一定读写速度要求的前提下来节约成本。目前的企业级存储系统在进行数据迁移时，基本采用将数据块从源盘中通过网络读到系统内部控制服务器，再从内部控制服务器通过网络写到目标盘中来完成数据的迁移。这样数据就要从网络上传输两次，浪费了时间和网络带宽，并大量消耗了内部控制服务器的处理能力。
发明内容
本发明的目的在于提供一种迁移文件数据的方法和装置，其解决了现有技术中在进行数据迁移时需要从网络上两次传输而占用网络带宽、花费较多时间及增加内部控制服务器负荷的问题。为实现本发明目的而提供的一种迁移文件数据的方法，包括步骤:A.判断是否有文件满足被迁移条件；如果是，则启动文件数据迁移程序；否则继续判断；所述被迁移条件为文件被应用服务器读取的频率超过预设频率，且所述文件存放于低速硬盘；B.从低速硬盘获取将被迁移文件的源存放地址信息；C.获取可用的快速硬盘的存储空间，并记录将要存入被迁移文件的目的存放地址信息；D.根据被迁移文件的源存放地址信息和目的存放地址信息的映射关系，所述低速硬盘的控制芯片将要迁移的文件的数据通过交换机传送给目的快速硬盘的控制芯片，所述目的硬盘的控制芯片将被迁移的数据写入快速硬盘的指定位置。其中，所述步骤A包括A1.实时监控各个文件被读取频率；A2.判断各个文件的被读取频率是否超过预设频率；如果是，则执行步骤A3 ；否则执行步骤Al ；A3.判断被读取频率超过预设频率的文件是否存放在低速硬盘；如果是，则执行步骤A4 ；否则执行步骤Al ；A4.启动文件迁移程序。其中，所述源存放地址信息为所述被迁移文件在低速硬盘上的源IP地址和数据块的源逻辑块地址列表；所述目的存放地址信息为快速硬盘上将要存放所述被迁移文件的目的IP地址和数据块的目的逻辑块地址列表。其中，所述步骤C包括C1.查看快速硬盘的剩余存储空间；C2.判断快速硬盘剩余存储空间是否大于或等于被迁移文件所需的存储空间；如果是，则执行步骤C3 ；否则执行步骤C4 ；C3.把快速硬盘上将要存放被迁移文件的数据块的逻辑块地址排列成目的逻辑块地址列表，并和要存放被迁移文件的目的IP地址一并记录到IPSAN控制服务器上；进入步骤D ;C4.查找一个在快速硬盘上被读取频率最低且低于预设频率的文件，将查找到的文件删除以释放存储空间；进入步骤Cl。其中，所述步骤D包括D1.将新建的目的逻辑块地址列表和目的IP地址同被迁移文件的源逻辑块地址列表和源IP地址进行一对一的映射；D2.将包含有映射关系的迁移命令同步发送给多个源低速硬盘的控制芯片；D3.源低速硬盘的控制芯片接收并解析所述迁移命令，将要迁移的文件的数据通过快速以太网交换机发送至目的快速硬盘的控制芯片；D4.所述目的硬盘的控制芯片将被迁移的数据写入目的快速硬盘的指定位置。其中，所述步骤D之后还包括步骤E.源低速硬盘在文件数据迁移完成后，发送一个状态命令给IPSAN控制服务器，所述状态命令包含有是否发送成功的信息。其中，所述步骤E之后还包括步骤F. IPSAN控制服务器将成功被迁移的文件的目的逻辑块地址和被迁移文件关联。其中，所述步骤F包括F1. IPSAN控制服务器读取所有源低速硬盘传回的状态命令；F2.若所有低速硬盘都完成了数据迁移，则IPSAN控制服务器将目的逻辑块地址列表和被迁移文件关联，流程结束；F3.若不是所有的低速硬盘都完成了数据迁移，则表示部分低速硬盘的数据迁移过程中发生了错误，IPSAN控制服务器根据错误的类型进行相应的修复处理。其中，所述步骤F3包括步骤F3-1.源低速硬盘的控制芯片失效或源低速硬盘失效的情况下，IPSAN控制服务器将选择这块低速盘的镜像盘重新发送迁移命令，进入步骤 D ；F3-2.目的快速硬盘的控制芯片失效或目的快速硬盘失效的情况下，IPSAN控制服务器将重新确定另外的目的地址并重新发送迁移命令，进入步骤D。本发明还提供一种迁移文件数据的装置，包括IPSAN控制服务器、交换机、低速硬盘和快速硬盘，其特征在于，所述IPSAN控制服务器包括启动模块、准备模块和关联模块； 所述低速硬盘和所述快速硬盘上均设有控制芯片。所述启动模块，用于判断是否有文件满足被迁移条件；如果是，则启动文件数据迁移程序；否则继续判断；所述准备模块，用于从低速硬盘获取将被迁移文件的源存放地址信息并获取可用的快速硬盘的存储空间，同时记录将要存入被迁移文件的目的存放地址信息；所述关联模块，用于将成功被迁移的文件的目的逻辑块地址和被迁移文件关联；所述低速硬盘的控制芯片，用于根据被迁移文件的源存放地址信息和目的存放地址信息的映射关系，将要迁移的文件的数据通过交换机传送给目的快速硬盘的控制芯片；所述快速硬盘的控制芯片用于将被迁移的数据写入快速硬盘的指定位置。本发明的有益效果是本发明描述的一种迁移文件数据的方法，利用低速硬盘上的控制芯片将数据通过交换机传输给特定目标快速盘，被迁移数据的传输不通过IPSAN控制服务器，避免因数据的迁移而消耗控制服务器的资源以及带宽，实现数据块的即时迁移。
图1为本发明的一种迁移文件数据的方法的流程图；图2为本发明的一种应用本发明的存储系统的结构示意图；图3为本发明的一种迁移文件数据的方法的一种可实施方式的流程图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种迁移文件数据的方法和装置进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。如图1所示，为本发明的一种文件数据迁移的方法包括步骤A.判断是否有文件满足被迁移条件，如果是，则启动文件数据迁移程序，否则继续判断。由于快速硬盘的价格较为昂贵，导致存储系统中快速硬盘的资源一般非常有限， 为了将有限的资源进行充分的利用，需要将一些被经常访问的文件放在快速硬盘中，来提高存储系统的处理速度。进行迁移之前，首先要判断是否有文件满足被迁移条件，所述被迁移条件为文件被应用服务器读取的频率超过预设频率，且所述文件存放于低速硬盘。预设频率由本领域技术人员根据实际情况而定，需要考量应用的类型、快速硬盘的容量及占比等多种因素并根据经验值来设定。例如对于视频点播或电子阅读类的应用，在不考虑快速盘容量的情况下，可以将预设频率设定为每小时点播或阅读次数为100次。当某一文件的被访问频率超过预设频率，则定义该文件是经常被访问的文件，而文件当前所在的硬盘若是低速硬盘，则将该文件放入快速响应的硬盘中以提升存储系统的响应性能。预设频率可通过IPSAN控制服务器提供的设置界面在系统初始化时设置。B.从低速硬盘获取将被迁移文件的源存放地址信息。迁移程序首先要确定被迁移的文件存放在哪个或者哪些个硬盘上，找到存放信息，即IP地址和硬盘的所有存放被迁移文件的LBA (Logical Block Address，逻辑块地址) 值，记为源存放地址信息。C.获取可用的快速硬盘的存储空间，并记录将要存入被迁移文件的目的存放地址 fn息ο若要成功实现数据迁移，必须保证在快速硬盘中有足够的存储空间，因此在迁移数据前，应准备可用的快速硬盘的存储空间，并且需要明确用来存放被迁移文件的存储空间的IP地址和LBA值，记为目的存放地址信息。步骤A-C均是由IPSAN控制服务器来完成的，目的在于在需要进行数据迁移时，获得被迁移数据的源存放地址信息和目的存放地址信息。D.根据被迁移文件的源存放地址信息和目的存放地址信息的映射关系，所述低速硬盘的控制芯片将要迁移的文件的数据通过交换机传送给目的快速硬盘的控制芯片，所述目的硬盘的控制芯片将被迁移的数据写入快速硬盘的指定位置。IPSAN控制服务器将源存放地址信息和目的存放地址信息映射，并将映射关系发送给被迁移数据的源低速硬盘的控制芯片。控制芯片根据映射关系，将数据读出并转发给目的快速硬盘。硬盘上设有控制芯片是本发明的技术方案的前提，即硬盘上应设有具有数据传送功能的控制芯片。本发明提供的技术方案，能够避免硬盘之间的数据迁移占用控制服务器资源和网络带宽及增加内部控制服务器负荷的问题。如图2所示，图2为能够应用本发明技术方案的一种存储系统的结构示意图。在图2所描述的企业级存储系统中，系统的每一块iSCSianternet Small Computer System hterface，小型计算机系统接口网络)磁盘均通过高速以太网交换机互联。所采用的专用 WiSCSI目的端(Target)控制芯片具有数据转发逻辑功能，这使得iSCSI磁盘之间可以通过以太网交换机进行端口对端口无阻塞通讯，在IPSAN控制服务器的指令下实现数据的定向即时数据迁移。如图3所示，作为一种可实施方式，将本发明的技术方案应用于本存储系统包括步骤Al.实时监控各个文件被读取的频率。A2.判断各个文件的被读取频率是否超过预设频率，如果是，则执行步骤A3，否则执行步骤Al。IPSAN控制服务器通过实时监控各个文件被读取频率，并和预设频率进行比较，若文件当前的被读取频率高于预设频率，则定义该文件为经常被访问的文件。A3.判断被读取频率超过预设频率的文件是否存放在低速硬盘，如果是，则执行步骤A4，否则执行步骤Al。若被定义为经常被访问的文件已经存储于快速硬盘，则显然不需要进行迁移，因此还需对该文件的存储位置做判断。如果是放在速度快的硬盘中，不对其进行其它操作；如果发现存放在低速硬盘中，则IPSAN控制服务器启动数据块迁移程序。A4.启动文件迁移程序。B.从低速硬盘获取将被迁移文件的源存放地址信息。所述源存放地址信息为所述被迁移文件在低速硬盘上的源IP地址和数据块的源逻辑块地址列表。Cl.查看快速硬盘的剩余存储空间。C2.判断快速硬盘有剩余存储空间是否大于或等于被迁移文件所需的存储空间， 如果是，则执行步骤C3，否则执行步骤C4。C3.把快速硬盘上将要存放被迁移文件的数据块的逻辑块地址排列成目的逻辑块地址列表，并和要存放被迁移文件的目的IP地址一并记录到IPSAN控制服务器上；进入步骤D;C4.查找一个在快速硬盘上被读取频率最低且低于预设频率的文件，将查找到的文件删除以释放存储空间；进入步骤Cl。为实现数据的顺利迁移，在目的快速硬盘上应准备足够的存储空间。IPSAN控制服务器需要先查看快速硬盘的剩余空间是否足够，若快速硬盘的剩余存储空间不够或没有剩余存储空间，则IPSAN控制服务器首先要确定一个在快速硬盘上不活跃的文件，从IPSAN 控制服务器上把这个文件在快速硬盘上的地址列表删除，并把其中的LBA放入空的存储空间LBA列表中备用，然后再继续查看删除了一个不活跃文件后，剩余的存储空间是否够用， 若不够，则需要IPSAN控制服务器继续选择不活跃文件进行删除。Dl.将新建的目的逻辑块地址列表和目的IP地址同被迁移文件的源逻辑块地址列表和源IP地址进行一对一的映射。IPSAN控制服务器把新建好的目的LBA表和IP同被迁移文件的LBA和IP进行一对一的映射，并将映射关系保存。D2.将包含有映射关系的迁移命令同步发送给多个源低速硬盘的控制芯片。把映射好的对应关系通过iSCSI的USER COMMAND命令发送给相应的被迁移盘，也就是源低速硬盘。D3.源低速硬盘的控制芯片接收并解析所述迁移命令，将要迁移的文件的数据通过快速以太网交换机发送至目的快速硬盘的控制芯片。源低速硬盘通过控制芯片解读iSCSI的USER COMMAND命令，并将要迁移的数据块通过制定的命令或传输协议发送给目的快速硬盘，被迁移的文件数据仍保留在源低速硬
οD4.所述目的硬盘的控制芯片将被迁移的数据写入目的快速硬盘的指定位置。E.源低速硬盘在文件数据迁移完成后，发送一个状态命令给IPSAN控制服务器， 所述状态命令包含有是否发送成功的信息。源低速硬盘与目的快速硬盘之间进行数据迁移时，如果发生失败，主要会出现一下四种可能的情况，1、IPSAN控制服务器没有收到某个源低速硬盘控制芯片的报告，这说明源低速硬盘控制芯片失效或链接中断；2、源低速硬盘控制芯片报告源低速硬盘失效；3、源低速硬盘控制芯片报告没有收到目标控制芯片的响应；4、源低速硬盘控制芯片报告目标高速硬盘没有响应。因此无论最终迁移是否成功，IPSAN控制服务器都能知道各个源低速硬盘的迁移结果。Fl. IPSAN控制服务器读取所有源低速硬盘传回的状态命令。F2.若所有低速硬盘都完成了数据迁移，则IPSAN控制服务器将目的逻辑块地址列表和被迁移文件关联，流程结束。F3.若不是所有的低速硬盘都完成了数据迁移，则表示部分低速硬盘的数据迁移过程中发生了错误，IPSAN控制服务器根据错误的类型进行相应的修复处理。F3-1.源低速硬盘的控制芯片失效或源低速硬盘失效的情况下，IPSAN控制服务器将选择这块低速盘的镜像盘重新发送迁移命令，进入步骤D。F3-2.目的高速硬盘的控制芯片失效或目的高速硬盘失效的情况下，IPSAN控制服务器将重新确定相应的目的地址并重新发送迁移命令，进入步骤D。IPSAN控制服务器判断所有源低速硬盘传回的发送结果，如果都成功完成了数据迁移，在IPSAN控制服务器上把新的LBA列表(目的LBA表)同原先的文件LBA列表并列与文件关联，并则记录一个标志，以后应用服务器要读取这个文件时，IPSAN控制服务器把这个快速盘的LBA列表提供给应用服务器。本实施方式能够避免数据通过控制服务器存储和转发造成的延迟和资源占用。
本发明还提供一种迁移文件数据的装置，包括IPSAN控制服务器、交换机、低速硬盘和快速硬盘。IPSAN控制服务器包括启动模块、准备模块和关联模块；低速硬盘和快速硬盘上均设有控制芯片。启动模块，用于判断是否有文件满足被迁移条件；如果是，则启动文件数据迁移程序；否则继续判断。准备模块，用于从低速硬盘获取将被迁移文件的源存放地址信息并获取可用的快速硬盘的存储空间，同时记录将要存入被迁移文件的目的存放地址信息。关联模块，用于将成功被迁移的文件的目的逻辑块地址和被迁移文件关联。低速硬盘的控制芯片，用于根据被迁移文件的源存放地址信息和目的存放地址信息的映射关系，将要迁移的文件的数据通过交换机传送给目的快速硬盘的控制芯片。快速硬盘的控制芯片用于将被迁移的数据写入快速硬盘的指定位置。最后应当说明的是，很显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型。
权利要求
1.一种迁移文件数据的方法，其特征在于，包括步骤A.判断是否有文件满足被迁移条件；如果是，则启动文件数据迁移程序；否则继续判断；所述被迁移条件为文件被应用服务器读取的频率超过预设频率，且所述文件存放于低速硬盘；B.从低速硬盘获取将被迁移文件的源存放地址信息；C.获取可用的快速硬盘的存储空间，并记录将要存入被迁移文件的目的存放地址信息；D.根据被迁移文件的源存放地址信息和目的存放地址信息的映射关系，所述低速硬盘的控制芯片将要迁移的文件的数据通过交换机传送给目的快速硬盘的控制芯片，所述目的硬盘的控制芯片将被迁移的数据写入快速硬盘的指定位置。
2.根据权利要求1所述的迁移文件数据的方法，其特征在于，所述步骤A包括 Al.实时监控各个文件被读取频率；A2.判断各个文件的被读取频率是否超过预设频率；如果是，则执行步骤A3 ；否则执行步骤Al ；A3.判断被读取频率超过预设频率的文件是否存放在低速硬盘；如果是，则执行步骤 A4;否则执行步骤Al ；A4.启动文件迁移程序。
3.根据权利要求1所述的迁移文件数据的方法，其特征在于，所述源存放地址信息为所述被迁移文件在低速硬盘上的源IP地址和数据块的源逻辑块地址列表；所述目的存放地址信息为快速硬盘上将要存放所述被迁移文件的目的IP地址和数据块的目的逻辑块地址列表。
4.根据权利要求3所述的迁移文件数据的方法，其特征在于，所述步骤C包括 Cl.查看快速硬盘的剩余存储空间；C2.判断快速硬盘剩余存储空间是否大于或等于被迁移文件所需的存储空间；如果是，则执行步骤C3 ；否则执行步骤C4 ；C3.把快速硬盘上将要存放被迁移文件的数据块的逻辑块地址排列成目的逻辑块地址列表，并和要存放被迁移文件的目的IP地址一并记录到IPSAN控制服务器上；进入步骤D ； C4.查找一个在快速硬盘上被读取频率最低且低于所述预设频率的文件，将查找到的文件删除以释放存储空间；进入步骤Cl。
5.根据权利要求4所述的迁移文件数据的方法，其特征在于，所述步骤D包括Dl.将新建的目的逻辑块地址列表和目的IP地址同被迁移文件的源逻辑块地址列表和源IP地址进行一对一的映射；D2.将包含有映射关系的迁移命令同步发送给多个源低速硬盘的控制芯片； D3.源低速硬盘的控制芯片接收并解析所述迁移命令，将要迁移的文件的数据通过快速以太网交换机发送至目的快速硬盘的控制芯片；D4.所述目的硬盘的控制芯片将被迁移的数据写入目的快速硬盘的指定位置。
6.根据权利要求3-5任一项所述的迁移文件数据的方法，其特征在于，所述步骤D之后还包括步骤E.源低速硬盘在文件数据迁移完成后，发送一个状态命令给IPSAN控制服务器，所述状态命令包含有是否发送成功的信息。
7.根据权利要求6所述的迁移文件数据的方法，其特征在于，所述步骤E之后还包括步骤F.IPSAN控制服务器将成功被迁移的文件的目的逻辑块地址和被迁移文件关联。
8.根据权利要求7所述的迁移文件数据的方法，其特征在于，所述步骤F包括 Fl. IPSAN控制服务器读取所有源低速硬盘传回的状态命令；F2.若所有低速硬盘都完成了数据迁移，则IPSAN控制服务器将目的逻辑块地址列表和被迁移文件关联，流程结束；F3.若不是所有的低速硬盘都完成了数据迁移，则表示部分低速硬盘的数据迁移过程中发生了错误，IPSAN控制服务器根据错误的类型进行相应的修复处理。
9.根据权利要求8所述的迁移文件数据的方法，其特征在于，所述步骤F3包括步骤 F3-1.源低速硬盘的控制芯片失效或源低速硬盘失效的情况下，IPSAN控制服务器将选择这块低速盘的镜像盘重新发送迁移命令，进入步骤D ；F3-2.目的快速硬盘的控制芯片失效或目的快速硬盘失效的情况下，IPSAN控制服务器将重新确定另外的目的地址并重新发送迁移命令，进入步骤D。
10.一种迁移文件数据的装置，包括IPSAN控制服务器、交换机、低速硬盘和快速硬盘， 其特征在于，所述IPSAN控制服务器包括启动模块、准备模块和关联模块；所述低速硬盘和所述快速硬盘上均设有控制芯片；所述启动模块，用于判断是否有文件满足被迁移条件；如果是，则启动文件数据迁移程序；否则继续判断；所述准备模块，用于从低速硬盘获取将被迁移文件的源存放地址信息并获取可用的快速硬盘的存储空间，同时记录将要存入被迁移文件的目的存放地址信息；所述关联模块，用于将成功被迁移的文件的目的逻辑块地址和被迁移文件关联； 所述低速硬盘的控制芯片，用于根据被迁移文件的源存放地址信息和目的存放地址信息的映射关系，将要迁移的文件的数据通过交换机传送给目的快速硬盘的控制芯片；所述快速硬盘的控制芯片用于将被迁移的数据写入快速硬盘的指定位置。
全文摘要
本发明公开一种迁移文件数据的方法，包括步骤判断是否有文件满足被迁移条件，是，则启动文件数据迁移程序，否则继续判断；从低速硬盘获取将被迁移文件的源存放地址信息；获取可用的快速硬盘的存储空间，并记录被迁移文件的目的存放地址信息；根据被迁移文件的源存放地址信息和目的存放地址信息的映射关系，低速硬盘的控制芯片将要迁移的文件的数据通过交换机传送给目的快速硬盘的控制芯片并由其将数据存储到快速硬盘。本发明还公开了一种迁移文件数据的装置，包括IPSAN控制服务器、交换机、低速硬盘和快速硬盘，本发明的一种迁移文件数据的方法和装置能够有效地避免数据通过控制服务器存储和转发造成的延迟和资源占用。
文档编号H04L29/08GK102215268SQ201110197089
公开日2011年10月12日 申请日期2011年7月14日 优先权日2011年7月14日
发明者陈杰 申请人:北京华胜天成科技股份有限公司, 北京飞杰信息技术有限公司