数据读写方法及数据读写装置的制造方法_4

文档序号:8922586阅读:来源:国知局
数据单元与最大出度数据单元的任一空闲的任务设定为均衡任务。
[0095]如具有10个空闲的任务A1-A10,其中A1-A2对应的第一存储系统45的数据单元BI,A3-A5对应第一存储系统45的数据单元B2,A6-A10对应第一存储系统45的数据单元B3 ;同时A1-A5对应第二存储系统46的数据单元Cl,A6-A8对应第二存储系统46的数据单元C2,A9-A10对应第二存储系统46的数据单元C3。则最大入度数据单元设定子单元设定第二存储系统46的数据单元Cl为最大入度数据单元,最大入度数据单元Cl对应的空闲的任务A1-A5,其中第一存储系统45的数据单元B2与最大入度数据单元Cl具有最大空闲的任务的数量(3个),因此设定第一存储系统45的数据单元B2为最大出度数据单元。最后均衡任务设定子单元随机选定A3-A5中的任一任务作为均衡任务。
[0096]本实施例获取均衡任务的方法以满足最大入度数据单元的迁移要求为基础(由于写的速度低于读的速度),保证了现有迁移量最大的数据单元优先进行迁移任务,从而缩短了整个数据迁移时间。
[0097]本优选实施例的数据读写装置在第一优选实施例的基础上设置有分类模块、任务组生成模块以及迁移模块来控制数据的迁移,最大程度的提升了迁移数据从第一存储系统迁移到第二存储系统的迁移效率。
[0098]请参照图4、图5、图6以及图7,图7为本发明的数据读写方法的第二优选实施例的流程图。本优选实施例的数据读写方法可通过上述的数据读写装置40的第二优选实施例进行实施,本优选实施例的数据读写方法中根据在线业务请求的迁移数据的业务操作类型以及在线业务请求的迁移数据的数据迁移状态,对迁移数据进行读写操作的具体步骤与上述数据读写方法的第一优选实施例中描述相同,具体请参见上述数据读写方法的第一优选实施例中的描述。
[0099]本优选实施例的数据读写方法具有以下步骤以提高迁移数据从第一存储系统迁移到第二存储系统的迁移速度。具体包括:
[0100]步骤S701,将第一存储系统和第二存储系统以硬盘为单位进行分类,得到第一存储系统的数据单元以及第二存储系统的数据单元;
[0101]步骤S702,根据并发任务数量、第一存储系统的数据单元以及第二存储系统的数据单元,生成数据迁移任务组;
[0102]步骤S703,根据数据迁移任务组,将迁移数据从第一存储系统迁移到第二存储系统;
[0103]本优选实施例的数据读写方法结束于步骤S703。
[0104]下面详细说明本优选实施例的数据读写方法的各步骤的详细流程。
[0105]在步骤S701中,分类模块47将第一存储系统45和第二存储系统46以硬盘为单位进行分类,得到第一存储系统45的数据单元以及第二存储系统46的数据单元,即将第一存储系统45和第二存储系统46中的硬盘作为迁移的基本单元,具体的迁移任务一定落在某个第一存储系统45的数据单元和某个第二存储系统46的数据单元上。随后转到步骤S702。
[0106]在步骤S702中,任务组生成模块48根据预设的并发任务数量、第一存储系统45的数据单元以及第二存储系统46的数据单元,生成迁移调度平台44中的数据迁移任务组441。具体请参见图8,图8为本发明的数据读写方法的第二优选实施例的步骤S702的详细流程图。其包括:
[0107]步骤S801,将已经完成的任务从数据迁移任务组中删除;
[0108]步骤S802,根据所有空闲的任务、所有空闲的第一存储系统的数据单元以及所有空闲的第二存储系统的数据单元,获取空闲的任务中的均衡任务;
[0109]步骤S803,将均衡任务从空闲的任务中去除,并将均衡任务加入数据迁移任务组;
[0110]步骤S804,判断是否满足设定条件,如不满足设定条件则返回步骤S802,如满足设定条件则转到步骤S805 ;
[0111]步骤S805,数据迁移任务组生成完毕。
[0112]在步骤S801中,任务组生成模块48的任务删除单元481将已经完成的任务从数据迁移任务组441中删除,如数据迁移任务组441中没有任务则自动跳过该步骤(一旦有任务完成即触发该任务删除单元将该任务删除)。随后转到步骤S802。
[0113]在步骤S802中,任务组生成模块48的均衡任务获取单元482根据所有空闲的任务、所有空闲的第一存储系统45的数据单元以及所有空闲的第二存储系统46的数据单元,获取空闲的任务中的均衡任务。其中空闲的任务是指还未进行的数据迁移任务,空闲的第一存储系统45的数据单元为未进行数据迁移的第一存储系统45的数据单元,空闲的第二存储系统46的数据单元为未进行数据迁移的第二存储系统46的数据单元。已完成自身数据迁移的第一存储系统45的数据单元不属于空闲的第一存储系统45的数据单元,已完成自身数据迁移的第二存储系统46的数据单元也不属于第二存储系统46的数据单元。具体如何获取均衡任务在下面有详细描述。随后转到步骤S803。
[0114]在步骤S803中,任务组生成模块48的任务组生成单元483将均衡任务从空闲的任务中去除,并将均衡任务加入到数据迁移任务组441中。随后转到步骤S804。
[0115]在步骤S804中,判断是否满足设定条件,该设定条件可为数据迁移任务组441中的任务数量达到预设的并发任务数量、空闲的第一存储系统45的数据单元的数量为零或空闲的第二存储系统46的数据单元的数量为零。如不满足设定条件则返回步骤S802继续获取均衡任务,如满足设定条件则转到步骤S805。
[0116]由于第二存储系统46和第一存储系统45上的硬盘(即数据单元)提供固定的读写能力,如果同时在同一数据单元上进行多个迁移任务,会使得迁移速度受限,数据单元上存在局部热点。因此为了保证迁移任务进行的效率,数据迁移任务组441中的任一任务对应的第一存储系统45的数据单元均不同,数据迁移任务组441中的任一任务对应的第二存储系统46的数据单元也均不同,这样当数据迁移任务组44中的任务数量达到预设的并发任务数量、空闲的第一存储系统45的数据单元的数量为零(即所有的第一存储系统45的数据单元均在迁移数据)或空闲的第二存储系统46的数据单元的数量为零(即所有的第二存储系统46的数据单元均在迁移数据)时,任务组生成单元483停止将任务加入到数据迁移任务组441中,以保证迁移任务的高效进行。因此数据迁移任务组441中的迁移任务一直处于动态变化中,完成的任务会被移出数据迁移任务组441,同时新的任务又会及时的移入数据迁移任务组441。
[0117]在步骤S805中,数据迁移任务组44生成完毕。随后转到步骤S703。
[0118]在步骤S703中,迁移模块49并行执行数据迁移任务组44中的所有任务,将迁移数据从第一存储系统45迁移至第二存储系统46。
[0119]请参照图9,图9为本发明的数据读写方法的第二优选实施例的步骤S802的详细流程图。下面通过图9详细说明如何获取均衡任务,其包括:
[0120]步骤S901,最大入度数据单元设定子单元4821设定对应空闲的任务的数量最多的空闲的第二存储系统46的数据单元为最大入度数据单元;
[0121]步骤S902,最大出度数据单元获取子单元4822根据最大入度数据单元对应的所有的空闲的任务,获取空闲的第一存储系统45的最大出度数据单元,其中对应最大入度数据单元的最大出度数据单元具有最大空闲的任务的数量;
[0122]步骤S903,均衡任务设定子单元4823将同时对应最大入度数据单元与最大出度数据单元的任一空闲的任务设定为均衡任务。
[0123]如具有10个空闲的任务A1-A10,其中A1-A2对应的第一存储系统45的数据单元BI,A3-A5对应第一存储系统45的数据单元B2,A6-A10对应第一存储系统45的数据单元B3 ;同时A1-A5对应第二存储系统46的数据单元Cl,A6-A8对应第二存储系统46的数据单元C2,A9-A10对应第二存储系统46的数据单元C3。则最大入度数据单元设定子单元设定第二存储系统46的数据单元Cl为最大入度数据单元,最大入度数据单元Cl对应的空闲的任务A1-A5,其中第一存储系统45的数据单元B2与最大入度数据单元Cl具有最大空闲的任务的数量(3个),因此设定第一存储系统45的数据单元B2为最大出度数据单元。最后均衡任务设定子单元随机选定A3-A5中的任一任务作为均衡任务。
[0124]本实施例获取均衡任务的方法以满足最大入度数据单元的迁移要求为基础(由于写的速度低于读的速度),保证了现有迁移量最大的数据单元优先进行迁移任务,从而缩短了整个数据迁移时间。
[0125]本优选实施例的数据读写方法在第一优选实施例的基础上设置有分类模块、任务组生成模块以及迁移模块来控制数据的迁移,最大程度的提升了迁移数据从第一存储系统迁移到第二存储系统的迁移效率。
[0126]下面通过一具体实施例说明使用本发明的数据读写方法和数据读写装置的数据迁移的具体工作流程。请参照图10,图10为使用本发明的数据读写方法及数据读写装置的数据迁移的具体实施例的流程图。
[0127]首先进行迁移环境检查步骤(S1001),如检查是否所有在线业务请求都能访问到数据读写装置,第二存储系统的存储容量以及是否存在相同的在线数据迁移任务等。
[0128]如环境检查合格(步骤S1002 ),则通过迁移模块启动数据迁移(步骤S1003 )。
[0129]然后进行迁移准备(如将第一存储系统中的缓存落盘等)以及生成数据迁移任务组中并发任务(步骤S1004)。
[0130]随后进行迁移操作直至迁移完成(步骤S1005),在迁移过程中,所有在线业务请求均能通过数据读写装置进行业务操作。并且可通过任务组生成模块及时更新数据迁移任务组以及通过迁移模块对迁移操作进行控制,如果出现迁移任务失败,支持对失败的迁移任务进行重试。
[0131]这样即完成整个数据迁移过程。
[0132]本发明的数据读写方法及数据读写装置针对迁移数据的业务操作类型和数据迁移状态进行相应的数据处理;解决了现有的数据读写方法及数据读写装置的在线数据操作的效率较低以及数据迁移的数据遗失风险较高的技术问题。
[0133]本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1