通用的数据迁移方法和装置的制造方法
【技术领域】
[0001]本发明涉及计算机技术领域，尤其涉及一种通用的数据迀移方法和装置。
【背景技术】
[0002]网上商城是时代发展的趋势。其实现主要有两大模块，即后台和前端界面。后台常见的功能模块包括商品管理、订单管理、支付方式和物流配送等。前端界面常见的功能模块包括模板风格、商品展示、购物车等。
[0003]对于各功能模块来说，数据量会随着时间的推移而增大。数据量增大会导致功能模块运行缓慢。当对功能模块中的数据进行查询时，运行缓慢的功能模块会影响查询效率。因此，有必要对功能模块中不再使用的数据进行迀移，以保持运行速度。
[0004]现有的解决方案为各功能模块都有自己的数据迀移实现方式。各功能模块的数据迀移实现方式只针对自身模块进行，有自己独特的逻辑架构。由于各功能模块中的数据有自身的特点，需要不同的逻辑架构，因此现有的数据迀移实现方式无法在各功能模块上通用。
[0005]由于现有的数据迀移实现方式无法通用，因而浪费了大量的开发资源和时间。
【发明内容】
[0006]有鉴于此，本发明提供一种通用的数据迀移方法和装置，以解决上述问题。
[0007]一种通用的数据迀移方法，所述方法包括:
[0008]获取用户配置的数据迀移的条件；
[0009]根据数据迀移的条件建立进行数据迀移的任务；
[0010]在建立的数据迀移的任务下对不期望的数据进行采集；
[0011]将采集到的不期望的数据迀移到历史库中。
[0012]优选地，所述进行数据迀移的任务包括采集任务和迀移任务。
[0013]优选地，对不期望的数据进行采集包括:
[0014]针对一次采集任务，获取所述采集任务已经执行到的最大记录数；
[0015]判断所述采集任务已经执行到的最大记录数是否为O或者超过了采集任务的数据区间范围的最大值；
[0016]若所述采集任务已经执行到的最大记录数既不为O也没有超过采集任务的数据区间范围的最大值，则分配在本次采集任务中将要进行的下一轮采集的数据区间范围；
[0017]在所述数据区间范围采集不期望的数据。
[0018]可选地，若所述采集任务已经执行到的最大记录数为O或者超过了采集任务的数据区间范围的最大值，则从数据迀移的条件中获取采集任务的数据区间范围。
[0019]优选地，将采集到的不期望的数据迀移到历史库中包括:
[0020]将采集到的不期望的数据分片存储到待迀移任务列表中；
[0021]对待迀移任务列表中的不期望的数据进行分片，获得分片的不期望的数据；
[0022]将分片的不期望的数据迀移到历史库中。
[0023]一种通用的数据迀移装置，所述装置包括:
[0024]第一获取单元，用于获取用户配置的数据迀移的条件；
[0025]建立单元，用于根据数据迀移的条件建立进行数据迀移的任务；
[0026]至少一个采集任务分配器，用于在建立的数据迀移的任务下对不期望的数据进行米集；
[0027]迀移任务分配器，用于将采集到的不期望的数据迀移到历史库中。
[0028]优选地，所述进行数据迀移的任务包括采集任务和迀移任务。
[0029]优选地，所述采集任务分配器包括:
[0030]第二获取单元，用于针对一次采集任务，获取所述采集任务已经执行到的最大记录数；
[0031]判断单元，用于判断所述采集任务已经执行到的最大记录数是否为O或者超过了采集任务的数据区间范围的最大值；
[0032]分配单元，用于若所述采集任务已经执行到的最大记录数既不为O也没有超过采集任务的数据区间范围的最大值，则分配在本次采集任务中将要进行的下一轮采集的数据区间范围；
[0033]采集单元，用于在所述数据区间范围采集不期望的数据。
[0034]可选地，所述采集任务分配器还包括:
[0035]第三获取单元，用于若所述采集任务已经执行到的最大记录数为O或者超过了采集任务的数据区间范围的最大值，则从数据迀移的条件中获取采集任务的数据区间范围。
[0036]优选地，所述迀移任务分配器包括:
[0037]存储单元，用于将采集到的不期望的数据分片存储到待迀移任务列表中；
[0038]分片单元，用于对待迀移任务列表中的不期望的数据进行分片，获得分片的不期望的数据；
[0039]迀移单元，用于将分片的不期望的数据迀移到历史库中。
[0040]在本发明中，用户可以根据自己的需要对需要迀移的单表或多表配置数据迀移的条件，从而实现了通用的数据迀移，无需自己进行代码开发，节省了大量的开发资源和时间。
【附图说明】
[0041 ] 图1为本发明一个实施例的框架图；
[0042]图2为本发明一个实施例的方法流程图；
[0043]图3为本发明一个实施例的涉及用户进行配置的方法流程图；
[0044]图4为本发明一个实施例在采集任务下的方法流程图；
[0045]图5为本发明一个实施例在迀移任务下的方法流程图；
[0046]图6为本发明一个实施例提供的通用的数据迀移装置的结构图；
[0047]图7为本发明一个实施例提供的采集任务分配器的结构图；
[0048]图8为本发明一个实施例提供的迀移任务分配器的结构图。
【具体实施方式】
[0049]在下文中，将根据附图对本发明的示例性实施例进行详细描述。
[0050]在对详细的描述进行说明之前，应该理解，用在本说明书以及权利要求中的术语及词语可能不限于普通含义或词典含义，而是在发明人能够使用新词以最佳方式解释本发明的原则下，被解释为适于本发明技术范围的含义或概念。
[0051]本发明提供实施例使得公开充分并完全涵盖本领域技术人员。对具体细节例如具体部件、装置进行阐述，以透彻理解本实施例。对本领域技术人员来说，显然，不需要采用具体的细节，实施例可以以许多不同的形式进行具体体现，而且不应该解释为对本发明范围的限制。在一些实施例中，公知装置结构、以及公知技术不再详细描述。
[0052]请参考图1，为本发明一个实施例的框架图。本发明实施例提炼出通用的数据迀移逻辑，即经过用户配置迀移条件，再进行数据采集，最后对采集的数据执行迀移。从而实现了无需代码开发，只通过简单的配置就能进行数据迀移。下面对本发明实施例进行更加详细地说明。具体地，数据迀移系统启动之后，通过spring框架启动任务调度引擎(指的是能够定时执行代码的工具)。任务调度引擎读取配置模块，启动数据采集模块和数据迀移模块。数据采集模块和数据迀移模块通过数据访问层获取数据。其中，配置模块、数据访问层、spring框架都会通过JDBC层访问数据库中的数据。
[0053]请参考图2，为本发明一个实施例的方法流程图，可以包括以下步骤:
[0054]步骤201:获取用户配置的数据迀移的条件；
[0055]步骤202:根据数据迀移的条件建立进行数据迀移的任务；
[0056]步骤203:在建立的数据迀移的任务下对不期望的数据进行采集；
[0057]步骤204:将采集到的不期望的数据迀移到历史库中。
[0058]在本发明实施例中，用户可以根据自己的需要对需要迀移的单表或多表配置数据迀移的条件，从而实现了通用的数据迀移，无需自己进行代码开发，节省了大量的开发资源和时间。
[0059]在本发明一个具体的实施例中，数据迀移的任务可以分成采集任务和迀移任务两个阶段。在采集任务开始之前，需要先由用户配置具体的迀移条件。
[0060]请参考图3，为本发明一个实施例的涉及用户进行配置的方法流程图，可以包括以下步骤:
[0061]步骤301:通过spring框架启动任务调度引擎来启动数据迀移系统；
[0062]步骤302:获取用户配置的数据迀移的条件；
[0063]所述数据迀移的条件根据用户的具体需要进行配置。由于各数据的产生都对应有具体的名称，因此，在本发明实施例中，所述数据迀移的条件可以包括名称，例如，若用户想要将名称为“事件关闭”的数据迀移，则数据迀移的条件可以包括名称“事件关闭”。
[0064]在本发明实施例中，所述数据迀移的条件可以包括采集任务所需的数据区间范围。在本发明实施例中，采集任务所需的数据区间范围指的是在采集任务下采集数据的起始项数据和最后一项数据。
[0065]若需要对多表进行迀移，在本发明实施例中，所述数据迀移的条件还包括关联表数据关系。
[0066]步骤303:根据数据迀移的条件建立进行数据迀移的任务；
[0067]步骤304:注册需要进行数据迀移的任务所需的数据源。
[0068]本领域技术人员可以理解的是，在执行采集任务之前，需要根据用户配置的数据迀移的条件获取采集任务所需的数据区间范围，并检查是否能够在所述数据区间范围内执行米集任务。
[0069]请参考图4，为本发明一个实施例在采集任务下的方法流程图，可以包括以下步骤:
[0070]步骤401:装载数据迀移的任务，并启动针对数据迀移的任务的采集任务；
[0071]步骤402:采集任务分配器判断本次采集任务是否应该停止，若是，结束流程，否贝丨J，进入步骤403 ；
[0072]本发明实施例中，采集任务分配器请求需要采集的任务。为便于理解后续流程，在此先对采集任务分配器进行说明。所述采集任务分配器用于从用户配置的迀移条件中读取采集任务所需的数据区间范围并根据所述数据区间范围分配需要进行迀移的数据。在本发明实施例中，在一次采集任务下，采集任务分配器至少为一个。例如，若需要对编号为O到10000的数据进行采集，可以有四个采集任务分配器，第一个采集任务分配器分配编号为O到100的数据，第二个采集任务分配器分配编号为101到200的数据，第二采集任务分配器分配编号为201到300的数据，第三个采集任务分配器分配编号为