一种数据转移方法、装置及设备与流程

1.本技术涉及大数据技术领域，尤其涉及一种数据转移方法、装置及设备。


背景技术：

2.随着社会经济的高速发展，各大银行作为金融服务的中心，越来越多的客户通过银行办理各种金融业务，导致银行需要处理的数据越来越多。
3.目前银行因业务调整或技术规划，可能出现系统的升级，而系统升级需要新旧系统数间的数据迁移，并且通常一个迁入系统将对应多个迁出系统，即多个旧系统分别迁出部分历史数据至新线系统中。但在现有迁出方案中，迁出系统需要对迁移规则中所有字段进行采集、处理、迁出，而实际迁出只涉及部分字段，所以将存在大量为空字段，该部分字段的迁出将占用带宽、增大迁出/迁入的复杂度等，导致数据转移的效果较差。


技术实现要素：

4.本技术实施例的主要目的在于提供一种数据转移方法、装置及设备，能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。
5.第一方面，本技术实施例提供了一种数据转移方法，所述方法包括：
6.通过迁入系统设定迁移规则；
7.根据所述迁移规则，通过迁出系统，生成迁移schema文件；
8.根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本；
9.通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容；
10.通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中。
11.可选的，所述根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本之后，所述方法还包括：
12.将所述迁出文本通过中间转换平台进行解析和转换处理，生成待迁入的数据，并将所述待迁入的数据载入所述迁入系统中。
13.可选的，所述方法还包括：
14.通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则。
15.可选的，所述通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则之后，所述方法还包括：
16.通过迁出系统根据调整后的迁移规则，对所述迁移schema文件进行升级，得到升级后的迁移schema文件。
17.第二方面，本技术实施例还提供了一种数据转移装置，所述装置包括：
18.设定单元，用于通过迁入系统设定迁移规则；
19.生成单元，用于根据所述迁移规则，通过迁出系统，生成迁移schema文件；
20.迁出单元，用于根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本；
21.解析单元，用于通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容；
22.迁入单元，用于通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中。
23.可选的，所述装置还包括：
24.载入单元，用于将所述迁出文本通过中间转换平台进行解析和转换处理，生成待迁入的数据，并将所述待迁入的数据载入所述迁入系统中。
25.可选的，所述装置还包括：
26.调整单元，用于通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则。
27.可选的，所述装置还包括：
28.升级单元，用于通过迁出系统根据调整后的迁移规则，对所述迁移schema文件进行升级，得到升级后的迁移schema文件。
29.本技术实施例还提供了一种数据转移设备，包括：处理器、存储器、系统总线；
30.所述处理器以及所述存储器通过所述系统总线相连；
31.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述数据转移方法中的任意一种实现方式。
32.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述数据转移方法中的任意一种实现方式。
33.本技术实施例提供的一种数据转移方法、装置及设备，首先通过迁入系统设定迁移规则，并根据所述迁移规则，通过迁出系统，生成迁移schema文件，然后，根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本，接着，通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容，进而可以通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中，从而能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本技术实施例提供的一种数据转移方法的流程示意图；
36.图2为本技术实施例提供的中间表的示例图；
37.图3为本技术实施例提供的数据转移的整体模块化示意图；
38.图4为本技术实施例提供的一种数据转移装置的组成示意图。
具体实施方式
39.目前银行因业务调整或技术规划，可能出现系统的升级，而系统升级需要新旧系统数间的数据迁移，并且通常一个迁入系统将对应多个迁出系统，即多个旧系统分别迁出部分历史数据至新线系统中。但在现有的数据迁移方案存在以下两个缺点：
40.(1)数据迁移规则定义了所有待迁出字段，可能映射到多个迁出系统。在现有迁出方案中，迁出系统需要对迁移规则中所有字段进行采集、处理、迁出，而实际迁出只涉及部分字段，所以旧有方案迁出过程将存在大量为空字段，该部分字段的迁出将占用带宽、增大迁出/迁入的复杂度等；
41.(2)数据迁移规则需要根据业务规则进行调整。在现有的数据迁移方案中，若规则调整了，如接口新增一个迁出字段，则所有迁出系统都要调整最终迁出文本，而实际上这个新增字段，可能只涉及一个迁出系统。这种方式，对于接口的变动未提供兼容。
42.可见，现有的银行数据转移方式的转移效果较差。
43.为解决上述缺陷，本技术实施例提供了一种数据转移方法，首先通过迁入系统设定迁移规则，并根据所述迁移规则，通过迁出系统，生成迁移schema文件，然后，根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本，接着，通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容，进而可以通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中，从而能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。
44.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.第一实施例
46.参见图1，为本实施例提供的一种数据转移方法的流程示意图，该方法包括以下步骤：
47.s101：通过迁入系统设定迁移规则。
48.在本实施例中，为了能够提高数据转移的效果，本技术首先通过迁入系统设定迁移规则，用以执行后续步骤s102。
49.具体来讲，本步骤s101用于定义schema的语法，schema规定了特定迁出系统的迁移规则，是整体迁移规则的一部分，并且需要兼容迁移规则的升级。schema语法约束包括是否必输、字段类型、表、字段名、字段序号、默认值等。其中，是否必输可以定义为required\optioned，规定该字段是否必输。字段类型为varchar或number类型。表和字段名这两个字段用于定义迁出数据的目的表+字段，如源系统迁出客户姓名，映射到迁入系统的表a字段b。字段序号指的是规则字段在正式内容中的顺序，后续的中间转换平台或迁入系统可根据此处定义的顺序，解析正式内容获取迁出数据项。默认值指的是规定字段的默认值。
50.s102：根据所述迁移规则，通过迁出系统，生成迁移schema文件。
51.在本实施例中，通过步骤s101利用迁入系统设定迁移规则后，进一步可以根据所述迁移规则，通过迁出系统，结合迁出系统数据情况，生成迁移schema文件，用以执行后续步骤s103。
52.具体来讲，可以根据迁移规则，通过迁出系统确定待迁出字段，生成schema文件，如客户信息迁出schema实例如下：
53.required varchar(10)custnoinfo.custno＝1；
54.required varchar(80)custnoinfo.custname＝2；
55.optional varchar(1)custnoinfo.gender(男)＝3；
56.解析schema可知，
57.custno为迁出文本中第一个字段，必输，varchar(10),无默认值；
58.custname为迁出文本中第二个字段，必输，varchar(80),无默认值；
59.gender为迁出文本中第三个字段，选输，默认值为
‘
男’。
60.s103：根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本。
61.在本实施例中，通过步骤s102生成迁移schema文件后，进一步可以根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本，用以执行后续步骤s104。
62.具体来讲，此步骤实现数据的迁出，可以是将迁出系统中数据库内容提取后写入迁出文本，并在文本头拼接上schema文件，在文件末尾拼接上迁移控制信息，如迁出总记录数等。
63.进一步的，一种可选的实现方式是，可以将所述迁出文本通过中间转换平台进行解析和转换处理，生成待迁入的数据，并将所述待迁入的数据载入所述迁入系统中。
64.在本实现方式中，将所述迁出文本通过中间转换平台进行解析指的是提取迁移文本中的schema内容，获取到迁移schema；根据迁移schema生成中间处理表，如上文中的schema则生成一个中间表，如图2所示。
65.而将所述迁出文本通过中间转换平台进行转换则指的是将正式内容中的数据加载到中间表中，其中可能出现例外数据，该部分数据应该剔除或输出到其他表中，作为例外数据。
66.s104：通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容。
67.在本实施例中，通过步骤s103得到迁出文本后，进一步可以通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容，用以执行后续步骤s105。或者，也可以将中间转换平台处理的数据载入迁入系统中。其中，该步骤将以schema文件中的表+字段定位到迁入系统的表+字段，为迁出数据和迁入表/字段之间提供映射。
68.一种可选的实现方式是，还可以通过所述迁入系统对所述迁移规则进行调整，如新增或删除某个字段，得到调整后的迁移规则。
69.在此基础上，一种可选的实现方式是，还可以通过迁出系统根据调整后的迁移规则，对所述迁移schema文件进行升级，得到升级后的迁移schema文件。如迁移规则的调整涉
及本系统，则需要同步修改迁移schema，通重复执行上述步骤s103-s105，如迁移规则调整不涉及本系统，则schema保持不变。
70.其中，对于schema的升级来说，迁移规则升级，需要迁出系统适配改造。迁出系统可向后/向前兼容迁移规则的调整。
71.向后兼容：如客户信息表新增年龄字段的迁移，涉及迁出系统a，不涉及迁出系统b，则迁出系统b的迁移schema、迁出文本等内容可保持不变，即实现了迁出系统的向后兼容；迁出系统a则需要调整迁移schema，新增required int custnoinfo.age＝4,并重新生成迁出数据、中间转换平台重新处理。
72.向前兼容：如迁移规则删除了gender字段的删除，则原有迁出系统可保持迁移schema不变，继续迁出相关内容，在迁入时，迁入系统将直接抛弃该字段，从而实现了向前兼容。
73.为便于理解本技术提供的数据转移方法，本技术还提供了数据转移的整体模块化示意图，如图3所示，在数据转移过程中，首先对于迁入系统需要根据业务需求，定义出数据迁移规则的全集；迁出系统根据迁移规则全集，并结合自身系统特性，定义出迁移schema文件，其中schema文件的基本格式有迁入系统统一规定；其次，迁出系统根据迁移schema进行数据采集、迁出等，而迁入系统需要具备解析schema的能力，并最大兼容不同系统的软硬件差异。
74.如图3所示，迁入系统指的是数据迁移的目的系统，负责数据迁移的规则制定，如定义表名、字段名、字段约束等，将落盘最终的迁移数据。迁出系统指的是数据迁出的源头系统，根据迁移规则生成本系统的迁移schema，其中schema规定了本系统迁出数据涉及字段、约束等，后续迁出步骤都依赖于迁移schema的内容。其中迁出系统和迁入系统存在多对一的关系，即由多个系统进行数据迁出到一个迁入系统中。中间转换平台用于接收迁出系统的数据，并解析、清理、转换等，其中关键的步骤是解析迁移数据，从迁移数据中拆分出schema文件和正式内容文件。schema文件用于规定迁出系统的迁出规则，是整体迁移规则的一个子集；提供向前/向后兼容迁移规则的升级。
75.这样，通过执行上述步骤s101-s105，引入schema文件，迁出系统各自制定schema文件，可实现系统之间的耦合。通过在迁入/迁出时定义schema，可对迁出内容进行压缩，减少数据传输带宽，同时减少了迁出、转换、迁入等步骤的复杂度。并且，利用了schema升级机制，当迁移规则修改，只用涉及系统做适配改造，其他系统可向后/向前兼容，将改造保持在最小集，避免了无关改造。
76.综上，本实施例提供的一种数据转移方法，首先通过迁入系统设定迁移规则，并根据所述迁移规则，通过迁出系统，生成迁移schema文件，然后，根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本，接着，通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容，进而可以通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中，从而能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。
77.第二实施例
78.本实施例将对一种数据转移装置进行介绍，相关内容请参见上述方法实施例。
79.参见图4，为本实施例提供的一种数据转移装置的组成示意图，具体包括：
80.设定单元401，用于通过迁入系统设定迁移规则；
81.生成单元402，用于根据所述迁移规则，通过迁出系统，生成迁移schema文件；
82.迁出单元403，用于根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本；
83.解析单元404，用于通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容；
84.迁入单元405，用于通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中。
85.在本实施例的一种实现方式中，所述装置还包括：
86.载入单元，用于将所述迁出文本通过中间转换平台进行解析和转换处理，生成待迁入的数据，并将所述待迁入的数据载入所述迁入系统中。
87.在本实施例的一种实现方式中，消息队列为多级，所述装置还包括：
88.调整单元，用于通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则。
89.在本实施例的一种实现方式中，所述装置还包括：
90.升级单元，用于通过迁出系统根据调整后的迁移规则，对所述迁移schema文件进行升级，得到升级后的迁移schema文件。
91.综上，本实施例提供的一种数据转移装置，首先通过迁入系统设定迁移规则，并根据所述迁移规则，通过迁出系统，生成迁移schema文件，然后，根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本，接着，通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容，进而可以通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中，从而能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。
92.进一步地，本技术实施例还提供了一种数据转移设备，包括：处理器、存储器、系统总线；
93.所述处理器以及所述存储器通过所述系统总线相连；
94.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述数据转移方法的任一种实现方法。
95.进一步地，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述数据转移方法的任一种实现方法。
96.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本技术各个实施例或者实施例的某些部分所述的方法。
97.需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
98.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
99.另外，需要说明的是，本发明提供的数据转移方法、装置及设备可用于大数据领域以及金融领域。上述仅为示例，并不对本发明提供的数据转移方法、装置及设备的应用领域进行限定。
100.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。