一种数据迁出方法、装置及设备与流程

1.本技术涉及大数据技术领域，尤其涉及一种数据迁出方法、装置及设备。


背景技术：

2.随着社会经济的高速发展，各大银行作为金融服务的中心，越来越多的客户通过银行办理各种金融业务，导致银行需要处理的数据越来越多。
3.目前当银行的旧系统部分或全部功能向新系统迁移时，不可避免的需要对旧系统已有数据迁出到新系统中。原来的迁出方式是导出整个数据库的dump文件，迁入到新系统；或使用工具导出数据库内容为文本格式，再迁入到新系统。这种取数据迁出方法只针对具体系统的具体迁移需求，无法就多种不同业务系统的特性做出通用的解决方案，存在工作量重复、出错率高等弊端，导致数据迁出的效果较差。


技术实现要素：

4.本技术实施例的主要目的在于提供一种数据迁出方法、装置及设备，能够兼容不同迁入、迁出系统的系统特性、数据特性，通过可配置方式实现系统间的数据迁出，进而提高数据迁出的效果。
5.第一方面，本技术实施例提供了一种数据迁出方法，所述方法包括：
6.通过迁出系统对迁移规则进行参数化配置；
7.根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集；
8.将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本；
9.将所述待迁入文本传输至迁入系统中预设的目录下。
10.可选的，所述根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集，包括：
11.对源数据限定迁出范围、对源数据进行清洗、对源数据进行转换，得到待迁出数据的集合；
12.按照预设配置规则，从所述待迁出数据的集合中提取数据，生成待迁出的数据集。
13.可选的，所述方法还包括：
14.对数据迁出的中间状态进行记录，以便利用记录的结果对数据迁出过程进行分析，实现断点重传。
15.可选的，所述将所述待迁入文本传输至迁入系统中预设的目录下之后，所述方法还包括：
16.调用脚本程序对数据迁出过程中生成的中间文件进行清除处理。
17.第二方面，本技术实施例还提供了一种数据迁出装置，所述装置包括：
18.配置单元，用于通过迁出系统对迁移规则进行参数化配置；
19.采集单元，用于根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集；
20.生成单元，用于将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本；
21.传输单元，用于将所述待迁入文本传输至迁入系统中预设的目录下。
22.可选的，所述采集单元包括：
23.转换子单元，用于对源数据限定迁出范围、对源数据进行清洗、对源数据进行转换，得到待迁出数据的集合；
24.生成子单元，用于按照预设配置规则，从所述待迁出数据的集合中提取数据，生成待迁出的数据集。
25.可选的，所述装置还包括：
26.记录单元，用于对数据迁出的中间状态进行记录，以便利用记录的结果对数据迁出过程进行分析，实现断点重传。
27.可选的，所述装置还包括：
28.清除单元，用于调用脚本程序对数据迁出过程中生成的中间文件进行清除处理。
29.本技术实施例还提供了一种数据迁出设备，包括：处理器、存储器、系统总线；
30.所述处理器以及所述存储器通过所述系统总线相连；
31.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述数据迁出方法中的任意一种实现方式。
32.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述数据迁出方法中的任意一种实现方式。
33.本技术实施例提供的一种数据迁出方法、装置及设备，首先通过迁出系统对迁移规则进行参数化配置，然后，根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集，接着，将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本，进而可以将所述待迁入文本传输至迁入系统中预设的目录下，从而能够兼容不同迁入、迁出系统的系统特性、数据特性，通过可配置方式实现系统间的数据迁出，进而提高数据迁出的效果。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本技术实施例提供的一种数据迁出方法的流程示意图；
36.图2为本技术实施例提供的数据迁出的整体模块化示意图；
37.图3为本技术实施例提供的一种数据迁出装置的组成示意图。
具体实施方式
38.目前当银行的旧系统部分或全部功能向新系统迁移时，不可避免的需要对旧系统已有数据迁出到新系统中。但在现有的数据迁移方案是将整个迁移过程当做一个原子操
作，如果迁移过程中出现错误，只能通过重新执行整个迁移流程，造成工作重复，无法满足细粒度管理的需求。并且，当迁移规则修改时，原有数据迁出方法需要修改整个迁移程序，改动较大，无法通过配置的方式兼容迁移规则的修改。此外，原有数据迁出方法可能还需要手动执行若干个迁移步骤，不能自动实现数据采集、数据清理、数据迁出等流程，导致现有的银行数据迁出的效果较差。
39.为解决上述缺陷，本技术实施例提供了一种数据迁出方法，首先通过迁出系统对迁移规则进行参数化配置，然后，根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集，接着，将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本，进而可以将所述待迁入文本传输至迁入系统中预设的目录下，从而能够兼容不同迁入、迁出系统的系统特性、数据特性，通过可配置方式实现系统间的数据迁出，进而提高数据迁出的效果。
40.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.第一实施例
42.参见图1，为本实施例提供的一种数据迁出方法的流程示意图，该方法包括以下步骤：
43.s101：通过迁出系统对迁移规则进行参数化配置。
44.在本实施例中，为了能够提高数据迁出的效果，本技术首先通过迁出系统对迁移规则进行参数化配置，用以执行后续步骤s102。
45.其中，迁出系统指的是数据迁移过程中的源头系统。迁移规则指的是数据迁移过程中，迁入系统对迁移数据规定的接口。其中，接口包含了表名、字段名、字段长度、字段取值范围、表间约束、字段间约束等。迁出系统将按照接口要求，将数据迁出至迁入系统中。迁入系统指的是数据迁移过程中的目标系统。数据迁移指的是当旧系统部分或全部功能由新系统取代时，需要同步将旧系统中存储的历史数据迁移至新系统中的过程。
46.具体来讲，本步骤s101是数据迁出流程的准备工作，为后续迁出过程提供参数、规则支持。具体可以包括规则配置、参数配置和动态配置三部分内容。
47.其中，规则配置指的是对迁出系统和迁入系统表、字段提供映射，并将映射写入到配置表中。如迁入系统的表a的字段a，根据业务规则进行字段溯源，映射结果为迁出系统1的表x的字段y,迁出系统2的表m的字段n,则将类似(x.y-》a.a),(m.n-》a.a)规则写入配置表中。后续迁出程序读取配置的规则内容，对源数据进行加工，处理成迁移规则要求的数据格式。
48.参数配置指的是配置迁移过程的行为，配置迁出系统的数据源信息、迁入系统的接受目录、中间文件生成目录、迁出程序执行并行度等。
49.动态配置指的是在对参数进行配置后，可在运行阶段对参数进行动态调整，如检测到迁移执行效率较慢，则可根据系统运行情况，动态调整迁移并行度。
50.s102：根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集。
51.在本实施例中，通过步骤s101对迁移规则进行参数化配置后，进一步可以根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集，用以执行后续步骤s103。
52.一种可选的实现方式是，可以根据迁移规则，对源数据限定迁出范围、对源数据进行清洗、对源数据进行转换，得到待迁出数据的集合，再按照预设配置规则，从所述待迁出数据的集合中提取数据，生成待迁出的数据集。
53.具体来讲，可以根据迁移规则，对源系统数据进行采集处理，其中细分为定义数据集、数据集生成、数据转换、例外数据处理等步骤。
54.其中，定义数据集指的是在数据迁出时，可能会将源系统整库数据拆分成多个迁移任务，每个迁移任务负责迁移一部分的数据。所以，在迁出执行前，需要通过不同维度将数据切分成不同的数据集。如迁入系统要求数据迁出以修改时间为要求，第一次迁出2022.01.01前数据，第二次迁出2022.01.01后的数据，此处则可以按修改时间将整库数据拆分成不同的数据集，后续迁移只针对特殊数据集中的数据进行迁出。通过对数据集的定义，对迁移任务进行了更细粒度化，并且对迁出时数据保持了静止。
55.数据集生成指的是根据配置的迁移规则(即预设配置规则)，对源表数据进行简单处理，筛选出正常数据集及例外数据集。具体包括：预定义正常数据存储表、例外数据存储表。其中正常数据表存储的是待迁出的且符合迁入规则约束的表数据，而例外数据表则存储不符合要求的数据，该部分数据将以报表的形式迁出至迁入系统；如存在迁移规则(x.y-》a.a)(x.z-》a.b),其中源系统表x字段y,z的约束分别为varchar(6),number(3)，迁入系统表a的字段a,b的约束分别为varchar(5),number(2)，则正常数据表、例外数据表都将包含两个字段a,b，但正常数据表的约束为varchar(5),number(2)，而例外数据表的约束以和源表系统保持一致，即varchar(6),number(3)。数据采集：将源系统数据写入到前述定义的正常数据表或例外数据表。其中写入方式可分为：完全正常、部分正常、完全例外。如上文定义好两个表后，假设在源表中存在记录1(
‘
1234’,99),记录2(
‘
123456’,’999’),记录3(
‘
1234’,’99’)，其中记录1符合迁入规则约束，可完全写入到正常数据表中；记录2两个字段都不符合约束，将完全写入例外数据表；记录3字段a写入正常数据表，而字段b则写入例外数据表中。
56.数据转换指的是对前述生成的数据集进行数据转换。如迁入系统定义字段a(该字段为码值取值)的取值为1,2,3，而源系统定义的码值范围为a,b,c，在迁出时需要对该种类型数据进行转换，如不能转换将写入例外数据表中。需要说明的是，此处可能涉及多次转换，生成最终待迁出的数据集。
57.s103：将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本。
58.在本实施例中，通过步骤s102得到待迁出的数据集后，进一步可以将所述待迁出的数据集导出并对其增加控制信息、拆分、压缩等操作，以生成满足预设文本格式的待迁入文本，用以执行后续步骤s104。
59.具体来讲，可以基于数据采集生成的最终正常数据表、例外数据表，将所述待迁出的数据集中的数据导出并生成迁入系统要求的文本格式，其中字段分隔符、文件结束符通过可配置方式写入文本；并且对文本进行拆分、压缩等处理，如全表导出后10g，则可拆分成10个小文件，并按序递增编号。
60.s104：将所述待迁入文本传输至迁入系统中预设的目录下。
61.在本实施例中，通过步骤s103生成满足预设文本格式的待迁入文本后，进一步可以将所述待迁入文本传输至迁入系统中预设的目录下，完成数据的迁出。
62.一种可选的实现方式是，为了提供数据的可追溯性，还可以对数据迁出的中间状态进行记录，以便利用记录的结果对数据迁出过程进行分析，实现断点重传。
63.在实现方式中，在执行上述步骤s101-a104的数据迁出过程时，均对数据迁出的中间状态进行记录，其中每个步骤的状态可细分为preexecute、executing、failed、complete。如数据采集开始时将写入preexecute状态，如果执行成功则写入complete。状态记录同样为断点重传提供了支持，如果在迁移过程某个步骤失败了，重新调起程序时，可通过对迁移状态的判断，从失败处重新执行即可，而不用整个过程重新执行。并且，状态的记录用利于对迁移过程进行监控、分析。
64.此外，另一种可选的实现方式是，还可以在将所述待迁入文本传输至迁入系统中预设的目录下之后，调用脚本程序对数据迁出过程中生成的中间文件(如数据采集阶段定义的若干中间表、生成的迁出文本等)进行清除处理。
65.为便于理解本技术提供的数据迁出方法，本技术还提供了数据迁出的整体模块化示意图，如图2所示，在数据迁出过程中，首先需要对数据迁出过程进行分析，将迁出的长链路拆分成多个子模块，并定义不同子模块的功能、约束，以及定义模块之间的边界、连接条件等；将迁出规则进行参数化配置，其中配置的内容包括待迁出字段和源系统字段关系映射、迁出字段范围、迁出数据筛选条件等；断点重传，当迁出过程中，某模块出错时，可重新调起程序从出错处继续处理。
66.如图2所示，配置管理模块主要用于整个迁移过程的参数配置、迁移规则配置等，为后续模块提供支持，同时支持动态修改，其中不同迁出系统可通过配置不同选项实现对同一个迁入系统的数据迁出；数据采集模块用于定义待迁出数据集合，将对源系统数据进行截取、清洗、转换等操作，为数据迁出生成最终的数据集合；数据生成模块用于将数据集中的数据转换为迁入系统要求的格式；数据迁出模块用于将数据生成模块生成的内容迁移至迁入系统，其中迁入系统将规定具体的迁出形式，如ftp方式传输；状态记录模块用于记录以上各个处理模块的执行状态。
67.这样，通过执行上述步骤s101-s104，将数据迁出过程进行模块化，抽象出公共模块统一处理，对系统特性模块则采用可配置方式，这样有利于系统复用，对于不同迁入/迁出系统，可通过只修改配置的方式完成数据的迁出，避免了不同系统开发不同的迁出程序。并且在在数据迁出时，采用“滤网”的方式对数据进行采集、清洗、转换等操作，其中可根据系统特性自定义不同的滤网，已形成对数据的不同过滤需求。该种方式扩展性强，将极大的提高开发效率。同时，还可以对迁移规则映射并进行参数配置。由于迁移规则更多是文本格式或列表格式，较难维护。同时，如果存在变动，对程序需要做适当改造。通过进行映射，对迁移规则的管理将更为可视化、更为直观，另外，对迁移规则的动态配置，可避免程序的频繁修改，提高开发效率
68.综上，本实施例提供的一种数据迁出方法，首先通过迁出系统对迁移规则进行参数化配置，然后，根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集，接着，将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本，进而可以将
所述待迁入文本传输至迁入系统中预设的目录下，从而能够兼容不同迁入、迁出系统的系统特性、数据特性，通过可配置方式实现系统间的数据迁出，进而提高数据迁出的效果。
69.第二实施例
70.本实施例将对一种数据迁出装置进行介绍，相关内容请参见上述方法实施例。
71.参见图3，为本实施例提供的一种数据迁出装置的组成示意图，具体包括：
72.配置单元301，用于通过迁出系统对迁移规则进行参数化配置；
73.采集单元302，用于根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集；
74.生成单元303，用于将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本；
75.传输单元304，用于将所述待迁入文本传输至迁入系统中预设的目录下。
76.在本实施例的一种实现方式中，所述采集单元302包括：
77.转换子单元，用于对源数据限定迁出范围、对源数据进行清洗、对源数据进行转换，得到待迁出数据的集合；
78.生成子单元，用于按照预设配置规则，从所述待迁出数据的集合中提取数据，生成待迁出的数据集。
79.在本实施例的一种实现方式中，所述装置还包括：
80.记录单元，用于对数据迁出的中间状态进行记录，以便利用记录的结果对数据迁出过程进行分析，实现断点重传。
81.在本实施例的一种实现方式中，所述装置还包括：
82.清除单元，用于调用脚本程序对数据迁出过程中生成的中间文件进行清除处理。
83.综上，本实施例提供的一种数据迁出装置，首先通过迁出系统对迁移规则进行参数化配置，然后，根据所述迁移规则，对源系统数据进行数据采集处理，得到待迁出的数据集，接着，将所述待迁出的数据集导出并生成满足预设文本格式的待迁入文本，进而可以将所述待迁入文本传输至迁入系统中预设的目录下，从而能够兼容不同迁入、迁出系统的系统特性、数据特性，通过可配置方式实现系统间的数据迁出，进而提高数据迁出的效果。
84.进一步地，本技术实施例还提供了一种数据迁出设备，包括：处理器、存储器、系统总线；
85.所述处理器以及所述存储器通过所述系统总线相连；
86.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述数据迁出方法的任一种实现方法。
87.进一步地，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述数据迁出方法的任一种实现方法。
88.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信
设备，等等)执行本技术各个实施例或者实施例的某些部分所述的方法。
89.需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
90.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
91.另外，需要说明的是，本发明提供的数据迁出方法、装置及设备可用于大数据领域以及金融领域。上述仅为示例，并不对本发明提供的数据迁出方法、装置及设备的应用领域进行限定。
92.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。