一种数据迁移测试方法及装置与流程

1.本发明属于数据处理技术领域，具体涉及一种数据迁移测试方法及装置。


背景技术：

2.在计算机应用技术领域，经常涉及到计算机中所存储数据的迁移，数据迁移是为了对原来已有的数据进行使用，具体的使用方式包括存储、统计、分析、查看等。
3.比如，在新旧系统切换时，需要进行数据迁移，也就是将源系统中的数据迁到目标系统中，这里的源系统是指旧系统，也是数据迁出系统，目标系统是指新系统，也是数据迁入系统。比较常见的是企业的业务管理系统、财务管理系统等数据的前移，在新旧系统切换时，将各项业务数据和账务数据从源系统向目标系统迁徙，实现对旧系统的业务范围进行保护，以及满足新系统的应用功能。
4.在进行迁移后，需要对迁移后的数据的正确性、一致性、可用性进行测试，这里的正确性是指迁移后的数据是正确无误的，一致性是指在数据迁移过程中，从原有的数据库迁移过来的数据和新数据库表中存储的数据要保持一致，可用性是指迁移完成后的数据必须是可用的。
5.现有技术中，公开号为cn111459415a的中国专利文献记载了一种跨云数据迁移方法、装置、设备及存储介质，用于在云平台之间迁移数据；公开号为cn111966665a的中国专利文献记载了一种数据迁移测试方法及装置，用于在新旧系统之间迁移数据；公开号为cn113010489a的中国专利文献记载了一种数据迁移方法及系统，解决新老系统差异很大，数据迁移存在不确定性的技术问题。上述几篇专利文献所公开的技术均没有统一对迁移之后的数据进行测试的功能，导致数据迁移之后的正确性、一致性、可用性无法获知。


技术实现要素：

6.本发明旨在提供一种数据迁移测试方法，解决现有技术中不能高效的对迁移后的数据进行测试的技术问题。
7.为解决上述技术问题，本发明的第一方面是：提供一种数据迁移测试方法，用于对源系统迁移到目标系统的数据进行测试，包括：（1）建立通用的数据迁移测试平台，所述数据迁移测试平台用于统一调度源系统和目标系统中相对应的数据；（2）通过对源系统的源表到中间表，以及中间表到目标系统的目标表之间的映射文档进行分析，并结合数据迁移测试范围和测试策略，建立数据结构测试模板和数据内容测试模板；（3）将建立的数据结构测试模板和数据内容测试模板导入所述数据迁移测试平台，并根据要求，在所述数据迁移测试平台填入预期结果数据和实际结果数据，生成数据迁移测试案例；
（4）将所述数据迁移测试案例导入所述数据迁移测试平台，所述数据迁移测试平台接到测试指令后，同时查询源表、中间表、目标表，并以所述数据迁移测试案例作为模板进行自动比对。
8.优选的，在所述步骤（4）中，比对的内容包括数据库表结构的比对、数据量的比对以及数据内容的比对，并统一输出测试比对的结果。
9.优选的，所述数据迁移测试平台具有静态查询比对测试和动态迁移验证功能，通过静态查询比对测试功能对静态数据进行测试，通过动态迁移验证功能对动态数据进行测试验证。
10.优选的，在所述步骤（4）中，自动比对后，导出用于查看的数据比对结果报表，将该数据比对结果报表传送给校对人员，校对人员通过抽查数据比对结果报表中“正确”和“错误”的内容，再将目标系统与源系统中的业务内容进行比对，用以验证迁移数据的正确性。
11.优选的，在所述步骤（4）中，在自动比对时，所述数据迁移测试平台对源系统和目标系统中的数据进行大量的高频查询交易，并对查询交易的数据结果进行比对。
12.本发明的第二方面是：提供一种数据迁移测试装置，包括：数据调度模块：所述数据调度模块中建立通用的数据迁移测试平台，所述数据迁移测试平台用于统一调度源系统和目标系统中相对应的数据；数据分析模块：所述数据分析模块通过对源系统的源表到中间表，以及中间表到目标系统的目标表之间的映射文档进行分析，并结合数据迁移测试范围和测试策略，建立数据结构测试模板和数据内容测试模板；数据迁移测试案例建立模块：所述数据迁移测试案例建立模块用于将建立的数据结构测试模板和数据内容测试模板导入所述数据迁移测试平台，并根据要求，在所述数据迁移测试平台填入预期结果数据和实际结果数据，生成数据迁移测试案例；数据比对模块：所述数据比对模块用于将所述数据迁移测试案例导入所述数据迁移测试平台，所述数据迁移测试平台接到测试指令后，同时查询源表、中间表、目标表，并以所述数据迁移测试案例作为模板进行自动比对。
13.优选的，所述数据比对模块所比对的内容包括数据库表结构的比对、数据量的比对以及数据内容的比对，并统一输出测试比对的结果。
14.优选的，所述数据调度模块建立的数据迁移测试平台具有静态查询比对测试和动态迁移验证功能，通过静态查询比对测试功能对静态数据进行测试，通过动态迁移验证功能对动态数据进行测试验证。
15.优选的，所述数据比对模块自动比对数据后，能够导出用于查看的数据比对结果报表，将该数据比对结果报表传送给校对人员，校对人员通过抽查数据比对结果报表中“正确”和“错误”的内容，再将目标系统与源系统中的业务内容进行比对，用以验证迁移数据的正确性。
16.优选的，所述数据比对模块在比对时，所述数据迁移测试平台对源系统和目标系统中的数据进行大量的高频查询交易，并通过所述数据比对模块对查询交易的数据结果进行比对。
17.与现有技术相比，本发明的有益效果是：
1、该数据迁移测试方法通过建立通用的数据迁移测试平台，用于统一调度源系统和目标系统中相对应的数据，并通过建立数据结构测试模板和数据内容测试模板，根据数据结构测试模板和数据内容测试模板对源系统和目标系统中的数据进行比对，提高了源系统和模板系统数据比对效率；并且可统一输出核对结果进行查看，节省了人力和时间成本。
18.2、建立的数据迁移测试平台具有静态查询比对测试和动态迁移验证功能，通过静态查询比对测试功能对静态数据进行测试，通过动态迁移验证功能对动态数据进行测试验证，能够实现动态数据的更新，保证数据迁移后能够使用。
附图说明
19.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：图1为本发明数据迁移测试方法一实施例的流程图。
20.图2为本发明数据迁移测试装置一实施例的框图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.实施例1：一种数据迁移测试方法，请参阅图1。
23.该数据迁移测试方法用于对源系统迁移到目标系统的数据进行测试，以验证迁移后数据的正确性、一致性、可用性。
24.如图1所示，该数据迁移测试方法包括：步骤s100、建立通用的数据迁移测试平台，数据迁移测试平台用于统一调度源系统和目标系统中相对应的数据。
25.本步骤中的数据迁移测试平台具有通用性，就是对源系统和目标系统中全部数据均能够测试，并且具有静态查询比对测试和动态迁移验证功能，通过静态查询比对测试功能对静态数据进行测试，通过动态迁移验证功能对动态数据进行测试验证。这里的动态数据是指随着时间会产生变化的数据，比如资产管理系统、基金公司、银行等所使用的金融管理系统中，随着时间的变化，与利息相关的数据也会发生变化，那么迁移后的数据，就应该是最新的利息数据。
26.对于一些托管系统数据迁出的场景，由于迁出方配合程度差，适合通过静态查询比对测试，静态查询比对测试通过在新旧系统进行查询结果比对进行数据验证，可以发现业务报表数据无误而迁移数据本身有误的问题，很大程度上提高了数据迁移业务验证的正确性。
27.动态迁移验证功能的应用实例：比如，通过该数据迁移测试方法对银行等金融公司的管理系统进行数据迁移，具体包括以下几方面操作：（1）通过数据迁移t日（当天）对新旧系统贷款类产品进行贷款结清
操作，对新旧系统的存款类产品进行存款账务销户操作，用以验证新旧系统贷款及存款的存量利息迁移正确，账务迁移正确；（2）通过t+n（当天后第n天）日对新旧系统贷款类产品进行贷款结清操作，对新旧系统的存款类产品进行存款账务销户操作，用以验证新旧系统贷款及存款的增量的利息结息正确，用以验证迁移数据的正确性及计息规则的正确性；（3）通过结息日对新旧系统存贷款类产品进行批量结息操作，用以验证新旧系统贷款及存款的结息数据、结息规则的正确性。通过以上的层层验证，将验证无误的迁移数据进行业务连续性验证，确认迁移后的数据可进行后续的交易。动态迁移验证可以解决迁移前后利息验证的难题，通过在新旧系统进行批量结息、批量销户、批量支取的方式，比对迁移前后的利息差异，对利息迁移结果进行充分验证。
28.步骤s200、通过对源系统的源表到中间表，以及中间表到目标系统的目标表之间的映射文档进行分析，并结合数据迁移测试范围和测试策略，建立数据结构测试模板和数据内容测试模板。
29.这里，源表代表源系统的数据结构和数据内容，中间表代表过渡用的数据结构和数据内容，目标表代表目标系统的数据结构和数据内容；由于在源系统和目标系统的数据结构差距较大情况下，源表难以刚好对应于目标表，故设置中间表作为过渡表。
30.数据结构是计算机存储、组织数据的方式，源系统和目标系统可能会采用不同的数据结构储存同一种数据，因此，这里建立数据结构测试模板，以用于比对数据库表结构和数据量，测试源系统和目标系统数据结构和数据量是否存在一一对应的关系；建立的数据内容测试模板用于比对源系统和目标系统的数据内容，测试目标系统的数据内容相对于源系统是否正确。
31.步骤s300、将建立的数据结构测试模板和数据内容测试模板导入数据迁移测试平台，并根据要求，在数据迁移测试平台填入预期结果数据和实际结果数据，生成数据迁移测试案例。
32.本步骤中，实际结果数据代表源系统中的数据，预期结果数据代表模板系统中的数据，所生成数据迁移测试案例用于为源系统和目标系统的数据测试作为案例模板，后续数据测试过程中，以此案例作为模板。
33.步骤s400、将数据迁移测试案例导入数据迁移测试平台，数据迁移测试平台接到测试指令后，同时查询源表、中间表、目标表，并以数据迁移测试案例作为模板进行自动比对。
34.在本步骤中，比对的内容包括数据库表结构的比对、数据量的比对以及数据内容的比对，并统一输出测试比对的结果。另外，在自动比对时，数据迁移测试平台对源系统和目标系统中的数据进行大量的高频查询交易，并对查询交易的数据结果进行比对，通过高频查询交易，能够有效寻遍数据结构和数据内容，确保数据测试的完整性和测试深度。
35.在自动比对后，导出用于查看的数据比对结果报表，将该数据比对结果报表传送给校对人员，校对人员通过抽查数据比对结果报表中“正确”和“错误”的内容，再将目标系统与源系统中的业务内容进行比对，用以验证迁移数据的正确性。
36.这里的校对人员可以是当初获取数据的人员，比如，与业务相关的数据，由业务员来校对，校对过程属于对数据的正确性进行二次核对，因此，采用抽样的方式即可，主要是为了获知数据迁移测试平台对迁移后数据测试的效果。
37.实施例2：一种数据迁移测试装置。
38.如图2所示，该数据迁移测试装置包括数据调度模块、数据分析模块、数据迁移测试案例建立模块和数据比对模块，数据调度模块、数据分析模块、数据迁移测试案例建立模块和数据比对模块存储在计算机可读介质中，并可通过计算机可执行的程序的形式实现。其中：数据调度模块中建立通用的数据迁移测试平台，数据迁移测试平台用于统一调度源系统和目标系统中相对应的数据。数据调度模块所建立的数据迁移测试平台具有静态查询比对测试和动态迁移验证功能，通过静态查询比对测试功能对静态数据进行测试，通过动态迁移验证功能对动态数据进行测试验证。
39.数据分析模块通过对源系统的源表到中间表，以及中间表到目标系统的目标表之间的映射文档进行分析，并结合数据迁移测试范围和测试策略，建立数据结构测试模板和数据内容测试模板。
40.数据迁移测试案例建立模块：数据迁移测试案例建立模块用于将建立的数据结构测试模板和数据内容测试模板导入数据迁移测试平台，并根据要求，在数据迁移测试平台填入预期结果数据和实际结果数据，生成数据迁移测试案例。
41.数据比对模块用于将数据迁移测试案例导入数据迁移测试平台，数据迁移测试平台接到测试指令后，同时查询源表、中间表、目标表，并以数据迁移测试案例作为模板进行自动比对。具体的，数据比对模块在比对时，数据迁移测试平台对源系统和目标系统中的数据进行大量的高频查询交易，并通过数据比对模块对查询交易的数据结果进行比对，并且数据比对模块所比对的内容包括数据库表结构的比对、数据量的比对以及数据内容的比对，并统一输出测试比对的结果；数据比对模块自动比对数据后，能够导出用于查看的数据比对结果报表，将该数据比对结果报表传送给校对人员，校对人员通过抽查数据比对结果报表中“正确”和“错误”的内容，再将目标系统与源系统中的业务内容进行比对，用以验证迁移数据的正确性。
42.需要说明的是，在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
43.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。