一种基于电力系统的Oracle数据库与达梦数据库数据迁移方法与流程

一种基于电力系统的oracle数据库与达梦数据库数据迁移方法
技术领域
1.本发明涉及电力系统数据迁移技术领域，尤其涉及一种基于电力系统的oracle数据库与达梦数据库数据迁移方法。


背景技术：

2.在许多大型生产系统的更新换代中，由于需要替代的系统往往涉及到it底层架构、业务应用等各个方面，因此oracle数据库替换为国产达梦数据库(以下简称dm)过程中，复杂、长期的数据迁移和转换过程需要一种方法和工具进行辅助应用。
3.目前新旧系统间的数据库的数据迁移和转换工作靠人工执行各类繁多的脚本来完成数据迁移，而对迁移后的数据核对和验证工作则单纯依靠人工核查，除了迁移工程量大、周期长，难免会出现遗漏和出错的现象，造成新系统上线困难、数据缺失等问题。为了更好的帮助相关企业解决数据库国产化替代过程中的数据迁移问题，加速安全可控的数字化建设，降低从oracle到国产达梦数据库(以下简称dm)之间的数据迁移的技术门槛，保障各企业用户现有系统中的数据价值、确保新旧系统平稳过渡上线，亟需一种安全迁移的技术和方法。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。
6.因此，本发明提供了一种基于电力系统的oracle数据库与达梦数据库数据迁移方法，解决目前新旧系统间的数据库的数据迁移和转换工作靠人工执行各类繁多的脚本来完成数据迁移，而对迁移后的数据核对和验证工作则单纯依靠人工核查，除了迁移工程量大、周期长，难免会出现遗漏和出错的现象，造成新系统上线困难、数据缺失的问题。
7.为解决上述技术问题，本发明提供如下技术方案：包括：
8.对迁移系统进行评估，并搭建系统环境进行迁移改造；
9.进行分析比对得出新旧系统数据库的映射关系，将映射关系固化在数据映射工具中，并制定转换规则；
10.根据获取到的新旧系统映射关系，将oracle数据经过数据抽取，多次转换后，生成中间数据，进行数据迁移；
11.迁移后进行数据校验及测试后完成数据库的服务交割。
12.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：所述评估包括，对象评估、应用评估、数据库评估和工作量评估。
13.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的
一种优选方案，其中：所述对象评估包括电网业务系统的操作系统，所述数据库评估包括oracle数据库与达梦数据库版本，所述应用评估包括应用开发平台、接口，所述工作量评估包括oracle数据库基础信息、oracle数据中的对象以及表数据量。
14.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：所述搭建系统环境时，
15.采用物理服务器搭建，根据迁移数据量配置服务器数量；
16.设备性能需与源数据中心相当或高于双机架构部署的以太网交换机，根据应用系统数量设定不少于250gb的磁盘阵列以及双机架构部署的光纤交换机；
17.每台光纤交换机端口配置数量应不少于资源池内服务器数量与原业务系统相当数量的db数据库服务器之和。
18.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：所述新旧系统数据库的映射关系包括务映射和数据映射。
19.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：
20.所述业务映射是系统功能字段对齐映射；
21.所述数据映射则是通过制定源数据库和目标数据的字段映射，将数据进行格式加工处理后，存入目标数据库中。
22.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：转换规则包括，在所述存入目标数据库中的过程中，根据新系统数据要求，进行包括垃圾数据清理及合并、数据补齐、数据字典合并、业务数据合并以及按业务规则条件过滤的多余数据删除和重新填补。
23.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：所述分析比对得出新旧系统数据库的映射关系还包括，分析应用系统的数据库操作代码，根据数据库的差异调整代码。
24.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：所述数据抽取包括，
25.获取配置表数量；
26.进行验证后记录没有配置进程的表，并将有配置进行的表写入第一日志，进行数据抽取后，分别记录抽取运行的成功和失败状态，并校验输入进行包含的表总数；
27.随后进行循环验证写入第二日志并记录抽取，直至程序运行成功。
28.作为本发明所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的一种优选方案，其中：所述数据校验及测试包括通过数据完整性校验工具对迁移后数据库的完整性、一致性、数据条目数、特殊数据字典数目、各数据值正确性进行校验；对系统进行带数据的一致性测试、执行功能检查、性能测试、数据备份和恢复测试。
29.与现有技术相比，本发明的有益效果：
30.(1)通过对大型业务系统oracle数据库与达梦数据库之间数据迁移工作方法和系统的管理，提高迁移工作效率和质量，使得数据迁移工作事半功倍。
31.(2)通过对迁移后的数据进行自动核查，包括完整性、一致性、准确性、稳定性，减少了人工操作时间以及人工可能引起的误判及疏漏，既解放了人工劳动力，又提升了系统
资源数据管理水平；
32.(3)通过减少数据迁移过程中的数据丢失情况，大大提升电网通信资源数据管理水平，有利于后续的智能化运维和发展，为后续的数字化电网及智慧运维的业务落地提供了数据保障。
附图说明
33.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
34.图1为本发明一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的运行流程图；
35.图2为本发明一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法的中达梦移植搭建系统环境过程示意图；
36.图3为本发明一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法中常规对象数据迁移执行计划示意图；
37.图4为本发明一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法中oracle数据库向达梦数据库的数据迁移流程示意图；
38.图5为本发明一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法中数据映射工具示意图；
39.图6为本发明第一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法中数据抽取迁移核心方法示意图；
40.图7为本发明第一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法中数据完整性校验工具示意图；
41.图8为本发明第一个实施例所述的基于电力系统的oracle数据库与达梦数据库数据迁移方法中数据准确性校验工具示意图。
具体实施方式
42.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
43.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
44.其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
45.本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件
结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
46.同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
47.本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
48.实施例1
49.参照图1-8，为本发明的一个实施例，提供了一种基于电力系统的oracle数据库与达梦数据库数据迁移方法，包括：
50.s1：对迁移系统进行评估，并搭建系统环境进行迁移改造；
51.更进一步的，评估包括，对象评估、应用评估、数据库评估和工作量评估。
52.更进一步的，对象评估包括电网业务系统的操作系统，数据库评估包括oracle数据库与达梦数据库版本，应用评估包括应用开发平台、接口，工作量评估包括oracle数据库基础信息、oracle数据中的对象以及表数据量。
53.更进一步的，搭建系统环境时，
54.采用物理服务器搭建，根据迁移数据量配置服务器数量；
55.设备性能需与源数据中心相当或高于双机架构部署的以太网交换机、根据应用系统数量设定不少于250gb的磁盘阵列以及双机架构部署的光纤交换机；
56.每台光纤交换机端口配置数量应不少于资源池内服务器数量与原业务系统相当数量的db数据库服务器之和。
57.应说明的是，迁移改造之前需要兼容性测试，指的是用户或者开发商对于移植可能性和技术工作量的一个评估和确认工作，也就是尝试性的移植，移植后可能并不会立刻进行产品级的应用功能、性能、稳定性测试，在这种情况下，一般搭建最基础的移植环境即可，用虚拟机和物理机服务器都可以进行，且对配置无特别要求，满足基本运行条件即可；
58.随后采用物理服务器搭建系统环境，为正式移植做准备。
59.应说明的是，搭建系统环境主要分为以下几个步骤：
60.搭建dm移植环境：从版本、参数、配置、及表空间出发，最终选定所需移植数据库版本环境；
61.选择版本：
①
优先选择完整安装版本
②
避免数据库客户端和服务器端版本不匹配；
62.初始化参数：
①
确定页大小page_size；
②
确定簇大小extent_size；
③
确定大小写敏感case_sensitive；
④
确定字符集charset；
63.合理配置ini参数：
①
确定compatible_mode参数，配置成兼容oracle数据库模式；
64.创建用户和表空间：
①
分析本次移植oracle源库需要移植的用户数据量
②
分别创
建这些需要移植的用户和对应的表空间；
65.确定移植环境：设置完成后，确定本版本和配置为本移植工作的dm移植环境。
66.s2：进行分析比对得出新旧系统数据库的映射关系，将映射关系固化在数据映射工具中，并制定转换规则；
67.更进一步的，新旧系统数据库的映射关系包括务映射和数据映射。
68.更进一步的，业务映射是系统功能字段对齐映射；数据映射则是通过制定源数据库和目标数据的字段映射，将数据进行格式加工处理后，存入目标数据库中。
69.应说明的是，因新旧系统的字段并不可能完全——对应，因此在割接过程中会存在数据缺失。数据映射关系模型能够建立起新系统字段与旧系统字段的映射关系，确定来自不同系统的两段数据之间的关系。
70.数据映射原理：从旧业务系统中提取待迁移数据，按照迁移需求分析确定的字段映射关系进行数据转化，并将映射关系固化在数据映射工具中。
71.数据迁移的需求理解是不断更新递进的过程，因此随着对业务规则的理解和深入，映射关系也会需要时常调整，而数据映射工具则可以通过可视化、可拖拽的方式实时维护新旧系统的映射关系，比较人工脚步的不断叠加和出错。通过构建数据库中间表存储映射关系进行数据转换，避免硬编码所造成的人为错误和人力资源浪费。
72.更进一步的，转换规则包括，在存入目标数据库中的过程中，根据新系统数据要求，进行包括垃圾数据清理及合并、数据补齐、数据字典合并、业务数据合并以及按业务规则条件过滤的多余数据删除和重新填补。
73.更进一步的，分析比对得出新旧系统数据库的映射关系还包括，分析应用系统的数据库操作代码，根据数据库的差异调整代码。
74.应说明的是，根据数据库的差异调整代码目的是部署修改后的应用系统。
75.s3：根据获取到的新旧系统映射关系，将oracle数据经过数据抽取与多次转换后，生成中间数据，进行数据迁移；
76.应说明的是，利用达梦的数据迁移工具将oracle数据经过数据抽取与多次转换后，生成中间数据。
77.更进一步的，数据抽取包括，
78.获取配置表数量；
79.进行验证后记录没有配置进程的表，并将有配置进行的表写入第一日志，进行数据抽取后，分别记录抽取运行的成功和失败状态，并校验输入进行包含的表总数；
80.随后进行循环验证写入第二日志并记录抽取，直至程序运行成功。
81.应说明的是，多从转换依据转换规则住要做的是数据转换，数据迁移过程中，除了数据快照搬迁之外，还需要根据新旧系统业务功能需求进行数据转换，在新旧系统数据迁移的过程中，完成新系统可用的数据补全、过滤等数据转换功能。
82.示例性的，原系统中3个地市，分别对同一个东西管理了3次，3次命名都不相同。新系统，同一个指代物，3个地市只在数据库中管理一次。所以涉及垃圾数据的删除、合并，然后重新填补。
83.还应说明的是，见图3，迁移常规对象包括：序列、表和视图，都可以通过达梦提供的数据迁移工具从oracle完整的迁移到达梦数据库。迁移其它类型数据包括：对自定义类
型、存储过程、函数、触发器进行移植，可以使用达梦dts工具进行迁移。
84.s4：迁移后进行数据校验及测试后完成数据库的服务交割。
85.更进一步的，数据校验及测试包括通过数据完整性校验工具对迁移后数据库的完整性、一致性、数据条目数、特殊数据字典数目、各数据值正确性进行校验；对系统进行带数据的一致性测试、执行功能检查、性能测试、数据备份和恢复测试。
86.以上述均可操作判断达梦数据库在新系统内能否正式启用。
87.应说明的是，见表1数据映射关系核查样例，可以知道通过数据映射工具，对迁移后的数据完整性及一致性核查起关键性作用。体现在能够快速拉取旧系统数据形成中间数据库，与新系统同一界面，通过勾选的方式，能够快速高效指导完成大型新旧系统数据完整性、一致性、准确性的核查工作。
88.应说明的是，还通过数据映射模型的建立，将此模型通过系统化方式进行固化和锻炼，形成数据校验工具，包括完整性校验、准确性校验工具，通过后端定义好的校验规则，统一输出差异性记录结果及处理工具。该工具可通过增量补齐的方式，对勾选的差异数据进行一键补齐操作。
89.表1数据映射关系核查样例
[0090][0091]
新旧系统替换的数据迁移与以往人工跑脚本的方式大大不同，它更加强调过程完整性和连贯性，通过字段映射和数据补齐策略，对已经定义的数据迁移结果进行核查和处理。
[0092]
实施例2
[0093]
参照图1、7-8，为本发明的一个实施例，提供了一种基于电力系统的oracle数据库与达梦数据库数据迁移方法，为了验证其有益效果，通过对比现有的方法进行说明，具体请见表2。
[0094]
表2本方法和传统方法的各方面对比表
[0095][0096]
由上述可知，我方发明在执行方式、时间、关系核对方面具有极大的优势。通过对大型业务系统oracle数据库与达梦数据库之间数据迁移工作方法和系统的管理，提高迁移工作效率和质量，使得数据迁移工作事半功倍；通过对迁移后的数据进行自动核查，包括完整性、一致性、准确性、稳定性，减少了人工操作时间以及人工可能引起的误判及疏漏，既解放了人工劳动力，又提升了系统资源数据管理水平；通过减少数据迁移过程中的数据丢失情况，大大提升电网通信资源数据管理水平，有利于后续的智能化运维和发展，为后续的数字化电网及智慧运维的业务落地提供了数据保障。
[0097]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。