一种风电场跨数据库的数据迁移方法及系统与流程

1.本发明涉及数据迁移技术领域，具体涉及一种风电场跨数据库的数据迁移方法及系统。


背景技术：

2.近年来风力发电得到了快速的发展，以风电为主的新能源发电日益壮大，风力发电已成为主要的新能源发电方式之一。随着风力发电规模的逐渐增加，风电场监控系统也随之更新换代，而风电场监控系统有其固有的复杂性，更新换代并非易事，数据是企业最高的价值物，所以产品更新换代势必会产生对数据迁移的需求。尤其是异构系统的升级，数据迁移就成了企业的一块心病，因此，亟需一种针对异构系统的数据迁移方法。


技术实现要素：

3.针对现有技术存在的不足，本发明提出一种风电场跨数据库的数据迁移方法及系统，以能够解决异构系统之间的数据迁移。
4.第一方面，本发明实施例提供了一种风电场跨数据库的数据迁移方法。
5.在第一种可实现方式中，一种风电场跨数据库的数据迁移方法，包括：根据源系统中的待迁移数据获取对象信息和数据信息；根据源系统中的对象信息生成目标系统中的对象定义；根据对象定义生成迁移脚本文件；根据迁移脚本文件进行数据信息迁移；对目标系统中迁移后的数据进行测试验证，获取迁移报告。
6.结合第一种可实现方式，在第二种可实现方式中，根据源系统中的待迁移数据获取对象信息和数据信息，包括：根据配置数据源信息将待迁移数据分为对象信息和数据信息。
7.结合第一种可实现方式，在第三种可实现方式中，根据源系统中的对象信息生成目标系统中的对象定义，包括：根据源系统中的对象信息判断对象类型；根据对象类型获取迁移规则；根据迁移规则在目标系统中生成对象定义。
8.结合第三种可实现方式，在第四种可实现方式中，根据对象定义生成迁移脚本文件，包括：根据对象定义对迁移规则进行解析，获取模板配置；根据模板配置和预设的插件生成迁移脚本文件。
9.结合第一种可实现方式，在第五种可实现方式中，根据迁移脚本文件进行数据信息迁移，包括：读取源系统中的数据信息；根据数据信息获取配置信息；根据配置信息和迁移脚本文件进行数据信息迁移。
10.结合第一种可实现方式，在第六种可实现方式中，对目标系统中迁移后的数据进行测试验证，获取迁移报告，包括：对源系统中的待迁移数据与目标系统中迁移后的数据进行对比，获得对比结果；根据对比结果生成迁移报告。
11.结合第六种可实现方式，在第七种可实现方式中，对源系统中的待迁移数据与目标系统中迁移后的数据进行对比，包括：将待迁移数据与迁移后的数据进行数据库表名对
比；在数据库表名对比不一致的情况下，生成第一对比结果；在数据库表名对比一致的情况下，进行数据库内容对比。
12.结合第七种可实现方式，在第八种可实现方式中，进行数据库内容对比包括：按照预设的校验方式对待迁移数据的数据库内容与迁移后的数据的数据库内容进行校验；在校验失败的情况下，生成第二对比结果；在校验成功的情况下，进行数据库内容逐行对比。
13.结合第八种可实现方式，在第九种可实现方式中，进行数据库内容逐行对比包括：创建查询条件；根据查询条件对待迁移数据的数据库内容与迁移后的数据的数据库内容进行循环查询；根据查询结果生成第三对比结果。
14.第二方面，本发明实施例提供了一种风电场跨数据库的数据迁移系统。
15.在第十种可实现方式中，一种风电场跨数据库的数据迁移系统，包括：迁移分层模块，用于将迁移过程分为对象层和数据层；对象层，用于根据源系统中的对象信息生成目标系统中的对象定义；数据层，用于根据对象定义生成迁移脚本文件；根据迁移脚本文件进行数据信息迁移。
16.由上述技术方案可知，本发明的有益技术效果如下：根据源系统中的待迁移数据获取对象信息和数据信息，然后根据源系统中的对象信息生成目标系统中的对象定义，进而生成迁移脚本文件，实现在数据迁移之前进行数据源管理，全局管控数据迁移任务，然后根据迁移脚本文件实现异构系统之间的数据迁移。并且对迁移到目标系统后的数据进行测试验证，提供迁移报告，保证了迁移前后数据完整性、一致性，提高了数据迁移的可靠性。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
18.图1为本发明实施例提供的一种风电场跨数据库的数据迁移方法的示意图；
19.图2为本发明实施例提供的一种风电场跨数据库的数据迁移系统的结构示意图。
20.附图标记：
21.1-迁移分层模块，2-对象层，3-数据层，4-源系统，5-目标系统。
具体实施方式
22.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
23.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
24.结合图1所示，本实施例提供了一种风电场跨数据库的数据迁移方法，包括：
25.步骤s01、根据源系统中的待迁移数据获取对象信息和数据信息；
26.步骤s02、根据源系统中的对象信息生成目标系统中的对象定义；
27.步骤s03、根据对象定义生成迁移脚本文件；
28.步骤s04、根据迁移脚本文件进行数据信息迁移；
29.步骤s05、对目标系统中迁移后的数据进行测试验证，获取迁移报告。
30.通过源系统中的待迁移数据获取对象信息和数据信息，然后根据源系统中的对象信息生成目标系统中的对象定义，进而生成迁移脚本文件，实现在数据迁移之前进行数据源管理，全局管控数据迁移任务，然后根据迁移脚本文件实现异构系统之间的数据迁移。并且对迁移到目标系统后的数据进行测试验证，提供迁移报告，保证了迁移前后数据完整性、一致性，提高了数据迁移的可靠性。
31.可选地，根据源系统中的待迁移数据获取对象信息和数据信息，包括：根据源系统中的配置数据源信息将待迁移数据分为对象信息和数据信息。
32.在一些实施例中，配置数据源信息包括数据库类型、数据库驱动、数据库用户名、数据库密码、数据库表名和数量。待迁移数据包括风机数据和测点数据。风机数据包括风机的工作模式数据、故障数据、告警数据、消息数据、报表数据、功率曲线数据、秒级数据和十分钟数据。测点数据包括测点的工作模式数据、故障数据、告警数据、消息数据、报表数据、功率曲线数据、秒级数据和十分钟数据。对象信息包括风机和测点。数据信息包括工作模式数据、故障数据、告警数据、消息数据、报表数据、功率曲线数据、秒级数据和十分钟数据。
33.可选地，根据源系统中的对象信息生成目标系统中的对象定义，包括：根据源系统中的对象信息判断对象类型；根据对象类型获取迁移规则；根据迁移规则在目标系统中生成对象定义。
34.可选地，对象类型与迁移规则一一对应。
35.可选地，迁移规则包括：风机编号映射关系和测点编号映射关系。
36.在一些实施例中，源系统中待迁移数据包括风机数据和测点数据。源系统中风机数据的编号与目标系统中风机数据的编号一一对应；源系统中测点数据的编号与目标系统中测点数据的编号一一对应。
37.可选地，根据迁移规则在目标系统中生成对象定义，包括：根据风机编号映射关系和测点编号映射关系在目标系统中生成风机编号和测点编号。
38.可选地，根据迁移规则将源系统中的数据信息转换为与目标系统的数据配置相匹配的数据。
39.在一些实施例中，根据风机编号映射关系和测点编号映射关系对数据信息进行数据转换，将源系统中的数据信息转换为与目标系统的数据配置相匹配的数据。然后根据风机编号映射关系和测点编号映射关系在目标系统中生成风机编号和测点编号。
40.可选地，根据对象定义生成迁移脚本文件，包括：根据对象定义对迁移规则进行解析，选出预设的模板配置；根据模板配置和预设的插件生成迁移脚本文件。
41.可选地，根据对象定义对迁移规则进行解析，获取模板配置，包括：在获取对象定义之后，对风机编号映射关系和测点编号映射关系进行excel解析，并调用模板引擎生成模板配置。
42.可选地，根据模板配置和预设的插件生成迁移脚本文件，包括：通过reader(读)插件、writer(写)插件、datax工具执行json组件、shell脚本生成组件将模板配置生成对应的迁移脚本文件。
43.在一些实施例中，datax工具为数据同步框架，datax工具将不同数据源同步抽象为从源头数据源读取数据的reader插件，以及向目标端写入数据的writer插件，datax工具
支持任意数据源类型的数据同步工作。json为一种轻量级的数据交换格式。shell脚本为将各类命令预先放入到一个文件中方便一次性执行的程序文件。shell脚本用于记录命令执行的过程和执行逻辑，以便以后重复执行，还可以批量、定时处理主机，方便管理员进行设置或者管理。
44.可选地，根据迁移脚本文件进行数据信息迁移，包括：读取源系统中的数据信息；根据数据信息获取配置信息；根据配置信息和迁移脚本文件进行数据信息迁移。
45.可选地，配置信息包括数据连接配置和数据迁移配置。
46.在一些实施例中，获取数据连接配置和数据迁移配置，通过数据连接配置连接源系统和目标系统，利用迁移脚本文件和数据迁移配置将数据信息迁移至目标系统中，并将数据信息存储在目标系统中的对象定义中。
47.可选地，对目标系统中迁移后的数据进行测试验证，获取迁移报告，包括：对源系统中的待迁移数据与目标系统中迁移后的数据进行对比，获得对比结果；根据对比结果生成迁移报告。
48.可选地，对源系统中的待迁移数据与目标系统中迁移后的数据进行对比，包括：将待迁移数据与迁移后的数据进行数据库表名对比；在数据库表名对比不一致的情况下，生成第一对比结果；在数据库表名对比一致的情况下，进行数据库内容对比。
49.可选地，进行数据库内容对比包括：按照预设的校验方式对待迁移数据的数据库内容与迁移后的数据中的数据库内容进行校验；在校验失败的情况下，生成第二对比结果；在校验成功的情况下，进行数据库内容逐行对比。
50.可选地，校验方式包括数字字段校验、数据行数校验和md5校验中的一种或多种。
51.可选地，进行数据库内容逐行对比包括：创建查询条件；根据查询条件对待迁移数据的数据库内容与迁移后的数据中的数据库内容进行循环查询；根据查询结果生成第三对比结果。
52.可选地，对目标系统中迁移后的数据进行测试验证，包括：待迁移数据与迁移后的数据的数据库表名对比、数据库内容对比和数据库内容逐行对比中的一种或多种。
53.可选地，按照测试验证等级从低到高的顺序分别为：数据库表名对比、数据库内容对比和数据库内容逐行对比。
54.在一些实施例中，在进行数据信息迁移之后，将待迁移数据与迁移后的数据进行数据库表名对比；在数据库表名对比不一致的情况下，将数据库表名不一致作为第一对比结果；在数据库表名对比一致的情况下，通过数字字段校验的方式对待迁移数据的数据库内容与迁移后的数据中的数据库内容进行校验；在校验失败的情况下，将数据库内容不一致作为第二对比结果；在校验成功的情况下，创建查询条件；根据查询条件对待迁移数据的数据库内容与迁移后的数据中的数据库内容进行循环查询，查找出所有的数据差异，并将查找出来的数据差异作为第三对比结果。将第一对比结果、第二对比结果和第三对比结果导入对比报告中，形成迁移报告。
55.可选地，结合图2所示，本实施例提供了一种风电场跨数据库的数据迁移系统，包括：迁移分层模块1、对象层2和数据层3。迁移分层模块，用于将迁移过程分为对象层和数据层；对象层，用于根据源系统4中的对象信息生成目标系统5中的对象定义；数据层，用于根据对象定义生成迁移脚本文件；根据迁移脚本文件进行数据信息迁移。
56.可选地，迁移分层模块根据数据库结构、表结构和字段含义将迁移过程分为对象层和数据层。
57.在一些实施例中，在将源系统中的待迁移数据迁移至目标系统之前，按照数据源的数据库结构、表结构和字段含义对迁移过程进行分层，获得对象层和数据层。对象层用于迁移对象信息，数据层用于迁移数据信息。
58.在一些实施例中，在scada4.0系统升级为scada5.0系统时，需要将scada4.0系统已经产生的运行数据转换为scada5.0系统的运行数据，并迁移到scada5.0系统中，同时也需要将scada4.0系统存储的数据迁移到scada5.0系统中，即scada4.0系统的待迁移数据为scada4.0系统的运行数据和存储数据。将scada4.0系统中的待迁移数据迁移至scada5.0系统之前，按照数据源的数据库结构、表结构和字段含义对迁移过程进行分层，获得对象层和数据层。根据scada4.0系统中的配置数据源信息将待迁移数据分成对象信息和数据信息，在对象层中，根据scada4.0系统中的对象信息生成scada5.0系统中的对象定义。在数据层中，根据对象定义生成迁移脚本文件；根据迁移脚本文件进行数据信息迁移。最后对目标系统中迁移后的数据进行测试验证，获取迁移报告。
59.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。