一种单向数据传输方法、系统、电子设备及介质与流程

1.本发明涉及数据传输技术领域，尤其涉及一种单向数据传输方法、系统、电子设备及介质。


背景技术：

2.随着信息化的迅速发展，在网络应用环境中对网络安全要求较高的场所一般都会设置内网和外网来隔离网络环境。为了保证内网的安全，往往都会采用物理隔离方式。完全的物理隔离环境就意味着两个网络不具备网络通信的条件，形成内外网数据孤岛，无法充分发挥其数据价值。为了避免内网外数据孤岛的问题和实现内外网的单向数据传输，通常的做法是在两网边界设置一个安全网关设备，屏蔽所有非必要传输协议，仅以ftp形式将外网指定路径的文件拷贝至内网指定路径。内网系统监测该目录，读取最新的数据文件，以特定的程序逻辑实现数据导入。但是，在双网双平台(特指部署在不同网络环境的无差异系统)架构环境中，实施外网数据导入内网平台时，往往会因为信息不透明，造成数据合并冲突。此外，某一数据的冲突也会导致与之关联的数据不可使用，强行导入不仅会造成数据错乱，还会使得系统产生不可预知的错误。


技术实现要素：

3.本发明提供一种单向数据传输方法、系统、电子设备及介质，以解决由双网双平台单向数据的传输方式不合理所导致的系统数据错乱问题。
4.本发明提供的单向数据传输方法，包括：
5.在第一网络中，获取第一网络数据库的增量数据；
6.将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出；
7.在第二网络中读取所述目标数据，并将所述目标数据导入至临时库；
8.对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新；
9.将更新后的目标数据，作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入。
10.于本发明的一实施例中，所述对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新包括；
11.获取所述目标数据的主键，若所述第二网络数据库存在所述目标数据的主键，则获取所述目标数据的关键信息；
12.若所述第二网络数据库的关键信息与所述目标数据的关键信息不一致，则对所述目标数据的主键进行更新。
13.于本发明的一实施例中，所述对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新还包括；
14.获取所述目标数据的主键，若所述第二网络数据库不存在所述目标数据的主键，则获取所述目标数据的关键信息；
15.若所述第二网络数据库的关键信息与所述目标数据的关键信息一致，则对所述目标数据的主键进行更新。
16.于本发明的一实施例中，所述单向数据传输方法还包括：
17.分别获取更新前的主键和更新后的主键，并记录所述第一网络数据库和所述第二网络数据库的主键映射关系；
18.根据所述主键映射关系对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新。
19.于本发明的一实施例中，所述单向传输方法还包括：
20.设置第一定时任务，当所述第一定时任务启动时，在第一网络中，获取所述第一网络数据库的增量数据；
21.将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出；
22.根据所述第一定时任务设置第二定时任务，当所述第二定时任务启动时，在第二网络中读取所述目标数据，并将所述目标数据导入至临时库。
23.于本发明的一实施例中，所述将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出包括：
24.在第一网络中，获取第一网络数据库的增量数据的数据文件和关联文件，将所述数据文件和关联文件存储至预定存储位置；
25.将所述数据文件和所述关联文件打成压缩包，通过文件传输协议上传，完成目标数据导出。
26.于本发明的一实施例中，所述将更新后的目标数据，作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入之后，还包括：
27.获取所述正式库的增量数据的关联文件，并将其存储至目标位置。
28.本发明还提供了一种单向数据传输系统，包括：
29.增量数据获取模块，用于在第一网络中，获取第一网络数据库的增量数据；
30.数据导出模块，用于将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出；
31.数据读取模块，用于在第二网络中读取所述目标数据，并将所述目标数据导入至临时库；
32.数据核查模块，用于对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新；
33.数据导入模块，用于将更新后的目标数据，作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入。
34.本发明还提供一种电子设备，包括：处理器及存储器；
35.所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述单向数据传输方法。
36.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程
序被处理器执行时实现如上述所述单向数据传输方法。
37.如上所述，本发明提供了一种单向数据传输方法、系统、电子设备及介质，具有以下有益效果：通过将第一网络的增量数据，导入在第二网络的临时库中进行数据核查，并根据核查结果进行数据更新，然后再将更新后的数据作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入；从而避免了第一网络和第二网络数据冲突的问题，进而实现了将第一网络数据库的数据合理地导入第二网络数据库。还通过采用定时周期的增量数据传输，数据传输量非常小，能够快速高效地将外网数据合并到内网系统中，帮助系统用户在更短的时间获得更完善的数据信息。本发明还通过对数据关联的外部数据文件进行了一致性的同步，避免了数据关联文件的缺失，不仅实现了实现全网同平台的单向一致性数据汇聚，还为后续的数据分析和数据决策提供了更高价值的数据源。
附图说明
38.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
39.图1是本发明实施例中单向数据传输方法的流程示意图。
40.图2是本发明实施例中数据更新方法的一流程示意图。
41.图3是本发明实施例中数据更新方法的另一流程示意图。
42.图4是本发明实施例中单向数据传输系统的结构示意图。
43.图5是本发明实施例中电子设备的结构示意图。
具体实施方式
44.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
45.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
46.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
47.图1是本发明在一实施例中提供的单向数据传输方法的流程示意图。
48.如图1所示，上述单向数据传输方法，包括步骤s110-s150：
49.s110，在第一网络中，获取第一网络数据库的增量数据；
50.s120，将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出；
51.s130，在第二网络中读取所述目标数据，并将所述目标数据导入至临时库；
52.s140，对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新；
53.s150，将更新后的目标数据，作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入。
54.在一实施例中，第一网络用于数据导出，第二网络用于数据导入；当第一网络为外网时，第二网络可以是内网。在获取第一网络数据库的增量数据之前，还可以设置第一定时任务，具体地，第一定时任务为定时周期任务，周期的时间根据实际需要进行设定，当所述第一定时任务启动时，在第一网络中，获取所述第一网络数据库的增量数据；将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出。通过设置第一定时任务，然后根据第一定时任务进行增量数据传输，从而使得传输数据量小，能够高效的将第一网络数据库的数据合并到第二网络系统中，进而使得系统用户可以在更短的时间获得更完善的数据信息。
55.在一实施例中，基于自编码程序实现内外网单向数据传输时，导出增量数据后，需记录本次数据导出各表数据的最新id值或时间字段值，作为下次增量数据导出任务的起点标志位；基于etl+脚本(shell,python)实现内外网单向数据传输时，导出增量数据后，系统会自动记录本次数据导出各表数据的最新id值或时间字段值，作为下次增量数据导出任务的起点标志位。
56.在一实施例中，将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出包括的具体实现方法包括：在第一网络中，获取第一网络数据库的增量数据的数据文件和关联文件，将所述数据文件和关联文件存储至预定存储位置；将所述数据文件和所述关联文件打成压缩包，通过文件传输协议上传，完成目标数据导出。具体地，获取第一网络数据库的增量数据后，导出第一网络数据库的增量数据，并逐行解析增量数据及外部关联字段，获取文件存储地址，识别文件传输协议，启动相应文件传输协议的下载任务，文件下载完成后，将文件存储预定存储位置。其中，数据文件为增量数据所对应的文件，关联文件为外部关联字段所对应的文件。因此，本方案通过文件存储地址识别多种文件传输协议，从而实现了并发拉取文件。
57.在一实施例中，导出第一网络数据库的增量数据时，会逐条检查增量数据关联的外部文件，并下载到指定文件目录，该目录与文件访问地址的目录结构一致，如：图片地址为http://file-service:port/images/user/admin/1.png，则临时存储的目录为：.../数据存储的临时目录/images/user/admin。传输前应将该文件存储目录，与数据文件，合并打包。通过将存储目录结构与访问地址结构保持一致，在第二网络导入阶段，将该目录整体上传至文件服务器，使得已导入正式库的数据能够正确地访问到该文件，从而确保了增量数据和关联文件的整体一致性。
58.在一实施例中，在第一网络和第二网络的安全边界两侧各设置一台ftp服务器(第一ftp服务器和第二ftp服务器)，两台ftp服务器通过安全边界程序实现目录映射，实时检测第一网络的ftp新文件并单向传输至第二网络的ftp映射目录。其中，预定存储位置为具备文件传输协议和第一ftp服务器的可识别目录。通过文件传输协议将数据文件和关联文件上传至第二网络的ftp映射目录，可以使用ftp文件摆渡传输将数据文件和关联文件上传至第二网络的ftp映射目录，目标存储位置为第二网络的ftp映射目录。
59.在一实施例中，为了避免数据文件和关联文件分开传输所造成的数据和文件不一致的事务问题，可以将数据文件和关联文件打成压缩包，然后再通过文件传输协议上传，完成目标数据导出。若是以压缩包的方式上传数据文件和关联文件，再将数据文件和关联文件导入临时库之前，还要对其进行解压处理。通过将数据文件和关联文件打成压缩包再上传的方式保证了上传前后数据的一致性，从一定程度上避免了后续将此数据导入第二网络数据库所导致的数据冲突问题。
60.在本实施例的步骤s130中，在第二网络中读取所述目标数据之前，还可以设置第二定时任务，当第二定时任务启动时，在第二网络中读取所述目标数据，并将所述目标数据导入至临时库。根据第一定时任务设置第二定时任务，第一定时任务的启动时间在第二定时任务之后，且第二定时任务也为周期任务，第一定时任务和第二定时任务的周期相同。若采用压缩包的方式上传文件，当第二定时任务启动时，定时循环从第二网络的ftp映射目录拉取最新的数据压缩包文件，解压压缩包，识别数据目录，读取数据文件，先行导入至临时库。通过设置第二定时任务然后根据第二定时任务进行增量数据传输，从而使得传输数据量小，能够高效的将临时库的数据合并到第二网络系统中。
61.在本实施例的步骤s140中，对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新的具体实现方法请参见图2，图2是本发明在一实施例中数据更新方法的一流程示意图。
62.如图2所示，数据更新方法可以包括以下步骤s210-s220：
63.s210，获取所述目标数据的主键，若所述第二网络数据库存在所述目标数据的主键，则获取所述目标数据的关键信息；
64.s220，若所述第二网络数据库的关键信息与所述目标数据的关键信息不一致，则对所述目标数据的主键进行更新。
65.在一实施例中，第二网络数据库存在所述目标数据的主键，且所述第二网络数据库的关键信息与所述目标数据的关键信息不一致时，表示第一网络和第二网络的数据主键冲突，则需要对目标数据的主键进行更新，将目标数据的主键更新为与第一网络数据库的主键一致。对主键更新后若增量数据的某些字段与其他数据表存在关联关系，则需要使用该字段之从关联表中获取映射关系的新主键值，实施字段值更新。第二网络数据库存在所述目标数据的主键，且所述第二网络数据库的关键信息与所述目标数据的关键信息一致时，表示该增量数据已存在，则对其他非关键信息执行更新操作。
66.在一实施例中，对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新的具体实现方法请参见图3，图3是本发明在一实施例中数据更新方法的另一流程示意图。
67.如图3所示，数据更新方法可以包括以下步骤s310-s320：
68.s310，获取所述目标数据的主键，若所述第二网络数据库不存在所述目标数据的主键，则获取所述目标数据的关键信息；
69.s320，若所述第二网络数据库的关键信息与所述目标数据的关键信息一致，则对所述目标数据的主键进行更新。
70.在一实施例中，第二网络数据库不存在目标数据的主键，且第二网络数据库的关键信息与目标数据的关键信息一致时，则需要对目标数据的主键进行更新，将目标数据的
主键更新为与第一网络数据库的主键一致。对主键更新后若增量数据的某些字段与其他数据表存在关联关系，则需要使用该字段之从关联表中获取映射关系的新主键值，实施字段值更新。第二网络数据库不存在目标数据的主键，且第二网络数据库的关键信息与目标数据的关键信息不一致时，则需要插入一条新数据记录，并使用数据内联或者独立映射表的方式。通过将第一网络的增量数据，导入在第二网络的临时库中进行数据核查，并根据核查结果进行数据更新，然后再将更新后的数据作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入；从而避免了第一网络和第二网络数据冲突的问题，进而实现了将第一网络数据库的数据合理地导入第二网络数据库。
71.在本实施例的步骤s150中，将更新后的目标数据，作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入，可以对临时库进行清空。完成目标数据导入后，分别获取更新前的主键和更新后的主键，并记录所述第一网络数据库和所述第二网络数据库的主键映射关系；根据所述主键映射关系对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新。根据主键映射关系对增量数据进行核查和更新，提高了数据处理效率。完成目标数据导入后，还需要对增量数据的关联数据进行更新，对增量数据的关联数据进行更新的实现方法包括：扫描数据关联的数据文件目录，根据目录的固定名称分类，创建相应传输协议的上传任务，上传文件至第二网络的ftp映射目录。通过对数据关联的外部数据文件进行了一致性的同步，避免了数据关联缺失。
72.下面以一个具体的实施例进行说明：
73.实施例1
74.本实施例采用自编码程序的实现方式，第一网络服务器，部署平台系统一。编写一个软件程序一，启动一个定时周期任务(第一定时任务)，连接第一网络数据库。定时循环从第一网络数据库指定的数据表中抽取距离上次导出期间的增量数据,逐行解析数据及外部关联字段，获取文件存储地址，识别文件传输协议。启动相应文件传输协议的下载任务，文件存储至具备文件传输协议和目标文件服务器的可识别目录。记录本次数据导出各表数据的最新id值或时间字段值，作为下次数据导出任务的起点标志位。将数据文件和下载的关联外部文件，压缩到同一压缩包，避免分开传输造成的数据和文件不一致的事务问题。最后将压缩包上传至第一网络ftp服务器，完成数据导出步骤。
75.在第一网络和第二网络的安全边界两侧分别设置一台ftp服务器，两台ftp服务器通过安全边界程序实现目录映射，实时检测第一网络ftp新文件并单向同步至第二网络ftp映射目录。
76.第二网络服务器，部署平台系统二。编写一个软件程序二，启动一个定时周期任务(第二定时任务)，连接第二网络数据库。定时循环从第一网络ftp指定目录拉取最新的数据压缩包文件，解压压缩包，识别数据目录，读取数据文件，先行导入至临时库。通过数据冲突消除策略，解决数据冲突，并更新其关联数据。数据整理完成后，批量导入至正式库。最后识别文件目录，启动相应文件传输协议进行文件上传恢复。完成数据跨网单向合并。
77.本实施例提供了一种单向数据传输方法，该方法通过将第一网络的增量数据，导入在第二网络的临时库中进行数据核查，并根据核查结果进行数据更新，然后再将更新后的数据作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入；从而避免了第一网络和第二网络数据冲突的问题，进而实现了将第一网络数据库的数据合理地导入第
二网络数据库。还通过采用定时周期的增量数据传输，数据传输量非常小，能够快速高效地将外网数据合并到内网系统中，帮助系统用户在更短的时间获得更完善的数据信息。本实施例还通过对数据关联的外部数据文件进行了一致性的同步，避免了数据关联文件的缺失，不仅实现了实现全网同平台的单向一致性数据汇聚，还为后续的数据分析和数据决策提供了更高价值的数据源。
78.基于与单向数据传输方法相同的发明构思，相应的，本实施例还提供了一种单向数据传输系统。在本实施例中，该单向数据传输系统执行上述任一实施例所述的单向数据传输方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
79.图4为本发明提供的单向数据传输系统的结构示意图。
80.如图4所示，所示单向数据传输系统包括：41增量数据获取模块、42数据导出模块、43数据读取模块、44数据核查以及45数据导入模块。
81.其中，增量数据获取模块，用于在第一网络中，获取第一网络数据库的增量数据；
82.数据导出模块，用于将所述增量数据存储至预定存储位置，并通过文件传输协议上传，完成目标数据导出；
83.数据读取模块，用于在第二网络中读取所述目标数据，并将所述目标数据导入至临时库；
84.数据核查模块，用于对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新；
85.数据导入模块，用于将更新后的目标数据，作为第二网络数据库的增量数据合并至正式库中，完成目标数据导入。
86.在一些示例性实施例中，数据核查模块包括：
87.关键信息获取第一单元，用于获取所述目标数据的主键，若所述第二网络数据库存在所述目标数据的主键，则获取所述目标数据的关键信息；
88.数据更新第一单元，用于若所述第二网络数据库的关键信息与所述目标数据的关键信息不一致，则对所述目标数据的主键进行更新；
89.关键信息获取第二单元，用于获取所述目标数据的主键，若所述第二网络数据库不存在所述目标数据的主键，则获取所述目标数据的关键信息；
90.数据更新第二单元，用于若所述第二网络数据库的关键信息与所述目标数据的关键信息一致，则对所述目标数据的主键进行更新。
91.在一些示例性实施例中，上述单项数据传输系统包括：
92.映射关系记录模块，用于分别获取更新前的主键和更新后的主键，并记录所述第一网络数据库和所述第二网络数据库的主键映射关系；
93.数据更新模块，用于根据所述主键映射关系对所述临时库中的所述目标数据进行数据核查，并根据核查结果对目标数据进行更新。
94.在一些示例性实施例中，上述单项数据传输系统还包括：
95.第一定时任务模块，用于设置第一定时任务，当所述第一定时任务启动时，在第一网络中，获取所述第一网络数据库的增量数据；
96.第二定时任务模块。用于根据所述第一定时任务设置第二定时任务，当所述第二定时任务启动时，在第二网络中读取所述目标数据，并将所述目标数据导入至临时库；
97.关联文件存储模块，用于获取所述正式库的增量数据的关联文件，并将其存储至目标位置。
98.在一些示例性实施例中，上述数据导出模块包括：
99.文件获取单元，用于在第一网络中，获取第一网络数据库的增量数据的数据文件和关联文件，将所述数据文件和关联文件存储至预定存储位置；
100.数据导出单元，用于将所述数据文件和所述关联文件打成压缩包，通过文件传输协议上传，完成目标数据导出。
101.在一个实施例中，请参见图5，本实施例还提供了一种电子设备500，包括存储器501、处理器502及存储在存储器上并可在处理器上运行的计算机程序，所述处理器502执行所述计算机程序时实现如上任一项实施例所述方法的步骤。
102.本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
103.本实施例提供的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。
104.在本实施例中，存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
105.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
106.在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、“在一些示例性实施例”或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。
107.在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态ram(dram))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
108.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
109.本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶
盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
110.本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
111.上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。