一种基于边界网络数据同步至公安内网的方法、存储介质与流程

1.本技术涉及信息处理技术领域，特别地，涉及一种基于边界网络数据同步至公安内网的方法、存储介质。


背景技术：

2.目前在社会面(包括政府部门、社会单位等)存在着大量的数据资源，基于城市治安，交通管理的需要，对这些分散且复杂的特定数据资源需要同步到公安内网，为社会治安，交通管理提供全方位的支撑。如图1所示，其中一些政府部门或社会单位为了保障数据安全都搭建有专网，对外提供数据服务大多数都是通过自建边界(单向通道)同步至公安内网，公安内网无法直接连接各政府部门或社会单位专网边界，数据抽取同步大部分都是通过数据同步etl工具从各政府部门或社会单位通过公安网络边界同步至公安网，由于需求的不确定性，数据抽取需要不断更新，每次数据抽取范围发生新的变更都需要到奔赴到各政府部门或社会单位专网现场机房调试，耗费了大量人力物力，效率低、及时性差。


技术实现要素：

3.针对上述技术问题，本技术提供了一种基于边界网络数据同步至公安内网的方法、存储介质。
4.本技术采用的技术方案如下：
5.一种基于边界网络数据同步至公安内网的方法，应用于公安内网，包括步骤：
6.s1、根据获取的数据同步资源台账信息配置需要从专网抽取的数据源相关信息；
7.s2、将配置好的需要从专网抽取的数据源相关信息及脚本存储到数据库中形成数据抽取任务，并将所述数据抽取任务设置为“待执行”状态；
8.s3、接收专网边界中的数据抽取平台从专网中抽取的与所述数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网，其中，当专网边界定时扫描公安内网的数据库中存在“待执行”状态的数据抽取任务时，所述专网边界自动调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据。
9.进一步地，步骤s1中，配置需要从专网抽取的数据源相关信息主要包括：模板配置，客户端配置、数据源配置、任务相关信息配置，
10.所述模板配置包括配置模板类型、模板名称、模板内容，包含不同类型数据库或同类型数据库数据抽取通用配置；
11.所述客户端配置主要包括配置客户端代码、客户端名称、是否启用使用标识；
12.所述数据源配置包括配置数据源名称、数据库连接串地址、用户名、注销标识、数据库类型；
13.所述任务相关信息配置主要内容包括配置源数据库、源数据库表名、目标数据库、目标表名、增量字段、绑定的数据抽取模板，最终以json方式形成通用脚本存入数据库中。
14.进一步地，所述数据抽取平台使用dolphinscheduler配置datax抽取从专网到公安内网数据同步，对外提供数据同步api接口。
15.本技术另一方面还提供了一种基于边界网络数据同步至公安内网的方法，应用于专网边界，包括步骤：
16.s1、定时扫描公安内网的数据库中存储的数据抽取任务，其中，所述数据抽取任务由公安内网中根据获取的获取数据同步资源台账信息配置好的需要从专网抽取的数据源相关信息及脚本存储到数据库中形成，并将所述数据抽取任务设置为“待执行”状态；
17.s2、查看每条数据抽取任务记录的当前状态；
18.s3、当数据抽取任务记录的当前状态为“待执行”状态时，调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网。
19.进一步地，步骤s1中，配置需要从专网抽取的数据源相关信息主要包括：模板配置，客户端配置、数据源配置、任务相关信息配置，
20.所述模板配置包括配置模板类型、模板名称、模板内容，包含不同类型数据库或同类型数据库数据抽取通用配置；
21.所述客户端配置主要包括配置客户端代码、客户端名称、是否启用使用标识；
22.所述数据源配置包括配置数据源名称、数据库连接串地址、用户名、注销标识、数据库类型；
23.所述任务相关信息配置主要内容包括配置源数据库、源数据库表名、目标数据库、目标表名、增量字段、绑定的数据抽取模板，最终以json方式形成通用脚本存入数据库中。
24.进一步地，所述数据抽取平台使用dolphinscheduler配置datax抽取从专网到公安内网数据同步，对外提供数据同步api接口。
25.本技术另一方面还提供了一种基于边界网络数据同步至公安内网的方法，包括步骤：
26.s1、公安内网根据获取的数据同步资源台账信息配置需要从专网抽取的数据源相关信息；
27.s2、将配置好的需要从专网抽取的数据源相关信息及脚本存储到公安内网数据库中形成数据抽取任务，并将所述数据抽取任务设置为“待执行”状态；
28.s3、专网边界定时扫描公安内网的数据库中存储的数据抽取任务；
29.s4、查看每条数据抽取任务记录的当前状态；
30.s3、当数据抽取任务记录的当前状态为“待执行”状态时，专网边界调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网。
31.进一步地，步骤s1中，配置需要从专网抽取的数据源相关信息主要包括：模板配置，客户端配置、数据源配置、任务相关信息配置，
32.所述模板配置包括配置模板类型、模板名称、模板内容，包含不同类型数据库或同类型数据库数据抽取通用配置；
33.所述客户端配置主要包括配置客户端代码、客户端名称、是否启用使用标识；
34.所述数据源配置包括配置数据源名称、数据库连接串地址、用户名、注销标识、数据库类型；
35.所述任务相关信息配置主要内容包括配置源数据库、源数据库表名、目标数据库、目标表名、增量字段、绑定的数据抽取模板，最终以json方式形成通用脚本存入数据库中。
36.进一步地，所述数据抽取平台使用dolphinscheduler配置datax抽取从专网到公安内网数据同步，对外提供数据同步api接口。
37.本技术另一方面还提供了一种存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在的设备执行所述基于边界网络数据同步至公安内网的方法的步骤。
38.相比现有技术，本技术具有以下有益效果：
39.本技术提供了一种基于边界网络数据同步至公安内网的方法，应用于公安内网，包括步骤：s1、根据获取的数据同步资源台账信息配置需要从专网抽取的数据源相关信息；s2、将配置好的需要从专网抽取的数据源相关信息及脚本存储到数据库中形成数据抽取任务，并将所述数据抽取任务设置为“待执行”状态；s3、接收专网边界中的数据抽取平台从专网中抽取的与所述数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网，其中，当专网边界定时扫描公安内网的数据库中存在“待执行”状态的数据抽取任务时，所述专网边界自动调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据。
40.本技术在实现基于边界网络数据同步至公安内网时，所有数据抽取只需在公安内网中通过web应用程序配置相关资源信息即可实现专网到内网数据抽取同步，无需在每次数据抽取范围发生新的变更时都需要到奔赴到各政府部门或社会单位专网现场机房去进行调试，而且数据抽取模板配置方式通用，一键保存即可快速实现数据同步，方便快捷，节省了大量人力物力，保证了数据同步的及时性和可靠性，
41.除了上面所描述的目的、特征和优点之外，本技术还有其它的目的、特征和优点。下面将参照附图，对本技术作进一步详细的说明。
附图说明
42.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
43.图1是本技术优选实施例的基于边界网络数据同步至公安内网的方法流程示意图。
44.图2是现有公安内网、专网、专网边界数据同步的总体部署架构图。
45.图3是本技术另一优选实施例的基于边界网络数据同步至公安内网的方法流程示意图。
46.图4是本技术另一优选实施例的基于边界网络数据同步至公安内网的方法流程示意图。
47.图5是本技术另一优选实施例中公安内网、专网、专网边界之间的总体业务流程
图。
48.图6是本技术优选实施例的电子设备实体示意框图。
49.图7是本技术优选实施例的计算机设备的内部结构图。
具体实施方式
50.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
51.参照图1，本发明的优选实施例提供了一种基于边界网络数据同步至公安内网的方法，应用于公安内网，包括步骤：
52.s1、根据获取的数据同步资源台账信息配置需要从专网抽取的数据源相关信息；
53.s2、将配置好的需要从专网抽取的数据源相关信息及脚本存储到数据库中形成数据抽取任务，并将所述数据抽取任务设置为“待执行”状态；
54.s3、接收专网边界中的数据抽取平台从专网中抽取的与所述数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网，其中，当专网边界定时扫描公安内网的数据库中存在“待执行”状态的数据抽取任务时，所述专网边界自动调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据。
55.本实施例在实现基于边界网络数据同步至公安内网时，所有数据抽取只需在公安内网中通过web应用程序配置相关资源信息即可实现专网到内网数据抽取同步，无需在每次数据抽取范围发生新的变更时都需要到奔赴到各政府部门或社会单位专网现场机房去进行调试，同时数据抽取模板配置方式通用，一键保存即可快速实现数据同步，方便快捷，节省了大量人力物力，保证了数据同步的及时性和可靠性。
56.优选地，步骤s1中，配置需要从专网抽取的数据源相关信息主要包括：模板配置，客户端配置、数据源配置、任务相关信息配置，
57.所述模板配置包括配置模板类型、模板名称、模板内容，包含不同类型数据库或同类型数据库数据抽取通用配置；
58.所述客户端配置主要包括配置客户端代码、客户端名称、是否启用使用标识；
59.所述数据源配置包括配置数据源名称、数据库连接串地址、用户名、注销标识、数据库类型；
60.所述任务相关信息配置主要内容包括配置源数据库、源数据库表名、目标数据库、目标表名、增量字段、绑定的数据抽取模板，最终以json方式形成通用脚本存入数据库中。
61.优选地，所述数据抽取平台使用dolphinscheduler配置datax抽取从专网到公安内网数据同步，对外提供数据同步api接口。
62.如图3所示，本技术另一方面还提供了一种基于边界网络数据同步至公安内网的方法，应用于专网边界，包括步骤：
63.s1、定时扫描公安内网的数据库中存储的数据抽取任务，其中，所述数据抽取任务由公安内网中根据获取的获取数据同步资源台账信息配置好的需要从专网抽取的数据源相关信息及脚本存储到数据库中形成，并将所述数据抽取任务设置为“待执行”状态；
64.s2、查看每条数据抽取任务记录的当前状态；
65.s3、当数据抽取任务记录的当前状态为“待执行”状态时，调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网。
66.本实施例在实现基于边界网络数据同步至公安内网时，专网边界通过扫描程序定时扫描公安内网的数据库中存储的数据抽取任务，并在任务状态为待执行时，调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网，所有数据抽取只需在公安内网中通过web应用程序配置相关资源信息即可实现专网到内网数据抽取同步，无需在每次数据抽取范围发生新的变更时都需要到奔赴到各政府部门或社会单位专网现场机房去进行调试，方便快捷，节省了大量人力物力，保证了数据同步的及时性和可靠性。
67.优选地，步骤s1中，配置需要从专网抽取的数据源相关信息主要包括：模板配置，客户端配置、数据源配置、任务相关信息配置，
68.所述模板配置包括配置模板类型、模板名称、模板内容，包含不同类型数据库或同类型数据库数据抽取通用配置；
69.所述客户端配置主要包括配置客户端代码、客户端名称、是否启用使用标识；
70.所述数据源配置包括配置数据源名称、数据库连接串地址、用户名、注销标识、数据库类型；
71.所述任务相关信息配置主要内容包括配置源数据库、源数据库表名、目标数据库、目标表名、增量字段、绑定的数据抽取模板，最终以json方式形成通用脚本存入数据库中。
72.优选地，所述数据抽取平台使用dolphinscheduler配置datax抽取从专网到公安内网数据同步，对外提供数据同步api接口。
73.如图4和5所示，本技术另一方面还提供了一种基于边界网络数据同步至公安内网的方法，包括步骤：
74.s1、公安内网根据获取的数据同步资源台账信息配置需要从专网抽取的数据源相关信息；
75.s2、公安内网将配置好的需要从专网抽取的数据源相关信息及脚本存储到数据库中形成数据抽取任务，并将所述数据抽取任务设置为“待执行”状态；
76.s3、专网边界定时扫描公安内网的数据库中存储的数据抽取任务；
77.s4、查看每条数据抽取任务记录的当前状态；
78.s5、当数据抽取任务记录的当前状态为“待执行”状态时，专网边界调用数据抽取平台的数据同步api接口，利用数据抽取平台从专网中抽取与所述公安内网的数据库中“待执行”状态的数据抽取任务相关的数据，并存入所述公安内网的公安数据资源中心实现数据同步至公安内网。
79.优选地，步骤s1中，配置需要从专网抽取的数据源相关信息主要包括：模板配置，客户端配置、数据源配置、任务相关信息配置，
80.所述模板配置包括配置模板类型、模板名称、模板内容，包含不同类型数据库或同类型数据库数据抽取通用配置；
81.所述客户端配置主要包括配置客户端代码、客户端名称、是否启用使用标识；
82.所述数据源配置包括配置数据源名称、数据库连接串地址、用户名、注销标识、数据库类型；
83.所述任务相关信息配置主要内容包括配置源数据库、源数据库表名、目标数据库、目标表名、增量字段、绑定的数据抽取模板，最终以json方式形成通用脚本存入数据库中。
84.优选地，所述数据抽取平台使用dolphinscheduler配置datax抽取从专网到公安内网数据同步，对外提供数据同步api接口。
85.如图6所示，本技术的优选实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中的基于边界网络数据同步至公安内网的方法的步骤。
86.如图7所示，本技术的优选实施例还提供了一种计算机设备，该计算机设备可以是终端或活体检测服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的其他计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现上述基于边界网络数据同步至公安内网的方法的步骤。
87.本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
88.本技术的优选实施例还提供了一种存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在的设备执行上述实施例中的基于边界网络数据同步至公安内网的方法的步骤。
89.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
90.本实施例方法所述功能若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个或者多个计算设备可读取存储介质中。基于这样的理解，本技术实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)，磁碟或者光盘等各种可以存储程序代码的介质。
91.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
92.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
93.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
94.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
95.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
96.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。