基于内网终端的数据运维方法、装置、设备及存储介质与流程

1.本发明实施例涉及内外网数据传输技术，尤其涉及一种基于内网终端的数据运维方法、装置、设备及存储介质。


背景技术：

2.目前，许多需要采购易制爆、易制毒危险化学品的从业单位需要登录互联网端的管理信息网页进行备案，录入各种各样的业务数据，并由公安系统统一审核这些从业单位的备案信息。
3.然而，为了保证网络安全，一般公安系统的内部网络(简称内网)都不能与互联网等外部网络(简称外网)直接连接，内网与外网之间的数据交换一般通过第三方开发的边界平台进行转存，即外网需将录入的业务数据传输至边界平台，内网通过特殊通道从该边界平台离线拉取业务数据。然而，由于业务数据在边界平台中是封闭式传输，外网无法知晓内网对业务数据的接收状态、解包状态、预处理操作等情况，同时，由于内外网无法直接通讯，内网也无法感知自身接收到的业务数据是否为异常的业务数据，且外网也不能及时探查内网用于存储业务数据的数据库，要实现对内网进行数据运维存在较大的困难。


技术实现要素：

4.本发明实施例提出了一种基于内网终端的数据运维方法、装置、设备及存储介质，以解决外网无法获知内网中的数据处理状态、内网数据无法及时得到运维的问题。
5.第一方面，本发明实施例提供了一种基于内网终端的数据运维方法，所述内网终端配置有网页版的在线数据库操作工具，所述内网终端通过边界平台与外网终端进行数据传输，所述方法包括：
6.当确定所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时，通过安全认证的方式启用所述在线数据库操作工具，所述目标文件包包括多种业务类型的业务数据；
7.当确定所述内网终端将所述目标文件包解包生成的所述业务数据存储在所述内网终端的数据库时，调用所述在线数据库操作工具访问所述数据库，对所述数据库中已存储的所述业务数据执行数据运维的操作；
8.将所述在线数据库操作工具对所述业务数据执行数据运维的操作的过程记录成数据运维日志，将所述数据运维日志通过所述边界平台传输至所述外网终端。
9.第二方面，本发明实施例还提供了一种基于内网终端的数据运维装置，所述内网终端配置有网页版的在线数据库操作工具，所述内网终端通过边界平台与外网终端进行数据传输，所述装置包括：
10.工具启用模块，用于当确定所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时，通过安全认证的方式启用所述在线数据库操作工具，所述目标文件包包括多种业务类型的业务数据；
11.工具执行模块，用于当确定所述内网终端将所述目标文件包解包生成的所述业务数据存储在所述内网终端的数据库时，调用所述在线数据库操作工具访问所述数据库，对所述数据库中已存储的所述业务数据执行数据运维的操作；
12.运维日志反馈模块，用于将所述在线数据库操作工具对所述业务数据执行数据运维的操作的过程记录成数据运维日志，将所述数据运维日志通过所述边界平台传输至所述外网终端。
13.可选的，在所述当确定所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时之前，所述方法还包括：
14.确定所述内网终端与所述边界平台之间传输数据的通道的类型；
15.基于所述通道的类型记录所述内网终端接收来源于所述外网终端的目标文件包的状态信息，生成文件包接收日志文件，将所述文件包接收日志文件通过所述边界平台传输至所述外网终端。
16.可选的，所述方法还包括：
17.当所述通道的类型为ftp通道服务时，构建ftp连接池；
18.当检测到所述ftp连接池被所述内网终端访问时，则记录ftp连接日志，将所述ftp连接日志通过所述边界平台传输至所述外网终端。
19.可选的，所述当确定所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时，通过安全认证的方式启用所述在线数据库操作工具，包括：
20.当检测到所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时，调用预先设置的登录保护模块向所述内网终端申请访问的权限；
21.若所述权限申请成功，则获取与所述权限匹配的用户登录信息，使用所述用户登录信息启用所述在线数据库操作工具。
22.可选的，在所述通过安全认证的方式启用所述在线数据库操作工具之后，还包括：
23.确定所述目标文件包根据多种业务类型划分成的多个实例，所述业务类型包括易制爆业务、易制毒业务、放射性业务；
24.调用多个所述实例对所述目标文件包在解包过程中生成的业务数据进行分类，以确定各业务数据的业务标签，所述业务标签包括易制爆危险化学品、易制毒危险化学品、放射性物质。
25.可选的，所述调用所述在线数据库操作工具访问所述数据库，对所述数据库中已存储的所述业务数据执行数据运维的操作，包括：
26.调用所述在线数据库操作工具访问所述数据库，在所述数据库中查询为所述业务数据配置的数据采集触发器的状态，若所述状态为未初始化状态，则将所述状态调整为初始化状态；
27.确定所述业务数据的识别码，利用所述识别码确定所述业务数据在所述数据库中的位置，基于所述位置对所述业务数据进行编辑操作，所述编辑操作包括禁用、删除、增加、修改中的至少一项。
28.可选的，所述内网终端还配置有redis缓存模块，所述方法还包括：
29.判断所述redis缓存模块的缓存状态；
30.若所述缓存状态为异常状态，则刷新所述redis缓存模块，重载所述redis缓存模
块中的数据。
31.第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
32.一个或多个处理器；
33.存储器，用于存储一个或多个程序；
34.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于内网终端的数据运维方法。
35.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的基于内网终端的数据运维方法。
36.本发明通过当确定内网终端从边界平台中获取由外网终端上传的目标文件包时，通过安全认证的方式启用在线数据库操作工具，目标文件包包括多种业务类型的业务数据；当确定内网终端将目标文件包解包生成的业务数据存储在内网终端的数据库时，调用在线数据库操作工具访问数据库，对数据库中已存储的业务数据执行数据运维的操作；将在线数据库操作工具对业务数据执行数据运维的操作的过程记录成数据运维日志，将数据运维日志通过边界平台传输至外网终端，能够解决外网无法获知内网中的数据处理状态、内网数据无法及时得到运维的问题，上述方法通过安全启用在线数据库操作工具，利用该工具对内网终端内部的数据库进行数据运维，并将运维的过程记录成日志文件，将该日志文件传输至外网终端，使得外网终端可以及时了解内网终端接收到业务数据的具体情况，基于日志文件检测内网终端的数据异常，利于辅助内网终端实现数据故障的检测和排查。
附图说明
37.图1为本发明实施例一提供的一种基于内网终端的数据运维方法的流程图；
38.图2为本发明实施例二提供的一种基于内网终端的数据运维装置的结构示意图；
39.图3为本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
40.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
41.实施例一
42.图1为本发明实施例一提供的一种基于内网终端的数据运维方法的流程图，本实施例可适用于驱动外网终端从互联网中爬取业务数据、将业务数据打包成目标文件包上传至第三方开发的边界平台、由边界平台将目标文件包摆渡至公安系统的内网终端，对内网终端内接收及解析的目标文件包进行业务数据运维的情况，该方法可以由基于内网终端的数据运维装置来执行，该基于内网终端的数据运维装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，该方法具体包括如下步骤：
43.s110、当确定内网终端从边界平台中获取由外网终端上传的目标文件包时，通过安全认证的方式启用在线数据库操作工具。
44.其中，目标文件包包括多种业务类型的业务数据。
45.在本实施例中，边界平台是指用于对接外网终端与内网终端之间的数据传输的第三方平台，该边界平台相当于一个数据中转站，可以实现内网与外网之间的通信隔离，保证内网的通讯安全。其中，内网终端是指设置在公安系统、安防系统等内部网络中的终端设备，该终端设备的功能可以根据内部网络的数据处理需求(例如数据压缩、数据解压、数据存储等)进行配置，该终端设备可以是前置机、网关、服务器等等，本实施例对此不作具体限定；外网终端是指配置在互联网等外部网络中的终端设备，该终端设备的功能可以根据业务数据的采集需求进行配置，该终端设备可以是前置机、网关、服务器、个人电脑、等等，本实施例对此不作具体限定；更为具体的，外网终端中可以根据不同数据库的类型开发适配所有数据库的数据采集模块，该数据采集模块可以兼容不限于oracle、h2、dm、mysql等数据库，以满足不同的公安系统对业务数据进行后期存储及解析的需求。
46.本实施例中所提及的业务数据可以来源于互联网中的多个业务平台、以及存储在多个类型的数据库中，业务平台可以包括易制爆危险化学品的信息登记网站、易制毒危险化学品的信息登记网站、放射性物质采购申报的政务网站等等，用于存储业务数据的数据库可以包括公安系统常用的oracle、h2、dm、mysql等数据库，不同数据库中的业务数据存在存储格式的差异，因此，若从不同的数据库中获取业务数据则需要对业务数据进行格式统一化和标准化。
47.在本实施例的一个应用场景中，内网终端为公安系统的终端设备，外网终端为互联网中的业务信息登记平台，外网终端所采集的业务数据可以包括易制爆危险化学品的登记使用信息及采购申请信息、易制毒危险化学品的登记使用信息及采购申请信息、放射性物质的采购申报信息，等等，本实施例对业务数据的具体内容及来源不作限定。
48.在s110之前，本发明实施例的方法还可以包括：
49.确定内网终端与边界平台之间传输数据的通道的类型；该通道可以根据数据传输协议和通信端口的不同确定多种类型，例如该通道的类型可以包括文件传输协议ftp服务通道、共享存储服务通道、超文本传输服务通道(http通道或https通道)，等等，本实施例对该通道的类型不作具体限定。
50.在确定该通道的类型之后，可以基于通道的类型记录内网终端接收来源于外网终端的目标文件包的状态信息，生成文件包接收日志文件，将文件包接收日志文件通过边界平台传输至外网终端。
51.在一个示例中，当内网终端与边界平台之间传输数据的通道的类型为ftp通道服务时，构建ftp连接池；当检测到ftp连接池被内网终端访问时，则记录ftp连接日志，将ftp连接日志通过边界平台传输至外网终端。
52.由于ftp连接池是有状态记录的，能够反映连接池被访问连接的次数，以及连接池中被销毁的连接记录，将ftp连接日志反馈给外网终端，可以使得外网终端根据ftp连接日志了解内网终端与边界平台之间传输数据的ftp通道服务是否处于正常连接的状态，以便于判断内外网数据传输中出现的数据故障。
53.在一种具体实现方式中，s110可以包括如下具体步骤：
54.s1101、当检测到内网终端从边界平台中获取由外网终端上传的目标文件包时，调用预先设置的登录保护模块向内网终端申请访问的权限。
55.s1102、若权限申请成功，则获取与权限匹配的用户登录信息，使用用户登录信息
启用在线数据库操作工具。
56.在本实施例中，安全认证的方式有很多，可以根据内网终端所提供的访问协议来具体确定，本实施例对此不作具体限定；利用安全认证的方式来启用内网终端中配置的在线数据库操作工具能够保证内网环境的通信安全，防止内网中的数据信息泄露。
57.s120、当确定内网终端将目标文件包解包生成的业务数据存储在内网终端的数据库时，调用在线数据库操作工具访问数据库，对数据库中已存储的业务数据执行数据运维的操作。
58.在本实施例中，边界平台在为内外网两侧提供数据传输通道时，出于数据传输安全的考虑，边界平台为外网终端提供传输数据的输出通道仅有一条，边界平台为内网终端提供传输数据的输入通道也仅有一条，然而，业务数据的业务类型存在多样化，为了避免多种业务数据在通道中混淆传输，造成内网终端接收到错误的业务数据，在通过安全认证的方式启用在线数据库操作工具之后，还可以包括：
59.确定目标文件包根据多种业务类型划分成的多个实例，业务类型包括易制爆业务、易制毒业务、放射性业务；
60.调用多个实例对目标文件包在解包过程中生成的业务数据进行分类，以确定各业务数据的业务标签，业务标签包括易制爆危险化学品、易制毒危险化学品、放射性物质。这样做的好处在于，内网终端便于根据业务标签对解包后得到的业务数据的类型进行区分，降低了数据接收的错误率，利于内网终端对业务数据进行数据解析和分类归纳。
61.在本实施例的一种具体实现方式中，s120可以包括如下具体步骤：
62.当确定内网终端将目标文件包解包生成的业务数据存储在内网终端的数据库时，可以调用在线数据库操作工具访问数据库，在数据库中查询为业务数据配置的数据采集触发器的状态，若状态为未初始化状态，则将状态调整为初始化状态；该数据采集触发器可以用于在内网终端采集所需的业务数据，但采集执行前需要复原到初始化状态；
63.确定业务数据的识别码，利用识别码确定业务数据在数据库中的位置，基于位置对业务数据进行编辑操作，编辑操作包括禁用、删除、增加、修改中的至少一项。其中，业务数据的识别码可以基于数据库的主键进行确定，主键是可以预先配置的，可以理解的是，数据库就是一个文件系统，一个数据库中有多个表，每个表包括多个字段，数据库中的主键是指能够唯一标识表中某一行的属性或属性组,能够知道数据库中的某一个业务数据是哪一行记录，在本实施例中，主键可以作为数据库中所记录的每一个业务数据唯一的识别码。
64.s130、将在线数据库操作工具对业务数据执行数据运维的操作的过程记录成数据运维日志，将数据运维日志通过边界平台传输至外网终端。
65.由于内网终端会对业务数据的每个数据处理过程均记录日志文件，日志文件的种类很多且数量较多，因此，可以在内网终端中配置有redis缓存模块，利用该缓冲模块对日志文件进行集中管理。
66.在本实施例中，若确定内网终端存在故障数据，但调用在线数据库操作工具对内网终端的数据库进行数据访问、查询、以及数据编辑时，仍未确定故障数据的位置，则还可以通过判断redis缓存模块的缓存状态进行异常定位；若该缓存状态为异常状态，则刷新redis缓存模块，重载redis缓存模块中的数据；待redis缓存模块更新状态后，重新调用在线数据库操作工具对内网终端的数据库进行访问，对数据库中已存储的业务数据执行数据
运维的操作，再次确认内网终端是否存在故障数据。
67.本发明实施例通过当确定内网终端从边界平台中获取由外网终端上传的目标文件包时，通过安全认证的方式启用在线数据库操作工具，目标文件包包括多种业务类型的业务数据；当确定内网终端将目标文件包解包生成的业务数据存储在内网终端的数据库时，调用在线数据库操作工具访问数据库，对数据库中已存储的业务数据执行数据运维的操作；将在线数据库操作工具对业务数据执行数据运维的操作的过程记录成数据运维日志，将数据运维日志通过边界平台传输至外网终端，能够解决外网无法获知内网中的数据处理状态、内网数据无法及时得到运维的问题，上述方法通过安全启用在线数据库操作工具，利用该工具对内网终端内部的数据库进行数据运维，并将运维的过程记录成日志文件，将该日志文件传输至外网终端，使得外网终端可以及时了解内网终端接收到业务数据的具体情况，基于日志文件检测内网终端的数据异常，利于辅助内网终端实现数据故障的检测和排查。
68.实施例二
69.图2为本发明实施例二提供的一种基于内网终端的数据运维装置的结构示意图，该装置具体可以包括如下模块：
70.工具启用模块201，用于当确定所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时，通过安全认证的方式启用所述在线数据库操作工具，所述目标文件包包括多种业务类型的业务数据；
71.工具执行模块202，用于当确定所述内网终端将所述目标文件包解包生成的所述业务数据存储在所述内网终端的数据库时，调用所述在线数据库操作工具访问所述数据库，对所述数据库中已存储的所述业务数据执行数据运维的操作；
72.运维日志反馈模块203，用于将所述在线数据库操作工具对所述业务数据执行数据运维的操作的过程记录成数据运维日志，将所述数据运维日志通过所述边界平台传输至所述外网终端。
73.在本发明的一个实施例中，在所述当确定所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时之前，所述装置还包括：
74.通道类型确定模块，用于确定所述内网终端与所述边界平台之间传输数据的通道的类型；
75.文件包接收日志文件确定模块，用于基于所述通道的类型记录所述内网终端接收来源于所述外网终端的目标文件包的状态信息，生成文件包接收日志文件，将所述文件包接收日志文件通过所述边界平台传输至所述外网终端。
76.在本发明的一个实施例中，所述装置还包括：
77.连接池构建模块，用于当所述通道的类型为ftp通道服务时，构建ftp连接池；
78.连接日志记录模块，用于当检测到所述ftp连接池被所述内网终端访问时，则记录ftp连接日志，将所述ftp连接日志通过所述边界平台传输至所述外网终端。
79.在本发明的一个实施例中，所述工具启用模块201包括：
80.权限申请子模块，用于当检测到所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时，调用预先设置的登录保护模块向所述内网终端申请访问的权限，若所述权限申请成功，则调用工具启用子模块；
81.工具启用子模块，用于获取与所述权限匹配的用户登录信息，使用所述用户登录信息启用所述在线数据库操作工具。
82.在本发明的一个实施例中，在所述通过安全认证的方式启用所述在线数据库操作工具之后，所述装置还包括：
83.实例确定模块，用于确定所述目标文件包根据多种业务类型划分成的多个实例，所述业务类型包括易制爆业务、易制毒业务、放射性业务；
84.分类模块，用于调用多个所述实例对所述目标文件包在解包过程中生成的业务数据进行分类，以确定各业务数据的业务标签，所述业务标签包括易制爆危险化学品、易制毒危险化学品、放射性物质。
85.在本发明的一个实施例中，当确定所述内网终端将所述目标文件包解包生成的所述业务数据存储在所述内网终端的数据库时，所述工具执行模块202包括：
86.状态调整子模块，用于调用所述在线数据库操作工具访问所述数据库，在所述数据库中查询为所述业务数据配置的数据采集触发器的状态，若所述状态为未初始化状态，则将所述状态调整为初始化状态；
87.编辑子模块，用于确定所述业务数据的识别码，利用所述识别码确定所述业务数据在所述数据库中的位置，基于所述位置对所述业务数据进行编辑操作，所述编辑操作包括禁用、删除、增加、修改中的至少一项。
88.在本发明的一个实施例中，所述内网终端还配置有redis缓存模块，所述装置还包括：
89.缓存状态判断模块，用于判断所述redis缓存模块的缓存状态，若所述缓存状态为异常状态，则调用缓存刷新模块；
90.缓存刷新模块，用于刷新所述redis缓存模块，重载所述redis缓存模块中的数据。
91.本发明实施例所提供的基于内网终端的数据运维装置可执行本发明任意实施例所提供的基于内网终端的数据运维方法，具备执行方法相应的功能模块和有益效果。
92.实施例三
93.图3为本发明实施例三提供的一种计算机设备的结构示意图，如图3所示，该计算机设备包括处理器300、存储器301、通信模块302、输入装置303和输出装置304；计算机设备中处理器300的数量可以是一个或多个，图3中以一个处理器300为例；计算机设备中的处理器300、存储器301、通信模块302、输入装置303和输出装置304可以通过总线或其他方式连接，图3中以通过总线连接为例。
94.存储器301作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于内网终端的数据运维方法对应的模块(例如，如图2所示的基于内网终端的数据运维装置中的工具启用模块201、工具执行模块202和运维日志反馈模块503)。处理器300通过运行存储在存储器301中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的基于内网终端的数据运维方法。
95.存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器301可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个
磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器301可进一步包括相对于处理器300远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
96.通信模块302，用于与显示屏建立连接，并实现与显示屏的数据交互。
97.输入装置303可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
98.输出装置304可包括显示屏等显示设备。
99.需要说明的是，输入装置303和输出装置304的具体组成可以根据实际情况设定。
100.本实施例提供的计算机设备，可执行本发明任一实施例提供的基于内网终端的数据运维方法，具备相应的功能和有益效果。
101.实施例四
102.本发明实施例四还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例的基于内网终端的数据运维方法。
103.其中，所述内网终端配置有网页版的在线数据库操作工具，所述内网终端通过边界平台与外网终端进行数据传输，该基于内网终端的数据运维方法包括：
104.当确定所述内网终端从所述边界平台中获取由所述外网终端上传的目标文件包时，通过安全认证的方式启用所述在线数据库操作工具，所述目标文件包包括多种业务类型的业务数据；
105.当确定所述内网终端将所述目标文件包解包生成的所述业务数据存储在所述内网终端的数据库时，调用所述在线数据库操作工具访问所述数据库，对所述数据库中已存储的所述业务数据执行数据运维的操作；
106.将所述在线数据库操作工具对所述业务数据执行数据运维的操作的过程记录成数据运维日志，将所述数据运维日志通过所述边界平台传输至所述外网终端。
107.当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的基于内网终端的数据运维方法中的相关操作。
108.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
109.值得注意的是，上述基于内网终端的数据运维装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
110.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、
重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。