数据传输方法、装置、设备及可读介质与流程

本发明涉及数据处理领域，特别涉及数据传输方法、装置、设备及可读介质。

背景技术：

1、在部级，省级，地市级垂直管理的行业中，省级建立了省集中的数据库，部级单位需要对各个省、市级单位的业务数据进行采集抽取。

2、目前的数据抽取方法主要是利用mq、mt等中间件传输数据，具有数据压缩、传输大文件、断点续传等功能，可以实现文件安全、可靠的传输。但目前大部分中间件传输方式存在效率较低，需要对应的接口开发工作量，数据抽取不灵活的缺点。

3、针对于上述数据抽取时数据传输方法的不足，需要一种效率更高的数据传输方法。

技术实现思路

1、本发明实施例提供了数据传输方法、装置、设备及可读介质，能够提高数据传输的效率。

2、一方面，本发明实施例提供了一种数据传输方法，应用于数据抽取端，包括：

3、根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；

4、将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；

5、根据所述数据文件获取所述待抽取数据。

6、可选的，所述根据待抽取数据的至少一种目标抽取参数生成数据抽取信息，包括：

7、根据所述至少一种目标抽取参数生成mq信息；

8、通过已保存的预设非对称加密算法的公钥对所述mq信息进行加密，得到所述数据抽取信息，以使所述数据存储端通过已保存的所述非对称加密算法的私钥对所述数据抽取信息进行解密，并根据所述数据抽取信息返回所述数据文件。

9、可选的，所述根据所述数据文件获取所述待抽取数据，包括：

10、对所述数据文件进行解压，其中，所述数据文件由所述数据存储端在返回至所述收据抽取端前进行压缩；

11、确定解压后的所述数据文件中包含的密钥以及加密数据，其中，所述加密数据由所述数据存储端通过所述密钥对所述待抽取数据进行加密获得；

12、根据所述密钥对所述加密数据进行解密，得到所述待抽取数据。

13、另一方面，本发明实施例提供了一种数据传输方法，应用于数据存储端，包括：

14、接收来自数据抽取端的数据抽取信息；其中，所述数据抽取信息包括待抽取数据的至少一种目标抽取参数，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；

15、根据所述数据抽取信息确定至少一种目标抽取参数；

16、根据所述目标抽取参数获取待抽取数据并基于所述待抽取数据生成数据文件，将所述数据文件返回至所述数据抽取端。

17、可选的，所述根据所述数据抽取信息确定至少一种目标抽取参数，包括：

18、通过已保存的预设非对称加密算法的私钥对所述数据抽取信息进行解密，其中，所述数据抽取信息由所述数据抽取端通过已保存的预设非对称加密算法的公钥对所述数据抽取信息进行加密；

19、根据解密后的所述数据抽取信息确定至少一种所述目标抽取参数。

20、可选的，所述基于所述待抽取数据生成数据文件，包括：

21、将所述待抽取数据输出为csv数据文件；

22、对所述csv数据文件进行压缩并通过预设的密钥对所述csv数据文件进行加密，得到加密数据；

23、将所述加密数据和所述密钥进行压缩，得到压缩后的所述数据文件。

24、另一方面，本发明实施例提供了一种数据抽取端，包括：

25、数据抽取信息生成单元，用于根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；

26、数据抽取信息发送单元，用于将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；

27、待抽取数据获取单元，用于根据所述数据文件获取所述待抽取数据。

28、另一方面，本发明实施例提供了一种数据存储端，包括：

29、数据抽取信息接收单元，用于接收来自数据抽取端的数据抽取信息；其中，所述数据抽取信息包括待抽取数据的至少一种目标抽取参数，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；

30、目标抽取参数确定单元，用于根据所述数据抽取信息确定至少一种目标抽取参数；

31、数据文件生成单元，用于根据所述目标抽取参数获取待抽取数据并基于所述待抽取数据生成数据文件，将所述数据文件返回至所述数据抽取端。

32、另一方面，本发明实施例提供了一种电子设备，包括：至少一个存储器和至少一个处理器；

33、所述至少一个存储器，用于存储机器可读程序；

34、所述至少一个处理器，用于调用所述机器可读程序，执行上述实施例中任一所述的方法。

35、另一方面，本发明实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述实施例中任一所述的方法。

36、本发明实施例提供了数据传输方法，根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；根据所述数据文件获取所述待抽取数据。本发明实施例提供的方案在保障数据抽取完整的前提下实施人员只需要数据抽取信息即可自动抽取数据，无需关注抽取过程的具体实现，从而在响应行业管理机构对数据的采集抽取需求的情况下提高数据传输效率。

技术特征：

1.数据传输方法，其特征在于，应用于数据抽取端，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据待抽取数据的至少一种目标抽取参数生成数据抽取信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据文件获取所述待抽取数据，包括：

4.数据传输方法，其特征在于，应用于数据存储端，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述数据抽取信息确定至少一种目标抽取参数，包括：

6.根据权利要求4所述的方法，其特征在于，所述基于所述待抽取数据生成数据文件，包括：

7.数据抽取端，其特征在于，包括：

8.数据存储端，其特征在于，包括：

9.电子设备，其特征在于，包括：至少一个存储器和至少一个处理器；

10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至3中或4-6中任一所述的方法。

技术总结
本发明提供了数据传输方法、装置、设备及可读介质。方法包括：根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；根据所述数据文件获取所述待抽取数据。本发明的方案·在保障数据抽取完整的前提下实施人员只需要数据抽取信息即可自动抽取数据，无需关注抽取过程的具体实现，从而在响应行业管理机构对数据的采集抽取需求的情况下提高数据传输效率。

技术研发人员：颜朋,雷天武,王国良
受保护的技术使用者：山东浪潮数字商业科技有限公司
技术研发日：
技术公布日：2024/1/13