分布式图数据库远程数据批量导入方法、系统及介质与流程

本发明涉及数据处理，具体涉及一种分布式图数据库远程数据批量导入方法、系统及介质。

背景技术：

1、图数据库是一种专门用于存储和管理图形数据的数据库类型。它们被广泛应用于处理高度相关联的数据，例如社交网络、知识图谱和地理空间数据。随着近二十年来的发展，图数据库已经相当成熟。未来，图数据库将朝着分布式和云服务化的方向发展。当图数据库作为分布式图服务或云服务时，数据无法直接在图服务所在的节点上读取，而需要进行远程读取。因此，需要一个稳定而高效的分布式数据库远程数据批量导入方案。

2、目前，全球最具代表性的图数据库neo4j提供了远程数据导入功能，使用load csv指令进行操作，然而，这种方法的性能并不理想，存在以下局限：

3、第一、远程数据导入的用时开销在数据的传输上，采用neo4j进行远程数据导入时的数据传输效率低；

4、第二、在数据传输过程中可能存在数据泄露的风险。

技术实现思路

1、针对现有技术中的缺陷，本发明提供一种分布式图数据库远程数据批量导入方法、系统及介质。

2、第一方面，本发明提供一种分布式图数据库远程数据批量导入方法，包括：

3、客户端向图服务发送主动连接请求；

4、在客户端与图服务连接成功时，从对应的通道池中获取目标传输通道；

5、利用所述目标传输通道将数据导入图数据库中。

6、优选地，在客户端与图服务连接成功时，从对应的通道池中获取目标传输通道，包括：

7、判断通道池中是否存在空闲通道；

8、若是，则将所述空闲通道作为目标传输通道；

9、若否，则新建通道并将新建的通道作为目标传输通道。

10、优选地，利用所述目标传输通道将数据导入图数据库中，包括：

11、对导入的数据进行处理分析，以完成数据消费；

12、在所有导入的数据均完成数据消费后，关闭所通道池中的所有传输通道。

13、优选地，客户端向图服务发送主动连接请求之前还包括：

14、对各个客户端中的待发送数据进行切分并进行负载均衡，加速客户端数据的导入；

15、通过客户端文件读取系统将同一时间内的数据导入请求分配至系统中的各个客户端上。

16、第二方面，本发明还提供一种分布式图数据库远程数据批量导入系统，包括：

17、主动连接模块，用于通过客户端向图服务发送主动连接请求；

18、通道确定模块，用于在客户端与图服务连接成功时，从对应的通道池中获取目标传输通道；

19、数据导入模块，用于利用所述目标传输通道将数据导入图数据库中。

20、优选地，所述通道确定模块包括：

21、判断单元，用于判断通道池中是否存在空闲通道；

22、处理单元，若是，则将所述空闲通道作为目标传输通道；若否，则新建通道并将新建的通道作为目标传输通道。

23、优选地，所述数据导入模块包括：

24、数据消费单元，用于对导入的数据进行处理分析，以完成数据消费；

25、通道关闭单元，用于在所有导入的数据均完成数据消费后，关闭所通道池中的所有传输通道。

26、优选地，还包括：

27、切分单元，用于对各个客户端中的待发送数据进行切分并进行负载均衡，加速客户端数据的导入；

28、轮询单元，用于通过客户端文件读取系统将同一时间内的数据导入请求分配至系统中的各个客户端上。

29、第三方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一项所述的方法。

30、第四方面，一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一项所述的方法。

31、本发明的有益效果体现在：

32、1)本发明实施例提供一种分布式图数据库远程数据批量导入方法，提供分布式客户端的方案和文件切分缓存机制，通过分布式文件读取系统能够基于文件切分缓存机制对数据进行提前切分存储，避免导入时，再次切分，并且能够基于轮询机制对数据导入请求进行均衡分配，减少客户端的压力，提高客户端的响应速度，进而提高数据导入时的传输效率。

33、2)本发明实施例提供一种分布式图数据库远程数据批量导入方法，由于数据不直接发送到图服务，而是通过客户端与图服务主动建立连接并利用传输通道进行数据传输，图服务不直接拥有这些数据，这种方式最大程度保障了数据的安全性，避免了图服务暴露导致数据文件丢失的风险。同时，客户端主动连接服务，避免了服务暴露可能导致的攻击风险，进一步增强了数据的安全性。

技术特征：

1.分布式图数据库远程数据批量导入方法，其特征在于，包括：

2.根据权利要求1所述的分布式图数据库远程数据批量导入方法，其特征在于，在客户端与图服务连接成功时，从对应的通道池中获取目标传输通道，包括：

3.根据权利要求2所述的分布式图数据库远程数据批量导入方法，其特征在于，利用所述目标传输通道将数据导入图数据库中，包括：

4.根据权利要求3所述的分布式图数据库远程数据批量导入方法，其特征在于，客户端向图服务发送主动连接请求之前还包括：

5.分布式图数据库远程数据批量导入系统，其特征在于，包括：

6.根据权利要求5所述的分布式图数据库远程数据批量导入系统，其特征在于，所述通道确定模块包括：

7.根据权利要求1所述的分布式图数据库远程数据批量导入系统，其特征在于，所述数据导入模块包括：

8.根据权利要求1所述的分布式图数据库远程数据批量导入系统，其特征在于，还包括：

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-4任一项所述的方法。

10.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-4任一项所述的方法。

技术总结
本发明公开了一种分布式图数据库远程数据批量导入方法，涉及数据处理技术领域，所述方法包括客户端向图服务发送主动连接请求；在客户端与图服务连接成功时，从对应的通道池中获取目标传输通道；利用所述目标传输通道将数据导入图数据库中。本发明在数据库端创建服务，由客户端去主动连接图服务，无需在客户端搭建服务器，图服务无需直接存储数据，也无法主动访问数据所在服务器，减少了数据暴露的风险，保障了数据的安全，并且可以异步的对数据提前进行切分，提高了客户端的响应能力，切分时采用文件切分缓存机制，避免了数据的重新切分。

技术研发人员：张晨,周研,叶灵超,吴菁,杨蕾红
受保护的技术使用者：浙江创邻科技有限公司
技术研发日：
技术公布日：2024/2/1