基于数据分片的知识库部署方法、装置、电子设备及介质与流程

本发明涉及数据分片领域，尤其涉及一种基于数据分片的知识库部署方法、装置、电子设备及介质。

背景技术：

1、基于数据分片的知识库部署是指将知识库中的数据分片之后在服务器的不同位置部署的过程。

2、目前，开源检测工具私有化部署时，现有的知识库部署是将整个知识库数据整体打包到用户服务器进行部署，这样的方式存在整个包数据特别大、部署慢的问题，而且用户往往只需要知识库中的一个或者部分开发语言组件、组件下关联的漏洞、组件下关联的许可数据(以下以开发语言数据代替)，而不需要全量的开发语言数据。因此，由于将整个知识库数据整体打包到用户服务器进行部署，导致知识库部署的效率较低。

技术实现思路

1、为了解决上述问题，本发明提供了一种基于数据分片的知识库部署方法、装置、电子设备及介质，其主要目的在于对用户筛选所需要的开发语言数据的知识库进行部署，提升知识库部署效率。

2、为实现上述目的，本发明提供了一种基于数据分片的知识库部署方法，包括：获取知识库，查询所述知识库的知识数据与知识结构，构建所述知识结构的结构文件；对所述知识数据进行数据分片，得到分片知识，对所述分片知识进行周期存储，得到周期存储知识，根据所述周期存储知识，构建所述知识数据的升级校验文件；利用所述结构文件在预构建的用户私有服务中进行结构部署，得到结构部署服务，利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果。

3、为了解决上述问题，本发明提供了一种基于数据分片的知识库部署装置，所述装置包括：结构构建模块，用于获取知识库，查询所述知识库的知识数据与知识结构，构建所述知识结构的结构文件；校验构建模块，用于对所述知识数据进行数据分片，得到分片知识，对所述分片知识进行周期存储，得到周期存储知识，根据所述周期存储知识，构建所述知识数据的升级校验文件；数据升级模块，用于利用所述结构文件在预构建的用户私有服务中进行结构部署，得到结构部署服务，利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果。

4、为了解决上述问题，本发明提供一种电子设备，包括：

5、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

6、其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的基于数据分片的知识库部署方法。

7、为了解决上述问题，本发明提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的基于数据分片的知识库部署方法。

8、与现有技术相比，本方案的技术原理及有益效果在于：

9、本发明实施例首先通过获取知识库，以用于将知识库中的数据进行分片存储，进一步地，本发明实施例通过查询所述知识库的知识数据与知识结构，以用于在后续部署分片的知识库时，可以通过预先确定好的结构快速部署数据，进一步地，本发明实施例通过构建所述知识结构的结构文件，以用于在后续将分片的知识库部署时可以根据未分片之前的知识库的结构来有序部署，一方面将知识库分批次部署，便于管控，另一方面提升部署速度，进一步地，本发明实施例通过对所述知识数据进行数据分片，以用于将知识库分批次、分开发语言进行部署，便于管控，且知识库的开发语言数据可控，减少服务器成本，进一步地，本发明实施例通过对所述分片知识进行周期存储，以用于分时段将所述分片知识进行存储，降低了一次性存储内容过多的压力，进一步地，本发明实施例通过根据所述周期存储知识，构建所述知识数据的升级校验文件，以用于利用所述升级校验文件记录周期内打包的所有信息，保障后续对已经打包好的数据升级时，可以按照所述升级校验文件中所记录的打包信息及其打包的周期时间对数据包进行顺序升级，进一步地，本发明实施例通过利用所述结构文件在预构建的用户私有服务中进行结构部署，以用于为后续的知识库数据在用户私有服务中的部署做准备，进一步地，本发明实施例通过利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，以用于在部署好结构的前提下将知识库的数据部署在用户私有服务中，并升级成最新版本，保障用户获取数据包时会自动获取离当前时间最近的数据包。因此，本发明实施例提出的一种基于数据分片的知识库部署方法、装置、电子设备及介质，可以对用户筛选所需要的开发语言数据的知识库进行部署，提升知识库部署效率。

技术特征：

1.一种基于数据分片的知识库部署方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述查询所述知识库的知识数据与知识结构，包括：

3.根据权利要求1所述的方法，其特征在于，所述构建所述知识结构的结构文件，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述知识数据进行数据分片，得到分片知识，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述分片知识进行周期存储，得到周期存储知识，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述周期存储知识，构建所述知识数据的升级校验文件，包括：

7.根据权利要求1所述的方法，其特征在于，所述利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果，包括：

8.一种基于数据分片的知识库部署装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于数据分片的知识库部署方法。

技术总结
本发明涉及数据分片领域，揭露一种基于数据分片的知识库部署方法、装置、电子设备以及介质，所述方法包括：获取知识库，查询所述知识库的知识数据与知识结构，构建所述知识结构的结构文件；对所述知识数据进行数据分片，得到分片知识，对所述分片知识进行周期存储，得到周期存储知识，根据所述周期存储知识，构建所述知识数据的升级校验文件；利用所述结构文件在预构建的用户私有服务中进行结构部署，得到结构部署服务，利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果。本发明可以提升知识库部署效率。

技术研发人员：万振华
受保护的技术使用者：深圳开源互联网安全技术有限公司
技术研发日：
技术公布日：2024/1/12