数据存储方法、装置、设备及存储介质与流程

本申请涉及但不限于数据存储，尤其涉及一种数据存储方法、装置、设备及存储介质。

背景技术：

1、现有的分布式存储位置技术，主要是通过既定的机架位置规则，存放不同副本的数据；或者是根据服务器节点的负载状态来分配数据的写入位置。这两种方式，都是从集群服务端考虑出发，没有考虑到业务数据之间的关联性，不能更加高效地实现数据的存取。

技术实现思路

1、有鉴于此，本申请实施例至少提供一种数据存储方法、装置、设备及存储介质。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种数据存储方法，所述方法包括：

4、响应于接收客户端发送的带有标签信息的数据，获取集群负载信息；基于所述标签信息和所述集群负载信息，从预设的数据关系网络中筛选出目标节点；其中，所述数据关系网络表征集群中机架的各节点与每一所述节点所包含的数据标签之间的映射关系；将所述数据转发到所述目标节点进行存储。

5、在一些实施方式中，所述方法还包括：以所述集群中的机架、所述机架的各节点以及每一所述节点所包含的数据标签为点，以相邻所述机架之间的距离为边构建所述数据关系网络；其中，所述距离的长度表征不同所述机架下各节点之间的关联度。

6、在一些实施方式中，所述基于所述标签信息和所述集群负载信息，从预设的数据关系网络中筛选出目标节点，包括：基于所述标签信息，从所述数据关系网络中查询与所述标签信息最关联的n个机架或节点的位置信息；其中，n为所述集群设置的副本数；利用所述集群负载信息，按照预设规则从所述n个位置信息对应的节点中筛选所述目标节点。

7、在一些实施方式中，所述基于所述标签信息，从所述数据关系网络中查询与所述标签信息最关联的n个机架或节点的位置信息，包括：确定所述数据关系网络中是否存在包含所述标签信息的候选节点；在存在所述候选节点的情况下，确定所述候选节点所属的第一候选机架；在所述第一候选机架所包括的节点数目m大于或等于n的情况下，从所述m个节点中选择n个节点的位置信息作为所述最关联的n个位置信息。

8、在一些实施方式中，所述基于所述标签信息，从所述数据关系网络中查询与所述标签信息最关联的n个机架或节点的位置信息，还包括：在m小于n的情况下，从所述数据关系网络中筛选与所述第一候选机架距离最近的第二候选机架；将所述第一候选机架所包括的m个节点的位置信息和所述第二候选机架所包括的n-m个节点的位置信息，作为所述最关联的n个位置信息。

9、在一些实施方式中，所述方法还包括：在不存在所述候选节点的情况下，确定所述标签信息与所述集群中各机架下每一节点所包含的数据标签之间的相似度；确定所述相似度满足第一阈值的数据标签所存放的第一节点的位置信息；基于所述第一节点的位置信息，从所述数据关系网络中筛选与所述第一节点相同或相近的n个位置信息，作为所述最关联的n个位置信息。

10、在一些实施方式中，所述利用所述集群负载信息，按照预设规则从所述n个位置信息对应的节点中筛选所述目标节点，包括：基于所述集群负载信息，分别确定所述n个位置信息对应的每一节点的负载值；选择所述负载值最少的相应节点作为所述目标节点。

11、第二方面，本申请实施例提供一种数据存储装置，包括：

12、信息获取模块，用于响应于接收客户端发送的带有标签信息的数据，获取集群负载信息；

13、节点筛选模块，用于基于所述标签信息和所述集群负载信息，从预设的数据关系网络中筛选出目标节点；其中，所述数据关系网络表征集群中机架的各节点与每一所述节点所包含的数据标签之间的映射关系；

14、数据存储模块，用于将所述数据转发到所述目标节点进行存储。

15、第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。

16、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。

17、本申请实施例中，首先，响应于接收客户端发送的带有标签信息的数据，获取集群负载信息；其次，基于所述标签信息和所述集群负载信息，从预设的数据关系网络中筛选出目标节点；最后，将所述数据转发到所述目标节点进行存储；这样，通过在元数据管理中构建数据标签与节点关系的数据关系网络，可以清晰得知道各数据之间的关系和存储节点的位置，这样根据数据关联的大小决定存储节点的位置，可以起到数据查询的聚簇效应；同时结合集群负载信息筛选出最合适存储的节点位置，提高存储效率。

18、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

技术特征：

1.一种数据存储方法，其特征在于，应用于集群管理节点，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述标签信息和所述集群负载信息，从预设的数据关系网络中筛选出目标节点，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述标签信息，从所述数据关系网络中查询与所述标签信息最关联的n个机架或节点的位置信息，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述标签信息，从所述数据关系网络中查询与所述标签信息最关联的n个机架或节点的位置信息，还包括：

6.根据权利要求4所述的方法，其特征在于，所述基于所述标签信息，从所述数据关系网络中查询与所述标签信息最关联的n个机架或节点的位置信息，还包括：

7.根据权利要求3至6任一项所述的方法，其特征在于，所述利用所述集群负载信息，按照预设规则从所述n个位置信息对应的节点中筛选所述目标节点，包括：

8.一种数据存储装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述方法中的步骤。

技术总结
本申请实施例公开了一种数据存储方法、装置、设备及存储介质，其中，所述方法包括：响应于接收客户端发送的带有标签信息的数据，获取集群负载信息；基于所述标签信息和所述集群负载信息，从预设的数据关系网络中筛选出目标节点；其中，所述数据关系网络表征集群中机架的各节点与每一所述节点所包含的数据标签之间的映射关系；将所述数据转发到所述目标节点进行存储。

技术研发人员：潘鑫,张彤,王建荣,苏大为,杨晨
受保护的技术使用者：中移（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/15