一种海量数据管理方法、装置、设备及介质与流程

本发明涉及数据处理，尤其涉及一种海量数据管理方法、装置、设备及介质。

背景技术：

1、随着it领域的快速发展，用户规模越来越大，由此产生的数据也在以指数倍增长，海量数据处理的场景也越来越多，数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。传统的数据存储模式存储容量是有大小限制或者空间局限限制的，怎么去设计出一个可以支撑大量数据的存储方案是开展数据分析的首要前提。现有的解决方法是通过采用分布式对象管理系统对数据进行存储，分布式对象管理系统是在分布式计算平台上推广使用面向对象环境和接口操作系统或服务。

2、目前，主要通过将本地的数据对象同步至服务器，生成与数据对象对应的索引文件，并根据索引文件对数据对象进行统一管理，从而解决了现有技术中分布式存储技术中的管理混乱的技术问题。

3、但是上述海量对象的管理方法经过本领域技术人员实际应用后发现仍旧存在一些缺点，较为明显的是热点对象数据进行浏览时会出现大量的数据的迁引，容易降低数据读取的速度，也会出现因数据大量迁引造成的数据的丢失。

技术实现思路

1、本发明提供了一种海量数据管理方法、装置、设备及介质，以解决目前海量数据管理存在的热点对象数据浏览时的数据迁引，以及数据迁引导致的数据读取速度慢以及数据丢失的问题。

2、根据本发明的一方面，提供了一种海量数据管理方法，包括：

3、获取待管理对象数据，并确定待管理对象数据的对象元数据；

4、基于对象元数据的受关注程度数据，对对象元数据划分，得到分片对象数据；

5、根据分片对象数据，创建多个目标存储节点，并根据多个目标存储节点构建目标存储链环。

6、根据本发明的另一方面，提供了一种数据管理装置，包括：

7、对象元数据确定模块，用于获取待管理对象数据，并确定待管理对象数据的对象元数据；

8、分片对象数据确定模块，用于基于对象元数据的受关注程度数据，对对象元数据划分，得到分片对象数据；

9、目标存储链环创建模块，用于根据分片对象数据，创建多个目标存储节点，并根据多个目标存储节点构建目标存储链环。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的海量数据管理方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的海量数据管理方法。

15、本发明实施例的技术方案，通过获取待管理对象数据，并确定待管理对象数据的对象元数据，从而基于对象元数据的受关注程度数据，对对象元数据划分，得到分片对象数据，进而根据分片对象数据，创建多个目标存储节点，并根据多个目标存储节点构建目标存储链环。在本方案中，基于对象元数据的受关注程度数据，对对象元数据划分，可以实现对热点数据的引导，避免数据的大量迁引，提高数据的读取速度，同时避免了因数据大量迁引造成的数据的丢失。而根据分片对象数据，创建多个目标存储节点，并根据多个目标存储节点构建目标存储链环，可以实现对目标存储链环中目标存储节点做针对性读取，提升数据的读取速度，解决了目前海量数据管理存在的热点对象数据浏览时的数据迁引，以及数据迁引导致的数据读取速度慢以及数据丢失的问题，能够避免大量的数据迁引，提高数据的读取速度，并避免了由于数据迁引导致的数据丢失。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种海量数据管理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述待管理对象数据的对象元数据，包括：

3.根据权利要求1所述的方法，其特征在于，在所述基于所述对象元数据的受关注程度数据，对所述对象元数据划分之前，还包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述分片对象数据，创建多个目标存储节点，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据多个所述目标存储节点构建目标存储链环，包括：

6.根据权利要求4所述的方法，其特征在于，所述数据密钥，包括：加密密钥以及引导数据。

7.根据权利要求1所述的方法，其特征在于，所述目标存储链环包括的所述目标存储节点的数量不小于5，且不大于10。

8.一种海量数据管理装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的海量数据管理方法。

技术总结
本发明公开了一种海量数据管理方法、装置、设备及介质。海量数据管理方法，包括：获取待管理对象数据，并确定待管理对象数据的对象元数据；基于对象元数据的受关注程度数据，对对象元数据划分，得到分片对象数据；根据分片对象数据，创建多个目标存储节点，并根据多个目标存储节点构建目标存储链环。本发明实施例的技术方案能够避免大量的数据迁引，提高数据的读取速度，并避免了由于数据迁引导致的数据丢失。

技术研发人员：张乾坤,李鹏,陈清明,聂林,石宏宇,邹文景,卢伟开,关声涛,邹洪,黄翔
受保护的技术使用者：南方电网数字电网集团信息通信科技有限公司
技术研发日：
技术公布日：2024/1/15