一种数据的扩容存储方法、装置及电子设备与流程

本申请涉及信息处理，具体涉及一种数据的扩容存储方法、装置及电子设备。

背景技术：

1、对数据进行扩容存储是通过增加服务器节点，将一个数据分片的数据按照数据划分规则，再分成多个更小的数据分片，将新分片分散到新的服务器节点上，从而提高数据库的性能。

2、目前，现有的扩容存储方法需要将原分片中需要迁移出去的数据，从服务器节点的持久化文件中进行扫描读取，将物理数据转换成逻辑数据，再将逻辑数据通过网络传输到新分片对应的服务器节点上，新分片对应的服务器节点接收逻辑数据，再写入到持久化文件中，并再次转换成物理数据进行保存。

3、然而，这种扩容存储方式需要进行读取数据、写入数据、数据转换等一系列操作流程，会导致中央处理器(central processing unit/processor，cpu)和系统输入/输出(input/output，i/o)消耗大，进而导致扩容存储操作时间长、效率低、使用成本较大。

技术实现思路

1、有鉴于此，本申请提供了一种数据的扩容存储方法、装置及电子设备，主要目的在于改善目前现有的扩容存储方式需要进行读取数据、写入数据、数据转换等一系列操作流程，会导致cpu和系统i/o消耗大，进而导致扩容存储操作时间长、效率低、使用成本较大的技术问题。

2、第一方面，本申请提供了一种数据的扩容存储方法，包括：

3、获取文件系统中待迁移分片分别对应的各个哈希槽的标识信息，所述文件系统已进行哈希槽划分处理；

4、确定所述标识信息分别对应的哈希槽中包含的槽数据；

5、获取与所述标识信息对应迁移至的目标分片的地址信息，所述目标分片与所述待迁移分片的存储位置不同；

6、将所述槽数据分别进行数据备份，并基于所述地址信息，将备份的槽数据分别在对应的目标分片中进行存储。

7、第二方面，本申请提供了一种数据的扩容存储装置，包括：

8、获取模块，被配置为获取文件系统中待迁移分片分别对应的各个哈希槽的标识信息，所述文件系统已进行哈希槽划分处理；

9、确定模块，被配置为确定所述标识信息分别对应的哈希槽中包含的槽数据；

10、获取模块，还被配置为获取与所述标识信息对应迁移至的目标分片的地址信息，所述目标分片与所述待迁移分片的存储位置不同；

11、存储模块，被配置为将所述槽数据分别进行数据备份，并基于所述地址信息，将备份的槽数据分别在对应的目标分片中进行存储。

12、第三方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

13、第四方面，本申请提供了一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法。

14、借由上述技术方案，本申请提供的一种数据的扩容存储方法、装置、系统及电子设备，具体的，首先获取文件系统中待迁移分片分别对应的各个哈希槽的标识信息，所述文件系统已进行哈希槽划分处理；然后确定所述标识信息分别对应的哈希槽中包含的槽数据；再获取与所述标识信息对应迁移至的目标分片的地址信息，所述目标分片与所述待迁移分片的存储位置不同；然后将所述槽数据分别进行数据备份，并基于所述地址信息，将备份的槽数据分别在对应的目标分片中进行存储。与目前现有技术相比，本申请基于哈希槽对文件系统中的数据分片进行扩容，通过将哈希槽的标识信息与待迁移数据进行对应，在对数据进行扩容存储的时候能快速找到要迁移的数据，可以在对数据进行扩容存储的过程中省去对数据的读取、写入和数据转换过程，直接传输压缩过的数据的备份数据，而不是未压缩的数据，目标分片直接加载数据无需重写迁移数据，可以降低进行数据扩容存储的时间，减少对数据进行扩容存储需要传输的数据量，降低了系统资源的消耗和进行扩容存储的耗时，提高了对数据进行扩容存储的效率，减少了对数据进行扩容存储需要的成本。

15、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种数据的扩容存储方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述标识信息分别对应的哈希槽中包含的槽数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述文件系统中包含的哈希槽数量，确定所述标识信息分别对应的哈希槽中包含的槽数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述获取所述文件系统中待迁移分片分别对应的各个哈希槽的标识信息，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述地址信息，将备份的槽数据分别在对应的目标分片中进行存储，包括：

6.根据权利要5所述的方法，其特征在于，在基于所述地址信息，将备份的槽数据分别在对应的目标分片中进行存储之后，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，在基于所述地址信息，将备份的槽数据分别在对应的目标分片中进行存储之后，所述方法还包括：

8.一种数据的扩容存储装置，其特征在于，所述装置包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。

技术总结
本申请公开了一种数据的扩容存储方法、装置及电子设备，涉及信息处理技术领域，其中方法包括：首先获取文件系统中待迁移分片分别对应的各个哈希槽的标识信息，文件系统已进行哈希槽划分处理；然后确定标识信息分别对应的哈希槽中包含的槽数据；再获取与标识信息对应迁移至的目标分片的地址信息，目标分片与待迁移分片的存储位置不同；然后将槽数据分别进行数据备份，并基于地址信息，将备份的槽数据分别在对应的目标分片中进行存储。与目前现有技术相比，本申请基于哈希槽对文件系统中的数据分片进行扩容，目标分片直接加载数据无需重写迁移数据，提高了对数据进行扩容存储的效率，减少了对数据进行扩容存储需要的成本。

技术研发人员：洪定乾,徐锐波,幸福,卢文伟,刘方
受保护的技术使用者：北京云思智学科技有限公司
技术研发日：
技术公布日：2024/2/1