数据存储方法及系统与流程

本说明书实施例涉及计算机，特别涉及一种数据存储方法。

背景技术：

1、随着计算机技术的发展，以“处理器+动态存储介质+硬盘”的为代表的多层计算存储架构，随着持久性存储介质(persistentmemory，pm)的出现，发生了极大的改变。应用持久性存储介质，给数据库系统带来了多方面的提升：与dram(dynamicrandomaccessmemory，动态随机存取存储介质)为代表的动态存储介质相比，持久性存储介质的存储容量更大且存储内容具有持久性；与ssd(solidstatedisk，固态硬盘)为代表的硬盘相比，持久性存储介质提供了字节寻址能力，读写速度更快。

2、目前，直接用持久性存储介质替换计算节点中的内存，由于计算节点的硬件数量限制，扩展性不足。利用持久性存储介质构建分布式的持久性存储节点，由于计算节点不仅存在大量的数据读写操作，同时存在大量的日志读写操作，对于计算节点和持久性存储节点之间的有限带宽，是一个极大的数据读写压力，容易造成阻塞，造成数据存储效率和稳定性不足。因此，亟需一种可以高扩展性、高效率和高稳定性的数据存储方法。

技术实现思路

1、有鉴于此，本说明书实施例提供了数据存储方法。本说明书一个或者多个实施例同时涉及一种数据存储系统，一种数据存储装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。

2、根据本说明书实施例的第一方面，提供了一种数据存储方法，应用于数据存储系统中的计算节点，数据存储系统还包括独立设置的内存节点，包括：

3、获取待处理数据；

4、对待处理数据进行数据处理，得到日志数据；

5、将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。

6、根据本说明书实施例的第二方面，提供了一种数据存储方法，应用于数据存储系统中独立设置的内存节点，内存节点上配置有持久性存储介质，包括：

7、接收计算节点发送的日志数据；

8、对日志数据进行日志回放，得到数据处理结果；

9、对数据处理结果和日志数据进行存储。

10、根据本说明书实施例的第三方面，提供了一种数据存储系统，包括：计算节点和内存节点；

11、计算节点，用于获取待处理数据，对待处理数据进行数据处理，得到日志数据，将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质；

12、内存节点，用于接收计算节点发送的日志数据，对日志数据进行日志回放，得到数据处理结果，对数据处理结果和日志数据进行存储。

13、根据本说明书实施例的第四方面，提供了一种数据存储装置，应用于数据存储系统中的计算节点，数据存储系统还包括独立设置的内存节点，包括：

14、获取模块，被配置为获取待处理数据；

15、处理模块，被配置为对待处理数据进行数据处理，得到日志数据；

16、第一发送模块，被配置为将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。

17、根据本说明书实施例的第五方面，提供了一种数据存储装置，应用于数据存储系统中独立设置的内存节点，内存节点上配置有持久性存储介质，包括：

18、接收模块，被配置为接收计算节点发送的日志数据；

19、回放模块，被配置为对日志数据进行日志回放，得到数据处理结果；

20、第一存储模块，被配置为对数据处理结果和日志数据进行存储。

21、根据本说明书实施例的第六方面，提供了一种计算设备，包括：

22、存储器和处理器；

23、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据存储方法的步骤。

24、根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据存储方法的步骤。

25、根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据存储方法的步骤。

26、本说明书一个或多个实施例中，获取待处理数据；对待处理数据进行数据处理，得到日志数据；将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。通过分离架构的计算节点和内存节点，内存节点作为单独的抽象出内存特性的节点，为计算节点提供数据存储服务，提供了良好的可拓展性，在计算节点上完成数据处理后，将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放，还原出数据处理结果，降低了向内存节点发送的数据量，充分利用了有限带宽，降低了阻塞概率，提升了数据存储的效率和稳定性。

技术特征：

1.一种数据存储方法，应用于数据存储系统中的计算节点，所述数据存储系统还包括独立设置的内存节点，包括：

2.根据权利要求1所述的方法，所述对所述待处理数据进行数据处理，得到日志数据，包括：

3.根据权利要求2所述的方法，其中，所述待处理数据包括待处理数据页，所述数据处理结果包括至少一个数据处理结果子页，所述日志数据包括所述至少一个数据处理结果子页对应的数据处理记录；

4.根据权利要求3所述的方法，所述将所述日志数据发送至所述内存节点，包括：

5.根据权利要求2所述的方法，其中，所述计算节点上配置有动态存储介质；

6.根据权利要求2所述的方法，在所述对所述待处理数据进行数据处理，得到数据处理结果和日志数据之后，还包括：

7.根据权利要求1所述的方法，在将所述日志数据发送至内存节点之后，还包括：

8.一种数据存储方法，应用于数据存储系统中独立设置的内存节点，所述内存节点上配置有持久性存储介质，包括：

9.根据权利要求8所述的方法，其中，所述日志数据包括至少一个数据处理结果子页对应的数据处理记录；

10.根据权利要求9所述的方法，所述接收计算节点发送的日志数据，包括：

11.根据权利要求10所述的方法，其中，所述内存节点上配置有日志缓存和地址缓存；

12.一种数据存储系统，包括：计算节点和内存节点；

13.一种计算设备，包括：

14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述数据存储方法的步骤。

技术总结
本说明书实施例提供一种数据存储方法及系统，其中所述数据存储方法包括：获取待处理数据；对待处理数据进行数据处理，得到日志数据；将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。通过分离架构的计算节点和内存节点，内存节点作为单独的抽象出内存特性的节点，为计算节点提供数据存储服务，具有良好的可拓展性，在计算节点上完成数据处理后，将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放，还原数据处理结果，降低了向内存节点发送的数据量，充分利用了有限带宽，降低了阻塞概率，提升了数据存储的效率和稳定性。

技术研发人员：章颖强,陈浩
受保护的技术使用者：阿里云计算有限公司
技术研发日：
技术公布日：2024/1/13