数据存储方法、装置、设备和存储介质与流程

本公开涉及大数据和金融科技，更具体地涉及一种数据存储方法、装置、设备、存储介质和程序产品。

背景技术：

1、随着大数据领域的不断发展，对于数据的分析处理需求和存储需求越来越高。一般通过控制数据库引擎，实现数据存储和数据分析。

2、在相关技术中，可以通过优化磁盘的读写性能，加快磁盘的分析处理速度和存储速度。但是上述方案对磁盘读写性能的优化成本较高。

技术实现思路

1、鉴于上述问题，本公开提供了的数据存储方法、装置、设备、介质和程序产品。

2、根据本公开的第一个方面，提供了一种数据存储方法，包括：响应于接收到用于将第一数据存储至目标磁盘的存储请求，获取当前时刻的内存使用信息，其中，上述目标磁盘用于存储被数据库引擎调用的数据；在确定上述内存使用信息满足内存加速条件的情况下，将上述第一数据存储至内存缓冲区，其中，上述内存加速条件用于表征上述内存使用信息是否满足利用内存进行加速的条件；在上述内存缓冲区对上述第一数据进行预处理，得到预处理后的第二数据；将第二数据存储至上述目标磁盘。

3、根据本公开的实施例，上述在确定上述内存使用信息满足内存加速条件的情况下，将上述第一数据存储至内存缓冲区，包括：在确定上述内存使用信息满足内存加速条件的情况下，以数据表的形式将上述第一数据存储至上述内存缓冲区；为上述第一数据中至少一列的数据片段分配一个第一数据块，得到为上述第一数据分配的m个第一数据块，每个上述第一数据块具有唯一的数据块标识；按照预定顺序，对每个上述第一数据块中的数据进行排序。

4、根据本公开的实施例，上述为上述第一数据中至少一列的数据片段分配一个第一数据块，得到为上述第一数据分配的m个第一数据块，包括：根据与上述数据库引擎相关的分区策略，确定字段名与上述第一数据块之间的对应关系；根据上述对应关系，为至少一个字段名的数据片段分配一个第一数据块，得到上述m个第一数据块。

5、根据本公开的实施例，上述第二数据包括n个第二数据块；上述在上述内存缓冲区对上述第一数据进行预处理，得到预处理后的第二数据，包括：基于第一数据块与第二数据块之间的预定数量关系，将为上述第一数据分配的m个第一数据块合并为n个第二数据块，其中，上述第二数据块的尺寸大于上述第一数据块，m≥n≥1；或者基于自定义合并关系，将上述m个第一数据块合并为n个第二数据块。

6、根据本公开的实施例，上述方法还包括：从合并后的n个上述第二数据块中删除重复的第二数据块，得到p个上述第二数据块，n≥p≥1；或者从合并后的n个上述第二数据块中删除具备数据不可用标记的第二数据块，得到q个上述第二数据块，n≥q≥1。

7、根据本公开的实施例，在将上述第二数据存储至目标磁盘之后，还包括：确定将上述第二数据存储至目标磁盘之前上述内存缓冲区的第一存储状态信息；确定将上述第二数据存储至目标磁盘之后上述内存缓冲区的第二存储状态信息；根据上述第一存储状态信息、上述第二存储状态信息和上述第二数据，确定针对上述第二数据的存储结果；在上述存储结果表征上述第二数据全部存储至上述目标磁盘的情况下，在上述内存缓冲区中清除上述第二数据。

8、根据本公开的实施例，上述将第二数据存储至上述目标磁盘，包括：通过多个线程，将上述第二数据批量异步存储至上述目标磁盘。

9、本公开的第二方面提供了一种数据存储装置，包括：获取模块，用于响应于接收到用于将第一数据存储至目标磁盘的存储请求，获取当前时刻的内存使用信息，其中，上述目标磁盘用于存储被数据库引擎调用的数据；第一存储模块，用于在确定上述内存使用信息满足内存加速条件的情况下，将上述第一数据存储至内存缓冲区，其中，上述内存加速条件用于表征上述内存使用信息是否满足利用内存进行加速的条件；处理模块，用于在上述内存缓冲区对上述第一数据进行预处理，得到预处理后的第二数据；第二存储模块，用于将第二数据存储至上述目标磁盘。

10、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得一个或多个处理器执行上述数据存储方法。

11、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述数据存储方法。

12、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据存储方法。

13、根据本公开的实施例，通过在接收到存储请求时获取当前时刻的内存使用信息，在内存使用信息满足内存加速条件的情况下将第一数据存储至内存缓冲区，通过内存缓冲区进行加速的同时不影响服务器中其他引擎的运行，提高整体运行效率。通过在内存缓冲区中对第一数据进行预处理得到第二数据，方便数据库引擎进行后续操作，提高数据处理效率，节约计算资源的同时减少存储空间的占用。此外，获取当前时刻的内存使用信息，能够保证内存使用信息的实时性和准确性，避免内存使用信息获取不准确给内存带来较大压力，影响用户体验。

技术特征：

1.一种数据存储方法，包括：

2.根据权利要求1所述的方法，其中，所述在确定所述内存使用信息满足内存加速条件的情况下，将所述第一数据存储至内存缓冲区，包括：

3.根据权利要求2所述的方法，其中，所述为所述第一数据中至少一列的数据片段分配一个第一数据块，得到为所述第一数据分配的m个第一数据块，包括：

4.根据权利要求1或2所述的方法，其中，所述第二数据包括n个第二数据块；所述在所述内存缓冲区对所述第一数据进行预处理，得到预处理后的第二数据，包括：

5.根据权利要求3所述的方法，还包括：

6.根据权利要求1所述的方法，其中，在将所述第二数据存储至目标磁盘之后，还包括：

7.根据权利要求1所述的方法，其中，所述将第二数据存储至所述目标磁盘，包括：

8.一种数据存储装置，包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。

技术总结
本公开提供了一种数据存储方法，可以应用于大数据技术领域和金融科技技术领域。该数据存储方法包括：响应于接收到用于将第一数据存储至目标磁盘的存储请求，获取当前时刻的内存使用信息，其中，目标磁盘用于存储被数据库引擎调用的数据；在确定内存使用信息满足内存加速条件的情况下，将第一数据存储至内存缓冲区，其中，内存加速条件用于表征内存使用信息是否满足利用内存进行加速的条件；在内存缓冲区对第一数据进行预处理，得到预处理后的第二数据；将第二数据存储至目标磁盘。本公开还提供了一种数据存储装置、设备、存储介质和程序产品。

技术研发人员：王泽洋,杜楠,李兰彬,黄镜澄
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/2/19