数据处理方法、高性能计算存储系统及电子设备与流程

本申请涉及云计算，特别涉及一种数据处理方法、高性能计算存储系统及电子设备。

背景技术：

1、主流的高性能计算(high performance computing，缩写hpc)存储系统均采用持久化内存(persistent memory，缩写pmem)和固态硬盘(solid state disk，缩写ssd)组成的混合存储系统，以实现高可靠性和高性能。其中，pmem作为热数据存储层使用，ssd作为冷数据存储层使用。

2、为了保证pmem的可靠性，应用了多重验证操作和强纠错码(error correctingcode，缩写ecc)，其数据调度模式主要采用基于最近最少使用的数据分配方法，将不经常读写的冷数据移动到ssd中，一旦发生对冷数据的读写，ssd将数据重新移动到pmem中。但是在向pmem中写入数据时，采用多重验证操作会增加写入延迟，从pmem中读取数据时，采用强ecc进行错误检查和纠正，在ecc解码时严重增加了读取延迟，并且频繁的将冷数据移动至ssd层会导致大量的时间开销，降低ssd的性能和寿命。

3、需要说明的是，上述背景技术部分公开的信息仅用于加强对本申请的背景的理解。

技术实现思路

1、本申请的目的在于提供一种数据处理方法、数据处理系统、计算机存储介质及电子设备，进而至少在一定程度上减少读取/写入延迟。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请的第一方面，提供一种数据处理方法，应用于高性能计算hpc存储系统中的控制器，包括：获取待处理数据，根据所述待处理数据确定所述待处理数据所在的当前持久化内存pmem单元；获取所述当前pmem单元中与所述待处理数据对应的读取频率和写入频率；通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；根据所述数据类型将所述待处理数据移动至目标pmem单元，所述目标pmem单元为用于快写慢读的第一pmem单元或者用于快读慢写的第二pmem单元。

4、根据本申请的第二方面，提供一种数据处理装置，包括：第一pmem单元，用于存储热数据和冷数据，并对数据进行快写慢读；第二pmem单元，与所述第一pmem单元连接，用于存储热数据和冷数据，并对数据进行快读慢写；固态硬盘ssd，与所述第一pmem单元和所述第二pmem单元连接，用于在所述第一pmem单元和/或所述第二pmem单元的存储空间不足时存储冷数据；控制器，与所述第一pmem单元、所述第二pmem单元和所述ssd连接，用于根据待处理数据确定所述待处理数据所在的当前持久化内存pmem单元；获取所述当前pmem单元中与所述待处理数据对应的读取频率和写入频率；通过冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，并根据过滤获取的与所述待处理数据对应的数据类型将所述待处理数据移动至目标pmem单元，所述目标pmem单元为用于快写慢读的第一pmem单元或者用于快读慢写的第二pmem单元。

5、根据本申请的第三方面，提供一种电子设备，其特征在于，包括：控制器；以及存储器，用于存储所述控制器的可执行指令；其中，所述控制器配置为经由执行所述可执行指令来执行上述的数据处理方法。

6、由上述技术方案可知，本申请示例性实施例中的数据处理方法、高性能计算存储系统及电子设备至少具备以下优点和积极效果：

7、本申请实施例中的数据处理方法，通过高性能计算存储系统中的控制器根据待处理数据确定其所在的当前持久化内存pmem单元；接着获取当前pmem单元中与待处理数据对应的读取频率和写入频率；然后通过冷数据过滤器和热数据过滤器根据读取频率和写入频率对待处理数据进行过滤，以获取与待处理数据对应的数据类型；最后根据数据类型将待处理数据移动至目标pmem单元，该目标pmem单元为用于快写慢读的第一pmem单元或者用于快读慢写的第二pmem单元。本申请实施例通过冷数据过滤器和热数据过滤器根据读取/写入频率将写热数据存储于第一pmem单元，将读热数据存储于第二pmem单元，能够提高数据的读取/写入速率，减少读取/写入延迟。

8、本申请应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种数据处理方法，其特征在于，应用于高性能计算hpc存储系统中的控制器，包括：

2.根据权利要求1所述的方法，其特征在于，在获取待处理数据之前，所述方法还包括：

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待处理数据确定所述待处理数据所在的当前持久化内存pmem单元，包括：

4.根据权利要求1所述的方法，其特征在于，在获取所述目标pmem单元中与所述待处理数据对应的读取频率和写入频率之前，所述方法还包括：

5.根据权利要求1或4中所述的方法，其特征在于，所述当前pmem单元为第一pmem单元，所述热数据过滤器为写热数据过滤器；

6.根据权利要求5中所述的方法，其特征在于，所述通过所述写热数据过滤器将所述写入频率与写热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述数据类型将所述待处理数据移动至目标pmem单元，包括：

8.根据权利要求7所述的方法，其特征在于，在将所述待处理数据移动至所述第二pmem单元之后，所述方法还包括：

9.根据权利要求1或4中所述的方法，其特征在于，所述当前pmem单元为第二pmem单元，所述热数据过滤器为读热数据过滤器；

10.根据权利要求9中所述的方法，其特征在于，所述通过所述读热数据过滤器将所述读取频率与读热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型，包括：

11.根据权利要求10所述的方法，其特征在于，所述根据所述数据类型将所述待处理数据移动至目标pmem单元，包括：

12.根据权利要求11所述的方法，其特征在于，在将所述待处理数据移动至所述第一pmem单元之后，所述方法还包括：

13.根据权利要求1所述的方法，其特征在于，所述高性能计算存储系统还包括固态硬盘ssd；

14.一种高性能计算存储系统，其特征在于，包括：

15.一种电子设备，其特征在于，包括：

技术总结
本申请属于云计算领域，涉及数据处理方法、高性能计算存储系统及电子设备。应用于HPC存储系统中的控制器，包括：获取待处理数据，根据待处理数据确定待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与待处理数据对应的读取频率和写入频率；通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。本申请能够实现读写数据的分区存储，降低了数据的读写延迟。

技术研发人员：高达,高飞
受保护的技术使用者：中国电信股份有限公司北京研究院
技术研发日：
技术公布日：2024/1/15