一种数据处理方法、系统、设备以及存储介质与流程

本发明涉及存储领域，具体涉及一种数据处理方法、系统、设备以及存储介质。

背景技术：

1、在分布式系统中，为了实现系统的高可用，在构架中都会进行故障处理的设计，它是分布式系统的重要组成部分。当有业务运行时，磁盘的损坏会影响业务的正常运行，更甚者会丢失重要数据，造成难以估量的损失。在硬件方向raid控制器可以实现磁盘的冗余，在损坏一块盘或两块盘时，不会丢失数据和中断业务，更换磁盘后可以通过数据重构来恢复损坏的数据。但是如果服务器上没有配置raid卡，数据冗余只能通过软件来实现。副本是基于存储池的冗余策略，在一些场景不够灵活，数据恢复时间较长。

技术实现思路

1、有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据处理方法，包括以下步骤：

2、创建多个目录；

3、为每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径；

4、将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；

5、利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。

6、在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：

7、响应于所述主数据服务接收到对所述目录中的文件进行写操作的请求，将待写入的数据写入到所述主数据服务对应的存储路径中；

8、利用所述主数据服务向所述从数据服务发送写数据请求，以将所述待写入的数据同步写入到所述从数据服务对应的存储路径中；

9、所述从数据服务记录数据同步完成时间并向所述主数据服务发送写入完成的应答。

10、在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：

11、响应于所述主数据服务接收到对所述目录中的文件进行读操作的请求，从所述主数据服务对应的存储路径中读取对应的数据并返回。

12、在一些实施例中，利用所述主数据服务处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：

13、响应于所述主数据服务接收到对所述目录中的文件进行删除操作的请求，将所述主数据服务对应的存储路径中对应的数据进行删除；

14、利用所述主数据服务向所述从数据服务发送数据删除请求，以将所述从数据服务对应的存储路径中对应的数据进行删除；

15、所述从数据服务记录数据删除完成时间并向所述主数据服务发送删除完成的应答。

16、在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：

17、响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求；

18、响应于检测到所述主数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；

19、根据在所述时间之后更新的数据更新所述主数据服务对应的存储路径中的数据。

20、在一些实施例中，响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求，进一步包括：

21、响应于检测到所述主数据服务异常，触发故障切换并将发送到所述主数据服务的请求暂存在消息分发器中；

22、响应于故障切换完成后，利用所述从数据服务处理所述消息分发器中的暂存的请求，以及接收并处理后续对所述目录的文件操作请求。

23、在一些实施例中，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：

24、响应于检测到所述从数据服务异常，对所述从数据服务进行修复；

25、响应于检测到所述从数据服务恢复正常，所述主数据服务读取最后一次与所述从数据服务进行数据同步的时间以确定在所述时间之后更新的数据；

26、根据在所述时间之后更新的数据更新所述从数据服务对应的存储路径中的数据。

27、基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据处理系统，包括：

28、创建模块，配置为创建多个目录；

29、部署模块，配置为对每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径，并将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；

30、处理模块，配置为利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。

31、基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：

32、至少一个处理器；以及

33、存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种数据处理方法的步骤。

34、基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据处理方法的步骤。

35、本发明具有以下有益技术效果之一：本发面提出的方案通过对存放重要数据的目录配置镜像功能，可以在保障重要数据安全性的同时提高存储空间的利用率，即使用较小的空间保证重要数据的安全性。

技术特征：

1.一种数据处理方法，其特征在于，包括以下步骤：

2.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：

3.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：

4.如权利要求1所述的方法，其特征在于，利用所述主数据服务处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步包括：

5.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：

6.如权利要求5所述的方法，其特征在于，响应于检测到所述主数据服务异常，利用所述从数据服务接收并处理对所述目录的文件操作请求，进一步包括：

7.如权利要求1所述的方法，其特征在于，利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作，进一步还包括：

8.一种数据处理系统，其特征在于，包括：

9.一种计算机设备，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。

技术总结
本发明公开了一种数据处理方法，包括以下步骤：创建多个目录；为每一个目录部署两个数据服务并且为每一个所述数据服务部署不同的存储路径；将其中一个所述数据服务作为主数据服务，另一个作为从数据服务；利用所述主数据服务接收并处理对所述目录的文件操作请求并在所述从数据服务中同步进行相同的文件处理操作。本发明还公开了一种系统、计算机设备以及可读存储介质。本发面提出的方案通过对存放重要数据的目录配置镜像功能，可以在保障重要数据安全性的同时提高存储空间的利用率，即使用较小的空间保证重要数据的安全性。

技术研发人员：赵培文
受保护的技术使用者：济南浪潮数据技术有限公司
技术研发日：
技术公布日：2024/1/13