用于云迁移的文件系统数据备份方法、系统及介质与流程

本发明涉及数据备份，特别涉及用于云迁移的文件系统数据备份方法、系统及介质。

背景技术：

1、文件系统备份是为了防止系统故障或者操作失误导致数据丢失，从而将全部或部分数据从生产系统复制到其它的存储介质的过程。关于文件备份，已有相关专利；比如公开号为cn109561120b的中国专利公开了一种小文件备份方法、系统和管理服务器，所述方法包括：管理服务器接收客户端针对待备份文件发送的备份请求，并根据备份请求选择用于备份待备份文件的网关服务器和多个存储服务器，以及将选择好的第一网关服务器通知给客户端，并将选择好的多个存储服务器通知给第一网关服务器；第一网关服务器在接收到客户端发送的待备份文件后，将待备份文件发送给所述管理服务器通知的每个存储服务器，每个存储服务器在接收到待备份文件后，保存待备份文件。该发明通过网关服务器进行文件备份，可提高小文件的备份效率。

2、上述专利提供了文件系统备份方法提高备份效率，但仍存在相应的以下几点缺陷：

3、(1)现有技术中，通过先给文件系统做非一致性快照，然后将快照全部同步到备份服务器进行备份，首先是备份了很多无效数据，随着数据的海量增加，这种全备份方案耗时长，对原系统的影响大；其次快照时文件系统还有数据在读写，导致快照不能满足一致性要求；

4、(2)现有技术中，仍依赖文件系统自身的工具，局限性大，不适用于所有文件系统，且依赖底层块设备存储，导致无法感知文件系统语义，造成文件系统一致性的缺失。

技术实现思路

1、本发明的目的在于提供用于云迁移的文件系统数据备份方法、系统及介质，通过创建一致性快照，并且在此基础上分析文件系统元数据从而生成文件系统的有效数据位图，备份服务根据数据位图将有效的数据备份至目标端，节约时间开销，高效备份文件系统数据，在目标环境生成一致的文件系统，以解决上述背景技术中提出的问题。

2、本发明的第一个目的在于开发一种用于云迁移的文件系统数据备份方法。

3、本发明的第二个目的在于开发一种用于云迁移的文件系统数据备份系统。

4、本发明的第三个目的在于开发一种计算机介质。

5、为实现上述第一发明目的，本发明提供如下技术方案：

6、用于云迁移的文件系统数据备份方法，所述方法包括以下步骤：

7、s1：阻塞文件系统io；

8、s2：将文件系统缓存数据写入磁盘；

9、s3：创建一致性快照，解除文件系统io阻塞；

10、s4：读取文件系统快照，解析文件系统元数据，过滤journal区域后生成数据位图；

11、s5：根据数据位图备份文件系统有效数据。

12、进一步的，针对s1中，阻塞文件系统io，还包括：

13、当进程调用一个阻塞的系统文件时，该系统文件的运行进程被置于睡眠状态，同时，调度其它进程运行；

14、确定等待队列并进行队列标签，将置于睡眠状态的进程放入所述等待队列对应的队列链表中，当唤醒进程时，从等待队列对应的队列链表中取出进程进入唤醒队列；

15、资源不可用时，io请求一直阻塞，直到获取反馈结果。

16、进一步的，针对s2中，将文件系统缓存数据写入磁盘，具体为：

17、确定系统缓冲区，根据所述系统缓冲区确定文件系统缓存数据的初始数据缓存特征；

18、在磁盘中调取数据资源样本，基于所述数据资源样本对代写如的文件系统缓存数据进行标准数据格式转换，获取文件系统标准数据，生成目标数据写入文件；

19、根据所述系统缓冲区的与磁盘之间的历史交互记录获取数据缓存特征的数据传输特征参数，基于数据缓存特征的数据传输特征参数确定磁盘逻辑区；

20、在定位到要访问的扇区开始位置后，通过写入函数实施相应的读写访问，将所述目标数据写入文件写入磁盘。

21、进一步的，将所述目标数据写入文件写入磁盘后，还包括：

22、所述磁盘接收所述目标数据写入文件，并对所述目标数据写入文件中的多个文件系统缓存数据进行读取，确定所述多个文件系统缓存数据中是否存在遗漏；

23、当所述多个文件系统缓存数据中存在遗漏时，对遗漏数据的相邻数据进行读取，并根据预设相似度算法对存在遗漏的数据进行补充，并基于补充结果，生成完整目标数据写入文件，并建立补充列表。

24、进一步的，针对s3中，创建一致性快照，其过程包括：

25、s301：登录ram控制台，创建一致性快照相关的ram角色，创建应用一致性快照相关权限策略，为目标实例设置ram角色；

26、其中，所述权限策略的相关权限包括查询快照相关信息、创建快照、设置标签和查询云盘信息；

27、s302：确定所述磁盘中的目标数据写入文件列表，在所述列表中确定目标文件，创建实例快照，同时，设置快照一致性参数并启用快照极速可用功能；

28、s303：创建并应用一致性快照后，检查创建的快照是否为文件系统一致性快照；若出现错误代码，则根据错误码信息排查问题后重复s301-s302。

29、进一步的，针对s4中，读取文件系统快照，解析文件系统元数据，具体为：

30、对获取到的快照进行读取，确定所述快照中各个快照信息的数据类型，根据所述各个快照信息的数据类型在快照信息数据库中匹配对应的快照信息样本；

31、基于所述快照信息样本及数据类型确定目标数据，基于优先级建立目标数据列表，依次对所述目标数据对应的快照信息进行赋值，确定所述目标数据列表中相同的快照信息；

32、基于所述快照信息获取对应的目标数据写入文件列表，确定与所述目标数据写入文件储存的地址关联的文件系统元数据。

33、进一步的，针对s4中，过滤journal区域后生成数据位图，具体为：

34、读取文件系统元数据，确定所述文件系统元数据的数据类型，根据所述数据类型确定日志数据和操作数据，获取journal区域，并将journal区域内的数据作为边缘数据；

35、在所述文件系统元数据中摘除边缘数据作为目标子数据，并基于所述目标子数据的数据长度构建数据位图模型；

36、将所述数据位图模型中的数据位图划分为多个连续的区域，获取所述目标子数据中所携带的数组，通过二进制算法判断该数据位于所述数据位图模型的区间。

37、进一步的，还包括以下步骤：s6：云迁移软件在源端的每一个虚拟机上部署agent，agent按照步骤s1-s5在源端创建一致性快照后生成数据位图，并且根据数据位图将有效的文件系统数据同步到云端，云端根据这些同步过来的数据就能还原成和源端一样的服务器。

38、基于相同的发明原理，为实现上述第二发明目的，本发明提供一种用于云迁移的文件系统数据备份系统，应用如第一发明创造所述的用于云迁移的文件系统数据备份方法，包括：

39、快照模块，用于阻塞文件系统io，将文件系统缓存中的数据同步到硬盘，并创建快照；

40、数据位图解析模块，用于解析文件系统元数据，获取文件系统实际使用的数据块，过滤journal区域后生成最终的数据位图；

41、同步模块，用于根据数据位图，将有效的文件系统数据同步到备份服务器。

42、基于相同的发明原理，为实现上述第三发明目的，本发明提供一种计算机介质，所述计算机可读介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行如第二发明创造所述的用于云迁移的文件系统数据备份系统。

43、与现有技术相比，本发明的有益效果是：

44、(1)通过阻塞文件系统io，在执行设备操作时若不能获得资源则挂起进程，直到满足可操作的条件后再进行操作，有效保证了后续在对文件系统创建一致性快照时，文件系统并没有数据正在写入，将文件系统缓存数据写入磁盘，并且在对一致性快照分析，从而生成文件系统的有效数据位图，备份服务根据数据位图将有效的数据备份至目标端，节约时间开销，适用于不同文件的备份，扩大适用范围。

45、(2)通过对获取到的快照进行读取，依次对目标数据对应的快照信息进行赋值，确定目标数据列表中相同的快照信息，保证被读取到数据的一致性，读取数据时不需要对数据进行加锁，且快照读取不会被其他事物阻塞，基于摘除后的目标数据长度构建数据位图模型，并将各个数据中携带的数组通过算法计算出数据所在区间，根据位图中数据所在区间进行有效数据的备份，减少系统无效数据备份的占用，进一步提高了系统备份效率。

46、(3)通过快照模块将文件系统缓存中的数据同步到硬盘，并创建快照，数据位图解析模块读取快照，获取快照中的元数据并进行解析，过滤journal区域后生成最终的数据位图，同步模块根据数据位图将有效数据同步到备份服务器，在备份开始时，就建立了所有数据块的位图信息，且支持记录数据块变化时的相应位图信息，根据位图信息定位变化数据块，直接备份变化的数据块，有效提升了传输速度和存储的读写性能，提升了备份性能。