技术特征：
1.一种数据快照的数据结构，包括主数据和元数据；所述元数据中包括主数据的数据块标识和对应的有效位图；所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位中包括对应子数据块的数据有效性标识。2.如权利要求1所述的数据结构，其中，所述数据快照的主数据中各数据块的子数据块的数量和粒度大小相等。3.如权利要求1或2所述的数据结构，其中，所述有效位图中标识有效数据和无效数据的比特位的取值相反。4.一种快照创建方法，包括：固化当前可写快照版本的主数据的数据块和元数据，作为最新的只读快照版本；复制最新的只读快照版本的元数据作为新的可写快照版本的元数据，并修改块引用计数表中主数据的数据块的引用计数；所述元数据中包括主数据的数据块标识和对应的有效位图，所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位中包括对应子数据块的数据有效性标识。5.一种快照数据写入方法，包括：访问当前可写快照版本的元数据，获取待写入数据的数据块标识和有效位图；所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位中包括对应子数据块的数据有效性标识；根据所述数据块标识和该数据块的引用计数，判断该数据块是否为当前可写快照版本独占数据块；若是，将待写入数据写入该数据块的相应子数据块，并修改有效位图中对应子数据块的比特位的有效性标识；若否，分配新的数据块，将所述待写入数据写入新分配数据块的相应子数据块，并修改有效位图中对应子数据块的比特位的有效性标识。6.如权利要求5所述的方法，其中，根据所述数据块标识和该数据块的引用计数，判断该数据块是否为当前可写快照版本独占数据块，包括：根据所述数据块标识，获取对应数据块在块引用计数表中的引用计数的值，判断所述引用计数的值是否大于1；若否，确定该数据块为当前可写快照版本独占数据块。7.一种快照数据读取方法，包括：从当前访问的快照版本的元数据中，获取待读取数据的数据块标识和有效位图；所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位中包括对应子数据块的数据有效性标识；根据待读取数据所在子数据块，获取有效位图中对应比特位中的数据有效性标识；若为有效标识，从所述数据块标识指示的数据块中对应的子数据块读取数据；若为无效数据，根据快照版本链，按照由新到旧的顺序依次回溯在先的快照版本的元数据，直到查找到所述待读取数据对应的有效位图的比特位中为有效标识的快照版本，从该快照版本中获取到的数据块标识指示的数据块中对应的子数据块读取数据。8.一种快照删除方法，包括：
从待删除快照版本的元数据中获取主数据的数据块标识和对应的有效位图；判断待删除快照版本与前一个快照版本和后一个快照版本的元数据中主数据的数据块标识是否均不同；若是，根据待删除快照版本与后一个快照版本的对应数据块的有效位图中比特位的有效性标识，将待删除快照版本中数据块的有效数据合并到后一个快照版本的对应数据块中，并修改块引用计数表中该数据块的引用计数；若否，则只修改块引用计数表中该数据块的引用计数。9.如权利要求8所述的方法，其中，所述判断待删除快照版本与前一个快照版本和后一个快照版本的元数据中主数据的数据块标识是否均不同，包括：根据快照版本链，判断待删除快照版本是否具有在先的快照版本，若是，则将待删除快照版本的元数据中主数据的数据块标识分别与前一个快照版本和后一个快照版本的元数据中主数据的数据块标识进行比较，确定是否均不相同；若否，则将待删除快照版本的元数据中主数据的数据块标识与后一个快照版本的元数据中主数据的数据块标识进行比较，确定是否不相同。10.如权利要求8所述的方法，其中，根据待删除快照版本与后一个快照版本的对应数据块的有效位图中比特位的有效性标识，将待删除快照版本中数据块的有效数据合并到后一个快照版本的对应数据块中，包括：根据待删除快照版本与后一个快照版本的对应数据块的有效位图中比特位的有效性标识，确定待删除快照版本的数据块中与后一个快照版本共享数据的子数据块的数量是否大于等于后一个快照版本的对应数据块中子数据块的数据为有效数据的子数据块的数量：若是，将待删除快照版本的数据块中与后一个快照版本共享数据的子数据块的有效数据复制到后一个快照版本的对应数据块的对应子数据块中，并修改后一个快照版本的元数据的有效位图中对应子数据块的比特位的有效性标识；若否，将后一个快照版本的对应数据块中子数据块的有效数据复制到待删除快照的数据块的对应子数据块，将后一个快照版本中的对应的数据块替换为待删除快照的数据块，并将快照版本链中待删除快照的在后的快照版本的元数据中的数据块标识和有效位图，替换为待删除快照的元数据中该数据块的数据块标识和有效位图。11.如权利要求10所述的方法，其中，所述根据待删除快照版本与后一个快照版本的对应数据块的有效位图中比特位的有效性标识，确定待删除快照版本的数据块中与后一个快照版本共享数据的子数据块的数量是否大于等于后一个快照版本的对应数据块中数据为有效数据的子数据块的数量，包括：判断后一个快照版本的对应数据块的有效位图中每个比特位的有效性标识是否为有效标识；若是，确定后一个快照版本中该比特位对应的子数据块的数据为有效数据；若否，判断待删除快照版本的数据块的有效位图中对应比特位的有效性标识是否为有效标识，若是，确定待删除快照版本中该比特位对应的子数据块与后一个快照版本共享数据；统计得到后一个快照版本的对应数据块中数据为有效数据的子数据块的数量，以及待删除快照版本的数据块中与后一个快照版本共享数据的子数据块的数量，并比较得到的两
个数量的大小。12.一种数据处理方法，包括：获取数据快照的元数据中主数据的数据块标识和有效位图，根据主数据的数据块标识和有效位图中的比特位的数据有效性标识，实现如权利要求4所述的快照创建方法、权利要求5或6所述的快照数据写入方法、权利要求7所述的快照数据读取方法和权利要求8-11任一项所述的快照删除方法中的至少一个。13.一种快照创建装置，包括：快照固化模块，用于固化当前可写快照版本的主数据的数据块和元数据，作为最新的只读快照版本；可写快照生成模块，用于复制最新的只读快照版本的元数据作为新的可写快照版本的元数据，并修改块引用计数表中主数据的数据块的引用计数；所述元数据中包括主数据的数据块标识和对应的有效位图，所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位的值标识对应子数据块的数据为有效数据或无效数据。14.一种快照数据写入装置，包括：第一获取模块，用于访问当前可写快照版本的元数据，获取待写入数据的数据块标识和有效位图；所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位中包括对应子数据块的数据有效性标识；数据写入模块，用于根据所述数据块标识和该数据块的引用计数，判断该数据块是否为当前可写快照版本独占数据块；若是，将待写入数据写入该数据块的相应子数据块，并修改有效位图中对应子数据块的比特位的有效性标识；若否，分配新的数据块，将所述待写入数据写入新分配数据块的相应子数据块，并修改有效位图中对应子数据块的比特位的有效性标识。15.一种快照数据读取装置，包括：第二获取模块，用于从当前访问的快照版本的元数据中，获取待读取数据的数据块标识和有效位图；所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位中包括对应子数据块的数据有效性标识；数据读取模块，用于根据待读取数据所在子数据块，获取有效位图中对应比特位中的数据有效性标识；若为有效标识，从所述数据块标识指示的数据块中对应的子数据块读取数据；若为无效数据，根据快照版本链，按照由新到旧的顺序依次回溯在先的快照版本的元数据，直到查找到所述待读取数据对应的有效位图的比特位中为有效标识的快照版本，从该快照版本中获取到的数据块标识指示的数据块中对应的子数据块读取数据。16.一种快照删除装置，包括：第三获取模块，用于从待删除快照版本的元数据中获取主数据的数据块标识和对应的有效位图；删除及修改模块，用于判断待删除快照版本与前一个快照版本和后一个快照版本的元数据中主数据的数据块标识是否均不同；若是，根据待删除快照版本与后一个快照版本的对应数据块的有效位图中比特位的有效性标识，将待删除快照版本中数据块的有效数据合并到后一个快照版本的对应数据块中，并修改块引用计数表中该数据块的引用计数；若否，
则只修改块引用计数表中该数据块的引用计数。17.一种数据快照系统，包括：至少一个客户端、至少一个数据资源存储器、以及与至少一个数据资源存储器连接的至少一个服务器；所述客户端，用于向所述服务器发送创建快照请求、写入数据请求、读取数据请求和删除快照版本请求中的至少一个；所述服务器，用于根据客户端发送的请求，执行创建快照、写入数据、读取数据和删除快照版本中的至少一个；所述数据资源存储器，用于存储快照版本链中各快照版本的数据资源。18.一种计算机可读存储介质，其上存储有计算机指令，其中，所述指令被处理器执行时能够实现如权利要求4所述的快照创建方法、权利要求5或6所述的快照数据写入方法、权利要求7所述的快照数据读取方法和权利要求8-11任一项所述的快照删除方法中的至少一个。
技术总结
本发明公开了一种数据快照的数据结构、相关数据处理方法及装置和系统，该数据快照的数据结构，包括主数据和元数据；所述元数据中包括主数据的数据块标识和对应的有效位图；所述有效位图中每个比特位对应数据块中的一个子数据块，每个比特位中包括对应子数据块的数据有效性标识。可以应用于大粒度数据分配场景下，在ROW方式下进行数据快照处理时，解决了小粒度数据写入时带来的数据量放大的弊端，并且影响系统的IO访问性能的问题；在读取数据时，避免了数据读取时的IO放大开销，数据读取速度快，降低了对访问性能的影响；在删除快照版本时，支持异步数据资源释放，降低了对IO访问性能的影响。能的影响。能的影响。
技术研发人员：张军伟 刘振军 陈森 王利虎
受保护的技术使用者：阿里巴巴集团控股有限公司
技术研发日：2020.03.31
技术公布日：2021/10/7