技术特征：
1.一种云存储系统的快速数据校验方法，其特征在于，所述方法在云存储系统中执行，并且所述方法包括：接收抽样校验指令；从所述抽样校验指令中提取校验目标文件所需的数据文件，基于所提取的数据文件，获取需要抽样的数据集，形成需要校验的数据集的元数据，并分析所述需要校验的数据集的元数据；根据对所述元数据的分析结果和所述目标文件的数据块的服务节点数量，将数据校验过程分割成多个校验子任务；并行执行所述多个校验子任务，以校验数据。2.根据权利要求1所述的方法，其特征在于，所提取的数据文件包括：所述目标文件，与所述目标文件相应的校验码文件，抽样校验比例，其中，所述校验码文件包括校验算法，校验码长度，校验码数组长度，校验码数组和校验码。3.根据权利要求2所述的方法，其特征在于，基于所提取的数据文件，获取需要校验的数据集包括：基于所提取的数据文件，调用抽样规则，获取需要校验的数据集，其中，所述抽样规则采用随机抽样算法，以指定的比例进行抽样。4.根据权利要求3所述的方法，其特征在于，基于所提取的数据文件，调用抽样规则，获取需要校验的数据集包括：将所述目标文件按照预设的逻辑数据块大小进行平均分割，得到多个逻辑数据块；基于所述抽样校验比例，对所述多个逻辑数据块进行抽样，得到需要校验的数据集。5.根据权利要求1所述的方法，其特征在于，分析所述需要校验的数据集的元数据包括：对所述元数据进行分析和处理，删除所述元数据中的重复数据。6.根据权利要求5所述的方法，其特征在于，删除所述元数据中的重复数据包括：将所述元数据中引用到的相同数据块的条目重排到一起；删除所述相同数据块中的重复数据。7.根据权利要求1所述的方法，其特征在于，并行执行所述多个校验子任务包括：基于预定的分发策略，将所述多个校验子任务分发给多个分布式存储节点；由所述多个分布式存储节点分别执行所述多个校验子任务；其中，所述预定的分发策略是各个分布式存储节点先负责存储在本存储节点的数据对应的校验子任务，空闲时再接收其他分布式存储节点的存储的数据对应的校验子任务。8.根据权利要求7所述的方法，其特征在于，由所述多个分布式存储节点分别执行所述多个校验子任务包括：所述多个分布式存储节点分别接收相应的校验子任务，所述校验子任务中包括需要校验的数据的元数据和相应位置的校验码；所述多个分布式存储节点分别根据所述需要校验的数据的元数据读取相应的数据块，调用校验方法，计算所读取的相应的数据块的校验码；将所计算的校验码与相应的校验子任务中包括的相应位置的校验码进行比对；如果所计算的校验码与相应的校验子任务中包括的相应位置的校验码一致，则判断数据无差错，数据校验通过；否则，则判断数据有错误，数据校验未通过。
9.一种云存储系统的快速数据校验装置，其特征在于，所述装置包括：接收模块，被配置为接收抽样校验指令；预处理模块，被配置为从所述抽样校验指令中提取校验目标文件所需的数据文件，基于所提取的数据文件，获取需要抽样的数据集，形成需要校验的数据集的元数据，并分析所述需要校验的数据集的元数据；分发调度模块，被配置为根据对所述元数据的分析结果和所述目标文件的数据块的服务节点数量，将数据校验过程分割成多个校验子任务；执行模块，被配置为并行执行所述多个校验子任务，以校验数据。10.一种云存储系统的快速数据校验系统，其特征在于，所述系统包括：备份系统节点，被配置为接收用户发起的抽样校验指令；云存储系统，包括文件服务节点，被配置为接收抽样校验指令；元数据服务集群，被配置为：从所述抽样校验指令中提取校验目标文件所需的数据文件，基于所提取的数据文件，获取需要抽样的数据集，形成需要校验的数据集的元数据，并分析所述需要校验的数据集的元数据；根据对所述元数据的分析结果和所述目标文件的数据块的服务节点数量，将数据校验过程分割成多个校验子任务；多个数据块存储节点，被配置为并行执行所述多个校验子任务，以校验数据。
技术总结
本发明公开了一种云存储系统的快速数据校验方法、装置及系统。其中，该方法包括：所述方法在云存储系统中执行，并且所述方法包括：接收抽样校验指令；从所述抽样校验指令中提取校验目标文件所需的数据文件，基于所提取的数据文件，获取需要抽样的数据集，形成需要校验的数据集的元数据，并分析所述需要校验的数据集的元数据；根据对所述元数据的分析结果和所述目标文件的数据块的服务节点数量，将数据校验过程分割成多个校验子任务；并行执行所述多个校验子任务，以校验数据。本发明解决了由于从分布式文件系统客户端读取文件时，数据需要经历比传统文件系统更长的路径而造成的校验速度较慢、错误风险较高的技术问题。错误风险较高的技术问题。错误风险较高的技术问题。
技术研发人员：陈元强 蔡涛 吴健辉
受保护的技术使用者：深圳市木浪云科技有限公司
技术研发日：2021.09.24
技术公布日：2022/3/8