一种视频数据容错方法、装置、设备及存储介质与流程

本发明涉及计算机，特别涉及一种视频数据容错方法、装置、设备及存储介质。

背景技术：

1、随着计算机技术的发展，服务器存储的数据越来越多，单个服务器就没有办法满足存储数据的要求，因此发展出分布式存储系统。面对大量的数据存储就不得不考虑数据存储的可靠性，常用纠删码技术对数据做一定的冗余来增加系统的可靠性。纠删冗余规则技术是将存储的数据切分为k个数据块，通过编码算法计算出m个校验块，利用k+m个数据块中的任意k个数据块和校验块，其中已经读取到的数据块和校验块之和大于等于k，就能恢复原始的数据。通过该纠删码的纠删规则设定，就可控制存储空间大小，有利于提高存储的利用率。例如，纠删规则中数据块与校验块的比例为4比2时，存储系统可用的容量就为总容量的三分之二，在不超过两个节点故障的情况下保证数据的安全。

2、特别是视频行业在大量的分布式存储中的应用，视频客户一般都会选择纠删的冗余规则以提高存储的利用率。但是在大规模集群中，如果纠删比例设置较低，比如设置的纠删比为k+2，其中m为2，虽然得到的利用率比较高，但是当故障的数据块和校验块之和大于2的时候，有一部分数据就会读取失败，整个业务就会中断。视频行业大多数业务，比如视频监控等，它对业务的连贯性要求比较高，对于个别页面掉帧要求不高，不影响整提阅览。然而目前分布式存储的纠删规则，针对数据的强一致性，有一个数据块读取不到就判定整体业务中断。

3、因此，上述技术问题亟待本领域技术人员解决。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种视频数据容错方法、装置、设备及存储介质，能够提高存储利用率的情况下保证视频业务连续性。其具体方案如下：

2、本申请的第一方面提供了一种视频数据容错方法，包括：

3、根据业务需求定义第一纠删模式和第二纠删模式；其中，所述第一纠删模式用于常规纠删码冗余技术能够进行容错处理的场景，所述第二纠删模式用于常规纠删码冗余技术无法进行容错处理的场景；

4、确定存储目标视频数据的分布式存储系统中的故障节点数量；其中，故障节点数量与场景之间具有关联关系；

5、根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，以利用切换后的纠删模式对读取到的视频数据进行处理并发送至业务软件。

6、可选的，所述确定存储目标视频数据的分布式存储系统中的故障节点数量之前，还包括：

7、判断是否能够从分布式存储系统中读取所述目标视频数据的全部数据分块；

8、如果能读取到全部的数据分块，则确定不存故障节点，并直接根据读取到的全部数据分块发送至所述业务软件；

9、如果不能读取到全部的数据分块，则确定存在故障节点，并对可读取数据分块进行读取，以执行确定故障节点数量的步骤。

10、可选的，所述对可读取数据分块进行读取之后，还包括：

11、从分布式存储系统中读取可读取校验块，并确定可读取数据分块与可读取校验块的第一数量和；

12、计算所述第一数量和与所述目标视频数据对应的全部数据分块和全部校验块的第二数量和的差值，并将该差值确定为故障节点数量。

13、可选的，所述根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，包括：

14、如果故障节点数量小于全部校验块数量，则通过开关设置方式切换至所述第一纠删模式；

15、相应的，所述利用切换后的纠删模式对读取到的视频数据进行处理并发送至业务软件，包括：

16、利用所述第一纠删模式基于可读取数据分块与可读取校验块对所述目标视频数据进行恢复，并将恢复后的所述目标视频数据发送至所述业务软件。

17、可选的，所述根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，包括：

18、如果故障节点数量大于全部校验块数量，则通过开关设置方式切换至所述第二纠删模式；

19、相应的，所述利用切换后的纠删模式对读取到的视频数据进行处理并发送至业务软件，包括：

20、判断故障节点数量是否小于预设纠删冗余度，如果是，则对相应的视频数据内容进行补齐操作，并将补齐后的视频数据内容发送至所述业务软件，使得所述业务软件对补齐后的视频数据内容进行连贯显示。

21、可选的，所述判断故障节点数量是否小于预设纠删冗余度之后，还包括：

22、如果否，则向所述业务软件输出报错信息，以中断所述业务软件的业务进程。

23、可选的，所述预设纠删冗余度为位于全部校验块数量和所述第二数量和之间的数值。

24、本申请的第二方面提供了一种视频数据容错装置，包括：

25、模式定义模块，用于根据业务需求定义第一纠删模式和第二纠删模式；其中，所述第一纠删模式用于常规纠删码冗余技术能够进行容错处理的场景，所述第二纠删模式用于常规纠删码冗余技术无法进行容错处理的场景；

26、故障节点确定模块，用于确定存储目标视频数据的分布式存储系统中的故障节点数量；其中，故障节点数量与场景之间具有关联关系；

27、容错处理模块，用于根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，以利用切换后的纠删模式对读取到的视频数据进行容错处理并发送至业务软件。

28、本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述视频数据容错方法。

29、本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述视频数据容错方法。

30、本申请中，先根据业务需求定义第一纠删模式和第二纠删模式；其中，所述第一纠删模式用于常规纠删码冗余技术能够进行容错处理的场景，所述第二纠删模式用于常规纠删码冗余技术无法进行容错处理的场景；然后确定存储目标视频数据的分布式存储系统中的故障节点数量；最后根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，以利用切换后的纠删模式对读取到的视频数据进行处理并发送至业务软件。可见，本申请通过定义不同的纠删模式，根据与场景具有关联关系的故障节点数量实现在不同场景下切换不同纠删模式，从而提高存储利用率的情况下保证视频业务连续性。

技术特征：

1.一种视频数据容错方法，其特征在于，包括：

2.根据权利要求1所述的视频数据容错方法，其特征在于，所述确定存储目标视频数据的分布式存储系统中的故障节点数量之前，还包括：

3.根据权利要求2所述的视频数据容错方法，其特征在于，所述对可读取数据分块进行读取之后，还包括：

4.根据权利要求3所述的视频数据容错方法，其特征在于，所述根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，包括：

5.根据权利要求3所述的视频数据容错方法，其特征在于，所述根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，包括：

6.根据权利要求5所述的视频数据容错方法，其特征在于，所述判断故障节点数量是否小于预设纠删冗余度之后，还包括：

7.根据权利要求5或6所述的视频数据容错方法，其特征在于，所述预设纠删冗余度为位于全部校验块数量和所述第二数量和之间的数值。

8.一种视频数据容错装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的视频数据容错方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的视频数据容错方法。

技术总结
本申请涉及计算机技术领域，公开了一种视频数据容错方法、装置、设备及存储介质，包括：根据业务需求定义第一纠删模式和第二纠删模式；其中，所述第一纠删模式用于常规纠删码冗余技术能够进行容错处理的场景，所述第二纠删模式用于常规纠删码冗余技术无法进行容错处理的场景；确定存储目标视频数据的分布式存储系统中的故障节点数量；根据故障节点数量在所述第一纠删模式与所述第二纠删模式之间进行模式切换，以利用切换后的纠删模式对读取到的视频数据进行处理并发送至业务软件。本申请通过定义不同的纠删模式，根据与场景具有关联关系的故障节点数量实现在不同场景下切换不同纠删模式，从而提高存储利用率的情况下保证视频业务连续性。

技术研发人员：邱中中,李铮鋆
受保护的技术使用者：济南浪潮数据技术有限公司
技术研发日：
技术公布日：2024/1/12