流媒体视频补帧方法、装置及计算机设备与流程

本发明涉及视频帧处理，具体涉及一种流媒体视频补帧方法、装置及计算机设备。

背景技术：

1、流媒体已经遍布人们工作生活的方方面面，例如电视、手机、笔记本等各种终端中都要使用流媒体进行视频及云视频播放。相应的，人们对视频播放质量的要求，包括清晰度、流畅性、实时性等方面要求也越来越高。很多流媒体场景比如云游戏的云渲染(rendering)，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码。这样，端侧可以获取到高质量的渲染内容实现视频播放。

2、现有技术中在保持视频帧渲染效果的视频帧超分辨预处理时，重点放在视频帧的分辨率提升上，而造成对流媒体视频整体连贯性的忽视，使得最终渲染得到的流媒体视频出现卡顿、黑屏等不良现象，影响最终渲染效果。

技术实现思路

1、本发明的目的在于提供一种流媒体视频补帧方法、装置及计算机设备，以解决现有技术中造成对流媒体视频整体连贯性的忽视，使得最终渲染得到的流媒体视频出现卡顿、黑屏等不良现象，影响最终渲染效果的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、在本发明的第一个方面，一种流媒体视频补帧方法，包括以下步骤：

4、获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；

5、对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，所述第一损坏帧对应于第一超分辨率视频帧中的损坏帧；

6、根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；

7、根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，所述补偿模型为神经网络，或所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；

8、将第一损坏帧的补偿帧替换至超分辨率流媒体视频中。

9、作为本发明的一种优选方案，所述对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，包括：

10、依次将各个第一超分辨率视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一超分辨率视频帧的分类标签，所述分类标签包括损坏帧和非损坏帧；

11、将具有损坏帧标签的第一超分辨率视频帧作为所述第一损坏帧；

12、将具有非损坏帧标签的第一超分辨率视频帧作为所述第一非损坏帧；

13、所述视频帧分类模型由神经网络对第一超分辨率视频帧进行大数据训练得到。

14、作为本发明的一种优选方案，所述第二超分辨率视频帧的筛选，包括：

15、提取出所述序列顺序中位于第一损坏帧前侧的所有第一非损坏帧；

16、将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第一筛选定位帧；

17、提取出所述序列顺序中位于第一损坏帧后侧的所有第一非损坏帧；

18、将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第二筛选定位帧；

19、将第一筛选定位帧和第二筛选定位帧进行图像相似度比较，其中，

20、当第一筛选定位帧与第二筛选定位帧的图像相似度大于或等于预设阈值，则将第一筛选定位帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将第二筛选定位帧标记为位于第一损坏帧后侧的第二超分辨率视频帧；

21、当第一筛选定位帧与第二筛选定位帧的图像相似度小于预设阈值，则将所述前侧的所有第一非损坏帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将后侧的所有第一非损坏帧标记为位于第一损坏帧后侧的第二超分辨率视频帧。

22、作为本发明的一种优选方案，利用所述关联映射关系构建补偿模型，包括：

23、将位于第一损坏帧前侧的第二超分辨率视频帧利用ssd检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；

24、位于第一损坏帧后侧的第二超分辨率视频帧利用ssd检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；

25、将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；

26、其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的至少一种。

27、作为本发明的一种优选方案，利用神经网络构建补偿模型，包括：

28、将位于第一损坏帧前侧的第二超分辨率视频帧依所述序列顺序进行预测性训练，得到位于第一损坏帧前侧的补偿帧预测网络；

29、将位于第一损坏帧后侧的第二超分辨率视频帧依所述序列顺序的反向 顺序进行预测性训练，得到位于第一损坏帧后侧的补偿帧预测网络；

30、将位于第一损坏帧前侧的补偿帧预测网络的输出项，利用ssd检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；

31、将位于第一损坏帧后侧的补偿帧预测网络的输出项，利用ssd检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；

32、将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；

33、其中，对应尺寸特征的融合规则为取大值、取小值或加权平均中的至少一种；

34、所述位于第一损坏帧前侧的补偿帧预测网络的网络表达式为：gk=lstm(g1,g2,…,gk-1)；式中，gk为第一损坏帧，g1,g2,…,gk-1分别为位于第一损坏帧前侧的第1到第k-1个第二超分辨率视频帧；gk=lstm(gn,gn-1,…,gk+1)；式中，gk为第一损坏帧，gk+1,…,gn-1,gn分别为位于第一损坏帧后侧的第k+1到第n个第二超分辨率视频帧。作为本发明的一种优选方案，所述根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，包括：

35、当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为第一筛选定位帧，第二筛选定位帧，则

36、将第一筛选定位帧，第二筛选定位帧，利用对应关联映射关系的补偿模型，得到第一损坏帧的补偿帧；

37、当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为所述前侧的所有第一非损坏帧，所述后侧的所有第一非损坏帧，则

38、将所述前侧的所有第一非损坏帧，所述后侧的所有第一非损坏帧，利用对应神经网络的补偿模型，得到第一损坏帧的补偿帧。

39、作为本发明的一种优选方案，所述图像相似度的量化方法包括互信息、ssim结构相似性、哈希算法和直方图中至少一种。

40、作为本发明的一种优选方案，提取第一损坏帧的补偿帧的分辨率；

41、将第一损坏帧的补偿帧的分辨率与第一超分辨率视频帧的分辨率进行比较，其中，

42、当第一损坏帧的补偿帧的分辨率高于或等于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；

43、当第一损坏帧的补偿帧的分辨率小于第一超分辨率视频帧的分辨率，则将第一损坏帧的补偿帧进行超分辨率处理，得到提升分辨率后的第一损坏帧的补偿帧，将提升分辨率后的第一损坏帧的补偿帧替换至超分辨率流媒体视频中。

44、在本发明的第二个方面，本发明提提供了一种流媒体视频补帧装置，包括：

45、数据获取模块，用于获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；

46、数据处理模块，用于根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；

47、根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧；

48、以及将第一损坏帧的补偿帧替换至超分辨率流媒体视频中；

49、数据存储模块，用于存储补偿模型。

50、在本发明的第三个方面，本发明提提供了一种计算机设备，

51、至少一个处理器；以及

52、与所述至少一个处理器通信连接的存储器；

53、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行流媒体视频补帧方法。

54、在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现流媒体视频补帧方法。

55、本发明与现有技术相比较具有如下有益效果：

56、本发明通过构建补偿模型，实现对流媒体视频中的损坏帧进行补偿，保证渲染过程中流媒体视频整体连贯性，避免出现卡顿、黑屏等不良现象，补偿模型中运用位于第一损坏帧两侧的第一超分辨视频帧进行损坏帧补偿，从序列顺序的两个方向解析视频帧间的动量趋势，最大程度的还原损坏帧的原始内容，达到最佳的补偿效果。