视频质量评估方法、装置、设备及计算机存储介质与流程

本技术涉及计算机，尤其涉及视频，提供一种视频质量评估方法、装置、设备及计算机存储介质。

背景技术：

1、在线通信视频提供了更方便的沟通环境，视频质量决定了使用体验，视频质量往往受到终端设备、物理环境、网络状况以及编码器等多方面因素的影响，准确的进行视频质量评估对于编解码工具优化、低质量场景分析等下游应用的前提。目前，通信视频质量评估方法主要是通过线下有参考的方式，即通过对比视频的期望输入与实际输出的差异，来对输出的视频质量进行评估，并反向优化通信工具。

2、但是，在实际场景中，线上实时的视频质量评估更符合实际效果，更具备实用价值。但由于线上通信视频质量进行评估时没有参考源，输入数据只有实际的通信视频数据，只能采用纯无参考的方式，因而如何有效衡量在线视频质量是亟待解决的问题。

技术实现思路

1、本技术实施例提供一种视频质量评估方法、装置、设备及计算机存储介质，用于提升搜索结果呈现的精准性，提升内容查找效率。

2、一方面，提供一种视频质量评估方法，所述方法包括：

3、播放在线视频流，在播放过程中，持续基于每个单位时长内检测得到的视频播放流畅度，获得相应单位时长的时域流畅度特征；

4、持续从所述在线视频流中抽取视频帧，并分别对抽取的各个视频帧进行空域特征提取，获得所述各个视频帧相应的空域图像特征；

5、基于获得的各时域流畅度特征，获得相应的时域特征总向量，以及基于获得的各空域图像特征，获得相应的空域特征总向量；

6、对所述空域特征总向量和所述时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于所述融合特征向量，确定所述在线视频流的视频质量评估值。

7、一方面，提供一种视频质量评估模型的训练方法，所述方法包括：

8、通过多个视频播放样本，对所述视频质量评估模型进行多次迭代训练；其中，在每一次迭代训练时，执行如下操作：

9、从输入的视频播放样本中抽取视频帧，并分别对抽取的各视频帧进行空域特征提取，获得相应的空域图像特征，以及，根据视频播放样本中每个单位时长的播放流畅度，获得相应单位时长的时域流畅度特征；

10、基于获得的各空域图像特征，获得相应的空域特征总向量，以及基于获得的各时域流畅度特征，获得相应的时域特征总向量；

11、对所述空域特征总向量和所述时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于所述融合特征向量，确定视频质量评估值；

12、基于所述多个视频播放样本的视频质量真实值以及视频质量评估值，确定模型损失值，并基于所述模型损失值进行模型参数更新。

13、一方面，提供一种视频质量评估装置，所述装置包括：

14、视频播放单元，用于播放在线视频流；

15、时域检测单元，用于在播放过程中，持续基于每个单位时长内检测得到的视频播放流畅度，获得相应单位时长的时域流畅度特征；

16、空域检测单元，用于持续从所述在线视频流中抽取视频帧，并分别对抽取的各个视频帧进行空域特征提取，获得所述各个视频帧相应的空域图像特征；

17、所述时域检测单元，还用于基于获得的各时域流畅度特征，获得相应的时域特征总向量，以及，

18、所述空域检测单元，还用于基于获得的各空域图像特征，获得相应的空域特征总向量；

19、质量评估单元，用于对所述空域特征总向量和所述时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于所述融合特征向量，确定所述在线视频流的视频质量评估值。

20、可选的，所述装置还包括周期检测单元，用于：

21、确定目标视频评估周期内抽取的视频帧数量是否达到设定数量阈值；

22、则所述时域检测单元，具体用于在达到所述设定数量阈值时，基于所述目标视频评估周期内获得的各时域流畅度特征，获得相应的时域特征总向量，

23、所述时域检测单元，具体用于在达到所述设定数量阈值时，基于所述目标视频评估周期内获得的各空域图像特征，获得相应的空域特征总向量；

24、则所述质量评估单元，具体用于基于所述融合特征向量，确定所述在线视频流在所述目标视频评估周期内的视频质量评估值。

25、可选的，所述空域检测单元，具体用于：

26、针对所述各个视频帧，分别执行如下操作：

27、针对一个视频帧，通过卷积神经网络单元对所述一个视频帧进行基础特征提取，获得所述一个视频帧的初始特征图；

28、将所述初始特征图输入多个连续的基本移动网络单元，获得最后一个基本移动网络单元的输出特征图，并基于所述输出特征图获得所述空域图像特征；其中，每个基本移动网络单元的处理过程包括对输入特征图进行升维度处理，获得第一中间特征图，并对所述第一中间特征图进行深度可分离卷积处理，获得第二中间特征图，以及对所述第二中间特征图进行基于注意力机制的处理，获得第三中间特征图，并对所述第三中间特征图和所述输入特征图进行残差处理，获得输出特征图。

29、可选的，所述空域检测单元，具体用于：

30、从所述一个视频帧对应的多个通道的图像数据中，获取灰阶值通道对应的图像数据，所述多个通道包括灰阶值通道和色度通道；

31、通过所述卷积神经网络单元，对所述灰阶值通道对应的图像数据进行基础特征提取，获得所述初始特征图。

32、可选的，所述空域检测单元，具体用于：

33、对所述各空域图像特征进行拼接处理，获得所述空域特征总向量；

34、对所述各空域图像特征进行均值化处理，获得所述空域特征总向量；

35、对所述各空域图像特征进行池化处理，获得所述空域特征总向量。

36、可选的，所述时域检测单元，具体用于：

37、针对每个单位时长，执行以下操作：

38、基于一个单位时长播放的视频帧与距离所述一个单位时长最近的至少一个历史单位时长播放的视频帧之间的差异，确定在所述一个单位时长内是否发生卡顿；

39、基于确定结果对所述一个单位时长进行标记，获得相应的时域流畅度特征；其中，当确定结果为流畅时，则标记第一值，当确定结果为卡顿时，则标记第二值。

40、可选的，所述时域检测单元，具体用于：

41、将获得的各时域流畅度特征按照对应的单位时长之间的先后顺序进行排列，获得时域流畅度特征序列；

42、基于设定的特征值统计规则，从所述时域流畅度特征序列中，统计得到多种时域特征参数各自对应的取值；

43、基于所述多种时域特征参数各自的取值，获得所述时域特征总向量。

44、可选的，所述质量评估单元，具体用于：

45、对所述时域特征总向量进行特征放缩处理，使得所述时域特征总向量与所述空域特征总向量的尺寸一致；

46、基于所述空域特征总向量和所述时域特征总向量之间的差值，获得所述融合特征向量；

47、将所述融合特征向量输入至全连接层，获得所述全连接层输出的视频质量评估值。

48、一方面，提供一种视频质量评估模型的训练装置，所述装置包括：

49、模型训练单元，用于通过多个视频播放样本，对所述视频质量评估模型进行多次迭代训练；其中，所述模型训练单元，具体包括：

50、空域检测子单元，用于从输入的视频播放样本中抽取视频帧，并分别对抽取的各视频帧进行空域特征提取，获得相应的空域图像特征，以及基于获得的各空域图像特征，获得相应的空域特征总向量；

51、时域检测子单元，用于根据视频播放样本中每个单位时长的播放流畅度，获得相应单位时长的时域流畅度特征，以及基于获得的各时域流畅度特征，获得相应的时域特征总向量；

52、质量评估子单元，用于对所述空域特征总向量和所述时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于所述融合特征向量，确定视频质量评估值；

53、参数更新子单元，用于基于所述多个视频播放样本的视频质量真实值以及视频质量评估值，确定模型损失值，并基于所述模型损失值进行模型参数更新。

54、可选的，所述多个视频播放样本为在不同的视频损伤模拟环境下，对视频接收端播放的原始视频流进行录制得到的；

55、则所述模型训练单元，具体用于基于所述多个视频播放样本构建的多个训练样本组，对所述视频质量评估模型进行多次迭代训练，每个训练样本组包括源自同一原始视频流但视频损伤模拟环境不同的两个视频播放样本；

56、则所述参数更新子单元，具体用于基于各训练样本组内视频播放样本的视频质量真实值以及视频质量评估值，确定所述模型损失值。

57、可选的，所述参数更新子单元，具体用于：

58、基于每个视频播放样本的视频质量真实值以及视频质量评估值，确定质量评估损失值；

59、基于每个训练样本组内两个视频播放样本的视频质量真实值，确定该训练样本组的质量排序真实值，并基于两个视频播放样本的视频质量评估值的差值以及所述质量排序真实值，确定质量排序损失值；

60、基于每个视频播放样本的视频质量真实值以及视频质量评估值之间的差值，确定质量分类损失值；

61、基于所述质量评估损失值、所述质量排序损失值和所述质量分类损失值，确定所述模型损失值。

62、可选的，所述参数更新子单元，具体用于：

63、确定所述输入的视频播放样本的视频质量真实值的第一均值，以及视频质量评估值的第二均值；

64、针对每个视频播放样本，确定视频质量真实值与所述第一均值之间的第一差值，以及视频质量评估值与所述第二均值之间的第二差值；

65、基于获得的各第一差值以及各第二差值，确定所述输入的视频播放样本的批量线性损失值；

66、基于所述批量线性损失值，确定所述模型损失值。

67、一方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法的步骤。

68、一方面，提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种方法的步骤。

69、一方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述任一种方法的步骤。

70、本技术实施例中，在线视频流播放过程中，持续基于每个单位时长内检测得到的视频播放流畅度，获得相应单位时长的时域流畅度特征，并且，还持续从在线视频流中抽取视频帧，并分别对抽取的各个视频帧进行空域特征提取，获得各个视频帧相应的空域图像特征，进而基于获得的各时域流畅度特征，获得相应的时域特征总向量，以及基于获得的各空域图像特征，获得相应的空域特征总向量，通过对空域特征总向量和时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于融合特征向量，确定在线视频流的视频质量评估值，可见，本技术实施例同时考虑了在线视频流的空域和时域两个维度的特征，综合两个特征来表达在线视频流的视频质量，提升了视频质量评估的准确性。此外，本技术实施例还实现了对在线视频流进行实时的质量评估，提升了在线视频流质量评估的实时性，有助于辅助对在线视频流进行优化。