视频质量评价方法、装置、电子设备及存储介质与流程

本技术涉及视频质量评价领域，尤其涉及一种数据集生成方法和装置、视频质量评价模型的训练方法和装置、视频质量评价方法和装置、以及电子设备及存储介质。

背景技术：

1、在视频搜索或推荐场景下，为了给用户提供更优质的视频，需要对线上的视频进行质量评价。随着深度学习在视频质量评价领域的发展，视频质量评价模型(例如无参考评分模型)成为用于评价视频质量的一种重要方式。

2、然而，目前的视频质量评价模型，由于其训练用的视频量以及视频多样性具有较大的局限性，导致模型泛化性能较差，无法有效地应用于一些视频场景，例如在用户生成内容(user generated content，ugc)视频场景下的质量评价结果不够准确，影响用户的视频消费体验。

技术实现思路

1、本技术提供一种数据集生成方法和装置、视频质量评价模型的训练方法和装置、视频质量评价方法和装置、以及电子设备及存储介质，可以提高模型泛化性能。

2、第一方面，本技术实施例提供了一种数据集生成方法，所述方法包括：

3、根据视频质量指标，从视频库中筛选出第一视频集，所述第一视频集中的视频在所述视频质量指标下的指标值覆盖所述视频质量指标的取值范围；

4、根据视频属性，从所述第一视频集中筛选出第二视频集，所述第二视频集中的视频在所述视频属性下的属性值覆盖所述视频属性的取值范围；

5、根据视频特征，从所述第二视频集中筛选出第三视频集，所述第三视频集中的视频在所述视频特征下的特征值覆盖所述视频特征的取值范围；

6、根据所述第三视频集生成数据集，所述数据集用于训练视频质量评价模型。

7、通过上述实施例，综合视频质量指标、视频属性、视频特征等多个维度对视频进行由粗到细的筛选，最终筛选出的数据集涵盖了各种质量类型、各种属性特点以及各种细节特点的视频，丰富了视频的多样性，利用该数据集训练视频质量评价模型，能够增强模型对于各种视频的学习能力，从而提高模型泛化性能，使得模型能够有效地应用于多种视频场景，获得更准确的视频质量评价结果，有助于提升用户的视频消费体验。

8、在一些可能的实施方式中，所述视频质量指标包括：视频质量多方法评价融合指标、峰值信噪比和码率；

9、所述根据视频质量指标，从视频库中筛选出第一视频集，包括：

10、将所述视频质量指标的取值范围划分为多个取值区间；

11、对于所述视频质量指标的每个取值区间，从所述视频库中选取相应数量的满足所述取值区间的视频，获得所述第一视频集。

12、通过上述实施方式，将视频质量指标的取值范围划分为多个取值区间，对于每一取值区间，从视频库中选取相应数量的满足该取值区间的视频，据此筛选出的视频集涵盖了各种质量类型的视频，有助于保证视频集在质量维度的多样性。

13、在一些可能的实施方式中，所述视频属性包括：类别、码率、分辨率和横竖屏；

14、所述根据视频属性，从所述第一视频集中筛选出第二视频集，包括：

15、将所述视频属性的取值范围划分为多个取值区间；

16、对于所述视频属性的每个取值区间，从所述第一视频集中选取相应数量的满足所述取值区间的视频，获得所述第二视频集。

17、通过上述实施方式，将视频属性的取值范围划分为多个取值区间，对于每一取值区间，从第一视频集中选取相应数量的满足该取值区间的视频，据此筛选出的视频集涵盖了各种属性特点的视频，有助于保证视频集在属性维度的多样性。

18、在一些可能的实施方式中，所述视频特征包括：场景和目标特征，其中，所述目标特征包括：块效应、能量、模糊度、曝光度、对比度、边缘和色彩；

19、所述根据视频特征，从所述第二视频集中筛选出第三视频集，包括：

20、将每个目标特征的取值范围划分为多个取值区间，基于每个目标特征的取值区间，从所述第二视频集中确定一个对应的视频子集；

21、从未被选取的视频子集中选取当前视频子集；

22、从所述当前视频子集中未被选取的视频中选取当前视频；

23、在添加到待填充视频集中的视频数量未达到预设数量的情况下，执行以下处理过程，直至添加到所述待填充视频集中的视频数量达到所述预设数量，将所述待填充视频集确定为所述第三视频集；所述处理过程包括：

24、若所述当前视频满足条件，则将所述当前视频添加到所述待填充视频集中，并在所述当前视频子集中存在未被选取的视频的情况下，返回所述从所述当前视频子集中未被选取的视频中选取当前视频的步骤，或者在所述当前视频子集中不存在未被选取的视频的情况下，返回所述从未被选取的视频子集中选取当前视频子集的步骤；

25、若所述当前视频不满足所述条件，则在所述当前视频子集中存在未被选取的视频的情况下，返回所述从所述当前视频子集中未被选取的视频中选取当前视频的步骤，或者在所述当前视频子集中不存在未被选取的视频的情况下，返回所述从未被选取的视频子集中选取当前视频子集的步骤；

26、其中，所述条件包括：所述当前视频不在所述待填充视频集中，所述当前视频的场景在所述待填充视频集中所对应的视频数量与所述预设数量的比值不超过预设比例，以及所述当前视频的目标特征与已添加到所述待填充视频集中的每个视频的目标特征之间的欧式距离均大于预设阈值。

27、通过上述实施方式，从第二视频集中筛选出满足条件的视频，该条件考虑到了视频在场景特征和各目标特征下的差异，据此筛选出的视频集涵盖了各种细节特点的视频，有助于保证视频集在特征维度的多样性。

28、在一些可能的实施方式中，根据所述第三视频集生成数据集，包括：

29、从所述第三视频集中筛选出待降质视频，对所述待降质视频进行降质处理获得第四视频集；

30、根据所述第三视频集和所述第四视频集生成数据集。

31、通过上述实施方式，在用于训练视频质量评价模型的数据集中添加降质后视频，有助于增强模型对于因视频技术缺陷导致的低质视频的学习能力，从而进一步提高模型泛化性能。

32、在一些可能的实施方式中，所述对所述待降质视频进行降质处理获得第四视频集，包括：

33、从所述待降质视频中抽取至少一帧图像，对每帧图像进行图像维度的降质处理，获得第一降质后视频，其中，所述图像维度的降质处理包括：图像编码、降采样、高斯模糊和高斯加噪；

34、对所述待降质视频进行视频维度的降质处理，获得第二降质后视频，其中，所述视频维度的降质处理包括：视频编码、降采样、高斯模糊和高斯加噪；

35、根据所述第一降质后视频和所述第二降质后视频获得第四视频集。

36、通过上述实施方式，结合图像降质和视频降质，可以生成丰富的因视频技术缺陷导致的低质视频，有利于覆盖到更多的低质场景，增强模型对低质视频的泛化能力。

37、第二方面，本技术实施例提供了一种视频质量评价模型的训练方法，所述方法包括：

38、获取样本数据集，所述样本数据集中的每个样本视频标注有第一打分结果，所述样本数据集为根据上述第一方面及其任意一种可能的实施方式中的方法生成的数据集；

39、利用待训练视频质量评价模型对所述样本视频进行打分，获得所述样本视频的第二打分结果，根据所述样本视频的第二打分结果及其对应的第一打分结果计算损失，根据所述损失调整所述待训练视频评价模型的参数，直至满足训练结束条件，获得所述视频质量评价模型。

40、通过上述实施例，用于训练视频质量评价模型的数据集，是综合视频质量指标、视频属性、视频特征等多个维度对视频进行由粗到细的筛选所获得的数据集，该数据集涵盖了各种质量类型、各种属性特点以及各种细节特点的视频，丰富了视频的多样性，利用该数据集训练视频质量评价模型，能够增强模型对于各种视频的学习能力，从而提高模型泛化性能，使得模型能够有效地应用于多种视频场景，获得更准确的视频质量评价结果，有助于提升用户的视频消费体验。

41、第三方面，本技术实施例提供了一种视频质量方法，所述方法包括：

42、获取待评价视频；

43、利用根据上述第二方面中的方法训练获得的视频质量评价模型，对所述待评价视频进行打分，获得所述待评价视频的质量评价结果。

44、通过上述实施例，利用视频质量评价模型对待评价视频进行质量评价，该视频质量评价模型训练用的数据集，是综合视频质量指标、视频属性、视频特征等多个维度对视频进行由粗到细的筛选所获得的数据集，该数据集涵盖了各种质量类型、各种属性特点以及各种细节特点的视频，丰富了视频的多样性，利用该数据集训练视频质量评价模型，能够增强模型对于各种视频的学习能力，从而提高模型泛化性能，使得模型能够有效地应用于多种视频场景，获得更准确的视频质量评价结果，有助于提升用户的视频消费体验。

45、第四方面，本技术实施例提供了一种数据集生成装置，所述装置包括：

46、第一筛选单元，用于根据视频质量指标，从视频库中筛选出第一视频集，所述第一视频集中的视频在所述视频质量指标下的指标值覆盖所述视频质量指标的取值范围；

47、第二筛选单元，用于根据视频属性，从所述第一视频集中筛选出第二视频集，所述第二视频集中的视频在所述视频属性下的属性值覆盖所述视频属性的取值范围；

48、第三筛选单元，用于根据视频特征，从所述第二视频集中筛选出第三视频集，所述第三视频集中的视频在所述视频特征下的特征值覆盖所述视频特征的取值范围；

49、生成单元，用于根据所述第三视频集生成数据集，所述数据集用于训练视频质量评价模型。

50、在一些可能的实施方式中，所述视频质量指标包括：视频质量多方法评价融合指标、峰值信噪比和码率；所述第一筛选单元具体用于：将所述视频质量指标的取值范围划分为多个取值区间；对于所述视频质量指标的每个取值区间，从所述视频库中选取相应数量的满足所述取值区间的视频，获得所述第一视频集。

51、在一些可能的实施方式中，所述视频属性包括：类别、码率、分辨率和横竖屏；所述第二筛选单元具体用于：将所述视频属性的取值范围划分为多个取值区间；对于所述视频属性的每个取值区间，从所述第一视频集中选取相应数量的满足所述取值区间的视频，获得所述第二视频集。

52、在一些可能的实施方式中，所述视频特征包括：场景和目标特征，其中，所述目标特征包括：块效应、能量、模糊度、曝光度、对比度、边缘和色彩；所述第三筛选单元具体用于：

53、将每个目标特征的取值范围划分为多个取值区间，基于每个目标特征的取值区间，从所述第二视频集中确定一个对应的视频子集；

54、从未被选取的视频子集中选取当前视频子集；

55、从所述当前视频子集中未被选取的视频中选取当前视频；

56、在添加到待填充视频集中的视频数量未达到预设数量的情况下，执行以下处理过程，直至添加到所述待填充视频集中的视频数量达到所述预设数量，将所述待填充视频集确定为所述第三视频集；所述处理过程包括：

57、若所述当前视频满足条件，则将所述当前视频添加到所述待填充视频集中，并在所述当前视频子集中存在未被选取的视频的情况下，返回所述从所述当前视频子集中未被选取的视频中选取当前视频的步骤，或者在所述当前视频子集中不存在未被选取的视频的情况下，返回所述从未被选取的视频子集中选取当前视频子集的步骤；

58、若所述当前视频不满足所述条件，则在所述当前视频子集中存在未被选取的视频的情况下，返回所述从所述当前视频子集中未被选取的视频中选取当前视频的步骤，或者在所述当前视频子集中不存在未被选取的视频的情况下，返回所述从未被选取的视频子集中选取当前视频子集的步骤；

59、其中，所述条件包括：所述当前视频不在所述待填充视频集中，所述当前视频的场景在所述待填充视频集中所对应的视频数量与所述预设数量的比值不超过预设比例，以及所述当前视频的目标特征与已添加到所述待填充视频集中的每个视频的目标特征之间的欧式距离均大于预设阈值。

60、在一些可能的实施方式中，所述生成单元具体用于：从所述第三视频集中筛选出待降质视频，对所述待降质视频进行降质处理获得第四视频集；根据所述第三视频集和所述第四视频集生成数据集。

61、在一些可能的实施方式中，所述生成单元在对所述待降质视频进行降质处理获得第四视频集时，具体用于：从所述待降质视频中抽取至少一帧图像，对每帧图像进行图像维度的降质处理，获得第一降质后视频，其中，所述图像维度的降质处理包括：图像编码、降采样、高斯模糊和高斯加噪；对所述待降质视频进行视频维度的降质处理，获得第二降质后视频，其中，所述视频维度的降质处理包括：视频编码、降采样、高斯模糊和高斯加噪；根据所述第一降质后视频和所述第二降质后视频获得第四视频集。

62、第五方面，本技术实施例提供了一种视频质量评价模型的训练装置，所述装置包括：

63、获取单元，用于获取样本数据集，所述样本数据集中的每个样本视频标注有第一打分结果，所述样本数据集为根据上述第一方面及其任意一种可能的实施方式中的方法生成的数据集；

64、训练单元，用于利用待训练视频质量评价模型对所述样本视频进行打分，获得所述样本视频的第二打分结果，根据所述样本视频的第二打分结果及其对应的第一打分结果计算损失，根据所述损失调整所述待训练视频质量评价模型的参数，直至满足训练结束条件，获得所述视频质量评价模型。

65、第六方面，本技术实施例提供了一种视频质量评价装置，所述装置包括：

66、获取单元，用于获取待评价视频；

67、评价单元，用于利用根据上述第二方面中的方法训练获得的视频质量评价模型，对所述待评价视频进行打分，获得所述待评价视频的质量评价结果。

68、第七方面，本技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其任意一种可能的实施方式中的方法，或者上述第二方面中的方法，或者上述第三方面中的方法。

69、第八方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面及其任意一种可能的实施方式中的方法，或者上述第二方面中的方法，或者上述第三方面中的方法。

70、第九方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面及其任意一种可能的实施方式中的方法，或者上述第二方面中的方法，或者上述第三方面中的方法。

71、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术的技术方案。