视频质量预测方法、装置、电子设备、存储介质与流程

1.本公开涉及互联网技术领域，尤其涉及一种视频质量预测方法、装置、电子设备、存储介质和计算机程序产品。


背景技术：

2.随着多媒体领域的发展，每个用户均可以成为视频内容的生产者，被普通用户生产出来的内容被称为用户生成内容(ugc，user-generated content)，与专业生产者所生成的视频内容相比，ugc视频拍摄的状态较差、拍摄设备普通、传输状态不够稳定，需要通过视频质量评估(vqa，visual quality transformer)将客观质量较低的视频筛选出来进行处理。
3.由于ugc视频中包含的较多类型低质特征分布于不同的帧，持续时长也存在差异，给视频质量评估任务带来了困难，传统方法是基于传统手工设计的特征对低质特征进行建模，且对视频评估依赖于所有帧的预测结果进行平均，计算复杂度较高，在实际应用场景中也较为受限，视频质量评估任务难度大。


技术实现要素：

4.本公开提供一种视频质量预测方法、装置、电子设备、存储介质和计算机程序产品，以至少解决相关技术中存在视频质量评估任务难度大的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种视频质量预测方法，包括：
6.获取待预测视频对应的帧集合；所述帧集合为对所述待预测视频进行间隔帧采样得到；
7.基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；其中，各所述关键帧序列包含从所述帧集合中选取出的至少两个关键帧，且多个所述关键帧序列对应的关键帧在时序上具有不同稀疏程度；
8.基于所述帧集合对应的整体帧间特征，得到所述待预测视频的视觉质量预测结果。
9.在一种可能实现方式中，所述基于所述帧集合确定出多个关键帧序列，包括：
10.获取所述帧集合包含的帧数量和预设稀疏参数；所述预设稀疏参数用于表征从所述帧集合中选取关键帧的最大稀疏程度；
11.根据所述帧集合包含的帧数量和所述预设稀疏参数，确定用于获取所述分支帧间特征的分支数量；多个分支中每个分支用于获取在时序上具有一种稀疏程度的关键帧之间的帧间特征相关性，作为所述每个分支对应的分支帧间特征，所述一种稀疏程度小于所述最大稀疏程度；
12.从所述帧集合确定出多个关键帧，并基于多个所述关键帧确定出与所述分支数量对应的多个关键帧序列。
13.在一种可能实现方式中，所述从所述帧集合确定出多个关键帧，并基于多个所述关键帧确定出与所述分支数量对应的多个关键帧序列，包括：
14.针对每个分支，获取所述每个分支对应的关键帧的稀疏程度；
15.根据所述每个分支对应的关键帧的稀疏程度，确定所述每个分支对应的关键帧数量；
16.基于所述每个分支对应的关键帧的稀疏程度和所述每个分支对应的关键帧数量，从所述帧集合中选取出与所述关键帧数量对应的关键帧，得到所述每个分支对应的关键帧序列。
17.在一种可能实现方式中，所述获取每个分支对应的关键帧的稀疏程度，包括：
18.获取所述每个分支在所述多个分支中的序号；
19.基于所述每个分支在所述多个分支中的序号以及所述预设稀疏参数，确定所述每个分支对应的关键帧的稀疏程度。
20.在一种可能实现方式中，所述确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，包括：
21.针对每个关键帧序列，根据所述关键帧序列包含的各关键帧对应的重要程度，确定所述关键帧序列包含的关键帧之间的特征相关性，作为所述关键帧序列对应的分支帧间特征；
22.其中，所述各关键帧对应的重要程度为利用注意力机制计算所述帧集合中各帧在注意力图中的重要程度得到。
23.在一种可能实现方式中，所述由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征，包括：
24.将多个所述关键帧序列对应的多个分支帧间特征进行特征拼接，得到拼接后的帧间特征；
25.对所述拼接后的帧间特征进行特征填充，所述特征填充之后的帧间特征所对应的帧数量与所述帧集合包含的帧数量相同；
26.基于所述特征填充之后的帧间特征得到所述帧集合对应的整体帧间特征。
27.在一种可能实现方式中，所述基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征，包括：
28.将所述帧集合输入视觉质量预测模型，所述视觉质量预测模型包括多个分支结构，每个分支结构基于所述帧集合确定出一个关键帧序列，并确定所述一个关键帧序列包含的关键帧之间的特征相关性作为所述每个分支结构对应的分支帧间特征，由多个所述分支结构对应的多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；
29.所述基于所述帧集合对应的整体帧间特征，得到所述待预测视频的视觉质量预测结果，包括：
30.基于所述视觉质量预测模型的输出信息，确定所述待预测视频的视觉质量预测结果；所述视觉质量预测模型的输出信息为基于所述整体帧间特征确定的。
31.在一种可能实现方式中，在所述基于所述视觉质量预测模型的输出信息，确定所述待预测视频的视觉质量预测结果的步骤之前，还包括：
32.确定所述帧集合中各帧的帧内特征相关性，基于多帧的帧内特征相关性得到所述帧集合对应的帧内特征；
33.确定所述帧集合中各帧的增强特征，基于多帧的增强特征得到所述帧集合对应的帧特征表达；所述各帧的增强特征为对各帧的初始特征进行非线性变换处理得到的特征；
34.根据所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息。
35.在一种可能实现方式中，所述视觉质量预测模型包含多个堆叠的编码模块；所述根据所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息，包括：
36.基于当前编码模块确定所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，并将所述当前编码模块确定出的所述整体帧间特征、所述帧内特征、所述帧特征表达，作为所述当前编码模块的下一个编码模块的输入信息；
37.基于所述多个堆叠的编码模块中最后一个编码模块确定出的整体帧间特征、帧内特征以及帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息；
38.其中，每个所述编码模块包括时序注意力机制单元、空间注意力机制单元和多层感知单元；所述时序注意力机制单元中包括多个所述分支结构；
39.在每个所述编码模块中，所述整体帧间特征基于所述时序注意力机制单元确定；
40.所述帧内特征基于所述空间注意力机制单元确定；
41.所述帧特征表达基于所述多层感知单元确定。
42.在一种可能实现方式中，在基于所述多个堆叠的编码模块中第一个编码模块确定所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达之前，还包括：
43.对所述帧集合中的各帧进行序列化特征提取，得到所述帧集合对应的一组序列化特征；
44.将所述帧集合对应的一组序列化特征，作为所述第一个编码模块的输入信息。
45.根据本公开实施例的第二方面，提供一种视频质量预测装置，包括：
46.帧集合获取单元，被配置为执行获取待预测视频对应的帧集合；所述帧集合为对所述待预测视频进行间隔帧采样得到；
47.帧间特征得到单元，被配置为执行基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；其中，各所述关键帧序列包含从所述帧集合中选取出的至少两个关键帧，且多个所述关键帧序列对应的关键帧在时序上具有不同稀疏程度；
48.视觉质量预测结果得到单元，被配置为执行基于所述帧集合对应的整体帧间特征，得到所述待预测视频的视觉质量预测结果。
49.根据本公开实施例的第三方面，提供一种电子设备，包括：
50.处理器；
51.用于存储所述处理器可执行指令的存储器；
52.其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的视频质量
预测方法。
53.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述任一项所述的视频质量预测方法。
54.根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上述任一项所述的视频质量预测方法。
55.本公开的实施例提供的技术方案至少带来以下有益效果：
56.本公开的方案，通过获取待预测视频对应的帧集合，帧集合为对待预测视频进行间隔帧采样得到，然后基于帧集合确定出多个关键帧序列，确定各关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个分支帧间特征得到帧集合对应的整体帧间特征，其中，各关键帧序列包含从帧集合中选取出的至少两个关键帧，且多个关键帧序列对应的关键帧在时序上具有不同稀疏程度，进而基于帧集合对应的整体帧间特征，得到待预测视频的视觉质量预测结果。如此，可以基于稀疏时序注意力机制从冗余视频帧中筛选出关键帧进行分析，能够准确定位包含不同类型的低质特征的视频帧，且基于时序多分支网络可以同时建模多种低质特征，有效提升了处理混合低质特征的视频能力。
57.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
58.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
59.图1是根据一示例性实施例示出的一种视频质量预测方法的流程图；
60.图2是根据一示例性实施例示出的一种ugc视频中低质特征分布的示意图；
61.图3是根据一示例性实施例示出的一种视觉质量预测模型结构的示意图；
62.图4是根据一示例性实施例示出的另一种视频质量预测方法的流程图；
63.图5是根据一示例性实施例示出的一种视频质量预测装置的框图；
64.图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
65.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
66.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
67.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经
pathway temporal network)，通过mptn可以并行获取不同时序长度的关键帧序列，进而可以基于不同时序长度的关键帧序列分析出不同的低质特征(即根据多个分支帧间特征得到帧集合对应的整体帧间特征)，从而通过将sta和mptn引入网络计算，有效提升了对影响视频质量的低质特征的建模效果，降低了计算复杂度。
78.在步骤s130中，基于帧集合对应的整体帧间特征，得到待预测视频的视觉质量预测结果。
79.在具体实现中，可以基于整体帧间特征确定视觉质量预测模型的输出信息，进而可以根据该视觉质量预测模型的输出信息，得到待预测视频的视觉质量预测结果，如针对待预测视频的视觉质量参数。
80.在一示例，视觉质量预测模型的输出信息可以为针对待预测视频的视觉质量参数，如1-5分的视频质量标记(quality score token)，以表征待预测视频的视觉质量，如评估分数越高则视频的视觉质量越好。
81.相较于传统方法，基于本实施例的技术方案中所提出的视觉质量预测模型的网络结构，能够有效建模视频时序特征，捕捉到ugc场景下同时存在的多种不同类型的低质特征以进行视频质量评估，针对不同数据具有较强的泛化能力，大幅提升了预测准确性和相关性。通过利用视频自注意力机制对视频中所包含的低质特征进行建模，能够有效处理复杂视频质量评估任务；基于稀疏时序注意力机制单元，能够从冗余的视频帧中筛选出关键帧进行分析，有效降低了计算复杂度，同时能够更准确的定位包含不同类型低质特征的视频帧，基于时序多分支网络，可以在一个网络结构中同时建模多种低质特征，有效提升了处理混合低质特征的视频的能力。
82.上述视频质量预测方法中，通过获取待预测视频对应的帧集合，帧集合为对待预测视频进行间隔帧采样得到，然后基于帧集合确定出多个关键帧序列，确定各关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个分支帧间特征得到帧集合对应的整体帧间特征，其中，各关键帧序列包含从帧集合中选取出的至少两个关键帧，且多个关键帧序列对应的关键帧在时序上具有不同稀疏程度，进而基于帧集合对应的整体帧间特征，得到待预测视频的视觉质量预测结果。如此，可以基于稀疏时序注意力机制从冗余视频帧中筛选出关键帧进行分析，能够准确定位包含不同类型的低质特征的视频帧，且基于时序多分支网络可以同时建模多种低质特征，有效提升了处理混合低质特征的视频能力。
83.在一示例性实施例中，在上述步骤s110中，基于帧集合确定出多个关键帧序列，包括：获取帧集合包含的帧数量和预设稀疏参数；根据帧集合包含的帧数量和预设稀疏参数，确定用于获取分支帧间特征的分支数量；从帧集合确定出多个关键帧，并基于多个关键帧确定出与分支数量对应的多个关键帧序列。
84.作为一示例，预设稀疏参数可以用于表征从帧集合中选取关键帧的最大稀疏程度。
85.其中，多个分支中每个分支可以用于获取在时序上具有一种稀疏程度的关键帧之间的帧间特征相关性，作为每个分支对应的分支帧间特征，该一种稀疏程度小于最大稀疏程度。
86.在本公开方法的实际应用中，为了解决不同类型的视频低质特征在时序上持续长
短不一的问题，基于mptn利用多个不同稀疏程度的sta，可以针对不同时序特征的低质类型同时建模，可以将sta分支配置为m个(即分支数量)，可以采用如下方式计算得到m的个数：
[0087][0088]
其中，t可以表征帧集合包含的帧数量，可以根据johnson-lindenstrauss引理设定最大稀疏系数logt/t(即预设稀疏参数)，其可以用于从t帧的特征序列(即帧集合对应的一组序列化特征)中选择最关键的多个帧，从而既引入了稀疏性也保留了足够的信息容量。
[0089]
本实施例的技术方案，通过获取帧集合包含的帧数量和预设稀疏参数，然后根据帧集合包含的帧数量和预设稀疏参数，确定用于获取分支帧间特征的分支数量，进而从帧集合确定出多个关键帧，并基于多个关键帧确定出与分支数量对应的多个关键帧序列，实现了在一个网络结构中同时建模多种低质特征，能够有效提升处理混合低质特征的视频的能力。
[0090]
在一示例性实施例中，从帧集合确定出多个关键帧，并基于多个关键帧确定出与分支数量对应的多个关键帧序列，包括：针对每个分支，获取每个分支对应的关键帧的稀疏程度；根据每个分支对应的关键帧的稀疏程度，确定每个分支对应的关键帧数量；基于每个分支对应的关键帧的稀疏程度和每个分支对应的关键帧数量，从帧集合中选取出与关键帧数量对应的关键帧，得到每个分支对应的关键帧序列。
[0091]
在一示例中，可以采用如下方式确定每个分支sta对应的关键帧的关键帧数量：
[0092]2n
logt
[0093]
其中，n为当前分支在多个分支中的序号，如m个分支对应序号的取值范围为1～m。
[0094]
具体地，通过获取每个分支sta对应的关键帧的稀疏程度，可以根据该稀疏程度确定分支sta对应的关键帧数量，如图3中所示2mlogt
×
d中，2mlogt可以表征所在分支sta对应的关键帧数量，d可以表征提取出的特征维度，进而针对每个分支sta，可以基于每个分支sta对应的关键帧的稀疏程度和每个分支对应的关键帧数量，从帧集合中选取出关键帧数量对应的关键帧，构成各分支sta对应的关键帧序列。
[0095]
在一个可选实施例中，还可以获取20logt～2mlogt所在分支sta对应的多个关键帧序列，如图3中logt
×d……2m
logt
×
d，进而可以基于帧集合确定出的m个关键帧序列得到(1+
……
+2m)logt
×
d，即拼接后的帧间特征。
[0096]
本实施例的技术方案，通过获取每个分支对应的关键帧的稀疏程度，然后根据稀疏程度确定分支对应的关键帧数量，进而基于每个分支对应的稀疏程度，从帧集合中选取出关键帧数量对应的关键帧，构成分支对应的关键帧序列，可以得到不同时序长度的关键帧序列，为后续分析不同类型的低质特征提供了数据基础。
[0097]
在一示例性实施例中，获取每个分支对应的关键帧的稀疏程度，包括：获取每个分支在多个分支中的序号；基于每个分支在多个分支中的序号以及预设稀疏参数，确定每个分支对应的关键帧的稀疏程度。
[0098]
在一示例中，可以采用如下方式确定每个分支sta对应的关键帧的稀疏程度：
[0099]2n
logt/t
[0100]
其中，n为当前分支在多个分支中的序号，如m个分支对应序号为1～m。
[0101]
例如，通过获取每个分支在多个分支中的序号，可以基于该每个分支在多个分支
中的序号以及预设稀疏参数，确定每个分支sta对应的关键帧的稀疏程度。
[0102]
本实施例的技术方案，通过获取每个分支在多个分支中的序号，进而基于每个分支在多个分支中的序号以及预设稀疏参数，确定每个分支对应的关键帧的稀疏程度，可以基于各分支对应的稀疏程度构建时序多分支网络，实现了针对不同类型低质特征对应的不同时序长度同时建模，提升了视频质量预测效率。
[0103]
在一示例性实施例中，在上述步骤s120中，确定各关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，包括：针对每个关键帧序列，根据关键帧序列包含的各关键帧对应的重要程度，确定关键帧序列包含的关键帧之间的特征相关性，作为关键帧序列对应的分支帧间特征。
[0104]
其中，各关键帧对应的重要程度可以为利用注意力机制计算帧集合中各帧在注意力图中的重要程度得到。
[0105]
作为一示例，分支帧间特征可以为如图3中所示的v1’
、v
m’。
[0106]
在具体实现中，针对每个分支sta，通过各分支时序注意力机制单元，可以根据该分支的关键帧序列包含的各关键帧对应的重要程度，确定关键帧序列包含的关键帧之间的特征相关性，作为关键帧序列对应的分支帧间特征，如基于时序注意力机制单元对不同帧之间的相关性进行建模，可以提取出关键帧序列对应的帧间特征相关性。
[0107]
在一示例中，针对每个分支sta，基于该分支对应的稀疏程度可以从帧集合中选取出n帧，作为关键帧，其中，n等于分支对应的关键帧数量，如图3中logt、2mlogt等，进而根据选取出关键帧可以构成各分支对应的关键帧序列，如图3中，logt
×d……2m
logt
×
d对应的稀疏采样矩阵，并可以针对每个关键帧序列，得到关键帧序列中各关键帧对应的重要程度，如可以利用注意力机制计算帧集合中各帧在注意力图中的重要程度。
[0108]
在本公开方法的实际应用中，针对每个分支sta，如图3中所示，可以利用注意力机制的q特征和k特征计算稀疏采样矩阵的系数，即可以通过q[i]和k[j]的偏离均匀分布的程度，度量帧集合中各帧在注意力图中的重要程度，如越偏离均匀分布，则可以表征某两帧之间的注意力权重越大，度量方法可以采用kl散度：
[0109][0110]
其中，t可以表征帧集合包含的帧数量，d可以表征单帧提取出的特征维度，i和j分别表征帧集合中的某两帧，k可以表征注意力计算过程中的k特征，u可以表征均匀分布，p(k|qi)可以表征k和qi的相关性。
[0111]
在又一示例中，针对每个分支sta，可以将帧集合对应的一组序列化特征作为输入特征向量，然后可以利用注意力机制生成三个特征向量，如通过特征嵌入与三个权重矩阵相乘后可以创建k-键特征向量、q-查询特征向量、v-值向量，如图3中k
1-t
×
d、q
1-t
×
d、v
1-t
×
d，进而可以根据k-键特征向量和q-查询特征向量，通过度量帧集合中各帧在注意力图中的重要程度，可以从帧集合中选取出最重要的多个关键帧，得到经过稀疏采样的关键帧序列。
[0112]
本实施例的技术方案，通过针对每个关键帧序列，基于自注意力机制确定关键帧序列包含的关键帧之间的特征相关性，作为关键帧序列对应的分支帧间特征，可以基于稀
疏的时序注意力计算机制降低计算复杂度，提升了视频质量预测效率。
[0113]
在一示例性实施例中，在上述步骤s120中，由多个分支帧间特征得到帧集合对应的整体帧间特征，包括：将多个关键帧序列对应的多个分支帧间特征进行特征拼接，得到拼接后的帧间特征；对拼接后的帧间特征进行特征填充，特征填充之后的帧间特征所对应的帧数量与帧集合包含的帧数量相同；基于特征填充之后的帧间特征得到帧集合对应的整体帧间特征。
[0114]
在一示例，不同sta提取出的特征经过拼接(concatenation)操作，可以得到拼接后的帧间特征，如图3中所示(1+
……
+2m)logt
×
d，并可以经过平均补充(mean-padding)操作，得到特征填充之后的帧间特征，如图3中所示z
l-t
×
d，从而可以使得特征填充之后的帧间特征所对应的帧数量与帧集合包含的帧数量相同。
[0115]
例如，拼接操作可以采用如下方式表示：
[0116][0117]
其中，v1’
，
……
，v
m’为多个关键帧序列对应的多个分支帧间特征。
[0118]
又如，平均补充操作可以采用如下方式表示：
[0119][0120]
其中，z
l
为特征填充之后的帧间特征，即整体帧间特征。
[0121]
本实施例的技术方案，通过将多个关键帧序列对应的多个分支帧间特征进行特征拼接，得到拼接后的帧间特征，然后对拼接后的帧间特征进行特征填充，特征填充之后的帧间特征所对应的帧数量与帧集合包含的帧数量相同，进而基于特征填充之后的帧间特征得到帧集合对应的整体帧间特征，可以得到针对不同类型低质特征提取得到的整体帧间特征，为视频质量预测分析提供了数据基础。
[0122]
在一示例性实施例中，在上述步骤s120中，基于帧集合确定出多个关键帧序列，确定各关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个分支帧间特征得到帧集合对应的整体帧间特征，包括：将帧集合输入视觉质量预测模型，视觉质量预测模型包括多个分支结构，每个分支结构基于帧集合确定出一个关键帧序列，并确定一个关键帧序列包含的关键帧之间的特征相关性作为每个分支结构对应的分支帧间特征，由多个分支结构对应的多个分支帧间特征得到帧集合对应的整体帧间特征。
[0123]
作为一示例，视觉质量预测模型可以为vqt(visual quality transformer，基于自注意力机制的视觉质量网络)，其网络结构可以如图3所示，vqt可以包括序列化特征层、用于进行特征融合提取的多个堆叠的编码模块，以及全连接层，其中，每个编码模块可以由时序注意力机制单元、空间注意力机制单元和多层感知单元组成。
[0124]
在得到帧集合后，可以将该帧集合输入视觉质量预测模型，通过视觉质量预测模型中各编码模块的时序注意力机制单元，可以基于帧集合确定出多个关键帧序列，然后可以针对每个关键帧序列，确定各关键帧序列包含的关键帧之间的特征相关性，作为帧集合对应的分支帧间特征，进而可以根据多个分支帧间特征得到帧集合对应的整体帧间特征。
[0125]
例如，基于视觉质量预测模型中各编码模块的时序注意力机制单元，可以对不同帧之间的相关性进行建模，得到帧间特征相关性，基于视觉质量预测模型中各编码模块的空间注意力机制单元，可以对帧内不同区域的相关性进行建模，基于视觉质量预测模型中
各编码模块的多层感知单元，可以通过非线性变换进一步提升各帧特征的表示能力。
[0126]
在一示例中，时序注意力机制单元可以基于两部分网络构建，一是稀疏时序注意力机制单元，通过sta可以选取出具有不同信息的关键帧来进行低质特征的表示，且通过稀疏的时序注意力计算机制能够降低计算复杂度，另一个是时序多分支网络，通过mptn可以并行获取不同时序长度的关键帧序列，进而可以基于不同时序长度的关键帧序列分析出不同的低质特征，从而通过将sta和mptn引入网络计算，有效提升了对影响视频质量的低质特征的建模效果，降低了计算复杂度。
[0127]
在上述步骤s130中，基于帧集合对应的整体帧间特征，得到待预测视频的视觉质量预测结果，包括：基于视觉质量预测模型的输出信息，确定待预测视频的视觉质量预测结果；视觉质量预测模型的输出信息为基于整体帧间特征确定的。
[0128]
作为一示例，视觉质量预测模型的输出信息可以为针对待预测视频的视觉质量参数，如1-5分的视频质量标记，以表征待预测视频的视觉质量，如评估分数越高则视频的视觉质量越好。
[0129]
在具体实现中，可以基于整体帧间特征确定视觉质量预测模型的输出信息，进而可以根据该视觉质量预测模型的输出信息，得到待预测视频的视觉质量预测结果，如针对待预测视频的视觉质量参数。
[0130]
本实施例的技术方案，通过将帧集合输入视觉质量预测模型，视觉质量预测模型包括多个分支结构，每个分支结构基于帧集合确定出一个关键帧序列，并确定一个关键帧序列包含的关键帧之间的特征相关性作为每个分支结构对应的分支帧间特征，由多个分支结构对应的多个分支帧间特征得到帧集合对应的整体帧间特征，进而基于视觉质量预测模型的输出信息，确定待预测视频的视觉质量预测结果，可以基于视觉质量预测模型的网络结构，有效建模视频时序特征，能够捕捉到ugc场景下同时存在的多种不同类型的低质特征以进行视频质量评估，针对不同数据具有较强的泛化能力，大幅提升了预测准确性和相关性。
[0131]
在一示例性实施例中，在基于视觉质量预测模型的输出信息，确定待预测视频的视觉质量预测结果的步骤之前，还包括：确定帧集合中各帧的帧内特征相关性，基于多帧的帧内特征相关性得到帧集合对应的帧内特征；确定帧集合中各帧的增强特征，基于多帧的增强特征得到帧集合对应的帧特征表达；根据帧集合对应的整体帧间特征、帧内特征以及帧特征表达，确定待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息。
[0132]
其中，各帧的增强特征可以为对各帧的初始特征进行非线性变换处理得到的特征。
[0133]
在具体实现中，针对每个编码模块，可以通过时序注意力机制单元对不同帧之间的相关性进行建模，得到帧集合对应的整体帧间特征，并可以通过空间注意力机制单元对帧内不同区域的相关性进行建模，基于多帧的帧内特征相关性得到帧集合对应的帧内特征，以及可以通过多层感知单元，采用非线性变换处理进一步提升特征的表示能力，基于多帧的增强特征得到帧集合对应的帧特征表达，进而可以根据帧集合对应的整体帧间特征、帧内特征以及帧特征表达，确定待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息。
[0134]
本实施例的技术方案，通过确定帧集合中各帧的帧内特征相关性，基于多帧的帧
内特征相关性得到帧集合对应的帧内特征，确定帧集合中各帧的增强特征，基于多帧的增强特征得到帧集合对应的帧特征表达，进而根据帧集合对应的整体帧间特征、帧内特征以及帧特征表达，确定待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息，能够有效提升处理混合低质特征的视频能力。
[0135]
在一示例性实施例中，视觉质量预测模型可以包含多个堆叠的编码模块，根据帧集合对应的整体帧间特征、帧内特征以及帧特征表达，确定待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息，包括：基于当前编码模块确定帧集合对应的整体帧间特征、帧内特征以及帧特征表达，并将当前编码模块确定出的整体帧间特征、帧内特征、帧特征表达，作为当前编码模块的下一个编码模块的输入信息；基于多个堆叠的编码模块中最后一个编码模块确定出的整体帧间特征、帧内特征以及帧特征表达，确定待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息。
[0136]
在一示例中，vqt可以包括用于进行特征融合提取的多个堆叠的编码模块，每个编码模块可以由时序注意力机制单元、空间注意力机制单元和多层感知单元组成，针对每个编码模块，可以通过基于当前编码模块确定帧集合对应的整体帧间特征、帧内特征以及帧特征表达，并可以将当前编码模块确定出的整体帧间特征、帧内特征、帧特征表达，作为当前编码模块的下一个编码模块的输入信息，进而可以基于多个堆叠的编码模块中最后一个编码模块确定出的整体帧间特征、帧内特征以及帧特征表达，得到待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息。
[0137]
例如，可以将最后一个编码模块确定出的整体帧间特征、帧内特征以及帧特征表达输入至全连接层，通过全连接层对整体帧间特征、帧内特征以及帧特征表达进行全连接处理，可以得到待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息。
[0138]
在又一示例中，每个编码模块可以包括时序注意力机制单元、空间注意力机制单元和多层感知单元；该时序注意力机制单元中可以包括多个分支结构。
[0139]
在实际应用中，在每个编码模块中，整体帧间特征可以基于时序注意力机制单元确定，帧内特征可以基于空间注意力机制单元确定，帧特征表达可以基于多层感知单元确定。
[0140]
具体地，每个编码模块可以由时序注意力机制单元、空间注意力机制单元和多层感知单元组成，通过时序注意力机制单元可以对不同帧之间的相关性进行建模，得到帧集合对应的整体帧间特征，通过空间注意力机制单元可以对帧内不同区域的相关性进行建模，得到帧集合对应的帧内特征，通过多层感知单元可以基于非线性变换处理进一步提升特征的表示能力，得到帧集合对应的帧特征表达，从而能够有效捕捉到ugc场景下同时存在的多种不同类型的低质特征，以进行视频质量评估，提升了视频质量预测效率。
[0141]
本实施例的技术方案，通过基于当前编码模块确定帧集合对应的整体帧间特征、帧内特征以及帧特征表达，并将当前编码模块确定出的整体帧间特征、帧内特征、帧特征表达，作为当前编码模块的下一个编码模块的输入信息，进而基于多个堆叠的编码模块中最后一个编码模块确定出的整体帧间特征、帧内特征以及帧特征表达，确定待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息，可以基于多个编码模块处理进一步提升特征表达，提升了预测准确性和相关性。
[0142]
在一示例性实施例中，在基于多个堆叠的编码模块中第一个编码模块确定帧集合
对应的整体帧间特征、帧内特征以及帧特征表达之前，还包括：对帧集合中的各帧进行序列化特征提取，得到帧集合对应的一组序列化特征；将帧集合对应的一组序列化特征，作为第一个编码模块的输入信息。
[0143]
在具体实现中，通过对待预测视频进行间隔帧采样得到帧集合，并将帧集合输入至视觉质量预测模型后，可以对该帧集合中的各帧进行序列化特征提取，得到帧集合对应的一组序列化特征，如图3中所示，进而可以将帧集合对应的一组序列化特征，作为视觉质量预测模型的第一个编码模块的输入信息。
[0144]
在一个可选实施例中，在将帧集合输入视觉质量预测模型之前，可以预先对视觉质量预测模型进行模型训练，以优化视觉质量预测模型，可以通过获取训练数据，该训练数据可以包括至少两个样本视频，然后可以将至少两个样本视频输入至视觉质量预测模型进行视频视觉质量预测，进而可以得到各样本视频对应的视觉质量参数，以及视觉质量相对参数，该视觉质量相对参数可以基于至少两个样本视频之间的视觉质量差异程度所确定，进而可以根据各样本视频对应的视觉质量参数，以及视觉质量相对参数，确定目标损失函数，基于该目标损失函数可以对视觉质量预测模型进行模型训练，得到优化后视觉质量预测模型，以用于实际场景中进行视频质量预测，从而可以保证视频质量预测时评估判断的相对一致性。
[0145]
例如，vqt的优化过程可以采用如下方式表示：
[0146][0147]
其中，l1可以表征回归损失函数，其可以由视觉质量参数确定，l
rank
可以表征plcc损失函数，其可以由视觉质量相对参数确定，xi可以表征被评估视频1，xj可以表征被评估视频2，即两个样本视频，f(x)可以表征经vqt网络处理，yi为可以表征被评估视频1对应的视觉质量参数，yj可以表征被评估视频2对应的视觉质量参数，lrank可以约束yi与yj的相对质量关系与真实评估一致，如可以基于被评估视频1和被评估视频2得到视觉质量相对参数。
[0148]
本实施例的技术方案，通过对帧集合中的各帧进行序列化特征提取，得到帧集合对应的一组序列化特征，进而将帧集合对应的一组序列化特征，作为第一个编码模块的输入信息，可以基于序列化特征为后续特征处理提供数据支持。
[0149]
图4是根据一示例性实施例示出的另一种视频质量预测方法的流程图，如图4所示，该方法用于服务器等计算机设备中，包括以下步骤。
[0150]
在步骤s410中，获取待预测视频对应的帧集合；帧集合为对待预测视频进行间隔帧采样得到。在步骤s420中，将帧集合输入视觉质量预测模型，视觉质量预测模型基于帧集合确定出多个关键帧序列。在步骤s430中，针对每个关键帧序列，根据关键帧序列包含的各关键帧对应的重要程度，确定关键帧序列包含的关键帧之间的特征相关性，作为关键帧序列对应的分支帧间特征。在步骤s440中，将多个关键帧序列对应的多个分支帧间特征进行特征拼接，得到拼接后的帧间特征，并对拼接后的帧间特征进行特征填充，基于特征填充之后的帧间特征得到帧集合对应的整体帧间特征。在步骤s450中，确定帧集合中各帧的帧内特征相关性，基于多帧的帧内特征相关性得到帧集合对应的帧内特征。在步骤s460中，确定帧集合中各帧的增强特征，基于多帧的增强特征得到帧集合对应的帧特征表达。在步骤
s470中，根据帧集合对应的整体帧间特征、帧内特征以及帧特征表达，确定待预测视频的视觉质量参数，作为视觉质量预测模型的输出信息。在步骤s480中，基于视觉质量预测模型的输出信息，确定待预测视频的视觉质量预测结果。需要说明的是，上述步骤的具体限定可以参见上文对一种视频质量预测方法的具体限定，在此不再赘述。
[0151]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0152]
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
[0153]
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的视频质量预测方法的视频质量预测装置。
[0154]
图5是根据一示例性实施例示出的一种视频质量预测装置框图。参照图5，该装置包括：
[0155]
帧集合获取单元501，被配置为执行获取待预测视频对应的帧集合；所述帧集合为对所述待预测视频进行间隔帧采样得到；
[0156]
帧间特征得到单元502，被配置为执行基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；其中，各所述关键帧序列包含从所述帧集合中选取出的至少两个关键帧，且多个所述关键帧序列对应的关键帧在时序上具有不同稀疏程度；
[0157]
视觉质量预测结果得到单元503，被配置为执行基于所述帧集合对应的整体帧间特征，确定所述待预测视频的视觉质量预测结果。
[0158]
在一种可能实现方式中，所述帧间特征得到单元502，具体被配置为执行获取所述帧集合包含的帧数量和预设稀疏参数；所述预设稀疏参数用于表征从所述帧集合中选取关键帧的最大稀疏程度；根据所述帧集合包含的帧数量和所述预设稀疏参数，确定用于获取所述分支帧间特征的分支数量；多个分支中每个分支用于获取在时序上具有一种稀疏程度的关键帧之间的帧间特征相关性，作为所述每个分支对应的分支帧间特征，所述一种稀疏程度小于所述最大稀疏程度；从所述帧集合确定出多个关键帧，并基于多个所述关键帧确定出与所述分支数量对应的多个关键帧序列。
[0159]
在一种可能实现方式中，所述帧间特征得到502，具体被配置为执行针对每个分支，获取所述每个分支对应的关键帧的稀疏程度；根据所述每个分支对应的关键帧的稀疏程度，确定所述每个分支对应的关键帧数量；基于所述每个分支对应的关键帧的稀疏程度和所述每个分支对应的关键帧数量，从所述帧集合中选取出与所述关键帧数量对应的关键帧，得到所述每个分支对应的关键帧序列。
[0160]
在一种可能实现方式中，所述帧间特征得到502，具体被配置为执行获取所述每个分支在所述多个分支中的序号；基于所述每个分支在所述多个分支中的序号以及所述预设稀疏参数，确定所述每个分支对应的关键帧的稀疏程度。
[0161]
在一种可能实现方式中，所述帧间特征得到502，具体被配置为执行针对每个关键帧序列，根据所述关键帧序列包含的各关键帧对应的重要程度，确定所述关键帧序列包含的关键帧之间的特征相关性，作为所述关键帧序列对应的分支帧间特征；其中，所述各关键帧对应的重要程度为利用注意力机制计算所述帧集合中各帧在注意力图中的重要程度得到。
[0162]
在一种可能实现方式中，所述帧间特征得到502，具体被配置为执行将多个所述关键帧序列对应的多个分支帧间特征进行特征拼接，得到拼接后的帧间特征；对所述拼接后的帧间特征进行特征填充，所述特征填充之后的帧间特征所对应的帧数量与所述帧集合包含的帧数量相同；基于所述特征填充之后的帧间特征得到所述帧集合对应的整体帧间特征。
[0163]
在一种可能实现方式中，所述帧间特征得到502，具体被配置为执行将所述帧集合输入视觉质量预测模型，所述视觉质量预测模型包括多个分支结构，每个分支结构基于所述帧集合确定出一个关键帧序列，并确定所述一个关键帧序列包含的关键帧之间的特征相关性作为所述每个分支结构对应的分支帧间特征，由多个所述分支结构对应的多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；
[0164]
所述视觉质量预测结果得到单元503，具体被配置为执行基于所述视觉质量预测模型的输出信息，确定所述待预测视频的视觉质量预测结果；所述视觉质量预测模型的输出信息为基于所述整体帧间特征确定的。
[0165]
在一种可能实现方式中，所述视频质量预测装置，还包括：
[0166]
帧内特征得到单元，具体被配置为执行确定所述帧集合中各帧的帧内特征相关性，基于多帧的帧内特征相关性得到所述帧集合对应的帧内特征；
[0167]
帧特征表达得到单元，具体被配置为执行确定所述帧集合中各帧的增强特征，基于多帧的增强特征得到所述帧集合对应的帧特征表达；所述各帧的增强特征为对各帧的初始特征进行非线性变换处理得到的特征；
[0168]
视觉质量参数确定单元，具体被配置为执行根据所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息。
[0169]
在一种可能实现方式中，所述视觉质量预测模型包含多个堆叠的编码模块；所述视觉质量参数确定单元，具体被配置为执行基于当前编码模块确定所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，并将所述当前编码模块确定出的所述整体帧间特征、所述帧内特征、所述帧特征表达，作为所述当前编码模块的下一个编码模块的输入信息；基于所述多个堆叠的编码模块中最后一个编码模块确定出的整体帧间特征、帧内特征以及帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息；
[0170]
其中，每个所述编码模块包括时序注意力机制单元、空间注意力机制单元和多层感知单元；所述时序注意力机制单元中包括多个所述分支结构；
[0171]
在每个所述编码模块中，所述整体帧间特征基于所述时序注意力机制单元确定；
[0172]
所述帧内特征基于所述空间注意力机制单元确定；
[0173]
所述帧特征表达基于所述多层感知单元确定。
[0174]
在一种可能实现方式中，所述视频质量预测装置，还包括：
[0175]
序列化特征提取单元，具体被配置为执行对所述帧集合中的各帧进行序列化特征提取，得到所述帧集合对应的一组序列化特征；
[0176]
序列化特征输入单元，具体被配置为执行将所述帧集合对应的一组序列化特征，作为所述第一个编码模块的输入信息。
[0177]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0178]
上述视频质量预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0179]
图6是根据一示例性实施例示出的一种用于实现一种视频质量预测方法的电子设备600的框图。例如，电子设备600可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
[0180]
参照图6，电子设备600可以包括以下一个或多个组件：处理组件602、存储器604、电源组件606、多媒体组件608、音频组件610、输入/输出(i/o)的接口612、传感器组件614以及通信组件616。
[0181]
处理组件602通常控制电子设备600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
[0182]
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
[0183]
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
[0184]
多媒体组件608包括在所述电子设备600和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和
后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
[0185]
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括麦克风(mic)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括扬声器，用于输出音频信号。
[0186]
i/o接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0187]
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600组件的位置改变，用户与电子设备600接触的存在或不存在，设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
[0188]
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0189]
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0190]
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0191]
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备600的处理器620执行以完成上述方法。
[0192]
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
[0193]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0194]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。