视频质量评估方法、装置、设备及存储介质与流程

本发明涉及人工智能，尤其涉及一种视频质量评估方法、装置、设备及存储介质。

背景技术：

1、当前直播、短视频和视频通讯产业日益繁荣，以视频为载体的内容充斥在各大应用软件中。在我们直播场景下，用户的观看体验是一个非常关键的问题。主播设备专业并且训练有素的，采集到的画质清晰稳定，相应地更容易受到用户的喜欢。在技术层面，画质比较清晰并且动作流畅没有什么抖动感的视频，用户观看体验也一定是更好的。视频质量评估就是对用户侧观看到的视频直接打分，通过预测分数的形式将用户体验量化，用户体验越好的视频，质量得分越高，用户体验差一些的视频质量得分也相对低一些。

2、在现有技术中，一种以图像作为评估单位的视频质量评估算法，一般通过均方误差mse算法、峰值信噪比psnr算法和结构相似性ssim算法逐帧对视频中的图像进行质量评价，以及通过视频质量多方法评价融合vmaf算法对两帧图像进行打分，均没有考虑到视频的运动失真评估，逐帧打分的准确性差、效率低，且耗时长。另一种基于深度学习进行端到端训练，将整个视频输入至神经网络，并将输出作为视频质量得分，通过优化损失函数和持续迭代提升模型的准确度。目前已有的深度学习算法忽略了真实视频中时序信息和空间信息的交互，过于依赖模型自身能力整合图像失真和运动失真，在真实场景下，存在预测准确性差和泛化性差的问题。还有一种基于解码时间戳对待评估视频与参考视频进行视频对齐处理，并根据时域特征与视频对齐结果对经视频对齐处理后的待评估视频进行质量评估处理，虽然提高了对齐结果的准确性和视频质量评估的全面性，但是仍然存在预测算法泛化性差的问题。

技术实现思路

1、本发明提供了一种视频质量评估方法、装置、设备及存储介质，用于通过视频质量评估模型在时间维度和空间维度上对待评估视频数据分别预测时间域质量得分和空间域质量得分，并结合视频动态指数对时间域质量得分和空间域质量得分进行融合，提高视频质量评估模型的预测准确性和泛化性。

2、为实现上述目的，本发明第一方面提供了一种视频质量评估方法，包括：获取待评估视频数据和参考视频数据；将所述待评估视频数据和所述参考视频数据输入至预设视频质量评估模型，通过所述视频质量评估模型，基于所述参考视频数据提取所述待评估视频数据对应的时空融合特征；其中，所述时空融合特征融合了所述待评估视频数据在空间域中的静态特征，以及所述待评估视频数据在时间域中的动态特征；从所述时空融合特征中提取所述静态特征，对所述静态特征进行质量评估，得到空间域质量得分；从所述时空融合特征中提取所述动态特征，对所述动态特征进行质量评估，得到时间域质量得分；根据所述待评估视频数据对应的视频动态指数、所述时间域质量得分和所述空间域质量得分，输出所述待评估视频数据的质量评估结果。

3、本发明第二方面提供了一种视频质量评估装置，包括：获取模块，用于获取待评估视频数据和参考视频数据；输入模块，用于将所述待评估视频数据和所述参考视频数据输入至预设视频质量评估模型，通过所述视频质量评估模型，基于所述参考视频数据提取所述待评估视频数据对应的时空融合特征；其中，所述时空融合特征融合了所述待评估视频数据在空间域中的静态特征，以及所述待评估视频数据在时间域中的动态特征；提取模块，用于从所述时空融合特征中提取所述静态特征，对所述静态特征进行质量评估，得到空间域质量得分；从所述时空融合特征中提取所述动态特征，对所述动态特征进行质量评估，得到时间域质量得分；输出模块，用于根据所述待评估视频数据对应的视频动态指数、所述时间域质量得分和所述空间域质量得分，输出所述待评估视频数据的质量评估结果。

4、本发明第三方面提供了一种视频质量评估设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述视频质量评估设备执行上述的视频质量评估方法。

5、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的视频质量评估方法。

6、本发明提供的技术方案中，获取待评估视频数据和参考视频数据；将所述待评估视频数据和所述参考视频数据输入至预设视频质量评估模型，通过所述视频质量评估模型，基于所述参考视频数据提取所述待评估视频数据对应的时空融合特征；其中，所述时空融合特征融合了所述待评估视频数据在空间域中的静态特征，以及所述待评估视频数据在时间域中的动态特征；从所述时空融合特征中提取所述静态特征，对所述静态特征进行质量评估，得到空间域质量得分；从所述时空融合特征中提取所述动态特征，对所述动态特征进行质量评估，得到时间域质量得分；根据所述待评估视频数据对应的视频动态指数、所述时间域质量得分和所述空间域质量得分，输出所述待评估视频数据的质量评估结果。本发明实施例中，通过视频质量评估模型，基于参考视频数据提取待评估视频数据对应的时空融合特征，将待评估视频数据的静态特征和待评估视频数据的动态特征融合为时空融合特征，增强了空间域和时间域各自对应的语义信息，提高了视频质量评估模型的预测准确性，在时间维度和空间维度上分别从时空融合特征中提取动态特征和静态特征后，分别预测时间域质量得分和空间域质量得分，并结合视频动态指数对时间域质量得分和空间域质量得分预测质量评估结果，提高了视频质量评估模型的泛化性和稳定性。

技术特征：

1.一种视频质量评估方法，其特征在于，所述视频质量评估方法包括：

2.根据权利要求1所述的视频质量评估方法，其特征在于，所述通过所述视频质量评估模型，基于所述参考视频数据提取所述待评估视频数据对应的时空融合特征，包括：

3.根据权利要求2所述的视频质量评估方法，其特征在于，所述基于所述视频残差数据对所述待评估视频数据进行时空特征提取，得到所述待评估视频数据在空间域中的静态特征和所述待评估视频数据在时间域中的动态特征，包括：

4.根据权利要求2所述的视频质量评估方法，其特征在于，所述对所述静态特征和所述动态特征进行时空特征融合处理，得到所述待评估视频数据对应的时空融合特征，包括：

5.根据权利要求1所述的视频质量评估方法，其特征在于，所述从所述时空融合特征中提取所述静态特征，对所述静态特征进行质量评估，得到空间域质量得分，包括：

6.根据权利要求1所述的视频质量评估方法，其特征在于，所述从所述时空融合特征中提取所述动态特征，对所述动态特征进行质量评估，得到时间域质量得分，包括：

7.根据权利要求1所述的视频质量评估方法，其特征在于，所述根据所述待评估视频数据对应的视频动态指数、所述时间域质量得分和所述空间域质量得分，输出所述待评估视频数据的质量评估结果，包括：

8.根据权利要求7所述的视频质量评估方法，其特征在于，所述根据所述第一权重值、所述第二权重值、所述时间域质量得分和所述空间域质量得分进行加权计算，得到所述待评估视频数据的质量评估结果，包括：

9.根据权利要求7所述的视频质量评估方法，其特征在于，所述视频动态指数对应的取值范围为大于或等于0且小于或等于所述预设值。

10.根据权利要求1-9中任一项所述的视频质量评估方法，其特征在于，在所述获取待评估视频数据和参考视频数据之前，所述视频质量评估方法还包括：

11.一种视频质量评估装置，其特征在于，所述视频质量评估装置包括：

12.一种视频质量评估设备，其特征在于，所述视频质量评估设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10中任意一项所述的视频质量评估方法。

技术总结
本发明涉及人工智能技术领域，公开了一种视频质量评估方法、装置、设备及存储介质，用于结合视频动态指数对时间域质量得分和空间域质量得分进行融合，提高视频质量评估模型的预测准确性和泛化性。所述视频质量评估方法包括：获取待评估视频数据和参考视频数据；通过视频质量评估模型，基于参考视频数据提取待评估视频数据对应的时空融合特征；从时空融合特征中提取静态特征，对静态特征进行质量评估，得到空间域质量得分；从时空融合特征中提取动态特征，对动态特征进行质量评估，得到时间域质量得分；根据待评估视频数据对应的视频动态指数、时间域质量得分和空间域质量得分，输出待评估视频数据的质量评估结果。

技术研发人员：宋怡君,巢娅
受保护的技术使用者：广州博冠信息科技有限公司
技术研发日：
技术公布日：2024/1/12