一种基于深度学习的视频质量判断方法与流程

本发明属于图像测试，具体涉及一种基于深度学习的视频质量判断方法。

背景技术：

1、随着移动通信和多媒体通信的发展，图像业务和视频业务被越来越广泛和频繁的使用。视频通信过程中，无损视频(即源视频、参考视频)经过编码器、通信信道、解码器等处理后，必然造成视频质量的损伤，对用户体验质量(quality of experience，qoe)产生负面影响，因此，对视频图像质量的评估一直是通信系统中一个重要的组成部分。

2、公开号为cn110099250b的专利公开了一种视频监控质量判断方法，包括：步骤1、建立一个视频质量判断控制框架；步骤2、建立效用函数表示用户体验质量q；步骤3、计算q数值。此方法通过建立效用函数还判断视频质量，很难在大规模的数据上有很好的拟合效果，没有考虑使用cnn在大规模数据集上训练，这样可以获取更好的鲁棒性。公开号为cn106341683a的专利公开一种全景视频质量判断方法及系统，所述方法包括：获取针对待判断全景视频的多个子评价分值组，所述子评价分值组包括针对所述待判断全景视频在多个维度的多个子评价分值；基于每个子评价分值组中的多个子评价分值的加权和确定相应于所述多个子评价分值组的多个评价分值，此方法没有考虑视频在时间维度上的信息。

3、在使用cnn进行图像的质量判断时，不考虑到样本不均衡会导致预测常见标签，并忽略罕见标签。样本的之间的相关性会影响模型性能。对于视频来说，单取一帧图片进行判断是片面的，不准确的。

技术实现思路

1、本发明的目的是弥补现有技术中存在的缺陷和不足，提供一种基于深度学习的视频质量判断方法。

2、为实现上述目的，本发明采用的技术方案是：一种基于深度学习的视频质量判断方法，包括：

3、s1，对于单路视频每隔一段时间将其推送到算法服务，首先判断能否打开视频地址，若是，则进行下一步，若否，则输出此设备解码失败信息；

4、s2，每隔1s取一帧图像，共取5帧，将其输入到训练好的cnn模型，获取其输出结果，分析输出结果，将输出类型占比最大的作为此时刻的输出结果，并将图片信息时间和结果存入数据库中；所述cnn模型采用的是改进efficientnet-b2回归模型；

5、s3，判断数据库中此点位的统计次数是否大于15，如果小于则继续等待，否则分析数据库中全部的结果出现次数，选择占比最大的作为此点位的最终的视频图像质量结果。

6、优选地，所述cnn模型在训练时，首先对数据集进行特征相关性分析，计算图片的pearson相关系数；将相关系数按照降序排序，结合人工筛选去除视觉效果上两个标签并存并且特征相关系数高的样本。

7、优选地，所述cnn模型中，损失函数采用改进的hamming loss，公式为：

8、

9、其中wj为每个类别的权重，表示实际标签向量与预测标签向量之间不匹配的标签数,n是样本数，l是标签数，yij是实际标签，是预测标签。∑j＝1lwj是所有样本的权重之和。

10、本发明提供的基于深度学习的视频质量判断方法，与现有技术相比，具有如下有益效果：

11、1、通过计算图片之间的pearson相关系数，并结合图片的视觉效果人工筛选出图片中包含两种标签的图片。

12、2、通过修改efficientnet-b2原始分类网络，将分类头改成回归头，将交叉熵函数改成hamming loss并针对样本不均衡的情况，改进hamming loss，使用加权的hammingloss作为最终的损失函数，主要是给罕见的样本较高的权重。

13、3、为了判断整个点位的视频质量，增加时序补充信息，避免早晚光晕等意外情况造成的误判。

技术特征：

1.一种基于深度学习的视频质量判断方法，其特征在于：包括：

2.根据权利要求1所述的基于深度学习的视频质量判断方法，其特征在于：所述cnn模型在训练时，首先对数据集进行特征相关性分析，计算图片的pearson相关系数；将相关系数按照降序排序，结合人工筛选去除视觉效果上两个标签并存并且特征相关系数高的样本。

3.根据权利要求1所述的基于深度学习的视频质量判断方法，其特征在于：所述cnn模型中，采用改进的hamming loss作为损失函数，公式为：

技术总结
本发明涉及一种基于深度学习的视频质量判断方法。该方法包括：S1，对于单路视频每隔一段时间将其推送到算法服务，首先判断能否打开视频地址，若是，则进行下一步，若否，则输出此设备解码失败信息；S2，每隔1s取一帧图像，共取5帧，将其输入到训练好的CNN模型，获取其输出结果，分析输出结果，将输出类型占比最大的作为此时刻的输出结果，并将图片信息时间和结果存入数据库中；S3,判断数据库中此点位的统计次数是否大于设定阈值，如果小于则继续等待，否则分析数据库中全部的结果出现次数，选择占比最大的作为此点位的最终的视频图像质量结果。本发明的方法，将不同标签的重要性考虑在内，从而更加准确地评估多标签分类模型的性能；提高判断结果的准确性。

技术研发人员：张永,李凡平,石柱国
受保护的技术使用者：青岛以萨数据技术有限公司
技术研发日：
技术公布日：2024/3/31