一种基于生成对抗网络的无参考视频质量评价方法及装置与流程

文档序号:21369248发布日期:2020-07-04 04:45阅读:来源:国知局

技术特征:

1.一种基于生成对抗网络的无参考视频质量评价方法,其包括以下步骤:

s1:获取失真视频和原始参考视频,分别抽取所述失真视频、所述原始参考视频的视频帧,得到失真视频帧、原始参考视频帧;将所述失真视频帧、所述原始参考视频帧的格式转换成指定的图片格式;

其特征在于:

s2:分别按照指定的像素数将所述失真视频帧、所述原始参考视频帧切块,同时将切块后的失真视频帧按照指定的压缩比率进行压缩,获得失真视频帧块、原始参考视频帧块;

s3:构建生成对抗网络模型;所述生成对抗网络模型包括:生成网络、判别网络;

所述生成网络的输入为所述失真视频帧块,通过卷积和上采样得到所述失真视频帧块对应的复原的视频帧块;

所述判别网络的输入为所述生成网络生成的所述复原的视频帧块;

所述判别网络判断所述复原视频块是否属于参考视频帧块;对于所述判别网络判断为不属于参考视频帧块的所述复原的视频帧块继续输入到所述生成网络中进行复原;

s4:训练所述生成对抗网络模型,得到训练好的所述生成对抗网络模型;

通过所述失真视频帧块训练所述生成网络,得到训练好的所述生成网络;

将所述复原的视频帧块和所述原始参考视频帧块作为输入训练所述判别网络,得到训练好的所述判别网络;

s5:对于所述判别网络判断为属于参考视频帧块的所述复原的视频帧块,获取其显著图,记做复原视频帧块的显著图;

s6:构建并训练视频质量评价网络模型;

所述视频质量评价网络模型的输入为所述失真视频帧块和与其对应的所述复原视频帧块的显著图;

将所述失真视频帧块和与其对应的所述复原视频帧块的显著图进行融合拼接,输入到所述视频质量评价网络模型中,提取融合图的空域特征后,利用所述视频质量评价网络模型中的全连接层预测失真视频帧块的质量分数,得到所述失真视频帧块对应的质量分数;

将所述失真视频帧块和与其对应的所述复原视频帧块的显著图训练所述视频质量评价网络模型,获得训练好的所述视频质量评价网络模型;

s7:将待评价失真视频进行抽帧、切块和压缩,得到所有的待评价失真视频帧块;

将每一个所述待评价失真视频帧块输入到训练好的所述生成对抗网络模型中,获得其对应的复原视频帧块;基于所述复原视频帧块提取待评价显著图;将所述待评价失真视频帧块、所述待评价显著图输入到训练好的所述视频质量评价网络模型中,得到所述待评价失真视频帧块对应的质量分数;

所述待评价失真视频的质量分数为所有的所述待评价失真视频帧块的质量分数的平均值。

2.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:所述生成网络包括3个卷积层、20个残差模块、2个上采样模块;在第一个卷积层和第二个卷积层之间设置20个所述残差模块,在第二个卷积层和第三个卷积层之间设置2个所述上采样模块;每个所述残差模块包括依次连接的2个卷积层,每个所述上采样模块包括依次连接的1个卷积层和1个上采样层;每个卷积层都采用3×3大小的卷积核;

所述判别网络包括依次连接的11个卷积层和2个全连接层;每个卷积层都采用3×3大小的卷积核,所述判别网络中第一个全连接层单元个数设置为512,第二个全连接层单元个数设置为1。

3.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:步骤s4中,训练所述生成对抗网络模型时,网络模型参数初始化设置为:训练批量大小设为10,所述生成网络的损失函数设为均方误差函数,所述判别网络的损失函数设为二分类交叉熵函数。

4.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:所述视频质量评价网络模型包括5个卷积层,2个池化层以及1个全连接层;在第二个卷积层和第三个卷积层之间设置一个池化层,在第四个卷积层和第五个卷积层之间设置一个池化层,全连接层设置在第五个卷积层之后;每个卷积层都采用3×3大小的卷积核,每个池化层采用最大池化,全连接层单元个数设置为1;所述视频质量评价网络模型的参数初始化设置为:学习率设为0.00001,训练批量大小设为10,网络中偏置项进行全零初始化。

5.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:步骤s1中,基于所述失真视频、所述原始参考视频,每10帧抽取1帧得到所述失真视频帧、所述原始参考视频帧。

6.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:步骤s2中,将所述失真视频帧、所述原始参考视频帧切块,每块大小为192×192像素;并将192×192像素大小的所述失真视频帧块压缩成48×48像素。

7.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:步骤s5中,对于所述判别网络判断为属于参考视频帧块的所述复原的视频帧块,采用视频显著性检测算法lc算法进行显著性检测,获取所述复原的视频帧块的显著图;获取的所述复原视频帧块的显著图大小为48x48像素。

8.实现权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法的评价装置,其特征在于,其包括:视频帧格式转换模块、生成对抗网络模块、显著性检测模块、质量评价模块;

所述视频帧格式转换模块用于将视频帧的格式转换成指定的图片格式,并按照指定的大小进行切块并压缩;

所述生成对抗网络模块基于所述生成对抗网络模型恢复失真视频帧块的分辨率,得到所述失真视频帧块对应的复原的视频帧块;

所述显著性检测模块用于对所述复原的视频帧块进行显著性检测,得到所述复原视频帧块的显著图;

所述质量评价模块基于所述视频质量评价网络模型,根据预设规则依次对失真视频帧块和复原视频块显著图的融合图的质量进行评价,得到所述失真视频帧块对应的质量分数。

9.根据权利要求8所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:其还包括生成对抗网络模型训练模块,所述生成对抗网络模型训练模块包括:生成对抗网络模型构建单元、生成对抗网络训练集构建单元、生成对抗网络训练单元;

所述生成对抗网络模型构建单元用于构建所述生成对抗网络模型;

所述生成对抗网络训练集构建单元用于构建生成对抗网络训练数据集,所述生成对抗网络训练数据集中包括所述失真视频帧块和所述原始参考视频帧块;

所述生成对抗网络训练单元用于采用有监督的训练装置对所述生成对抗网络模型进行训练,在训练过程中,所述生成对抗网络模型的输入为所述失真视频帧块和所述原始参考视频帧块,输出为所述复原的视频帧块。

10.根据权利要求8所述一种基于生成对抗网络的无参考视频质量评价方法,其特征在于:其还包括视频质量评价网络模型训练模块,所述视频质量评价网络模型训练模块包括:视频质量评价网络模型构建单元、视频质量评价网络训练集构建单元、视频质量评价网络训练单元;

所述视频质量评价网络模型构建单元用于构建所述视频质量评价网络模型;

所述视频质量评价网络训练集构建单元用于构建视频质量评价网络模型训练数据集,所述视频质量评价网络模型训练数据集中包括所述失真视频帧块和与其对应的所述复原视频帧块的显著图;

所述视频质量评价网络训练单元用于采用有监督的训练装置对所述视频质量评价网络模型进行训练,在训练过程中,所述视频质量评价网络模型的输入为所述失真视频帧块和与其对应的所述复原视频帧块的显著图,输出为所述失真视频帧块对应的质量分数。


技术总结
本发明提供一种基于生成对抗网络的无参考视频质量评价方法,其无需原始视频信息,方法简单,适用范围广,且分类准确率高。首先利用生成对抗网络恢复失真视频帧块的分辨率,然后将失真视频帧块和与其对应的复原的视频帧块的显著图作为输入送入到视频质量评价网络,对失真视频帧块的质量进行评价。同时本发明还公布了一种基于生成对抗网络的无参考视频质量评价装置。

技术研发人员:桑庆兵;朱泽;殷莹;孙俊;吴小俊
受保护的技术使用者:江南大学
技术研发日:2020.03.10
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1