基于视觉显著性编码效应感知的视频质量评测方法及系统

1.本发明属于图像质量评价技术领域，尤其涉及一种基于视觉显著性编码效应感知的视频质量评测方法及系统。


背景技术：

2.视频编码技术大大降低了存储容量和传输带宽。然而，有损压缩和可变信道传输不可避免地会造成各种失真。因此，压缩后的视频往往会出现视觉上令人讨厌的失真(即编码效应)，这极大地影响了视频的感知质量。为了有效地分析和改善用户体验，有必要对视频的视觉质量进行准确的评价。主观视频质量评价(vqa)是对人类感知最准确、最可靠的反映，因为它是由观众评分的质量。目前，仅以主观质量评价的结果作为基准来衡量客观质量评价方法的准确性。根据国际电信联盟标准，采用mos和dmos对视频主观质量进行表达。因此，mos和dmos 是最可靠的质量指标，用于评价视频的客观质量。然而，主观实验是乏味的、耗时的和昂贵的。因此，建立可靠、客观的vqa指标势在必行。现有的无参考视频质量评价(nr-vqa)算法大多针对传统视频。有些算法涉及信道错误引起的传输失真，如丢包和帧冻结。


技术实现要素：

3.为了弥补现有技术的空白和不足，为了进一步提高nr-vqa的性能，以及实现多种编码效应的感知，本发明提出一种基于视觉显著性编码效应感知的视频质量评测方法及系统，以评价压缩视频的质量。
4.其首先引入视觉显著性模型提取视频显著性图；接着通过图像灰度变换技术增强图像显著性区域的对比度，以更准确地从显著性图中提取显著性区域；最后利用提出的编码效应检测模型测量显著性区域的压缩效应，以实现压缩效应的强度值到视频质量的映射，构建了压缩视频质量评价模型。实验结果表明了所提出模型在评估压缩视频质量上性能的优越性。
5.本发明具体采用以下技术方案：
6.一种基于视觉显著性编码效应感知的视频质量评测方法，其特征在于：考虑视频的视觉显著性的时空分布，首先引入视觉显著性模型提取视频显著性图；接着通过图像灰度变换技术增强图像显著性区域的对比度，以更准确地从显著性图中提取显著性区域；利用提出的编码效应检测模型测量显著性区域的压缩效应，以实现压缩效应的强度值到视频质量的映射，构建压缩视频质量评价模型，以进行视频质量评测。
7.进一步地，所述引入视觉显著性模型提取视频显著性图具体包括以下步骤：
8.步骤s11：给定一个输入视频{f
t
}
t
，利用显著性aclnot网络预测视频的显著性，得到显著性图；
9.步骤s12：将视频显著图利用显著性网络的convlstm模块获取时间特性；
10.步骤s13：将所有帧的显著性图组合成视频显著性图vs。
11.进一步地，在步骤s12中，利用公式(1)计算convlstm模块的输出：
[0012][0013][0014][0015][0016][0017]
(1)
[0018]
其中，i
t
、f
t
、o
t
分别表示输入门、遗忘门和输出门，σ和tanh分别是sigmoid激活函数和双曲正切函数，
′
*
′
是卷积运算符，表示哈达玛积；所有的输入x、记忆单元c、隐藏门h和门i、f、c都是具有相同维数的三维张量，ws和bs是可以通过反向传播学习的可调权重和偏差；通过用1
×
1核卷积隐藏门h来获得动态显著性图。
[0019]
进一步地，通过图像灰度变换技术增强图像显著性区域的对比度，利用提出的编码效应检测模型测量显著性区域的压缩效应具体包括以下步骤：
[0020]
步骤s21：利用图像灰度变换技术增大视频帧的显著性图的显著目标与背景的对比度；
[0021]
步骤s22：用二值化阈值操作得到视频帧显著性图对应的二值化图；
[0022]
步骤s23：从视频的每一帧中准确地提取出显著性区域，将显著性区域裁剪为72*72大小的图像块并分组；
[0023]
步骤s24：利用densenet-pr网络(出自现有技术文献：liqunlin，shiqiyu，lipingzhou，weilingchen，tiesongzhao，andzhouwang.pea265：perceptualassessmentofvideocompressionartifacts.ieeetransactionsoncircuitsandsystemsforvideotechnology(t-csvt)，2020，30(11)：3898-3909.)实现视频编码效应的感知，得到每一个图像块的编码效应强度值，并假设每一个图像块中的每一个像素的编码效应强度值等于该图像块的编码效应强度值，从而计算出每一帧的编码效应强度值，计算如公式(2)和(3)所示：
[0024][0025][0026]
其中i
ij
是72
×
72大小的图像块的编码效应强度值，n
pixel
为每帧显著性区域的像素总数，表示每一帧第k种编码效应的强度值，表示每个视频第k种编码效应的强度值；
[0027]
步骤s25、通过每一帧的编码效应强度值，计算出视频序列的编码效应强度值。
[0028]
进一步地，进行视频质量评测的过程具体包括以下步骤：
[0029]
步骤s31：将四种编码效应，即块效应、模糊效应、彩色溢出效应和振铃效应的强度值与mos或dmos值匹配，构成完整的数据集，表示如公式(4)所示：
[0030][0031]
其中mosm|dmosm表示第m个视频的压缩视频主观质量评分 mos|dmos；
[0032]
步骤s32：将数据集按80：20的比例随机分为训练集与测试集；
[0033]
步骤s33：把视频序列的四种编码效应强度值输入到基于bagging的svr模型中，利用svr模型输出视频的预测质量分数；
[0034]
步骤s34：将步骤s32、s33视作训练一个基础学习机，重复10次，共得到 10个基础学习机；
[0035]
步骤s35：计算压缩视频的预测质量分数与视频主观真实分数mos/dmos之间的plcc和srcc相关性系数，从而实现对压缩视频质量的预测，如公式(5)所示：
[0036][0037][0038]
其中f(
·
)为求和运算，y
l
(x)为第l个学习机的预测输出，l为学习机的数量，一共有10个；ω
l
表示第l个学习机的权重。
[0039]
进一步地，将最高的三个plcc的学习机的权重设置为1/3，其他学习机设置为0。
[0040]
一种基于视觉显著性编码效应感知的视频质量评测系统，其特征在于：基于计算机系统，包括压缩视频显著性检测模块、压缩视频编码效应检测模块和压缩视频质量评测模块；
[0041]
所述压缩视频显著性检测模块引入视觉显著性模型提取视频显著性图；
[0042]
所述压缩视频编码效应检测模块通过图像灰度变换技术增强图像显著性区域的对比度，并利用提出的编码效应检测模型测量显著性区域的压缩效应；
[0043]
所述压缩视频质量评测模块用于根据压缩视频质量评价模型进行压缩视频质量评测。
[0044]
进一步地，所述压缩视频显著性检测模块的运行过程为：
[0045]
给定一个输入视频{f
t
}
t
，利用显著性aclnet网络预测视频的显著性，得到显著性图；之后将视频显著图利用显著性网络的convlstm模块获取时间特性；最后将所有帧的显著性图组合成视频显著性图vs。
[0046]
进一步地，所述压缩视频编码效应检测模块的运行过程为：
[0047]
首先利用图像灰度变换技术增大视频帧的显著性图的显著目标与背景的对比度；用二值化阈值操作得到视频帧显著性图对应的二值化图；再从视频的每一帧中准确地提取出显著性区域，将显著性区域裁剪为72*72大小的图像块并分组；之后利用densenet-pr网络[1]实现视频编码效应的感知，得到每一个图像块的编码效应强度值，并假设每一个图像块中的每一个像素的编码效应强度值等于该图像块的编码效应强度值，从而计算出每一帧的编码效应强度值，最后通过每一帧的编码效应强度值，计算出视频序列的编码效应强度值。
[0048]
进一步地，所述压缩视频质量评测模块的运行过程为：
[0049]
将四种编码效应的强度值与mos和dmos值匹配，构成完整的数据集，将数据集随机分为训练集与测试集；之后把视频序列的四种编码效应强度值输入到基于bagging的svr模型中，利用svr模型输出视频的预测质量分数；最后计算压缩视频的预测质量分数与视频主观真实分数mos/dmos之间的plcc和srcc相关性系数，从而实现对压缩视频质量的预测。
[0050]
与现有技术相比，本发明及其优选方案构建了基于视觉显著性编码效应感知的视频质量评测方法来评价压缩视频的质量，其在评估压缩视频质量上的性能和客观性都足够优越。
附图说明
[0051]
图1为本发明实施例整体工作流程示意图；
[0052]
图2为本发明实施例模型整体结构示意图。
具体实施方式
[0053]
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
[0054]
如图1、图2所示，本实施例提供的基于视觉显著性编码效应感知的视频质量评测方案，考虑视频的视觉显著性的时空分布，提出一种结合视觉显著性的编码效应感知的无参考压缩视频质量评价模型，其实现包括如下步骤：
[0055]
步骤s1、压缩视频显著性检测；
[0056]
步骤s2、压缩视频编码效应检测；
[0057]
步骤s3、压缩视频质量评测。
[0058]
在本发明一实施例中，步骤s1具体实现如下：
[0059]
步骤s11、给定一个输入视频{f
t
}
t
，利用显著性aclnet网络预测视频的显著性，得到显著性图；
[0060]
步骤s12、将视频显著图利用convlstm模块获取时间特性，利用公式(1) 计算convlstm模块的输出：
[0061][0062][0063][0064][0065][0066]
(1)
[0067]
其中，i
t
、f
t
、o
t
分别表示输入门、遗忘门和输出门，σ和tanh分别是sigmoid 激活函数和双曲正切函数，
′
*
′
是卷积运算符，表示哈达玛积。所有的输入x、记忆单元c、隐藏门h和门i、f、c都是具有相同维数的三维张量，ws和bs是可以通过反向传播学习的可调权重和偏差。通过用1
×
1核卷积隐藏门h来获得动态显著性图；
[0068]
步骤s13、将所有帧的显著性图组合成视频显著性图vs。
[0069]
在本发明一实施例中，步骤s2具体实现如下：
[0070]
步骤s21、先利用图像灰度变换技术增大视频帧的显著性图的显著目标与背景的
对比度；
[0071]
步骤s22、用二值化阈值操作得到视频帧显著性图对应的二值化图；
[0072]
步骤s23、从视频帧出准确地提取出显著性区域，将显著性区域裁剪为72x72 大小的图像块并分组；
[0073]
步骤s24、利用提出的densenet-pr网络实现视频编码效应的感知，得到每一个图像块的编码效应强度值，并假设每一个图像块中的每一个像素的编码效应强度值等于该图像块的编码效应强度值，从而计算出每一帧的编码效应强度值，计算如公式(2)和(3)所示：
[0074][0075][0076]
其中i
ij
是72
×
72大小图像块的编码效应强度值，n
pixel
为每帧显著性区域的像素总数，表示每一帧第k种编码效应的强度值，表示每个视频第k种编码效应的强度值；
[0077]
步骤s25、通过每一帧的编码效应强度值，计算出视频序列的编码效应强度值。
[0078]
在本发明一实施例中，步骤s3具体实现如下：
[0079]
步骤s31、首先，将四种编码效应的强度值与 mos(mean opinion score，mos)|dmos(different mean opinion score，d mos)值匹配，构成完整的数据集，可以表示如公式(4)所示：
[0080][0081]
其中mosm|dmosm表示第m个视频的压缩视频质量评分mos|dmos；
[0082]
步骤s32、接着，将数据集按80∶20的比例随机分为训练集与测试集；
[0083]
步骤s33、然后，把视频序列的四种编码效应强度值输入到基于bagging的 svr模型中，利用svr模型输出视频的预测质量分数；
[0084]
步骤s34、将步骤s32、s33视作训练一个基础学习机，重复10次，共得到 10个基础学习机；
[0085]
步骤s35、最后再计算压缩视频的预测质量分数与视频主观真实分数 mos/dmos之间的plcc和srcc相关性系数，从而实现对压缩视频质量的预测，如公式(5)所示：
[0086][0087][0088]
其中f(
·
)为求和运算，y
l
(x)为第l个学习机的预测输出，l为学习机的数量，一共有10个。ω
l
表示第l个学习机的权重。在本文中，我们将最高的三个plcc 的学习机的权重设置为1/3，其他学习机设置为0。
[0089]
本实施例提供的以上程序设计方案可以代码化的形式存储在计算机可读取存储介质中，并以计算机程序的方式进行实现，并通过计算机硬件输入计算所需的基本参数信
息，并输出计算结果。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程、以及流程图中的流程结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程图中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。
[0094]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
[0095]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于视频视觉显著性编码效应感知的视频质量评测方法及系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。