视频质量评价方法与流程

本发明涉及一种多视点视频图像处理方法，尤其涉及一种多视点视频感兴趣区域图像质量评价方法。

背景技术：
随着数字视频的迅速发展和广泛应用，用2D描述的真实世界已不能满足人们日益增长的视觉需求；但3D立体视频数据量庞大，这对通信系统中的带宽和存储空间提出了严峻的挑战，因此3D视频数据的高效压缩意义重大。为了降低数据在存储和传输过程中所占带宽，往往会在量化过程中降低视频质量，这会导致数字视频数据的失真。由于压缩编码后的视频的质量直接反映了改压缩算法或压缩算法的性能，视频服务系统必须能够及时把握并量化视频质量下降的情况，因此视频信息质量评价成为一个值得关注的问题。视频质量评价包括主观质量评价(主观感觉评价法)和客观质量评价(客观评定法)。目前大多数图像处理系统的以人眼为终端系统，它是最直接也是最可靠的图像质量评价方法，但是这种主观质量评价操作复杂、受观测环境和观察者的背景差异影响大、实时性差，无法适应当前多数视频服务系统。客观质量评价包括全参考、部分参考和无参考数据的视频质量度量。ITU-R专家组将峰值信噪比(PSNR)和均方根误差(MSE)作为传统的两种客观质量评价标准，但是实践证明这两种方法经常出现与人的主观感觉不一致的情况。这两种全参考方法是假定在判断视频质量时可获得未失真的原始视频，来对比失真视频和原始视频从而评价失真视频的质量，所得的并不是真正的图像质量，而是相似程度或保真程度。大部分视频服务应用中，人是最终的视频接收者，对于各种图像质量客观评价方法，其研究的目的必须是使客观质量的评价结果与人的主观感觉相符，因此，仍需要新的视频质量评价方法。

技术实现要素：
针对目前视频质量评价方法存在的不足，本发明提供了一种视频质量评价方法。本发明所述的视频质量评价方法，包括：——获取多视点视频的源图像和目标图像，在获取的目标图像中采集显著图，其(x,y)位置的灰度值为S(x,y)；将获得的显著图和源图像中相同位置的区域进行匹配，公式为：bj＝cj×S(x,y)；其中，Iref(x,y)为源图像在(x,y)位置的像素R、G、B中某一颜色的分量值，源图像与目标图像中匹配像素点在图像中位置上的差异为(Δx,Δy)，Itar(x+Δx,y+Δy)为目标图像中对应位置的灰度值，aj和bj分别代表乘性因子和加性因子，cj为显著性图的乘性因子；通过求源图像和目标图像亮度直方图来求解最佳加权系数aj、bj和cj；将源图像和目标图像匹配，进行感兴趣区域的多视点颜色校正；——输出校正后的图像，利用全参考质量评价方法进行质量评价。在一种优选实施例中，所述全参考质量评价方法包括如下组中的任意一种或几种：PSNR算法、MSE算法、特征相似性FSIM算法、基于Riesz变换的特征相似性RFSIM算法、基于光谱残留SR-SIM算法、基于视觉显著感应VSI算法。在一种优选实施例中，对FSIM指数的计算分为两个步骤：首先计算局部相似图，然后将相似图映射到一个单一的相似性得分。在一种优选实施例中，所述显著图为人感兴趣区域。所述人感兴趣区域是指：吸引人眼注意力的对象。其中，所述人感兴趣的区域的采集可以是通过基于显著度的注意计算模型、或复杂静止自然图像显著度测试模型来实现。在一种优选实施例中，所输出的校正后的图像，可以包括彩色图像、或者彩色图像与所述彩色图像所对应的灰度图。与现有的技术相比，本发明提出的基于感兴趣区域的视频质量评价方法的优点在于：通过将视觉注意机制应用于图像感兴趣区域的提取，提取图像的显著性图，可以大大提高效率和准确度，避免不必要的计算资源浪费，同时能得到很好的主观感知图，并且和客观质量评价具有很好的一致性。附图说明图1为本发明视频质量评价方法流程示意图；图2为本发明方法在MATLAB环境下进行测试的实验结果图，其中，图2A为赛车视频图像序列实验结果，图2B为舞蹈视频图像序列实验结果；图中带粗体边框的为参考图。具体实施方式本发明提出了一种基于图像结构和人眼视觉特性的全参考图像质量评价方法，先获取多视点视频的源图像和目标图像，用显著图提取工具箱提取目标图像的感兴趣区域的显著图，对显著图和源图像进行区域匹配，求得最佳加权系数，对合成的彩色图像进行主观质量评价，再利用基于图像结构和人眼视觉的全参考质量评价方法对其进行客观质量评价。参照图1和图2，采用640x480的赛车视频图像(race1)序列视点图像和舞蹈视频图像(flamenco2)序列视点图像在MATLAB环境下进行测试，将本申请所述的基于感兴趣区域的颜色校正方法与基于3DGMM直方图的颜色校正方法进行对比。本发明方法如下：获取多视点视频的源图像和目标图像，在获取的多视点视频的目标图像中提取感兴趣区域的显著图(其灰度值为S(x,y))，再对获得的显著图和源图像进行匹配；公式可表示为：Iref(x,y)＝aj×Itar(x+Δx,y+Δy)+bj；bj＝cj×S(x,y)；其中，将图像进行三通道划分，Iref(x,y)为源图像在(x,y)位置的像素R、G、B中某一颜色的分量值，源图像与目标图像中对应像素在位置上的差异为(Δx,Δy)，Itar(x+Δx,y+Δy)为目标图像中对应位置的灰度值，aj和bj分别代表乘性因子和加性因子；cj为显著图的乘性因子。通过求源图像和目标图像亮度直方图来求解最佳加权系数aj、bj和cj；将源图像和目标图像匹配，感兴趣区域的多视点颜色校正。输出校正后的图像，并对感兴趣区域进行质量评价。其中，质量评价包括主观质量评价。其中，质量评价包括主观质量评价、以及利用基于图像结构和人眼视觉的全参考质量评价方法对其进行客观质量评价。从图1和图2中可以看到本文提出的基于感兴趣区域的颜色校正方法在主观上的校正效果良好。本发明采用PSNR、MSE、FSIM、RFSIM、SR-SIM、VSI等几种高效的质量评价方法对提出的基于感兴趣区域的颜色校正的结果进行客观质量评价，实验结果如表1、表2所示。表1序列race1的第0视点的评价结果表2序列flamenco2的第0视点的评价结果其中，对FSIM指数的计算分两步，首先计算局部相似图，然后把相似图映射到一个单一的相似性得分。再计算基于Riesz变换的特征相似性的评价标准RFSIM、基于光谱残留的评价指数SR-SIM、基于视觉显著感应的评价指数VSI，对合成的图像进行不同标准的客观质量评价。最后把各种客观质量评价指标与主观质量评价相比较，看他们是否符合主客观质量评价的一致性。从以上表格数据可以看出于感兴趣区域的颜色校正方法在客观指标上的校正效果与主观感知质量一致。从实验结果中可以看到，相较于基于3DGMM直方图的颜色校正方法(图2中b)部分)，本发明实施例中基于感兴趣区域的方法在主观上的校正效果更佳。并且根据客观质量评价方法得到的结果，相较于基于3DGMM直方图的颜色校正方法(图2中b)部分)，本发明基于感兴趣区域的颜色校正方法在客观指标上具有较好的效果，即本发明提出的方法符合主客观的一致性。以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。