一种虚拟视角合成视频质量的无参考评价方法与流程

本发明涉及虚拟视角合成的客观视觉质量评价方法，尤其是一种虚拟视角合成视频质量的无参考评价方法。
背景技术：
：目前，多视角和自由视角视频引起广泛关注。这两种视频的实现需要大量的视角图像，而由于网络带宽和成本的限制，不可能所有视角都通过摄像机拍摄完成，所以需要借助虚拟视角合成技术来从多个已知的视角来合成新的视角图像。在现有的虚拟视角合成技术中最常用的是基于深度图的绘制方法即depthimagebasedrendering(dibr)合成技术。现有的dibr合成技术会造成新视角中的前景或者背景边缘出现空洞，然后dibr对空洞进行填补。由于填补的不完美，造成新视角在这些区域的失真，同时由于每一帧图像中这些失真区域的不连续性，从而造成了虚拟视角合成视频中的闪烁效应。这种闪烁是虚拟视角合成视频中的主要失真来源。所以，评价视频中的闪烁失真对于评价虚拟合成视频的质量非常重要。现有的质量评价方法分为主观评价方法和客观评价方法。主观评价方法虽然评价结果最为准确，但是费时费力，实际操作中不可行。所以，设计客观质量评价方法具有重要意义。能够用来评价虚拟视角合成的客观视觉质量评价方法主要有传统图像、传统视频质量评价方法、针对视角合成图像或视频的质量评价方法。下面对这些方法进行逐一的介绍和分析。传统图像质量评价方法：由于合成图像相比于原始图像具有几何偏移，这种偏移并不会对视觉质量造成较大影响，而现有的传统图像质量评价方法对几何偏移非常敏感，因此这些传统方法会高估几何偏移对图像质量的影响；此外，合成算法在合成图像中带来的失真具有局部性，并非均匀分布，而传统评价方法主要针对失真相对均匀的图像。所以，传统的质量评价方法往往会低估此类局部的显著失真对视觉质量的影响；同时，传统的图像质量评价算法只考虑了空域失真，没有考虑视频中帧与帧之间的时域失真。因此，上述特点决定了传统的视觉质量评价方法无法直接用于评价多视角合成图像的质量[1]。传统视频质量评价方法：和传统图像质量评价方法一样，传统的视频质量评价算法也是针对失真均匀分布的视频。所以，其在评价虚拟视角合成视频时的性能也不够理想。现有的针对虚拟视角合成图像的质量评价方法：bosc等人[2]首先构建了一个视角合成图像库，并在ssim算法的基础上提出了一种改进型质量评价方法。该图像库包含7种dibr算法进行视角合成的图像；在质量评价时仅对原始视角的纹理图像和合成图像中对应的边缘区域利用ssim评价，最后将ssim均值作为最终的质量分数；conze等人[3]首先采用ssim算法计算合成图像和原始纹理图像之间的失真图，然后根据纹理复杂度、梯度方向和对比度计算三个加权图，最后利用加权图对失真图进行加权处理，从而得到质量分数。张艳等[4]针对视角合成图像中边缘的失真往往更为明显的特点，通过分析合成图像和原始图像的像素差异，并对边缘像素赋予较高权重，进而得到最终质量分数；stankovic等[5]提出利用形态学小波对原始图像和合成图像进行多级分解，并在多个细节子带上计算均方误差，在此基础上进一步计算多尺度峰值信噪比并将其作为质量分数；battisti等[6]提出的算法首先对参考图像和合成图像进行分块，运用运动估计算法进行匹配；对匹配后的图像块进行小波变换并计算系数直方图，利用kolmogorov-smirnov距离描述合成图像的失真程度；jung等[7]首先用合成后的左右视角图像和视差图检测主要失真区域；然后对两个视角的失真区域计算ssim分数，最后对左右视角的ssim分数进行平均作为最终的质量分数。该方法侧重于合成过程中的左右视角不对称对合成质量的影响。以上针对合成图像的质量评价算法和传统图像的质量方法有一个共同的问题，即没有考虑视频中的时域失真。所以，这些算法在评价虚拟视角合成视频质量时的性能具有一定的局限性。目前，仅有一种针对虚拟视角合成视频的质量评价方法。该方法[8]首先利用光流法实现相邻帧图像中像素之间的匹配并计算相匹配像素间的距离，设置阈值从而提取出闪烁的失真区域。计算相邻帧图像中闪烁区域的相似性，并将每一帧中闪烁区域的像素数占视频中所有闪烁区域像素数之比作为帧图像的权值。最后，将加权平均值作为视频的质量分数。虽然该方法实现了对虚拟视角合成视频的质量评价，但是性能仍然有待提高。因此，亟需提出更加符合人类视觉感受的虚拟视角合成视频的客观质量评价模型。[1]y.yang，x.wang，q.liu，m.l.xu，andw.wu，“usermodelsofsubjectiveimagequalityassessmentonvirtualviewpointinfree-viewpointvideosystem，”multimediatoolsandapplications，vol.75，no.20，pp.12499-12519，oct.2016.[2]e.bosc，r.pépion，p.l.callet，m.koppel，p.n.nya，l.morinandm.pressigout，“towardsanewqualtiymetricfor3-dsynthesizedviewassessment，”ieeej.select.top.signalprocess.，vol.5，no.7，pp.1332-1343，sep.2011.[3]p.h.conze，p.robertandl.morin，“objectiveviewsynthesisqualityassessment，”electron.imag.int.societyforopticsandphotonics，vol.8288，pp.8288-8256，feb.2012.[4]张艳，安平，尤志翔，张兆杨，基于边缘差异的虚拟视图像质量评价方法，《电子与信息学报》，35(8)：1894-1900，2013.[5]d.s.stankovic，d.kukoljandp.l.callet，“dibrsynthesizedimagequalityassessmentbasedonmorphologicalwavelets，”ieeeint.workshoponqualityofmultimediaexperience，pp.1-6，jan.2015.[6]f.battisti，e.bosc，m.carliandp.l.callet，“objectiveimagequalityassessmentof3dsynthesizedviews，”sig.process.：imagecommun.，vol.30，pp.78-88，jan.2015.[7]y.j.jung，h.g.kim，andy.m.ro，“criticalbinocularasymmetrymeasureforperceptualqualityassessmentofsynthesizedstereo3dimagesinviewsynthesis”，ieeetransactionsoncircuitsandsystemsforvideotechnology，26(7)：1201-1214，2016.[8]h.g.kimandy.m.ro，“measurementofcriticaltemporalinconsistencyforqualityassessmentofsynthesizedvideo，”ieeeint.conf.imageprocess.，pp.1027-1031，sep.2016.技术实现要素：发明目的：为解决现有技术在评价虚拟视角合成视频质量时，其性能具有一定的局限性的技术问题，本发明提出一种虚拟视角合成视频质量的无参考评价方法，该方法通过提取和评价闪烁区域来对虚拟视角合成视频进行客观质量评价。技术方案：为实现上述技术效果，本发明提出的技术方案为：一种虚拟视角合成视频质量的无参考评价方法，包括步骤：(1)将待评价的虚拟视角合成视频分解为一帧一帧的图像；(2)提取虚拟视角合成视频中每帧图像的闪烁区域，提取闪烁区域的步骤包括：(21)闪烁失真区域的初步提取，包括步骤：(211)将当前帧图像与其前一帧图像均进行分块，使用基于块的运动估计算法得到当前帧图像中的块与其前一帧图中的块之间的匹配关系；(212)计算当前帧图像中每个块的梯度均值和方差，再求出当前帧中每个块与其相匹配块之间的梯度均值距离和梯度方差距离；(213)将当前帧中的所有块按照其与相匹配块之间的梯度均值距离和方差距离分别进行降序排列，根据预设的选取条件，选取当前帧中排序最前的n个块暂定为待定闪烁块；(22)闪烁失真区域的二次校验，包括步骤：(221)将当前帧图像与其前一帧图像由rgb空间转换到hsi颜色空间，得到两帧图像在h，s，i三个通道上的图像；计算步骤(213)提取得到的待定闪烁块及其匹配块在h，s，i三个通道上的一阶矩和二阶矩，并将每个块在h，s，i三个通道上的一阶矩和二阶矩作为元素形成该块对应的一个6元素矩阵；(222)以每个待定闪烁块为中心，取其周围大小为l×l的区域，将该区域划分为重叠的与待定闪烁块大小相同的邻域块，并计算各领域块在h，s，i三个通道上的一阶矩和二阶矩，得到各领域块的6元素矩阵；(223)计算每个待定闪烁块的6元素矩阵与其领域块的6元素矩阵之间的平均相似性，并根据预先设置的相似性最高阈值，挑选出小于平均相似性最高阈值的待定闪烁块为真正的闪烁块；(3)将步骤(2)选出的真正的闪烁块与其在前一帧中相匹配的块进行奇异值分解，得到闪烁块和其匹配块的奇异值矩阵；然后对闪烁块和其匹配块的奇异值矩阵进行归一化，并计算闪烁块与其匹配块归一化后的奇异值均值的距离，将其作为闪烁块的闪烁失真强度；将闪烁块的失真强度求出来，将闪烁块的失真强度的f范数作为该闪烁块的质量分数；(4)将当前帧图像中所有闪烁块的质量分数之和作为当前帧的质量分数；(5)计算出待评价的虚拟视角合成视频中所有帧的质量分数，将所有质量分数求和后求平均值，并将求得的平均值作为待评价的虚拟视角合成视频的最终质量分数。进一步的，所述计算每个块的梯度均值和方差，以及计算当前帧中每个块与其相匹配块之间的梯度均值距离和梯度方差距离的步骤为：首先计算任意块bn的梯度矩阵为：其中，表示bn的梯度矩阵，gx和gy分别表示bn的水平梯度和垂直梯度；然后，计算bn梯度的均值和方差：式中，表示bn梯度的均值，表示bn梯度的方差，表示矩阵中像素点(i，j)处的梯度值；最后，计算出块bn与其匹配块之间的梯度均值距离和梯度方差距离式中，bn-1表示与bn相匹配的块，表示bn-1的梯度的均值，表示bn-1的梯度的方差。进一步的，所述计算每个待定闪烁块的6元素矩阵与其领域块的6元素矩阵之间的平均相似性的步骤包括：(3-1)定义任意一个待定闪烁块为bn，bn的6元素矩阵为mbn；定义bn的一个领域块为bne，bne的6元素矩阵为mbn和之间的相似度矩阵s为：式中，c是一个接近于零的正数，目的是保证分母不为0；(3-2)计算待定闪烁块bn与其领域块之间的平均相似性si为：式中，s(i，j)表示相似性矩阵s在待定闪烁块bn中像素点(i，j)处的相似性值。进一步的，所述对一个块进行奇异值分解的步骤为：(4-1)定义任意一个块为bn，bn的奇异值分解公式为：bn＝unsnvnt其中，un、vn满足公式：untun＝e，vntv＝e；e表示单位矩阵，sn是一个对角矩阵：对角线上的数据构成bn的奇异值矩阵an＝[s1，s2，…，sm]。进一步的，所述计算闪烁块的失真强度的方法为：对闪烁块和其匹配块的奇异值矩阵进行归一化处理，定义任意一闪烁块bn的奇异值矩阵的归一化结果为an′，闪烁块bn的匹配块的奇异值矩阵的归一化结果为an-1′，则计算闪烁块bn的失真强度为：有益效果：与现有技术相比，本发明具有以下优势：1、能够较准确的提取出视频中的局部闪烁区域；2、可以减少在背景运动或前景运动过快情况带来的检测误差；3、相比于传统视觉图像质量评价方法，更充分考虑了时域的失真；4、该评价算法的性能明显优于现有视觉质量评价方法，具体包括：传统的质量评价算法现有的虚拟视角合成图像或者合成视频的质量评价方法；5、该算法能够用来优化现有的视觉质量评价方法；6、该算法能够用来评价现有的虚拟合成算法的性能、针对具体场景选择合适的虚拟合成算法。附图说明图1为本发明的流程图；图2为cti算法拟合散点图图3为本发明拟合散点图。具体实施方式下面结合附图对本发明作更进一步的说明。图1所示为本发明的流程图，由图可知：本发明的整体流程分为两大模块：1、基于双重检测的闪烁失真区域的提取模块2、闪烁区域评价模块。下面对这两大模块分别进行详细介绍：由于视频是由一帧帧图像序列组成，首先将视频分解为一帧一帧的图像。算法的介绍是在相邻帧之间进行，所以这部分以两个相邻帧i1，i2为例进行解释说明。模块1：闪烁失真区域的初步检测：将当前帧i2及其前一帧图像i1进行分块，使用基于块的运动估计算法得到两帧图像中块与块之间的匹配关系，并求出每个块的梯度均值和方差，再求出相匹配块之间的梯度均值距离和梯度方差距离；然后将所有相匹配块之间的梯度均值距离和方差距离分别进行降序排列；例如：若i2中的一个块bn与它在i1中相匹配的块bn-1之间的梯度均值距离位列所有块的梯度均值距离的前1％，或者bn与它在i1中相匹配的块bn-1之间的方差距离位列所有块的梯度方差距离的前1％，那么这个块被暂定为待定闪烁块。至此，初步提取出图像中的闪烁区域。闪烁失真区域的二次校验：由于现实环境中拍摄的视频会出现背景运动或者前景运动过快的情况，为减少这种情况下闪烁区域检测的误差，本发明提出一种利用邻域相关性来对上一步骤中提取出的闪烁区域进行二次校验的方法。具体实现方法为：将前后两帧图像由rgb空间转换到hsi颜色空间，得到两帧图像在h，s，i三个通道上的图像。对于第一步检测的待定闪烁块bn，计算它和它的匹配块bn-1在h/s/i三个通道上的一阶矩和二阶矩。至此，每个待定闪烁块和其匹配块都对应一个6元素组成的矩阵，该6元素矩阵中的6个元素分别为每个待定闪烁块在h/s/i三个通道上的一阶矩和二阶矩。计算两个匹配块的6元素矩阵的相似性。设置一个阈值，如果相似性大于该阈值，说明该待定闪烁块不是闪烁块，否则，认为该待定闪烁块是闪烁块。使用该方法对第一步中提取的所有待定闪烁块依次进行二次校验，从而得到最终真正的闪烁块。模块2：将闪烁块与其在前一帧中相匹配的块进行奇异值分解，然后利用每个闪烁块的最大奇异值对所有奇异值进行归一化，并求出闪烁块与其匹配块归一化后的奇异值均值的距离，将其作为闪烁块的闪烁失真强度。最后，将所有闪烁块的失真强度求出来，将他们的f范数作为该闪烁块的质量分数。将当前帧图像中所有闪烁块的质量分数之和作为当前帧的质量分数。按照上述方法计算出所有帧的质量分数，将所有分数进行平均作为视频的最终质量分数。以下通过一个具体实施例来进一步说明本发明所述的技术方案。我们的实施例在虚拟视角合成视频库上进行。该数据库中共有84个虚拟视角合成视频，这些视频是由7种视角合成算法实现。我们首先分析出视频中每一帧的失真具有局部分布特性，主要分布在前景的边缘处，且这些失真在每一帧中的不连续性造成了视频中的闪烁失真。这种闪烁失真是直接影响视频质量的因素，所以，我们首先设计方法提取闪烁失真区域，然后通过评价闪烁失真区域的失真程度，最后求出所有帧中的平均失真作为视频的质量分数。通过观察视频，可以发现视频中有局部区域发生明显的闪烁现象，这种现象直接影响视频质量。带来这种闪烁的原因主要是连续帧之间亮度的不连续性。所以，闪烁区域的提取在相邻帧之间进行。以下步骤，以连续的两帧图像i1，i2为例。步骤一：由于连续两帧图像在内容上存在位移，因此，首先将两帧图像(大小为[m，n])分别分成大小为m*m大小的块。每帧图像中块的总个数用num表示。然后利用块匹配算法对两帧中的图像块进行匹配，找到i1中与i2中的块相对应的块。步骤二：对于i2中的任意块bn，计算其梯度矩阵，计算公式为：其中，表示bn的梯度，gx和gy分别表示bn的水平梯度和垂直梯度。然后，计算bn梯度的均值和方差：式中，表示bn梯度的均值，表示bn梯度的方差，表示矩阵中像素点(i，j)处的梯度值。前一帧图像中与bn相匹配的块bn-1的均值和方差用上述同样的方式计算。计算出相匹配块bn、bn-1之间的梯度均值距离和梯度方差距离使用同样的方法求出i2中所有块与其在i1中相匹配块间的梯度均值距离和梯度方差距离。然后，将所有待定闪烁块的梯度均值距离和梯度方差距离进行降序排列。位于均值距离前1％的或者方差距离前1％的待定闪烁块被认为是闪烁块。由此，初步确定了在i2中的所有待定闪烁块。步骤三：考虑到实际拍摄的视频可能存在背景运动或者前景运动过快的情况，为了减少这种情况对块匹配过程带来的误差，从而引起的正常块被误判断为闪烁块的情况，提出一种基于正常块与相邻块高度相关性的二次判决方法，对初步确定的所有闪烁块进行再一次检验。二次检验的步骤为：首先，将i2转换到hsi颜色空间，得到其在三个通道h/s/i上的图像。对于任意一个初步确定的待定闪烁块bn，分别计算其在三通道上的一阶矩和二阶矩，从而构成一个1×6维的矩阵式中，h1，s1，i1分别为待定闪烁块bn在h通道、s通道、i通道上的一阶矩，而h2，s2，i2分别为待定闪烁块bn在h通道、s通道、i通道上的二阶矩。以待定闪烁块bn为中心，取其周围大小为l×l的区域，并将该区域划分为重叠的与bn大小相同的邻域块。用同样方式，计算划分出的各个邻域块的1×6维矩阵然后计算mbn、的相似性矩阵s：其中，c是一个接近于零的正数，目的是保证分母不为0。再计算待定闪烁块bn与其领域块之间的平均相似性：式中，s(i，j)表示相似性矩阵s在待定闪烁块bn中像素点(i，j)处的相似性值。步骤四：设置阈值t＝90％，如果待定闪烁块bn与其邻域任意块之间的平均相似性小于t，则该待定闪烁块被确认为闪烁块，否则被认为是正常块。使用此方法对所有初步认定的待定闪烁块进行二次检测，从而得到真正的闪烁块。这些闪烁块构成了i2中的闪烁区域。步骤五：对闪烁块bn进行奇异值分解：bn＝unsnvnt其中，un、vn满足公式：untun＝e，vntv＝e；e表示单位矩阵，sn是一个对角矩阵：对角线上的数据构成bn的奇异值矩阵an＝[s1，s2，…，sm]。同样，前一帧中与bn相匹配的块的奇异值矩阵为an-1。为了在基准线上计算闪烁失真，将an和an-1进行归一化，以an为例，使用其最大值对其进行归一化，定义an归一化后的结果为an′，同理，an-1归一化后的结果为an-1′。两个块之间的闪烁失真强度表示为：步骤六：我们使用所有闪烁块中的闪烁强度之间的f范数表示帧i2中的闪烁强度，计算公式为：其中，n表示i2中的所有闪烁块。使用相同的方法计算出所有帧中的闪烁失真，然后将所有帧中的闪烁失真均值作为整个视频的质量分数。步骤七：图像客观质量评价分数与图像主观质量分数之间呈现非线性关系，所以本发明采用下面的logistic非线性回归方程对主客观评价进行非线性回归：其中，x代表客观质量评价分数，选择合适的参数τ1，τ2，τ3，τ4，τ5使得f(x)与主观质量评价分数的误差最小。用回归曲线与客观的统计指标作为评价客观评价方法性能的指标，包括：1)相关系数(pearsonlinearcorrelationcoefficient，plcc)为非线性回归后的线性相关系数；2)均方误差根(rootmeansquarederror，rmse)为非线性回归后的标准差；3)kendall等级相关系数(kendall’srankcorrelationcoefficient，krcc)；4)spearman相关系数(spearmanrankordercorrelationcoefficient，srcc)。其中，plcc，rmse用来衡量预测准确性，而后两者用来衡量预测单调性。plcc，srcc，krcc数值越大越好，rmse数值越小越好。首先，我们将本发明的性能和传统图像、传统视频、合成图像、合成视频质量评价算法进行对比。表一给出了本文算法和其他17个算法的测试性能。其中，1-7为传统图像质量评价算法，8-10为传统视频质量评价方法，11-16为合成图像质量评价方法，17为唯一的合成视频质量评价方法。plcc/srcc/krcc数值越大，rmse数值越小，说明算法性能越好。表一本发明和其他算法的性能对比序号算法plccsrcckrccrmse1psnr0.38640.44370.33820.52372ssim0.22530.18660.13510.55323iw-ssim0.60710.64370.46380.39394fsim0.58100.62780.44470.46215gsm0.47340.51770.35900.50016niqe0.25780.31900.24040.54867il-niqe0.33770.29940.20920.53448qac0.39990.44270.29660.52049viideo0.24450.20890.14260.550510rred0.37330.45090.33040.513811videobliinds0.50650.46990.33530.489612movie0.23420.20110.10870.671913bosc0.58560.62510.44700.460214mw-psnr0.57690.59800.43370.463815mp-psnr0.60520.62980.47940.4520163dswim0.48220.37870.26360.497417siqe0.40840.47110.34110.518318dsqm0.52410.31570.20630.485719cti0.68210.68960.50140.437220本算法0.76850.74080.57370.3633由上表可知，本发明的plcc/srcc/krcc明显高于所有其他的算法，rmse最小。这说明了本算法性能具有明显的优越性。为了更加直观的展示本算法的性能，我们给出了本算法和现有的唯一一个合成视频质量评价算法的散点图，如图2和图3所示。由图2和图3可知，本发明的散点更加密集的分布在拟合曲线附近，近一步说明本发明性能的优越性。为了进一步验证本发明的性能，将本发明的测试分数和其他算法的测试分数相乘，来测试结合本发明之后，其他算法的性能是否有所提高，从而验证本算法对其他算法的改进作用。表2所示即为现有客观质量评价算法结合本算法后的性能示意表。表2现有客观质量评价算法结合本发明后的性能对比表1和表2的数据可知，当现有的客观质量评价方法和本发明相结合后，所有算法的性能均得到一定的提高。由此证明了本发明对其他算法的改进作用。以上所述仅是本发明的优选实施方式，应当指出：对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页12