一种用于评价视角合成图像质量的方法与流程

本发明涉及图像质量评价技术领域，尤其是一种用于评价视角合成图像质量的方法。

背景技术：

多视角和自由视角技术是可视媒体的重要前沿性研究领域，具有广阔的应用前景。在多视角和自由视角应用中，最关键的技术和难点是虚拟视角的合成^[1]。这是因为在实际环境中受硬件成本和网络带宽等条件的制约，往往只能在有限的视角处布置摄像机获取纹理图像和深度图像，经过编码和传输后，在接收端利用这些已有视角的信息对其余视角(虚拟视角)进行合成。基于深度图的绘制方法(depthimagebasedrendering，dibr)是目前虚拟视角合成的最常用方法。该方法是通过利用已有视角的纹理图像和深度图像来合成新的视角图像。现有的dibr视角绘制方法很多，如a1^[2]-a6^[7]。在合成同一视角时，不同的dibr视角合成方法性能不同，即它们合成图像的质量有所不同。此外，一种视角绘制方法不能在所有场景的视角绘制中均保持最好的性能。所以，在实际应用中，对于待合成的视角图，如何对现有的dibr视角绘制方法性能进行排序，从而选取性能最好的视角合成方法是关键问题。对各个dibr视角合成方法合成的视角图质量进行有效地定量评价是最直接的解决方法。高质量的视角合成图对应的合成方法就是性能好的视角合成方法。

现有的质量评价方法分为主观评价方法和客观评价方法。主观评价方法虽然评价结果最为准确，但是费时费力，实际操作中不可行。所以，设计客观质量评价方法具有重要意义。而传统图像质量评价方法不能够对视角合成图像的质量进行准确评价，主要原因在于：传统评价方法主要针对失真相对均匀的图像，而合成图像失真中的局部几何失真相比较全局的模糊失真具有更高的视觉显著性。所以，传统的质量评价方法往往会低估此类局部的显著失真对视觉质量的影响；

现有的针对视角合成图像的质量评价方法有很多：bosc等人^[8]首先构建了一个视角合成图像库，并在ssim算法的基础上提出了一种改进型质量评价方法；在质量评价时仅对原始视角的纹理图像和合成图像中对应的边缘区域利用ssim评价，最后将ssim均值作为最终的质量分数；conze等人^[9]首先采用ssim算法计算合成图像和原始纹理图像之间的失真图，然后根据纹理复杂度、梯度方向和对比度计算三个加权图，最后利用加权图对失真图进行加权处理，从而得到质量分数。stankovic等^[10]提出利用形态学小波对原始图像和合成图像进行多级分解，并在多个细节子带上计算均方误差，在此基础上进一步计算多尺度峰值信噪比并将其作为质量分数；gu等人^[11]提出了一种基于自回归模型的合成图像质量评价方法。该方法首先计算出合成图像的自回归图像，然后利用合成图像和自回归图像的差异来提取几何失真区域。采用一个阈值，将两幅图像的差值图像变换为二值图像。最后，二值图像和预测出来的自然图像之间的相似性数值被最为合成图像的质量分数。battisti等^[12]提出的算法首先对参考图像和合成图像进行分块，运用运动估计算法进行匹配；对匹配后的图像块进行小波变换并计算系数直方图，利用kolmogorov-smirnov距离描述合成图像的失真程度；li等人^[13]提出了一种基于局部几何失真和全局清晰度的视角合成图像质量评价方法。首先，检测出空洞区域，然后将空洞区域的大小和强度结合计算出局部几何失真分数；然后，利用再次模糊的方法计算出图像的全局清晰度分数。最后，将两个分数相结合生成合成图像的质量分数。zhou等^[14]分别对低层结构和中层结构失真进行描述，然后将两者结合进行视角合成图像质量评价。zhou等^[15]通过计算合成后视角图和参考视角图的多尺度边缘相似性来度量合成视角的质量。

以上现有的针对视角合成图像的质量评价方法相比传统的质量评价方法在评价虚拟合成视角质量时已经取得较大进展，但是仍不够理想。进而，它们在对虚拟视角绘制方法性能排序方面性能也是有限。原因在于：视角合成图像中同时含有全局的模糊失真和局部的几何失真，而方法[8]-[11]均忽略了视角合成图像中局部几何失真对视觉质量的影响；方法[12]-[15]虽然考虑了局部几何失真的影响，但是不能够准确提取视角合成图像中的几何失真区域，从而造成其性能上仍然不够理想。所以，亟需设计出一种更加有效的视角合成方法，使其能够对dibr绘制算法性能进行有效排序。

[1]y.c.fan，p.k.huang，andd.w.shen，“3dtvdepthmapreconstructionbasedonstructuredlightscheme，”ieeeint.instrum.meas.technol.conf.，pp.835-838，may2013.

[2]c.fehn，“depth-image-basedrendering(dibr)，compressionandtransmissionforanewapproachon3d-tv，”spieconf.stereoscopicdisplaysandvirtualrealitysystemsx，vol.5291，pp.93-104，jan.2004.

[3]a.telea，“animageinpaintingtechniquebasedonthefastmarchingmethod，”j.graphics，gpu，gametools，vol.9，no.1，pp.23-34，2004.

[4]y.mori，n.fukushima，t.yendo，t.fujii，andm.tanimoto，“viewgenerationwith3-dwarpingusingdepthinformationforftv，”signalprocessing：imagecommu.，vol.24，pp.65-72，jan.2009.

[5]k.muller，a.smolic，k.dix，p.merkle，p.kauff，andt.wiegand，“viewsynthesisforadvanced3-dvideosystems，”j.imagevideoprocess.，articleid438148.nov.2008.

[6]p.n.nya，m.koppel，d.doshkov，h.lakshman，p.merkle，k.muller，andt.wiegand，“depthimagebasedrenderingwithadvancedtexturesynthesis，”ieeeint.conf.multimediaexpo，pp.424-429，jul.2010.

[7]m.koppel，p.n.nya，d.doshkov，h.lakshman，p.merkle，k.mller，andt.wiegand，“temporallyconsistenthandlingofdisocclusionswith.texturesynthesisfordepth-image-basedrendering，”ieeeint.conf.imageprocess.，pp.1809-1812，sep.2010.

[8]e.bosc，r.pépion，p.l.callet，m.koppel，p.n.nya，l.morinandm.pressigout，“towardsanewqualtiymetricfor3-dsynthesizedviewassessment，”ieeej.select.top.signalprocess.，vol.5，no.7，pp.1332-1343，sep.2011.

[9]p.h.conze，p.robertandl.morin，“objectiveviewsynthesisqualityassessment，”electron.imag.int.societyforopticsandphotonics，vol.8288，pp.8288-8256，feb.2012.

[10]d.s.stankovic，d.kukoljandp.l.callet，“dibrsynthesizedimagequalityassessmentbasedonmorphologicalwavelets，”ieeeint.workshoponqualityofmultimediaexperience，pp.1-6，jan.2015.

[11]k.gu，v.jakhetiya，j.f.qiao，x.l.li，w.s.linandd.thalmann，“model-basedreferencelessqualitymetricof3dsynthesizedimagesusinglocalimagedescription，”ieeetrans.imageprocess.，vol.27，pp.394-405，2018.

[12]f.battisti，e.bosc，m.carliandp.l.callet，“objectiveimagequalityassessmentof3dsynthesizedviews，”sig.process.：imagecommun.，vol.30，pp.78-88，jan.2015.

[13]l.d.li，y.zhou，k.gu，w.s.lin，ands.q.wang，“qualityassessmentofdibr-synthesizedimagesbymeasuringlocalgeometricdistortionsandglobalsharpness，”ieeetrans.multimedia，vol.20，no.4，pp：914-926，2018.

[14]y.zhou，l.d.li，s.y.ling，andp.lecallet，“qualityassessmentforviewsynthesisusinglow-levelandmid-levelstructuralrepresentation”，signalprocessing：imagecommunication，vol.74，pp.309-321，2019.

[15]y.zhou，l.yang，l.d.li，k.gu，l.j.tang，“reduced-referencequalityassessmentofdibr-synthesizedimagesbasedonmulti-scaleedgeintensitysimilarity”，multimediatoolsandapplications，vol.77，pp：21033-21052，2018.

技术实现要素：

发明目的：为弥补现有技术无法评价视角合成图像中的全局模糊和局部几何失真的技术缺陷，本发明提出一种用于评价视角合成图像质量的方法。

技术方案：为实现上述目的，本发明提出的技术方案如下：

一种用于评价视角合成图像质量的方法，所述视角合成图像为采用dibr视角合成方法合成的图像；该方法包括步骤：

(1)图像预处理：采用超像素分割法将待评价的视角合成图像is及is的原始图像ir分别分割为k个超像素；

(2)对所述视角合成图像is进行全局模糊评价：对于视角合成图像is的每个超像素si，计算其均值方差和像素数其中i为超像素索引，i∈[1，k]；构建视角合成图像is的一维特征矩阵m1：

计算原始图像ir的每个超像素的均值、方差和像素数，并构建原始图像ir的一维特征矩阵m2；

计算m1和m2的相似性，将计算结果作为衡量视角合成图像is全局模糊失真的质量分数q1；

(3)对所述视角合成图像is进行局部几何失真评价：通过预先训练好的实例分割模型maskrcnn检测原始图像ir和视角合成图像is中的实例；利用边缘检测方法检测实例，提取出实例的边缘；对检测出的边缘进行膨胀操作，得到原始图像ir和视角合成图像is中各实例的失真区域；将每个实例的失真区域分为大小相等的图像块，采用离散正交矩描述每一个图像块；对每一个实例，求其所有图像块的矩能量之和，并将求得的结果作为该实例的实例能量；计算原始图像ir中所有实例能量的均值和视角合成图像is中所有实例能量的均值将和差值的绝对值作为视角合成图像的局部几何失真质量分数q2，即

(4)根据q1和q2生成视角合成图像is的质量分数q：

q＝w1q1-w2q2

其中，w1和w2分别为全局模糊失真和局部几何失真的权重系数。

进一步的，所述将一幅图像i分割为k个超像素的具体步骤包括：

(2-1)将图像i从rgb颜色空间转换为xyz空间：

然后，将xyz格式的图像转换到lab空间：

l＝116f(y)-16

a＝500[f(x)-f(y)]

b＝200[f(y)-f(z)]

其中，

(2-2)确定超像素的个数k和图像i中的总像素点个数n，在图像i内均匀的分配k个种子点，相邻种子点的距离为

(2-3)更新种子点的位置：对每一个种子点，计算其3*3邻域内所有像素的梯度，将梯度最小的像素位置作为更新后的种子点；

(2-4)以更新后的每一个种子点z为中心，计算种子点z邻域2d*2d内每个像素点p与种子点z的距离：

其中，dc、ds、nc、ns分别表示z与p之间的颜色距离、空间距离、最大颜色距离、最大空间距离；(lp，ap，bp)表示像素点p在lab空间的坐标，(lz，az，bz)表示种子点z在lab空间的坐标，(xp，yp)表示像素点p的像素坐标，(xz，yz)表示种子点z的像素坐标；

对每一个像素点p，从其周围的种子点中选取与像素点p最近的种子点，作为像素点p的聚类中心；

(2-5)反复执行步骤(2-3)至(2-4)，直至每个像素点p的聚类中心不再改变，此时，根据各聚类中心对图像i中的像素点进行聚类，得到k个超像素。

进一步的，所述计算每个超像素si的均值方差和像素数的公式为：

其中，表示第i个超像素中第j个像素点对应的灰度值。

进一步的，所述全局模糊失真的质量分数q1的计算公式为：

其中，c是一个接近于零的正数，用于保证q1的分母不为0。

进一步的，所述步骤(3)中采用切比雪夫离散正交矩描述失真区域的每一个图像块。

进一步的，所述实例分割模型maskrcnn是利用coco数据集训练得到的。

有益效果：与现有技术相比，本发明具有以下优势：

1、和传统的质量评价方法相比，本方法增加了对局部几何失真的描述，更加符合视角合成图像中的失真特性；

2、和现有的针对视角合成的质量评价方法相比，本方法能够更准确地提取视角合成图像中的局部几何失真区域；

3、相比传统的质量评价方法和现有的针对视角合成的质量评价方法，本发明的方法性能最优越，且在视角绘制算法排序上具有更优越的性能表现。

附图说明

图1为本发明的流程图。

具体实施方式

dibr视角绘制过程带来的失真主要为全局的模糊失真和局部的几何失真。其中，局部的几何失真主要分布在图像中实例的边缘。如何评价图像中的全局模糊和局部几何失真是本发明所要解决的关键技术问题，该技术问题体现在两方面：1、如何描述合成视角图像中的全局模糊失真；2、如何定位视角合成图像中的实例，并对实例边缘处的几何失真进行定量描述。

下面结合附图和具体实施例对本发明作更进一步的说明。

图1为本发明的流程图，如图所示，本发明包括三个模块：

模块1：量化图像中的全局模糊失真；

模块2：量化图像中的局部几何失真；

模块3：将模糊分数和几何失真分数结合，生成最终的质量分数。

下面对这三个模块进行详细介绍：

模块1：

(1)超像素分割-采用超像素分割法将待评价的视角合成图像is及is的原始图像ir分别分割为k个超像素。

(2)全局模糊失真描述-对于视角合成图像is的每个超像素si，计算其均值方差和像素数其中i为超像素索引，i∈[1，k]；根据计算出的每个超像素的均值、方差和像素数，构建视角合成图像is的一维特征矩阵m1：

计算原始图像ir的每个超像素的均值、方差和像素数，并构建原始图像ir的一维特征矩阵m2；

计算m1和m2的相似性，将计算结果作为衡量视角合成图像is全局模糊失真的质量分数q1；q1越大，代表视角合成图像与原始无失真图像越接近，即is质量越高。

模块2：

(1)实例分割-由于局部的视角绘制失真主要分布在实例边缘，本发明采用在coco数据集上训练的实例分割模型maskrcnn检测原始图像ir和视角合成图像is中的实例。然后利用边缘检测方法检测实例边缘，并对检测出的边缘进行膨胀操作，得到原始图像ir和视角合成图像is中各实例的失真区域。

(2)局部几何失真描述-将每个实例的失真区域分为大小相等的图像块，采用离散正交矩描述每一个图像块；对每一个实例，求其所有图像块的矩能量之和，并将求得的结果作为该实例的实例能量；计算原始图像ir中所有实例能量的均值和视角合成图像is中所有实例能量的均值将和差值的绝对值作为视角合成图像的局部几何失真质量分数q2，即

模块3：

池化-将q1和q2结合，生成最终的质量分数q＝w1q1-w2q2。其中，w1和w2分别为全局模糊失真和局部几何失真的权重系数。

下面通过具体实施例进一步阐述本发明的技术方案，具体步骤如下：

步骤一、采用超像素分割法将待评价的视角合成图像is及is的原始图像ir分别分割为k个超像素；记i∈{is，ir}，将图像i分割为k个超像素的具体步骤包括：

将图像i从rgb颜色空间转换为xyz空间：

然后，将xyz格式的图像转换到lab空间：

l＝116f(y)-16

a＝500[f(x)-f(y)]

b＝200[f(y)-f(z)]

其中，

步骤二、设置超像素个数k，通过均匀分配种子点的方法来初始化种子点，具体方法为：

确定超像素的个数k和图像i中的总像素点个数n，在图像i内均匀的分配k个种子点，相邻种子点的距离为

步骤三、更新种子点的位置：

对每一个种子点，计算其3*3邻域内所有像素的梯度，将梯度最小的像素位置作为更新后的种子点；梯度的计算方式为：

其中，gx和gy分别表示水平和垂直梯度。

步骤四、以更新后的每一个种子点z为中心，计算种子点z邻域2d*2d内每个像素点p与种子点z的距离：

其中，dc、ds、nc、ns分别表示z与p之间的颜色距离、空间距离、最大颜色距离、最大空间距离；(lp，ap，bp)表示像素点p在lab空间的坐标，(lz，az，bz)表示种子点z在lab空间的坐标，(xp，yp)表示像素点p的像素坐标，(xz，yz)表示种子点z的像素坐标；

对每一个像素点p，从其周围的种子点中选取与像素点p最近的种子点，作为像素点p的聚类中心。

步骤五、反复执行步骤三至步骤四，直至每个像素点p的聚类中心不再改变，此时，根据各聚类中心对图像i中的像素点进行聚类，得到k个超像素。

步骤六、计算每个超像素si的均值方差和像素数将所有超像素对应的一维矩阵级联，得到整幅图像的一维矩阵

其中，表示第i个超像素中第j个像素点对应的灰度值。

步骤七、对于视角合成图像is与原始参考图像ir，分别执行步骤一到六，计算其对应的矩阵m1、m2。然后，将两个矩阵的相似性分数作为视角合成图像的全局模糊分数：

式中，c是一个接近于零的正数，目的是保证分母不为0。

步骤八、利用在coco数据集上训练好的maskrcnn实例分割模型对原始参考图像进行实例分割，得到图像中所有实例对应的区域。不同的实例，分别会有不同颜色的mask标记。由于绘制过程带来的失真主要分布在实例边缘，所以，首先利用边缘检测方法检测出所有实例对应mask的边缘，然后对边缘进行膨胀操作以获得失真区域。以实例x的边缘为例，膨胀操作的具体方法为：假设实例x对应的边缘图为x，则用结构b膨胀x：

结构b为[1，0；1，1]的模板，左上角的像素位置叫做b的原点。将b与x进行卷积，即将b按照从左到右，从上到下的顺序在x上滑动。当b的原点与x中的(x，y)坐标重合时，如果模板b与x中相应区域的交集不为空集，也就是b中为1的位置对应x中位置的元素至少有一个为1，则膨胀后的图像x’在(x，y)处值为1，否则为0。按照这种膨胀方法对所有实例的边缘分别进行多次膨胀。在本发明中，膨胀次数为4。至此，已经获取原始图像中实例边缘的膨胀图。按照相同的方法获得视角合成图像的实例边缘膨胀图，该图即覆盖了局部几何失真区域。

步骤九、考虑到几何失真主要表现是形状的变化，而离散正交矩是有效地形状描述子，所以本发明采用离散正交矩来描述几何失真。本实施例采用切比雪夫离散正交矩。具体方法为：首先，将实例边缘膨胀图对应的区域进行8*8分块，然后计算14阶矩(7+7)，记为：

之后，计算实例h的第u个分块的矩能量和：

将实例h中所有块的矩能量之和：

其中，a为实例h所对应的分块的数量。

计算图像中所有实例能量的均值：

其中，q为图像中总的实例数量。

按照上述过程计算原始图像ir和视角合成图像is的能量均值，分别为和

最后，将和差值的绝对值作为视角合成图像的质量分数：

步骤十、至此，得到视角合成图像的全局模糊相似性分数q1和局部几何失真分数q2。由于q1数值越大，代表视角合成图像和原始图像越接近，即质量越好；而q2相反，其数值越小代表图像质量越好。所以，采用相减的方式将两者结合，得到合成图像最终的质量分数：

q＝w1q1-w2q2

本实施例中，w1＝2.75，w2＝3.5。

步骤十一：

图像客观质量评价分数与图像主观质量分数之间呈现非线性关系，所以本发明采用下面的logistic非线性回归方程对主客观评价进行非线性回归：

其中，x代表通过本发明所述方法得到的客观质量评价分数，选择合适的τ1至τ5使得f(x)与主观质量评价分数的误差最小。用回归曲线与客观的统计指标作为评价客观评价方法性能的指标：包括：1)相关系数(pearsonlinearcorrelationcoefficient，plcc)为非线性回归后的线性相关系数；2)均方误差根(rootmeansquarederror，rmse)为非线性回归后的标准差；3)kendall等级相关系数(kendall’srankcorrelationcoefficient，krcc)；4)spearman相关系数(spearmanrankordercorrelationcoefficient，srcc)。其中，plcc，rmse用来衡量预测准确性，而后两者用来衡量预测单调性。plcc，srcc，krcc数值越大越好，rmse数值越小越好。

下面通过实验数据进一步阐述本发明的技术效果

实验数据：

本发明的实验部分是在2个公开的视角合成图像数据集上进行的。即ivc-dibr和ivy数据库。ivc库包含三个场景图像，和通过6种视角绘制方法生成的72幅合成图像；ivy数据库包含7个场景图像，提供了7种视角合成方法生成的84个图像对及其对应的原始参考图像。

首先，测试视角合成图像质量评价方法对视角合成算法的性能排序。具体方法为：计算不同的质量评价方法对同一场景合成图像的质量评价分数和主观评价分数的单调性方面的一致性，即用srcc和krcc进行表示。然后将针对所有场景的排序性能进行平均，即将srcc均值/krcc均值作为衡量指标。

首先，我们将本发明对视角绘制算法排序性能与传统质量评价方法、现有的针对视角合成图像质量评价方法在两个数据库中进行比较。结果如表一所示。srcc和krcc数值越高，说明相应的算法在性能排序方面的性能越好，最好的方法为本发明所述方法。

表一质量评价算法在视角绘制算法性能排序方面的性能对比

由上表可知，本算法在两个库上的srcc/krcc明显高于所有其他的算法。这说明了本算法对视角合成方法的性能排序与主观排序结果具有最高的一致性。

为了进一步验证本发明所述技术方案在跨内容评价方面的性能，我们将本发明与表一中的算法分别在整个库上进行测试。实验结果如表二，性能最好的方法仍然是本发明所述方法。

表2各算法的跨内容评价的性能比较表

由表2的数据可知，在ivc-dibr数据库上，本发明的方法的plcc数值最高，rmse最小，说明本发明的方法评价准确性最高，srcc/krcc数值稍逊于logs方法，位列第二；在ivy数据库上，本发明的方法性能位列第一。综合两个数据库，本发明的方法具有最稳定的性能

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。