用于预测三维视频的主观质量的全参考系统的制作方法

专利名称：用于预测三维视频的主观质量的全参考系统的制作方法
技术领域：
本公开涉及图像的质量预测，且尤其涉及一种用于预测三维(立体)视频的主观质量的全参考系统。
背景技术：
诸如电视广播、电影之类的行业以及目前采用基于立体的3D技术的其它行业正面临着若干质量保证和质量控制的问题。与其它相比，在视频中，处理假象(artifact)和损害给一些用户造成更多的分心。此外，虽然目前日益流行，但是三维视频可能导致一些观看者的视觉不适，其中所述不适通常与3D图像的立体(左和右)图像之间的水平视差(disparity)量有关。可使用目前的技术，其为二维视频的制作设置中的视频提供视觉不适和损害的指 示、预测、警告和原因。虽然以困难的方式，但是这些技术中的一些已经被用来对测量3D图像的右和左图像的各种组合进行测量。例如，已经研发了技术来单独测量构成3D图像的右和左的2D图像，随后对右和左的质量结果进行平均。如另一个示例，可以通过相对于未处理的左(参考)视频对经处理的左(测试)视频进行测量以便进行左视图的视频质量评估，并且对于右视图同样如此，而将TEKTRONIX PQA600用于3D视频质量的评估。然而，正在以日益提高的速度从现有的2D视频生成3D视频。此外，其它的3D处理也正在出现，诸如为了被改变用途作为蓝光DVD等的影院，为了视频设备的R&D(捕捉、诸如编解码的处理等等)以及其它应用所制作的3D电影。目前还没有用于直接预测立体视频的主观质量的全参考系统。本发明的实施例解决了现有技术的这些和其它局限。

发明内容
在本发明的一些方面，提供了一种生成预测图片质量评价(rating)的方法。通常，视差测量通过将三维图像的左和右子分量进行比较而由所述三维图像所构成。随后，使用来自用于合并的所述视差测量的数据，所述三维图像的左和右子分量被合并(融合)为二维图像。预测质量测量随后基于所述二维图像生成，并且进一步包括与原始三维图像相关的质量信息。本发明的其它方面包括一种用于相对于参考立体视频预测测试立体视频的质量的质量预测系统。所述预测系统包括用于接受测试三维视频和参考三维视频的输入。这些三维视频的左和右分量随后在比较器中单独进行比较并且取得视差测量。融合器随后使用来自所述比较的数据将三维图像的左和右元素分别合并为二维图像。图片质量分析器随后被用来基于所述二维图像生成图片质量预测或测量。此外，汇总设备在所述质量预测系统的最终输出中包括三维比较的信息。


图I是根据本发明实施例的用于立体视频的全参考主观质量预测器的框图。图2是示出图I中用于立体视频的全参考主观质量预测器的额外细节的框图。图3是图示能够被用来比较立体图像的过程的示例性流程图。图4是从图3所示的两幅单独图像的合并所产生的单幅融合图像的示例。图5是图示本发明的实施例中所使用的用于三维图像的标准视图的平面观看深度和观看角度的参考图像。
具体实施例方式迄今为止，用于广播的最为常见的立体视频表现方法是在每个视频帧的顶部和底部或者并排发送的单独的左和右视频视图(使用公知的MPEG-2或H. 264标准)，或者在单独的相应通道中发送的单独的左和右视频视图(H. 264的多视图视频编码，MVC)。可替换地， 2D巾贞可以在一个通道中连同另一个通道中的其相应的深度图(depth map)—起发送(即，可能经由MVC的适配)。虽然后者2D帧+深度通道视频表现也可以使用本发明的概念进行测量，但是仍使用前者(单独的左和右)方法来解释本发明系统的概念。本发明的实施例提供了一种(在图像分辨率、帧率、实时相对于较高准确性等方面上)可缩放的方法来生成与当前2D的解决方案相兼容的预测质量评价每个帧和每个序列一个标量量度，也就是DMOS预测，主观差异意味着3D测试和3D参考视频之间的观点得分(opinion score)。图I是根据本发明实施例的用于立体视频的全参考主观质量预测器10的框图。质量预测器10包括用于3D图像或视频、参考图像12和测试图像14的两个单独输入。贯穿该公开所要理解的是，对标识符一幅3D图像或多幅3D图像的使用包括静态图像和视频图像二者。如所示，每幅3D图像包括左分量和右分量。一般来讲，以下更为详细描述的，在相应的评估块22、24中对每幅3D图像单独进行初始测量。接着，参考图像12和测试图像中的每一个的左和右分量的每一个被合并为相应的融合图像。特别地，参考图像12的左和右图像在融合器42中进行合并以产生融合参考图像52，而测试图像14的左和右图像在融合器44中进行合并以产生融合测试图像54。所述融合处理在产生融合图像52、54时使用来自相应评估块22、24的数据。融合参考图像和融合测试图像52、54被作为输入馈送至2D质量分析器60，在一些实施例中，所述2D质量分析器可以是之前所提到的TEKTRONIX PQA600，或者是具有类似功能的分析器。分析器60的输出被发送到汇总设备90。此外，汇总设备90包括来自评估块22、24的输入，它们为所述汇总设备提供了与3D测试图像12和3D参考图像14的3D方面相关的信息。汇总设备90随后生成3D立体图像12、14的预测图片质量评价(诸如DMOS(差异平均观点得分)评价或对于分析立体视频的那些有用的其它评价)的输出。图2是示出图I中用于立体视频的全参考主观质量预测器的示例性实施例200的额外细节的框图。质量预测器200包括3D参考图像输入212和3D测试图像输入214。这些3D输入被提供给相应的视差测量块222、224。测量块222中包括分离器226，所述分离器226将参考图像输入212划分为其左和右分量部分，如果不是已经以那样的形式所接收的话。在一些情况下，分离可能是不重要的(如在a 264 MVC中)。在其它情况下，左通道可以从参考图像输入212的左或顶部部分所取得，而右通道则处于输入帧的其余部分。测量块224包括用于测试图像214的类似分离器228。在分割结束时，总共由四个视频通道参考左、参考右、测试左和测试右。每幅图像212、214的左和右要素是去往视差测量块232、234的相应输入，所述视差测量块被用来测量3D图像212、214的每个帧的视差和失配。图3图示了视差测量块232、234中所进行的示例性处理。图3是图示示例性过程300的框图，其图示了从立体图像的示例性左和右帧创建视差和失配数据。在过程300中，3D图像已经被分离为左图像312和右图像314。重要的是，在这里要注意到图3所示的左图像312和右图像314仅是图2的参考3D图像312或测试3D图像314之一。换句话说，虽然仅图示了针对一幅立体图像的处理，但是对参考和测试图像312、314都进行图3所示的处理。如可在www. research, microsoft. com 获得的 Daniel Scharstein 和 RichardSzeliski 的被称作“技术报告”的文章“A Taxonomy and Evaluation of Dense Two-FrameStereo Correspondence Algorithms，，,Microsoft Technical Report MSR-TR-2001-81 中所描述的，已经描述了用来测量三维图像的空间视差的一般性方法。在生成视差测量时，这些一般性处理步骤是a)在局部的基础上对指示相应图像的部分的空间匹配的测量进行量化；b)对来自这样的量化的局部结果进行集合；c)视差计算/优化；以及d)视差精炼(refinement)。在任选过程316、318中，左和右图像312、314首先在垂直方向被下采样。例如，如果图像312、314如标准HD视频帧那样在垂直方向具有1080个像素而在水平方向具有1920个像素，则每个图像可以下采样为10X1920个像素图像。这产生了一对图像(左和右)，其中每幅图像恰好具有10条水平线，每条为1920像素长度。在另一组任选过程320、322中，垂直下采样的图像线同样可以被水平下采样为更短的线。例如，如果用于评价立体图像的监视器的显示小于1920像素宽度，这可能是适宜的。不同于将图像线下采样为特定数量的像素，其可以以给定百分比进行下采样，例如下采样至具有原始长度的70%长度的一个。在垂直和水平方向二者中的这样的下采样是系统计算速度相对整体测量精确性之间的权衡。一对过程 326、328 通过使用题为 “Measurement Apparatus and Method of Measurement of Video Spatial Scale, Offset and Cropping” 的美国公开申请2008/0152257 和题为 “Methods and Systems for Image Registration” 的美国公开申请2010/0226592中所描述的双向IIR滤波器从原始或下采样图像中的每一个减去相应的双向IIR低通滤波版本而对其执行虚光蒙板(unsharp mask)处理,上述公开申请均通过引用结合于此。所使用的双向IIR滤波器的滤波器系数可以为al = I - b0。这导致针对每幅图像或垂直下采样的图像线的生成的DC (低频)线。接下来，在过程330中例如使用经修改的左和右图像之间的差异的绝对值来合并虚光蒙板图像。也可以使用其它技术，例如使用平方差、交叉相关或者相位或小波相位分析。实际上，在具有每个移动(shift)的局部匹配量化结果的不同相对移动处对左和右图像进行比较。如以上所描述的，过程340通过双向IIR低通滤波器输送差异值以创建连续局部平均值。下一个过程350执行视差计算/优化。典型地，这可以通过取得每个图像部分的最佳匹配来快速执行。例如，如果以该密度测量了立体对应(stereo correspondence),则每个像素均执行视差计算。然而，在计算了所有像素移动之后，可以为了 “平滑性”或者一些应用中不太可能想到的非连续性而对移动群组进行评估。可以使用通过噪声、中值(median)或者其它滤波器进行的滤波。在过程300的这个阶段，从处理器350的输出创建视差图或图像360以及失配图或图像370。首先，对于过程350的输出的每一列，选择最小误差值并且将其数据值编码为失配图像370的像素。失配图像370的顶部线通过选择过程350的输出的每一列中的最小值而生成，并且被复制另外的107次以便对垂直下采样过程316、318进行补偿。也就是说，失配图像370的前108条线是相同的。这确保了即使原始图像312、314被下采样，失配图像370也与原始立体图像312、314具有相同的维度。在所有的最小误差值都被选择之后，可以针对失配图像370的最大图像对比对所述数值进行规范化。该失配图像370作为观看者是否可能成功生成立体图像的特定部分的三维深度感知的表现。换句话说，失配程度越高， 这在失配图像370中可能表现为光亮区域，则指示观看者在其头脑中成功融合左和右图像312,314时存在问题。同样从过程350的数据输出生成视差图像360。视差图像360中的每个像素表示必须沿其水平线进行移动以生成以上所确定的最小误差的每个像素的像素数量。换句话说，与通过取得每列的实际最小比较数值而生成失配图像370的情况不同，通过在视差图像360中绘制对应于出现最小数值的每一列的线数量的移动来生成视差图像360。移动在实施例中通过移动=LineNumber * ShiftIncrement + InitialShift而与线数量相关。与失配图像370类似，通过复制线另外107次以使得其大小与原始的左和右图像312、314相匹配来生成视差图像360。3D视频中深度的极值以及深度随时间的高速变化已知与视觉不适相关联。同样，左和右的失配部分可以是视觉不适的来源。因此，如以下所进一步描述的，将该信息计入立体图像质量的最终预测是适宜的。回去参见图2，视差和失配数据被图示为由视差测量块232、234所产生，虽然如图3所示，并非必须要在图像中产生视差和失配数据。接下来，在相应处理242和244中，参考帧212和测试帧214的视差测量被用来创建相应的融合帧252、254。图4中图示了融合帧的示例，其中融合帧410是将图3的各体的左图像312与右图像314进行融合，而且另外使用了所计算的并且被表示为图像360的视差测量的最终结果。注意融合帧410中融合证据是明显的特定区域420和430。对于视频的每个部分，在图3的过程300中所创建的视差图被用作校正偏移以将特定3D图像212或214的左和右通道对齐。这样所记录的左和右帧被2的叠象渐变(cross-fade)所“融合”，实现为左和右帧的加权和。正常情况下，叠象渐变是使得左和右被等同加权，即例如融合图像252由像素所构成，以使得
融合的[像素]=左[像素+偏移(视差)*.5]*.5 +右[像素-偏移(视差)* 5]*. 5
然而，图2中融合参考图像252(或融合测试图像254)的融合并非必须是相等的。换句话说，任选地，可以使用直接用户控制或注意力模型反馈来对右眼或左眼优势(dominance)进行建模。例如，注意力模型(以下进行描述)可以确定与左眼更为接近的对象将导致左眼具有优势，或者一些更加吸引注意力的区域可能会与此相反。如果左眼更具优势，则相应地增加高于.5的权重，其中对右使用I的赠予(compliment)权重。同样，权重可以倾向于右眼优势。图4的融合图像410示出了使用具有相等权重的左图像312和右图像314 (图3)的融合帧的亮度部分的示例。融合的参考和测试图像252、254被输入到2D视频质量预测系统260。该视频质量预测系统260最终生成以DMOS为单位的预测主观质量。然而，视频质量预测系统260还创建有用的感知差异响应的中间结果。这些响应使用CIECAM02 {a, b}单位在百分比感知对比差异以及任选地颜色感知差异方面所给出。CIECAM02是CIE技术委员会8_01所公布的公知的颜色管理系统的颜色外观建模。视频质量预测系统260进一步包括用于产生其预测结果的各种模型，诸如参考和测试显示模型262、264以及参考和测试观看模型266、268。这些模型被用来基于所评估视频的观看条件来调节预测结果。 感知差异预测系统280在生成参考图像212和测试图像214之间的差异的预测时从各个模型262、264、266和268取得输出。任选的注意力模型用来基于图像212、214自身的帧内所出现的动作来修改最终的输出预测得分。最终，测量模块290的汇总合并感知差异预测系统280所生成的所有信息以及如以上所描述的视差测量系统232、234所生成的测试失配数据以及一对深度图以便生成立体图像质量评价的最终预测作为系统200的输出，其中所述深度图一个针对参考视频而一个针对测试视频。
如以上所提到的，测量模块290的汇总所使用的一组因素是如参见图5所描述的相应生成器272所产生的参考深度图和测试深度图。图5是在距一对偏移左眼和右眼相对距离的示例性显示角度的说明性参考图500。在参考图500中，左眼和右眼被设置为分开距离Se。如图5所示，来自左眼和右眼的线在每个显示深度处的交点产生了可以通过相应几何学所确定的角度。在参考图500中图示了三个深度平面，标准深度平面Vd和处于Vd的1/2距离处的深度平面以及两倍远的深度平面，标记为2Vd。对于所要观看的任意深度平面的任意点，来自左眼和右眼的视线必须在该点相交。这些视线还在各个点与显示平面相交。使用左视线与显示平面的交点作为参考，右视线与显示平面的交点可以被测量为偏移量Os。因此，Os表示针对特定深度的一点的左和右图像之间的水平移动。在图5中，关于右眼而言，Osi表示针对处于无限远处的点的移动，0s2针对处于两倍观看距离处的点，而Osh则针对观看距离的一半。注意，对于显示平面上的点，Os=O。根据该关系，右和左间隔可以被确定为深度的函数，并且反之亦然。对于沿左(或右)中心线的点而言，数学关系由于相似的三角形所以十分简单
Os = Se X (深度-Vd)/深度等式I
该简单关系也是相对于中心线具有小角度的其它点的良好近似。对于包括左(或右)中心线之外的点的Os的一般公式使用因数平面屏幕显示的1/cos (IeftAngle)
Os = Se X (深度-Vd) / (深度 *cos (IeftAngle)等式 2
该关系可以在视差(Os)和深度之间转换使用。在主观上，在适当设置时，显示器示出与显示器屏幕平面(观看距离或I Vd)、距观
权利要求
1.一种用于预测测试立体视频相对参考立体视频的质量的质量预测系统，所述质量预测系统包括 第一输入，用于接受测试三维视频，所述测试三维视频包括左分量和右分量； 第二输入，用于接受参考三维视频，所述参考三维视频包括左分量和右分量； 第一分析器，其被构造为生成与测试三维视频的左分量与测试三维视频的右分量的比较相关的第一视差信息； 第二分析器，其被构造为生成与参考三维视频的左分量与参考三维视频的右分量的比较相关的第二视差信息； 第一融合器，其被构造为使用来自第一分析器的视差信息合并测试三维视频的左和右分量以创建融合二维测试视频； 第二融合器，其被构造为使用来自第二分析器的视差信息合并参考三维视频的左和右 分量以创建融合二维参考视频； 质量分析器，其被构造为将所述二维参考视频和二维测试视频进行比较并且生成第一预测质量评价；和 汇总设备，其耦合到所述质量分析器并且被构造为利用从所述第一和第二分析器所得出的信息修改所述第一预测质量评价以生成所述测试三维视频与所述参考三维视频的比较的预测质量评价。
2.如权利要求I所述的质量预测系统，其中所述第一视差信息包括与参考三维视频的左分量与参考三维视频的右分量的比较相关的失配数据。
3.如权利要求I所述的质量预测系统，其中所述第一视差信息包括与参考三维视频的左分量与参考三维视频的右分量的比较相关的视差数据。
4.如权利要求I所述的质量预测系统，其中从所述第一和第二分析器所得出的信息包括分别从测试三维视频和参考三维视频所得出的第一和第二深度图信息。
5.如权利要求I所述的质量预测系统，其中所述第一融合器在合并测试三维视频的左和右分量以创建融合二维测试视频时使用第一视差信息作为校正偏移。
6.如权利要求I所述的质量预测系统，其中所述第一融合器在创建融合二维测试视频时对测试三维视频的左和右分量应用相等的权重。
7.如权利要求I所述的质量预测系统，其中所述第一融合器在创建融合二维测试视频时使用I的求补过程以为测试三维视频的左和右分量分配不同的权重。
8.如权利要求I所述的质量预测系统，其中所述汇总设备生成包括来自至少一个CIECAM02颜色外观坐标的分量的感知差异矢量。
9.如权利要求8所述的质量预测系统，其中所述汇总设备生成包括来自测试或参考三维视频中至少一个的所感知深度的分量的感知差异矢量。
10.如权利要求8所述的质量预测系统，其中所述汇总设备生成包括来自第一和第二视差信息与融合限制的比较分析的分量的感知差异矢量。
11.如权利要求8所述的质量预测系统，其中所述汇总设备生成包括来自闭塞分析的分量的感知差异矢量。
12.如权利要求8所述的质量预测系统，其中所述汇总设备生成包括来自失配数据分析的分量的感知差异矢量。
13.如权利要求8所述的质量预测系统，其中所述汇总设备生成包括来自注意力分析的分量的感知差异矢量。
全文摘要
本发明涉及用于预测三维视频的主观质量的全参考系统。提供了一种生成预测图片质量评价的方法。通常，视差测量是通过将三维图像的左和右子分量进行比较而由所述三维图像所构成。随后，使用来自所述视差测量的用于合并的数据，所述三维图像的左和右子分量被合并(融合)为二维图像。预测质量测量随后基于所述二维图像生成，并且进一步包括与原始三维图像的比较相关的质量信息。
文档编号H04N17/02GK102740119SQ20121010796
公开日2012年10月17日 申请日期2012年4月13日 优先权日2011年4月15日
发明者K.M.费尔古森 申请人:特克特朗尼克公司