图像序列的质量评估的制作方法

专利名称：图像序列的质量评估的制作方法
技术领域：
本公开涉及图像质量评估。更具体而言，本发明的实施例涉及图像序列的质量评估。
背景技术：
质量评估对于改进许多多媒体应用中的用户体验是有用的。生成可以准确估计图像序列的感知质量的客观质量指标(metrics)可以促进质量评估。质量评估可以用于一些多媒体应用。这种应用包括视频压缩、预处理、后处理、以及水印制作等。在视频压缩中，编码技术可以使用视频质量指标通过速率失真优化改进编码参数，预处理技术有赖于视频质量指标来优化在给定目标应用或环境下的预处理滤波器参数。在视频后处理中，内容适用于以各种空间和时间分辨率在各种显示器类型上显示，可以对于每种显示器类型评估所得的视频质量。在水印制作中，可以在嵌入水印时使用视频质量指标来最小化由于水印所致的可感知失真或者可以在检测和/或译解嵌入的水印信号时考虑视频质量指标。质量测量的一个途径是执行主观测试。然而，建立这种测试会招致一些困难和花费。开发能够对使用主观测试获得的途经提供质量评级的客观的图像质量指标。(见整体经引用并入本文的参考文献[1]、[2])。然而，尽管当前存在这种困难或花费(见整体经引用并入本文的参考文献[3])，大多数视频压缩团体继续使用MSE (均方差)和PSNR(峰值信噪比)作为失真指标。近来，对新应用(如3D/立体视频递送)的相当的兴趣已重建了对创建更好地对人类视觉系统建模的更好、更准确的指标的兴趣。通过压缩、预/后处理等引入到视频的失真在性质上既可以是空间的也可以是时间的。在多视图视频中，也会引入交叉视图/立体失真。空间失真包括诸如量化、组块(blocking)、模糊、以及振铃失真(ringing artifacts)等的压缩失真(compression artifacts)。图像质量评估团体已深入研究了空间失真指标但是对时间和多视图失真的作用却知之甚少。这种失真导致在所得视频中的时间或/和视图的不一致。在客观知觉质量指标中考量时间失真的早期尝试考虑一个时间对比灵敏度函数来确定序列在时间域中的可感知差异(见整体经引用并入本文的参考文献[4]、[5]、[6])。 然而这些方法并未考量序列中的运动，并且像这样，未完全测量序列的感知的时间一致性。 类似地，对于立体图像，未考虑视图之中的立体视图视差。其它客观质量指标，诸如整体经引用并入本文的参考文献[7]、[8]中示出的那些客观质量指标，通过测量序列中连续图像之间的像素差或相关性来测量序列的时间一致性。然而，他们未在测量以前执行运动估计，因此仍然无法充分估计序列的真实的时间一致性。在整体经引用并入本文的参考文献[11]中，通过引入基于序列的每个图像中的运动量的全局加权方案把公知的结构相似性图像质量指标(见整体经引用并入本文的参考[9])扩展到视频领域。然而，该方法忽略了时间一致性与质量之间的关系。整体经引用而并入本文的参考文献[10]中提出了更完善的运动补偿结构相似性指标。然而，提出的技术有赖于光学流(optical flow)的运算，这实施起来可能复杂并且无法用于包含显著运动的图像区域中。


并入本说明书中并构成本说明书一部分的附图示出了本公开的一个或更多个实施例，并且附图连同详细描述和实例一起，旨在解释公开内容的原理和实施。图1示出了根据本公开的质量评估系统和方法的实施例。图2更详细地示出了图1的视差估计块的实施例。图3示出了将图2的方案适用到多视图环境。图4示出了按照本公开的指标的第一实施例。图5示出了按照本公开的指标的第二实施例。图6示出了图5实施例的组合的时间/多视图实例。图7示出了按照本公开的指标的第三实施例。
具体实施例方式概述本发明的实施例涉及图像序列的质量评估。提供了用于图像序列评估的质量评估方法，包括在一个或更多个域中执行图像之中的视差估计以生成视差向量；以及基于视差向量计算指标以评估质量。在实施例中，提供了用于计算测试图像序列的一致性的系统，包括视差估计器， 用以通过生成视差向量来估计测试图像序列的图像之中的视差或者测试图像序列的图像与参考图像序列的图像之间的视差；指标计算器，用以计算根据视差估计器生成的视差向量的测试图像序列的一致性估计。本申请的说明书、附图、权利要求书和摘要中描述了本公开实例实施例的进一步实例特征。根据本公开的一些实施例，公开了用于计算图像序列的时间和/或多视图一致性的新型系统和方法。不同于已有方案，视差估计方法被用来估计(见整体经引用并入本文的参考[12]、[13]、[14]))跟踪图像内像素区域的移动以及计算视差(例如，运动和照明度改变)补偿之后序列的一致性，例如像增强式预测区域搜索(EPZQ的基于块的运动估计算法。立体视图视差可以考虑类似方法以便分析。按照本公开实施例中的一些实施例，使用时间(例如，运动)或/和视图视差以及视差补偿像素信息(也例如包括解块)测量序列图像之间时间和多视图特征的一致性以及相对于参考序列的测试序列中特征的一致性。本公开中讨论的技术和实施例也应用于比特流模式中的图像。
可以把具有或不具有照明度补偿支持的任何已有视差估计技术，例如任何基于块的运动估计算法，用于此目的，指标的准确性将取决于使用的视差估计方法的准确性。也可以使用重叠块运动估计以避免块边缘上的杂散(spurious)结果。另外，描述了可以把时间和/或多视图质量的不同方面考虑在内的指标的实例实施例。第一实施例是可以测量在视差估计处理期间计算的用于参考和测试序列的视差向量的一致性的完全参考指标。其它两个实施例是可以测量测试序列的连续视差补偿图像上的像素值的一致性的非参考指标。因此，本公开描述了一组帮助测量视频序列中时间和/或多视图失真程度的时间和立体/多视图一致性指标。根据一些实施例，根据本公开的指标在输入序列中执行视差 (例如，运动)估计，以及测量序列的视差补偿图像中的时间一致性。类似地，对于多视图指标，可以评估“交叉视图”补偿的图像中的一致性。在一些实施例中，可以使用全局和局部加权参数确保通过指标将只测量可感知的失真。在一些实施例中，也包括知觉加权方案以把诸如序列中场景转变(如裁剪、淡入淡出、交叉淡入淡出)的全局事件以及局部属性(如纹理、对象和图像边缘)等等考虑在内。可以把时间/多视图特征与已有的或新的空间失真指标进一步组合以便更好地表征视频序列的总体失真。这些域中会出现的可能失真类型是1)闪烁一在视频压缩中，例如，通过以不同质量编码不同的图片(例如，由于速率控制而改变量化参数)会引起闪烁。闪烁在所有帧内(intra)编码、或者对只有I和P编码的图片编码期间特别突出，特别是在周期性的帧内刷新图像存在的情况下。闪烁也可能例如作为拍摄处理、帧速率转换等的结果而出现；2)运动不一致性一运动不一致性会由于编码处理期间运动向量的不正确的运动估计和量化而出现。在立体视频中，会由于视频内容的性质而进一步加重运动不一致性。运动不一致性也会例如由于摄像装置的不稳定而出现；3)蚊式噪声一岐式噪声由图像中尖锐边缘附近随时间变化的混叠失真引起。立体视频中这一点也会被加重，特别是在编码处理期间复用立体视图以及在显示以前解复用立体视图的情况下；4)时空和时空立体视图混叠；以及5)立体视图不一致性一与运动不一致性相类似，立体视图不一致性会由于从一个视图至另一个视图的预测不一致性/变化而出现。立体视图不一致性也会由于摄像装置传感器中的差异或者摄像装置错位而出现。根据一些实施例，把两个图像序列(参考序列和测试序列)作为输入。如本文中所使用的，术语“2D”和“3D”分别是指惯用语“二维”和“三维”。序列会经历确保把测试序列与参考序列恰当对准(时间上、2D空间上，以及对于立体图像的3D空间上)的初始登记步骤。此步骤也可以包括诸如把输入调整到适用于特定显示条件的诸如分辨率/宽高比转换、伽玛校正等的其它操作。如下面参照图1也提到的，可以通过把测试图像序列登记到参考图像序列或者，可替选地，通过把参考图像序列登记到测试图像序列而执行登记。此外， 也可以执行两种类型的登记以及把它们的结果组合。随后可以对序列低通滤波以减少噪声，以及随后对于每个序列的每个图像执行视差估计(例如，运动估计和/或照明度参数估计)以从以往和未来邻近图像中找到预测图像。可以对立体图像对的视图执行类似分析。随后可以将视差向量和/或预测图像用作输入来计算时间或/和立体视图的不一致性指标。最终，可以使用不同的加权参数把不同的一致性指标组合在一起以生成考量时间和/或立体视图不一致性的组合的视差指标。随后可以把此组合的指标与诸如其它时间、立体视图、频率、或者空间指标的其它指标进一步组合而最终提供组合的时空立体视图的失真指标。可以参照图1的实例图表示更好地理解上述实施例。如图1的方框图100中所示，提供适合于计算完全参考质量指标118的两个图像序列(参考图像序列// 102以及测试图像序列/ ' 104)或者适合于计算非参考质量指标120 的一个图像序列/ '104作为输入，其中，η表示序列中的图像索弓丨。通过实例，序列102和 104在期望评估立体视频的质量时可以包括立体视频对。根据本公开，如图1的指标118的完全参考质量指标提供测试序列104相对于参考序列102的失真估计，而如图1的指标120的非参考指标提供测试序列104的失真的“盲” 估计。接着参考图1，把测试序列104登记到106参考序列102，把序列102、104这二者在空间上滤波108、110。例如，空间滤波108、110可以包括用于减小图像中的噪声并有助于改进视差估计准确性的低通滤波器。随后在块112、114中执行参考序列和测试序列的视差估计。如后面参照图2所更详细解释地，视差估计112、114可以包括例如运动估计和/或照明度变化估计，或者包括更通常地在一个或更多个域DP^Dm中的图像之中的视差估计。可以通过把测试图像序列登记到参考图像序列或者，可替选地，通过把参考图像序列登记到测试图像序列而执行登记106。此外，也可以执行两种类型的登记以及把它们的结果组合。然后计算基于112、114中执行的操作的视差估计指标116。如以上所提到的，指标 116可以包括例如完全参考指标118或者一个或更多个非参考指标120。如果需要，则可以把指标118和120组合122。此外，也可以计算124(例如，通过本领域中已知的方法)一个或更多个空间指标(或者更通常地，也包括一个或更多个附加域中的指标，如果期望也包含频域)，然后把一个或更多个空间指标与组合的指标122组合。 例如，图1中示出的系统的输出处的输出指标Dsde可以包括时间、空间和/或多视图质量指标中的一个或更多个。如以上所提到的，可以在例如数个处理或系统，例如视频压缩处理或系统128、视频预处理处理或系统130、视频后处理处理或系统132或者视频水印制作处理或系统134中使用图1中示出的方法和系统。图2提供了图1的视差估计块112和114的实施例，其中，如果期望也可以把附加补偿处理考虑在内。如以上已经提到的，可以参考一个或更多个域，例如时间(运动)或亮度(照明度改变))来估计视差。在涉及运动估计(ME)处理的视差估计的情形中，可以考虑测试序列或参考序列的每个输入图像时间上相邻的邻近图像(以往的和未来的)，相应地估计提供最佳匹配给输入图像的运动向量。通常，基于固定或自适应块(例如，像素的8x8块)找到该匹配但是也可以把基于其它尺寸和形状的方法用于此目的。运动估计的方法本身对本领域技术人员是已知的，因此此处将不详细描述。可以通过本公开的教导使用任何种类的运动估计，也包括例如重叠和非重叠块运动估计、仿射(affine)运动估计、抛物线和参数的等等。在照明度变化特性的情形中，可行的视差估计方法是增强式预测区域搜索(EPZS) 和它的多维扩展(例如，N-D EPZS)。也可以考虑诸如基于光学流的方法的其它方法。运动补偿处理(MC)使用对于每个邻近图像的估计的视差信息，例如运动向量，形成重构图像，其中，重构图像是在给定相应邻近者的情况下对于输入图像的预测。运动补偿处理本身对本领域技术人员是已知的，因此此处将不详细描述。可以在多个视图上对于视差估计考虑类似特性。如图2中所示，其中，描绘了视差估计和补偿装置200，可以通过实例在上述视差估计处理中使用经滤波的输入图像fn的N个以往和N个未来的空间上经滤波的邻近者。本领域技术人员将会理解，也可以存在替选实施例，其中，可以只使用以往邻近者、只使用未来邻近者、或者使用与未来邻近者的数量不同的大量以往邻近者。图2的符号义秘表明每个邻近者fn+i对应的重构图像，以使得在/ +i的每个位置S处的像素值对应于在fn+i的像素位置s-dvn+i(S)处的值，其中，S是包含像素的水平和垂直坐标的向量，dvn+i(s)是通过视差估计处理所估计的视差向量。更具体而言，如图2中所示，对于每个邻近者η士 i，在块202(士 i)中计算视差估计以及在块 204(士i)中计算基于在块202(士i)的输出处的视差向量206(士i)的视差补偿。每个视差估计块202(士i)接收输入图像fn以及以往或未来的邻近者图像fn+i作为输入。可以把邻近者图像存储在第一缓存器208中。类似地，每个视差补偿块204(士i) 接收视差向量206(士i)以及以往或未来的邻近者图像fn+i作为输入。可以把邻近者图像存储在第一缓存器208中或者第二缓存器210中，如图2中所示。此外，第二缓存器210也可以存储视差补偿块204(士i)的组合输出(见组合器21 ，以使得未来视差补偿也取决于先前视差补偿的结果。图3示出了将图2的实施例调整到适用于多视图的情形，其中，示例了多个估计 (或者估计和补偿)块300。具体而言，通过假定一个视图在位置m处以及其它视图在位置 m士 j处可以把图2的相同术语应用于图3中示出的多视图情形，其中，j表示距第一个视图的空间或视角(view angle)距离。例如，图3的块306表示在时间n+1处对视图m+1的输入序列处理。视差估计处理提供用来创建重构图像的相应视差向量和重构图像的集合作为输出。质量指标使用视差估计处理的输出确定输入序列的时间或视图特征一致性。将在以下段落中讨论一致性指标的三个不同实施例。在整个公开中，将把它们称为如下1)视差向量一致性指标2)视差估计特征差异指标3)视差估计特征变化指标视差向量一致性指标是利用参考和测试序列二者的完全参考指标，而其它指标是非参考指标。与图1中附图标记122和1 所示出的内容相类似，可以把来自该指标的结果组合到最终指标中，并且/或与不同类型的一个或更多个其它指标组合。例如，假定指标是时间指标，则可以把其与数个其它空间质量指标组合以确定序列的最终客观质量。类似地，假定指标是多视图指标，则可以把该指标与可以使用同样原理生成的时间指标、以及其它空间指标组合，以得出联合的时空立体视图质量指标。更通常地，可以把第一域中的指标与其它域中的一个或更多个附加指标组合。视差向量一致性指标如以上所提到的，视差向量一致性指标是完全参考指标。它有赖于如下这种假定 如果在参考序列和测试序列(见如图1的序列102和104)上均准确执行视差估计，则对于参考和测试序列中每个像素、块、或者区域计算的视差向量(见例如图2的向量206)应当相似，除非在测试序列中包含时间或视图失真。然而视差向量相似性的预期也会取决于许多其它因素，如，提取视差向量的图像与它的邻近者之间的时间距离(或者在多视像的情形中的空间距离或视角)、场景转变的出现以及在包括照明度变化的底层视频内容中的其它不连续性、对象和图像边缘引起
的闭塞等。根据本公开的实施例，在视差向量一致性计算中把这些因素考虑在内。因此，按照这种实施例，可以获得在给定参考序列在时间或视图η时的相应图像的情况下对于测试序列的在时间或者视图η的每个图像的视差向量一致性指标为，
权利要求
1.一种用于评估图像序列的质量的方法，包括以下步骤在一个或更多个域中估计图像之中的视差以生成视差向量；以及基于所述视差向量计算指标以评估所述图像序列的质量。
2.如权利要求1所述的质量评估方法，其中所述视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计和在属于参考图像序列的图像之中执行的参考序列视差估计，并且其中，所述指标基于所述测试序列视差估计和所述参考序列视差估计；或者所述视差估计包括在属于测试图像序列的图像之间执行的测试序列视差估计，并且其中，所述指标至少部分地基于所述测试序列视差估计；或者所述视差估计包括在属于测试图像序列的图像之间执行的测试序列视差估计和在属于参考图像序列的图像之间执行的参考序列视差估计，并且基于所述视差估计的指标包括以下内容的组合至少部分地基于所述测试序列视差估计和所述参考序列视差估计的第一指标；以及基于所述测试序列视差估计的第二指标；或者所述视差估计包括在属于测试图像序列的图像之中执行的测试序列视差估计以及在属于参考图像序列的图像之中执行的参考序列视差估计，并且其中，至少部分地基于所述视差估计的指标包括基于所述测试序列视差估计和所述参考序列视差估计二者的第一指标与基于所述测试序列视差估计的第二指标之间的组合。
3.如权利要求2所述的质量评估方法，进一步包括以下步骤中的一个或更多个步骤 在执行所述测试图像序列和所述参考图像序列的视差估计以前执行所述测试图像序列和所述参考图像序列的空间滤波；或者在执行所述测试图像序列和所述参考图像序列的视差估计以前把所述测试图像序列和所述参考图像序列登记在一起。
4.如权利要求1所述的质量评估方法，其中，把基于所述视差估计的指标与一个或更多个另外的指标组合。
5.如权利要求1所述的质量评估方法，其中，所述一个或更多个域包括时间域、空间域、多视图域、或者亮度域中的一个或更多个。
6.如权利要求1所述的质量评估方法，其中，所述指标是在所述一个或更多个域中在多个图像上汇集的指标，进一步包括在所述一个或更多个域中执行所述图像之中的视差补偿，其中，所述视差补偿至少部分地基于所述视差估计并且提供图像预测，以及其中，所述指标至少部分地基于所述视差估计和所述视差补偿中的至少一个。
7.如权利要求1所述的质量评估方法，其中，所述图像之中的视差估计包括对于每个图像在所述一个或更多个域中考虑所述图像中每个图像的一个或更多个图像邻近者。
8.如权利要求1所述的质量评估方法，其中，基于以下项计算所述指标 所述视差估计；对于每个图像可逐像素或逐区域配置的一组局部参数；以及可逐图像配置的一组全局参数。
9.如权利要求1所述的质量评估方法，其中，在以下项中的至少一个上计算所述指标 整个图像；或者整个图像的子集。
10.如权利要求1所述的质量评估方法，其中，所述指标是所述一个或更多个域中在多个图像上汇集的指标。
11.一种用于评估图像序列质量的系统，包括用于在一个或更多个域中估计图像之中的视差以生成视差向量的部件；以及用于基于所述视差向量计算所述指标以评估所述图像序列的质量的部件。
12.一种用于让计算机系统评估图像序列的质量的用途，该过程包括 在一个或更多个域中估计图像之中的视差以生成视差向量；以及基于所述视差向量计算指标以评估所述图像序列的质量。
13.一种用于评估图像序列的质量的设备，包括 至少一个处理器；以及用于存储编码的指令的计算机可读存储介质，所述指令在通过所述至少一个处理器运行时引起、控制、编程或者配置所述至少一个处理器以在图像序列上计算、执行、控制或者运行质量评估处理，所述处理包括在一个或更多个域中估计图像之中的视差以生成视差向量；以及基于所述视差向量计算指标以评估所述图像序列的质量。
14.一种用于存储编码的指令的计算机可读存储介质，所述指令在通过一个或更多个处理器运行时引起、控制、编程或者配置所述一个或更多个处理器以计算、执行、控制、编程、配置或运行以下项中的一个或更多个图像序列上的质量评估处理，该处理包括 在一个或更多个域中估计图像之中的视差以生成视差向量；以及基于所述视差向量计算指标以评估所述图像序列的质量； 用于计算机的用途，其包括在所述图像序列上执行质量评估处理； 系统，包括用于在所述图像序列上执行质量评估处理的部件；或者设备，用于评估所述图像序列的质量。
15.一种用于计算测试图像序列的一致性的系统，包括视差估计器，用以通过视差向量的生成估计所述测试图像序列的图像之中的视差或者所述测试图像序列的图像与参考图像序列的图像之间的视差；以及指标计算器，用以计算根据所述视差估计器生成的视差向量的所述测试图像序列的一致性。
全文摘要
描述了图像的质量估计或一致性计算。在一个或更多个域中的图像之中执行视差估计，计算基于该视差估计的指标以评估质量或一致性。
文档编号G06T7/20GK102317974SQ201080007561
公开日2012年1月11日 申请日期2010年2月11日 优先权日2009年2月12日
发明者亚历山德罗斯·图拉皮斯, 佩沙拉·V·帕哈拉瓦达 申请人:杜比实验室特许公司