影像质量评价装置、方法以及程序的制作方法
【专利摘要】评价用户针对使用了立体影像的服务进行体验的影像质量的影像质量评价装置具有：2D影像质量导出单元，根据所输入的立体影像数据，导出包含于该立体影像数据中的作为左眼影像的质量的左眼影像质量和作为右眼影像的质量的右眼影像质量；以及立体影像质量导出单元，根据所述左眼影像质量和所述右眼影像质量导出立体影像的质量。
【专利说明】影像质量评价装置、方法以及程序
【技术领域】
[0001]本发明涉及影像质量评价装置、方法以及程序，特别涉及对用户针对使用了立体影像的服务进行体验的立体影像质量进行定量化的影像质量评价装置、方法以及程序。
【背景技术】
[0002]通过Blue_ray3D、HDMI1.4规格的制定、H.264/MVC的标准化等，整备了在一般家庭中也能够收看立体影像内容的环境。伴随于此，即使在影像配送服务、数据包媒体中，除了 2D影像内容以外，开始提供立体影像内容。
[0003]在影像配送服务、数据包媒体中，为了提高网络、存储设备的利用效率，抑制服务成本，进行使用了影像编码的影像内容的信息量压缩。通过使用了影像编码的信息量压缩，在2D影像、立体影像中发生马赛克状的失真(块尺寸)、模糊、渗透、生硬感等劣化，用户察觉的质量(用户体验质量:QoE(Quality of Experience))降低。
[0004]另外，在经由网络的影像配送服务中，在由于网络的拥塞等而2D影像、立体影像的一部分的数据缺损.破损了的情况下，在2D影像、立体影像中发生劣化而QoE降低。
[0005]为了高质量地提供上述服务，并且，在产生了质量降低的情况下为了迅速地探测，服务提供之前的质量设计、服务提供中的质量管理变得重要。为此，需要对用户享受的质量适当地进行定量化，而且简便并且高效的影像质量评价技术。
[0006]以往，提出有根据包括2D影像的像素信息、2D影像的分组的头信息对2D影像的质量进行定量化的技术(例如，参照非专利文献I~4)。
[0007]非专利文献1:1TU-T勧告J.144
[0008]非专利文献2: ITU-T勧告J.247
[0009]非专利文献3:河野太一，渡边敬志郎，岡本淳，“No reference型^ ^ 7' 'J 卜''映像品質評価* 7 > O検討，”信学技報，CQ2010-66, Nov.2010.[0010]非专利文献4:Κ.Yamagishi and T.Hayashi, “Parametric Packet-Layer Modelfor Monitoring Video Quality of IPTV Services, ” IEEE ICC2008, CQ04-3, May2008.[0011]非专利文献5:堀田裕弘，河合良直，南陽子，村井忠邦，中嶋芳雄，“符号化?札t 7 f >才静止画像(二杉It石画質評価?于''>，”情報処理学会研究報告，2000(24), 31-36, Mar.2000
【发明内容】
[0012]但是，由于非专利文献I~4记载的技术是以2D影像为对象的影像质量评价技术，所以无法直接对应于立体影像的质量评价。作为与立体影像的质量评价对应的方法，考虑将在立体影像数据中包含的左眼影像和右眼影像视为两个2D影像，使用2D影像质量评价算法(例如非专利文献I~4记载的技术)来计算各2D影像的质量，将该两个2D影像的质量的平均值计算为立体影像的质量的方法。图1示出左眼影像的2D影像质量和右眼影像的2D影像质量的平均值与立体影像质量的关系。描绘点的种类分类成左眼影像和右眼影像的2D影像质量的差大的影像和差小的影像。如图1所示，关于在左眼影像和右眼影像的2D影像质量中差大的影像，可知在使用了平均值的方法下，无法高精度地计算立体影像质量。
[0013]本发明是鉴于上述而完成的，其目的在于提供一种根据左眼影像和右眼影像的2D影像质量高精度地计算立体影像质量的立体影像推测装置、方法以及程序。
[0014]为了解决上述课题，本发明提供一种影像质量评价装置，评价用户针对使用了立体影像的服务进行体验的影像质量，其特征在于包括:2D影像质量导出单元，根据所输入的立体影像数据，导出包含于该立体影像数据中的作为左眼影像的质量的左眼影像质量、和作为右眼影像的质量的右眼影像质量；以及立体影像质量导出单元，根据所述左眼影像质量和所述右眼影像质量，导出立体影像的质量。
[0015]根据本发明，通过使用基于与立体影像的左眼影像和右眼影像的2D影像质量对立体影像造成的影响有关的实验结果所定义的模型式，能够高精度地计算立体影像质量，实现使用了立体影像的服务的适合的质量设计、服务提供中的质量观察，能够对提高质量面中的服务价值作出贡献。
【专利附图】
【附图说明】
[0016]图1是示出左眼影像质量和右眼影像质量的平均值与立体影像质量的关系的图。
[0017]图2是示出左眼影像质量、右眼影像质量、以及立体影像质量的关系的图。
[0018]图3是示出立体影像质量和基础影像质量的差分值、与基础影像质量和子影像质量的差分值的关系的图。
[0019]图4是本发明的一个实施方式中的影像质量评价装置的结构图。
[0020]图5是本发明的一个实施方式中的2D影像质量导出部的结构图。
[0021]图6是本发明的一个实施方式中的立体影像质量计算部的结构图。
[0022]图7是本发明的一个实施方式中的影像质量评价的流程图。
[0023](符号说明)
[0024]I:2D影像数据抽出部；2:2D影像质量导出部；3:立体影像质量导出部；11:左眼影像数据抽出部；12:右眼影像数据抽出部；21:左眼影像质量计算部；22:右眼影像质量计算部；23:存储部；31:基础影像质量判定部；32:立体影像质量计算部；211、221:运算处理部；321:运算处理部；322:存储部。
【具体实施方式】
[0025]以下，根据附图，说明本发明的实施方式。
[0026]在本发明的实施方式中，首先使用既存的2D影像质量评价算法，计算在立体影像中包含的左眼影像的2D影像质量(左眼影像质量)和右眼影像的2D影像质量(右眼影像质量)。使用通过实验得到的左眼影像质量、右眼影像质量、以及立体影像质量的关系模型，根据左眼影像质量和右眼影像质量计算立体影像质量。
[0027]说明左眼影像质量、右眼影像质量、以及立体影像质量的关系。
[0028]首先，叙述左眼影像质量比右眼影像质量高的情况的关系。图2示出左眼影像质量、右眼影像质量、以及立体影像质量的关系，仅描绘了左眼影像质量比右眼影像质量高的条件的情况。描绘点的种类的差异表示左眼影像质量的差异，横轴表示右眼影像质量，纵轴表示立体影像质量。图中的线段意味着描绘点的每个种类的右眼影像质量和立体影像质量的回归直线。在左眼影像质量相同的情况下，存在右眼影像质量越低，立体影像质量越降低的关系，但可知其程度缓，质量高的左眼影像质量相比于右眼影像质量，对立体影像质量造成的影响更大(质量特性I)。
[0029]接下来，叙述右眼影像质量比左眼影像质量高的情况的关系。根据非专利文献5「堀田裕弘，河合良直，南陽子，村井忠邦，中嶋芳雄，“符号化?7 f >才静止画像(二 ^(少^画質評価? 7 > (被编码后的立体静止图像中的图像质量评价模式)”情報処理学会研究報告，2000 (24)，31-36，Mar.2000」，即使左眼影像和右眼影像的质量相逆，对立体影像质量造成的影响的规格没有变化，在右眼影像质量高于左眼影像质量的情况下，右眼影像质量相比于左眼影像质量，对立体影像质量造成的影响更大(质量特性2)。[0030]在图2中，导出了左眼影像限制为比右眼影像高的条件的情况的质量特性，除了立体影像质量与左眼影像质量有高的相关以外，还示出了由于右眼影像质量的降低而立体影像质量缓慢地降低的关系(质量特性I)。在该时刻，未考虑左右影像的质量相逆的情况。接下来，能够根据在非专利文献5中示出的即使右眼影像和左眼影像的质量逆转但立体影像质量仍不变化的特性(质量特性2)，导出即使在右眼影像比左眼影像高的条件的情况下,也有与质量特性I同样的特性(质量特性3)。根据质量特性I和质量特性3，可知立体影像质量在左眼影像和右眼影像内，大幅受到质量高的影像的影响，稍微受到质量低的影像的影响这样的关系。因此，通过将左眼影像和右眼影像分类为质量高的影像(基础影像)和质量低的影像(子影像)，并以基础影像的质量(基础影像质量)为基础而用子影像(子影像质量)的质量校正，能够计算立体影像质量。
[0031]具体而言，
[0032].质量特性I
[0033]立体影像质量=A (左眼影像质量、右眼影像质量)if左眼影像质量兰右眼影像质
量
[0034]此处，A (M，N)表示将质量值M作为基础用质量值N校正而计算立体影像质量的函数。
[0035].质量特性2
[0036]立体影像质量=B(.左眼影像质量，右眼影像质量)=B (右眼影像质量，左眼影像质量)
[0037]此处，B (M、N)表示根据质量值M和质量值N计算立体影像质量的函数，A (M、N)是B(M、N)的一个形式。根据质量特性I和2，
[0038].质量特性3
[0039]立体影像质量=A(右眼影像质量、左眼影像质量)if右眼影像质量兰左眼影像质
量
[0040]根据质量特性I和3，得到
[0041]立体影像质量=A(基础影像质量、子影像质量)。
[0042]图3示出立体影像质量与基础影像质量的差分值、和基础影像质量与子影像质量的差分值的关系，立体影像质量表示在基础影像质量与子影像质量的差分值中受到影响。在用于导出立体影像质量的校正中，进行从基础影像质量减去基础影像质量与子影像质量的差分值那样的校正(如果该差分值变大则相比于基础影像质量降低立体影像质量那样的校正)。另外，关于该校正的详细，通过式(I)?(6)后述。另外，如该图所示，在立体影像质量与基础影像质量的差分值和基础影像质量与子影像质量的差分值之间存在非线性的关系，所以能够通过导入考虑了非线性性的模型式，提高立体影像质量的推测精度。另夕卜，关于该校正的详细，通过式(5)、(6)后述。
[0043]本发明提供用于计算立体影像的质量的装置、方法，具体而言，个别地计算立体影像的左眼影像质量和右眼影像质量，根据这些质量计算立体影像质量。
[0044]本申请发明的特征在于，根据依据与左眼影像质量和右眼影像质量对立体影像的质量造成的影响有关的实验结果定义了的模型式，计算立体影像质量的点。
[0045]图4示出本发明的一个实施方式中的影像质量评价装置的结构。
[0046]该图所示的影像质量评价装置包括2D影像数据抽出部1、2D影像质量导出部2、立体影像质量导出部3，将立体影像数据作为输入，将立体影像质量作为输出。此处，立体影像数据是指:包括立体影像信号或者信息处理(编码处理、传送处理等)之前的立体影像信号或者立体影像信号的分组或者它们的组合。
[0047]2D影像数据抽出部I具有左眼影像数据抽出部11、右眼影像数据抽出部12。
[0048]2D影像质量导出部2如图5所示，具有左眼影像质量计算部21、右眼影像质量计算部22以及储存2D影像质量评价算法(程序)的存储部23，左眼影像质量计算部21、右眼影像质量计算部22分别具有运算处理部211、221。
[0049]立体影像质量导出部3具有基础影像质量判定部31、立体影像质量计算部32，立体影像质量计算部32如图6所示，具有运算处理部321和存储部322。
[0050]向本影像质量评价装置输入的立体影像数据成为向2D影像数据抽出部I的左眼影像数据抽出部11和右眼影像数据抽出部12的输入。
[0051]在2D影像数据抽出部I中，将立体影像数据作为输入，在左眼影像数据抽出部11中，根据所输入的立体影像数据，抽出左眼影像数据，作为向左眼影像质量计算部21的输入而输出，在右眼影像数据抽出部12中，根据所输入的立体影像数据，抽出右眼影像数据，作为向右眼影像质量计算部22的输入而输出。
[0052]在左眼影像数据抽出部11中，抽出所输入的立体影像数据中包含的左眼影像数据。立体影像数据的数据构造依赖于所输入的立体影像数据的容器(container)的形式(AV1、MPEG等)。立体影像数据不限于一定形成为单一的数据，还有预先通过左眼影像和右眼影像将数据分开的情况。另外，抽出的左眼影像数据的形式也依赖于在2D影像质量导出部2中使用的影像质量评价算法，还有左眼影像的影像信号、分组头信息、分组比特流信息等。在所输入的立体影像数据中包含的影像信号被编码，并且将影像信号用作左眼影像数据的情况下，左眼影像数据抽出部11需要具有解码的功能，但作为实施方式，期望设想在输入之前对影像信号进行解码而安装。
[0053]在右眼影像数据抽出部12中，抽出所输入的立体影像数据中包含的右眼影像数据。立体影像数据的数据构造依赖于所输入的立体影像数据的容器的形式(AV1、MPEG等)。立体影像数据不限于一定形成为单一的数据，还有预先通过左眼影像和右眼影像将数据分开的情况。另外，所抽出的右眼影像数据的形式也依赖于在2D影像质量导出部2中使用的影像质量评价算法，还有右眼影像的影像信号、分组头信息、分组比特流信息等。在所输入的立体影像数据中包含的影像信号被编码，并且将影像信号用作右眼影像数据的情况下，右眼影像数据抽出部12需要具有解码的功能，但作为实施方式，期望设想在输入之前对影像信号进行解码而安装。
[0054]2D影像质量导出部2将左眼影像数据以及右眼影像数据作为输入，在左眼影像质量计算部21中，根据所输入的左眼影像数据，计算左眼影像质量，作为向基础影像质量判定部31的输入而输出，在右眼影像质量计算部22中，根据所输入的右眼影像数据，计算右眼影像质量，作为向基础影像质量判定部31的输入而输出。
[0055]在左眼影像质量计算部21中，根据所输入的左眼影像数据，使用例如非专利文献I?4的既存的2D影像质量评价算法，计算左眼影像质量。将影像质量评价算法作为程序，如图5所示，积蓄到存储部23中，从左眼影像质量计算部21的运算处理部211参照。输入的立体影像数据的形式以及评价的单位(分组单位、帧单位、任意的时间单位(例如10秒单位)、影像整体等)依赖于所使用的影像质量评价算法。
[0056]在右眼影像质量计算部22中，根据所输入的右眼影像数据，使用例如非专利文献I?4的既存的2D影像质量评价算法，计算右眼影像质量。将影像质量评价算法作为程序，如图5所示，积蓄到存储部23中，从运算处理部221参照。输入的立体影像数据的形式以及评价的单位(分组单位、巾贞单位、任意的时间单位(例如10秒单位)、影像整体等)依赖于所使用的影像质量评价算法。
[0057]立体影像质量导出部3将左眼影像质量和右眼影像质量作为输入，在基础影像质量判定部31中，根据所输入的左眼影像质量和右眼影像质量，计算基础影像质量和子影像质量，作为向立体影像质量计算部32的输入而输出，在立体影像质量计算部32中，根据所输入的基础影像质量和子影像质量，使用根据与立体影像的左眼影像和右眼影像的2D影像质量对立体影像造成的影响有关的实验结果定义了的模型式，计算立体影像质量。
[0058]在基础影像质量判定部31中，在所输入的左眼影像质量和右眼影像质量内，将值高的一方计算为基础影像质量，将值低的一方计算为子影像质量。在左眼影像质量和右眼影像质量的值相同的情况下，关于基础影像质量以及子影像质量，可以参照左眼影像质量以及右眼影像质量中的任意一个，在本实施方式中，将左眼影像质量计算为基础影像质量，将右眼影像质量计算为子影像质量。另外，考虑设想根据立体影像服务，左眼影像质量或者右眼影像质量相比于另一方的影像的质量变得非常高的情形，但在这样的情况下，也可以省略判定处理，唯一地将一方的影像的质量设定为基础影像质量、将另一方的影像的质量设定为子影像质量。
[0059]在立体影像计算部32中，根据基础影像质量BQ和子影像质量SQ，使用以下的模型式(I)，计算立体影像质量VQ。
[0060][式I]
[0061]VQ = V1.BQ-V2.(BQ-SQ) +V3 (I)
[0062]此处，V1、V2、V3是系数，需要使用事先在主观质量评价实验等中得到的立体影像质量、以及基础影像质量和子影像质量，通过最小二乘法等使模型式最佳化。该模型式(I)将基础影像质量作为基础而计算立体影像质量，对如果基础影像质量与子影像质量的差分值变大则立体影像质量缓慢地降低的关系进行模型化。[0063]另外，也可以代替使用接下来的某一个模型式。
[0064][式2]
[0065]VQ = V4.BQ.exp ((BQ-SQ) /v5) (2)
[0066][式3]
[0067]VQ = V6.BQ.exp ((SQ/BQ)/v7) (3)
[0068][式4]
[0069]VQ = V8.RQ-V9.(SQ/BQ) +V10 (4)
[0070][式5]
[0071]
【权利要求】
1.一种影像质量评价装置，评价用户针对使用了立体影像的服务进行体验的影像质量，其特征在于包括: 2D影像质量导出单元，根据所输入的立体影像数据，导出包含于该立体影像数据中的作为左眼影像的质量的左眼影像质量、和作为右眼影像的质量的右眼影像质量；以及 立体影像质量导出单元，根据所述左眼影像质量和所述右眼影像质量，导出立体影像的质量。
2.根据权利要求1所述的影像质量评价装置，其特征在于: 所述2D影像质量导出单元包括: 左眼影像质量计算单元，根据包含于所输入的所述立体影像数据中的左眼影像数据，使用2D影像的质量评价算法，计算左眼影像质量；以及 右眼影像质量计算单元，根据包含于所输入的所述立体影像数据中的右眼影像数据，使用2D影像的质量评价算法，计算右眼影像质量。
3.根据权利要求1或者2所述的影像质量评价装置，其特征在于: 所述立体影像质量导出单元包括: 基础影像质量判定单元，在所述左眼影像质量和所述右眼影像质量内，将值高的一方作为基础影像质量，将值低的一方作为子影像质量。
4.根据权利要求1至3中的任意一项所述的影像质量评价装置，其特征在于: 所述立体影像质量导出单元包括: 立体影像计算单元，设定表示所述基础影像质量、所述子影像质量、以及立体影像质量的关系的模型式，基于模型式，根据所述基础影像质量和所述子影像质量，计算立体影像质量的值。
5.一种影像质量评价方法，是评价用户针对使用了立体影像的服务进行体验的影像质量的装置中的影像质量评价方法，其特征在于包括: 2D影像质量导出步骤，2D影像质量导出单元根据所输入的立体影像数据，导出包含于该立体影像数据中的作为左眼影像的质量的左眼影像质量、和作为右眼影像的质量的右眼影像质量；以及 立体影像质量导出步骤，立体影像质量导出单元根据所述左眼影像质量和所述右眼影像质量，导出立体影像的质量。
6.根据权利要求5所述的影像质量评价方法，其特征在于: 在所述2D影像质量导出步骤中，包括: 左眼影像质量计算步骤，根据包含于所输入的所述立体影像数据中的左眼影像数据，使用2D影像的质量评价算法，计算左眼影像质量；以及 右眼影像质量计算步骤，根据包含于所输入的所述立体影像数据中的右眼影像数据，使用2D影像的质量评价算法，计算右眼影像质量。
7.根据权利要求5所述的影像质量评价方法，其特征在于: 在所述立体影像质量导出步骤中，包括: 基础影像质量判定步骤，在所述左眼影像质量和所述右眼影像质量内，将值高的一方作为基础影像质量，将值低的一方作为子影像质量；以及 立体影像计算步骤，设定表示所述基础影像质量、所述子影像质量、以及立体影像质量的关系的模型式，基于模型式，根据所述基础影像质量和所述子影像质量，计算立体影像质量的值。
8.一种影像质量评价程序，其特征在于: 用于使计算机作为权利要求1至4中的任意一项所述的影像质量评价装置的各单元而发挥功能。
【文档编号】H04N17/00GK103959772SQ201280058954
【公开日】2014年7月30日 申请日期:2012年12月5日 优先权日:2011年12月5日
【发明者】河野太一, 山岸和久 申请人:日本电信电话株式会社