一种基于PUP图的3D图像舒适度质量评价方法及系统与流程

本发明涉及立体图像舒适度质量评价领域，具体的说，是涉及一种基于PUP(非关联像素比)图的3D图像(立体图像)舒适度质量评价方法及系统，特别是运用了无视差计算的快速评价方法及系统。

背景技术：

近年来，诸如立体电影、立体电视等立体(3D)视频产业迅速发展，3D视频资源越来越广泛地进入人们的日常生活中。其在提升观影体验的同时也会使观众出现诸如头晕、恶心、胸闷等不适现象。为了改善观看立体图像的不舒适度，进一步提升观影体验，大量针对3D图像舒适度质量评价方法的研究应运而生。现有的几乎所有3D图像舒适度质量评价方法均利用了基于视差提取的3D图像特征进行评价，包括诸如最大视差、视差范围、视差能量和视差分布等特征，评价模型的准确度很大程度上依赖于视差估计方法的质量。

视差估计方法可分为稀疏匹配和稠密匹配两种，后者计算每个像素的视差而前者计算像素块的视差，所以后者是高复杂度的而前者是相对低复杂度的。就目前而言，大多数3D图像舒适度质量评价方法都是基于稠密视差的，高质量的稠密视差匹配算法实现起来既费时且困难，同时也并不能保证所估计每点视差的准确度。

另一方面，随着生理学的发展，人们对眼睛生理功能的认识日趋完善，特别是人眼观看自然图像时的舒适度调节功能。当观看自然场景时，人双眼的汇聚度与调节性通常以互助的形式调节。在双眼调节过程中，晶状体形状通常由纤毛肌控制。在观看近景对象时，瞳孔收缩以补偿减少的域深度并增加球面像差；在观看远景对象时，瞳孔扩张以减少衍射并增加视网膜光强。在观看平面3D图像时，双眼的调节性由左右图像与双眼间距离决定。但是，当获取融合图像时，同时需要双眼调节汇聚度以适应场景中的深度位置。这样，在观看平面3D电视时就会 造成一种观感上的冲突。在不使用视差图的情况下模拟汇聚度、调节性之间的冲突，就需要描述双目视差的相关信息。

到目前为止，研究者基于视差特征提出了很多3D图像舒适度质量评价模型，Jincheol Park等人在2014年3月“IEEE信号处理中相关主题期刊(Selected Topics in Signal Processing,IEEE Journal of)”上的“3D视觉舒适性预测：汇聚、凹形及生理光学调节(3D Visual Discomfort Prediction:Vergence,Foveation,and the Physiological Optics of Accommodation)”一文中，在分析影响人眼观看平面3D图像舒适性的各类因素基础上，以视差为基础，提取各类特征并建立3D图像舒适性评价模型，取得了目前为止相对最好的评价测试效果。但该方法对于视差数据的准确性有着较高的要求，而高质量视差数据依赖于高复杂度的视差估计方法。

为了解决3D图像舒适度质量评价过程中因视差计算带来的复杂度高及视差估计精度对于评价模型质量的影响等问题，本发明在不计算视差的情况下，通过关联图像、对应视网膜图像提出非关联像素比(PUP，Percentage of Un-linked Pixels)概念，进一步通过特征组分类导出PUP计算公式，通过PUP图提取特征进行3D图像舒适度质量评价，这样就解决了计算视差过程中带来的诸多问题，降低了3D图像舒适度质量评价模型所需特征提取的复杂度，同时基于所提特征建立的3D图像舒适度质量评价方法也具有很好的准确性。

技术实现要素：

为了解决3D图像舒适度质量评价过程中因视差计算带来的复杂度高、视差估计精度对于评价模型质量的影响等问题，本发明提供一种在不需计算视差的条件下，基于PUP图的3D图像舒适度质量评价方法及系统，使3D图像舒适度质量评价过程更快速，并且结果准确。

为实现上述的目的，本发明采用的技术方案是：本发明在不计算视差的情况下，通过关联图像、对应视网膜图像提出非关联像素比(PUP，Percentage of Un‐linked Pixels)概念，进一步通过特征组分类导出PUP计算公式，通过PUP图提取特征进行3D图像舒适度质量评价，这样就解决了计算视差过程中带来的诸多问题，降低了3D图像舒适度质量评价模型所需特征提取的复杂度，同时基于所提特征建立的3D图像舒适度质量评价方法也具有很好的准确性。

根据本发明的一个方面，提供一种基于PUP图的3D图像舒适度质量评价方法，所述方法在无需视差计算条件下快速有效地进行3D图像舒适度质量评价；包括如下步骤：

第一步，确定PUP概念：通过关联图像、对应视网膜图像概念引出PUP概念；

第二步，特征组分类：利用各像素在不同角度下的方向特征以及亮度分布特征将其映射到不同的特征组，并通过特征组直方图中像素分布计算非关联像素数目，从而确定PUP的计算公式；

第三步，正负视差定义：根据PUP值正负进行图像块正负视差的判定，为正负PUP提取提供了准则，即通过比较右图像块左右移动后计算得到的两个PUP值的大小，判定该图像块视差的正负，对于负视差情况取负PUP值，正视差情况取正PUP值；

第四步，PUP图生成：基于图像块正负PUP值计算方法，通过Percival舒适域、Panum融合区原理确定图像块的三种不同尺寸，并采用部分区域重叠的图像块抽取方法，计算所抽取的每个图像块的PUP值，生成三种不同尺寸条件下对应的PUP图，用于3D图像特征提取；

第五步，特征提取及评价：对三种不同尺寸条件下对应的PUP图，通过正负PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D图像特征，通过SVM方式建立3D图像舒适度模型，用于3D图像舒适度质量评价。

优选地，所述的第一步，通过以下方式实现：

1)、定义关联图像为视觉系统中双目视为具有对应关系的图像块；对应视网膜图像定义为映射到左右视网膜和视觉皮层相同位置的图像块；当对象位于同视点(Horopter)平面层时，关联图像同时也是对应视网膜图像，此时视差为零；当对象位于非同视点平面层时，关联图像是移位过的图像，而非对应视网膜图像，此时对应视网膜图像之间存在视差；

2)、存在视差的对应视网膜图像依然存在部分关联像素点，剩余部分则为未关联像素点为非关联像素；将图像块中非关联像素的百分比称为非关联像素比PUP；

对于对应视网膜图像块a，其区域面积为S_a，其宽为W_a，其视差为d_a，关联的对应视网膜图像区域面积S_Linked表示为：

相反的，若S_Linked已知，那么视差d_a表示为：

由以上公式可看出，对于给定块a视差并将这一比例因子定义为非关联像素比PUP；

基于PUP的概念可知，图像块中的关联像素是指场景中相同对象在左右视点成像结果，关联像素具有相似的亮度及纹理特征；图像块中非关联像素数的百分比定义为PUP，PUP与该图像块的视差成正比关系；

基于PUP概念，本发明通过Gabor方向滤波方法提取图像中各像素的纹理特征，通过亮度重量化提取图像中像素的亮度特征；在此基础上，利用变换得到的纹理与亮度的联合特征，通过联合特征直方图即可提取每个图像块的PUP值，从而简化PUP计算，同时增加PUP的鲁棒性。

优选地，所述的第二步通过以下方式实现：

1)、利用不同方向的Gabor滤波器对图像进行方向滤波，并对滤波后的特征值进行归一化后得到方向滤波图像G^j(x,y,θ)(j＝l为左图，j＝r为右图，θ为所用二维Gabor滤波器方向参数，一般取0°,45°,90°和135°，(x,y)为图像中各像素位置)；

2)、若像素点在某方向上的方向特征足够大，该点就被标记为high，反之则标记为low；方向特征的大小可用阈值T_G(θ)区分；由下式提取各像素点的方向性特征O^j(x,y,θ)(j＝l,r)：

方向分类特征值计算需分别在多个角度上进行判别，再结合亮度分布特征将各像素按亮度划分为多个等级；按方向特征与亮度分布特征进行结合，得到总的N_hist组特征组合，则图像块的非关联区域面积S_unlinked和PUP分别定义为：

其中：N_total为图像块中总的像素数，H^l(i)为经方向特征及亮度特征变换后左图像块中特征值为i的点数，H^r(i)为右图像块中特征值为i的点数。

优选地，所述第三步通过以下方式实现：

对于位于图像中(x,y)处图像块，若右视图中关联图像移位到对应视网膜图像的左端，那么视差为负；通过比较左右移位右视图图像块位置后的PUP值来确定图像中(x,y)处图像块PUP_(x,y)的正负，对应表示该图像块视差的正负：

其中：t＝PUP_(x,y)×W，W为图像块宽度；

当PUP_L,(x,y)≤PUP_R,(x,y)时，左图有更多像素关联到右视图中左移的图像，视差为负，则该点PUP取负值。

PUP_L,(x,y)表示右图左移t后计算的(x,y)处图像块的PUP值，PUP_R,(x,y)表示 右图右移t后计算的(x,y)处图像块的PUP值，为左图像块的特征直方图，表示位于(x,y)处图像块中特征值为i的像素数，为右图像块的特征直方图，表示位于(x±t,y)处图像块中特征值为i的像素数；

第四步，所述的第四步通过以下方式实现：

PUP描述的最大视差由图像块宽度决定；对于包含多变视差等级及多细节的图像块应采用更小的尺寸，对于包含较少视差等级及细节的图像块应采用更大的尺寸，因而分不同的尺寸处理是有必要的；

对象能双目融合的区域称为Panum融合区，其中用来定义舒适观看条件下的最大视网膜视差的子区域称为Percival舒适域；当图像块的视差比Percival舒适域更小时，其对视觉体验影响微小；当视差超过Panum融合区时，视觉上的不舒适程度会急剧增加；因此，三种不同尺寸的图像块宽度由舒适域及融合区确定；最大块宽度模式(L)对应融合区的视差限制，最小块宽度模式(S)对应舒适域的视差限制，平均块宽度模式(A)对应以上两种域视差限制的平均值，计算得到对应的PUP图PUPⁱ(i＝L,A,S)；

另一方面，宽度较大的图像块可能会包含多个视差平面及不同的对象，从而影响视差描述的精度，因此采用重叠的横向块移位窗口，其移位值为bs×W_b(bs＜1)，比块宽度W_b小；若用H_I和W_I分别表示图像的高度和宽度，H_b和W_b分别表示图像块的高度和宽度，则PUP图表示为：

PUP图中图像块的总数为：

第五步，所述的第五步通过以下方式实现：

对PUPⁱ(i＝L,A,S)图按各点的值的大小进行排序得到{PUPⁱ(n)}，PUPⁱ(n) 表示PUPⁱ图中第n个最小值，分别表示PUPⁱ图中正负值的数目，分别表示{PUPⁱ(n)}中低于5％、高于95％PUP值的数目，为{PUPⁱ(n)}中总的点数，则提取的特征分别表示为：

在上式中，若则则

最后通过SVM对提取的特征与主观评价值进行回归建模，建立3D图像舒适度质量评价模型。

根据本发明的第二方面，提供一种基于PUP图的3D图像舒适度质量评价系统，所述系统包括：

PUP概念模块：通过关联图像、对应视网膜图像概念引出PUP概念；

所述关联图像定义为：视觉系统中双目视为具有对应关系的图像块；

所述对应视网膜图像定义为：映射到左右视网膜和视觉皮层相同位置的图像块；

当对象位于同视点平面层时，关联图像同时也是对应视网膜图像，此时视差为零；当对象位于非同视点平面层时，关联图像是移位过的图像，而非对应视网膜图像，此时对应视网膜图像之间存在视差；

存在视差的对应视网膜图像依然存在部分关联像素点，关联像素是指场景中相同对象在左右视点成像结果，关联像素具有相似的亮度及纹理特征，剩余部分则为未关联像素点称为非关联像素；将图像块中非关联像素的百分比称为非关联像素比PUP，PUP与该图像块的视差成正比关系；

特征组分类模块：在PUP概念模块确定PUP定义的基础上，利用各像素在不同角度下的方向特征以及亮度分布特征将其映射到不同的特征组，并通过特征 组直方图中像素分布计算非关联像素数目，从而确定PUP的计算公式；

正负视差定义模块：在特征组分类模块给出的PUP计算公式基础上，根据PUP值正负进行图像块正负视差的判定，为正负PUP提取提供了准则，即通过比较右图像块左右移动后计算的PUP值大小，判定该图像块视差的正负，对于负视差情况取负PUP值，正视差情况取正PUP值；

PUP图生成模块：基于图像块正负PUP值计算方法，通过Percival舒适域、Panum融合区原理确定图像块的三种不同尺寸，并采用部分区域重叠的图像块抽取方法，计算所抽取的每个图像块的PUP值，生成三种不同尺寸条件下对应的PUP图，用于3D图像特征提取；

特征提取及评价模块：对PUP图生成模块得到的三种不同尺寸条件下对应的PUP图，通过正负PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D图像特征，通过SVM方式建立3D图像舒适度模型，用于3D图像舒适度质量评价。

本发明与现有技术相比较，具有如下有益效果：

本发明引入PUP图概念，首次在立体图像舒适度质量评价方法上提出了无视差计算的3D图像舒适度质量评价方法，在无需视差计算条件下快速有效地进行3D图像舒适度质量评价，效果提升显著。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的特征、目的和优点将会变得更明显：

图1为本发明一实施例的基于PUP图的3D图像舒适度质量评价系统框图；

图2为本发明一实施例的关联图像、对应视网膜图像等定义的示意图；

图3为本发明一实施例的关联图像、对应视网膜图像位置关系的示意图；

图4为IEEE-SA图像库中某3D图像，其中：右上角图像块视差较小，左下角图像块视差较大；

图5为图4中右上角图像块和左下角图像块的左右视点图像；

图6a-图6d为图5图像特征分组后的特征分布直方图；

图7为基于部分区域重叠的图像块提取方法图示；

图8为图4所示3D图像对应三种不同尺寸条件下生成的PUP图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种基于PUP图的3D图像舒适度质量评价系统，所述系统包括：

PUP概念模块，根据关联图像、对应视网膜图像等概念，引出PUP的概念，用于为PUP的具体计算提供理论依据；

特征组分类模块，利用像素方向特征和亮度分布特征进行组合，映射到不同的特征组进行特征分类，在特征分类的基础上定义PUP的具体计算方法；

正负视差定义模块，根据上述的PUP的具体计算方法，给出通过正负PUP值来表示正负视差的表示方法；

PUP图生成模块，采用基于部分区域重叠的图像块抽取方法，根据Percival舒适域、Panum融合区原理确定图像块的三种尺寸，分别生成对应的PUP图；

特征提取及评价模块，通过对三种尺寸图像块提取的PUP图分别提取正负PUP图均值、PUP图前5％均值、PUP图后5％均值作为3D图像特征，通过SVM回归建模，结合SROCC、LCC指标进行3D图像舒适度质量评价性能对比。

如图2-3所示，所述关联图像、对应视网膜图像：

所述关联图像定义为：视觉系统中双目视为具有对应关系的图像块；所述对应视网膜图像定义为：映射到左右视网膜和视觉皮层相同位置的图像块；

当对象位于同视点平面层时，关联图像同时也是对应视网膜图像，此时视差为零；当对象位于非同视点平面层时，关联图像是移位过的图像，而非对应视网膜图像，此时对应视网膜图像之间存在视差；

存在视差的对应视网膜图像依然存在部分关联像素点，剩余部分则为未关联像素点为非关联像素；将图像块中非关联像素的百分比称为非关联像素比PUP；

对于对应视网膜图像块a，其区域面积为S_a，其宽为W_a，其视差为d_a，关 联的对应视网膜图像区域面积S_Linked表示为：

相反的，若S_Linked已知，那么视差d_a表示为：

由以上公式看出，对于给定块a视差并将这一比例因子定义为非关联像素比PUP。

本发明中，PUP是针对一个图像块，整个图像分割成很多图像块，针对每个块计算的PUP值，按在图中位置排列，就得到PUP图。PUP值不能反映正负视差，仅反映视差大小，因此需要该模块，通过判断确定PUP值的正负，对应视差的正负。

图2中：a点处于同视点平面，视差为0，a’和a”互为对应视网膜图像并同时也是关联图像；b'和b”互为关联图像，b″′和b”互为对应视网膜图像；

如图3所示，其中：阴影区域为对应视网膜图像域；(6)、(7)表明阴影域大小受图像大小影响；

基于上述定义，以IEEE-SA立体图像库中的3D图像为例，对基于PUP图的3D图像舒适度质量评价方法进行详细介绍：

第一步、任意选取库中一张3D图像(如图4所示)，通过四种空间频率均为0.592周/度的不同方向的Gabor滤波器进行方向滤波，滤波后的特征值经归一化后得到方向滤波图像G^j(x,y,θ)(j＝l为左图，j＝r为右图)；在某方向上响应足够大的像素点用high表示，响应相对较小的像素点用low表示；方向特征的大小用阈值T_G(θ)区分，本实施例中取阈值T_G(θ)＝0.5，左右视点图像中像素点(x,y)的方向性特征提取公式如下：

此处分别选取θ＝{0°,45°,90°,135°}四个角度滤波，共得到16个分类组(如表1所示)。根据亮度分布特征划分为5个分类组。进行方向特征与亮度分布特征组合，得到共N_hist＝80组特征(图6a-图6d所示为图5图像块图像提取特征后基于新特征统计得到的特征分布直方图)。

表1

第二步、利用各像素在不同角度下的方向特征以及亮度分布特征将其映射到不同的特征组，并通过特征组直方图中像素分布计算非关联像素数目，从而确定PUP的计算公式；

根据特征分组情况计算各图像块PUP值，具体计算公式为：

其中：N_total为图像块中总的像素数，H^l(i)为经方向特征及亮度特征变换后 左图像块中特征值为i的点数，H^r(i)为右图像块中特征值为i的点数。

第三步、通过比较右图像块左右移动后计算得到的两个PUP值的大小，判定该图像块视差的正负，对于负视差情况取负PUP值，正视差情况取正PUP值；

根据PUP定义正负视差的公式定义PUP正负值，若PUP_L,(x,y)≤PUP_R,(x,y)，则此时为负视差，PUP标记为负数。

第四步、通过Percival舒适域、Panum融合区原理确定图像块的三种不同尺寸，并采用部分区域重叠的图像块抽取方法，计算所抽取的每个图像块的PUP值，生成三种不同尺寸条件下对应的PUP图，用于3D图像特征提取；

根据Panum融合区及Percival舒适域原理确定三种不同尺寸的像素块。本例中图像均为1920×1080像素，根据上述规则选取大(L)、中(A)、小(S)三种图像块的宽度依次为480、192、80像素。

在具体图像块分块中采用重叠移位思想(如图7所示)，每次移位值为bs×W_b，其中bs＜1，在此例中大、中、小模式下bs依次选为PUP图的像素块总数为：

计算后得到三种不同尺寸图像块划分下的PUP图(如图8所示)。

第五步、对三种不同尺寸条件下对应的PUP图，通过正负PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D图像特征，通过SVM方式建立3D图像舒适度模型，用于3D图像舒适度质量评价。

根据正负PUP值的均值、5％前的PUP值均值、95％后的PUP值均值提取4组特征；具体计算为：

在本实施例中，由三种不同的图像块提取尺寸生成的PUP图，共提取了12组特征。库中其余立体图像均按上述步骤操作，再利用SVM回归分析方法建立3D图像舒适度模型。利用EPFL与IEEE-SA这两个立体图像库，计算所建立模型的SROCC、LCC指标，并与Park“3D视觉舒适性预测”一文中结果进行比较，表2所示：

表2

本发明在两个指标上性能与Park方法接近，但在计算速度方面，由于不需要进行视差估计，有很大提升。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。