一种基于PUP图的3D图像舒适度质量评价方法及系统与流程

技术特征：

1.一种基于PUP图的3D图像舒适度质量评价方法，其特征在于，所述方法包括如下步骤：

第一步，确定PUP概念：通过关联图像、对应视网膜图像概念引出PUP概念；

所述关联图像定义为：视觉系统中双目视为具有对应关系的图像块；

所述对应视网膜图像定义为：映射到左右视网膜和视觉皮层相同位置的图像块；

当对象位于同视点平面层时，关联图像同时也是对应视网膜图像，此时视差为零；当对象位于非同视点平面层时，关联图像是移位过的图像，而非对应视网膜图像，此时对应视网膜图像之间存在视差；

存在视差的对应视网膜图像依然存在部分关联像素点，关联像素是指场景中相同对象在左右视点成像结果，关联像素具有相似的亮度及纹理特征，剩余部分则为未关联像素点称为非关联像素；将图像块中非关联像素的百分比称为非关联像素比PUP，PUP与该图像块的视差成正比关系；

第二步，特征组分类：利用各像素在不同角度下的方向特征以及亮度分布特征将其映射到不同的特征组，并通过特征组直方图中像素分布计算非关联像素数目，从而确定PUP的计算公式；

第三步，正负视差定义：根据PUP值正负进行图像块正负视差的判定，为正负PUP提取提供了准则，即通过比较右图像块左右移动后计算得到的两个PUP值的大小，判定该图像块视差的正负，对于负视差情况取负PUP值，正视差情况取正PUP值；

第四步，PUP图生成：通过Percival舒适域、Panum融合区原理确定图像块的三种不同尺寸，并采用部分区域重叠的图像块抽取方法，计算所抽取的每个图像块的PUP值，生成三种不同尺寸条件下对应的PUP图，用于3D图像特征提取；

第五步，特征提取及评价：对三种不同尺寸条件下对应的PUP图，通过正负PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D图像特征， 通过SVM方式建立3D图像舒适度模型，用于3D图像舒适度质量评价。

2.如权利要求1所述的一种基于PUP图的3D图像舒适度质量评价方法，其特征在于，所述的第一步，通过以下方式实现：

对于对应视网膜图像块a，其区域面积为S_a，其宽为W_a，其视差为d_a，关联的对应视网膜图像区域面积S_Linked表示为：

$\left\{\begin{array}{c}{S}_{Linked}=S_a\×(1-\frac{d_a}{W_a}),0\<d_a\<W_a\\ S_{Linked}=0,d_a\≥W_a\\ S_{Linked}=S_a,d_a=0\end{array}\right.$

相反的，若S_Linked已知，那么视差d_a表示为：

$\left\{\begin{array}{c}{d}_a=\frac{S_a-S_{Linked}}{S_a}\×W_a,d_a\≤W_a\\ d_a=W_a,d_a\>W_a\end{array}\right.$

由以上公式看出，对于给定块a视差并将这一比例因子定义为非关联像素比PUP。

3.如权利要求1所述的一种基于PUP图的3D图像舒适度质量评价方法，其特征在于，所述的第二步，通过以下方式实现：

1)、利用不同方向的Gabor滤波器对图像进行方向滤波，并对滤波后的特征值进行归一化后得到方向滤波图像G^j(x,y,θ)，j＝l为左图，j＝r为右图，θ为所用二维Gabor滤波器方向参数，(x,y)为图像中各像素位置；

2)、若像素点在某方向上的方向特征大于阈值T_G(θ)，该点就被标记为high，反之则标记为low；由下式提取各像素点的方向性特征O^j(x,y,θ)(j＝l,r)：

$\left\{\begin{array}{cc}{O}^j(x,y,\mathrm{\θ})=high,& G^j(x,y,\mathrm{\θ})\≥T_G\left(\mathrm{\θ}\right)\\ O^j(x,y,\mathrm{\θ})=low,& G^j(x,y,\mathrm{\θ})\<T_G\left(\mathrm{\θ}\right)\end{array}\right.;$

阈值T_G(θ)取0.5；

方向分类特征值计算分别在多个角度上进行判别，再结合亮度分布特征将各 像素按亮度划分为多个等级；按方向特征与亮度分布特征进行结合，得到总的N_hist组特征组合，则图像块的非关联区域面积S_unlinked和非关联像素比分别为：

$S_{unlinked}=\frac{\underset{i=1}{\overset{N_{hist}}{\Σ}}|H^l\left(i\right)-H^r\left(i\right)|}{2},$

${\mathrm{PUP}}^{N_{hist}}=\frac{\underset{i=1}{\overset{N_{hist}}{\Σ}}|H^l\left(i\right)-H^r\left(i\right)|}{2N_{total}},$

其中：N_total为图像块中总的像素数，H^l(i)为经方向特征及亮度特征变换后左图像块中特征值为i的点数，H^r(i)为右图像块中特征值为i的点数。

4.如权利要求1所述的一种基于PUP图的3D图像舒适度质量评价方法，其特征在于，所述第三步，通过以下方式实现：

对于位于图像中(x,y)处图像块，若右视图中关联图像移位到对应视网膜图像的左端，那么视差为负；通过比较左右移位右视图图像块位置后的非关联像素比PUP值来确定图像中(x,y)处图像块非关联像素比PUP_(x,y)的正负，对应表示该图像块视差的正负：

$\left\{\begin{array}{c}{\mathrm{PUP}}_{L,(x,y)}=\frac{\underset{i=1}{\overset{N_{hist}}{\Σ}}|H_{(x,y)}^l\left(i\right)-H_{(x-t,y)}^r\left(i\right)|}{2N_{total}}\\ {\mathrm{PUP}}_{R,(x,y)}=\frac{\underset{i=1}{\overset{N_{hist}}{\Σ}}|H_{(x,y)}^l\left(i\right)-H_{(x+t,y)}^r\left(i\right)|}{2N_{total}}\end{array}\right.$

上式中，PUP_L,(x,y)表示右图左移t后计算的(x,y)处图像块的PUP值，PUP_R,(x,y)表示右图右移t后计算的(x,y)处图像块的PUP值，为左图像块的特征直方图，表示位于(x,y)处图像块中特征值为i的像素数，为右图像块的特征直方图，表示位于(x±t,y)处图像块中特征值为i的像素数；

$\left\{\begin{array}{c}PU{P}_{(x,y)}=-PU{P}_{(x,y)},(PU{P}_{L,(x,y)}\≤PU{P}_{R,(x,y)})\\ PU{P}_{(x,y)}=PU{P}_{(x,y)},(PU{P}_{L,(x,y)}\>PU{P}_{R,(x,y)})\end{array}\right.$

其中：t＝PUP_(x,y)×W，W为图像块宽度；

当PUP_L,(x,y)≤PUP_R,(x,y)时，左图有更多像素关联到右视图中左移的图像，视差为负，则该点PUP取负值。

5.如权利要求1-4任一项所述的一种基于PUP图的3D图像舒适度质量评价方法，其特征在于，所述的第四步，通过以下方式实现：

非关联像素比PUP描述的最大视差由图像块宽度决定，对象能双目融合的区域称为Panum融合区，其中用来定义舒适观看条件下的最大视网膜视差的子区域称为Percival舒适域；当图像块的视差比Percival舒适域更小时，其对视觉体验影响微小；当视差超过Panum融合区时，视觉上的不舒适程度会急剧增加；三种不同尺寸的图像块宽度由舒适域及融合区确定；最大块宽度模式L对应融合区的视差限制，最小块宽度模式S对应舒适域的视差限制，平均块宽度模式A对应以上两种域视差限制的平均值，计算得到对应的PUP图PUPⁱ(i＝L,A,S)；

采用重叠的横向块移位窗口，其移位值为bs×W_b(bs＜1)，比块宽度W_b小；用H_I和W_I分别表示图像的高度和宽度，H_b和W_b分别表示图像块的高度和宽度，则PUP图表示为：

$\left\{\begin{array}{cccc}{\mathrm{PUP}}_{(1,1)}& {\mathrm{PUP}}_{(1+bs\×W_b,1)}& ...& {\mathrm{PUP}}_{(1+bs\×(n-1)\×W_b,1)}\\ {\mathrm{PUP}}_{(1,1+H_b)}& ...& ...& ...\\ ...& ...& {\mathrm{PUP}}_{(x,y)}& ...\\ {\mathrm{PUP}}_{(1,1+(m-1)\×H_b)}& ...& ...& {\mathrm{PUP}}_{(1+bs\×(n-1)\×W_b,1+(m-1)\×H_b)}\end{array}\right\}$

上式中，PUP_(x,y)为图像中(x,y)处图像块的PUP值，为水平方向图像块数，为取整运算，为垂直方向图像块数，则PUP图中图像块的总数N_patch＝mn。

6.如权利要求5所述的一种基于PUP图的3D图像舒适度质量评价方法， 其特征在于，所述的第五步，通过以下方式实现：

对PUPⁱ(i＝L,A,S)图按各点的值的大小进行排序得到{PUPⁱ(n)}，PUPⁱ(n)表示PUPⁱ图中第n个最小值，分别表示PUPⁱ图中正负值的数目，分别表示{PUPⁱ(n)}中低于5％、高于95％PUP值的数目，为{PUPⁱ(n)}中总的点数，则提取的特征分别表示为：

${f_1}^i=\frac{1}{N_{Pos}^i}\underset{{\mathrm{PUP}}^i\left(n\right)\>0}{\Σ}{\mathrm{PUP}}^i\left(n\right)$

${f_2}^i=\frac{1}{N_{Neg}^i}\underset{{\mathrm{PUP}}^i\left(n\right)\≤0}{\Σ}{\mathrm{PUP}}^i\left(n\right)$

${f_3}^i=\frac{1}{N_{5\%}^i}\underset{n\≤N_{total}^i\×0.05}{\Σ}{\mathrm{PUP}}^i\left(n\right)$

${f_4}^i=\frac{1}{N_{95\%}^i}\underset{n\≥N_{total}^i\×0.95}{\Σ}{\mathrm{PUP}}^i\left(n\right)$

在上式中，若$N_{Pos}^i=0$则$f_1^i=0,$$N_{Neg}^i=0$则$f_2^i=0;$

最后通过SVM对提取的特征与主观评价值进行回归建模，建立3D图像舒适度质量评价模型。

7.一种用于实现上述权利要求1-6任一项所述方法的基于PUP图的3D图像舒适度质量评价系统，其特征在于，所述系统包括：

PUP概念模块：通过关联图像、对应视网膜图像概念引出PUP概念；

所述关联图像定义为：视觉系统中双目视为具有对应关系的图像块；

所述对应视网膜图像定义为：映射到左右视网膜和视觉皮层相同位置的图像块；

当对象位于同视点平面层时，关联图像同时也是对应视网膜图像，此时视差为零；当对象位于非同视点平面层时，关联图像是移位过的图像，而非对应视网膜图像，此时对应视网膜图像之间存在视差；

存在视差的对应视网膜图像依然存在部分关联像素点，关联像素是指场景中相同对象在左右视点成像结果，关联像素具有相似的亮度及纹理特征，剩余部分则为未关联像素点称为非关联像素；将图像块中非关联像素的百分比称为非关联像素比PUP，PUP与该图像块的视差成正比关系；

特征组分类模块：在PUP概念模块确定PUP定义的基础上，利用各像素在不同角度下的方向特征以及亮度分布特征将其映射到不同的特征组，并通过特征组直方图中像素分布计算非关联像素数目，从而确定PUP的计算公式；

正负视差定义模块：在特征组分类模块给出的PUP计算公式基础上，根据PUP值正负进行图像块正负视差的判定，为正负PUP提取提供了准则，即通过比较右图像块左右移动后计算的PUP值大小，判定该图像块视差的正负，对于负视差情况取负PUP值，正视差情况取正PUP值；

PUP图生成模块：基于图像块正负PUP值计算方法，通过Percival舒适域、Panum融合区原理确定图像块的三种不同尺寸，并采用部分区域重叠的图像块抽取方法，计算所抽取的每个图像块的PUP值，生成三种不同尺寸条件下对应的PUP图，用于3D图像特征提取；

特征提取及评价模块：对PUP图生成模块得到的三种不同尺寸条件下对应的PUP图，通过正负PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D图像特征，通过SVM方式建立3D图像舒适度模型，用于3D图像舒适度质量评价。