一种3d-jnd阈值计算方法
【技术领域】
[0001] 本发明属于立体图像/视频编码技术领域，设及立体感知失真建模技术。
【背景技术】
[0002] 传统的图像/视频编码技术主要针对去除空域和时域统计冗余进行压缩编码， 较少考虑图像/视频中的视觉冗余。为了进一步提高编码效率，研究人员开始了致力于 去除视觉冗余的研究。目前一个表征视觉冗余的有效方法就是恰可察觉失真模型CJust notice油ledifference,JND)。传统的二维JND模型（2D-JND)主要考虑亮度掩盖效应、对 比度掩盖效应、多通道分解机制等视觉特性，如文献1的NAMM模型狂.Yang,W.Lin,Z.Lu，E. P.Ong,andS.Yao,Just-noticeable-distortionprofilewithnonlinearadditivity modelforperceptualmaskingcolorimages"，IEEETrans.CircuitsSyst.VideoTech nol. ,vol. 15,no. 6,卵742-752,Jun. 2005)。
[0003] 随着立体图像/视频应用的日益普及，S维JND模型（3D-JND)受到了越来越多 的关注。立体图像/视频除了能够提供观看者=维场景的彩色信息，还提供了 =维场景的 空间立体深度信息，因此在3D-JND建模的过程中不仅仅要考虑2D-JND建模的主要因素， 更要考虑人眼视觉系统立体深度感知相关的特性。经典的3D-JND模型通过研究人眼视觉 系统由于双目抑制效应引起的左右眼亮度自适应和对比度掩盖等效应的不同，建立非对称 的双目JND模型。如文献2的JJND模型狂.Li，Y.Wang，etal."化int化stnotice油le differencemodelbasedondepthperceptionforstereoscopicimages"，inProc. IE邸VisualCommunicationsandImageProcessing(VCIF〇 , 2011:1-4.)。该模型基于深 度信息重点考虑了人眼对左右视图中重叠区域的敏感度，但该模型并没有考虑人眼的立体 视觉注意特性。
[0004] 由于视觉注意研究的发展，近年来，研究人员开始在JND建模的过程中考虑人眼 视觉注意机制对JND阔值的影响。如文献3 (D.aiang,L.Gao,D.Zang,andY.Sun,"AJND ProfileBasedonHierarchicallySelectiveAttentionforImages",inProc. 2013 IE邸InternationalSymposiumonMultimedia(ISM),I邸E, 2013:263-266.)在 2D-JND建 模过程中，基于二维层次选择性注意模型和纹理的掩蔽效应模型建立了多层次的调制函 数，对传统的2D-JND阔值进行调制，从而建立更加精确的2D-JND模型。由于该模型在视觉 注意建模过程中并没有考虑立体深度该一重要信息，因而此模型不能直接用于3D-JND建 模。文献 4 (R.Zhong,R.Hu,etal."Justnoticeabledifferencefor3Dimageswith depthsaliency",inProc.AdvancesinMultimediaInformationProcessing-PCM 2012.SpringerBerlinHeide化erg, 2012:414-423.)在传统 2D-JND模型NAMM的基础上融 合深度显著建立了 3D-JND模型。但该模型仅利用了立体图像的深度信息建立显著度模型， 没有考虑彩色等二维特征对立体显著度建模的影响。而且该模型没有考虑双目立体视觉中 的另一重要特性，即双目抑制效应，因而该模型精度有待进一步提高。
【发明内容】
[0005] 本发明的目的在于提供一种3D-JND阔值计算方法，尤其是基于多层次立体选择 注意及双目抑制效应的3D-JND阔值计算方法。
[0006] 为达到上述目的，本发明的解决方案是；首先考虑人眼视觉系统在观看立体场景 过程中遵循由远及近、由粗到细的多层次选择性视觉注意机制，构建了基于颜色、亮度W及 深度特征的四元数，通过在不同分辨率下对所构建的四元数进行基于相位谱的四元傅里叶 变换（PQFT)，建立多层次立体选择注意模型，并基于此模型构建多层次的显著区域调制函 数，分别对立体图像主视图和辅视图的2D-JND阔值进行调制；然后进一步考虑双目抑制效 应，针对辅视图中的遮挡和非遮挡区域建立分区域调制函数，对辅视图的JND阔值进行进 一步调制，从而建立更符合双目立体视觉特性的非对称的3D-JND模型。
[0007] 进一步，采用W下步骤：
[0008] 步骤S1;对原始的左视和右视图像分别使用传统2D-JND模型获取左、右视图的 JND基础阔值。
[0009] 步骤S2;根据输入图像的大小设置用于多层次选择特性建模的层次值L;
[0010] 步骤S3 ;考虑多层次立体选择注意机制，构建左右视图不同层次显著度计算所需 要的彩色图像和深度图像，将原始左右视角彩色图像和其所对应的深度图像分别下采样到 不同的分辨率，即原始图像分辨率的倍大小。不同层次下采样前的深度图像获取 过程如下；在第k化=1~L)层时，图像分辨率为原始分辨率的（1/2)W倍大小，其对应的 深度值为原始分辨率所对应的实际深度值的k倍，即dk(x，y) =d"g(x，y)*k，其中，dk(x，y) 为第k层（x，y)点处的深度值，d"g(x，y)为原始分辨率下的（x，y)点处的实际深度值，将 dk(x，y)按如下公式进行映射变换，得到第K层下采样前的深度图。
[0011]
【主权项】
1. 一种3D-JND阈值计算方法，其特征在于：同时考虑人眼视觉系统在观看立体场景过 程中遵循由远及近、由粗到细的多层次立体选择注意机制，以及双目立体视觉的双目抑制 效应这两个因素进行3D-JND建模。
2. 根据权利要求1所述的方法，其特征在于： 考虑多层次选择性视觉注意机制：构建基于颜色、亮度以及深度特征的四元数，通过在 不同分辨率下对所构建的四元数进行基于相位谱的四元傅里叶变换，建立多层次立体选择 注意模型，并基于此模型构建多层次的显著区域调制函数，分别对立体图像主视图和辅视 图的2D-JND阈值进行调制。
3. 根据权利要求1所述的方法，其特征在于： 考虑双目抑制效应，针对辅视图中的遮挡和非遮挡区域建立分区域调制函数，对辅视 图的JND阈值进行进一步调制，从而建立更符合双目立体视觉特性的非对称的3D-JND模 型。
4. 根据权利要求3所述的方法，其特征在于： 在主视图质量得到保证的前提下可适当降低辅视图质量而不影响人眼视觉系统对立 体图像的感知，考虑辅视图中遮挡区域和非遮挡区域对噪声的不同感知能力，对辅视图进 一步建立针对不同区域的依据深度值调整的分区域调制函数。
5. 根据权利要求2所述的方法，其特征在于： 在所建立的多层次立体选择注意模型基础上，将不同层次的显著图进行嵌套得到综合 的显著区域图，并建立对应的多层次显著区域调制函数，分别对立体图像主视图和辅视图 的基础JND阈值进行调制。
6. 根据权利要求1所述的方法，其特征在于：包括： 步骤Sl :对原始的左视和右视图像分别使用传统2D-JND模型获取左、右视图的JND基 础阈值； 步骤S2 :根据输入图像的大小设置用于多层次选择特性建模的层次值L ; 步骤S3 :考虑多层次立体选择注意机制，构建左右视图不同层次显著度计算所需要的 彩色图像和深度图像，将原始左右视角彩色图像和其所对应的深度图像分别下采样到不同 的分辨率，即原始图像分辨率的（1/2)°~^倍大小； 步骤S4 :构建基于亮度、颜色以及深度特征的四元数，将颜色特征RG、BY及亮度特征I 作为虚部，深度特征D作为实部，构造的四元数如下式所示： q (x, y) = D (x, y) +RG (x, y) μ !+BY (x, y) μ 2+I (x, y) μ 3 其中，D(x，y)为深度图在（x，y)点处的值，RG(x，y)、BY(x，y)、I (x，y)分别是 点（x，y)处的红绿颜色特征值、蓝黄颜色特征值及亮度特征值，虚部单位满足Ui2 =-1，μ21 μ 3, μι丄 μ 3, μ3= μ ιμ2, μι丄 μ 2; 步骤S5 :在不同层次下，对所构建的四元数进行PQFT变换，以获取左右视角不同层次 的显著图，并将左右视角不同分辨率下的显著图上采样到原始图像分辨率大小； 步骤S6 :使用大津法将每个层次的显著图分割为显著区域和非显著区域，再将所有分 割后的显著图依照层次越小越重要的方式从大到小进行嵌套，得到多层次的显著分割图； 步骤S7 :建立多层次显著区域调制函数，对步骤Sl得到的左右视图的基础JND阈值进 行调制； 步骤S8 :考虑双目抑制效应，选择左右视角中一个作为辅视，基于辅视角的深度图及 摄像机相关参数计算其对应视差图，并在此基础上对辅视图进行遮挡区域和非遮挡区域检 测，得相应的分割图； 步骤S9 :针对步骤S8中辅视图的遮挡和非遮挡区域建立调制函数；遮挡区域使用低于 1的调制因子以保证质量，对非遮挡区域建立依赖于深度值的调制函数；并对步骤S7得到 的辅视JND阈值进一步进行分区域调制。
7. 根据权利要求1所述的方法，其特征在于： 步骤S3中，不同层次下采样前的深度图像获取过程如下：在第k(k = 1~L)层时，图像 分辨率为原始分辨率的（1/2)η倍大小，其对应的深度值为原始分辨率所对应的实际深度 值的k倍，即dk(x，y) = dOTg(x，y)*k，其中，dk(x，y)为第k层（x，y)点处的深度值，dOTg(X，y) 为原始分辨率下的（x，y)点处的实际深度值，将d k(x，y)按如下公式进行映射变换，得到第 k层下采样前的深度图：
8. 根据权利要求1所述的方法，其特征在于： 步骤S7中，调制函数公式如下： Fhs (X，y) = 1+ (1-S (X，y)) * a *uk 其中，S(x，y)为基于步骤S6的多层次显著分割图对所有层次的显著图嵌套后的多层 次显著图在（x，y)处的值；α为调制常数；Uk是基于多层次显著分割图的第k层的自适应 调制因子，定义如下：
9. 根据权利要求1所述的方法，其特征在于： 步骤S8中，计算公式如下：
其中，V (x，y)是左视角的灰度图根据左视差图偏移得到的在（x，y)处的像素值， Y1Xx, y)为右视角的灰度图在（x，y)处的像素值；Th值为检测阈值。
10. 根据权利要求1所述的方法，其特征在于： 步骤S9中，在（X，y)点处的区域调制值Fsm(X，y)公式如下：
其中，DnOT(x，y)为深度图归一化后在（X，y)处的值，β为小于1的调制因子。
【专利摘要】本发明公开了一种3D-JND阈值计算方法，同时考虑人眼视觉系统在观看立体场景过程中遵循由远及近、由粗到细的多层次立体选择注意机制，以及双目立体视觉的双目抑制效应这两个因素进行3D-JND建模。本发明因为同时考虑了多层次立体选择注意机制及双目立体视觉的双目抑制效应两个因素进行3D-JND建模，因而相比较于传统的3D-JND模型更符合人眼的立体视觉系统。本发明提出的计算方法，不但可以容纳更多的噪声，而且具有更好的视觉质量。该模型可以用于3D图像/视频的感知编码，以去除图像/视频中的视觉冗余。
【IPC分类】H04N13-00
【公开号】CN104754320
【申请号】CN201510140610
【发明人】张冬冬, 陈勇
【申请人】同济大学
【公开日】2015年7月1日
【申请日】2015年3月27日