一种基于dof的恰可察觉误差模型的感知立体视频编码方法
【专利摘要】本发明属于视频处理【技术领域】，具体公开了一种基于DOF的恰可察觉误差模型的感知立体视频编码方法，其实现步骤为：(1)计算基于DOF和视差的亮度JND模型；(2)计算基于视差的纹理JND模型；(3)根据非线性加和模型取得本发明所提出的基于DOF的JND模型DJND(x,y)；(4)将基于DOF的JND模型通过重置量化参数用于立体编码。本发明可有效的消除时间、空间以及视间冗余，并且成功地提高了S3D视频图像质量和视觉舒适，使纹理和边缘区域都保持着十分舒适的视觉效果。本发明能在改善和保持立体视觉感知质量的前提下，大幅度的降低了立体视频码率。
【专利说明】一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法
【技术领域】
[0001] 本发明属于视频处理【技术领域】，具体涉及一种感知立体视频编码方法，特别是一 种基于D0F的恰可察觉误差模型的感知立体视频编码方法。
【背景技术】
[0002] 随着3D立体视频媒体技术的飞速发展，人们对逼真的视觉体验需求也在逐渐增 强。由立体摄像机捕获的S3D视频可以给用户提供更加生动的体验。不幸的是，与现实场 景相比，S3D显示器经常会在3D效果上产生一些失真，这些失真会对人类双视视觉造成刺 激，引起不适和视觉疲劳。它们通常是由不恰当的屏幕视差，巨大视差差异以及不自然的模 糊和锐化造成的。因此，对于立体视频感知编码，在保证存储空间和传输带宽的前提下，有 效的提高视觉舒适度和视频质量是非常有必要的。为了实现这一点，基于人类视觉深度感 知的立体视频编码是非常有研宄价值的。
[0003] 由于最终接收视频信号的通常是人类视觉系统（HVS)，所以将人类视觉感知因子 融合到视频编码结构将能够更好地保持视频的感知质量。立体视频编码就是要在消除视频 序列的空间、时间冗余的同时，重点考虑了视间冗余信息的压缩，在不损失视频质量的前提 下降低码率。目前，大量的感知视频编码方法被提出。有基于显著度的方法、基于R0I的方 法、基于分析和合成的方法等，其中结合人类视觉系统掩蔽机能的恰可察觉误差模型（JND) 的编码方法起到了重要作用。JND模型通过模拟人类视觉感知冗余得到一个灵敏度阈值，当 编码失真低于这个阈值时是不能被肉眼所感知的。该失真阈值是客观存在于每个编码信号 上的并且可用于重新分配码率从而达到编码的目的。
[0004] 现有的恰可察觉误差模型，通常包括DCT域JND模型和像素域JND模型。DCT域 JND模型考虑了通道间的交互作用，空间对比度敏感效应和时间对比度敏感效应，并结合了 人类视觉频率效应。它利用每个频率段敏感度的对比灵敏度函数（CSF)把人眼的视觉特性 融入了模型中，但是算法相对像素域较为复杂。
[0005] 2013年Dongdong Zhang和 Li jing Gao 等在 IEEE International Conference on Signal and Image Processing Applications (ICSIPA)上名为"A DCT-Domain JND Model Based on Visual Attention for Image"的论文中提出了一种 DCT 域的基于 R0I 的 JND 模 型。它结合了调制函数的建立，在频率域JND阈值上基于图像显著度和纹理特征，同时考虑 了视觉注意效应和视觉掩蔽效应，提出了一种新颖的DCT域JND模型。可有效用于图像、视 频编码，但是变换域的计算量较大。
[0006] 与DCT域相比像素域JND模型算法简单，计算量较小。空间域JND模型、时域权重 JND模型、中央凹JND模型以及基于深度图的JND模型。空间域JND模型有效的体现了亮 度、纹理掩蔽效应，而时域权重JND模型考虑了时域掩蔽效应。中央凹JND模型表现了双目 中央凹掩蔽效应，它是集成了人类视网膜中央凹特征和传统的视觉敏感度特征得到的。但 是由于这些模型没有考虑视间冗余的特性，所以并不能准确的用于双目立体视频编码。
[0007] 2011 年 Lei Zhang 和 Qing Peng 等在 IEEE Transactions on Broadcasting 上一篇名为"Stereoscopic Perceptual Video Coding Based on Just-Noticeable-Distortion Profile"的论文中提出了一种基于立体显示器的中央凹权 重恰可觉察失真模型。其根据观察者距显示器的距离和人类视觉的关注点间的角度信息得 到每个像素的中央凹权重恰可觉察失真阈值。并利用块自适应残差预处理器调整残差帧， 用于视频编码，达到了较好的立体视频编码效果。但是该方法对立体显示器的依赖性较高， 可扩展性不强，使得编码软件的编码效率降低。
[0008] 2013年在名为"一种基于双目恰可察觉失真的立体视频码率控制方案"的 NO. CN103414889A专利中提出了一种基于亮度JND模型的双目恰可察觉失真模型。该方法 通过对目标码率的计算来实现码率控，分别针对的是视点层，图像组层，帧层，片组层和宏 块层，通过在左视点每个像素位置上偏移一个视差矢量，得到的像素亮度对比度来计算该 JND模型，它会过分依赖于左视点，将基于左视得到的阈值用于右视图，并不能充分体现双 目视差冗余信息。
【发明内容】
[0009] 本发明的目的在于解决上述现有技术的不足，提出了一种基于D0F的恰可察觉误 差模型的感知立体视频编码方法。
[0010] 实现本发明目的的技术方案是：一种基于D0F的恰可察觉误差模型的
[0011] 感知立体视频编码方法，包括如下步骤：
[0012] (1)计算基于D0F和视差的亮度JND模型：
[0013] la)计算原始亮度JND模型LJND (x，y);
[0014] lb)根据视差信息求得高斯低通滤波强度e (x，y);
[0015] lc)对每个块进行高斯低通滤波，得到滤波的JND模型FLJND (x，y):
【权利要求】
1. 一种基于DOF的恰可察觉误差模型的感知立体视频编码方法，其特征在于：包括如 下步骤： (1) 计算基于DOF和视差的亮度JND模型： la) 计算原始亮度JND模型LJND(X，y); lb) 根据视差信息求得高斯低通滤波强度ε(X，y); lc) 对每个块进行高斯低通滤波，得到滤波的JND模型FLJND(x，y):
其中，B是以像素1为中心的5*5的块，M·II是欧氏距离，ε(X，y)是滤波强度； ld) 将块平均深度值^^]融合到滤波后的亮度JND模型FLJND(X，y)，得到基于DOF 和视差的亮度JND模型DLJND(X，y): DLJND =e 2Dep(r-r) -FLJND(x,y) + d, 其中，5 = 3 ; (2) 计算基于视差的纹理JND模型： 2a)计算原始纹理JND模型TJND(X，y); 2b)利用块平均深度值;0^]处理纹理JND模型TJND(x，y)来区分前景和背景，得到 基于视差的纹理JND模型； DTJND=e'2η·'!Η' ' * TJ,\D(x,y), 3)根据非线性加和模型取得基于DOF的JND模型DJND(x，y): DJND=DLJND+DTJND-Φ·min{DLJND,DTJND}, 其中，DLJND是基于视差和DOF的亮度JND模型，DTJND是基于视差的纹理JND模型，Φ= 0. 3 ; (4)将基于DOF的JND模型通过重置量化参数用于立体编码： 4a)根据所提出的基于DOF的JND阈值DJND(X，y)得到用于调整量化参数的调节参数 V：
其中，DJNDi是第i个宏块的平均JND阈值，DJND是每一帧的平均JNG阈值，α=〇. 2，β= 1. 8，μ= 4 ; 4b)用调节参数ν调整每个宏块的量化参数： QPi=V·QP。， 4c)根据率失真最优化原理和重置后的量化参数QPi,计算出优化参数λ，它用于平衡 码率和失真之间的关系： min(J) =min(D+A·R) ? ! = ? = 0， DR DR /l= 0.85-2to-12)/3。 其中，D表示失真信息，R表示码率，λ是拉格朗日乘子，J是编码损耗。
2. 根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法，其特征在于：所述步骤la)中计算原始亮度JND模型LJND(X，y)，按如下步骤进行： Ial)求出每个块的平均背景亮度值:
其中，B(i，j)是如下所示的矩阵，我们利用该矩阵对图像进行低通滤波，
la2)由亮度掩蔽效应得到原始亮度JND模型LJND(x，y):
3. 根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法，其特征在于：所述步骤Ib)中根据视差信息求得高斯低通滤波强度ε(x，y)，按如下步 骤进行： Ibl)根据视差信息得到每个块的平均深度值^(^1:
其中，D(x，y)是像素（x，y)的视差彳目息；lb2)计算滤波强度ε (X，y):
其中，σ= 10，τ= 〇· 6,Φ= 1。
4. 根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法，其特征在于：所述步骤2a)中所述的计算原始纹理JND模型TJND(X，y)，按如下步骤进 行： 2al)计算像素点（x，y)周围四个方向的梯度： --<=iJ=L
求得它的最大的加权平均梯度：
其中，gm(i，j)是如下所示的四个矩阵，它们分别用来对纹理区域的四个方向进行高通 滤波；这四个方向分别是：〇°，45°，90°和135°，依次对应如下四个矩阵：
2a2)由canny边缘检测得到原始纹理JND模型TJND: TJND=ξ-Gr(x,y)-We(Xiy) 其中，Gjx，y)是像素（x，y)周围梯度的平均权重，We(x，y)表示一个边缘相关的权重 模型，ξ= 〇· 117。
【文档编号】H04N19/117GK104469386SQ201410775784
【公开日】2015年3月25日 申请日期:2014年12月15日 优先权日:2014年12月15日
【发明者】郑喆坤, 薛飞, 刘红民, 崔玉, 金重圭, 尹仁龙, 权炳贤 申请人:西安电子科技大学