一种基于dof的恰可察觉误差模型的感知立体视频编码方法

文档序号:7822987阅读:928来源:国知局
一种基于dof的恰可察觉误差模型的感知立体视频编码方法
【专利摘要】本发明属于视频处理【技术领域】,具体公开了一种基于DOF的恰可察觉误差模型的感知立体视频编码方法,其实现步骤为:(1)计算基于DOF和视差的亮度JND模型;(2)计算基于视差的纹理JND模型;(3)根据非线性加和模型取得本发明所提出的基于DOF的JND模型DJND(x,y);(4)将基于DOF的JND模型通过重置量化参数用于立体编码。本发明可有效的消除时间、空间以及视间冗余,并且成功地提高了S3D视频图像质量和视觉舒适,使纹理和边缘区域都保持着十分舒适的视觉效果。本发明能在改善和保持立体视觉感知质量的前提下,大幅度的降低了立体视频码率。
【专利说明】一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法

【技术领域】
[0001] 本发明属于视频处理【技术领域】,具体涉及一种感知立体视频编码方法,特别是一 种基于D0F的恰可察觉误差模型的感知立体视频编码方法。

【背景技术】
[0002] 随着3D立体视频媒体技术的飞速发展,人们对逼真的视觉体验需求也在逐渐增 强。由立体摄像机捕获的S3D视频可以给用户提供更加生动的体验。不幸的是,与现实场 景相比,S3D显示器经常会在3D效果上产生一些失真,这些失真会对人类双视视觉造成刺 激,引起不适和视觉疲劳。它们通常是由不恰当的屏幕视差,巨大视差差异以及不自然的模 糊和锐化造成的。因此,对于立体视频感知编码,在保证存储空间和传输带宽的前提下,有 效的提高视觉舒适度和视频质量是非常有必要的。为了实现这一点,基于人类视觉深度感 知的立体视频编码是非常有研宄价值的。
[0003] 由于最终接收视频信号的通常是人类视觉系统(HVS),所以将人类视觉感知因子 融合到视频编码结构将能够更好地保持视频的感知质量。立体视频编码就是要在消除视频 序列的空间、时间冗余的同时,重点考虑了视间冗余信息的压缩,在不损失视频质量的前提 下降低码率。目前,大量的感知视频编码方法被提出。有基于显著度的方法、基于R0I的方 法、基于分析和合成的方法等,其中结合人类视觉系统掩蔽机能的恰可察觉误差模型(JND) 的编码方法起到了重要作用。JND模型通过模拟人类视觉感知冗余得到一个灵敏度阈值,当 编码失真低于这个阈值时是不能被肉眼所感知的。该失真阈值是客观存在于每个编码信号 上的并且可用于重新分配码率从而达到编码的目的。
[0004] 现有的恰可察觉误差模型,通常包括DCT域JND模型和像素域JND模型。DCT域 JND模型考虑了通道间的交互作用,空间对比度敏感效应和时间对比度敏感效应,并结合了 人类视觉频率效应。它利用每个频率段敏感度的对比灵敏度函数(CSF)把人眼的视觉特性 融入了模型中,但是算法相对像素域较为复杂。
[0005] 2013年Dongdong Zhang和 Li jing Gao 等在 IEEE International Conference on Signal and Image Processing Applications (ICSIPA)上名为"A DCT-Domain JND Model Based on Visual Attention for Image"的论文中提出了一种 DCT 域的基于 R0I 的 JND 模 型。它结合了调制函数的建立,在频率域JND阈值上基于图像显著度和纹理特征,同时考虑 了视觉注意效应和视觉掩蔽效应,提出了一种新颖的DCT域JND模型。可有效用于图像、视 频编码,但是变换域的计算量较大。
[0006] 与DCT域相比像素域JND模型算法简单,计算量较小。空间域JND模型、时域权重 JND模型、中央凹JND模型以及基于深度图的JND模型。空间域JND模型有效的体现了亮 度、纹理掩蔽效应,而时域权重JND模型考虑了时域掩蔽效应。中央凹JND模型表现了双目 中央凹掩蔽效应,它是集成了人类视网膜中央凹特征和传统的视觉敏感度特征得到的。但 是由于这些模型没有考虑视间冗余的特性,所以并不能准确的用于双目立体视频编码。
[0007] 2011 年 Lei Zhang 和 Qing Peng 等在 IEEE Transactions on Broadcasting 上一篇名为"Stereoscopic Perceptual Video Coding Based on Just-Noticeable-Distortion Profile"的论文中提出了一种基于立体显示器的中央凹权 重恰可觉察失真模型。其根据观察者距显示器的距离和人类视觉的关注点间的角度信息得 到每个像素的中央凹权重恰可觉察失真阈值。并利用块自适应残差预处理器调整残差帧, 用于视频编码,达到了较好的立体视频编码效果。但是该方法对立体显示器的依赖性较高, 可扩展性不强,使得编码软件的编码效率降低。
[0008] 2013年在名为"一种基于双目恰可察觉失真的立体视频码率控制方案"的 NO. CN103414889A专利中提出了一种基于亮度JND模型的双目恰可察觉失真模型。该方法 通过对目标码率的计算来实现码率控,分别针对的是视点层,图像组层,帧层,片组层和宏 块层,通过在左视点每个像素位置上偏移一个视差矢量,得到的像素亮度对比度来计算该 JND模型,它会过分依赖于左视点,将基于左视得到的阈值用于右视图,并不能充分体现双 目视差冗余信息。


【发明内容】

[0009] 本发明的目的在于解决上述现有技术的不足,提出了一种基于D0F的恰可察觉误 差模型的感知立体视频编码方法。
[0010] 实现本发明目的的技术方案是:一种基于D0F的恰可察觉误差模型的
[0011] 感知立体视频编码方法,包括如下步骤:
[0012] (1)计算基于D0F和视差的亮度JND模型:
[0013] la)计算原始亮度JND模型LJND (x,y);
[0014] lb)根据视差信息求得高斯低通滤波强度e (x,y);
[0015] lc)对每个块进行高斯低通滤波,得到滤波的JND模型FLJND (x,y):

【权利要求】
1. 一种基于DOF的恰可察觉误差模型的感知立体视频编码方法,其特征在于:包括如 下步骤: (1) 计算基于DOF和视差的亮度JND模型: la) 计算原始亮度JND模型LJND(X,y); lb) 根据视差信息求得高斯低通滤波强度ε(X,y); lc) 对每个块进行高斯低通滤波,得到滤波的JND模型FLJND(x,y):
其中,B是以像素1为中心的5*5的块,M·II是欧氏距离,ε(X,y)是滤波强度; ld) 将块平均深度值^^]融合到滤波后的亮度JND模型FLJND(X,y),得到基于DOF 和视差的亮度JND模型DLJND(X,y): DLJND =e 2Dep(r-r) -FLJND(x,y) + d, 其中,5 = 3 ; (2) 计算基于视差的纹理JND模型: 2a)计算原始纹理JND模型TJND(X,y); 2b)利用块平均深度值;0^]处理纹理JND模型TJND(x,y)来区分前景和背景,得到 基于视差的纹理JND模型; DTJND=e'2η·'!Η' ' * TJ,\D(x,y), 3)根据非线性加和模型取得基于DOF的JND模型DJND(x,y): DJND=DLJND+DTJND-Φ·min{DLJND,DTJND}, 其中,DLJND是基于视差和DOF的亮度JND模型,DTJND是基于视差的纹理JND模型,Φ= 0. 3 ; (4)将基于DOF的JND模型通过重置量化参数用于立体编码: 4a)根据所提出的基于DOF的JND阈值DJND(X,y)得到用于调整量化参数的调节参数 V:
其中,DJNDi是第i个宏块的平均JND阈值,DJND是每一帧的平均JNG阈值,α=〇. 2,β= 1. 8,μ= 4 ; 4b)用调节参数ν调整每个宏块的量化参数: QPi=V·QP。, 4c)根据率失真最优化原理和重置后的量化参数QPi,计算出优化参数λ,它用于平衡 码率和失真之间的关系: min(J) =min(D+A·R) ? ! = ? = 0, DR DR /l= 0.85-2to-12)/3。 其中,D表示失真信息,R表示码率,λ是拉格朗日乘子,J是编码损耗。
2. 根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法,其特征在于:所述步骤la)中计算原始亮度JND模型LJND(X,y),按如下步骤进行: Ial)求出每个块的平均背景亮度值:
其中,B(i,j)是如下所示的矩阵,我们利用该矩阵对图像进行低通滤波,
la2)由亮度掩蔽效应得到原始亮度JND模型LJND(x,y):
3. 根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法,其特征在于:所述步骤Ib)中根据视差信息求得高斯低通滤波强度ε(x,y),按如下步 骤进行: Ibl)根据视差信息得到每个块的平均深度值^(^1:
其中,D(x,y)是像素(x,y)的视差彳目息;lb2)计算滤波强度ε (X,y):
其中,σ= 10,τ= 〇· 6,Φ= 1。
4. 根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方 法,其特征在于:所述步骤2a)中所述的计算原始纹理JND模型TJND(X,y),按如下步骤进 行: 2al)计算像素点(x,y)周围四个方向的梯度: --<=iJ=L
求得它的最大的加权平均梯度:
其中,gm(i,j)是如下所示的四个矩阵,它们分别用来对纹理区域的四个方向进行高通 滤波;这四个方向分别是:〇°,45°,90°和135°,依次对应如下四个矩阵:
2a2)由canny边缘检测得到原始纹理JND模型TJND: TJND=ξ-Gr(x,y)-We(Xiy) 其中,Gjx,y)是像素(x,y)周围梯度的平均权重,We(x,y)表示一个边缘相关的权重 模型,ξ= 〇· 117。
【文档编号】H04N19/117GK104469386SQ201410775784
【公开日】2015年3月25日 申请日期:2014年12月15日 优先权日:2014年12月15日
【发明者】郑喆坤, 薛飞, 刘红民, 崔玉, 金重圭, 尹仁龙, 权炳贤 申请人:西安电子科技大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1