一种基于视差最小可察觉误差模型的感知立体视频编码的制作方法
【技术领域】
[0001] 本发明属于视频处理技术领域，具体涉及一种感知立体视频编码方法，特别是一 种基于视差最小可察觉误差模型的感知立体视频编码方法。
【背景技术】
[0002] 由于逼真的视觉体验需求逐渐增强，近年来3D电视技术的发展十分迅速。由不同 视点的多台摄像机从不同视角捕获同一个场景所产生的多视点视频，可以给用户带来更生 动的视觉体验。然而，随着摄像机数量的增多，在存储和传输3D立体视频时所需的存储空 间和带宽需要成倍的增加才能保持视频图像的质量。因此，有效的立体视频编码方法是十 分必要的。
[0003] 立体视频编码就是要消除视频序列的空间、时间和视间冗余等，在不损失视频质 量的前提下减少码率。由于视频信号的最终接收者通常是人类视觉系统（HVS)，所以人类视 觉感知因子和视频编码的融合将能够更好地维持视频的感知质量。目前，大量的感知视频 编码方法被提出。其中结合人类视觉系统掩蔽机能的最小可察觉误差模型（JND)的编码方 法起到了重要作用。JND模型通过模拟人类视觉感知冗余得到一个灵敏度阈值，当编码失真 低于这个阈值时是不能被肉眼所感知的。该失真阈值是每个编码信号上客观存在的可用于 重新分配码率从而达到减少码率的目的。
[0004] 现有的最小可察觉误差模型，通常包括像素域JND模型和变换域JND模型。变换域 JND模型考虑了通道间的交互作用，结合了人类视觉频率效应，空间对比度敏感效应和时间 对比度敏感效应。它利用每个频率段敏感度的对比灵敏度函数（CSF)把人眼的视觉特性融 入了模型中，但是算法相对像素域较为复杂。
[0005]ShangX，WangY和LuoL等在IEEEInternationalConferenceICIP上名为 "Perceptualmultiviewvideocodingbasedonfoveatedjustnoticeabledistortion profileinDCTdomain"的论文中提出了一种DCT域的中央凹JND模型。它采用了与水平 和垂直频率，偏心率，等相关的对比度阈值得到该JND模型，并与时空JND模型相结合。可 有效用于多视点视频编码，但是变换域的计算量较大。
[0006] 像素域JND模型算法简单。最广泛的有空间-时间JND模型、视网膜中央凹JND 模型以及基于深度图的JND模型。空间-时间JND模型有效的体现了亮度、纹理和时域掩 蔽效应。视网膜中央凹JND模型集成了传统的视觉敏感度特征和视网膜中央凹特征，表现 了中央凹掩蔽效应。这两个模型有效的描述了时间和空间冗余特性但不能体现视间冗余的 特性，不适用于立体视频编码。基于深度图的JND模型考虑了深度掩蔽效应，可用于消除立 体视频图像的感知冗余。但是这个模型适用的前提是已知视频的深度图序列。
[0007] 2013年在名为"一种基于双目恰可察觉失真的立体视频码率控制方案"的 NO.CN103414889A专利中提出了一种基于亮度JND模型的双目恰可察觉失真模型。该方法 通过分别计算视点层，图像组层，帧层和宏块层的目标码率来实现码率控制，以左视点基础 上偏移一个视差矢量位置上的左视像素亮度的对比度得到该JND模型，实现了码率控制， 它会过分依赖于左视点，基于左视得到的阈值用于右视图，并不能充分体现双目视差冗余 信息。
[0008] 2012年在名为"一种基于中心凹恰可觉察失真模型的深度视频编码方法"的 NO.CN102724525A的专利中提出了一种基于中心凹的恰可觉察失真模型。其根据左右视点 和左右视点深度序列绘制得到每个像素的全局恰可觉察失真和中间虚拟视点视频。从而用 左视点深度序列的最大可容忍失真视频获取该深度序列的编码量化参数，用于视频编码， 达到了较好的立体视频编码效果。但是该方法需要先计算立体视频的深度图序列，或者用 于深度图已知的立体视频，使得编码软件的编码效率降低。
【发明内容】
[0009] 本发明的目的在于针对上述现有方法的不足，提出了一种基于视差最小可察觉误 差模型的感知立体视频编码方法，根据左、右视点的视差信息得到一个独立的JND阈值，不 依赖于左视点或者右视点的壳度?目息，仅与视差相关，能有效的消除双视立体视频的视间 感知冗余，并且基本不带来立体感知质量的下降。
[0010] 实现本发明目的的技术方案是：一种基于视差最小可察觉误差模型的感知立体视 频编码方法，基于左、右视点的视间感知冗余，包括如下步骤：
[0011] ⑴视差估计：
[0012] la)分别读入双目立体视频左、右视点对应的每一帧图像4和IlR，并采用基于均 值漂移彩色分割的方法对其进行分割预处理，得到图像I'i和I'lR ;
[0013]lb)对I' &和I'lR进行立体匹配，得到左、右视点间的视差d(x，y);
[0014] ⑵基于视差的JND模型估计：
[0015] 根据由输入视频序列得到的视差序列信息和人类视觉灵敏度之间的关系，分别计 算输入的每一帧视频图像在各个像素点的视差JND阈值JNDdis(x，y):
[0016] JNDdis(x，y) = Ψ · e d(x'y)+(j)
[0017] ψ=17，Φ= 3。
[0018] (3)计算亮度，纹理和时间加权JND模型：
[0019] 3a)分别计算左、右视点在各个像素点的亮度JND阈值JNDjx，y)，它是由亮度掩 蔽效应和背景亮度对比度决定的；
[0020] 3b)分别计算左、右视点在各个像素点的纹理JND阈值JNDT(x，y)，它和纹理掩蔽 效应以及图像边缘结构紧密相关，并利用非线性加性模型将其和JNDjx，y)结合构成空域 JND模型JNDs(x，y):
[0021]非线性加性模型：JNDS=JNDL+JNDT- Φ·min {JNDL，JNDT};
[0022] 3c)分别计算左、右视点在各个像素点的时间加权JND阈值JNDTEM(x，y)，它由根 据视频序列帧间亮度差异所得到的时间掩蔽效应决定，并将其和JNDs(x，y)相融合得到空 域-时域JND模型JNDST(x，y):
[0023]加权模型：JNDST =JNDS ·JNDTEM;
[0024] (4)利用非线性加性模型将基于视差的JND模型和空域-时域JND模型JNDST(x，y) 结合，得到基于视差的双目立体JND模型JNDSTERE。(x，y):
[0025] JNDstereo(X，y) = JNDst+JNDdis_ Θ · min {JNDST，JNDdis}
[0026] (5)将基于视差的双目立体JND模型JNDSTE_(x，y)用于立体残差预处理器：
[0027] 5a)分别计算出左、右视点每个BXB块的平均JND阈值平方和，B根据不 同的块大小取不同的值：
[0028]
[0029] 5b)分别计算出左、右视点每个ΒΧΒ块的平均残差f:
[0030]
[0031] 5c)分别计算出左、右视点每个像素点残差信号的方差
[0032]
[0033]
[0034] 5d)根据率失真最优化（RD0)原理：min(J) =min(D+X·R)计算出优化参数ν， 它可以用于平衡码率和失真之间的关系：
[0035]
[0036]
[0037]
[0038]
[0039] 5e)利用（4)中所得到的JND阈值JNDSTE_(x，y)以及从5a)_5d)得到的各个参 数值对视频序列原始的残差ROT1 (X，y)进行重置，得到新的残差RN (X，y)，达到节省码率的目 的：
[0040
[0041] 所述步骤（la)中分别读入双目立体视频左、右视点对应的每一帧图像込和IlR， 并采用基于均值漂移彩色分割的方法对其进行分割预处理，得到图像I'α和I' lR，按如下 步骤进行：
[0042] (lal)分别对左、右视点对应的每一帧图像进行均值漂移滤波，得到所有子空间收 敛点的信息；
[0043] (la2)通过将通过均值漂移滤波的描绘相同领域的像素点集群组合在一起，得到 分割区域。
[0044] 所述步骤（lb)中对和I'lR进行立体匹配，得到左、右视点间的视差d(x，y)， 按如下步骤进行：
[0045] (lbl)采用局部立体匹配可得：
[0046]d(x,y) =a·x+b·y+c,
[0047] 其中，a，b，c，是三个指定视差平面的参数，它们决定了每个参考像素（x，y)的视 差d(x,y)；
[0048] (lb2)计算每个像素点的绝对误差和：
[0049]
[0050] (lb3)由分割区域内每个像素点的绝对误差和的最小化得到视差平面和三个参数 的值：
[0051] vc-，（ y
[0052] 所述步骤（3a)所述的分别计算左、右视点在各个像素点的亮度JND阈值 JND^ (X,y)，按如下步骤进行：
[0053] (3al)在以（X，y)为中心的5X5像素域内计算背景亮度的平均值：
[0054]
[0055] 其中，I(X，y)为该像素点的亮度，B(i，j)是一个加权低通滤波器；
[0056] (3a2)由亮度掩蔽效应和I(X，y)得到亮度JND阈值：
[0057]
[0058] 所述步骤（3b)所述的分别计算左、右视点在各个像素点的纹理JND阈值 JNDT(x,y)，按如下步骤进行：
[0059]C3bl)计算像素点（x，y)周围的梯度：
[00