一种面向虚拟多视点绘制的深度感知增强方法
【技术领域】
[0001] 本发明属于立体图像处理领域，涉及一种面向虚拟多视点绘制的深度感知增强方 法，来增强立体显示的立体效果。 技术背景
[0002] 立体（3D)技术是利用双眼立体视觉原理，结合各种深度或视差线索，使观看者从 显示设备上获得立体感的各种技术的总称。3D显示技术可以分为传统立体显示技术和裸眼 立体显示技术。传统的立体显示技术需要佩戴眼镜才能观察出3D图像的立体感。裸眼立 体显示技术不需要佩戴眼镜，裸眼即可观察出3D图像的立体感。自由立体显示技术，是当 前裸眼立体显示的主要发展方向之一，能基于多视角视频实现多观看视点的选择和全方位 的立体显示，从而带给人以逼真震撼的观看效果，满足人们对场景真实再现的要求。分析表 明，自由立体显示由于发展时间较短、难度较高，较传统立体显示技术而言在观看舒适度、 立体感知效果等方面还有待提高。
[0003] 虚拟视点绘制是自由立体显示技术的核心技术之一，根据原始视点可产生多个虚 拟视点。虚拟视点绘制的目的是在原有视点的基础上，生成物理上不失真的虚拟视点视图。 虚拟视点绘制技术主要包括基于模型的绘制（Model Based Rendering，MBR)和基于图像 的绘制（Image Based Rendering，IBR)。基于模型的绘制需要几何建模与计算，在复杂场 景下通过MBR成像效果并不是非常理想，无法满足用户不断发展的对图像真实感和沉浸感 的需求。基于图像的绘制主要研究如何采用已知视点图像来直接生成虚拟视点下的对应图 像，其绘制过程避免了复杂的几何建模与计算工作，因此具有快速、简单、逼真的优点，已成 为当前最为活跃的研究方向。由于基于深度图像的虚拟视点绘制技术（DIBR)将图像和三 维深度信息进行了有效的结合，提高了对自然场景的绘制速度，且可以利用少量的参考视 点图像，高质量地绘制任意位置的新视点图像，节省了数据存储空间和传输带宽，近年来受 到广泛的关注。但绘制多个中间虚拟视点时，会降低相邻视点之间的视差，从而降低了 3D 显示的立体感。因此，深度感知增强在3D显示方面具有重要作用。
[0004] 从立体的角度来说，人眼在观看立体图像时只能感知大于某个值的深度变化或色 彩变化，我们称之为立体的恰可察觉差异。JND模型即是针对HVS的特征通过大量实验推 导出来的。研究表明，此阈值依赖于图像的亮度、对比度以及局部区域的空间分辨率等。在 立体显示领域，JND模型可分为双目失真恰可察觉差异（BJND, Binocular Just Noticeable Difference)模型和 JNDD(JJND, Just Noticeable Depth Difference)模型。BJND 表不左 右视图中人眼可察觉的最小内部差异，如果某立体图像的左右视图之间的对应位置及其像 素差异小于BJND，则人眼不能感知其差别。JNDD表示人眼可察觉的最小深度差异。如果深 度图中相邻对象的深度差异小于JNDD，采用该深度图合成的立体图像，人体不能感知其深 度差异。Jung等基于最小可察觉深度差异（JNDD)模型实现了深度感知增强，通过拉伸深 度图中物体深度差异小于JNDD阈值的部分，以使得人眼能够察觉这部分信息。Jung提出 了全局深度感知增强算法，通过对JNDD模型的研究，利用深度图的直方图估计和核密度估 计（KDE)方法把深度图进行分割分层处理，层之间的深度差值小于JNDD阈值的对象，采用 能量最小化模型进行增强。考虑到这种全局增强算法存在诸多不足，Jung等通过更为细致 的分析，提出了一种改进的基于JNDD模型的深度感知增强算法。改进算法包含深度数据维 持，深度顺序保持和深度层拉伸三个主要部分。深度数据维持项通过权重函数来控制深度 改变的方向，使得与真实场景的差异为最小。深度顺序保持项限制深度图中物体之间深度 值的反转，使得对象边界信息准确。深度层拉伸项通过增加相邻分割层之间深度差异来增 强人眼的深度感知能力。
【发明内容】
[0005] 为克服现有技术的不足，本发明旨在依据人眼视觉深度感知原理，提出面向虚拟 多视点绘制的深度感知增强方法，通过对视差图进行调整，实现面向多虚拟视点绘制的深 度感知增强方法，达到改善立体显示效果的目的。为此，本发明采取的技术方案是，一种面 向虚拟多视点绘制的深度感知增强方法，包括如下步骤：
[0006] 1)图像分割
[0007] 采用手动分割方法：依据彩色图的对象分布，人工获得准确的分割图；
[0008] 2)面向虚拟多视点绘制的恰可察觉深度差异模型
[0009] 分析出最小可察觉阈值会随着绘制中间虚拟视点数量变化，推导出面向虚拟多视 点绘制的恰可察觉深度差异模型MVR jndd;
[0010] 3)面向虚拟多视点绘制的深度感知增强
[0011] 依据上述推导出的基于虚拟多视点绘制的恰可察觉深度差异模型，将视差图相邻 层之间小于MVRindc^部分进行拉伸，达到MVRindd阈值。依据基于恰可察觉深度差异的深度 感知增强能量函数，保证由不同数量虚拟视点合成的立体图像的深度效果。
[0012] 4)虚拟多视点绘制
[0013] 利用上述深度感知增强后的视差图，采用基于深度图像的虚拟视点绘制方法进行 虚拟视点绘制，以8视点自由立体显示为例绘制7个虚拟视点，分别是1/7到7/7视点，绘 制的虚拟视点存在空洞，利用空洞填补算法进行图像修复；
[0014] 5)自由立体显示
[0015] 最终采用参考视点和上述生成的7个虚拟视点组成八个视点并运用立体合成算 法生成适合自由立体显示器显示的合成图，并予以显示。
[0016] 构建了面向虚拟多视点绘制的恰可察觉深度差异模型MVR_，表示如下：
[0017]
[0018] 其中N表示绘制的中间虚拟视点的数量，α是一个比例因子表示深度和视差之间 的对应关系，d表示深度像素值，ρ表示视差像素值；α的计算公式如下：
[0019]
[0020] 其中Pmax和P min分别表不视差的最大值和最小值；
[0021] 恰可察觉深度差异模型D_D(d)表示如下：
[0022]
[0023] 建立了基于恰可察觉深度差异的深度感知增强能量函数，定义如下：
[0024]
[0025] 其中W1是权重参数，取值为100,根据图像大小进行调节；x°和^分别表示原始和 拉伸后的视差图的平均像素值，M表示分割图的分割层数，也就是场景中物体的数量， Xl、X] 对应表示原始视差图中位于第i、j层的物体的平均像素值。
[0026] 能量函数采用最优化算法求解。
[0027] 能量函数采用遗传算法求解。
[0028] 与已有技术相比，本发明的技术特点与效果：
[0029] 发明通过调整用来合成多视点自由立体图像的视差图，增强相邻分隔层的深度差 异，使得人眼能够感知到场景中物体之间的层次感，有效的增强了显示图像的深度感、改善 了立体显示效果。
【附图说明】
[0030] 图1给出了未采用本发明方法的原始视差图。
[0031] 图2给出了采用本发明方法获得的增强后的视差图。
[0032] 图3给出了原始视差图绘制虚拟视点的合成图。
[0033] 图4给出了为采用本发明方法增强后视差图绘制虚拟视点的合成图。
[0034] 图5给出了技术方案的流程图。
【具体实施方式】
[0035] 本发明的目的是依据人眼视觉深度感知原理，提出面向虚拟多视点绘制的深度感 知增强方法。基于深度的虚拟视点绘制技术是目前应用最为广泛的一项3D生成技术。但 是绘制的相邻视点由于视差减小，从而会降低对象间的深度差异，导致立体显示的深度感 减弱。本发明针对该问题通过对视差图进行调整，实现了面向多虚拟视点绘制的深度感知 增强方法，达到了改善立体显示效果的目的。
[0036] 基于深度图像的虚拟多视点绘制在进行自由立体显示时，由于相邻视点间视差会 大幅度降低，导致观测的立体图像深度感变差。为增强人眼对3D图像或视频的深度感知能 力，本发明依据人眼最小可察觉深度差异（JNDD)原理，实现了面向虚拟多视点绘制的深度 感知增强，具体的技术方案分为下列步骤：
[0037] 1:图像分割
[0038] 为了准确的表现本发明的效果，采用手动分割方法。手动分割是依据彩色图的对 象分布，人工获得准确的分割图。
[0039] 2 :面向虚拟多视点绘制的恰可察觉深度差异模型
[0040] 本发明分析出最小可察觉阈值会随着绘制中间虚拟视点数量变化，推导了面向虚 拟多视点绘制的恰可察觉深度差异模型MVR indd，表示如下：
[0041]
[0042] 其中N表示绘制的中间虚拟视点的数量，α是一个比例因子表示深度和视差之间 的对应关系，d表示深度像素值，ρ表示视差像素值。α的计算公式如下：
[0043]
[0044] 其中Pmax和P min分别表不视差的最大值和最小值。
[0045] 恰可察觉深度差异模型D;_ (d)表示如下：
[0046]
[0047] 3 :面向虚拟多视点绘制的深度感知增强
[0048] 依据上述推导出的基于虚拟多视点绘制的恰可察觉深度差异模型，将视差图相邻 层之间小于MVRind^部分进行拉伸，达到MVRindd阈值，从而保证了由不同数量的虚拟视点 合成的立体图像的深度效果。基于恰可察觉深度差异的深度感知增强能量函数定义如下：
[0049]
[0050] 其中W1是权重参数，取值为100,可以根据图像大小进行调节。x°和^分别表示原 始和拉伸后的视差图的平均像素值。M表示分割图的分割层数，也就是场景中物体的数量， Xl、\对应表示原始视差图中位于第i、j层的物体的平均像素值。
[0051] 4:虚拟多视点绘制
[0052] 利用上述深度感知增强后的视差图，采用DIBR技术进行虚拟视点绘制，以8视点 自由立体显示为例绘制7个虚拟视点，分别是1/7到7/7视点。绘制的虚拟视点存在空洞， 利