基于内容感知的不同立体显示设备的视差调整方法
【技术领域】
[0001] 本发明属于图像处理技术领域，涉及一种基于内容感知的双目立体图像的视差调 整方法。
【背景技术】
[0002] 随着3D电视以及异质手机等立体显示设备的广泛应用，立体3D受到了广泛关注。 然而，人眼视觉感知和显示设备特性之间存在复杂的关系，因此不同的立体显示屏的特性 决定了不同的视差，因此，当同一幅图像在不同的显示设备上进行显示时，观看者的视觉体 验是不同的。立体显示屏的固有特性会影响视差，在这种情况下，观看者往往会产生不舒适 的视觉体验，而且这种关系会对各种媒介的立体内容分布产生影响。因此，控制图像视差对 立体3D的广泛应用起着不可或缺的作用。
[0003] 为了制作一幅视觉舒适的立体图像，在近些年的研究中，提出了一些立体图像后 处理的方法。Zitnick等人提出了一种图像的视觉插值法来调整图像视差，但是该方法往往 涉及相机参数估计、密集立体重建以及封闭场景内容印迹等工作。然而，这些工作不能为一 般的场景和经典的2视点立体镜头带来准确和鲁棒性的结果。因此，先前的一些工作允许在 具体的应用场景中使用手动驱动进行视差编辑。然而，该方法在一些场景后期制作的过程 中非常昂贵。Lin等人提出了一种基于裁剪和变形的方法来优化立体3D体验。Wang等人提出 了一种通过增加颜色和深度信息来修补立体图像的方法。Smolic等人调查了 3D后处理领域 最先进的技术。Goferman等人以及Kang等人分别提出了广泛接受的显著性理论，基于内容 感知的变形方法广泛应用于基于内容感知的3D图像调整，3D视频稳定，立体图像克隆，视差 立体图像操作。基于内容感知的变形技术的关键在于只要显著区域的变形结果接近于预先 定义的边界，非显著区域引入的失真对于观看者来说就会不明显。Chang等人提出了一种立 体图像重定位方法，该方法试图调整图像特征点视差，然而，该方法主要关注3D图像重定 位，而没有考虑到简单的视差缩放会引起3D图像内容的失真。Lang等人提出了一种立体图 像非线性视差映射方法。为了避免视觉失真，该方法迫使显著图像区域大小保持不变，然 而，该方法总是能够造成视觉失真约束和其视差映射约束之间的冲突。为了减小冲突，他们 采取了一种方法平衡视觉失真约束和视差约束。因此，Lang等人提出的方法不能在实现视 差编辑的同时避免视觉失真。
【发明内容】
[0004] 为克服现有技术的不足，本发明的目的是提出不同立体显示设备的视差调整方 法，实现不迫使图像显著区域保持不变，通过视差缩放因子来确定网格细胞缩放因子，为 此，本发明采取的技术方案是，基于内容感知的不同立体显示设备的视差调整方法，首先使 用均匀网格细胞划分立体图像对，之后建立视差映射来控制并且重定位立体场景深度，接 下来建立视差编辑和图像内容编辑之间的关系来指导提出的变形模型，最后，使用立体网 格变形模型避免显著区域的失真的同时将视差调整到目标范围。
[0005] 首先使用均匀网格细胞划分立体图像对，之后建立视差映射来控制并且重定位立 体场景深度，具体步骤是，
[0006] 1)网格划分
[0007] 使用均匀网格细胞MmXn=(V，E，F)划分图像，其中mXn表示网格细胞的个数，V，E和 F分别表示顶点、边和四边形的集合，相应地立体图像对的右图网格通过顶点匹配获得，其 中，vi, j,k，Vi, j,k分别表示原始网格和变形网格中网格细胞的顶点坐标，其中i表示网格细胞 横坐标的索引值，j表示网格细胞纵坐标的索引值，k表示立体图像对左右网格的索引值，且 i = l，…，m; j = l，…，n;k=l，r，其中1表示左网格，r表示右网格；
[0008] 2)视差映射
[0009] 建立视差映射舛〇，该视差映射将原始范围Ω = [dmin，dmax]映射到目标范围Ω ' = [d'min，d'max]，视差映射的公式如下：
[0010]
[0011] 其中，例y。/)表不视差映射，K表不视差缩放因子，dmin表不原始视差的最小值，dmax 表示原始视差的最大值，d'min表示目标视差的最小值，d'max表示目标视差的最大值，(1^ = Vi, j,r-Vi, j,l表示原始视差。
[0012] 建立视差编辑和图像内容编辑之间的关系来指导提出的变形模型具体步骤是，建 立视差编辑和图像内容编辑之间的关系，该关系可以在避免视觉失真的同时将视差调整到 目标范围，并且该关系会为后续的图像变形提供指导：
[0013] 假定四边形（i，j)的内容发生形状失真，并且定义缩放因子Sf，立体图像对的左图 和立体图像对的右图的网格细胞的原始顶点和变形顶点之间的关系表示如下：
[0014]
[0015]
[0016] 为了调整视差，变形后的网格顶点视差表示如下：
[0017]
[0018] 为了将视差调整到目标区域的同时避免视觉失真，变形顶点应同时满足上述公 式，经上述公式推导出来的公式如下：
[0019]
[0020]
[0021]因此，当显著内容缩放因子Sf和视差缩放因子K相等时，变形的顶点可以在满足视 差映射的同时避免视觉失真，显著内容缩放因子和视差缩放因子之间的关系为后续的图像 网格变形提供指导。
[0022]建立网格变形模型，实现将视差调整到目标范围的同时避免显著区域发生失真： 网格变形通过解决包括视差调整能量和形状保持能量在内的能量最小化问题来实现，能量 项的详细表述如下：
[0023] 视差调整项：
[0024] 顶点视差应满足视差映射公式，视差调整能量项定义如下：
[0025]
[0026] 其中Ed表示视差调整能量，pW,,)表示第2步中的视差映射；
[0027]形状保持项：
[0028] 为避免图像显著区域发生失真，对每一个原始网格细胞缩放后的网格细胞计算形 状失真能量。网格细胞的变形能量项定义如下：
[0029] Ei,j= | | (Vi,j,i-Vi,j+i,i)-Sf(Vi,j,i_Vi,j+i,i) | |2
[0030] +| | (Vi,j,i-Vi+i,j,i)-Sf(vi,j,i-Vi+ij,i) | |2
[0031] +| | (Vi,j+i,i-Vi+i,j+i,i)-Sf(vij+i,i-Vi+ij+i,i) | |2
[0032] +| | (Vi+i,j,i-Vi+i,j+i,i)-Sf(vi+i,j,i-Vi+ij+i,i) | |2 [0033]其中，Eu表示网格细胞的变形能量；
[0034] 缩放因子Sf取决于视差缩放因子K，所有网格细胞变形总能量为所有网格细胞变 形能量的总和，网格细胞变形总能量的计算公式如下：
[0035]
[0036] 其中，Ef表示网格细胞变形总能量，Wi,j表示网格显著值，f表示网格四边形，E(f) 表示网格四边形的边的结合。因为显著对象往往跨越多个相连的网格细胞，为防止这些网 格细胞发生失真，网格变形的过程中允许其长度发生改变而方向保持不变，其中1^用Wang (Wang Y S)提出的优化的缩放和拉伸方法获得，能量项公式表示如下：
[0037]
[0038] 其中，Ele表示网格线变形能量，1^表示变形后和变形前的边长的长度比；
[0039] 立体图像对的左图形状保持项定义如下：
[0040] Eis = Ef+Eie
[0041 ]其中，Eis表示立体图像对的左图的形状保持能量，Ef表示网格细胞变形总能量，Eie 表示网格线变形能量；
[0042]立体图像对的右图的能量函数Ers以相同的方式定义；
[0043]能量优化：
[0044]为获取使包含上述所有能量项的总能量保持最小，总能量计算公式 如下：
[0045] E = Ed+Eis+Ers
[0046] 其中，E表示总能量，Ed表示表示视差调整能量，Eis表示立体图像对的左图的形状 保持能量，Ers表示立体图像对的右图的形状保持能量；
[0047] 能量E是V^jPVi,μ的二次函数，使用稀疏线性求解器解决能量最小化问题，输 出网格确定后，使用双线性插值算法来获得最终的结果。
[0048]本发明的特点及有益效果是：
[0049]提出的基于内容感知的不同立体显示设备的视差调整方法，可以在避免显著区域 失真的同时将视差调整到目标范围，为观看者带来较为舒适的视觉体验。
【附图说明】：
[0050] 图1给出了单个网格细胞顶点变化示意图。(a)原始网格顶点；（b)变形网格顶点。
[0051] 图2本发明原始图像和变形图像的结果的比较。图中，（a)带有网格细胞的左图（雪 人图）；（b)带有网格细胞的右图（雪人图）；（c)带有特征点视差的立体图像(雪人图）；（d)立 体图像(雪人图）。第一行:原始图像(雪人图）；第二行:变形图像(雪人图）。
[0052] 图3本发明和Lang等人提出的方法的比较。（a)原始立体图像(芦荟图）；（b)Lang等 人的方法的结果；（c)本发明的结果。第一行到第四行：左图（芦荟图）；右图（芦荟图）；立体 图（芦荟图）；视差超过目标范围[-40，0]的特征点视差。
[0053]图4本发明和Lang等人提出的方法的比较。（a)原始立体图像(戴安娜图）；（b)Lang 等人的方法的结果；（c)本发明的结果。第一行到第四行：左图（戴安娜图）；右图（戴安娜 图）；立体图（戴安娜图）；视差超过目标范围[_40,0]的特征点视差图（戴安娜图）。
[0054] 图5本发明在不同目标视差范围下的结果。（a)原始立体图像(雪人图）；（b)目标视 差范围为[_40,0];(c)目标视差范围为[_30,0]。