seale-and-stretch for image resizing[J].ACM Transactions on GraphiCS(T0G)，2008,27(5):118.)获得，lij= | |Vi,ie-Vj,ie| |/| |Vi,ie-Vj,ie| |，能量项公式 表示如下：
[0123]
[0124] 立体图像对的左图形状保持能量项定义如下：
[0125] Eis = Ef+Eie
[0126] 立体图像对的右图的形状保持能量项Ers以相同的方式定义。
[0127] 能量优化：
[0128] 为获取y，使包含上述所有能量项的总能量保持最小，总能量计算公式 如下：
[0129] E = Ed+Eis+Ers
[0130] 能量E是V^jPVi,μ的二次函数，该能量最小化问题通过稀疏线性求解器解决。 输出网格确定后，使用双线性插值算法来获得最终的结果。
[0131] 5.实验及其效果评价
[0132] 为了评估本发明中基于内容感知的不同立体显示设备的视差调整方法的有效性， 采用实验加以证明。实验基于MATLAB平台进行仿真，并选取了几幅立体图像的左右图进行 实验，将几幅立体图像的左图划分为10X10的网格细胞，并通过点匹配算法获取该几幅立 体图像的右图的对应网格，之后通过目标视差范围以及缩放因子和视差缩放因子之间的关 系指导网格变形，获得变形网格后通过双线性插值法获得变形后图像。
[0133] 在图2中，通过本实验获取的结果和原始图像的对比表明了视差调整的过程。图2 (a)和2(b)分别表示原始图像和变形图像的左图（雪人图）和右图（雪人图）的网格细胞。从 变形前后的结果不难看出，图像显著区域的网格细胞(例如雪人)基本上没有发生失真，而 草地等非显著区域的对象发生了失真。和原立体图像的视差相比，在使用本发明提出的算 法后，图像特征点的视差明显减小。图2(d)表示原始的和变形后的立体图像，不难看出，和 原立体图像相比，图像内容仅发生较小的失真，并且立体图像视差得到了调整。
[0134] 图3和图4表示本发明提出的算法和Lang等人提出的算法的对比。Lang等人提出的 方法存在很大的局限性，该方法没有考虑到图像内容调整和视差调整之间的关系，因此不 能实现在避免内容失真的同时将视差调整到目标区域。图3和图4的第四行标注了超过目标 范围的视差数量，从图3(b)的第四行，不难看出仅有小数量的视差超出了目标范围，表明 Lang等人提出的方法可以将视差调整到目标范围，然而从图3(b)的第二行可以看出，图像 发生了较为明显的失真。而图4(b)则表明Lang等人提出的方法可以使图像内容基本上不发 生失真，但是于此同时却产生了过度视差。同Lang等人提出的方法相比，本发明通过建立视 差编辑和图像内容编辑之间的关系实现了避免视觉内容失真的同时将视差调整到目标范 围。
[0135] 图5表述了同一幅立体图像的不同视差映射结果。在图5中不难看出，当目标视差 范围发生改变时，图像显著区域的大小也会随之改变。在图5中可以看出，图像显著区域基 本未发生失真，并且立体图像的视差也得到了调整。本发明通过考虑视差调整因子来确定 缩放因子，并不迫使图像显著区域完全不发生改变。因此提出的方法可以同时避免显著内 容失真并且将视差调整到了目标范围。
[0136] 过度视差往往会造成视觉不舒适并且会导致复视。当视差需要被调整到目标范围 时，如果没有考虑到过度视差，可能会造成视觉上的不舒适。因此，本发明用超出目标视差 范围Ω t (TDR)的比率来评价提出的方法。该比率被定义为视差失真率(DDS)。其表示方法 为：DDS(%) = (c/, g A )/ iV(爲)、，其中況(4 g Ω/)表示不在目标视差范围内的像素的数量， N(di)表不视差图中所有像素的总数。表1表不目标视差范围分别定为[-40，0]和[-30，0]时 的视差失真率。在仿真中，本发明依然存在较少的视差超过了目标视差范围。这是因为本发 明是基于稀疏视差点而不是整幅图像的密集视差点来调整视差。
[0137] 表1视差失真率（％)
[0138]
[0139] 本发明和Lang等人提出的算法相比有了很大的改进，分别采用Lang等人提出的方 法以及本发明的方法对雪人、芦荟和戴安娜三幅图像进行实验，实验中分别将各幅图像的 视差调整到[-400]和[-300]的范围，不难看出，本发明的视差失真率更低，产生了更好地效 果。因此，本发明的方法行之有效，能够将原始视差调整到目标范围，同时能够避免视觉失 真。
【主权项】
1. 一种基于内容感知的不同立体显示设备的视差调整方法，其特征是，首先使用均匀 网格细胞划分立体图像对，之后建立视差映射来控制并且重定位立体场景深度，接下来建 立视差编辑和图像内容编辑之间的关系来指导提出的变形模型，最后，使用立体网格变形 模型避免显著区域的失真的同时将视差调整到目标范围。2. 如权利要求1所述的基于内容感知的不同立体显示设备的视差调整方法，其特征是， 建立视差映射来控制并且重定位立体场景深度具体步骤是， 首先使用均匀网格细胞划分立体图像对，之后建立视差映射来控制并且重定位立体场 景深度，具体步骤是， 1) 网格划分 使用均匀网格细胞Mmxn = (V，E，F)划分图像，其中m X η表示网格细胞的个数，V，E和F分 别表示顶点、边和四边形的集合，相应地立体图像对的右图网格通过顶点匹配获得，其中， vi, j,k，Vi, j,k分别表示原始网格和变形网格中网格细胞的顶点坐标，其中i表示网格细胞横 坐标的索引值，j表示网格细胞纵坐标的索引值，k表示立体图像对左右网格的索引值，且i =1，…，m; j = l，…，n;k=l，r，其中1表示左网格，r表示右网格； 2) 视差映射 建立视差映射？?j)，该视差映射将原始范围Ω = [dmin，dmax]映射到目标范围Ω ' = [[(1'_，(1'_]]，视差映射的公式如下：其中，PK,)表示视差映射，K表示视差缩放因子，dmin表示原始视差的最小值，dmax表示 原始视差的最大值，d'min表不目标视差的最小值，d'max表不目标视差的最大值，di,j = Vi, j,r-Vi, j,l表示原始视差。3. 如权利要求1所述的基于内容感知的不同立体显示设备的视差调整方法，其特征是， 建立视差编辑和图像内容编辑之间的关系来指导提出的变形模型具体步骤是，建立视差编 辑和图像内容编辑之间的关系，该关系可以在避免视觉失真的同时将视差调整到目标范 围，并且该关系会为后续的图像变形提供指导： 假定四边形（i，j)的内容发生形状失真，并且定义缩放因子Sf，立体图像对的左图和立 体图像对的右图的网格细胞的原始顶点和变形顶点之间的关系表示如下：为了调整视差，变形后的网格顶点视差表示如下：为了将视差调整到目标区域的同时避免视觉失真，变形顶点应同时满足上述公式，经 上述公式推导出来的公式如下：因此，当显著内容缩放因子Sf和视差缩放因子K相等时，变形的顶点可以在满足视差映 射的同时避免视觉失真，显著内容缩放因子和视差缩放因子之间的关系为后续的图像网格 变形提供指导。 建立网格变形模型，实现将视差调整到目标范围的同时避免显著区域发生失真：网格 变形通过解决包括视差调整能量和形状保持能量在内的能量最小化问题来实现，能量项的 详细表述如下： 视差调整项： 顶点视差应满足视差映射公式，视差调整能量项定义如下：其中Ed表示视差调整能量X)表示第2步中的视差映射； 形状保持项： 为避免图像显著区域发生失真，对每一个原始网格细胞缩放后的网格细胞计算形状失 真能量。网格细胞的变形能量项定义如下：其中，Ei,j表示网格细胞的变形能量； 缩放因子sf取决于视差缩放因子K，所有网格细胞变形总能量为所有网格细胞变形能量 的总和，网格细胞变形总能量的计算公式如下：其中，Ef表示网格细胞变形总能量，wi,j表示网格显著值，f表示网格四边形，E(f)表示网 格四边形的边的结合。因为显著对象往往跨越多个相连的网格细胞，为防止这些网格细胞 发生失真，网格变形的过程中允许其长度发生改变而方向保持不变，其中lij用Wang(Wang Y S)提出的优化的缩放和拉伸方法获得，能量项公式表示如下：其中，Ele表示网格线变形能量，1^表示变形后和变形前的边长的长度比； 立体图像对的左图形状保持项定义如下： Els = Ef+Ele 其中，Els表示立体图像对的左图的形状保持能量，Ef表示网格细胞变形总能量，Ele表示 网格线变形能量； 立体图像对的右图的能量函数Ers以相同的方式定义； 能量优化： 为获取ν^,ι和Vu,r，使包含上述所有能量项的总能量保持最小，总能量计算公式如下： E = Ed+Els+Ers 其中，E表示总能量，Ed表示表示视差调整能量，Els表示立体图像对的左图的形状保持 能量，Ers表示立体图像对的右图的形状保持能量； 能量E是的二次函数，使用稀疏线性求解器解决能量最小化问题，输出网格 确定后，使用双线性插值算法来获得最终的结果。
【专利摘要】本发明属于图像处理技术领域，为实现不迫使图像显著区域保持不变，通过视差缩放因子来确定网格细胞缩放因子，为此，本发明采取的技术方案是，基于内容感知的不同立体显示设备的视差调整方法，首先使用均匀网格细胞划分立体图像对，之后建立视差映射来控制并且重定位立体场景深度，接下来建立视差编辑和图像内容编辑之间的关系来指导提出的变形模型，最后，使用立体网格变形模型避免显著区域的失真的同时将视差调整到目标范围。本发明主要应用于图像处理。
【IPC分类】G06T7/00
【公开号】CN105678751
【申请号】CN201511027430
【发明人】侯春萍, 刘琦, 阎维青, 浦亮洲, 王来花
【申请人】天津大学
【公开日】2016年6月15日
【申请日】2015年12月29日